以下の詳細な説明では添付図面を参照する。図面および以下の説明では、可能な限り、同一または同様の部分を表すために同一の参照番号が使用される。本明細書ではいくつかの例示的実施形態を述べるが、修正形態、適応形態、および他の実装形態も可能である。例えば、図面に示されている構成要素に置換、追加、または修正を施すことができる。本明細書で述べる例示的な方法は、開示する方法のステップに対して置換、並べ替え、除去、または追加を行うことによって修正することができる。したがって、以下の詳細な説明は、開示する実施形態および実施例に限定されない。そうではなく、適切な範囲は、添付の特許請求の範囲によって定義される。
無人航空機(UAV)は、多くの産業および多くの状況で、特定の作業を直接行う人員の任務を軽減するための有用なツールと認識されている。例えば、UAVは、貨物の引渡し、監視の実施、プロフェッショナルおよびレクリエーション環境での様々なタイプの撮像および感知データ(例えば、写真、ビデオ、超音波、赤外線など)の収集を行うために使用されており、人間ができることの幅を広げて向上させている。
UAVは、人員が搭乗せずに操作が行われる「無人型」でよいが、オフボード人員によって完全にまたは一部操作されることが多く、この人員が、飛行の複数の態様および/または他の関連のタスク(例えば、貨物の管理や撮像機器の操作など)の制御を担当することができる。多くの状況で、UAVに積載された撮像機器の操作などの関連タスクは、飛行制御と同時に行われなければならず、これは問題となり得る。
例えば、プロフェッショナルな写真撮影、映画撮影、およびビデオ撮影では、通常であれば人員が捕捉するのは難しすぎる、非実用的すぎる、または不可能である静止画および/または動画を、UAVを使用して捕捉することができる。しかし、これらの状況におけるUAVの利便性があっても、高品質の結果を得るためにUAV操作者が注意深く撮像機器を制御することは依然として必要である。さらに、UAVにある撮像機器の使用には熟練したUAV飛行パラメータの制御が必要である。なぜなら、飛行パラメータ(例えば、ロール、ピッチ、ヨー、高度、スロットル、ターゲットに対する相対位置または速度など)が実質的に変動もしくは変化を受けるとき、またはその他の理由で十分に制御されないときなどには、一貫性のないまたは不安定な飛行により画像品質が低下し得るからである。
多くのタイプのUAVに関して、複数の飛行パラメータを、操作者が入力デバイス(例えばリモートコントローラ)を介して個別に制御することができる。複雑な飛行操縦中および/または画像データの収集中、非常に熟練したUAV操作者でさえ、各飛行パラメータに対する十分なレベルの制御を維持しつつ高品質の画像結果を得ることを試みることは難しいことがある。各飛行パラメータの高度な制御を必要とするこれらの状況および他の状況において、UAV操作者は全体的な飛行制御の複雑さの低減を望むことがある。本明細書では、操作者が比較的容易にかつより高い精度で可動物体を制御することを可能にする、UAVなどの可動物体を制御するための方法、システム、およびデバイスの例示的実施形態を開示する。特に、本明細書で述べる実施形態は、UAVの観点からの飛行パラメータではなくユーザの観点からユーザがUAVを操作することを可能にする。例えば、UAVのピッチ角を制御するのとは対照的に、ユーザは、リモートコントローラを操作して、UAVを上昇させるためのコマンドを送信すればよい。本開示による方法およびシステムは、そのような直観的なコマンドを、UAVの飛行挙動を調整するために直接使用することができる飛行制御信号または飛行パラメータに変換する。
図1に、環境内を移動または走行するように構成され得る例示的な可動物体10を示す。可動物体10は、適切な媒体(例えば、表面、空気、水、レール、宇宙空間、地下など)の上または中を走行するように構成された任意の適切な物体、デバイス、メカニズム、システム、または機械でよい。例えば、可動物体10は無人航空機(UAV)でよい。本明細書における例示の目的で、本明細書では可動物体10をUAVとして図示して述べるが、本開示によるいくつかの実施形態では、追加または代替として、他のタイプの可動物体(例えば、ホイール付きの物体、海上物体、移動物体、他の空中物体など)が使用されてもよい。本明細書で使用するとき、UAVという用語は、(例えば電子制御システムを介して)自動的に、および/またはオフボード人員によって手動で操作および/または制御されるように構成された空中デバイスを表すことがある。
可動物体10は、1つまたは複数の推進デバイス12を含むことがあり、搭載物14を搬送するように構成されてもよい。いくつかの実施形態では、図1に示されるように、搭載物14は、支持機構16によって可動物体10に接続される、または取り付けられることがある。支持機構16は、搭載物14と可動物体10との間での1つまたは複数の相対移動度を実現することがある。他の実施形態では、搭載物14は、支持機構16なしで可動物体10に直接取り付けられてもよい。また、可動物体10は、他の構成要素と通信する検知システム18、通信システム20、および制御装置22を含むこともある。
可動物体10は、可動物体10を推進および操舵するために様々な位置(例えば可動物体10の上、横、前、後ろ、および/または下)に位置決めされた1つまたは複数(例えば、1、2、3、3、4、5、10、15、20個)の推進デバイス12を含み得る。推進デバイス12は、制御された飛行を持続するための力を生成するように動作可能なデバイスまたはシステムでよい。推進デバイス12は、動力源を共有することがあり、または動力源をそれぞれ個別に含むことがあり、または動力源に動作可能に接続されることがある。動力源は、例えばモータ(例えば電気モータ、油圧モータ、空気圧モータなど)、エンジン(例えば内燃機関、タービンエンジンなど)、バッテリバンクなど、またはそれらの組合せである。また、各推進デバイス12は、1つまたは複数の回転構成要素24を含むこともあり、回転構成要素24は、動力源に駆動可能に接続され、制御された飛行を持続するための力の発生に関与するように構成される。例えば、回転構成要素24は、ロータ、プロペラ、ブレード、ノズルなどを含むことがあり、これらは、動力源から動力を伝達するように構成されたシャフト、軸、ホイール、油圧システム、空気圧システム、もしくは他の構成要素もしくはシステムにおいて、またはそれらによって駆動されることがある。推進デバイス12および/または回転構成要素24は、互いに対しておよび/または可動物体10に対して調整可能(例えば傾斜可能)でよい。代替として、推進デバイス12および回転構成要素24は、互いに対しておよび/または可動物体10に対して固定された向きを有することがある。いくつかの実施形態では、各推進デバイス12は同じタイプでよい。他の実施形態では、推進デバイス12は複数の異なるタイプでよい。いくつかの実施形態では、全ての推進デバイス12が一斉に(例えば、全て同じ速度および/または角度で)制御されることがある。他の実施形態では、1つまたは複数の推進デバイスが、例えば速度および/または角度に関して独立して制御されることもある。
推進デバイス12は、可動物体10を1つまたは複数の垂直方向および水平方向に推進するように、ならびに可動物体10を1つまたは複数の軸の周りで回転させるように構成されてもよい。すなわち、推進デバイス12は、可動物体10の並進運動および回転運動を生成して維持するための揚力および/または推力を提供するように構成されてもよい。例えば、推進デバイス12は、可動物体10が所望の高度を実現して維持できるようにし、全方向への移動のための推力を提供し、可動物体10の操舵を可能にするように構成されてもよい。いくつかの実施形態では、推進デバイス12は、可動物体10が垂直離陸および着陸(すなわち、水平推力なしの離陸および着陸)を行うことを可能にすることがある。他の実施形態では、可動物体10は、飛行を実現して持続するために、一定の最小水平推力を必要とすることがある。推進デバイス12は、図2、図3A〜3C、および図4A〜4Bに関連して以下に述べるように、複数の軸に沿ったおよび/または複数の軸の周りでの可動物体10の動きを可能にするように構成されてもよい。
搭載物14は、1つまたは複数の感知デバイス19を含み得る。感知デバイス19は、ターゲット(例えば物体、風景、写真またはビデオ撮影の被写体など)の画像またはビデオの調査、追跡、および捕捉など、データまたは情報を収集または生成するためのデバイスを含み得る。感知デバイス19は、画像を生成するために使用することができるデータを収集するように構成された撮像デバイスを含み得る。例えば、撮像デバイスは、写真カメラ、ビデオカメラ、赤外線撮像デバイス、紫外線撮像デバイス、X線デバイス、超音波撮像デバイス、レーダデバイスなどを含み得る。追加または代替として、感知デバイス19は、マイクロフォンまたは超音波検出器など、音声データを捕捉するためのデバイスを含むこともある。追加または代替として、感知デバイス19は、視覚信号、音声信号、および/または電磁信号を捕捉するための他の適切なセンサを含むこともある。
支持機構16は、搭載物14を保持するように、および/または可動物体10に対して搭載物14を調整(例えば回転)できるように構成された1つまたは複数のデバイスを含み得る。例えば、支持機構16はジンバルでよい。支持機構16は、以下に述べるように、搭載物14を1つまたは複数の軸の周りで回転させるように構成されてもよい。いくつかの実施形態では、支持機構16は、搭載物14の観点をより大きく制御できるようにするために、各軸の周りで360°の回転を可能にするように構成されてもよい。他の実施形態では、支持機構16は、搭載物14の回転範囲を、搭載物14の軸の1つまたは複数の周りで360°未満(例えば、≦270°、≦210°、≦180°、≦120°、≦90°、≦45°、≦30°、≦15°など)に制限することがある。
支持機構16は、フレームアセンブリ26と、1つまたは複数のアクチュエータ部材28と、1つまたは複数の支持機構センサ30とを含み得る。フレームアセンブリ26は、搭載物14を可動物体10に結合し、いくつかの実施形態では、可動物体10に対して搭載物14が動くことを可能にするように構成されてもよい。いくつかの実施形態では、フレームアセンブリ26は、互いに対して可動な1つまたは複数のサブフレームまたは構成要素を含み得る。作動部材28は、可動物体10に対する搭載物14の並進運動および/または回転運動を可能にするために、フレームアセンブリの構成要素を互いに対して駆動させるように構成されてもよい。他の実施形態では、アクチュエータ部材28は、搭載物14に直接作用して、フレームアセンブリ26および可動物体10に対する搭載物14の運動を生じさせるように構成されてもよい。アクチュエータ部材28は、適切なアクチュエータおよび/または力伝達構成要素でよく、またはそれらを含んでいてもよい。例えば、アクチュエータ部材28は、電気モータを含むことがあり、電気モータは、軸、シャフト、レール、ベルト、チェーン、ギア、および/または他の構成要素と協働して、フレームアセンブリ26および/または搭載物14の構成要素に直線運動または回転運動を行わせるように構成される。
支持機構センサ30は、支持機構16および/または搭載物14の状態情報を測定、検知、検出、または決定するように構成されたデバイスを含み得る。状態情報は、位置情報(例えば相対位置、向き、姿勢、直線変位、角度変位など)、速度情報(例えば直線速度、角速度など)、加速度情報(例えば直線加速度、角加速度など)、および/または可動物体10に対する支持機構16または搭載物14の動き制御に関する他の情報を含み得る。支持機構センサ30は、ポテンショメータ、光センサ、ビジョンセンサ、磁気センサ、運動または回転センサ(例えばジャイロスコープ、加速度計、慣性センサなど)など、1つまたは複数のタイプの適切なセンサを含み得る。支持機構センサ30は、フレームアセンブリ26の構成要素もしくはアクチュエータ部材28など支持機構16の様々な構成要素、もしくは可動物体10に関連付けられるか、またはそれらに取り付けられることがある。支持機構センサ30は、有線または無線接続(例えばRFID、Bluetooth(登録商標)、Wi−Fi、ラジオ、携帯電話など)を介してデータおよび情報を制御装置22と通信するように構成されてもよい。支持機構センサ30によって生成され、制御装置22に通信されるデータおよび情報は、可動物体10および/またはターゲットの状態情報の決定など、さらなる処理のために制御装置22によって使用されることがある。
支持機構16は、1つまたは複数の減衰要素を介して可動物体10に結合されることがあり、減衰要素は、可動物体10から搭載物14への望ましくない衝撃または他の力伝達を低減または除去するように構成される。減衰要素は、能動的、受動的、またはハイブリッド(すなわち能動的な特性と受動的な特性とを備える)でよい。減衰要素は、固体、液体、および気体を含む任意の適切な材料または材料の組合せから形成されることがある。ゴム、ばね、ゲル、発泡材、および/または他の材料など圧縮可能または変形可能な材料が、減衰要素として使用されることがある。減衰要素は、搭載物14を可動物体10から隔離する、および/または可動物体10から搭載物14への力の伝播を消散させる働きをすることがある。また、減衰要素は、ピストン、ばね、油圧デバイス、空気圧デバイス、ダッシュポット、ショックアブソーバ、および/または他のデバイス、またはそれらの組合せなど、減衰効果を提供するように構成されたメカニズムまたはデバイスを含むこともある。
検知システム18は、可動デバイス10の1つまたは複数の構成要素または他のシステムに関連する1つまたは複数のセンサを含み得る。例えば、検知システムは、可動物体10および/またはターゲットに関する位置情報、速度情報、および加速度情報を決定するためのセンサを含み得る。いくつかの実施形態では、検知システムは、支持機構センサ30を含むこともある。検知システム18の構成要素は、可動物体10、その構成要素、またはそのターゲットに関する追加情報を決定するために使用される(例えば制御装置22または別のデバイスによって処理される)ことがあるデータおよび情報を生成するように構成されてもよい。検知システム18は、可動物体10の動きの1つまたは複数の態様を検知するための1つまたは複数のセンサを含み得る。例えば、検知システム18は、上で論じた搭載物14に関連する感知デバイス、および/または追加の感知デバイス、例えば、測位システム(例えばGPS、GLONASS、Galileo、Beidou、GAGANなど)用の測位センサ、運動センサ、慣性センサ(例えばIMUセンサ)、近接センサ、イメージセンサなどを含み得る。検知システム18はまた、天候情報(例えば温度、気圧、湿度など)、照明条件、空気成分、もしくは近くの障害物(例えば物体、構造物、人物、他の車両など)など、周囲環境に関係するデータもしくは情報を提供するためにセンサを含むこともあり、またはそのようなデータもしくは情報を提供するように構成されることもある。
通信システム20は、制御装置22とオフボードエンティティとの間でデータ、情報、コマンド、および/または他のタイプの信号の通信を可能にするように構成されてもよい。通信システム20は、1方向または2方向通信を行うように構成された受信機、送信機、または送受信機など、信号を送信および/または受信するように構成された1つまたは複数の構成要素を含み得る。通信システム20の構成要素は、データ、情報、もしくはコマンドを示す信号、および/または他の信号を送信するのに有用な1つまたは複数の通信ネットワーク(ラジオ、携帯電話、Bluetooth、Wi−Fi、RFID、および/または他のタイプの通信ネットワークなど)を介してオフボードエンティティと通信するように構成されてもよい。例えば、通信システム20は、飛行中に可動物体10を制御するための入力を提供するためのデバイス、例えば制御端末(「端末」)32との通信を可能にするように構成されてもよい。
端末32は、ユーザからの入力(すなわちユーザ入力)などの入力を受信し、入力を示す信号を制御装置22に通信するように構成されてもよい。端末32は、入力を受信して、1つまたは複数のタイプの情報を示す対応する信号を生成するように構成されることがあり、そのような情報は、例えば、(例えば推進デバイス12を介して)可動デバイス10、搭載物14、および/または支持機構16を動かすまたは操縦するための制御データ(例えば信号)などである。また、端末32は、動作データ、例えば位置データ、速度データ、加速度データ、感知データ、ならびに可動物体10、その構成要素、および/またはその周囲環境に関係する他のデータおよび情報など、可動物体10からのデータおよび情報を受信するように構成されることもある。端末32は、飛行パラメータを制御するように構成された物理的スティックを備えたリモートコントローラ、同じ目的のための仮想制御機能を備えたタッチスクリーンデバイス(例えばスマートフォンもしくはタブレット)、スマートフォンもしくはテーブル上のアプリケーション、またはそれらの組合せでよい。
図2Aおよび2Bに示される例では、端末32は、端末32と可動物体10など他のエンティティとの間での情報の通信を容易にする通信デバイス34を含み得る。通信デバイス34は、信号を送信または受信するように構成されたアンテナまたは他のデバイスを含み得る。また、端末32は、可動物体10に通信するためにユーザからの入力を受信するように構成された1つまたは複数の入力デバイス36を含むこともある。図2Aは、可動物体10またはその構成要素の所望の動きを示すユーザ入力を受信するように構成された複数の入力デバイス36を有する端末32の一例示的実施形態を示す。しかし、端末の他の可能な実施形態またはレイアウトも可能であり得て、本開示の範囲内にあることを理解されたい。
端末32は、入力デバイスを含むことがあり、入力デバイスは、例えば、入力レバー38および40、ボタン42、トリガ44、および/またはユーザから1つもしくは複数の入力を受信するための他のタイプの入力デバイスである。端末32の各入力デバイスは、制御装置22に通信可能であり、処理のための入力として制御装置22によって使用可能な入力信号を生成するように構成されてもよい。飛行制御入力に加えて、端末32は、手動制御設定、自動制御設定、制御支援設定など他の情報のユーザ入力を受信するために使用されることもあり、これらのユーザ入力は、例えばボタン42および/またはトリガ44を介して受信されることがある。端末32は、ボタン、スイッチ、ダイヤル、レバー、トリガ、タッチパッド、タッチスクリーン、ソフトキー、マウス、キーボード、および/または他のタイプの入力デバイスなど、他のまたは追加の入力デバイスを含むことがあることを理解されたい。
図2Bに示されるように、端末32はまた、ユーザへのおよび/またはユーザからの情報を表示および/または受信するように構成されたディスプレイデバイス46を含むこともある。例えば、端末32は、可動物体10から信号を受信するように構成されることがあり、この信号は、可動物体10の動きに関する情報もしくはデータ、および/または(例えば搭載物14と共に)可動物体10を使用して捕捉されたデータ(例えば撮像データ)を示すことがある。いくつかの実施形態では、ディスプレイデバイス46は、多機能画面48上に情報を表示し、多機能画面48を介してユーザ入力を受信するように構成された多機能ディスプレイデバイスでよい。例えば、一実施形態では、ディスプレイデバイス46は、多機能画面48を介して1つまたは複数のユーザ入力を受信するように構成されてもよい。別の実施形態では、多機能画面48は、ユーザ入力を受信するための唯一の入力デバイスであり得る。
いくつかの実施形態では、端末32は、1つまたは複数のユーザ入力を受信するための対話式グラフィカルインタフェースでよく、またはそれを含んでいてもよい。すなわち、端末32は、グラフィカルユーザインタフェース(GUI)でよく、および/またはユーザ入力を受信するための入力デバイス36の1つまたは複数のグラフィカルバージョンを含んでいてもよい。端末32および/または入力デバイス36のグラフィカルバージョンは、ディスプレイデバイス(例えばディスプレイデバイス46)または多機能画面(例えば多機能画面48)に表示可能であり、対話式グラフィカルフィーチャ(例えばグラフィカルボタン、テキストボックス、ドロップダウンメニュー、対話式画像など)のグラフィカルフィーチャを含む。例えば、一実施形態では、端末32は、入力レバー38および40、ボタン42、ならびにトリガ44のグラフィカル表現を含むことがあり、これらのグラフィカル表現は、多機能画面48に表示され、多機能画面48を介してユーザ入力を受信するように構成されてもよい。いくつかの実施形態では、端末32は、入力デバイス36のグラフィカルバージョンなど、グラフィカル入力デバイスを介して全てのユーザ入力を受信するように構成されてもよい。端末32は、任意の適切な電子デバイス(例えば携帯電話やタブレットなど)のディスプレイデバイスまたは多機能画面に対話式インターフェースを提供するために、コンピュータアプリケーション(例えば「アプリ」)と協働して入力デバイス36のグラフィカルバージョンを生成するように構成されてもよい。
いくつかの実施形態では、ディスプレイデバイス46は、端末32の一体構成要素でよい。すなわち、ディスプレイデバイス46は、端末32に取り付けられる、または固定されることがある。他の実施形態では、ディスプレイデバイスは、端末32に接続可能(および端末32から切断可能)でよい。すなわち、端末32は、(例えば接続ポートまたは無線通信リンクを介して)ディスプレイデバイス46に電子的に接続可能であり、および/または他の方法で、取付デバイス50によって、例えばクランプ留め、クリップ留め、掛け留め、フック留め、接着、または他のタイプの取付デバイスによって端末32に接続可能である。
いくつかの実施形態では、端末32は、可動物体10の動きおよび/または他の動作態様を制御するように構成可能な電子デバイスと通信するように構成されてもよい。例えば、ディスプレイデバイス46は、携帯電話、タブレット、パーソナルデジタルアシスタント、ラップトップコンピュータ、または他のデバイスなど、電子デバイスのディスプレイ構成要素でよい。このようにすると、ユーザは、他の電子デバイスの機能を可動物体10の制御の態様に組み込むことができることがあり、これは、より柔軟で適応性のある制御方式を使用できるようにする。例えば、端末32は、メモリおよび少なくとも1つのプロセッサを有する電子デバイスと通信するように構成されることがあり、このとき、これらの制御デバイスを使用して、電子デバイスに関連する入力デバイス(例えば多機能ディスプレイ、ボタン、記憶されたアプリ、ウェブベースのアプリケーションなど)を介してユーザ入力を提供することができる。また、端末32と電子デバイスとの間の通信は、ソフトウェア更新パッケージおよび/または他の情報を受信し、次いで(例えば通信システム20を介して)制御装置22に通信できるように構成されることもある。
望みであれば、端末32を介して受信された入力を可動デバイス10の所望のまたは実際の動きに関係付ける他の制御規則が使用されることもあることに留意されたい。
図3に示されるように、制御装置22は、1つまたは複数の構成要素、例えばメモリ52および少なくとも1つのプロセッサ54を含み得る。メモリ52は、非一時的なコンピュータ可読媒体でよく、またはそれを含んでいてよく、さらに、非一時的なコンピュータ可読媒体の1つまたは複数のメモリユニットを含むことができる。メモリ52の非一時的なコンピュータ可読媒体は、フロッピーディスク、光ディスク、DVD、CD−ROM、マイクロドライブ、および光磁気ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気または光カード、ナノシステム(分子メモリICを含む)、または命令および/またはデータを記憶するのに適した任意のタイプの媒体もしくはデバイスを含めた任意のタイプのディスクでよく、またはそれを含んでいてよい。メモリユニットは、非一時的なコンピュータ可読媒体の永久的部分および/またはリムーバブル部分(例えば、SDカードやRAMなどのリムーバブルメディアまたは外部ストレージ)を含み得る。
検知システム18からの情報およびデータは、メモリ52の非一時的なコンピュータ可読媒体に通信されて記憶されることがある。また、メモリ52に関連付けられた非一時的なコンピュータ可読媒体は、本明細書で述べる方法の任意の適切な実施形態を実施するためにプロセッサ54によって実行可能な論理、コード、および/またはプログラム命令を記憶するように構成されることもある。例えば、メモリ52に関連付けられた非一時的なコンピュータ可読媒体は、プロセッサ54によって実行されるときに、1つまたは複数のステップを含む方法をプロセッサに実施させるコンピュータ可読命令を記憶するように構成されてもよい。非一時的なコンピュータ可読媒体に記憶されている命令に基づいてプロセッサによって実施される方法は、メモリ52の非一時的なコンピュータ可読媒体に記憶されているデータまたは情報の入力、端末32から受信された入力、検知システム18から受信された入力(例えば、検知システムから直接受信されるか、またはメモリから検索される)、および/または通信システム20を介して受信された他の入力などの入力を処理することを含み得る。非一時的なコンピュータ可読媒体は、処理ユニットによって処理すべき検知モジュールからの検知データを記憶するように構成されてもよい。いくつかの実施形態では、非一時的なコンピュータ可読媒体を使用して、処理ユニットによって生成された処理結果を記憶することができる。
プロセッサ54は、1つまたは複数のプロセッサを含むことがあり、プログラム可能なプロセッサ(例えば中央処理装置(CPU))を具現化することがある。プロセッサ54は、メモリ52または別のメモリデバイスに動作可能に結合されることがあり、このメモリは、1つまたは複数の方法ステップを実施するためにプロセッサ54によって実行可能なプログラムまたは命令を記憶するように構成される。本明細書で述べる方法ステップは、メモリ52に記憶され、プロセッサ54によって実施されるように構成されることがあり、プロセッサ54によって方法ステップが実施されることに留意されたい。
いくつかの実施形態では、プロセッサ54は、転換モジュール56および追跡制御モジュール58など1つまたは複数の制御モジュールを含むことがあり、および/または代替としてそのような1つまたは複数の制御モジュールに動作可能に結合されることがある。これについては、以下でより詳細に説明する。転換モジュール56は、入力、コマンド、および他の信号などの情報を、ある観点(例えばユーザの観点または可動物体10の観点など)から別の観点(例えば、上記観点とは別の、ユーザの観点、可動物体10の観点、または他の観点)に転換する方法を制御するように構成されてもよい。追跡制御モジュール58は、6自由度(例えば、その座標軸に沿った3つの並進方向と、その座標軸の周りでの3つの回転方向)に関して可動物体10の空間的配置、速度、および/または加速度を調整するために可動物体10の推進デバイス12を制御する助けとなるように構成されてもよい。転換モジュール56および追跡制御モデル58は、図6に示されるようにプロセッサ54で実行するためのソフトウェアとして実現されても、プロセッサ54とは別個のハードウェアまたはソフトウェア構成要素(図示せず)として実現されてもよい。
プロセッサ54は、通信システム20に動作可能に結合して、1つまたは複数の外部デバイス(例えば端末32、ディスプレイデバイス46、または他のリモートコントローラ)からデータを送信および/または受信するように構成することができる。有線通信または無線通信など任意の適切な通信手段を使用して、制御装置22との間でデータおよび情報を転送することができる。例えば、通信システム20は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、Wi−Fi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などの1つまたは複数を利用することができる。任意選択で、タワー、衛星、または移動局などの中継局を使用することができる。無線通信は、近接依存性でも近接独立性でもよい。いくつかの実施形態では、通信のために視線が必要とされることも、必要とされないこともある。通信システム20は、検知システム18からの検知データ、プロセッサ54によって生成された処理結果、所定の制御データ、端末32またはリモートコントローラからのユーザコマンドなどの1つまたは複数を送信および/または受信することができる。
制御装置22の構成要素は、任意の適切な構成で配置することができる。例えば、制御装置22の構成要素の1つまたは複数は、可動物体10、支持機構16、搭載物14、端末32、検知システム18、または上記の1つもしくは複数と通信する追加の外部デバイスに位置させることができる。いくつかの実施形態では、1つまたは複数のプロセッサまたはメモリデバイスは、可動物体10、支持機構16、搭載物14、端末32、検知システム18、上記の1つまたは複数と通信する追加の外部デバイス、またはそれらの適切な組合せなど、様々な位置に配置することができ、それにより、システムによって実施される処理および/またはメモリ機能の任意の適切な態様が前述の位置の1つまたは複数で行われ得る。
可動物体10の飛行挙動は、定義された座標系で理解されて制御されることがある。例えば、図4Aは、可動物体10の観点からの動きを記述するために可動物体10に対して定義された局所座標系を示す。局所座標系は、X軸(例えば第1の水平軸)、Y軸(例えば第2の水平軸)、およびZ軸(例えば垂直軸)など、3つの軸を含み得る。可動物体10の動きは、ロール、ピッチ、ヨー、水平並進(例えば左、右、前、後ろなど)、垂直並進(例えば高さまたは高度)、水平速度、垂直速度、回転速度(例えば角度方向、径方向、接線方向、軸方向など)、および加速度(例えば水平、垂直、回転など)を含み得る。局所座標系の各軸は、1つまたは複数の特定の位置または運動パラメータと関連付けられることがあり、パラメータは、可動物体10の効果的な制御を容易にするために飛行中に変更または調整されることがある。
例えば、図4Aの例示的な局所座標系では、X軸、Y軸、およびZ軸の各軸は、それぞれの軸に沿った、またはそれぞれの軸の方向での並進運動および直線変位、ならびにそれぞれの軸周りでの回転運動および角度変位に関連付けられることがある。図4Aの例では、X軸はピッチ軸と呼ばれることもあり、ピッチ軸の周りで可動物体10がピッチ回転運動(例えば、可動物体10の前部または後部の一方を上方に傾け、他方を下方に傾けようとする動き)を受けることがあり、さらに、ピッチ軸に沿って可動物体10が横方向(例えば左または右)並進運動を受けることがある。Y軸はロール軸と呼ばれることがあり、ロール軸の周りで可動物体10がロール回転運動(すなわち、可動物体10の左側または右側の一方を上に傾け、他方を下に傾けようとする動き)を受けることがあり、さらに、ロール軸に沿って可動物体10が前後並進運動を受けることがある。Z軸はヨー軸と呼ばれることがあり、ヨー軸の周りで可動物体10がヨー回転運動(すなわち、X軸およびY軸によって定義される平面上での回転運動またはその平面に平行な回転運動)を受けることがあり、さらに、ヨー軸に沿って可動物体10が上下(すなわち垂直または高さ方向)の並進運動を受けることがある。より多数もしくはより少数の軸、または異なる軸の規則が使用されることもあることを当業者は理解されよう。また、方向および平面に関する記述(例えば、横、前後、上下、水平、垂直など)は、単に例示および明瞭化のために使用されているにすぎず、限定するものではないことにも留意されたい。
従来、可動物体10の飛行の制御には、特定の軸に沿った速度、ピッチの量および方向、ヨーの量および方向など、可動物体10の局所座標系における飛行パラメータの制御が必要である。端末32は、ユーザが局所座標系に関する飛行パラメータを制御するための制御メカニズムを含み得る。
例えば、図2Aおよび2Bを参照すると、端末32の第1の入力レバー38は、可動物体10の動きを制御する1つまたは複数の態様を示す1つまたは複数のユーザ入力を受信するように構成されてもよい。可動物体10の動きを制御する態様は、飛行制御態様および搭載物制御態様を含み得る。飛行制御態様は、可動物体によって実現可能な飛行の1つまたは複数の態様の制御を含み得る。例えば、飛行制御態様は、可動デバイス10の所望の並進運動、所望の回転運動、所望の速度、および所望の加速度を含み得る。所望の並進運動は、ユーザの観点、可動物体10の観点、基準観点、または異なる観点に対する所望の垂直運動または水平運動を含み得る。所望の回転運動は、ある観点(例えばユーザの観点、可動物体10、基準観点など)に関連付けられる座標系の1つまたは複数の軸の周りでの可動物体10の所望の回転運動を含み得る。すなわち、ある観点に関連付けられる座標系の軸の周りでの回転に加えて、所望の回転運動は、静止または可動の物体またはターゲットに関連付けられる基準点の周りでの運動を表すこともある。
一実施形態では、第1の入力レバー38は、可動物体10の1つまたは複数の所望の並進運動または回転運動に対応する1つまたは複数の入力を受信するように構成されてもよい。例えば、第1の入力レバー38は、複数の方向に変位されるように構成された制御スティックなどの多軸制御デバイスでよく、各方向は、所望の運動を示すコマンドのタイプおよび符号(例えば、正、負、前、後ろなど)に対応する。中立位置からの第1の入力レバー38の変位量が、対応する所望の動きの度合いまたは大きさを示すことがある。例えば、一実施形態では、第1の入力レバー38は、ユーザの観点から前方向、後方向、左方向、および右方向に可動(例えば傾動可能)でよい。前方向および後方向への変位は、可動デバイス10の動きを知覚、記述、または定義するための座標系の第1の軸に沿った所望の動きに対応することがある。例えば、前方向への変位は、前方向への所望の直線運動を示すことがあり、後方向の変位は、後方向(すなわち逆方向)への所望の直線運動を示すことがある。追加または代替として、前方向への第1の入力レバー38の変位は、可動デバイス10のピッチ軸の周りでの可動デバイス10の所望の回転運動に対応することがある。例えば、前方向への変位は、第1の回転方向への所望の回転運動を示すことがあり、後方向への変位は、第2の(すなわち逆の)回転方向への所望の回転運動を示すことがあり、これらの回転運動はどちらも可動物体10のピッチ軸の周りである。前方向または後方向への第1の入力レバー38の変位の量または度合いは、第1の軸に沿った所望の直線速度もしくは加速度、および/または第1の軸の周りでの所望の回転速度もしくは加速度を示すこともある。他の制御規則が使用されてもよく、また、より多数のまたは異なる数の入力デバイスに制御機能が分割されてもよいことを当業者は理解されよう。
左右(すなわち横)方向への第1の入力レバー38の変位は、可動デバイス10の動きを知覚、記述、または定義するための座標系の第2の軸に沿った所望の動きに対応することがある。例えば、右(すなわち第1の側)方向への変位は、右(すなわち第1の側)方向への所望の直線運動を示すことがあり、左方向への変位は、左(すなわち逆側または第2の側)方向への所望の直線運動を示すことがある。追加または代替として、左右方向への第1の入力レバー38の変位は、そのロール軸の周りでの可動デバイス10の所望の回転運動に対応することもある。例えば、右方向への変位は、第1の回転方向への所望の回転運動を示すことがあり、左方向への変位は、第2の(すなわち逆の)回転方向への所望の回転運動を示すことがあり、これらの回転運動はどちらも可動物体10のロール軸の周りである。前方向または後方向への第1の入力レバー38の変位の量または度合いは、第2の軸に沿った所望の直線速度もしくは加速度、および/または第2の軸の周りでの所望の回転速度もしくは加速度を示すことがある。
端末32の第2の入力レバー40は、可動物体10の動きを制御する1つまたは複数の態様を示す1つまたは複数のユーザ入力を受信するように構成されてもよい。一実施形態では、第2の入力レバー40は、可動物体10の1つまたは複数の所望の並進運動または回転運動に対応する1つまたは複数の入力を受信するように構成されてもよい。例えば、第2の入力レバー40は、複数の方向に変位されるように構成された制御スティックなどの多軸制御デバイスでよく、各方向は、所望の運動を示すコマンドのタイプおよび符号(例えば、正、負、前、後ろなど)に対応する。中立位置からの第2の入力レバー40の変位量が、対応する所望の動きの度合いまたは大きさを示すことがある。例えば、一実施形態では、第2の入力レバー40は、ユーザの観点から前方向、後方向、左方向、および右方向に可動(例えば傾動可能)でよい。前方向および後方向への変位は、可動デバイス10の動きを知覚、記述、または定義するための座標系の第3の軸に沿った所望の動きに対応することもある。例えば、前方向への変位は、上方向への所望の直線運動を示すことがあり、後方向の変位は、下方向(すなわち逆方向)への所望の直線運動を示すことがある。追加または代替として、前方向または後方向への第2の入力レバー40の変位は、推進デバイス12の所望の動力出力レベルに対応することもある。例えば、前方向または後方向への第2の入力レバー40の変位は、所望のスロットル増加および低減にそれぞれ対応することがある。すなわち、前方向への変位は、所望のスロットル増加と所望の対応する高さまたは高度の増加との両方を示すことがあり、後方向への変位は、所望のスロットル減少と対応する高さまたは高度の低減とを示すことがある。前方向または後方向への第2の入力レバー40の変位の量または度合いは、第3の軸に沿った所望の直線速度または加速度を示すこともある。
左右(すなわち横)方向への第2の入力レバー40の変位は、可動デバイス10の動きを知覚、記述、または定義するための座標系の第3の軸の周りでの所望の回転運動に対応することがある。例えば、第2の入力レバー40の右方向への変位は、第3の軸の周りでの第1の回転方向への所望の回転運動を示すことがあり、左方向への変位は、第2の(すなわち逆の)回転方向への所望の回転運動を示すことがあり、これらの回転運動はどちらも可動物体10のヨー軸の周りである。右方向または左方向への第2の入力レバー40の変位の量または度合いは、第3の軸の周りでの所望の回転速度または加速度を示すこともある。
上述したように、特に、複雑な飛行操縦中、および/またはカメラなどの取り付けられた機器の動作をユーザが制御しなければならないときには、可動物体10の動きの様々な態様をユーザが制御するのに経験および技術が必要とされる。これは、ピッチ、ヨー、ロールなどの飛行パラメータを考えることが直観に反することであり得るという理由によるだけではなく、しばしばユーザと可動物体10の観点が互いに独立しており異なっているという理由にもよる。例えば、ユーザは、可動物体10の局所座標系のX軸と合っていない方向で可動物体10を見ているとき、効果的な制御を実現するために、頭の中で可動物体10の観点に合うように調整したり、または自分の身体および頭部を物理的に移動または回転させて可動物体10の観点に合わせたりするのに多大な労力を払わなければならないことが多い。
本開示の実施形態によれば、ユーザ制御は、ユーザの観点から提供され、受信され、解釈され、その後、図4Aに示される可動物体10の局所座標系など可動物体10の観点からの飛行制御信号に変換されることがある。このようにして、ユーザは、自分の観点でコマンド(しばしば、左旋回、右旋回、上昇、ターゲットへの接近、より速い動きなどの直観的なコマンド)を発することができ、これらのコマンドが、次いで、ピッチ、ヨー、ロール、スロットルなど、可動物体10によって理解されるコマンドに転換されることがある。端末32は、そのようなコマンドに対応するユーザ入力を受信するように構成されてもよい。端末32は、ユーザの観点でのユーザ入力を可動物体10の観点での信号に変換または転換し、可動物体10に送信することがある。代替として、端末32は、ユーザの観点でのユーザ入力を可動物体10に送信することがあり、可動物体10は、ユーザ入力を可動物体10の観点での信号に変換または転換してから、それらの信号を飛行パラメータに適用する。
いくつかの実施形態では、端末32および制御装置22は、図2A〜Bおよび図4に関連して上で論じたように、端末32を介して受信されたユーザ入力が可動物体10の観点での可動物体10の動きに直接対応する第1のモードと、端末32を介して受信されたユーザ入力がユーザの観点での可動物体10の動きに対応する第2のモードとを切り替えるように構成されてもよい。例えば、端末32は、第1または第2のモードに入るというユーザ選択を示すユーザ入力を受信するように構成されたボタン、スイッチ、ノブ、タッチスクリーンアイコン、または何らかの他のタイプの入力または入力デバイスを含み得る。レバー操作のパターンは、モード間の切替えまたはモードの選択を行うために予め定義されることもある。代替として、制御装置22は、通電されると、または飛行コマンドを示す初期ユーザ入力を受信すると、デフォルトモード(例えば、第1モードまたは第2モードのいずれか)を取ることがある。第1のモードにあるとき、制御装置22は、ユーザの観点での飛行パラメータ(例えばロール、ピッチ、ヨー、スロットルなど)を示すユーザ入力を受信し、転換することなく、可動物体10の観点での対応する飛行パラメータを示す可動物体10へのコマンドを生成するように構成されてもよい。すなわち、第1のモードでは、ユーザ入力は、可動物体10の観点での可動物体10の飛行パラメータに対する調整を示すことがある。第2のモードにあるとき、制御装置22は、ユーザの観点で可動物体10の所望の動きを生じさせるための飛行パラメータ(例えばロール、ピッチ、ヨー、スロットルなど)を示すユーザ入力を受信し、転換されたコマンドを可動物体10に生成するように構成されてもよい。これらの転換されたコマンドは、可動物体10の観点での飛行パラメータを示し、これらの飛行パラメータが、ユーザの観点からの可動物体10の所望の動きに対応する可動物体10の動きを引き起こす。すなわち、第2のモードでは、ユーザ入力は、ユーザの観点での可動物体10の飛行パラメータに対する調整を示すことがある。
本明細書で使用するとき、「観点」という用語は、可動物体10および他の物体の位置および動きが決定、観察、測定もしくは定量化、制御、または命令されることがある規則を表すことがある。例えば、可動物体10の観点は、図4Aに示される例示的な局所座標系でよく、またはそれを含んでいてもよい。局所座標系は、可動物体10の動きおよび運動コマンドを可動物体10の観点から(すなわち局所座標系に関して)知覚または定義できるようにすることがある。例えば、局所座標系は、可動物体10上の固定点(例えば可動物体10の中心点)から所定の方向(例えば、X軸およびY軸が、回転構成要素24間の中点に向かい、Z軸が、X軸およびY軸に垂直である)で定義または確立されることがあり、可動物体10の動きおよび動きに関するコマンドが、固定点および局所座標系に関して知覚、理解、特徴付け、または定義されることを可能にする。このようにして、可動物体10の動きおよび動きに関するコマンドは、基準座標系(例えばグローバル座標系、ユニバーサル座標系、測位システム座標系など)など他の座標系から独立して定義可能および理解可能であり得る。これは、他の観点または座標系に関する可動物体10の動きを直接検出するための手段が全ての状況では利用可能でないことがあるからである。
他の物体または特徴部の動きおよび位置は、局所座標系に関して可動物体10の観点から表されることもある。例えば、人物、風景の特徴部、車両、建物など他の物体の相対位置(例えば距離、向きなど)および相対運動(例えば速度、加速度、回転など)が、局所座標系に関する可動物体10の観点から表されることがある。このようにすると、局所座標系を使用して、他の物体に対する可動物体10の相対位置、相対速度、および/または相対加速度の所望の変化を実現するように可動物体10に命令するための制御信号を生成することができる。
可動物体10を動かすためのコマンドは、ユーザなど任意の適切な提供源から受け取ることができ、その提供源は、それ自体または他の物体に対する可動物体10の位置および動きの独自の観点を有することがある。代替として、可動物体10を動かすためのコマンドは、ユーザまたは別のコマンド提供源に関連付けられた基準観点から受信されることもある。
例えば、図4Bを参照すると、可動物体10の動き制御に関連する他の観点は、操作者またはユーザの観点、搭載物14の観点、および/または他の観点を含み得る。例えば、図4Bに示されるように、ユーザの観点は、ユーザ座標系でよく、またはそれを含んでいてもよい。ユーザ座標系は、3軸座標系(例えば、X’軸、Y’軸、Z’軸)でよく、局所座標系と同様であるが、ユーザの視点から定義されていることがあり、これは、可動物体10の位置および動き(ならびに位置および動きを変えるためのコマンド)を、ユーザの観点に関して知覚、理解、特徴付け、または定義できるようにすることがある。このようにして、可動物体10の動きおよび動きに関するコマンドは、他の座標系および観点とは独立して定義可能および理解可能であり得る。ユーザの視点および観点、ならびにユーザ座標系は、操作者ステーション(例えば制御端末、ユーザ入力を受信するための入力デバイス、操作者の座席、操作者によって使用されるリモートコントローラなど)またはユーザでの固定点など、ユーザの態様に関して定義または確立されることがある。
他の観点は、基準座標系に関連付けられた基準観点を含み得る。基準観点は、可動物体10の動きの制御に関与する人員、機器、または他の物体に関連付けられることがある。例えば、基準観点は、管理または制御施設の観点、制御プロセスを実施するために使用されるサーバもしくはコンピュータの観点、または測位システムまたは測位デバイス(例えばGPSデバイス)など動き制御プロセスで使用される感知デバイスの観点でよい。他の基準観点も可能であり得て、上述した観点に限定されないことを理解されたい。
やはり図4Bに示されているように、他の観点は、搭載物14、支持機構16、またはそこに取り付けられたセンサデバイス19の観点を含むことがあり、これらは、本開示の簡潔性および便宜性のために、搭載物観点と呼ぶことがある。搭載物観点は、搭載物座標系に関連付けられることがある。搭載物座標系は、3軸(例えば、Xvis、Yvis、Zvis)を有することがあり、局所座標系と同様であるが、搭載物14、支持機構16、またはそこに取り付けられた感知デバイス19の視点から定義されていることがあり、これは、可動物体10の位置および動き(ならびに位置および動きを変えるためのコマンド)を、搭載物の観点に関して知覚、理解、特徴付け、または定義できるようにすることがある。
搭載物観点は、搭載物14またはその構成要素(例えば支持機構16もしくは感知デバイス19)が可動物体10に対して移動するときには常に、可動物体10の観点とは異なる(すなわちオフセットされている)ことがある。図5A〜5Cを参照すると、搭載物14が可動物体10に直接固定されているとき(すなわち、支持機構16がないか、支持機構16が固定向きである)、搭載物14の観点(例えば3軸Xvis、Yvis、およびZvisで定義された搭載物観点座標系での観点)は、可動物体10の観点と同じであり得る。代替として、搭載物14は、搭載物14の観点と可動物体10の観点との間の既知のまたは決定可能な(例えば測定可能または計算可能な)固定オフセットが存在し得るように可動物体10に直接取り付けられることがあり、これにより、可動物体10の動きおよび動きに関するコマンドと、搭載物14から知覚される動きとの単純な関係性が実現され得る。例えば、図5Aに示されているように、搭載物14は、可動物体10が飛行中に傾けられたとき、可動物体10と共に第1の軸の周りで回転することがある。同様に、図5Bに示されているように、搭載物14は、可動物体10が飛行中に回転されるとき、可動物体10と共に第2の軸の周りで回転することがある。さらに、図5Cに示されているように、搭載物14は、物体10が飛行中に傾けられたときに、可動物体10と共に回転することがある。本明細書で使用するとき、(例えば第1の座標系を有する)第1の観点と(例えば第2の座標系を有する)第2の観点との相違の文脈でのオフセットは、第1の観点の少なくとも1つの態様(例えば少なくとも第1の座標系の第1の軸)と第2の観点の少なくとも1つの態様(例えば少なくとも第2の座標系の第1の軸)との角度差(すなわち角度または角度変位)を表すことがある。
調整可能な支持機構16によって搭載物14が可動物体10に取り付けられる、または接続されるとき、搭載物14の観点は可動物体10の観点に対して変化することがある。例えば、図6A〜6Cを参照すると、支持機構16は、搭載物14が搭載物座標系での1つまたは複数の軸(例えばXvis、Yvis、および/またはZvis軸)の周りで回転できるようにすることがある。例えば、図6Aに示されているように、搭載物14は、可動物体10の向きに関係なく、Xvisなど第1の軸の周りで独立して回転することがある。同様に、図6Bに示されているように、搭載物14は、可動物体10の向きに関係なく、Zvisなど第2の軸の周りで独立して回転することがある。図6Cに示されているように、搭載物14は、可動物体10の向きに関係なく、Yvisなど第3の軸の周りで独立して回転することがある。この構成では、搭載物14の軸の1つまたは複数の周りでの搭載物14の動き、および/または可動物体10の軸の周りでの可動物体10の動きと組み合わせた搭載物14の動きにより、ユーザが搭載物14の観点を高精度で調整することが可能になることがある。搭載物14の観点を正確に制御することができる能力は、プロフェッショナルな写真またはビデオ撮影などにおいて撮像データを捕捉するために、可動物体10が光学機器(例えば、写真カメラ、ビデオカメラ、センサなど)を支持するように構成されているときには特に重要であり得る。
図7を参照すると、ユーザは、可動物体10の動きを制御して観察することが可能であり得る第1の位置に位置することがある。可動物体10は、ターゲットの周りを旋回しながら、ターゲットを追跡して、ターゲットのビデオまたは写真を捕捉していることがある。大半の時間、可動物体10の観点(すなわち可動物体10の局所座標系)は、ユーザの観点(すなわちユーザ座標系)からオフセットされている。例えば、前方並進運動を指示するためにユーザによって入力されたコマンドは、可動物体10の観点での可動物体10の前方並進運動を引き起こし、それにより可動物体10がターゲットに近付くが、そのような動きは、ユーザの観点では必ずしも前方並進運動として現れない。すなわち、ユーザの観点と可動物体10の観点とにオフセットがある場合、実際に可動物体10の観点で特定の方向への動きを引き起こすようにユーザによって生成される方向コマンドは、ユーザによって知覚されるとき、直観に反して、ユーザが期待していたのとは異なる方向への動きを引き起こすものになる。
図8および9A〜9Bは、座標系間のオフセットによって引き起こされるユーザの期待と知覚との不一致を示す助けとなる。図8は3つの座標系を示し、各座標系が他の座標系からのオフセットを有する。全ての軸が位置合わせされると、1つの座標系からの知覚が他の座標系からの知覚と同じになり、これは、第1の座標系で生成されたコマンドが、他の座標系でも、第1の座標系から知覚されるのと同じ可動物体10の動きを生成できるようにすることができる。しかし、座標系が互いにオフセットされているとき、(例えばユーザ座標系の正のX方向への)第1の座標系の軸に沿った動きを引き起こすためのコマンドは、別の座標系に対する異なる方向(例えば局所座標系での正のX方向)への動きを発生することがある。高速ペース中および/または複雑な飛行操縦中、ユーザの観点からの動きの知覚を、可動物体の観点からの最終的な動きと一致させることは困難であり得る。
図9Aに示されるように、ユーザ座標系と可動物体10の局所座標系とが位置合わせされるとき、可動物体10の座標系での最終的な動きがユーザ座標系での所望の動きと一致する。しかし、ユーザ座標系と可動物体10の局所座標系がオフセットされているとき、ユーザのコマンドは、ユーザが自分の観点で望むものとは異なる方向に可動物体10を移動させることがある。所望の動きと知覚される最終的な動きとの差は、ユーザの観点と可動物体10の観点との間のオフセットの度合いと共に変化する。
本開示の実施形態によれば、特にユーザの観点が可動物体の観点からオフセットされている状況において、飛行中の可動物体10の所望の動きをユーザが実現する助けとなるように、制御装置22は、ユーザ入力をユーザの観点から可動物体10の観点に転換するように構成されてもよい。例えば、図9Bを参照すると、可動物体10がヨー軸に沿って動くまたはヨー軸の周りで回転するための信号など、端末32からの信号80は、ユーザの観点からのもの、すなわちユーザ座標系でのZ’軸に沿った信号と仮定される。制御装置22は、信号80を可動物体10の観点に転換し、局所座標系のX軸、Y軸、およびZ軸に沿って3つの成分80−X、80−Y、および80−Zをそれぞれ生成する。次いで、それら3つの成分は、X軸、Y軸、およびZ軸に沿った対応する動きを命令するため、またはそのような動きを引き起こすために使用されることがある。
端末32でのユーザ入力をユーザの観点からのものであると仮定し、ユーザ入力を可動物体10の観点に転換することによって、本開示の実施形態による制御装置22およびシステムは、ユーザが2つの観点の間の任意のオフセットを無視し、自分の観点からの可動物体10の所望の動きを示すだけでよくなるようにする。例えば、ユーザは、可動物体10を自分の観点から上方および前方へ(すなわち上へ、かつ離れるように)動かすことを望む場合、端末32でのピッチスティックを単に傾ければよい。従来、端末32でのこのユーザ入力は、可動物体10の観点でピッチ方向に動かすためのコマンドとして可動物体10によって受信される。制御装置22による転換によって、動きが実際に、可動物体10の観点でのヨー、ロール、またはピッチ方向のいくつかまたは全てにおける動きを含むことがあるときに、可動物体10は、可動物体10がユーザの観点を取っているかのようにユーザの観点から上方および前方に動く。
制御装置22は、例えば、ユーザ入力の行列表現(すなわちユーザ座標系に関する)を構成し、その行列を、ユーザの観点と可動物体10の観点との間のオフセットに基づいてユーザ入力のコマンド行列表現(すなわち局所座標系に関する)に変換することによって、行列変換によって2つの観点間の転換を行うことがある。
ユーザの観点と可動物体の観点との差またはオフセットは、いくつかのやり方で決定されることがある。一例では、図10に示されるように、制御装置22は、基準方向に対する各軸それぞれの方向を示す1つまたは複数の入力に基づいて、ユーザ座標系の少なくとも1つの軸の方向および局所座標系の少なくとも1つの軸の方向を決定するように構成されてもよい。例えば、制御装置22は、可動物体の局所座標系の第1の軸の方向を示す第1の方向信号を受信するように構成されてもよい。制御装置22は、コンパス、測位デバイス、または慣性測定ユニットなど第1の方向指示器から第1の方向信号を受信することがある。
図10に示されるように、第1の方向指示器60は、可動物体10上または内部に、制御装置22と通信するように位置決めされることがある。方向指示器60は、基準方向(例えばコンパス方位または他の基準方向)を示す信号を生成し、その基準方向を制御装置22に通信するように構成されてもよい。制御装置22は、基準方向が局所座標系の第1の軸の方向であると決定し、さらなる処理のためにその方向をメモリに記憶するように構成されてもよい。
制御装置22は、ユーザ座標系の第1の軸の方向を示す第2の方向信号を受信するようにさらに構成されてもよい。制御装置22は、コンパス、測位デバイス、または慣性測定ユニットなど第2の方向指示器から第2の方向信号を受信することがある。図10にも示されているように、第2の方向指示器62は、ユーザが位置して可動物体の動きを制御することが可能になり得る任意の位置に位置決めされることがある。例えば、第2の方向指示器62は、端末32上または内部に、(例えば通信システム20を介して)制御装置22と電子通信するように位置されることがある。第2の方向指示器62は、第2の基準方向(例えばコンパス方位または他の基準方向)を示す信号を生成し、第2の基準方向を制御装置22に通信するように構成されてもよい。制御装置22は、基準方向がユーザ座標系の第1の軸の方向であると決定し、さらなる処理のためにその方向をメモリに記憶するように構成されてもよい。
制御装置22は、第1の方向指示器60によって示された第1の基準方位と、第2の方向指示器62によって指示された第2の基準方位との数学的比較を行って、可動物体10の局所座標系とユーザ座標系との間のオフセットを決定するように構成されてもよい。このようにして、制御装置は、ユーザの観点で(すなわちユーザ座標系に関して)生成されたコマンドと、そのコマンドに基づくユーザの観点での可動物体10の最終的な動きとの間の方向的(例えば角度)オフセットを決定することが可能であり得る。次いで、観点変換を使用して、ユーザの観点で生成されたコマンドにこのオフセットを適用して、可動物体10の観点での対応するコマンドを得ることができる。
同様のメカニズムが可動物体10および端末32に含まれることがあり、それぞれの座標系の2つの他の軸を識別し、それぞれ対応する軸どうしの差またはオフセットを制御装置22が決定できるようにする。
3次元オフセットが決定されると、制御装置22は、そのようなオフセットを表すために以下のような変換行列を生成することがある。
次いで、制御装置22は、端末32でのユーザ入力rを行列変換によって変換して、可動物体10の観点での信号sを生成する。
S=T・r [2]
ここで、rとTは共に3次元信号である。
上述した転換または変換は、ユーザが端末32で入力する信号またはコマンドの性質、すなわちユーザが可動物体10に並進運動を行わせたいか、それとも回転運動を行わせたいかを考慮に入れることもできる。
図11は、可動物体10の観点とユーザの観点との間のオフセットを決定するための別の例示的実施形態を示す。図11に示される例では、制御装置22は、測位システム64からの入力に基づいて、可動物体10の観点とユーザの観点との間のオフセットを決定するように構成されてもよい。制御装置22は、(例えば通信システム20を介して)測位システム64と通信し、基準座標系に関する可動物体10およびユーザ観点の基準点(例えば端末32)の位置を追跡するように構成されてもよい。すなわち、ユーザの観点の基準点と可動物体10とはそれぞれ、測位デバイス66を含むことがあり、測位デバイス66は、測位システム64によって使用可能な測位信号を受信および/または生成して、可動物体10およびユーザ観点の基準点(例えば端末32)の位置および/または動きを決定するように構成される。
測位システム64は、可動物体10およびユーザ観点の基準点(例えば端末32)の位置を制御装置22に通信するように構成されてもよい。この情報を使用して、制御装置22は、向き決定プロセスを実施することがあり、ここで、可動物体10の飛行パラメータ(例えばロール、ピッチ、およびヨーに関するコマンド信号)がテストされて、可動物体10が、方向的に基準座標系に関して、可動物体10の観点で(すなわち局所座標系で)受信されたコマンドにどのように応答するかを決定する。向き決定シーケンスの結果により、制御装置22は、基準座標系に対する局所座標系の少なくとも1つの軸の方向を決定することが可能になることがある。ユーザ座標系の第1の軸の方向は仮定されることがあり、または始めに測位システム64の追跡構成要素と位置合わせされることがあり、ユーザ座標系の第1の軸の方向を制御装置22が理解できるようにする。ここで、制御装置22は、上述したのと同様に、局所座標系とユーザ座標系との差(例えば角度差)を決定することが可能になることがある。
2つの座標系の間のオフセットを決定するために可動物体10の局所座標系およびユーザ座標系の少なくとも1つの軸の方向を決定する別の例示的な方法は、まず2つの座標系を位置合わせし、それらの座標軸のその後の動きを単一の座標系で追跡することを含む。例えば、飛行操作の開始時に、ユーザは、自分の観点を、可動物体10の局所座標系の少なくとも1つの軸の既知の方向と位置合わせすることがある。例えば、ユーザは、飛行の開始前に可動物体10の前、後ろ、または近くに立って、可動物体の既知の軸方向に自分の向きを合わせることがある。次いで、ユーザは、位置合わせ較正を示す入力(例えばボタン42)を提供するか、または単に可動物体10を操作し始めることがある。この時点で、制御装置22は、慣性測定ユニットなどの方向指示器に基づいて、飛行中の局所座標系の各方向での可動物体の動きを追跡し始めることがある。方向指示器からの信号を使用して、制御装置は、飛行開始時の初期位置に対する局所座標系の少なくとも1つの軸の角度変位を決定できることがある。この差は、局所座標系の少なくとも1つの軸の現在の方向を示すことがある。このようにして、制御装置は、ユーザ座標系が飛行開始時または較正時に依然として初期方向と位置合わせされていると仮定して、初期方向と現在の方向との差が局所座標系とユーザ座標系との間のオフセットであると判断するように構成されてもよい。
追加または代替として、本開示の実施形態は、必ずしも多軸ユーザ座標系に関してユーザ入力を提供するのではなく、可動物体10が向いている方向に関係なく、ユーザの観点から例えば可動物体10が左または右に旋回するための自然コマンドを提供することができる。制御装置22は、ユーザの要求に対応する飛行挙動の変化をもたらすために、そのようなユーザコマンドを、可動物体10の観点、例えばその局所座標系への信号に転換するように構成されてもよい。例えば、より高い高度を望むユーザ入力は、可動物体10のヘッドが上に旋回するためのピッチコマンドに転換されることがある。しばしば、ターゲット追跡の場合など、ユーザ入力は、ピッチ、ヨー、速度変化など直線運動および/または回転運動の何らかの組合せに転換される。
ターゲット追跡は、監視および映画撮影またはビデオ撮影など、動いているターゲットを可動物体10に積載されたカメラが撮影する多くの状況で有用であり、可動物体10は、ターゲットに追従し、時としてターゲットの周りを動いて、カメラに異なる視野角を与えることができなければならない。特に、プロフェッショナルな映画撮影およびビデオ撮影では、ターゲット追跡は、ユーザが可動物体10の飛行の制御にだけ関わればよく、可動物体10が自動的にターゲットに追従して、撮影のためにターゲットが視野内に位置することを保証するという利点を提供し、より正確な飛行制御、したがってより高品質の撮像結果(例えば写真やビデオ)を提供する。
制御装置22は、飛行中にターゲットを識別および/または追跡するために、検知システム18からの入力を利用するように構成されてもよい。飛行中にターゲットを追跡することは、ターゲットおよび/または可動物体10が動いている間でさえ、ターゲットを識別し、可動物体の視野内にターゲットを維持することを含み得る。可動物体10の追跡ビュー内でターゲットを維持するには、可動物体10が、(可動物体10または搭載物14の観点で)ターゲットを見失わないようにその飛行パラメータを自動的に調整し、それと同時に、これらの追跡運動を、(ユーザの観点または別の基準観点から)ユーザによって命令された可動物体10の所望の動きと一致させることを必要とする。
例えば、図12を参照すると、ターゲット追跡中、ユーザは、可動物体10を位置決めしてターゲットの所望の知覚を実現し、その後、飛行追跡を使用してその知覚を維持することがある。可動物体10を所望の知覚に合うように位置決めするために、ユーザは、まず可動物体10の飛行をターゲットに対して望ましい位置に制御し、次いでターゲットの追跡の開始を可動物体10に命令することがある。次いで、可動物体10は、その飛行パラメータを自動的に調整して、ターゲットを視野内に維持する。ターゲット追跡を実現および維持するための飛行パラメータは、ターゲットに対する可動物体の相対位置(例えば直線位置や角度位置など)、速度(例えば直線速度や角速度など)、および加速度(例えば直線加速度や角加速度など)を含み得る。いくつかの実施形態では、所望の飛行パラメータがユーザ指定されることがある。例えば、制御装置22は、端末32を介してユーザから1つまたは複数の入力信号を受信するように構成されることがあり、これらの信号は、飛行追跡中にターゲットに対して維持する可動物体10の相対高さおよび距離を示すことがある。他の実施形態では、上述したように、ユーザは、単に、ターゲットの所望の知覚を可動物体10に与えるように可動物体を位置決めし、ターゲットをその知覚から追跡する旨の要望を示す入力を提供することがある。
ターゲット追跡に関するユーザから制御装置22によって受信された入力は、ユーザの観点から受信されることがあり、次いで、上で論じた例示的なプロセスに従って可動物体10の観点に転換されて、制御信号が生成されることがあり、これらの制御信号により、可動物体10は、ユーザによって望まれる所望の運動特性(例えば速度や加速度など)で所望の位置からターゲットを追跡する。可動物体10がターゲットを追跡している間、ユーザは、可動物体10とターゲットとの相対距離、相対速度、または相対加速度など1つまたは複数の追跡パラメータを変更し、端末32を介してコマンドを生成して、ユーザの観点からそのような変更をもたらすことを望むことがある。そのようなコマンドは、ユーザによって望まれる可動物体10または搭載物14(例えば支持機構16や感知デバイス19など)の観点の変化に対応することがある。制御装置22は、ユーザの観点から、可動物体10または搭載物14の観点の所望の変化を示すコマンドを受信し、上で論じた例示的なプロセスに従ってコマンドを可動物体10の観点に転換して、制御信号を生成するように構成されることがあり、これらの制御信号により、可動物体10は、ユーザによって望まれる観点からターゲットを追跡する。
いくつかの実施形態では、制御装置22は、可動デバイスの現在の知覚で追跡を開始する旨の指示として、端末32のボタン42などの入力デバイスから入力信号を受信するように構成されてもよい。他の実施形態では、ターゲット追跡は、電源投入、ある動作時間の経過、追跡可能なターゲットの存在の標示、または任意の他の適切な入力など、他の因子に基づいて制御装置22によって自動的に開始されることがある。
ターゲット追跡中、制御装置22は、ターゲットを追跡するために、すなわち可動物体によるターゲットの知覚を維持するために、飛行パラメータ(例えばロール、ピッチ、ヨー、スロットルなど)に必要な調整を行うように構成されてもよい。ターゲットの知覚は、可動物体とターゲットとの間の1つまたは複数の所定の相対パラメータに対応する1つまたは複数の知覚パラメータによるターゲットの特徴付けを表すことがある。所定の相対パラメータは、例えば、可動物体10と基準点または基準物体(ターゲット、地面、または他の物体など)との間の相対位置パラメータおよび相対回転パラメータを含み得る。相対位置パラメータおよび相対回転パラメータは、可動物体10とターゲットとの間の相対距離(例えば直線距離、径方向距離、角度距離、垂直距離、水平距離など)と、可動物体10とターゲットとの間の相対速度(例えば直線速度、軸方向速度、径方向速度、接線方向速度、および角速度など)とを含み得る。
知覚を特徴付けるための知覚パラメータは、ターゲットを知覚するためにどのような方法が使用されるかに応じて異なることがある。例えば、図13に示されているように、制御装置22は、測位システム64から知覚パラメータを示す信号を受信するように構成されてもよい。制御装置22は、測位システムから、ターゲットおよび可動物体10の位置を示す信号を常に受信するように構成されてもよい。制御装置22は、可動物体10の知覚される位置とターゲットの知覚される位置とを常に比較して、例えば、可動物体10とターゲットとの間の相対距離、可動物体間の相対速度、および/または他の相対パラメータを常に決定するように構成されてもよい。
他の実施形態では、ターゲットの知覚を特徴付けるための知覚パラメータは、コンピュータビジョンシステムを使用して決定されることがある。例えば、図14Aに示されているように、可動物体は、支持機構16によって支持された撮像デバイス68を含み得る。撮像デバイス68は、ターゲットを識別および追跡するためにターゲットの光学データを生成するように構成されてもよい。例えば、撮像デバイス18は、カメラまたはビデオカメラなどの光学デバイスでよい。撮像デバイス68は、ターゲットの高さまたは幅など、ターゲットの1つまたは複数の特徴を示す撮像データを生成するように構成されてもよい。制御装置22は、画像解析器70を含むことがあり、または画像解析器70と通信することがあり、画像解析器70は、撮像データの反復を解析して、ターゲットの特徴を識別し、この特徴を、可動物体10とターゲットとの間の相対パラメータを決定するために使用することができる。例えば、画像解析器70は、ターゲットの周りにバウンディングボックス72を確立し、バウンディングボックス72の態様がどのように変化するかを監視するように構成されてもよい。例えば、図14Aに示されているように、バウンディングボックス72は、第1の撮像反復において画像ウィンドウ74の中心付近で始まることがある。図14Bに示されている第2の撮像反復で、画像解析器70は、画像ウィンドウ74内のバウンディングボックス72の位置が水平方向に量ΔPxおよび垂直方向に量ΔPyだけ動いたと判断することがある。この情報に基づいて、画像解析器70は、可動物体10とターゲットとの間の水平距離が変化したと判断し、その方向を決定するように構成されてもよい。さらに、画像解析器70は、バウンディングボックス72の高さHおよび幅Wの変化を観察して、可動物体10とターゲットとの間の相対高さが変化したかどうかを判断するように構成されることもある。
図15Aに示されているように、画像解析器70は、バウンディングボックス72の幅Wおよび高さHの変化を検出し、可動物体10とターゲットとの間の相対距離の変化を決定するように構成されることもある。例えば、図15Bに示されているように、可動物体10がターゲットに近付くにつれて、バウンディングボックス72のサイズは、幅Wおよび高さHが増加することがある。また、画像解析器70は、バウンディングボックス72の特徴の変化率を決定して、可動物体10とターゲットとの間の相対速度を決定するように構成されることもある。
図15Aおよび15Bは、可動物体10の観点からのターゲットの例示的な知覚を示す。すなわち、画像ウィンドウ74内の特定の位置にあり、特定の寸法(例えば幅Wおよび高さH)を有するバウンディングボックス72は、可動物体10の観点からのターゲットの現在の知覚を示すことがある。また、ターゲットの現在の観点は、ターゲットに対する可動物体の相対直線速度、相対径方向速度、相対接線方向速度、および相対角速度を含むこともあり、これらの相対速度は、時間に対するバウンディングボックスパラメータの変化によって決定される。可動物体10の観点からのターゲットの知覚が変化しないとき、画像解析器70は、可動物体10とターゲットとの間の全ての相対パラメータが一定であり、したがって現時点で可動物体10が所望の追跡パラメータでターゲットを追跡していると判断するように構成されてもよい。
可動物体10の観点からのターゲットの現在の知覚を維持するために、制御装置22は、知覚の変化が検出されたときに、飛行パラメータ(例えばロール、ピッチ、ヨー、スロットルなど)を調整するための1つまたは複数の制御信号を自動的に生成するように構成されてもよい。一例では、制御装置22は、所望の飛行パラメータが実現されるように制御信号を生成して直接適用するように構成されてもよい。この例では、制御装置22は、単に、所望の観点を可動物体10に好適に実現させるコマンドを生成することがある。この方法は、「ブルートフォース(brute force)」法と呼ばれることがある。この状況では、可動物体10とターゲットとの間のより長い追跡距離を示すユーザ入力は、例えば、ある期間にわたって可動物体がターゲットから離れるように飛行するための飛行制御信号に転換され、次いで、所望の距離が実現されると、以前の飛行パターンに回復されることがある。
別の例では、図16に示されているように、制御装置22は、飛行パラメータのフィードバック制御を使用して、可動物体10の観点からのターゲットの現在の知覚を維持するとともに、飛行パラメータ調整中により滑らかな動きおよび継続的な追跡を可能にするように構成されてもよい。例えば、画像解析器70は、撮像デバイス68から撮像データを受信し、可動物体10とターゲットとの間の現在の相対距離D1を決定することがある。制御装置22は、現在の相対距離D1を初期相対距離D0と比較することができる。初期相対距離D0は、所望の相対距離または前回の反復からの相対距離でよい。フィードバック制御装置76は、初期相対距離D0と現在の相対距離D1との間に差があるかどうかを決定するように構成されてもよい。これら2つの相対距離が同じであるとき、可動物体10は正しい距離で追従しており、飛行パラメータの変更は必要ない。差がある場合、フィードバック制御装置76は、相対距離の方向での可動物体10に関する制御速度VCyを決定して、現在の相対距離を初期相対距離に合致するように調整するように構成されてもよい。
フィードバック制御装置76は、任意の適切なフィードバックプロセスを使用してフィードバック制御を実施するように構成されてもよい。例えば、フィードバック制御装置は、比例制御(P)、積分制御(I)、微分制御(D)、比例積分制御(PI)、または比例積分微分制御(PID)を実施するように構成されてもよい。追加または代替として、フィードバック制御装置76は、1つまたは複数の数学的フィルタを適用して、フィードバック制御プロセスを実施または強化するように構成されることもある。他のまたは追加のフィードバック制御およびフィルタリングプロセスが使用されることもあることを理解されたい。
作動システム78は、フィードバック制御装置76によって決定された制御速度を実現するための1つまたは複数のアクチュエータへの運動制御信号を生成するように構成されてもよい。作動システム78によって生成された制御信号は、ピッチなどの飛行パラメータを制御して、可動物体をターゲットに近付けたり遠ざけたりさせて初期相対距離を実現することがある。このプロセスは、初期または所望の距離が実現されるまで何度も繰り返されることがある。
図16に示して上述したプロセスは、相対距離D0に加えて、相対高さ、相対径方向距離、相対軸方向距離、相対角度変位、相対直線速度、相対径方向速度、相対接線方向速度、相対垂直速度など他の追跡制御パラメータに関して行われることもあることに留意されたい。追跡制御パラメータの1つにおいて初期値と現在値との間または所望の値と現在値との間に差が検出されるときは常に、図16に示されているフィードバックプロセスは、初期パラメータと現在パラメータとの差を減少するために可動物体10に関する適切な飛行パラメータ(正しい方向への、または正しい軸の周りでの並進速度および/または回転速度など)を決定し、対応する運動制御信号を可動物体10に提供して、飛行パラメータの任意の必要な調整を実現する。例えば、可動物体10の任意の運動軸に沿った(すなわち並進での)または運動軸の周りでの(すなわち回転での)所定の制御速度を実現するために、ロール、ピッチ、ヨー、およびスロットルに対する調整が行われることがある。
写真またはビデオの撮影中、ユーザが撮影の知覚を変えることを望むので、またはターゲットおよび可動物体10が動くので、ユーザは、可動物体10および可動物体10に積載されたカメラまたは他の撮像機器との位置関係、ならびに場合によってはターゲットとの位置関係も変えることがある。したがって、ユーザは、第1の知覚から次の知覚への制御された移行を行い、可動物体が次の知覚に至った後、その知覚の制御された維持を行って、高品質の撮像結果を生成し続けることを望むことがある。
一例として、ユーザは、ターゲットの知覚に近付く、すなわち可動物体10とターゲットとの間の距離を短くすることによって、知覚を変えることを望むことがある。それを行うために、ユーザは、単に、端末32の第1の入力レバー38または第2の入力レバー40などの入力デバイスを作動させて、コマンド信号を生成することがある。制御装置22は、このユーザ入力を受信し、ユーザ入力に対応する1つまたは複数の飛行パラメータを調整して所望の距離変化を実現することによって応答することがある。しかし、図16に示されているフィードバック制御プロセスは、初期または所望の距離D0(または可動物体10の視野内でのターゲットの所望の知覚)を維持するように設計される。単に可動物体10の飛行速度を変えることによって距離を調整しようとするいかなる試みも、フィードバック制御プロセスの作用によって打ち消される。
本開示の実施形態によれば、制御装置22は、追跡パラメータ(例えば以下の距離)を変えるためのユーザのコマンドに基づいて、可動物体10の観点からのターゲットの次の知覚または将来の知覚を決定するように構成されることがあり、それにより、初期または所望の追跡距離D0を調整して、フィードバック制御プロセスがユーザと協働して可動物体10を制御することを可能にする。例えば、図17に示されているように、制御装置22は、図16に関連して上述した方法と同様のフィードバック制御法を実施して、初期位置推定器80を使用して可動物体の観点からのターゲットの次の知覚または将来の知覚を決定するように構成されてもよい。初期位置推定器80は、画像解析器70からのデータおよびユーザからの入力を受信して、可動物体10の観点からのターゲットの将来の知覚がこの情報に基づくと判断するように構成されてもよい。図17に示されている例では、このプロセスにより、修正された初期または所望の距離D0が得られ、その後、フィードバック制御プロセスは、可動物体10とターゲットとの間でその修正された距離D0を維持することを試みる。
図18および19を参照すると、ユーザ入力は、端末32の第1の入力レバー38または第2の入力レバー40などの入力デバイスによって生成される信号でよい。生成された信号は、バウンディングボックス72のサイズ(例えば幅Wおよび高さH)の変化、および飛行パラメータ(例えばロール、ピッチ、ヨー、スロットルなど)の対応する最終的な変化など、ターゲットの知覚の変化に相関されることがある。このようにして、初期位置推定器80(図17)は、ターゲットの次の知覚を決定するように構成されることがあり、この知覚は、可動物体とターゲットとの間の1つまたは複数の相対パラメータ(例えば相対直線距離、相対角度変位、相対高さ、相対直線速度、相対角速度、相対径方向速度、相対垂直速度など)の次の差または所望の差に対応する。
図17を参照すると、次いで、初期位置推定器80によって決定された次の相対パラメータが、(例えばターゲットの現在の知覚に基づいて)対応する現在の相対パラメータと比較されることがあり、その差がフィードバック制御で使用されることがある。このようにして、現在の知覚と次の知覚との差は、次の相対パラメータと現在の相対パラメータとの差を生み出すことがあり、この相対パラメータの差を使用して、可動物体10を動かすための制御速度VCyを生成して、画像解析器70の画像ウィンドウ74(図18および19参照)内でターゲット(すなわちバウンディングボックス72)を維持することができる。
いくつかの実施形態では、決定された制御速度VCyは、初期位置推定器80にフィードバックされることがあり、フィードバック制御プロセスの次の反復中、初期位置推定器80は、制御速度に基づいてターゲットの次の知覚を決定し直して、ターゲットの次の知覚をより正確に決定するように構成されてもよい。例えば、フィードバック制御装置76は、ユーザの入力コマンドに基づいて可動物体10とターゲットとの間の相対パラメータを変更できるようにするために制御速度を決定すると同時に、ユーザの入力命令が画像ウィンドウ内のバウンディングボックスを動かす(図18および19参照)のを防止して、追跡プロセスが停止されないようにすることがある。したがって、決定される制御速度は、可動物体10がユーザの入力に応答するより現実的な速度であり得る。したがって、ターゲットの次の知覚のより正確な推定は、制御速度ではなくユーザ入力のみが可動物体の応答を指示する場合ほど、次の知覚が現在の知覚と実際には異ならないものとなることがある。
いくつかの状況では、撮像デバイス68などの感知デバイスから受信された知覚情報を感知デバイスの観点から可動物体10の観点に転換することによって、知覚および知覚推定の精度をさらに高めることができる。例えば、ターゲットの周りを旋回しているとき、弧状の経路で追跡しているとき、またはいくぶん急な操縦(例えば高速旋回、急なバンク旋回、低半径旋回など)を行いながらターゲットを追跡しているときなど何らかの操縦中、ターゲットを追跡するために支持機構16が搭載物14(すなわち撮像デバイス68)を迅速に調整することができる機能により、撮像デバイスの観点からのターゲットの知覚が可動物体10の観点からのターゲットの知覚とはわずかに異なる状況が生じることがある。そのような場合には、初期位置推定器80によって決定された次の知覚はわずかに不正確であり得て、それにより、フィードバック制御装置76による、ターゲット追跡中に可動物体10を制御するための制御速度の決定がわずかに不正確になることがある。撮像デバイス68または支持機構16と可動物体10との観点の任意のオフセットを考慮に入れるために、制御装置は、撮像デバイス68または支持機構16の観点から知覚情報を受信し、撮像デバイス68または支持機構16の観点から可動物体10の観点に知覚情報を変換するように構成されてもよい。このようにして、次の観点と、飛行パラメータを制御するためのコマンドとは、可動物体10の真の観点をより正確に反映することができる。観点変換を実施するために、可動物体10の制御装置は、撮像デバイス68または支持機構16に関連付けられる座標系に関する感知入力の行列表現を構築し、その行列を、撮像デバイス68または支持機構の観点と可動物体10の観点との間のオフセットに基づいて、可動物体の局所座標系に関する感知入力の行列表現に変換するように構成されてもよい。上述したような観点オフセットを決定するための技法が使用されることがある。
時として、可動物体10がターゲットの周りを例えば円状に移動して、様々な視野角をカメラに提供する。図20は、径方向速度成分VRAD、接線方向速度成分VTAN、および角速度ωを有して、半径rを有する円上で可動物体10がターゲットの周りを動く状況を示す。半径rを維持または調整するために、図16および17に関連して上述した追跡制御プロセスが採用されることがある。ユーザは、撮像結果の効果を変えるために可動物体10を速くまたは遅く動かすことを望むことがある。可動物体10を径方向外側に引っ張る円運動に関連付けられる遠心力は、例えばピッチ制御によって可動物体10の内方向への飛行によって打ち消されることがある。しかし、多くの場合、支持機構またはジンバル16が傾くことができる限界により、可動物体10のピッチ量または傾斜角は物理的限界を有する。接線方向速度VTANが閾値VTmaxを超える場合、可動物体10のピッチは遠心力を打ち消すことができず、これにより、最終的には、可動物体10が円軌道から放り出されて、ターゲットの追跡をできなくなる可能性がある。
ユーザが最大許容接線方向速度V
Tmaxを超えないようにするために、可動物体10の制御装置は、ターゲット追跡を持続するための最大許容接線方向速度を決定し、ターゲットを円形パターンで追跡する間に可動物体10の接線方向速度をユーザが増加させる権能を制限するように構成されてもよい。例えば、制御装置22は、まず、ターゲットの周りでの可動物体10の回転の半径rを決定するように構成されてもよい。半径rを決定するための1つの方法は、移動の弧長Lを弧長に沿った角度変位θで除算することを含み得る。すなわち、
である。移動の弧長Lは、いくつかの方法で決定することができる。例えば、制御装置22は、可動物体10の接線方向速度を時間にわたって積分して弧長Lを計算するように構成されてもよい。上述したように、可動物体10の接線方向速度は、撮像デバイス68の観点からのターゲットのサイズ、形状、および位置の知覚された変化など、撮像デバイス68によって収集された画像データを解析することによって決定することができる。他の実施形態では、ある期間にわたって可動物体10が移動した弧長Lを決定するために、GPSシステムまたは慣性測定ユニット(IMU)などの感知デバイスからのデータが収集されて解析されることがある。弧長Lにわたる可動物体10の角度変位θは、上で論じたように、撮像デバイス68(すなわち光学感知デバイス)の観点からのターゲットのサイズ、形状、および位置の知覚された変化など、撮像デバイス68によって収集された画像データ、または赤外線撮像デバイス、紫外線撮像デバイス、X線デバイス、超音波撮像デバイス、もしくはレーダデバイスなどからの画像データを解析することによって決定されることがある。
半径rを決定するための他の方法は、接線方向速度V
TANを可動物体10の角速度ωで除算するものでよい。すなわち、
である。上で論じたように、可動物体10の接線方向速度と角速度はどちらも、可動物体の観点からのターゲットの複数の知覚を比較することによって決定されることがあり、それら複数の知覚は、撮像デバイス68、または赤外線撮像デバイス、超音波撮像デバイス、X線デバイス、超音波撮像デバイス、もしくはレーダデバイスなど他のデバイスによって収集されたデータを用いて生成される。比較中に決定されたターゲット(すなわちバウンディングボックス72)のサイズ、形状、および位置の変化は、接線方向速度および角速度の値に対応することがあり、これらの値が可動物体10の回転半径を決定するために使用されることがある。
図21を参照して、半径rを決定する別の方法を述べる。図21に示されるように、支持機構16を有する可動物体10は、カメラ82などの撮像デバイスを支持することがある。カメラ82は、ターゲットの画像を、画像座標86を有する像面84上に捕捉することができる。上述したのと同様の技法を使用して、バウンディングボックス72を生成して、幾何形状を解析し、連続的かつ安定した結果を提供することもできる。
図21に示されるように、3次元空間内の物点からの光線を像面上に投影して像点を形成することができると仮定する開口撮像モデルに基づいて、ターゲットの画像が表現されることがある。光軸88は、ミラー中心90と画像中心の両方を通過することができる。ミラー中心と画像中心との距離は、焦点距離92と等しいかまたは実質的に同様でよい。単に例示の目的で、像面84は、ミラー中心90とターゲットとの間の光軸88上のミラー位置に移動させることができる。
本発明の様々な実施形態によれば、システムは、ターゲット距離とターゲット高さとの両方を推定することを含む初期化ステップを行うことができる。ここで、システムは、幾何学的関係に基づいてミラー中心90とターゲットとの間の地面上での投影相対距離94を決定することができる。次いで、システムはターゲット高さを決定することができる。
初期化段階で(すなわち、t=0のとき)、システムは、ターゲットが位置するのと同一の面(または水平線)から可動物体10(すなわちカメラ82)の高度が測定されると仮定することができる。限定はしないが、面が水平線でないとき、システムは、ターゲット距離およびターゲット高さを測定するために、実際に測定される可動物体10の高度の代わりに、高度差を考慮に入れた実効高度を使用することができる。
図21に示される例では、ターゲットは、ワールド座標での上側ターゲットポイント(xt,yt,zt)と下側ターゲットポイント(xb,yb,zb)を有することがあり、これらは、ターゲット画像96内でそれぞれ上側画像点(ut,vt)および下側画像点(ub,vb)として像面84上に投影される。上側の線は、ミラー中心90、上側画像点、および上側ターゲットポイントを通過し、ワールド座標の軸Zから傾斜角98を有することができる。また、下側の線は、ミラー中心90、下側画像点、および下側ターゲットポイントを通過し、軸Zから傾斜角100を有することができる。
したがって、ターゲット上側方向ベクトル
および下側方向ベクトル
は、以下のように表すことができる。
ここで、Kは、カメラの内部行列を表し、Rは、カメラの回転を表す。
次いで、システムは、測定されたまたは実効のカメラ高度102と、画像座標86内のバウンディングボックス104の位置とに基づいて、ターゲット距離を推定することができる。例えば、距離106は、d=−h
c/z
b*P
bとして計算することができ、ターゲット高さ108は、h
o=h
c+z
td/P
tとして計算することができる。ここで、P
bは、地面での
の投影長であり、P
tは地面での
の投影長であり、これらは、以下のように定義される。
初期化ステップ後、システムは、ターゲット高度が変化したとき(例えば、ターゲットが地面から離れるとき)および可動物体10(例えばUAV)の高度が未知のときでさえ、ターゲットからの距離106を推定することができる。追跡中に物体が上昇または下降することがあり、UAVが草地の上を飛行しているときまたは上昇しているとき(例えば地面の5メートル上)などにはUAVの高度が信頼できないものであり得るので、これは有益である。
図21に示されるように、初期化後、ターゲット10と可動物体10との間の地面上での投影相対距離106は、h
c/dhとして計算することができ、ここで、dhは、カメラからのターゲットの推定高さを単位距離で表し、これは、以下の式を使用して計算することができる。
したがって、この方法は効率的であり得て、初期化されると、制約が非常に少なくなることがある。なぜなら、システムは、初期化後のターゲットの高さに基づいて物体からの距離106を推定することができるからである。
回転半径rを求めた後、最大接線方向速度V
Tmaxが、最大求心加速度
との関係によって決定されることがある。他の飛行パラメータに関係なく、可動物体10は、もはや飛行を持続することができずに失速する特定の最大傾斜角に達することがあるので、可動物体10の最大求心加速度は、その構造的設計によって本来的に決定されていることがある。すなわち、可動物体10がその求心加速度を増加させるように傾けられるとき、制御された飛行をもはや持続できない傾斜角に可動物体10が達したときに最大加速度に達する。この最大角度は、経験的に決定されることがあり、または可動物体10の製造業者によって提供されることもある。したがって、a
maxに関する既知の値を仮定して、最大接線方向速度V
Tmaxを決定することができる。
可動物体10がターゲットの周りを旋回しているとき、可動物体10の制御装置は、(例えば端末32の1つまたは複数の入力レバー38、40を介して)最大所望接線方向速度と最小所望接線方向速度との間の所望の接線方向速度の選択を示すユーザ入力を受信するように構成されてもよい。可動物体10の制御装置は、レバー、スティック、ボタン、ダイアル、ノブ、タッチスクリーン、または電子デバイスの1つまたは複数を介してユーザ入力を受信するように構成されてもよい。いくつかの実施形態では、電子デバイスは、メモリと、少なくとも1つのプロセッサとを含むことがあり、プロセッサは、所望の接線方向速度を選択するためのユーザからの入力を受信するための「アプリ」または1つもしくは複数のグラフィカルユーザインターフェースを提供するためのプログラムを実行するように構成される。
本明細書で使用するとき、「の間」という用語は、ある範囲の値を参照して使用するとき、端点の値を包含するものでよい。すなわち、ユーザは、例えば、ターゲットの周りを旋回している間に可動物体の接線方向速度を増減させることができるロール設定を示す入力を提供することがある。ユーザが入力デバイスを動かして、ロール設定を最大変位まで調整するとき、最大ロール設定に関する信号が生成されることがある。しかし、可動物体に最大のロールを加えると、飛行中に失速する可能性があり、したがって、制御装置22は、ユーザの入力を制限し、可動物体が現在の回転半径に関して決定された最大接線方向速度未満であることを保証するロール設定のみを許可するように構成されてもよい。すなわち、可動物体10の制御装置は、最大所望接線方向速度を設定することがあり、この速度は、可動物体10の最大許容接線方向速度以下の限界値に選択することが可能である。このようにして、ユーザが過度のロールを加えて可動物体10を失速させるのを防止することができる。いくつかの実施形態では、選択することが可能な最大所望接線方向速度は、例えば、最大接線方向速度未満の値または最大接線方向速度のパーセント値(例えば95%、90%、85%など)までさらに制限されることがある。このようにすると、可動物体が最大ロール値に達して、制御された飛行を維持することが突然できなくなり得る可能性を低くすることができる。
可動デバイスがターゲットの周りを旋回して追跡しているときなど、いくつかの状況では、図22に示されるように、ユーザは、可動物体の回転半径rを増加し、またはターゲットから徐々に離れるように旋回させて、追跡操作を終了させることを望むことがある。ユーザがそのような操縦を行うことを可能にするために、可動物体10のユーザ制御装置は、可動物体の最大許容接線方向速度を超える限界値として選択することができる最大所望接線方向速度を設定するように構成されてもよい。例えば、選択することができる最大所望接線方向速度は、接線方向速度を増加させて、可動物体10に作用する求心力を克服することによって、可動物体10の回転半径をユーザが徐々に増加できるようにする値またはパーセンテージ値に設定されることがある。このようにして、制御装置は、可動物体10がより大きな回転半径でターゲットを追跡することを可能にするか、またはターゲットから徐々に離れるように旋回して追跡操作を終了するように構成されてもよい。
開示した方法およびシステムに対して様々な修正および変形を施すことができることが当業者には明らかであろう。他の実施形態は、本明細書の考察、および開示した方法およびシステムの実践から当業者には明らかになろう。本明細書および実施例は、単に例示とみなされ、真の範囲は、添付の特許請求の範囲およびそれらの均等物によって示されることが意図される。