JP6628866B2 - 三次元表示を実現する方法、及びシステム - Google Patents

Description

著作権通知
本特許文献の開示の一部は著作権保護対象となる内容を含んでいる。本著作権者は、米国特許商標局の特許ファイル又は記録に登録されている本特許文書又は本特許開示を複製することに異議は無いが、それ以外については全ての著作権を留保するものである。

開示する実施形態は一般的にデジタル表示の実現に関し、より具体的には三次元表示の実現に関するが、これに限定されない。

無人航空機（ＵＡＶ）システム等、様々なモバイルプラットフォームでのユビキタス表示体験は二次元に限られていた。この理由は、大部分のモバイルプラットフォーム（例：外部表示画面、特別表示画面、ノートブック表示画面、及びタブレット）用の表示機器はパネル表示用に設計されているからである。

一方、異なる立体表示機器は、深さ情報の表示に必要とされる場合があり、システム全体の複雑さ及びコストを押し上げる。例えば、立体的な情報を三次元（３Ｄ）表示で示すために、無人航空機（ＵＡＶ）システムは、様々な特別の３Ｄ表示機器に加えて、より洗練された画像取得モジュール、符号化／復号化モジュール、及び通信モジュールを配備する必要がある。

従って、簡単且つ安価な三次元（３Ｄ）表示を開発する必要性がある。これは、本発明の実施形態が対処しようとする一般的な領域である。

本明細書に、三次元表示を実現することができるシステム及び方法について記述する。本システムは、移動体上の撮像装置により取得された複数の画像フレームを受信することができる。更に、本システムは、移動体上の撮像装置の状態情報を取得し、当該状態情報を用いて、三次元一人称視（ＦＰＶ）を実現すべく当該複数の画像フレームに基づいて画像フレーム対を設定することができる。追加的に、当該複数の画像フレームから選択された画像フレームを、当該画像フレーム対の第１画像として用いることができる。

本発明の様々な実施形態による、移動体環境を示す。 実施形態による、移動体環境における例示的な支持機構を示す。 本発明の様々な実施形態による、移動体環境における移動体を介した三次元表示の実現を示す。 本発明の様々な実施形態による、移動体環境における端末を介した三次元表示の実現を示す。 本発明の様々な実施形態による、移動体環境における三次元一人称視（ＦＰＶ）の実現を示す。 本発明の様々な実施形態による、移動体環境において視野（ＦＯＶ）が左から右に移動している状態での三次元（３Ｄ）一人称視（ＦＰＶ）の実現を示す。 本発明の様々な実施形態による、移動体環境において視野（ＦＯＶ）が右から左に移動する状態での三次元（３Ｄ）一人称視（ＦＰＶ）の実現を示す。 本発明の様々な実施形態による、移動体環境における三次元表示の実現のフローチャートを示す。 本発明の様々な実施形態による、移動体環境における異なる状態での三次元一人称視（ＦＰＶ）の実現を示す。 本発明の様々な実施形態による、移動体環境における異なる状態での三次元一人称視（ＦＰＶ）の実現のフローチャートを示す。

本発明を、同一要素に同一参照符号が付された添付図面の各図の例を用いて、且つ非限定的に示す。本開示における「一つの」又は「１個の」又は「幾つかの」実施形態（群）は必ずしも同一の実施形態に言及している訳ではなく、且つそのような参照は「少なくとも１個」を意味することに留意されたい。

本発明の以下の記述では、移動体の例として無人航空機（ＵＡＶ）を用いる。当業者には、他の種類の移動体を非限定的に用いてもよいことは明らかであろう。

図１に、本発明の様々な実施形態による移動体環境を示す。図１に示すように、移動体環境１００における移動体１１８は、支持機構１０２、及び搭載物１０４を含んでいてよい。移動体１１８は飛行機として表現されてよいが、当該表現は限定を意図しておらず、任意の適当な種類の移動体を用いることができる。当業者は、本明細書で航空システムの文脈から記述する実施形態のいずれも任意の適当な移動体（例：ＵＡＶ）に適用可能であることが理解されよう。幾つかの例において、搭載物１０４は、支持機構１０２を必要とせずに移動体１１８上に搭載することができる。

本発明の様々な実施形態によれば、移動体１１８は、１つ又は複数の移動機構１０６（例：推進機構）、検知システム１０８、及び通信システム１１０を含んでいてよい。

移動機構１０６は、１つ又は複数の回転翼、プロペラ、ブレード、エンジン、モーター、車輪、車軸、磁石、ノズル、動物、又は人間を含んでいてよい。例えば、移動体は、１つ又は複数の推進機構を有していてよい。移動機構１０６は、全て同一種類であてよい。代替的に、移動機構１０６は、異なる種類の移動機構であってよい。移動機構１０６は、支持要素（例：駆動軸）等の任意の適当な手段を用いて、移動体１１８に載置されていて（又はその逆）よい。移動機構１０６は、移動体１１８の最上部、底部、前面、後面、側面、又はこれらの適当な組み合わせ等の任意の適当な部分に載置されていてよい。

幾つかの実施形態において、移動機構１０６は、移動体１１８が地表又は地面から垂直に離陸、又は移動体１１８水平方向の移動を一切必要とすることなく（例：滑走路を走行することなく）地表に垂直に着陸できるようにすることができる。任意選択的に、移動機構１０６は、移動体１１８が指定された位置で及び／又は向きに空中でホバリング可能にすべく動作可能であってよい。１つ又は複数の移動機構１０６が、他の移動機構とは独立に制御可能であってよい。代替的に、複数の移動機構１０６が同時に制御されるべく構成されていてよい。例えば、移動体１１８は、移動体を上昇及び／又は前進させることができる複数の水平に向けられた回転翼を有していてよい。複数の水平に向けられた回転翼が起動されて、移動体１１８に垂直離陸、垂直着陸、及びホバリング能力を提供することができる。幾つかの実施形態において、水平に向けられた回転翼の１つ又は複数が時計回りに回転できる一方、水平に向けられた回転翼の１つ又は複数が反時計回りに回転することができる。例えば、時計回り回転翼の個数は反時計回り回転翼の個数に等しくてよい。各々の水平に向けられた回転翼の回転速度は、各回転翼により生じた上昇及び／又は前進を制御するために独立に変動させることができるため、移動体１１８の空間配置、速度、及び／又は加速度（例：最大３度の並進及び最大３度の回転に関する）を調整することができる。

検知システム１０８は、移動体１１８の（例：様々な程度の並進及び様々な程度の回転に関する）空間配置、速度、及び／又は加速度を検知可能な１つ又は複数のセンサを含んでいてよい。当該１つ又は複数のセンサは、ＧＰＳセンサ、運動センサ、慣性センサ、近接度センサ、又は画像センサを含む任意のセンサを含んでいてよい。検知システム１０８により提供された検知データを用いて、移動体１１８の空間配置、速度、及び／又は向きを（例：適当な処理ユニット及び／又は制御モジュールを用いて）制御することができる。代替的に、検知システム１０８を用いて、移動体を取り巻く環境に関するデータ、例えば、気象条件、潜在的障害物への近接度、地理的特徴の位置、人工物構造の位置等を提供することができる。

通信システム１１０は、通信システム１１４を有する端末１１２との無線信号１１６を介した通信を可能にする。通信システム１１０、１１４は、無線通信に適した任意の個数の送信機、受信機、及び／又はトランシーバを含んでいてよい。通信は、データを一方向だけに送信できる一方向通信であってもよい。例えば、一方向通信では、移動体１１８だけが端末１１２にデータを送信しても、又はその逆であってもよい。データは、通信システム１１０の１つ又は複数の送信機から、通信システム１１２の１つ又は複数の受信機に送信されても、又はその逆であってもよい。代替的に、通信は、移動体１１８と端末１１２との間でデータを両方向に送信できる双方向通信であってよい。双方向通信では、通信システム１１０の１つ又は複数の送信機から、通信システム１１４の１つ又は複数の受信機にデータを送信しても、又はその逆であってもよい。

幾つかの実施形態において、端末１１２は、移動体１１８、支持機構１０２、及び搭載物１０４の１つ又は複数に制御データを提供して、移動体１１８、支持機構１０２、及び搭載物１０４の１つ又は複数から情報（例：移動体、支持機構、又は搭載物の位置及び／又は運動情報、搭載物カメラにより取得された画像データ等、搭載物により検知されたデータ、及び搭載物カメラにより取得された画像データから生成されたデータ）を受信することができる。幾つかの例において、端末からの制御データは、移動体、支持機構、及び／又は搭載物の相対位置、移動、起動、又は制御用の命令を含んでいてよい。例えば、制御データにより、移動体の位置及び／又は向きの（例：移動機構１０６の制御を介した）変更、又は移動体に対する（例：支持機構１０２の制御を介した）搭載物の移動を生起させることができる。端末からの制御データにより、搭載物の制御、例えばカメラ又は他の撮像装置の動作の制御（例：静止又動画像の撮影、拡大又は縮小、起動又は停止、撮像モードの切り替え、画像解像度の変更、焦点の変更、被写界深度の変更、露光時間の変更、視野角又は視野の変更）を生起させることができる。

幾つかの例において、移動体、支持機構、及び／又は搭載物からの通信は、（例：検知システム１０８又は搭載物１０４の）１つ又は複数のセンサからの情報、及び／又は検知情報に基づいて生成されたデータを含んでいてよい。通信は、１つ又は複数の異なる種類のセンサ（例：ＧＰＳセンサ、運動センサ、慣性センサ、近接度センサ、又は画像センサ）から検知された情報を含んでいてよい。このような情報は、移動体、支持機構、及び／又は搭載物の配置（例：位置、向き）、移動、又は加速度に関係していてよい。搭載物からのこのような情報は、搭載物により取得されたデータ又は搭載物の検知された状態を含んでいてよい。端末１１２により送信された制御データは、移動体１１８、支持機構１０２、又は搭載物１０４の１つ又は複数の状態を制御すべく構成されていてよい。代替的に、又は組み合せにより、支持機構１０２、及び搭載物１０４は又、各々が端末１１２と通信すべく構成された通信モジュールを含んでいてよく、当該端末が移動体１１８、支持機構１０２、及び搭載物１０４の各々と通信してこれらを独立に制御することができる。

幾つかの実施形態において、移動体１１８は、端末１１２に加え、又は端末１１２の代わりに、別の遠隔装置と通信すべく構成されていてよい。端末１１２は又、移動体１１８だけでなく別の遠隔装置と通信すべく構成されていてよい。例えば、移動体１１８及び／又は端末１１２は、別の移動体、又は別の移動体の支持機構或いは搭載物と通信可能であってよい。必要ならば、遠隔装置は、第２の端末又は他の計算装置（例：コンピュータ、ラップトップ、タブレット、スマートフォン、又は他のモバイル装置）であってよい。遠隔装置は、移動体１１８にデータを送信、移動体１１８からデータを受信、端末１１２にデータを送信、及び／又は端末１１２からデータを受信すべく構成されていてよい。任意選択的に、遠隔装置は、移動体１１８及び／又は端末１１２から受信したデータをウェブサイト又はサーバにアップロードできるようにインターネット又は他の遠隔通信ネットワークに接続されていてよい。

図２に、上記実施形態による、移動体環境における例示的な支持機構を示す。支持機構２００を用いて、撮像装置等の搭載物２０２を、ＵＡＶ等の移動体に接続することができる。

支持機構２００は、搭載物２０２が、移動体に相対的に、１つ又は複数の軸、例えば３軸すなわちＸ又はピッチ軸、Ｚ又はロール軸及び、Ｙ又はヨー軸の回りに回転可能なように構成されていてよい。例えば、支持機構２００は、搭載物２０２がこれらの軸のうち１、２、又は３軸だけの回りに回転可能なように構成されていてよい。これらの軸は、互いに直交してもしなくてもよい。いずれかの軸回りの回転範囲が制限されていてもいなくてもよく、各々の軸で異なっていてよい。回転軸は、互いに交差してもしなくてもよい。例えば、直交軸が互いに交差してよい。これらの軸は、搭載物２０２で交差してもしなくてもよい。代替的に、これらの軸は交差しなくてもよい。

支持機構２００は、１つ又は複数のフレーム部材を含むフレームアセンブリ２１１を含んでいてよい。例えば、フレーム部材は、搭載物２０２（例：撮像装置）に接続されてこれを支持すべく構成されていてよい。

幾つかの実施形態において、支持機構２０１は、支持機構２０１又は支持機構２０１に搭載された搭載物２０２の状態の判定に有用な１つ又は複数の支持機構センサ２１３を利用することができる。状態情報は、空間配置（例：位置、向き、又は姿勢）、速度（例：直線又は角速度）、加速度（例：直線又は角加速度）、及び／又は支持機構、その構成要素、及び／又は搭載物２０２に関する他の情報を含んでいてよい。幾つかの実施形態において、センサデータから取得又は計算された状態情報を、支持機構の構成要素（例：フレーム部材）の回転を制御するためのフィードバックデータとして用いることができる。このような支持機構センサの例として、運動センサ（例：加速度計）、回転センサ（例：ジャイロスコープ）、慣性センサ等が含まれ得る。

支持機構センサ２１３は、支持機構の任意の適当な１つ又は複数の部分（例：フレーム部材及び／又はアクチュエータ部材）に接続されていてよく、ＵＡＶに相対的に移動可能であっても又はなくてもよい。追加的に、又は代替的に、支持機構センサの少なくとも幾つか、支持機構２０１に搭載された搭載物２０２に直接接続されていてよい。

支持機構センサ２１３は、支持機構のアクチュエータ部材の幾つか又は全てに接続されていてよい。例えば、３個の支持機構センサが３軸支持機構のための各々アクチュエータ部材２１２に接続されていてよく、３軸支持機構のための各々のアクチュエータ部材２１２の駆動状況を測定すべく構成されている。このようなセンサは、電位差計又は他の類似センサを含んでいてよい。一実施形態において、モーター回転子とモーター固定子の相対位置を測定すべく、センサ（例：電位差計）をモーターのモーターシャフトに挿入することにより、回転子と固定子の相対位置を測定し、当該位置を表す位置信号を生成することができる。一実施形態において、アクチュエータに接続された各々のセンサは、各々が測定する対応アクチュエータ部材に位置信号を送るべく構成されている。例えば、第１の電位差計を用いて第１のアクチュエータ部材向けに第１の位置信号を生成し、第２の電位差計を用いて第２のアクチュエータ部材向けに第２の位置信号を生成して、第３の電位差計を用いて第３のアクチュエータ部材向けに第３の位置信号を生成することができる。幾つかの実施形態において、支持機構センサ２１３は又、支持機構のフレーム部材の幾つか又は全てに接続されていてよい。これらのセンサは、支持機構及び／又は画像取得装置の１つ又はより多くのフレーム部材の位置及び／又は向きに関する情報を搬送可能であってよい。センサデータを用いて、移動体及び／又は基準フレームに相対的な画像取得装置の位置及び／又は向きを判定することができる。

支持機構センサ２１３は、支持機構又は移動体上の１つ又は複数のコントローラ（図示せず）に送信可能な位置及び／又は向きのデータを提供することができる。センサデータは、フィードバックに基づく制御スキームに利用できる。制御スキームを用いて、１つ又は複数のモーター等の１つ又は複数のアクチュエータ部材の駆動を制御することができる。１つ又は複数のコントローラは、支持機構又は当該支持機構を搭載した移動体上に配置されていてよく、アクチュエータ部材を駆動するための制御信号を生成することができる。幾つかの例において、制御信号は、支持機構センサから受信した、支持機構の空間配置又は支持機構２０１に搭載された搭載物２０２を示すデータに基づいて生成することができる。支持機構センサは、本明細書で上述されているように支持機構又は搭載物２０２上に配置されていてよい。コントローラにより生成された制御信号は、異なるアクチュエータドライバにより受信可能である。異なるアクチュエータドライバは、制御信号に基づいて、例えば支持機構の１つ又は複数の要素を回転させるべく、異なるアクチュエータ部材の駆動を制御することができる。アクチュエータドライバは、対応するアクチュエータ部材の駆動を制御する、及び対応するセンサ（例：電位差計）から位置信号を受信するのに適したハードウェア及び／又はソフトウェア要素を含んでいてよい。制御信号は、複数のアクチュエータ部材を同時に駆動すべく複数のアクチュエータドライバに同時に送信することができる。代替的に、制御信号は、複数のアクチュエータドライバに順次、又はこれらのうち１個だけに送信することができる。有利には、制御スキームを用いて、支持機構のアクチュエータ部材の駆動をフィードバック制御することができるため、支持機構要素をより精密且つ正確に回転させることが可能になる。

幾つかの例において、支持機構２０１は、１つ又は複数の減衰要素を介してＵＡＶに間接的に接続可能である。減衰要素は、移動体（例：ＵＡＶ）の移動により生じた積載物（例：搭載物、支持機構、又はこれら両方）の移動を減少又は除去すべく構成されていてよい。減衰要素は、能動減衰要素、受動減衰要素、又は能動及び受動減衰特性の両方を有する複合減衰要素等の接続された積載物の運動を減衰させるのに適した任意の要素を含んでいてよい。本明細書で提案する減衰要素により減衰される運動には、振動、発振、搖動、又は衝撃の１つ又は複数を含んでいてよい。このような運動は、積載物に伝達される移動体の運動により生じる。例えば、運動は、推進システム及び／又はＵＡＶの他の要素の動作により生じた振動を含んでいてよい。

減衰要素は、積載物に伝達される運動の量を消散又は減少（例：振動絶縁）させて不要な運動の発生源から積載物を絶縁することにより運動を減衰させることができる。減衰要素は、これが無ければ積載物が受けるであろう運動の規模（例：振幅）を減少させることができる。減衰要素により生じる運動減衰を用いて積載物を安定させることができるため、積載物（例：画像取得装置）により取得される画像の品質が向上すると共に、取得された画像に基づくパノラマ画像の生成に必要な画像縫合ステップの計算の複雑度を低減することができる。

本明細書に記述する減衰要素は、固体、液体、又は気体の材料を含む任意の適当な材料又は複数の材料の組み合わせから形成することができる。減衰要素に用いる材料は、圧縮可能及び／又は変形可能であってよい。例えば、減衰要素は、スポンジ、泡、ゴム、ゲル等で製造されていてよい。例えば、減衰要素は、ほぼ球形であるゴムボールを含んでいてよい。減衰要素は、ほぼ球形、矩形、円筒形等、任意の適当な形状であってよい。代替的又は追加的に、減衰要素は、圧電材料又は形状記憶材料を含んでいてよい。減衰要素は、ばね、ピストン、油圧系統、空気圧系統、ダッシュポット、ショックアブソーバ、アイソレータ等、１つ又は複数の機械要素を含んでいてよい。減衰要素の特性は、所定の運動減衰量を実現すべく選択されていてよい。幾つかの例において、減衰要素は、粘弾性特性を有していてよい。減衰要素の特性は、等方性又は異方性であってよい。例えば、減衰要素は、全ての運動方向に沿って等しい運動減衰を実現することができる。逆に、減衰要素は、運動方向の部分集合だけに沿って（例：運動の単一方向に沿って）、運動減衰を実現することができる。例えば、減衰要素は、主にＹ（ヨー）軸に沿って減衰を実現することができる。このように、図示する減衰要素は、垂直運動を減衰させるべく構成されていてよい。

様々な実施形態では、一種類の減衰要素（例：ゴムボール）を利用するように示されているが、任意の適当な種類の減衰要素を組み合わせたものを用いてもよいことを理解されたい。例えば、支持機構は、任意の適当な１つ又は複数の種類の１つ又は複数の減衰要素を用いて移動体に接続されていてよい。減衰要素は、剛性、粘弾性等、同一又は異なる特徴又は特性を有していてよい。各減衰要素は、積載物の異なる部分に、又は積載物の特定部分だけに接続可能である。例えば、減衰要素は、積載物と移動体との間の接触又は接続点又は面の付近に配置されていてよい。幾つかの例において、積載物は、１つ又は複数の減衰要素に埋め込むか又は包み込むことができる。

図３に、本発明の様々な実施形態による、移動体環境における移動体を介した三次元（３Ｄ）表示の実現を示す。図３に示すように、移動体３０１上の撮像装置３０３は、画像ストリーム３１０内の画像フレーム３１１〜３１３等の複数の画像フレームを取得することができる。

更に、取得された画像フレームは、削除及び／又は他の新たに取得された画像フレームにより代替される前の一定期間、画像キャッシュ３０４に格納することができる。例えば、サイズが限られた画像キャッシュ３０４を用いて、画像フレームのストリーム３１０内の一部を圧縮された形式で（動的に）維持することができる。代替的に、画像キャッシュ３０４を用いて、圧縮不可能なフレームのバッファを（動的に）維持することができる。

本発明の様々な実施形態によれば、移動体３０１に搭載可能なコンバータ３０５等のプロセッサが、画像キャッシュ３０４に格納された取得済み画像フレーム３１１〜３１３を受信することができる。次いで、コンバータ３０５は、複数の画像フレームに含まれる二次元（２Ｄ）情報を疑似三次元（３Ｄ）情報に変換することができる。例えば、疑似３Ｄ情報は画像フレーム対の形式であってよい。

更に、三次元（３Ｄ）一人称視（ＦＰＶ）機器３０２は、疑似三次元情報（３Ｄ）の表示に用いることができる。３Ｄ ＦＰＶ機器３０２は、分割された２Ｄ画面上の画像フレーム対を、一方の画像が画面の左側部分に、他方の画像が画面の右側部分に表示されるように表示することができる。追加的に、３Ｄ ＦＰＶ機器３０２は、レンズと表示画面との間の距離にほぼ近いか等しく構成され得る同一の焦点距離を有する２個のレンズを用いることができる。各レンズの視野（ＦＯＶ）も又、画面の半分だけに一致するように構成されていてよい。このように、本システムは３Ｄ ＦＰＶ機器３０２を用いて、典型的に２Ｄ情報を扱うために用いられる画像取得モジュール、符号化／復号化モジュール、及び通信モジュールを利用することができる。

追加的に、コンバータ３０５は、移動体３０１上の撮像装置３０３の状態情報３０６、例えば撮像装置３０３の姿勢、瞬間位置、速度、及び加速度を取得することができる。状態情報３０６は、移動体の制御モジュール（例：ＵＡＶの航空管制モジュール）から受信可能な移動体の位置及び姿勢情報に基づいて判定することができる。又、状態情報３０６は、搭載物安定化制御モジュールから受信した撮像装置の姿勢情報に基づいて判定することができる。例えば、搭載物安定化制御モジュールを用いて、ＵＡＶ上の撮像装置を安定させるジンバルシステム等の安定化システムを制御することができる。

本発明の様々な実施形態によれば、コンバータ３０５は、三次元（３Ｄ）表示を実現すべく画像キャッシュ３０４に格納された画像フレーム３１１〜３１３に基づいて、画像フレーム対を設定することができる。

図３に示すように、画像キャッシュ３０４に保持されている画像フレームから選択された画像フレーム３１３を、画像フレーム対の第１画像として用いることができる。例えば、画像フレーム３１３は、画像フレームのストリーム３１０内の最新の画像フレームであってよい。次いで、コンバータ３０５は、画像フレームのストリームから第２画像フレームを選択及び／又は生成し、これを第１画像フレームと共に表示して三次元効果を生み出すことができる。

次いで、コンバータ３０５は、画像フレーム対３１１及び３１３を、三次元ＦＰＶを表示すべく適合された表示装置３０２に提供することができる。追加的に、本システムは、三次元（３Ｄ）効果を生み出す画像フレーム対の第１画像フレームと第２画像フレームとの間の推定フレーム数差に基づいて、移動体３０１上の画像キャッシュ３０４のサイズを設定することができる。

図４に、本発明の様々な実施形態による、移動体環境における端末を介した三次元（３Ｄ）表示の実現を示す。図４に示すように、移動体４０１上の撮像装置４０３は、複数の画像フレーム、例えば、画像ストリーム４１０内の画像フレーム４１１〜４１３を取得することができる。次いで、移動体は、取得された画像フレームを、移動体４０１から遠隔箇所にある端末４０７に送信することができる。

更に、取得された画像フレームは、削除及び／又は他の新たに取得された画像フレームにより代替される前の一定期間、画像キャッシュ４０４に格納することができる。例えば、サイズが限られた画像キャッシュ４０４を用いて、画像フレームのストリーム４１０内の一部を圧縮してもよい形式で（動的に）維持することができる。代替的に、画像キャッシュ３０４を用いて、圧縮不可能なフレームのバッファを（動的に）維持することができる。

本発明の様々な実施形態によれば、端末４０７上のコンバータ４０５等のプロセッサが、画像キャッシュ４０４に格納された取得済み画像フレーム４１１〜４１３を受信することができる。次いで、コンバータ４０５は、取得された画像フレームに含まれる二次元（２Ｄ）情報を疑似三次元情報（３Ｄ）に変換することができる。例えば、疑似３Ｄ情報は画像フレーム対の形式であってよい。

更に、三次元（３Ｄ）一人称視（ＦＰＶ）機器４０２は、疑似三次元情報（３Ｄ）の表示に用いることができる。３Ｄ ＦＰＶ機器４０２は、分割された２Ｄ画面上の画像フレーム対を、一方の画像が画面の左側部分に、他方の画像が画面の右側部分に表示されるように表示することができる。追加的に、３Ｄ ＦＰＶ機器４０２は、レンズと表示画面との間の距離にほぼ近いか等しく構成され得る同一の焦点距離を有する２個のレンズを用いることができる。各レンズの視野（ＦＯＶ）も又、画面の半分だけに一致するように構成されていてよい。このように、本システムは３Ｄ ＦＰＶ機器４０２を用いて、典型的に２Ｄ情報を扱うために用いられる画像取得モジュール、符号化／復号化モジュール、及び通信モジュールを利用することができる。

追加的に、コンバータ４０５は、移動体４０１上の撮像装置４０３の状態情報４０６、例えば撮像装置４０３の姿勢、瞬間位置、速度、及び加速度を取得することができる。状態情報４０６は、移動体の制御モジュール、例えばＵＡＶの航空管制モジュールから受信可能な移動体の位置及び姿勢情報に基づいて判定することができる。又、状態情報４０６は、搭載物安定化制御モジュールから受信した撮像装置の姿勢情報に基づいて判定することができる。例えば、搭載物安定化制御モジュールを用いて、ＵＡＶ上の撮像装置を安定させるジンバルシステム等の安定化システムを制御するために用いることができる。

本発明の様々な実施形態によれば、コンバータ４０５は、三次元（３Ｄ）表示を実現すべく画像キャッシュ４０４に格納された画像フレーム４１１〜４１３に基づいて、画像フレーム対を設定することができる。

図４に示すように、画像キャッシュ４０４に保持されている画像フレームから選択された画像フレーム４１３を、画像フレーム対の第１画像として用いることができる。例えば、画像フレーム４１３は、画像フレームのストリーム４１０内の最新の画像フレームであってよい。次いで、コンバータ４０５は、画像フレームのストリームから第２画像フレームを選択及び／又は生成し、これを第１画像フレームに表示して三次元効果を生み出すことができる。

例えば、コンバータ４０５は、三次元（３Ｄ）効果を生み出すべく画像フレーム４１１を画像フレーム対の第２画像として選択することができる。次いで、コンバータ４０５は、画像フレーム対４１１及び４１３を、三次元ＦＰＶを表示すべく適合された表示装置４０２に提供することができる。

追加的に、本システムは、三次元効果を生み出すための画像フレーム対の第１画像フレームと第２画像フレームとの間の推定フレーム数差等の様々な係数に基づいて、端末４０７上の画像キャッシュ４０４用のサイズを設定することができる。

図５に、本発明の様々な実施形態による、移動体環境における三次元一人称視（ＦＰＶ）の実現を示す。図５に示すように、本システムはステップ５０１において、三次元（３Ｄ）表示に適した画像フレーム対を取得することができる。

次いで、本システムは、移動体上の撮像装置の状態情報に基づいて、三次元ＦＰＶの視野（ＦＯＶ）の移動を判定することができる。例えば、本システムはステップ５０２において、三次元ＦＰＶのＦＯＶが左から右に移動するか否かを判定することができる。

ステップ５０３において、三次元（３Ｄ）ＦＰＶのＦＯＶが左から右に移動している場合、本システムは、画像フレーム対の第１画像フレームを三次元ＦＰＶを行う閲覧者の右目用に設定することができる。或いは、ステップ５０４において、三次元（３Ｄ）ＦＰＶのＦＯＶが右から左に移動する場合、本システムは、画像フレーム対の第１画像フレームを三次元ＦＰＶを行う閲覧者の左目用に設定することができる。

図６に、本発明の様々な実施形態による、移動体環境において視野（ＦＯＶ）が左から右に移動している状態での三次元（３Ｄ）一人称視（ＦＰＶ）の実現を示す。図６に示すように、移動体環境６００は、左画像６０２及び右画像６０３を表示して画像６１１〜６１３を取得する移動体上の撮像装置の状態情報を考慮することにより三次元（３Ｄ）効果を生み出す三次元（３Ｄ）一人称視（ＦＰＶ）６０１を含んでいる。

３Ｄ ＦＰＶ６０１のＦＯＶが左から右に移動する場合、本システムは、画像フレーム対の右画像として、画像フレームのストリーム６１０から画像フレームを選択することができる。例えば、本システムは、最新の画像フレーム６１３を画像フレーム対の右画像として選択することができる。代替的に、本システムは、画像フレーム対の右画像を設定（例：変更／編集／拡大縮小）すべく最新の画像フレーム６１３を選択することができる。次いで、本システムは、画像キャッシュに格納された別の画像に基づいて、画像フレーム対の左画像を設定することができる。

本発明の様々な実施形態によれば、本システムは、異なる戦略を用いて３Ｄ ＦＰＶ６０１の左画像を設定することができる。例えば、本システムは、例えば画像フレームのストリーム６１０内の画像６１３との所定のフレーム数差に基づいて、画像フレームのストリーム６１０内の別の画像６１１を画像フレーム対の左画像として選択することができる。代替的に、本システムは、画像フレームのストリーム６１０内の画像フレーム６１１に基づいて、左画像６０２を構築又は再構築することができる。

本発明の様々な実施形態によれば、本システムは、移動体上の撮像装置の状態情報６０４に基づいて、画像フレーム対の第１画像フレームと第２画像フレームとの間のフレーム数差を動的に再設定することができる。例えば、本システムは、撮像装置（すなわち移動体）がより高速度で移動する場合はより小さいフレーム数差を設定し、撮像装置（すなわち移動体）がより低速度で移動する場合はより大きいフレーム数差を設定することができる。

代替的に、本システムにより、ユーザーが、最適なユーザー体験を享受すべく三次元ＦＰＶを閲覧しながら画像フレーム対の第１画像フレームと第２画像フレームと間のフレーム数差を設定することができる。

本発明の様々な実施形態によれば、本システムは、３Ｄ効果を生み出すべく３Ｄ ＦＰＶ６０１が用いる画像フレーム対の第１画像フレームと第２画像フレームとの間の設定可能なフレーム数差を用いることにより、異なる閲覧体験を提供することができる。

例えば、フレーム数差が大きいほど、近くの物体の視差距離（すなわち視差）が大きくなり得て、近くの物体が人間の目には（依然として３Ｄ効果が生まれる程度まで）より近くに感じられる。一方、遠くの物体に対して感じる距離は、フレーム数差が変化しても殆ど変化しないであろう。この理由は、遠くの物体は無限遠にあると感じられるからである。このように、人間の目が感じる遠くの物体の深度変化は、フレーム差が増大する場合には小さい。

逆に、フレーム数差が減少する場合、近くの物体は人間の目には遠ざかるように感じられる。上述と同様の理由で、フレーム数差が減少しても遠くの物体について感じられる距離はほとんど変化しないであろう。

図７に、本発明の様々な実施形態による、移動体環境において視野（ＦＯＶ）が右から左に移動する状態での三次元（３Ｄ）一人称視（ＦＰＶ）の実現を示す。図７に示すように、移動体環境７００は、左画像７０２及び右画像７０３を表示して画像７１１〜７１３を取得する移動体上の撮像装置の状態情報を考慮することにより三次元（３Ｄ）効果を生み出す三次元（３Ｄ）一人称視（ＦＰＶ）７０１を含んでいる。

３Ｄ ＦＰＶ７０１のＦＯＶが右から左に移動する場合、本システムは，画像フレーム対の左画像として、画像フレームのストリーム７１０から画像フレームを選択することができる。例えば、本システムは、最新の画像フレーム７１３を画像フレーム対の左画像として選択することができる。代替的に、本システムは，画像フレーム対の左画像を設定（例：変更／編集／拡大縮小）すべく最新の画像フレーム７１３を選択することができる。次いで、本システムは、画像キャッシュに格納された別の画像に基づいて、画像フレーム対の右画像を設定することができる。

本発明の様々な実施形態によれば、本システムは、異なる戦略を用いる３Ｄ ＦＰＶ７０１の右画像を設定することができる。例えば、本システムは，例えば画像フレームのストリーム７１０内の画像７１３との所定のフレーム数差に基づいて、画像フレームのストリーム７１０内の別の画像７１１を画像フレーム対の右画像として選択することができる。代替的に、本システムは，画像フレームのストリーム７１０内の画像フレーム７１１に基づいて、右画像７０２を構築又は再構築することができる。

本発明の様々な実施形態によれば、本システムは、移動体上の撮像装置の状態情報７０４に基づいて、画像フレーム対の第１画像フレームと第２画像フレームとの間のフレーム数差を動的に再設定することができる。例えば、本システムは、撮像装置（すなわち移動体）がより高速度で移動する場合はより小さいフレーム数差を設定し、撮像装置（すなわち移動体）がより低速度で移動する場合はより大きいフレーム数差を設定することができる。

代替的に、本システムにより、ユーザーが、最高のユーザー体験を享受すべく三次元ＦＰＶを閲覧しながら画像フレーム対の第１画像フレームと第２画像フレームとの間のフレーム数差を設定することができる。

図８に、本発明の様々な実施形態による、移動体環境における三次元表示の実現のフローチャートを示す。図８に示すように、ステップ８０１において、本システムは、移動体上の撮像装置により取得された複数の画像フレームを受信することができる。次いで、ステップ８０２において、本システムは、移動体上の撮像装置の状態情報を取得することができる。更に、ステップ８０３において、本システムは、移動体上の撮像装置の状態情報を用いて、複数の画像フレームに基づいて画像フレーム対を設定する際に、当該複数の画像フレームから選択された画像フレームを画像フレーム対の第１画像として用いることができる。

図９に、本発明の様々な実施形態による、移動体環境における異なる状態での三次元一人称視（ＦＰＶ）の実現を示す。図９に示すように、移動体上の撮像装置は、移動体環境９００内のトレース９１０に沿って、画像フレーム９１１〜９１５を含む複数の画像フレーム（例：物体９０２の）を取得することができる。

本発明の様々な実施形態によれば、コンバータは、移動体上の撮像装置の状態情報を取得することができる。例えば、状態情報は、移動体の制御モジュールから受信した情報に基づく移動体の位置、速度、加速度等の位置情報を含んでいる。追加的に、コンバータは、移動体の制御モジュール及び搭載物制御モジュールの両方から受信した姿勢情報に基づいて、撮像装置の姿勢情報を取得することができる。このように、本システムは、移動体の制御モジュールから受信した位置情報及び搭載物制御モジュールから受信した姿勢情報を組み合せることにより撮像装置の実際の位置及び姿勢を取得することができる。

図９で示す例において、非限定的に、３Ｄ ＦＰＶ９０１のＦＯＶは、（例：時点ｔ１で）物体９０２に対向する線に沿って左から右に移動することができる。次いで、３Ｄ ＦＰＶ９０１のＦＯＶは、（例：時点ｔ２及びｔ３で）物体９０２へ向かって移動する。

時点ｔ１で取得された画像フレーム９１２が３Ｄ ＦＰＶ９０１の右画像（すなわちＲ１）として選択されてよい。

次いで、本システムは、３Ｄ ＦＰＶ９０１を実現すべく、取得された画像フレームを再度確認して画像フレーム９１１を左画像（すなわちＬ１）として選択することができる。左画像（すなわちＬ１）の選択は、撮像装置の状態情報に基づいて予め設定されたフレーム数差に基づいてもよい。例えば、本システムは、撮像装置（すなわち移動体）がより高速度で移動する場合はより小さいフレーム数差を設定し、撮像装置（すなわち移動体）がより低速度で移動する場合はより大きいフレーム数差を設定することができる。

このように、画像フレーム９１１及び画像フレーム９１３を、三次元（３Ｄ）効果を生み出すために３Ｄ ＦＰＶに提供することができる。又、画像フレーム９１１及び９１３の初期の対、又は任意の後続する画像フレーム対を用いて、新たな時点での画像フレーム対を決定する基本として用いることができる。

例えば、時間時点ｔ２において、本システムは、画像フレーム９１４を３Ｄ ＦＰＶ表示９０１の右画像（すなわちＲ２）として選択することができる。移動体及び撮像装置が時点ｔ２で物体９０２へ向かって移動するため、３Ｄ ＦＰＶ表示９０１用の三次元（３Ｄ）効果を生み出すためには。取得された画像フレームから画像を左画像として直接選択するのではなく、本システムは、取得された画像フレーム内のベース画像９１１に基づいて、画像９１６（すなわちＬ２）を構築又は再構築することができる。

図９に示すように、本システムでは、同じく物体９０２に対向する（すなわち、画像フレーム対Ｌ１及びＲ１に沿った線に平行な）線上に（実質的に）配置された画像である第２画像（すなわちＬ２）を構築する必要があり得る。

本システムは、画像フレーム対の第１画像である画像Ｒ２と、ベース画像フレーム対の第１画像である画像Ｒ１との間の変換関係９１０を取得することができる。例えば、変換関係９１０は、画像フレームＲ１（９１２）と画像フレームＲ２（９１４）との間で一致する特徴点に基づいて取得されたホモグラフィに基づいていてよい。

本発明の様々な実施形態によれば、特徴点に基づく画像マッチングは、特徴点検知、特徴点評価、及び特徴点マッチング等の異なるステップを含んでいてよい。特徴点検知ステップにおいて、本システムは、特徴点及びその座標を検知することができる。次いで、特徴点評価ステップにおいて、本システムは、特徴点を囲む近隣における画像情報を各々表す特徴ベクトルを計算することができる。

更に、特徴点集合のマッチング処理の後で、本システムは、変換関係９１０を取得することができる。例えば、物体９２０が撮像装置からかなり遠方に位置している場合、画像フレームＲ１及びＲ２上の一致する特徴点の各対（例：Ｕ１及びＵ２）は整合性のある関係Ｕ２＝Ｈ^＊Ｕ１が満たしていてよい。従って、本システムは、高コストな画像点の集合全体からの推定ではなく、一致した特徴点の集合に基づいて、マトリクスＨを推定することができる。

図９に示すように、姿勢変換情報及び内部パラメータ情報を含むマトリクスＨは、左画像Ｌ１とＬ２との間の変換、及び右画像Ｒ１とＲ２との間の変換の両方について同一である。従って、本システムは、変換マトリクスＨに基づく画像フレーム対の左画像Ｌ２、及びベース画像フレーム対の左画像である画像Ｌ１を設定することができる。

更に、本システムは、時点ｔ３で、画像フレーム対Ｒ２（９１４）及びＬ２（９１６）、並びに変換関係９２０に基づいて、別の画像フレーム対Ｒ３（９１５）及びＬ３（９１７）を取得することができる。

図１０に、本発明の様々な実施形態による、移動体環境における異なる状態での三次元一人称視（ＦＰＶ）の実現のフローチャートを示す。図１０に示すように、ステップ１００１において、本システムは、第１画像フレーム対の第１画像フレーム内の特徴点と、第２画像フレーム対の第１画像フレーム内の特徴点とのマッチングを行うことができる。次いで、ステップ１００２において、本システムは、第１画像フレーム対の第１画像フレームと、第２画像フレーム対の第１画像フレームとの間の変換関係を取得することができる。更に、ステップ１００３において、本システムは、取得された変換関係を用いて、第１画像フレーム対の第２画像フレームを第２画像フレーム対の第２画像フレームに変換することができる。

本発明の多くの特徴は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを用いて、又はその支援を受けて実行することができる。その結果、本発明の特徴は、（例：１つ又は複数のプロセッサを含む）処理システムを用いて実装することができる。例示的なプロセッサとして、１つ又は複数の汎用マイクロプロセッサ（例：一つ又は複数コアのプロセッサ）、特定用途向け集積回路、特定用途向け命令セットプロセッサ、グラフィック処理装置、物理処理装置、デジタル信号処理装置、コプロセッサ、ネットワーク処理装置、音声処理装置、暗号化処理装置等が含まれていてよいが、これらに限定されない。

本発明の特徴は、本明細書に示す任意の特徴を処理システムに実行させるためのプログラミングに使用可能な命令を格納した記憶媒体（媒体群）又は計算機可読媒体（媒体群）であるコンピュータプログラム製品を用いて、又はその支援を受けて実装することができる。記憶媒体として、フロッピーディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ装置、磁気又は光カード、ナノシステム（分子メモリＩＣを含む）等、任意の種類のディスク、或いは命令及び／又はデータの格納に適した任意の種類の媒体又装置が含まれるが、これに限定されない。

機械可読媒体（媒体群）のいずれかに格納された本発明の特徴は、処理システムのハードウェアを制御すると共に、処理システムが本発明の結果を利用する他の機構と相互作用可能にすべく、ソフトウェア及び／又はファームウェアに組み込むことができる。このようなソフトウェア又はファームウェアは、アプリケーションコード、デバイスドライバ、オペレーティングシステム、及び実行環境／コンテナを含んでいてよいが、これに限定されない。

本発明の特徴は又、例えば、特定用途向け集積回路（ＡＳＩＣｓ）及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）装置等のハードウェア構成要素を用いるハードウェアで実装することができる。本明細書に記述する機能を実行するハードウェア状態機械の実装形態は当業者には明らかであろう。

追加的に、本発明は、１つ又は複数のプロセッサを含む１つ又は複数の従来型汎用又は専用デジタルコンピュータ、計算装置、機械、又はマイクロプロセッサ、メモリ、及び／又は本開示の内容に従いプログラムされた計算機可読記憶媒体を用いて便利に実装することができる。当業者には明らかなように、適当なコンピュータコードが本開示の内容に基づき専門プログラマにより容易に作成可能である。

本発明の様々な実施形態について上で述べてきたが、これら例として提示されたものであって限定的ではないことを理解されたい。当業者には、本発明の趣旨及び範囲から逸脱することなく、形式及び詳細事項に様々な変更を加え得ることが明らかであろう。

本発明について、指定された機能の性能及びそれらの関係を示す機能構築ブロックの支援を受けて上で述べてきた。これらの機能構築ブロックの境界は往々にして、説明の便宜上本明細書で任意に定義されている。指定された機能及び関係が適切に実行される限り、代替的な境界を定義することができる。そのような代替的な境界はいずれも、本発明の範囲及び趣旨の範囲に含まれる。

本発明の上述の説明は、図示及び説明目的で提示している。これらは網羅的でなく、又本発明を開示した形式そのものに限定することを意図していない。本発明の広がり及び範囲は、上述の例示的実施形態のいずれにも限定されるものではない。当業者には、各種の変更及び変型が明らかであろう。変更及び変型には、開示した特徴の任意の関連する組み合わせが含まれる。実施形態は、本発明及びその実際的な応用の原理を最適に説明すべく選択及び記述されているため、当業者には、様々な実施形態及び考察される特定の用途に適した様々な変更を行うべく本発明を理解することができよう。本発明の範囲は以下の請求項及びその等価物により規定されるものとする。
［項目１］
三次元（３Ｄ）表示を実現する方法であって、
移動体の撮像装置により取得された複数の画像フレームを受信するステップと、
前記移動体の撮像装置の状態情報を取得するステップと、
前記移動体の前記撮像装置の前記状態情報を用いて前記複数の画像フレームに基づいて画像フレーム対を設定するステップであって、前記複数の画像フレームから選択された画像フレームを前記画像フレーム対の第１画像として用いるステップと
を含む方法。
［項目２］
前記状態情報が、前記移動体の制御モジュールから受信した前記移動体の位置及び姿勢情報、及び搭載物安定化制御モジュールから受信した前記撮像装置の姿勢情報に基づいて判定され、前記搭載物安定化制御モジュールが、前記移動体の撮像装置を安定させる安定化システムを制御する、項目１に記載の方法。
［項目３］
三次元（３Ｄ）一人称視（ＦＰＶ）を表示する表示装置に前記画像フレーム対を提供するステップを更に含む、項目１に記載の方法。
［項目４］
前記画像フレーム対の第１画像フレームが、画像フレームのストリーム内の最新の画像フレームである、項目１に記載の方法。
［項目５］
前記移動体の撮像装置の状態情報に基づいて、前記三次元一人称視の視野（ＦＯＶ）の移動を判定するステップを更に含む、項目１に記載の方法。
［項目６］
前記三次元（３Ｄ）ＦＰＶのＦＯＶが左から右に移動する場合は前記画像フレーム対の第１画像フレームを前記三次元ＦＰＶの右画像として設定するステップと、
前記三次元（３Ｄ）ＦＰＶのＦＯＶが右から左に移動する場合は前記画像フレーム対の第１画像フレームを前記三次元ＦＰＶの左画像として設定するステップと
を更に含む、項目５に記載の方法。
［項目７］
フレーム数差に基づいて、前記複数の画像フレーム内の別の画像を、前記画像フレーム対の第２画像として選択するステップを更に含む、項目１に記載の方法。
［項目８］
前記移動体の撮像装置の状態情報に基づいて、前記画像フレーム対の前記第１画像フレームと前記第１画像フレームとの間のフレーム数差を動的に再設定するステップを更に含む、項目７に記載の方法。
［項目９］
ユーザーが、前記三次元一人称視を閲覧しながら、前記画像フレーム対の前記第１画像フレームと前記第２画像フレームとの間のフレーム数差を設定できるようにするステップを更に含む、項目７に記載の方法。
［項目１０］
前記画像フレーム対の前記第１画像と、前記ベース画像フレーム対の第１画像との間の変換関係を取得するステップと、
前記ベース画像フレーム対の第２画像及び前記変換関係に基づいて前記画像フレーム対の第２画像を取得するステップと、を更に含む、項目１に記載の方法。
［項目１１］
前記変換関係が、前記画像フレーム対の前記第１画像と、前記ベース画像フレーム対の前記第１画像との間で一致する特徴点に基づいて取得されたホモグラフィである、項目１０に記載の方法。
［項目１２］
前記複数の画像フレームに基づいて別の画像フレーム対を取得するステップであって、前記複数の画像フレームから選択された画像フレームを、前記別の画像フレーム対で第１画像として使用し、前記画像フレーム対の前記第２画像及び別の変換関係に基づいて、前記別の画像フレーム対の第２画像を取得するステップを更に含む、項目１０に記載の方法。
［項目１３］
画像キャッシュに格納された画像に基づいて前記画像フレーム対の第２画像を決定するステップであって、前記画像キャッシュが、前記画像フレームのストリームの少なくとも1つの画像フレームのバッファを格納するステップを更に含む、項目１に記載の方法。
［項目１４］
前記画像フレーム対の第１画像フレームと第２画像フレームとの間の推定フレーム数差に基づいて画像キャッシュのサイズを設定するステップを更に含む、項目１に記載の方法。
［項目１５］
三次元（３Ｄ）表示を実現するシステムであって、
１つ又は複数のマイクロプロセッサと、
前記１つ又は複数のマイクロプロセッサで動作するコンバータと、を含み、前記コンバータが、
移動体の撮像装置により取得された複数の画像フレームを受信し、
前記移動体の撮像装置の状態情報を取得して、
前記移動体の前記撮像装置の前記状態情報を用いて、前記複数の画像フレームに基づいて画像フレーム対を設定すべく動作し、前記複数の画像フレームから選択された画像フレームを、前記画像フレーム対の第１画像として用いるシステム。
［項目１６］
前記状態情報が、前記移動体の制御モジュールから受信した前記移動体の位置及び姿勢情報、及び搭載物安定化制御モジュールから受信した前記撮像装置の姿勢情報に基づいて判定され、前記搭載物安定化制御モジュールが、前記移動体の撮像装置を安定させる安定化システムを制御する、項目１５に記載のシステム。
［項目１７］
前記コンバータが、三次元（３Ｄ）一人称視（ＦＰＶ）を表示する表示装置に前記画像フレーム対を提供する、項目１に記載のシステム。
［項目１８］
前記画像フレーム対の第１画像フレームが、前記複数の画像フレームのうち最新の画像フレームである、項目１に記載のシステム。
［項目１９］
前記コンバータが、前記移動体の撮像装置の状態情報に基づいて、前記三次元ＦＰＶの視野（ＦＯＶ）の移動を判定する、項目１に記載のシステム。
［項目２０］
前記コンバータが、
前記三次元一人称視のＦＯＶが左から右に移動する場合は前記画像フレーム対の第１画像フレームを前記三次元一人称視の右画像として設定し、
前記三次元一人称視のＦＯＶが右から左に移動する場合は前記画像フレーム対の第１画像フレームを前記三次元一人称視の左画像として設定する、項目１に記載のシステム。
［項目２１］
前記コンバータが、前記複数の画像フレーム内の別の画像を、前記画像フレーム対の第２画像として選択する、項目１に記載のシステム。
［項目２２］
前記コンバータが、前記移動体の撮像装置の状態情報に基づいて、前記画像フレーム対の前記第１画像フレームと、前記第１画像フレームとの間のフレーム数差を動的に再設定する、項目２１に記載のシステム。
［項目２３］
ユーザーが、前記三次元一人称視を閲覧しながら、前記画像フレーム対の前記第１画像フレームと前記第２画像フレームとの間のフレーム数差を設定できる、項目２１に記載のシステム。
［項目２４］
前記コンバータが、
前記画像フレーム対の前記第１画像と、前記ベース画像フレーム対の第１画像との間の変換関係を取得し、
前記ベース画像フレーム対の第２画像及び前記変換関係に基づいて前記画像フレーム対の第２画像を取得する、項目１５に記載のシステム。
［項目２５］
前記変換関係が、前記画像フレーム対の前記第１画像と、前記ベース画像フレーム対の前記第１画像との間で一致する特徴点に基づいて取得されたホモグラフィである、項目２４に記載のシステム。
［項目２６］
前記コンバータが、前記複数の画像フレームに基づいて別の画像フレーム対を取得すべく動作し、前記複数の画像フレームから選択された画像フレームを、前記別の画像フレーム対で第１画像として使用し、前記画像フレーム対の前記第２画像及び別の変換関係に基づいて、前記別の画像フレーム対の第２画像を取得する、項目２４に記載のシステム。
［項目２７］
前記コンバータが、画像キャッシュに格納された画像に基づいて前記画像フレーム対の第２画像を決定すべく動作し、前記画像キャッシュが、前記画像フレームのストリームの少なくとも1つの画像フレームのバッファを格納する、項目１５に記載のシステム。
［項目２８］
前記コンバータが、前記画像フレーム対の第１画像フレームと第２画像フレームとの間の推定フレーム数差に基づいて画像キャッシュのサイズを設定する、項目１５に記載のシステム。
［項目２９］
非一時的コンピュータ可読媒体であって、
プロセッサにより実行された場合に、
移動体の撮像装置により取得された複数の画像フレームを受信するステップと、
前記移動体の撮像装置の状態情報を取得するステップと、
前記複数の画像フレームに基づいて、前記移動体の前記撮像装置の前記状態情報を用いて画像フレーム対を設定するステップであって、前記複数の画像フレームから選択された画像フレームを前記画像フレーム対の第１画像として用いるステップと
を実行する命令が格納された非一時的コンピュータ可読媒体。
［項目３０］
一人称視（ＦＰＶ）を実現するシステムであって、
移動体上に配置されていて、複数の画像フレームを取得する撮像装置と、
前記移動体上に配置されていて、三次元一人称視を表示する表示装置に画像フレーム対を提供する送信装置と、を含み、
前記複数の画像フレームに基づいて、画像フレーム対が、前記移動体の前記撮像装置の状態情報を用いて生成され、前記複数の画像フレームから選択された画像フレームが、前記画像フレーム対の第１画像として用いられるシステム。

Claims (14)

1. 三次元（３Ｄ）表示を実現する方法であって、
   移動体の撮像装置により取得された複数の画像フレームを受信するステップと、
   前記移動体の撮像装置の状態情報を取得するステップと、
   前記移動体の前記撮像装置の前記状態情報を用いて前記複数の画像フレームに基づいて画像フレーム対を設定するステップであって、前記複数の画像フレームから選択された画像フレームを前記画像フレーム対の第１画像として用いるステップと、
   前記画像フレーム対の前記第１画像と、前記複数の画像フレームのベース画像フレーム対の第２画像との間の変換関係を取得するステップと、
   前記ベース画像フレーム対の第３画像及び前記変換関係に基づいて前記画像フレーム対の第４画像を取得するステップと、
   を含む方法。
2. 前記変換関係は、前記画像フレーム対の前記第１画像と、前記ベース画像フレーム対の前記第２画像との間で一致する特徴点に基づいて取得されたホモグラフィである、
   請求項１に記載の方法。
3. 前記複数の画像フレームに基づいて別の画像フレーム対を取得するステップであって、前記複数の画像フレームから選択された画像フレームを、前記別の画像フレーム対で第５画像として使用し、前記画像フレーム対の前記第４画像及び別の変換関係に基づいて、前記別の画像フレーム対の第６画像を取得するステップを更に含む、請求項１又は２に記載の方法。
4. 前記状態情報が、前記移動体の制御モジュールから受信した前記移動体の位置及び姿勢情報、及び搭載物安定化制御モジュールから受信した前記撮像装置の姿勢情報に基づいて判定され、前記搭載物安定化制御モジュールが、前記移動体の撮像装置を安定させる安定化システムを制御する、請求項１から請求項３の何れか１項に記載の方法。
5. 三次元（３Ｄ）一人称視（ＦＰＶ）を表示する表示装置に前記画像フレーム対を提供するステップを更に含む、請求項１から請求項４の何れか１項に記載の方法。
6. 前記画像フレーム対の第１画像フレームは、画像フレームのストリーム内の最新の画像フレームである、請求項１又は請求項２に記載の方法。
7. 前記移動体の前記撮像装置の前記状態情報に基づいて、前記三次元一人称視の視野（ＦＯＶ）の移動を判定するステップを更に含む、請求項１から請求項６の何れか１項に記載の方法。
8. 前記三次元一人称視のＦＯＶが左から右に移動する場合は前記画像フレーム対の第１画像フレームを前記三次元ＦＰＶの右画像として設定するステップと、
   前記三次元一人称視のＦＯＶが右から左に移動する場合は前記画像フレーム対の第１画像フレームを前記三次元ＦＰＶの左画像として設定するステップと、を更に含む、請求項７に記載の方法。
9. フレーム数差に基づいて、前記複数の画像フレーム内の別の画像を、前記画像フレーム対の第７画像として選択するステップを更に含む、請求項１から請求項３の何れか１項に記載の方法。
10. 前記移動体の前記撮像装置の前記状態情報に基づいて、前記画像フレーム対の第１画像フレームと第７画像フレームとの間のフレーム数差を動的に再設定するステップを更に含む、請求項９に記載の方法。
11. 前記画像フレーム対の第１画像フレームと第７画像フレームとの間のフレーム数差が設定されるステップを更に含む、請求項９に記載の方法。
12. 画像キャッシュに格納された画像に基づいて前記画像フレーム対の第７画像を決定するステップであって、前記画像キャッシュが、前記画像フレームのストリームの少なくとも１つの画像フレームのバッファを格納するステップを更に含む、請求項１から請求項３の何れか１項に記載の方法。
13. 前記画像フレーム対の第１画像フレームと第７画像フレームとの間の推定フレーム数差に基づいて画像キャッシュのサイズを設定するステップを更に含む、請求項１から請求項３の何れか１項に記載の方法。
14. 請求項１から請求項１３の何れか１項に記載の方法を実行するプロセッサを備える、システム。

Images