JP6242591B2 - 仮想環境および物理環境における強化センサーによる位置特定 - Google Patents

Description

再配置可能な構造体等の大型オブジェクトの組み立ておよび保守は、コンポーネントの配置をガイドする測位システムの使用が有用である。たとえば、航空機は翼や尾部等の航空機の特定のコンポーネントの適切な配置を確保するため、これらのコンポーネントの位置を測定するための位置特定システムと装置が備わった施設で組み立てられることがある。航空機の製造においては整備士および品質保証（ＱＡ）部の検査係が航空機の特定位置を探す必要が頻繁に生じる。彼らはこれらの位置をデカルト座標Ｘ、Ｙ、Ｚ（航空業界ではＳｔａｔｉｏｎ、Ｂｕｔｔｌｉｎｅ、Ｗａｔｅｒｌｉｎｅとも言われる）で示すテキストが記載された紙ベースのプリントアウトを使用する場合がある。場合によってはガイダンスとして図も使用されることがある。整備士または品質保証部の検査係は目的の位置が見つかったら、交換が必要な破損アイテムの座標を文書化する作業を実施する必要が生じる可能性がある。場合によっては、メジャーを使用し、関心領域近くのランドマークまたは地物からの距離を特定し、これを書き留めたりまたはラップトップに入力したりする。これらの手順には時間がかかり、また、テキストや図の誤認、測定方法に関する混同、手書きによるミス等、間違いが生じやすい。よって、対応する仮想環境の３Ｄモデルと統合可能な、物理的な動きを追跡するプロセスがあることが望ましい。

既存の位置特定システムは様々な欠陥がある。たとえば、光学式モーションキャプチャはシステムのサイズや囲まれた場所が必要であるといった制限があり、磁気追跡は磁気的干渉による影響、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）ベース手法には環境内の地物のハイコントラストな連続的可視性が必要となるところ、特に航空機の外側ではそれは常に得られるとは限らない。人間を追跡する標準的な慣性計測ユニット（ＩＭＵ）ソリューションには、時間経過とともに、位置の直接計算の信頼性が損なわれる原因となる、加速度計のドリフトという問題がある。

したがって、様々な環境における３Ｄの位置特定とナビゲーションのためのシステムおよび方法があれば有用である。

一実施形態におけるコンピュータベースの方法は、実３次元空間における少なくとも１つの実オブジェクトに対する測定装置の実３次元空間における位置および方向を判定すること、および、測定装置に結合された表示装置上に、仮想３次元空間における実オブジェクトに対応する仮想オブジェクトの仮想イメージの透視図を表示することを含み、測定装置からの受信データから取得された位置および方向に基づき、仮想オブジェクトの透視図が実オブジェクトの透視図に一致する。

別の実施形態におけるコンピュータベースのシステムは、測定装置、表示部、プロセッサ、およびプロセッサに結合されたコンピュータで読み取り可能な有形媒体内に格納された論理命令を備えており、論理命令はプロセッサによる実行時に、実３次元空間における少なくとも１つの実オブジェクトに対する測定装置の実３次元空間における位置および方向を判定させ、かつ、表示部上に仮想３次元空間における実オブジェクトに対応する仮想オブジェクトの仮想イメージの透視図を表示させるようプロセッサを構成し、測定装置の位置に基づき、仮想オブジェクトの透視図が実オブジェクトの透視図に一致する。

別の実施形態におけるコンピュータプログラム製品は、プロセッサに結合されたコンピュータで読み取り可能な有形媒体内に格納された論理命令を備えており、論理命令はプロセッサによる実行時に、実３次元空間における少なくとも１つの実オブジェクトに対する測定装置の実３次元空間における位置および向きを判定させ、かつ、測定装置に結合された表示装置上に、仮想３次元空間における実オブジェクトに対応する仮想オブジェクトの仮想イメージの透視図を表示させるようプロセッサを構成し、測定装置の位置に基づき、仮想オブジェクトの透視図が実オブジェクトの透視図に一致する。

適用可能なさらなる領域は、本明細書の記載から明らかになる。本明細書の説明および具体例は解説のみを目的としたものであり、本開示に係る発明の範囲を限定することを意図していない。

本発明の解説に沿って、方法、システム、コンピュータプログラム製品に係る実施形態が以下の図面を参照しつつ詳細に記載される。
図１は、実施形態に従い、ＩＭＵベースの位置特定が実装されるコンピューティング環境の略図である。 図２は、一部の実施形態に従い、ＩＭＵベースの位置特定を実装するよう構成されるコンピューティングデバイスの略図である。 図３は実施形態に従ったＩＭＵベースの位置特定のための方法における処理を示すフロー図である。 図４は実施形態に従ったＩＭＵベースの位置特定のための方法における処理を示すフロー図である。

本明細書では、ナビゲーションを可能にするＩＭＵベースの位置特定のためのシステムおよび方法について説明する。実施形態の完全な理解を授けるため、特定の実施形態に係る具体的な詳細が以下の説明および図面に記載されている。しかしながら、当業者であれば、以下に記載されているこれら具体的な詳細のうちいくつかを省いても、代替的な実施形態を実施可能であることを理解すべきである。

本明細書における概念は、仮想世界のナビゲーションを対応する物理環境でのユーザーの動きにより制御すると同時に、さらにユーザーが物理オブジェクトを見て、操作することを可能にし、かつ、ＣＡＤ可視化機能を使用して分析することを可能にする相互作用技法を扱う。本明細書における各種実施形態は、航空機、船舶、列車、自動車、建物、および他の構造物等の複雑なビークルの製造作業及び／又はメンテナンス作業を行う観点から記載されている。本明細書において「ビークル」という用語はこれらのオブジェクトのあらゆるものを包含すると解釈すべきである。本明細書の実施形態によると、ビークルの仮想３次元（３Ｄ）モデルがコンピュータシステムのメモリに格納される。１つ以上の実オブジェクトがポータブルコンピューティングデバイスの近傍に配置されるよう、ＩＭＵを含むまたはＩＭＵに結合され、かつ、表示部および前記ビークルの仮想３Ｄモデルの少なくとも一部を格納するために十分な処理能力を有するポータブルコンピューティングデバイスをビークル近傍またはビークル内の既知の指定位置に配置できる。前記１つ以上の実オブジェクトに対応する１つ以上の仮想オブジェクトの仮想イメージが表示部に表示され、ＩＭＵベースの位置特定プロセスからの相対的な位置データと方向データを使用し、表示部上の仮想イメージの透視図を前記１つ以上の実オブジェクトの透視図に一致するよう整列されると、これにより仮想環境と実環境が同期する。このステップは、ＩＭＵベースの位置と方向の追跡プロセスをこの位置で初期化するものであり、以降のすべての動きはこの位置に関連して定義される。ＩＭＵが実環境で移動されるにつれ、コンピューティングデバイスの表示部に表示された仮想環境がそれに応じて変化する。ＩＭＵベースの追跡プロセスを新規位置で再度初期化する必要がある場合、ユーザーが追加的に補正を加えることができる。一部の実施形態においては、ＩＭＵはコンピューティングデバイスの回転及び／又は並進を示す信号を生成する。他の実施形態においては、ユーザーインタフェースを介して、回転入力および並進入力がコンピューティングデバイスに提供される。

図１は、実施形態に従い、ＩＭＵベースの位置特定が実装されるコンピューティング環境の略図である。図１を参照すると、コンピュータベースのデバイス１１０、慣性計測ユニット（ＩＭＵ）１２０、１つ以上の通信ネットワーク１３０、サーバー１４０、およびファイルストア１５０を備えた一実施形態の環境１００の概要が示されている。一部の実施形態においては、環境１００に航空機１６０等のビークルが含まれてよい。

コンピュータベースのデバイスはラップトップコンピュータ、タブレットコンピュータ、携帯情報端末（ＰＤＡ）、スマートフォン等のポータブルコンピューティングデバイスで具現化できる。サーバー１４０は据置型コンピューティングデバイスで具現化できる。図２は、コンピュータベースのデバイス１１０またはサーバー１４０のいずれかに構成され得るコンピューティングデバイス２００の略図である。一実施形態では、コンピューティングデバイス２００は画面２０４を有する表示部２０２を含む１つ以上の付随の入出力デバイス、１つ以上のスピーカー２０６、キーボード２１０、１つ以上の他のＩ／Ｏデバイス２１２、およびマウス２１４を含む。他のＩ／Ｏデバイス２１２は、タッチ式スクリーン、音声入力デバイス、トラックボール、およびシステム２００がユーザーからの入力を受信できるようにする任意の他のデバイスであってよい。

コンピューティングデバイス２００には、システムハードウェア２２０およびメモリ２３０が含まれており、メモリ２３０はランダムアクセスメモリ（ＲＡＭ）及び／又はリードオンリーメモリ（ＲＯＭ）として実装可能である。ファイルストア２８０はコンピューティングデバイス２００と通信可能なようにコンピューティングデバイス２００に結合できる。ファイルストア２８０は、１つ以上のハードドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭドライブ、または他の種類の記憶デバイス等、コンピューティングデバイス２００に内蔵されていてよい。ファイルストア２８０は、１つ以上の外付けハードドライブ、ネットワーク接続ストレージ、または別のストレージネットワーク等、コンピュータ２００の外部にあってもよい。

システムハードウェア２２０には、１つ以上のプロセッサ２２２、１つ以上のグラフィックプロセッサ２２４、ネットワークインタフェース２２６、およびバス構造２２８が含まれ得る。本明細書で使用する「プロセッサ」という用語は、たとえば、限定しないが、マイクロプロセッサ、マイクロコントローラ、ＣＩＳＣ（Ｃｏｍｐｌｅｘ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ）マイクロプロセッサ、ＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ）マイクロプロセッサ、ＶＬＩＷ（Ｖｅｒｙ Ｌｏｎｇ Ｉｎｓｔｒｕｃｔｉｏｎ Ｗｏｒｄ）マイクロプロセッサ、または任意の他の種類のプロセッサもしくは処理回路等、任意の種類のコンピュータ計算要素を意味する。

グラフィックプロセッサ２２４は、グラフィックス及び／又はビデオ操作を管理する付属プロセッサとして機能することができる。グラフィックプロセッサ２２４は、コンピューティングシステム２００のマザーボードに統合化したり、または拡張スロットを介してマザーボードに結合したりできる。

一実施形態では、ネットワークインタフェース２２６は、イーサネット（登録商標）インタフェース（例えば、電気電子技術者協会規格ＩＥＥＥ８０２．３−２００２を参照）等の有線インタフェース、またはＩＥＥＥ８０２．１１ａ、ｂ、ｇ準拠インタフェース（例えば、ＬＡＮ／ＭＡＮシステム間のＩＴ通信及び情報交換のためのＩＥＥＥ規格―第２部：無線ＬＡＮメディアアクセス制御（ＭＡＣ）及び物理層（ＰＨＹ）仕様―追補４：２．４ＧＨｚ帯における高速伝送のための拡張、８０２．１１Ｇ−２００３を参照）等の無線インタフェースであってよい。無線インタフェースの他の例として、汎用パケット無線サービス（ＧＰＲＳ）インタフェース（例えば、ＧＰＲＳハンドセット要件に関するガイドライン、モバイルコミュニケーションズ／ＧＳＭ（登録商標）協会用グローバルシステム、バージョン３．０．１、２００２年１２月）を挙げられる。

バス構造２２８はシステムハードウェア２２０の種々のコンポーネントを接続する。一実施形態では、バス構造２２８は、メモリバス、周辺機器用バスまたは外部バス及び／又は１１ビットバス、業界標準アーキテクチャ（ＩＳＡ）、ＰＣＩ、マイクロチャネルアーキテクチャ（ＭＳＡ）、拡張ＩＳＡ（ＥＩＳＡ）、インテリジェントドライブエレクトロニクス（ＩＤＥ）、ＶＥＳＡローカルバス（ＶＬＢ）、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）、ユニバーサルシリアルバス（ＵＳＢ）、アドバンストグラフィックスポート（ＡＧＰ）、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）バス、スモールコンピュータシステムズインタフェース（ＳＣＳＩ）、ＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩ−Ｅ）バス、シリアルＡＴＡ（ＳＡＴＡ）バス等（これらに限定せず）の入手可能な任意の種類のバスアーキテクチャを採用するローカルバスを含む、１つ以上の各種バス構造であってよい。

メモリ２３０は、コンピューティングデバイス２００の動作を管理するためのオペレーティングシステム２４０を含むことができる。一実施形態では、オペレーティングシステム２４０は、システムハードウェア２２０へのインタフェースを提供するハードウェアインタフェースモジュール２５４を含む。さらに、オペレーティングシステム２４０は、コンピューティングデバイス２００の動作で使用されるファイルを管理するファイルシステム２５０、およびコンピューティングデバイス２００上で実行されるプロセスを管理するプロセス制御サブシステム２５２を含むことができる。

オペレーティングシステム２４０は、システムハードウェア２２０と連携してリモートソースとの間でデータパケット及び／又はデータストリームを送受信するよう動作する１つ以上の通信インタフェースを含む（または管理する）ことができる。オペレーティングシステム２４０はさらに、オペレーティングシステム２４０とメモリ１３０内に常駐する１つ以上のアプリケーションモジュール間のインタフェースを提供するシステムコールインタフェースモジュール２４２を含むことができる。オペレーティングシステム２４０は、Ｗｉｎｄｏｗｓ（登録商標）ブランドのオペレーティングシステムまたはＵＮＩＸ（登録商標）オペレーティングシステムもしくはその派生システム（例えば、Ｌｉｎｕｘ（登録商標）、Ｓｏｌａｒｉｓ、ｉＯＳ、Ａｎｄｒｏｉｄ等）、あるいは他のオペレーティングシステムとして具現化できる。

一実施形態においては、メモリ２３０に仮想マッピングモジュール２６０が含まれ、仮想マッピングモジュールはコンピュータで読み取り可能な有形媒体内にエンコードされた論理命令で具現化できる。図１に示されるサーバー１４０を具現化するコンピュータデバイス２００内の仮想マッピングモジュール（図１では１４５）は３次元環境および３次元環境内におけるオブジェクトの仮想の形態を維持する。たとえば、一部の実施形態においては、サーバー上の仮想マッピングモジュール１４５は航空機１６０の３次元環境を維持する。前記航空機の３次元環境には航空機１６０を含む各種構造体およびコンポーネントが含まれてよい。図１に示されるコンピュータベースのデバイス１１０を具現化するコンピューティングデバイス２００内の仮想マッピングモジュール２６０は、プロセッサ２２２による実行時にプロセッサ２２２にＩＭＵベースの位置特定をサーバー１４０内の仮想マッピングモジュール１４５が維持する３次元環境を介して実装させる論理命令を含んでよい。

図１に戻るが、一部の実施形態においては慣性計測ユニット（ＩＭＵ）１２０はコンピュータベースのデバイス１１０に統合されてよい。代替的な実施形態では、ＩＭＵ１２０はユニバーサルシリアルバス（ＵＳＢ）ポート等の適切なインタフェースを介してコンピュータベースのデバイス１１０に結合可能な別のデバイスであってよい。ＩＭＵ１２０は内蔵マイクロプロセッサを含むことができるが、コンピュータベースのデバイス１１０内のプロセッサにタスクの処理を依存することもできる。一部の実施形態においては、ＩＭＵ１２０は、相対的な加速度（加速度計）および回転速度（ジャイロ）を測定するモーションセンサーデバイス等、１つ以上の微小電気機械システム（ＭＥＭＳ）を含んでよい。ＩＭＵ１２０が生成する出力はコンピュータベースのデバイス１１０に提供されてよい。これらの動作センサーが検出する動作を使用し、移動中のＩＭＵ１２０の位置と方向を計算できる。ＩＭＵ１２０は移動中、概算の並進変位と回転変位を提供することもできる。

ＩＭＵ１２０およびコンピュータベースのデバイス１１０は１つ以上の通信ネットワーク１３０を介してサーバー１４０に結合できる。通信ネットワーク１３０は、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）または広域ネットワーク（ＷＡＮ）、私設通信ネットワーク等として具現化できる。さらに通信ネットワーク１３０、１３２、１３４には１つ以上のサブネットワークを含むことができる。たとえば、限定はしないが、通信ネットワーク１３０、１３２、１３４にはＬＡＮへのアクセスまたはインターネット等の基幹ネットワークへの直接アクセスを確立する、１つ以上のアクセスポイント（ＡＰ）を含んでよい。さらに、通信ネットワーク１３０、１３２、１３４には有線ＵＳＢまたはシリアルリンク、無線８０２．１１ｘリンク、無線ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線リンク、セルラーネットワーク等（これらに限定されない）の各種入出力トランスポートを含んでよい。

ここまでＩＭＵベースの位置特定を実装するシステムの構成コンポーネントについて記載してきたが、ここからシステムの各種コンポーネントの動作および相互作用について記載する。一部の実施形態において、コンピュータベースのデバイス１１０とＩＭＵ１２０が連携して、サーバー１４０が維持する仮想環境でのナビゲーションを可能にする。

図３は実施形態に従ったＩＭＵベースの位置特定のための方法における処理を示すフロー図である。特に、図３は仮想空間における初期位置が選択される位置特定プロセスの処理を示す。一部の実施形態においては、図３に係る処理はコンピュータベースのデバイス１１０上で実行される仮想マッピングモジュール２６０単体によって実装されてもよいし、または仮想マッピングモジュール２６０とサーバー１４０上で実行される仮想マッピングモジュール１４５との連携によって実装されてもよい。

図３を参照すると、処理３１０において、コンピュータベースのデバイス１１０のメモリ内に仮想環境が読み込まれる。一部の実施形態においては、ネットワーク１３０を介して、完全な仮想環境がサーバー１４０の仮想マッピングモジュール１４５からコンピュータベースのデバイス１１０のメモリに読み込まれてよい。しかしながら、他の実施形態においては、仮想環境の一部のみがコンピュータベースのデバイス１１０のメモリに読み込まれる。たとえば、コンピュータベースのデバイス１１０のユーザーが仮想環境の特定領域を要求すると、要求された領域のみがサーバー１４０の仮想マッピングモジュール１４５からコンピュータベースのデバイス１１０のメモリ内に読み込まれるようにすることができる。

処理３１５において、ＩＭＵ１２０が自身により生じる動きを示す信号を生成するよう、ＩＭＵ１２０が起動される。処理３２０において、仮想環境にモデル化される既知の物理的位置を示す信号が受信される。たとえば、ユーザーがタッチスクリーン表示部１１２のメニュー１１８から、航空機１６０近傍または航空機１６０内の複数の既定位置から１つを選択し、コンピュータベースのデバイス１１０とＩＭＵ１２０を選択された位置に配置してもよい。処理３２５において、前記選択に応答して、コンピュータベースのデバイス１１０上で実行される仮想マッピングモジュール２６０が選択された位置の仮想環境のイメージを表示する。

処理３３０において、同一の透視図を基準に、表示部に表示された仮想イメージが実環境のイメージに一致するかどうか判定される。一部の実施形態においては、この判定は手動でなされる。たとえば、コンピュータベースのデバイスのユーザーがデバイス１１０の表示部１１２に表示された仮想イメージを見て、イメージが一致するかどうか主観的判断を下すようにしてもよい。他の実施形態においては、この判定はコンピュータベースのデバイス１１０上またはコンピュータベースのデバイス１１０に結合されたコンピュータ上で実行される論理回路により客観的な方法でなされてよい。たとえば、一部の実施形態においては、コンピュータベースのデバイス１１０はカメラ等のイメージキャプチャデバイスを備えてよく、イメージキャプチャデバイスを使用し、コンピュータベースのデバイス近傍の実環境のイメージをキャプチャする。このような実施形態の場合、コンピュータベースのデバイスによりキャプチャされたイメージの属性を表示部に表示された仮想イメージの属性と比較し、両イメージが一致するかどうか判定することができる。

処理３３０において、仮想イメージが実環境のイメージと一致しない場合、処理３３５に制御が渡され、仮想環境と実環境が整列するまで相対的なイメージの位置および方向がユーザーにより調整される。さらに別の実施形態においては、タッチスクリーン（または他のビューポイントコントロール）を使用し、仮想ビューポイントを回転、パン及び／又は拡大縮小すること、または物理的に表示装置（取り付けられたセンサーも）を移動させることで、表示部の仮想イメージを操作し、仮想イメージが実環境のイメージに一致するようにしてもよい。一方、処理３３０で両イメージが一致した場合、位置特定プロセスは成功と見なされ、実世界のコンピュータベースのデバイス１１０とＩＭＵ１２０の位置が表示部１１２に表示された仮想イメージの透視図と同期される。

その結果、制御が処理３４０に渡され、コンピュータベースのデバイス１１０上で追跡プロセスが開始される。一部の実施形態においては、追跡プロセスでＩＭＵ１２０からの入力、またはＩＭＵ１２０からの入力と表示部１１２上の１つ以上のユーザーインタフェースからのユーザー入力を組み合わせたものが使用され、ユーザーが表示部１１２上に表示される仮想環境をナビゲートできるようにする。仮想環境はＩＭＵ１２０とコンピュータデバイス１１２が移動する実環境に一致している。

追跡プロセスの別の態様について図４を参照して説明する。図４を参照すると、処理４１０において仮想イメージの透視図が表示部１１２に表示される。処理４１５において、コンピュータベースのデバイス１１０上で実行される仮想マッピングモジュール２６０が、ＩＭＵ１２０が回転運動を受けることを示す方向信号を受信する。一部の実施形態においては、コンピュータベースのデバイス１１０を保持するユーザーが、ＩＭＵ１２０を回転させると、それに応答してＩＭＵ１２０が方向信号を生成する。他の実施形態においては、タッチスクリーン表示部１１２上のユーザーインタフェースへのユーザー入力により回転信号が生成される。

同様に、処理４２０において、仮想マッピングモジュール２６０は並進信号を受信する。一部の実施形態においては、ＩＭＵ１２０が並進運動を受けることを示す並進信号が受信される。一部の実施形態においては、コンピュータベースのデバイス１１０を保持するユーザーが、ＩＭＵ１２０を並進させると、それに応答してＩＭＵ１２０からの受信データから並進信号が取得される。他の実施形態においては、タッチスクリーン表示部１１２上のユーザーインタフェース１１４へのユーザー入力により並進信号が生成される。

処理４３０において、回転信号と並進信号に応答して、表示部１１２に表示される仮想イメージが更新される。一部の実施形態においては、ＩＭＵ１２０からの方向データは３×３の回転行列で表すことができる。以下の式に示されるように、３×３の回転行列に、画面座標で定義される３×１のｘ、ｙ、ｚの並進ベクトルを右から乗算した解に、任意の追加のスクリーンベースの並進が含まれる。

［ＲＯＴ］は３×３の回転行列を表し、３×１ベクトルの［Ｘｓ、Ｙｓ、Ｚｓ］Ｔはスクリーン並進で、［Ｘａ、Ｙａ、Ｚａ］Ｔは絶対座標での結果の並進である。次にこのデータは、以下の形式の４ｘ４の同次変換行列にリファクタリングされる。

一実施形態において、ＩＭＵ１２０からのデータを受信するコンピュータプロセスから、表示部１１２は数２に示されるような４×４行列の形式で、開始位置に対する相対的な位置データ（位置情報と方向情報）を受信する。数３に示すように、次にこの行列に、開始位置に関連付けられた行列を左から乗算する。

３つの行列はすべて４×４同次変換行列である。一部の実施形態においては、解の行列を直接使用するか、または他の形式に変換して（グラフィックアプリケーションにより異なる）、仮想環境のビューポイントを設定し、かつ、グラフィック表示がこの新しいビューポイントを表示するため更新される（処理４３０）。

処理４３２において、仮想イメージが実オブジェクトのイメージに整列しているかどうか判定される。処理４３２において、ビューの修正が必要な場合、制御が処理３２５に戻される。一方、ビューの修正が不要の場合、制御が処理４３５に渡される。

処理４３５において、オブジェクトの選択または（ｘ、ｙ、ｚ）位置ポイントの選択が必要な場合、ユーザーはコンピュータベースのデバイス１１０とＩＭＵ１２０を移動させる及び／又はスクリーン上の並進を使用することで、方向を変更し、表示部１１２上のオブジェクトまたは関心領域を配置する。前記オブジェクトまたは関心領域は十字線１１６または他のターゲティング要素等、適切なユーザーインタフェースを使用し選択することができる（処理４４０）。位置ポイントが適切なメモリ場所に格納される（処理４４５）か、または選択されたオブジェクトからのデータがユーザーに表示される。このプロセスでは他の位置ベースの選択アクションも有効にでき、たとえば、オブジェクトを選択するための選択イベントを使用し、オブジェクトに関する追加データを受信したり、オブジェクトの色を変更したり、オブジェクトを無効にしたり等のアクションを行うことができる。

処理４５０において、ユーザーが環境内でのナビゲーションを終了したら、制御が処理４５５に渡され、プロセスは終了する。一方、ユーザーがナビゲーションを続行したい場合、制御が処理４１５に戻される。

つまり、図３の処理は処理３１０〜３４０の間で、ユーザーが仮想環境を実環境と整列させることを可能にするものであり、処理４１５〜４５０はコンピューティングデバイス１１０とＩＭＵ１２０のユーザーが、ビークル１６０内またはビークル１６０近傍の３次元空間のパスを通ってコンピューティングデバイス１１０とＩＭＵ１２０を移動させることができ、仮想環境の対応ビューがコンピュータベースのデバイス１１０の表示部１１２に表示されるループを定義するものである。または、ユーザーは表示装置１１２上で入力を使用し、仮想環境を操作できる。このプロセスを人間ベースのナビゲーションと表現するが、これはＩＭＵベースの位置特定プロセスにより提供されるデータを使用した実環境と仮想環境の連続的整列によって可能になる。

ユーザーは任意の時点で、表示装置の画面上で１つ以上の関心項目を選択でき、表示装置はそれに応答して選択ポイントにおけるオブジェクトに関する情報を表示する及び／又は選択ポイントの座標を格納する。

代替的な実施形態においては、ユーザーを特定位置にガイドするナビゲーションの指示を表示装置に表示できる。これには３Ｄの方向インジケータ（矢印等）またはテキスト要素、あるいはオーディオフィードバック要素が含まれ得る。たとえば、ユーザーが１つ以上の目的の座標の組を入力または選択して航空機の特定位置に移動したい場合、ユーザーは自動ナビゲーションアプリケーションに対し、現在位置から目的位置へユーザーをガイドする指示を生成するよう要求する。ユーザーが実環境を移動するにつれ、ナビゲーションインジケータ要素への更新とともに仮想環境が更新されて、仮想環境の対応ビューが表示される。この自動ナビゲーションアシスタンスアプリケーションは、上記の位置特定プロセスを実装するＩＭＵ装備の表示装置を運搬中のユーザーの現在位置および方向を利用できることを要求する。

これまで例示的なプロセスの特定の実施形態について説明してきたが、別の実施形態においては特定の動作を記載の順序で行う必要がないことを理解すべきである。別の実施形態においては、状況に応じて、一部の動作に修正を加えたり、異なる順序で実施したり、完全に省いたりすることができる。さらに各種の代替的な実施形態においては、記載された動作はコンピュータ、コントローラ、プロセッサ、プログラム可能なデバイス、ファームウェア、または他の任意の適切なデバイスによって実装可能であり、また記載された動作は１つ以上のコンピュータで読み取り可能な媒体上に格納された命令もしくはその他の方法で格納された命令またはそのようなデバイスにプログラムされた命令に基づかせることができる（コンピュータで読み取り可能な命令をリアルタイムにそのようなデバイスに送信することを含む）。ソフトウェアの場合、記載された動作は１つ以上のプロセッサによる実行時、本明細書に記載された処理を実行するコンピュータ命令の形を取る。コンピュータで読み取り可能な媒体を使用する場合、デバイス上に格納された命令を実装するため、デバイスでアクセス可能な任意の入手可能な媒体とすることができる。

本明細書の説明と図の中で、コンピュータベースの方法の一態様が開示される。前記方法は実３次元空間における少なくとも１つの実オブジェクトに対する測定装置１２０の実３次元空間における位置および方向を判定すること、および、測定装置１２０に結合された表示装置１１２、２０２上に、仮想３次元空間１４５における実オブジェクトに対応する仮想オブジェクトの仮想イメージの透視図を表示することを含み、測定装置１２０の位置に基づき、仮想オブジェクトの透視図が実オブジェクトの透視図に一致する。一変形例においては、前記方法は、少なくとも１つのオブジェクトに対する測定装置１２０の実３次元空間における位置および方向を判定することは、測定装置１２０が実３次元空間内の既知の物理的位置に配置されていることを示す信号を受信すること、表示装置１１２、２０２上に、既知の物理的位置の透視図に基づき少なくとも１つの仮想オブジェクトの仮想イメージの透視図を表示すること、および実オブジェクトの透視図と仮想オブジェクトの透視図間の一致を確認することを含む。

別の変形例においては、前記方法は、測定装置１２０が慣性計測ユニットＩＭＵ１２０を備えており、さらに実オブジェクトに対する慣性計測ユニット１２０の方向における変更を示す回転入力を受信すること、および、測定装置１２０からの受信データから取得された位置および方向に基づき、仮想オブジェクトの透視図が実オブジェクトの透視図と整列するよう、表示装置１１２、２０２上で仮想オブジェクトの透視図を回転させることを含む。さらに別の変形例においては、前記方法は、回転入力が慣性計測ユニットＩＭＵ１２０からの入力またはＩＭＵ１２０またはＩＭＵデータ処理アプリケーション１４５、２６０と表示装置１１２、２０２に結合された入力デバイス１１２、２０２、２０４、２０６、２１０、２１２、２１４からの入力のうち少なくとも１つを備えることを含む。

さらに別の変形例においては、前記方法は、実オブジェクトの透視図と仮想オブジェクトの透視図間の一致を確認することは、実オブジェクトに対する慣性計測ユニット１２０の位置における変更を示す並進入力を受信すること、および、測定装置１２０の位置および方向に基づき、仮想３次元空間１４５の透視図が実３次元空間の透視図と整列するように表示装置１１２，２０２上の仮想３次元空間１４５の透視図を更新することの少なくとも１つを含む。一例においては、前記方法は、並進入力が測定装置１２０からの入力または測定装置処理アプリケーション１４５，２６０と表示装置１１２、２０２に結合された入力デバイス１１２、２０２、２０４、２０６、２１０、２１２、２１４からの入力のうち少なくとも１つを備えることを含む。別の例においては、前記方法はさらに、１つ以上の関心項目を選択するため表示装置１１２、２０２内で入力を受信すること、および、入力に応答して１つ以上の関心項目に関する情報を表示することを含む。

コンピュータベースのシステムの一態様が開示される。前記システムは、測定装置１２０、表示部１１２、２０４、プロセッサ２２２、およびプロセッサ２２２に結合されたコンピュータで読み取り可能な有形媒体２３０内に格納された論理命令２６０を備えており、論理命令はプロセッサ２２２による実行時に、実３次元空間における少なくとも１つの実オブジェクトに対する測定装置１２０の実３次元空間における位置および方向を判定させ、かつ、表示部１１２、２０４上に仮想３次元空間１４５における実オブジェクトに対応する仮想オブジェクトの仮想イメージの透視図を表示させるようプロセッサ２２２を構成することを含み、測定装置１２０の位置に基づき、仮想オブジェクトの透視図が実オブジェクトの透視図に一致する。一変形例においては、前記コンピュータベースのシステムは、実３次元空間における位置および方向を判定するための論理命令はさらに、プロセッサ２２２による実行時に、測定装置１２０が実３次元空間内の既知の物理的位置に配置されていることを示す信号を受信させ、表示部上に、既知の物理的位置の透視図に基づき少なくとも１つの仮想オブジェクトの仮想イメージの透視図を表示させ、実オブジェクトの透視図と仮想オブジェクトの透視図間の一致を確認させるようプロセッサ２２２を構成することを含む。

別の変形例においては、前記コンピュータベースのシステムは、プロセッサ２２２に結合されたコンピュータで読み取り可能な有形媒体２３０内に格納された論理命令２６０を備えており、論理命令はプロセッサ２２２による実行時に、実オブジェクトに対する測定装置１２０の方向における変更を示す回転入力を受信させ、かつ、測定装置１２０の位置および方向に基づき、仮想オブジェクトの透視図が実オブジェクトの透視図と整列するよう、表示装置１１２、２０２上で仮想オブジェクトの透視図を回転させるようプロセッサ２２２を構成することを含む。一例においては、前記コンピュータベースのシステムは、回転入力が慣性計測ユニット１２０からの入力または測定装置処理アプリケーション１４５、２６０と表示装置１１２、２０２に結合された入力デバイス１１２、２０２、２０４、２０６、２１０、２１２、２１４からの入力のうち少なくとも１つを備えることを含む。

別の例においては、前記コンピュータベースのシステムは、プロセッサ２２２に結合されたコンピュータで読み取り可能な有形媒体２３０内に格納された論理命令２６０を備えており、論理命令はプロセッサ２２２による実行時に、１つ以上の関心項目を選択するため表示装置１１２、２０２内で入力を受信させ、かつ、入力に応答して１つ以上の関心項目に関する情報を表示させるようプロセッサを構成することを含む。さらなる一例においては、前記コンピュータベースのシステムは、入力が測定装置１２０からの入力または測定装置処理アプリケーション１４５、２６０と表示装置１１２、２０２に結合された入力デバイス１１２、２０２、２０４、２０６、２１０、２１２、２１４からの入力のうち少なくとも１つを備えることを含む。さらに別の一例においては、前記コンピュータベースのシステムは、プロセッサ２２２に結合されたコンピュータで読み取り可能な有形媒体２３０内に格納された論理命令２６０を備えており、論理命令はプロセッサ２２２による実行時に、測定装置処理アプリケーション１４５、２６０と表示装置１１２、２０２に結合された入力デバイス１１２、２０２、２０４、２０６、２１０、２１２、２１４からの確認入力を受信させ、かつ、仮想オブジェクトの透視図と実オブジェクトのリアルタイムイメージ間のマッチングを判定するマッチングプロセスからの確認入力を受信させるようプロセッサ２２２を構成することを含む。

コンピュータプログラム製品の一態様が開示される。前記製品は、プロセッサ２２２に結合されたコンピュータで読み取り可能な有形媒体内に格納された論理命令を備えており、論理命令はプロセッサ２２２による実行時に、実３次元空間における少なくとも１つの実オブジェクトに対する測定装置の実３次元空間における位置および向きを判定させ、かつ、測定装置１２０に結合された表示装置１１２、２０２上に、仮想３次元空間１４５における実オブジェクトに対応する仮想オブジェクトの仮想イメージの透視図を表示させるようプロセッサ２２２を構成することを含み、測定装置１２０の位置に基づき、仮想オブジェクトの透視図が実オブジェクトの透視図に一致する。一変形例においては、前記コンピュータプログラム製品は、実３次元空間における位置および方向を判定するための論理命令２６０にさらに、プロセッサ２２２による実行時に、測定装置１２０が実３次元空間内の既知の物理的位置に配置されていることを示す信号を受信させ、表示装置１１２、２０２上に、既知の物理的位置の透視図に基づき少なくとも１つの仮想オブジェクトの仮想イメージの透視図を表示させ、実オブジェクトの透視図と仮想オブジェクトの透視図間の一致を確認させるようプロセッサ２２２を構成する論理命令を含む。

別の変形例においては、前記コンピュータプログラム製品は、測定装置１２０が慣性計測ユニット１２０を備え、さらにプロセッサ２２２に結合されたコンピュータで読み取り可能な有形媒体２３０内に格納された論理命令２６０を備えており、論理命令はプロセッサ２２２による実行時に、実オブジェクトに対する慣性計測ユニット１２０の方向における変更を示す回転入力を受信させ、かつ、測定装置１２０の位置および方向に基づき、仮想オブジェクトの透視図が実オブジェクトの透視図と整列するよう、表示装置１１２、２０２上で仮想オブジェクトの透視図を回転させるようプロセッサ２２２を構成することを含む。また別の変形例においては、前記コンピュータプログラム製品は、回転入力が慣性計測ユニット１２０からの入力または測定装置処理アプリケーション１４５、２６０と表示装置１１２、２０２に結合された入力デバイス１１２、２０２、２０４、２０６、２１０、２１２、２１４からの入力のうち少なくとも１つを備えることを含む。

一例においては、前記コンピュータプログラム製品はさらに、プロセッサ２２２に結合されたコンピュータで読み取り可能な有形媒体２３０に格納された論理命令を備えており、論理命令はプロセッサ２２２による実行時に、実オブジェクトに対する慣性計測ユニット１２０の位置における変更を示す並進入力を受信させ、かつ、測定装置１２０の位置および方向に基づき、仮想３次元空間１４５の透視図が実３次元空間の透視図と整列するように表示装置１１２、２０２上の仮想３次元空間１４５の透視図を更新させるようプロセッサ２２２を構成することを含む。また別の変形例においては、前記コンピュータプログラム製品は、並進入力が慣性計測ユニット１２０からの入力または測定装置処理アプリケーション１４５、２６０と表示装置１１２、２０２に結合された入力デバイス１１２、２０２、２０４、２０６、２１０、２１２、２１４からの入力のうち少なくとも１つを備えることを含む。さらなる別の例においては、前記コンピュータプログラム製品は、プロセッサ２２２に結合されたコンピュータで読み取り可能な有形媒体２３０内に格納された論理命令２６０を備えており、論理命令はプロセッサ２２２による実行時に、１つ以上の関心項目を選択するため表示装置１１２、２０２内で入力を受信させ、かつ、入力に応答して１つ以上の関心項目に関する情報を表示させるようプロセッサを構成することを含む。

各種実施形態においては、たとえば図３と４に示されるような本明細書の１つ以上の処理はハードウェア（論理回路等）、ソフトウェア、ファームウェア、あるいはこれらを組み合わせたものとして実装でき、これらを組み合わせたものはコンピュータプログラム製品として提供できる。コンピュータプログラム製品としては、たとえば本明細書に記載のプロセスを実行するようコンピュータをプログラムするために使用される命令が格納されたマシンで読み取り可能またはコンピュータで読み取り可能な媒体が挙げられる。マシンで読み取り可能な媒体としては、図３および４を参照して説明されたデバイス等、任意の適切な記憶デバイスであってよい。

さらに、コンピュータで読み取り可能な媒体はコンピュータプログラム製品としてダウンロードでき、この場合、プログラムはリモートコンピュータ（サーバー等）からリクエスト側のコンピュータ（クライアント）に対し、搬送波もしくは他の伝送媒体に具現化されたデータ信号の形で通信リンク（モデムまたはネットワーク接続）を通して転送され得る。したがって、本明細書において搬送波はマシンで読み取り可能な媒体を備えているとみなされる。

明細書中での「一実施形態」という言及は、その実施形態に関連して記載されている、特定の機能、構造、または特性が少なくとも１つの実装に含まれていることを意味する。本明細書のさまざまな箇所にある「一実施形態において」という語句は、必ずしも同一の実施形態について言及しているとは限らない。

また、本明細書および特許請求の範囲において、「結合された」および「接続された」という語およびそれらの派生語が使用され得る。一部の実施形態においては、「接続された」は２つ以上の要素が互いに直接、物理的に接触もしくは電気的に接触していることを示すために使用され得る。「結合された」は２つ以上の要素が直接、物理的に接触もしくは電気的に接触していることを意味し得る。しかしながら、また「結合された」は２つ以上の要素が互いに直接的に接触していないが、互いに連携または相互作用することを意味できる。

本発明に係る実施形態は構造的特徴及び／又は方法論的行為に特有の言語で説明したが、特許請求の範囲に係る発明はこれら特定の特徴または行為に限定されないと理解すべきである。特定の特徴および行為は特許請求の範囲に係る発明を実装する例示的な形式として開示されている。

１００ 環境
１１４ ユーザーインタフェース
１１６ 十字線
１１８ メニュー
１６０ 航空機
２００ コンピューティングデバイス
２０２ 表示部／表示装置
２０４ 画面／入力デバイス／表示部
２０６ スピーカー

Claims (10)

1. コンピュータシステムによって実施される方法であって、
   実３次元空間における実オブジェクトに対する測定装置（１２０）の実３次元空間における位置および方向を決定すること、
   測定装置（１２０）に結合された表示装置（１１２、２０２）上に、仮想３次元空間（１４５）における実オブジェクトに対応する仮想オブジェクトの仮想イメージの仮想透視図であって、測定装置（１２０）の位置から実オブジェクトの実透視図に対応する仮想透視図を表示すること、
   測定装置（１２０）に結合されたカメラからのイメージであって、実透視図に対応するイメージを受信すること、
   仮想透視図における仮想オブジェクトとイメージにおける実オブジェクトとが一致するかどうかを決定することと、および、
   仮想オブジェクトと実オブジェクトとが一致しないとの決定に応じて、実透視図に一致するように仮想透視図を調整することを含む、方法。
2. 位置および方向を決定することは、
   測定装置（１２０）が実３次元空間内の既知の物理的位置に配置されていることを示す信号を受信すること、および、
   実透視図と仮想透視図間の対応を確認し、測定装置（１２０）の位置を表示装置（１１２、２０２）上に表示された仮想イメージの透視図に同期させることを含む、請求項１に記載の方法。
3. 測定装置（１２０）が慣性計測ユニット（ＩＭＵ）（１２０）を備えており、さらに
   実オブジェクトに対するＩＭＵ（１２０）の方向における第１変更を示す回転入力を受信すること、および、
   回転入力から得られる位置および方向に基づき、仮想透視図が実透視図と整列するよう、表示装置（１１２、２０２）上で仮想透視図を回転させることを含む、請求項２に記載の方法。
4. 回転入力が、ＩＭＵ（１２０）からの第１入力、ＩＭＵ（１２０）に結合された入力デバイス（１１２、２０２、２０４、２０６、２１０、２１２、２１４）からの第２入力、ＩＭＵデータ処理アプリケーション（１４５、２６０）に結合された入力デバイスからの第３入力、またはこれらの組合せを備える、請求項３に記載の方法。
5. 実透視図と仮想透視図間の対応を確認することは、
   実オブジェクトに対するＩＭＵ（１２０）の位置における第２変更を示す並進入力を受信すること、または、
   測定装置（１２０）の位置および方向に基づき、仮想透視図が実透視図と整列するように表示装置（１１２、２０２）上の仮想透視図を更新すること、
   を含む、請求項３に記載の方法。
6. 並進入力が測定装置（１２０）からの第１入力、測定装置（１２０）と表示装置（１１２、２０２）に結合された入力デバイス（１１２、２０２、２０４、２０６、２１０、２１２、２１４）からの第２入力、またはこれらの双方を備えており、
   １つ以上の関心項目を選択するため表示装置（１１２、２０２）から入力を受信すること、および、
   入力に応答して１つ以上の関心項目に関する情報を表示すること
   を含む、請求項５に記載の方法。
7. システムであって、
   測定装置（１２０）、
   測定装置（１２０）に結合された表示部（１１２、２０４）、
   プロセッサ（２２２）、および
   プロセッサ（２２２）に結合され命令（２６０）を格納するコンピュータで読み取り可能な有形媒体（２３０）を備えており、命令（２６０）はプロセッサ（２２２）による実行時に、プロセッサ（２２２）に、
   実３次元空間における実オブジェクトに対する測定装置（１２０）の実３次元空間における位置および方向を決定させ、
   表示部（１１２、２０４）上に仮想３次元空間（１４５）における実オブジェクトに対応する仮想オブジェクトの仮想イメージの仮想透視図であって、測定装置（１２０）の位置から、実オブジェクトの実透視図に対応する仮想透視図を表示させ、
   測定装置（１２０）に結合されたカメラからのイメージであって、実透視図に対応するイメージを受信させ、
   仮想透視図における仮想オブジェクトとイメージにおける実オブジェクトとが一致するかどうかを決定させ、および、
   仮想オブジェクトと実オブジェクトとが一致しないとの決定に応じて、実透視図に一致するように仮想透視図を調整させる、
   システム。
8. 命令（２６０）はプロセッサ（２２２）にさらに、
   測定装置（１２０）が実３次元空間内の既知の物理的位置に配置されていることを示す信号を受信させ、および、
   実透視図と仮想透視図間の対応を確認させ、測定装置（１２０）の位置を表示装置（１１２、２０２）上に表示された仮想イメージの透視図に同期させる、請求項７に記載のシステム。
9. 命令（２６０）はプロセッサ（２２２）にさらに次の（ｉ）と（ｉｉ）、
   （ｉ）実オブジェクトに対する測定装置（１２０）の方向における変更を示す回転入力を受信させ、および、測定装置（１２０）の位置および方向に基づき、仮想透視図が実透視図と整列するよう、表示装置（１１２、２０２）上で仮想透視図を回転させ、回転入力が慣性計測ユニット（ＩＭＵ）（１２０）からの第１入力、測定装置（１２０）と表示装置（１１２、２０２）に結合された入力デバイス（１１２、２０２、２０４、２０６、２１０、２１２、２１４）からの第２入力、またはこれらの双方を備えており、
   （ｉｉ）１つ以上の関心項目を選択するため表示装置（１１２、２０２）から入力を受信させ、および、入力に応答して１つ以上の関心項目に関する情報を表示させ、入力が測定装置（１２０）からの第１入力、測定装置（１２０）と表示装置（１１２、２０２）に結合された入力デバイス（１１２、２０２、２０４、２０６、２１０、２１２、２１４）からの第２入力、またはこれらの双方を含んでおり、
   のうち１つ以上を実施させる、請求項８に記載のシステム。
10. コンピュータプログラムであって、プロセッサ（２２２）によって実行されたときに、プロセッサ（２２２）に、
    実３次元空間における実オブジェクトに対する測定装置（１２０）の実３次元空間における位置および方向を決定させ、
    表示部（１１２、２０４）上に仮想３次元空間（１４５）における実オブジェクトに対応する仮想オブジェクトの仮想イメージの仮想透視図であって、測定装置（１２０）の位置から、実オブジェクトの実透視図に対応する仮想透視図を表示させ、
    測定装置（１２０）に結合されたカメラからのイメージであって、実透視図に対応するイメージを受信させ、
    仮想透視図における仮想オブジェクトとイメージにおける実オブジェクトとが一致するかどうかを決定させ、および、
    仮想オブジェクトと実オブジェクトとが一致しないとの決定に応じて、実透視図に一致するように仮想透視図を調整させる、コンピュータプログラム。

Images