JP6692867B2 - 構造物の内部を確認するためのシステムおよび方法 - Google Patents

Description

本発明は、外側から視認できない構造物の内部を確認するためのシステムおよび方法に関するものであり、特には、航空機等の構造物の整備を支援するためのシステムおよび方法に関するものである。

図１に示すような航空機の機体は、外側が全面的に多数のパネルに覆われている。現在、航空機整備士は、ある部品を整備するためにパネルを開ける際、整備マニュアルを参照し、その部品がどのパネルの内側にあるのかを確認している。しかしながら、パネルは類似したものが多く、整備マニュアルを参照しても、所望の部品が正確にどのパネルの内側にあるのかが分からない場合が多かった。例えば、所望の部品は、パネルＢ２の内側にあるところ、誤って隣のパネルＢ１を開けてしまうということが生じていた。なお、Ａ１、Ｂ１・・・という記号は、図１において説明のために付したものであり、実際の航空機の機体のパネルにはこのような記号は付されていない。
パネルの開け閉めには数十分という時間がかかり、パネルの開け間違いは整備時間を延長させるという問題につながっていた。

例えば、特許文献１には航空機の整備効率を向上させる技術として、航空機整備士が携帯する情報端末装置と、当該情報端末装置との間で送受信が可能な情報管理装置と、を含む航空機整備支援システムが提案されている。
しかしながら、特許文献１には、パネルの開け間違いを防止する技術は開示されていない。

特開２０１１−９６１１６号公報

本発明の目的は、航空機等の構造物のパネルの開け間違いを防止し、内部を確認するためのシステムおよび方法を提供することにある。

本発明のシステムは、
コンピュータと、
前記コンピュータに接続される移動端末と、
構造物を撮影し、撮影した画像を前記コンピュータに送信するカメラと、
を有し、
前記カメラは、パネルが装着された状態の前記構造物を撮影し、第１の画像を生成し、所定のパネルが取り外された状態の前記構造物を撮影し、第２の画像を生成するように構成され、
前記コンピュータは、前記第１の画像および前記第２の画像を合成し、第３の画像を生成し、前記第３の画像を前記移動端末に送信するように構成され、
前記移動端末は、前記第３の画像を表示するように構成され、
前記第３の画像では、前記所定のパネルが半透明で、前記所定のパネルの内側の部品が透けて見えている。

本発明では、前記カメラは、３６０度カメラである、
ことが好ましい。

本発明では、前記構造物は、航空機の機体である、
ことが好ましい。

本発明方法は、
カメラにより、パネルが装着された状態の構造物を撮影し、第１の画像を生成し、所定のパネルが取り外された状態の前記構造物を撮影し、第２の画像を生成し、前記第１の画像および前記第２の画像をコンピュータに送信し、
前記コンピュータにより、前記第１の画像および前記第２の画像を合成し、第３の画像を生成し、前記第３の画像を移動端末に送信し、
前記移動端末により、前記第３の画像を表示し、
前記第３の画像では、前記所定のパネルが半透明で、前記所定のパネルの内側の部品が透けて見えている。

航空機の機体のパネルを示す図である。 本発明のシステムの構成を示す図である。 本発明のシステムを用いた画像生成を説明するための図である。 移動端末上に第３の画像を表示させた状態を示す図である。 第３の画像において、確認対象の部品の外側のパネルの透過率変化を示す図である。

図２は、本発明のシステムの構成を示す図である。
システム１００は、コンピュータ１０と、コンピュータ１０に接続される移動端末２０と、航空機等の構造物を撮影し、撮影した画像をコンピュータ１０に送信するカメラ３０と、を有する。
コンピュータ１０は、サーバ、パーソナルコンピュータ等であり、ＣＰＵ等の演算処理部１１と、半導体メモリ等の記憶部１２と、ネットワークインタフェース等の通信部１３と、キーボードおよびディスプレイ等の入出力部１４と、を有する。
移動端末２０は、携帯電話、スマートフォン、ＰＤＡ、ＶＲゴーグル、パーソナルコンピュータ等であり、航空機整備士が整備中に携帯するものである。
カメラ３０は、任意のデジタルカメラである。ただし、カメラ３０が、３６０度カメラまたは他の広角カメラ（魚眼カメラ等）である場合、被写体である構造物の周りで３６０度にわたって撮影できるため好ましい。
図２では、コンピュータ１０と移動端末２０とは、インターネット等のネットワークｎｅｔを介して接続されているが、両者はＵＳＢ等で接続されてもよい。
また、コンピュータ１０と移動端末２０とカメラ３０とは、図２のように別体の構成でもよいが、一体の構成であってもよい。

図３を参照して、本発明のシステムを用いた画像生成を説明する。
図３（ａ）は、カメラ３０により撮影された第１の画像であり、第１の画像では、航空機の機体は、パネルが装着された状態で撮影されている。説明の便宜上、第１の画像は、「ＪＡＬ」というペイントが施された４枚のパネルおよび２枚の無地のパネルを含むが、第１の画像は、任意数のパネルを含むことができ、航空機の機体の任意の箇所のパネルを撮影したものとすることができる。
図３（ｂ）は、第１の画像と同じ位置でカメラ３０により撮影された第２の画像であり（定点撮影）、第２の画像は、中央上部の１枚のパネルが取り外された状態で撮影されたものである。中央上部の１枚のパネルの内側には、確認対象（整備対象）の部品ｘ（例えば、アクチュエータ）が存在しており、第２の画像には、この部品ｘが写っている。

カメラ３０は、有線通信または無線通信により、もしくは、メモリカード等を介して、第１の画像および第２の画像をコンピュータ１０に送信する。
コンピュータ１０の演算処理部１１は、第１の画像および第２の画像を合成し（重ね合わせ）、図３（ｃ）に示す第３の画像を生成する。第３の画像では、中央上部以外の５枚のパネルは、第１の画像および第２の画像のパネルと同一であり、中央上部の１枚のパネルは、半透明である。すなわち、中央上部の１枚のパネルは、第１の画像および第２の画像を合成することにより、パネルの文字（ＡＬの一部）が見えていると同時に、パネルの内側の部品ｘも透けて見えている。
なお、第１の画像および第２の画像を合成する技術、すなわち、第１の画像および第２の画像において中央上部の１枚のパネルを半透明にして、重ね合わせる技術は、任意の周知技術を用いることができる。

コンピュータ１０は、通信部１３により移動端末２０に第３の画像を送信する。
移動端末２０は、第３の画像を表示し、航空機整備士は、この第３の画像により、部品ｘがどのパネルの内側に存在しているのかを容易に確認することができる。

なお、第３の画像では、航空機の機体全体に関して、部品ｘの他、確認対象の部品ｙ、ｚ・・・（図示省略）が内側に存在するパネルは半透明で表示され、確認対象の部品が内側に存在しないパネルはそのまま表示される（すなわち透明でも半透明でもない）。

図４は、スマートフォンである移動端末上に第３の画像を表示させた状態を示す。
図４（ａ）に示すように、航空機整備士は、移動端末２０のタッチパネル上で矢印方向にスワイプすると、図４（ｂ）に示すように、部品ｘを中央に表示させることができる。また、航空機整備士は、移動端末２０のタッチパネル上でピンチアウトおよびピンチインをすることにより、部品ｘを拡大・縮小することもできる。
このように、航空機整備士は、第３の画像を指で自由に動かすことができる。
航空機整備士は、実際の航空機の機体の前で、航空機の機体を参照しながら移動端末２０を操作することができるので、航空機の機体の所望のパネルと、移動端末２０上に表示された第３の画像内の当該パネルと、を容易に照合することができる。

図５は、第３の画像において、確認対象の部品ｘの外側のパネルの透過率変化を示す。
図５（ａ）に示すように、第３の画像上にスライドバーを表示させ、航空機整備士は、このスライドバーを左右にスライドすることにより、図５（ｂ）に示すように、確認対象の部品ｘの外側のパネルの透過率を自由に変化させることができる。
また、航空機整備士が、第３の画像上で部品ｘをタップすると、部品ｘに関する情報、例えば、整備マニュアル、過去に部品ｘを整備した際の不具合事例等を表示させることもできる。

第３の画像は、移動端末２０内のアプリケーションを用いて表示することもできるし、Ｗｅｂブラウザを用いて表示することもできる。航空機整備士は、確認対象の航空機の機種に応じて、整備中に第３の画像をコンピュータ１０から移動端末２０にダウンロードしてもよいし、予め、第３の画像が移動端末２０内に格納されていてもよい。

上記実施形態では、航空機の機体の外側のパネルを例に説明してきたが、本発明は、航空機の機体の内側のパネル、すなわち、客室内の壁、天井、床のパネルも対象とする。
また、上記実施形態では、構造物が航空機の機体である場合を例に説明してきたが、構造物は、航空機の機体に限定されるものではなく、本発明は、確認対象の部品がパネルで覆われて外側から視認できないあらゆる構造物、例えば、船舶、電車、プラントも対象とする。
また、上記実施形態では、本発明のシステムおよび方法は、航空機整備士が整備中に用いるものとして説明してきたが、本発明のシステムおよび方法は、整備以外の用途、例えば、設計または開発段階に用いることもできる。

１１ 演算処理部
１２ 記憶部
１３ 通信部
１４ 入出力部
１０ コンピュータ
２０ 移動端末
３０ カメラ
１００ システム
ｘ 部品

Claims (6)

1. コンピュータと、
   前記コンピュータに接続される移動端末と、
   構造物を撮影し、撮影した画像を前記コンピュータに送信するカメラと、
   を有するシステムであって、
   前記カメラは、パネルが装着された状態の前記構造物を撮影し、第１の画像を生成し、所定のパネルが取り外された状態の前記構造物を撮影し、第２の画像を生成するように構成され、
   前記コンピュータは、前記第１の画像および前記第２の画像を重ね合わせて合成し、第３の画像を生成し、前記第３の画像を前記移動端末に送信するように構成され、
   前記移動端末は、前記第３の画像を表示するように構成され、
   前記第３の画像では、前記所定のパネルが半透明で、前記所定のパネルの内側の部品が透けて見えている、
   システム。
2. 前記カメラは、３６０度カメラである、
   請求項１に記載のシステム。
3. 前記構造物は、航空機の機体である、
   請求項１または２に記載のシステム。
4. カメラにより、パネルが装着された状態の構造物を撮影し、第１の画像を生成し、所定のパネルが取り外された状態の前記構造物を撮影し、第２の画像を生成し、前記第１の画像および前記第２の画像をコンピュータに送信し、
   前記コンピュータにより、前記第１の画像および前記第２の画像を重ね合わせて合成し、第３の画像を生成し、前記第３の画像を移動端末に送信し、
   前記移動端末により、前記第３の画像を表示し、
   前記第３の画像では、前記所定のパネルが半透明で、前記所定のパネルの内側の部品が透けて見えている、
   方法。
5. 前記第３の画像は、平面画像である、
   請求項１から３のいずれかに記載のシステム。
6. 前記第３の画像は、平面画像である、
   請求項４に記載の方法。