JP7777472B2 - 修理支援システム - Google Patents

Description

本発明は、移動体、特に、車両の修理作業を支援する修理支援システムに関する。

車両の修理を行う作業者の負担を軽減することができつつ、作業者が車両の修理を適切に行えるようにする車両修理支援システムが公知である（例えば、特許文献１）。特許文献１の車両修理支援システムは、車両から車両情報を取得する通信端末と、通信端末から車両情報を受信して車両の修理を支援するサーバと、を備えている。

サーバは、修理依頼者に対して、製品区分、症状、詳細症状、不具合概要、環境、発生時の状況等の車両状態について問診する。サーバは、問診結果に基づいて修理の対象とする車両と症状が類似する類似事例に関する情報を検索し、検索結果を通信端末に通知する。これにより、作業者は、通信端末によって、選択した類似事例の詳細な情報を把握することができる。

特開２０１４－２２５２１６号公報

ところで、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムの実現が望まれている。そこで、車両には、交通の安全性をより一層改善するべく、レーダやライダ等のさまざまなセンサが搭載されるようになっている。

しかし、センサが外装部材に覆われ、外装部材に設定された透過領域を介して、外界情報を取得している場合がある。そのような透過領域は、例えば、センサがレーダである場合、レーダから発射される電波の通過領域として定義される。よって、透過領域は目視によって、作業者が位置や領域を把握することはできない。このような透過領域を指定された方法以外で修理すると、センサの機能が損なわれる虞があるため、作業者がその透過領域を容易に把握できる技術の開発が強く求められている。

本発明は、以上の背景に鑑み、外装部材に設定された透過領域を介して外界情報を取得するセンサを備えた移動体の修理作業を支援する修理作業支援システムであって、作業者が透過領域を容易に把握できるようにすることを課題とする。そして、延いては、移動体の安全性を高めることにより、持続可能な輸送システムの発展に寄与するものである。

上記課題を解決するために本発明のある態様は、外装部材（７）に設定された透過領域を介して外界情報を取得するセンサ（５）を備えた移動体（３）の修理を支援するための修理支援システム（１、５１）であって、前記移動体の外面の撮像画像（２８）を取得する撮像装置（２７）と、前記移動体の像（３Ａ）に、前記外面の特定の領域を示す像を重畳して、作業者に提示可能な表示装置（２９、６９）と、前記撮像画像の中から、前記透過領域に対応する部分を特定するための特定情報（３８、３８Ａ、３８Ｂ、３８Ｃ）を記憶する記憶装置（２５、３７）と、前記撮像画像を処理するプロセッサ（２１、３３）と、を有し、前記プロセッサは、前記特定情報に基づいて、前記撮像画像の中から、前記透過領域に対応する部分を特定し、前記表示装置に、前記移動体の像（３Ａ）の上に前記透過領域に対応する部分（８Ａ）を重畳して表示させる。

この態様によれば、移動体の像の上に、透過領域に対応する部分が重畳されて、表示装置に表示される。そのため、センサが外装部材に覆われて、直接外部に露出しない場合であっても、作業者が外装部材の透過領域の位置や範囲を容易に把握することができる。

上記の態様において、好ましくは、前記表示装置（２９）は、前記撮像画像に前記透過領域に対応する部分を重畳して表示する。

この態様によれば、表示装置を目視することによって、作業者が透過領域の位置や範囲を容易に把握することができる。

上記の態様において、好ましくは、前記表示装置（６９）は、透明なレンズに情報を重畳表示可能に構成され、前記表示装置は、前記レンズを介して視認される前記移動体の前記像に、前記透過領域に対応する部分を重畳して表示する。

この態様によれば、レンズを介して移動体を目視することによって、作業者が透過領域の位置や範囲を容易に把握することができる。

上記の態様において、好ましくは、前記プロセッサは、前記撮像画像から、前記センサの検出感度を低下させうる異常箇所の像を抽出し、前記表示装置は、前記移動体の像に、前記透過領域に対応する部分、及び、前記異常箇所を示すアイコン（３９）を重畳して表示する。

この態様によれば、作業者が、異常箇所を容易に把握することができる。

上記の態様において、好ましくは、前記プロセッサは前記撮像画像に基づいて、前記異常箇所に対応する異常要因を特定し、前記表示装置は前記異常要因を表示する。

この態様によれば、作業者が、異常要因を容易に把握することができる。

上記の態様において、好ましくは、前記異常要因には傷及び汚れが含まれる。

この態様によれば、センサの検出感度を低下させうる異常箇所を適切に取得できる。

上記の態様において、好ましくは、前記プロセッサは、前記撮像画像に基づいて前記異常箇所の修理の可否を判定し、前記異常箇所の修理が不可能であると判定されたときは、前記表示装置は作業者に交換が必要である旨の通知（４５）を行い、前記異常箇所の修理が可能であると判定されたときには、前記表示装置は作業者に修理を指示する旨の通知（４３）を行う。

この態様によれば、修理作業の効率が向上する。

上記の態様において、好ましくは、前記表示装置は、前記撮像画像の更新に合わせて、前記透過領域に対応する部分を更新して表示する。

この態様によれば、作業者が撮像しながら移動した場合でも、表示装置にリアルタイムで透過領域に対応する部分が更新されて表示される。これにより、作業者は、透過領域の位置や範囲をより容易に理解することができ、より正確に把握することができる。

上記の態様において、好ましくは、前記プロセッサは、前記外装部材の表面形状に基づいて、前記透過領域に対応する部分を特定する。

この態様によれば、外装部材の表面形状に基づかない場合に比べて、透過領域に対応する部分をより正確に特定することができる。

上記の態様において、好ましくは、前記プロセッサは、前記撮像画像の中から、前記透過領域に対応する部分が特定できないときには、作業者に撮像を促す通知（４０）を行う。

この態様によれば、取得済の撮像画像によって透過領域に対応する部分の特定ができない場合に、特定が可能となるように作業者に撮像を促すことができる。

上記の態様において、好ましくは、前記プロセッサは、前記外装部材に加えて、前記移動体に搭載された複数の部材の位置に基づいて、前記透過領域に対応する部分を特定する。

この態様によれば、透過領域に対応する部分がより正確に特定できる。

以上の態様によれば、外装部材に設定された透過領域を介して外界情報を取得するセンサを備えた移動体の修理作業を支援する修理作業支援システムであって、作業者が透過領域を容易に把握できるようにすることができる。

第１実施形態に係る修理支援システムの概略を示す模式図 修理支援システムのブロック図 修理支援システムにおける端末において、移動体の（Ａ）修理可能な異常箇所に対する通知と、（Ｂ）修理が不能である異常箇所に対する通知とが表示された画面表示の例 車両情報テーブルの例 異常特定処理のフローチャート 領域データ生成処理のフローチャート 移動方向を示す矢印が表示された画面表示の例 第２実施形態に係る修理支援システムの端末の斜視図 第２実施形態に係る修理支援システムの端末の画面表示の例

以下、図面を参照しつつ、本発明の移動体修理支援システムを、特に車両の修理支援するためのシステム、すなわち、車両修理支援システムに適用した実施形態について説明する。

＜＜第１実施形態＞＞
車両修理支援システム１が支援する作業者が修理を行う車両（以下、修理対象車両３）は、４輪の自動車であって、センサ５を備えている。センサ５は、修理対象車両３周辺の修理対象車両３に対する対象物の位置、大きさ、方向や、距離などの外界情報を取得する。センサ５は、例えば、電波を所定の照射領域６（検出領域ともいう）に向けて発射し、照射領域６内に位置する物体から反射されてセンサ５に入射する電波を測定することによって、照射領域６内の物体の位置や大きさを検出するレーダであってよい。

図１に示すように、センサ５の車外側に外装部材７が設けられていることがある。本実施形態では、センサ５の車外側には、外装部材７としてのバンパが設けられている。このとき、センサ５は、外装部材７に設定された透過領域８を介して外界情報を取得する。透過領域８は、センサ５が電波を発射する照射領域６（又は、センサ５に電波が入射する領域）と、外装部材７との重複部分に対応する。

センサ５の車外側に外装部材７が設けられて、センサ５が外装部材７から覆われている場合には、作業者はセンサ５の位置や透過領域８を容易に把握することができない。

センサ５が外装部材７によって覆われた修理対象車両３の修理を行う場合には、透過領域８を指定された方法以外の修理してしまうと、センサ５の機能が損なわれる虞があるため、作業者は透過領域８を正確に把握する必要がある。車両修理支援システム１は、作業者にとって透過領域８を理解し易くすることにより、透過領域８を介して外界情報を取得するセンサ５を備えた修理対象車両３の修理を行う作業者を支援するためのシステムである。

図１及び図２に示すように、車両修理支援システム１は、端末１１と、サーバ１３とを備えている。

図２に示すように、端末１１は、プロセッサ（ＣＰＵ、中央演算処理装置。以下、端末プロセッサ２１）と、ＲＯＭ、ＲＡＭ等のメインメモリ２３と、記憶装置２５（フラッシュメモリ等）と、撮像装置２７と、タッチパネル２９とを備えている。端末１１は、例えばインターネット等のネットワーク３１を介して、サーバ１３に相互に通信可能に構成されている。端末１１は、いわゆるスマートフォンや、タブレット端末であってよい。

撮像装置２７は、単一又は複数のカメラ２７Ａを含む。図３（Ａ）及び（Ｂ）に示すように、撮像装置２７は、修理対象車両３の外面を撮像することによって、修理対象車両３の像３Ａを含む画像（撮像画像２８）を取得することができる。本実施形態では、撮像装置２７は複数のカメラ２７Ａ（複眼カメラ）によって構成されている。

タッチパネル２９は、画像や文字等を表示する表示装置と、入力を受け付ける入力装置とを含む出入力装置として機能する。タッチパネル２９は、撮像装置２７によって取得された撮像画像２８の上に所定の図柄や文字を重畳して表示することができる。タッチパネル２９は、例えば、撮像画像２８に修理対象車両３が映り込んでいるときには、映り込んだ修理対象車両３の像３Ａに修理対象車両３の外面の特定の領域を示す像を重畳して、その領域の位置や大きさを作業者に提示することができる。

端末１１のプロセッサ（以下、端末プロセッサ２１）は、タッチパネル２９に入力欄等を表示し、ユーザから入力を受け付けることができる。

端末プロセッサ２１は、タッチパネル２９に入力欄を表示し、作業者から修理対象車両３に係る情報の受付を行う。端末プロセッサ２１が作業者から受け付ける情報（以下、修理車両情報）には、修理対象車両３の車名（車両の固有名称）、型式等が含まれる。修理車両情報には、その他、製造社名、車両番号、登録年月日等が含まれていてもよい。端末プロセッサ２１は、受け付けた修理車両情報をサーバ１３に送信する。

端末プロセッサ２１は、撮像装置２７によって取得された撮像画像２８をサーバ１３に送信する。本実施形態では、端末プロセッサ２１は撮像装置２７によって取得された撮像画像２８をリアルタイムでサーバ１３に送信可能に構成されている。その他、端末プロセッサ２１は、サーバ１３から送信された画像及び文字データをタッチパネル２９に表示することができる。端末プロセッサ２１は、サーバ１３から送信された３次元データを用いて、撮像画像２８に重畳して、表示する機能を有していてもよい。

図２に示すように、サーバ１３は、プロセッサ（ＣＰＵ、ＭＰＵ等。演算処理装置ともいう。以下、サーバプロセッサ３３）と、ＲＯＭ、ＲＡＭ等のメインメモリ３５と、記憶装置（ＨＤＤやＳＳＤ。ストレージともいう。以下、サーバ記憶装置３７）と、を備えたコンピュータである。

サーバ記憶装置３７は、撮像画像２８の中から、透過領域８に対応する部分を特定するための特定情報３８を記憶する。特定情報３８には、車両情報テーブル３８Ａと、車両外観データ群３８Ｂと、透過領域データ群３８Ｃとが含まれる。図４に示ように、車両情報テーブル３８Ａには、車名、型式、車両外観データ名、及び、重複領域データ名が関連付けて記録されている。

車両外観データ群３８Ｂには車両外観データが含まれる。車両外観データとは、撮像装置２７によって取得された画像から、撮像装置２７の位置及び姿勢を推定し、端末１１の位置及び姿勢を判定するためのデータである。車両外観データは、例えば、車両の中心や重心を原点とする車両の外面を示すデータであってよく、また、複数の特徴点の位置を示すデータであってもよい。

透過領域データ群３８Ｃには透過領域データが含まれる。透過領域データとは、車両情報テーブル３８Ａの透過領域データ名に対応する車名及び型式の車両において、バンパ（外装部材７）のうち、車両に搭載されたセンサ５から発射される電波が透過する照射範囲を示すデータである。換言すれば、透過領域データは、センサ５の検出領域及びバンパの重複部分、すなわち、透過領域８の位置、大きさ、範囲を示すデータである。サーバ記憶装置３７は、透過領域データを３次元の点列を含み、３次元空間の物体の形状を示すデータ（モデルデータ）として記憶している。但し、サーバ記憶装置３７は、透過領域データを、センサ５の検出領域及びバンパの重複部分のうち、その外面を構成する点群を示すデータとして記憶していてもよい。

サーバプロセッサ３３は、端末１１から修理車両情報を取得すると、修理車両情報に含まれる車名及び型式を抽出する。その後、サーバプロセッサ３３は、サーバ記憶装置３７に記憶された車両情報テーブル３８Ａを参照して、対応する透過領域データ名を抽出する。その後、サーバプロセッサ３３は、透過領域データ群３８Ｃの中から、透過領域データ名に対応する透過領域データ、すなわち、修理対象車両３の外装部材７に設定された透過領域８を示す透過領域データを特定する。

サーバプロセッサ３３は更に、端末１１から修理車両情報を取得すると、車両情報テーブル３８Ａを参照して、修理対象車両３に対応する車両外観データを取得する。

その後、サーバプロセッサ３３は、端末１１から撮像画像２８を取得すると、撮像画像２８を処理して異常箇所、異常要因等を特定する異常特定処理と、撮像画像２８を処理して撮像画像２８に外装部材７に設定された透過領域８を示す像を重畳表示するための領域データ生成処理とを並行して実行する。以下では、まず、図５を参照して、異常特定処理の詳細について説明する。

サーバプロセッサ３３は、異常特定処理の最初のステップＳＴ１において、撮像装置２７によって取得された撮像画像２８の中から、車体の傷や汚れ等の異常箇所の有無を判定する。サーバプロセッサ３３は、構築済の学習モデルを用いた公知の機械学習の手法に基づいて、撮像装置２７によって撮像された画像の中から異常箇所を抽出することにより、異常箇所の有無を判定してもよい。サーバプロセッサ３３は、撮像装置２７によって撮像された画像に対し、強調処理やフィルタ処理等を行い、例えば、濃淡や形状等に基づいて、異常箇所を抽出することにより、異常箇所の有無を判定してもよい。

サーバプロセッサ３３は、撮像装置２７によって取得された撮像画像２８から、異常箇所を特定できない場合には、端末１１に更なる画像を要求する要求信号を送信してもよい。端末１１が要求信号を取得すると、端末プロセッサ２１はタッチパネル２９に、作業者に撮像装置２７によって更に撮像することを促す通知を表示する。このとき、端末１１のタッチパネル２９には、例えば、「画像が不鮮明であるので、再度撮影してください」と表示されるとよい。作業者が再度、撮像装置２７によって撮像すると、端末プロセッサ２１はサーバプロセッサ３３に撮像装置２７によって取得された撮像画像２８を送信する。その後、サーバプロセッサ３３は、新たに送信された撮像画像２８に基づいて、異常箇所の有無を判定する。

サーバプロセッサ３３は、異常箇所がある場合にはステップＳＴ２を、異常箇所がない場合には異常特定処理を終える。

サーバプロセッサ３３はステップＳＴ２において、異常箇所の位置を特定し、端末１１のタッチパネル２９に異常箇所の位置及び大きさを示すアイコン３９を表示するためのデータ（以下、異常箇所位置データ）を生成する。アイコン３９は例えば、異常箇所を囲む枠体であってよく、異常箇所位置データは、撮像装置２７によって撮像された画像において、アイコン３９に対応する枠体の形状や位置を示す数値データであってよい。異常箇所位置データの取得が完了すると、サーバプロセッサ３３はステップＳＴ３を実行する。

サーバプロセッサ３３はステップＳＴ３において、撮像装置２７によって取得された撮像画像２８を解析し、異常箇所にそれぞれ対応する異常要因を特定する。異常要因には、傷、汚れ、等が含まれる。サーバプロセッサ３３は、構築済の学習モデルを用いた公知の機械学習の手法に基づいて、異常箇所それぞれの異常要因を特定するとよい。その他、サーバプロセッサ３３は、撮像装置２７によって取得された画像に対して、強調処理や、フィルタ処理を行い、濃淡や形状等に基づいて、異常箇所に対応する要因を特定してもよい。サーバプロセッサ３３は、異常箇所それぞれに対して異常要因を特定し、異常箇所それぞれの異常要因を示す異常要因データを取得する。

本実施形態では、サーバプロセッサ３３は、異常箇所が傷や汚れの場合には、その度合い（例えば、傷の深さや、汚れの取れやすさ）を示すレベル（以下、異常レベル）を算出する。

異常箇所それぞれに対して、異常要因及びレベルの取得が完了すると、サーバプロセッサ３３はステップＳＴ４を実行する。

サーバプロセッサ３３はステップＳＴ４において、異常要因が傷である異常箇所を抽出し、異常要因が傷である異常箇所が抽出された場合には、その異常箇所の修理の可否を判定する。サーバプロセッサ３３は例えば、異常要因が傷である異常箇所が抽出されたときには、その異常箇所の異常レベルに基づいて、修理の可否を判定するよい。サーバプロセッサ３３は、異常要因が傷である異常箇所それぞれに対して、修理の可否を示すデータ（以下、修理可否データ）を取得する。修理可否データの取得が完了すると、サーバプロセッサ３３は、ステップＳＴ５を実行する。

サーバプロセッサ３３は、ステップＳＴ５において、異常箇所位置データ、異常要因データ、及び、修理可否データを端末１１に送信する。送信が完了すると、サーバプロセッサ３３は異常特定処理を終える。

次に、図６を参照して、領域データ生成処理の詳細について説明する。

サーバプロセッサ３３はステップＳＴ１１において、修理対象車両３に対する端末１１の位置及び姿勢を特定する。本実施形態では、サーバプロセッサ３３は、車両外観データと、撮像装置２７によって取得された撮像画像２８とに基づいて、端末１１の位置及び姿勢を特定する。

具体的には、サーバプロセッサ３３は、例えば、撮像装置２７によって取得された画像から、修理対象車両３の外装部材７の像を割り出し、その表面形状を取得する。その後、サーバプロセッサ３３は、取得された表面形状と、車両外観データとを、比較することによって、端末１１の位置及び姿勢を特定する。

その他、サーバプロセッサ３３は、修理対象車両３の像を割り出し、画像中の特徴点を抽出する。その後、取得した特徴点の位置と、車両外観データに含まれる特徴点の位置とを比較することによって、サーバプロセッサ３３は、端末１１の位置及び姿勢を特定してもよい。サーバプロセッサ３３は、適宜、外装部材７に加えて、修理対象車両３に搭載された複数の部材の位置に基づいて、端末１１の位置及び姿勢を特定する。

本実施形態では、サーバプロセッサ３３は、撮像装置２７によって取得された画像から、端末１１の位置及び姿勢を特定できない場合には、端末１１に更なる画像を要求する要求信号を送信する。端末１１が要求信号を取得すると、端末プロセッサ２１はタッチパネル２９に、撮像装置２７によって更に撮像することを促す通知４０を表示する。このとき、端末１１のタッチパネル２９には、例えば、図７（Ａ）に示すように、「修理する車を別の角度から撮影してください」と表示されるとよい。作業者が再度、撮像装置２７によって撮像すると、端末プロセッサ２１はサーバプロセッサ３３に撮像された画像を送信する。その後、サーバプロセッサ３３は、新たに送信された画像に基づいて、端末１１の位置及び姿勢を特定する。

端末１１の位置及び姿勢の特定が完了すると、サーバプロセッサ３３はステップＳＴ１２を実行する。

ステップＳＴ１２において、サーバプロセッサ３３は、修理車両情報に基づいて特定した透過領域データを読み込む。その後、サーバプロセッサ３３は、ステップＳＴ１１において特定した端末１１の位置及び姿勢に基づいて、透過領域８が撮像装置２７によって撮像される範囲内に位置するか否かを判定する。透過領域８が撮像装置２７によって撮像される範囲内に位置するときには、ステップＳＴ１３を、範囲内に位置しないときにはステップＳＴ１４を実行する。

サーバプロセッサ３３は、ステップＳＴ１３において、端末１１の位置及び姿勢と、透過領域データとに基づいて、撮像装置２７によって取得された撮像画像２８中の透過領域８に対応する部分を示す像（以下、透過領域像８Ａ）を生成する。透過領域像８Ａは枠体状であってもよく、また、その枠体の内部が着色されたものであってもよい。サーバプロセッサ３３は、透過領域像８Ａを、透過領域像８Ａに対応する枠体を構成するための点のデータとして生成してもよい。透過領域像８Ａの生成が完了すると、サーバプロセッサ３３はステップＳＴ１５を実行する。

サーバプロセッサ３３は、ステップＳＴ１４において、撮像装置２７の撮像領域内に透過領域８が含まれるようにするために要する端末１１の移動方向を示すデータ（以下、移動方向データ）を取得する。サーバプロセッサ３３は移動方向データを、端末１１の位置及び姿勢と、透過領域データとに基づいて取得するとよい。移動方向データの取得が完了すると、サーバプロセッサ３３は、その移動方向データを端末１１に送信する。移動方向データの送信が完了すると、サーバプロセッサ３３は、領域データ生成処理を終える。

サーバプロセッサ３３は、ステップＳＴ１５において、透過領域像８Ａを端末１１に送信する。送信が完了すると、サーバプロセッサ３３は、領域データ生成処理を終える。

端末プロセッサ２１は、異常箇所位置データ、異常要因データ、及び、修理可否データを受信すると、異常箇所位置データに基づいて、撮像装置２７によって撮像された画像であって、特に、修理対象車両３の像３Ａに、異常箇所を示すアイコン３９を重畳してタッチパネル２９に表示する。端末プロセッサ２１は、異常要因データに基づいて、タッチパネル２９に表示した異常箇所それぞれに対応する異常要因を取得し、異常要因を示す情報をテキスト４１や図柄等によってタッチパネル２９に表示する。また、端末プロセッサ２１は、修理可否データに基づいて、タッチパネル２９に表示した異常箇所のうち、異常要因が傷である異常箇所それぞれに対して、修理の可否を表示する。本実施形態では、端末プロセッサ２１は、例えば、修理が可能である異常箇所に対しては、図３（Ａ）に示すように、修理（修繕ともいう）を指示する旨の通知４３を表示する。端末プロセッサ２１は、修理が不能である異常箇所に対しては、図３（Ｂ）に示すように、交換が必要である旨の通知４５をタッチパネル２９に表示する。端末プロセッサ２１は、タッチパネル２９に表示された異常箇所を示すアイコン３９への接触が検出されたときに、対応する通知４３、４５を表示するとよい。また、図３（Ａ）に示すように、端末プロセッサ２１は、修理を指示する旨の通知４３を表示するときには、修理方法（修繕方法）を含めて表示するとよい。

端末プロセッサ２１は、透過領域像８Ａを取得したときには、透過領域像８Ａに対応する枠体を、撮像装置２７によって取得された撮像画像２８に重畳して合成画像を生成し、その合成画像をタッチパネル２９に表示する。端末プロセッサ２１は、異常箇所位置データを取得しているときには、撮像装置２７によって取得された撮像画像２８に、透過領域像８Ａに対応する枠体及び異常箇所を示すアイコン３９を同時に重畳してタッチパネル２９に表示するとよい。

図７（Ｂ）に示すように、端末プロセッサ２１は、移動方向データを取得したときには、タッチパネル２９に、その移動方向データに対応する移動方向を示す通知４７を行う。移動方向を示す通知４７は、例えば、移動方向データに対応する移動方向を示す矢印であってよい。本実施形態では、端末プロセッサ２１は、「矢印の方向に移動してください」のテキストとともに、移動方向を示す矢印を撮像画像２８に重畳して表示するとよい。

次に、このように構成した車両修理支援システム１の動作及び効果について説明する。

作業者が端末１１を保持して、修理対象車両３を撮像して、サーバ１３に送信すると、サーバプロセッサ３３は、異常特定処理と、領域データ生成処理とを開始する。

サーバプロセッサ３３は、異常特定処理において、撮像装置２７によって取得された画像から車体の傷や汚れ等の異常箇所の有無を判定し、異常箇所がある場合には、異常箇所位置データ、異常要因データ、及び、修理可否データを端末１１に送信する。

更に、サーバプロセッサ３３は、領域データ生成処理において、端末１１の位置及び姿勢を特定し、撮像装置２７の撮像領域内に透過領域８が含まれる場合には、透過領域像８Ａを端末１１に送信する。

異常箇所位置データ、異常要因データ、修理可否データ、及び、透過領域像８Ａを受信すると、図３（Ａ）及び（Ｂ）に示すように、端末１１（端末プロセッサ２１）は、撮像装置２７によって取得された画像に、異常箇所を示すアイコン３９と、透過領域像８Ａとを重畳して、タッチパネル２９に表示する。すなわち、サーバプロセッサ３３と端末プロセッサ２１は協働して、特定情報３８に基づいて、撮像画像２８中の透過領域８に対応する部分を特定し、撮像画像２８の修理対象車両３の像３Ａの上に、透過領域８に対応する部分である透過領域像８Ａを重畳して、タッチパネル２９に表示させる。

これにより、タッチパネル２９には、撮像画像２８の修理対象車両３の像３Ａの上に、現実世界では目視することができない透過領域８の像（透過領域像８Ａ）が重畳されて表示される。そのため、センサ５が外装部材７に覆われて、直接外部に露出しない場合であっても、タッチパネル２９の表示を目視することによって、作業者は外装部材７のセンサ５の検出範囲内にある部分を容易に把握することができる。

このように、車両修理支援システム１は、仮想現実技術（ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術）を用いて、撮像画像２８に、現実世界に目視することができない領域をタッチパネル２９に重畳して表示する。これにより、修理対象車両３に対して手作業でレーダの電波の照射範囲（透過領域８）を示すマーキングをすることなく、作業者は透過領域８を把握することができる。よって、修理作業に要する時間を大幅に短縮することができる。また、演算処理によって透過領域８が表示されるため、手作業によってマーキングする場合に比べて、正確な透過領域８を作業者に提示できる。また、スマートフォンによって構成されているため、別途、撮像装置２７等を用いることなく、車両修理支援システム１を比較的安価に構成することができる。

また、サーバプロセッサ３３により、撮像画像２８から、センサ５の検出感度を低下させうる異常箇所の像が抽出され、タッチパネル２９には、異常箇所を示すアイコン３９が撮像画像２８に重畳して表示される。そのため、作業者は、タッチパネル２９の表示を確認することによって、異常箇所を容易に把握することができる。

更に、サーバプロセッサ３３により、撮像画像２８から、異常箇所に対応する異常要因が取得され、タッチパネル２９に、異常要因を示す情報（テキスト４１）が表示される。作業者は、そのタッチパネル２９の表示によって、異常箇所の異常要因を容易に把握することができる。よって、修理を行う作業者の負担を低減することができる。また、異常要因に傷及び汚れが含まれるため、作業者は異常箇所において異常要因が傷であるのか汚れであるのかを理解することができる。これにより、作業者はセンサ５の検出感度の低下をもたらす傷や汚れ等の異常箇所をタッチパネル２９の表示により理解することができ、その異常箇所に対して適切に対処することができる。

端末プロセッサ２１は、異常要因を示すテキスト４１とともに、異常要因が傷である異常箇所それぞれに対して、修理の可否をタッチパネル２９に表示する。作業者は、タッチパネル２９の表示によって修理の可否を理解することができるため、修理作業の効率が向上する。

端末プロセッサ２１は、修理が可能である異常箇所に対しては、修理を指示する旨の通知４３を表示し、修理が不能である異常箇所に対しては、交換が必要である旨の通知をタッチパネル２９に表示する。そのため、作業者は容易に行うべき作業を把握することができるため、作業効率が一層向上する。

端末プロセッサ２１は撮像装置２７によって撮像された画像をリアルタイムでサーバ１３に送信可能に構成されている。そのため、作業者が端末１１を保持して撮像しながら移動すると、端末プロセッサ２１は、その移動に合わせて撮像装置２７によって撮像された画像をサーバ１３に送信する。サーバ１３が端末１１から画像を取得すると、サーバプロセッサ３３は、リアルタイムで、異常箇所位置データ、異常要因データ、修理可否データ、及び、透過領域像８Ａを端末１１に送信する。

これにより、端末１１のタッチパネル２９には、撮像装置２７によって撮像された撮像画像２８にリアルタイムで、透過領域像８Ａと、異常箇所を示すアイコン３９とが重畳して表示される。よって、作業者が撮像しながら移動した場合でも、タッチパネル２９にリアルタイムで透過領域像８Ａと、異常箇所を示すアイコン３９とが更新されて表示されるため、作業者は、透過領域８の位置、範囲をより容易に理解することができる。また、作業者は様々な方向から、透過領域像８Ａを確認することができるため、透過領域８をより正確に把握することができる。

図７（Ｂ）に示すように、端末プロセッサ２１は、移動方向データを取得したときには、タッチパネル２９に、その移動方向データに対応する移動方向を表示する。これにより、作業者はセンサ５の位置、方向を把握することができ、修理対象車両３の外面において修理作業を行うときに留意すべき場所を容易に理解することができる。

また、サーバプロセッサ３３が撮像装置２７によって取得された画像によって、異常箇所の有無を判定できないときや、端末１１の位置及び姿勢を把握することができないときには、端末１１のタッチパネル２９に再度撮像することを促す通知４７が表示される。これにより、画像が不鮮明で、異常箇所が特定できないときや、端末１１の位置及び姿勢が特定できず、重複部分に対応する透過領域像８Ａが取得できないときであっても、再度、作業者によって撮像されて画像が送信されることになり、異常箇所や重複部分の特定が可能となる。

このように、サーバプロセッサ３３は、取得された表面形状と、車両外観データとを、比較することによって、端末１１の位置及び姿勢を特定する。これにより、外装部材７の表面形状に基づかない場合に比べて、透過領域８の特定がより正確に行われる。また、サーバプロセッサ３３は、適宜、外装部材７に加えて、修理対象車両３に搭載された複数の部材の位置に基づいて、端末１１の位置及び姿勢を取得し、透過領域８を特定する。これにより、透過領域８の特定がより正確に行われる。

＜＜第２実施形態＞＞
第２実施形態に係る車両修理支援システム５１は、端末６１の態様が、第１実施形態とは異なる。その他の構成については、第１実施形態と同様であるため、説明を省略する。但し、以下の説明では、修理対象車両３に係る修理車両情報は別途、サーバ１３によって取得されているものとする。

第２実施形態における端末６１は、図８に示すように、いわゆる作業者が着用可能な端末、すなわち、ウェラブル端末である。本実施形態では、端末６１は仮想現実（ＡＲ）技術を用いた眼鏡型のウェラブル端末（ＡＲウェラブルデバイス）である。端末６１は、いわゆる、スマートグラスによって構成されている。端末６１は、作業者の耳に掛け止めされるフレーム６３と、フレーム６３に設けられ、着用した作業者の目の前方に配置される二つのレンズ６５（グラスともいう）とを含む。

端末６１は、撮像装置２７と、表示装置６９と、スピーカ７１と、マイクロコンピュータ７３と、を備えている。

撮像装置２７は、フレーム６３に設けられ、着用した作業者の前方を撮像するカメラ２７Ａによって構成されている。表示装置６９は作業者の視野範囲内に半透明で画像や文字等の情報を表示することのできるデバイスである。本実施形態では、表示装置６９は、レンズ６５に画像や文字を半透明な状態で背景に重ね合わせた表示（すなわち、オーバーレイ表示）を行う。スピーカ７１は、端末６１を着用する作業者に音声により通知する。

マイクロコンピュータ７３はそれぞれが第１実施形態と同様の、プロセッサ（端末プロセッサ２１）、メインメモリ２３と、記憶装置２５とを備えている。マイクロコンピュータ７３は、サーバ１３とネットワーク３１を介して、相互に通信可能に構成されている。本実施形態では、マイクロコンピュータ７３はフレーム６３に設けられている。但し、この態様には限定されず、マイクロコンピュータ７３はフレーム６３に繋がるケーブルを介して、撮像装置２７及び表示装置６９に接続されていてもよい。

マイクロコンピュータ７３のプロセッサ（以下、端末プロセッサ２１）は、第１実施形態と同様に、撮像装置２７によって取得された画像をサーバ１３に送信する。

サーバ１３はそれぞれが第１実施形態と同様の、プロセッサ（サーバプロセッサ３３）と、メインメモリ３５と、記憶装置（サーバ記憶装置３７）とを備えている。サーバ１３のプロセッサ（以下、サーバプロセッサ３３）は第１実施形態と同様に、異常特定処理及び領域データ生成処理を行い、異常箇所及び透過領域像８Ａが取得できた場合には、異常箇所位置データ、異常要因データ、修理可否データ、及び、透過領域像８Ａを送信する。

これにより、端末プロセッサ２１は、図９に示すように、表示装置６９によって、レンズ６５を介して視認される修理対象車両３の像に、透過領域像８Ａと、異常箇所を示すアイコン３９とを重ね合わせて表示する。その他、端末プロセッサ２１は、第１実施形態と同様に、表示装置６９に、異常箇所に対応する異常要因や、修理の可否を重ね合わせて表示してもよい。

端末プロセッサ２１は、更なる画像を要求する要求信号を受信したときには、スピーカ７１から「移動してください」等の音声を出力することによって、撮像装置２７によって更に別の位置から撮像することを促す通知を行ってもよい。

次に、このように構成した車両修理支援システム５１の効果について説明する。

レンズ６５には、透過して視認される修理対象車両３の像３Ａに、透過領域像８Ａと、異常箇所を示すアイコン３９とを重ね合わせて表示される。これにより、センサ５が外装部材７に覆われて、直接外部に露出しない場合であっても、作業者がレンズ６５を介して、修理対象車両３を見ることによって、外装部材７のセンサ５の検出範囲内にある部分、すなわち、透過領域８を容易に把握することができる。特に、本実施形態では、端末６１は眼鏡型のウェラブル端末であるため、作業者は透過領域像８Ａと、異常箇所を示すアイコン３９を見ながら、両手で修理作業を行うことができるため、より一層の作業効率の向上が期待できる。

端末プロセッサ２１は、更なる画像を要求する要求信号を受信したときに、撮像装置２７によって更に別の位置から撮像することを促す通知が行われる。これにより、撮像装置２７によって異常箇所や、端末６１の位置や姿勢が取得し難い場合であっても、端末６１が移動されて、サーバプロセッサ３３による異常箇所や、端末６１の位置や姿勢の取得が可能となる。

このように、本発明に係る車両修理支援システム１、５１によって、作業者の修理作業の効率が改善されて、移動体（車両）の安全性がより一層高められる。よって、本発明は、持続可能な輸送システムの発展に寄与すると期待できる。

以上で具体的な実施形態の説明を終えるが、本発明は上記実施形態や変形例に限定されることなく、幅広く変形実施することができる。

上記実施形態では、移動体が４輪の自動車（車両）である例について記載したが、移動体は４輪の自動車には限定されない。移動体は、例えば、二輪車、三輪車、ロボット、ドローン、作業機、鉄道車両、船舶、飛行機等であってもよい。

上記実施形態では、センサ５はレーダであったが、この態様には限定されず、電波、音波、光等を送受信するいかなるデバイスであってよい。例えば、センサ５は、外装部材７であるバンパ等によって覆われ、車外に向けて音波を送受信するソナーであってもよい。

上記第１実施形態では、端末プロセッサ２１が、撮像装置２７によって取得された画像に、透過領域像８Ａを重畳させることによって合成画像を生成していたが、この態様には限定されない。サーバプロセッサ３３が、撮像装置２７によって取得された画像に、透過領域像８Ａを重畳させて合成画像を端末６１に送信し、端末プロセッサ２１がサーバ１３から送信された合成画像をタッチパネル２９に表示する構成であってもよい。

上記実施形態では、サーバ記憶装置３７が特定情報３８を記憶していたが、この態様には限定されず、端末１１の記憶装置２５が特定情報３８を記憶していてもよい。また、サーバ記憶装置３７と、端末１１の記憶装置２５とがそれぞれ、特定情報３８を分けて記憶していてもよい。また、特定情報３８の一部の情報がサーバ１３とは異なる複数のサーバによって記憶し、特定情報３８の残りの情報がサーバ記憶装置３７と端末１１の記憶装置２５とによって記憶されていてもよい。

上記第１実施形態では、端末６１のタッチパネル２９にリアルタイムで撮像画像２８と、透過領域像８Ａと、異常箇所を示すアイコン３９とが重畳表示される態様であったが、リアルタイムで重畳表示される態様には限定されない。撮像装置２７が撮像画像２８を取得してから所定時間後に、端末１１が撮像画像２８に透過領域像８Ａを重畳表示する態様であってもよい。

また、サーバプロセッサ３３はリアルタイムで送信される撮像画像２８の中に透過領域８があると判定したときに、端末１１に静止画像を撮像する旨の通知が表示される構成であってもよい。静止画像を撮像する旨の通知としては、作業者に撮影を促すものであればよく、例えば、「撮影してください」等のテキスト表示であってもよい。その後、端末１１からサーバ１３に撮像画像２８が送信されると、サーバ１３が透過領域像８Ａを送信し、端末１１が撮像画像２８に透過領域像８Ａを重畳表示するとよい。

その他、端末プロセッサ２１は、異常箇所が修理可能であると判定したときに、サーバ１３に補修方法説明を要求する信号をサーバ１３に送信してもよい。サーバ１３は対応する補修方法を示すテキストや画像を端末６１に送信し、端末プロセッサ２１は取得した補修方法を示すテキストや画像をタッチパネル２９に表示してもよい。

上記第１実施形態では、サーバプロセッサ３３はステップＳＴ１４において、端末６１の移動方向を示すデータを取得するように構成されていたが、端末６１の移動方向に加えて、撮像装置２７の撮像領域内に透過領域８が含まれるようにするために要する端末６１の回転方向（向きを変える方向）や、移動距離を取得してもよい。その場合には、サーバプロセッサ３３は、移動方向、回転方向、及び、移動距離に係る変位データを端末６１に送信するとよい。端末６１は変位データを受信すると、対応する移動方向、回転方向、及び移動距離をタッチパネル２９に表示するとよい。

上記実施形態では、サーバプロセッサ３３は撮像された画像内の全ての異常箇所を抽出するように構成されていたが、この態様には限定されない。サーバプロセッサ３３は、撮像装置２７によって取得された画像の中から、透過領域８内に位置する（すなわち、透過領域像８Ａに重なる）部分を取得し、その抽出された部分の中からのみ異常箇所を抽出してもよい。センサ５からの電波や音波が通過する領域は比較的平坦な面が多いため、異常箇所の抽出が容易になり、サーバプロセッサ３３の演算量の低減を図ることができる。

上記第２実施形態では、端末６１は、眼鏡型のウェラブルデバイスであったが、この態様には限定されない。例えば、端末６１はコンタクトレンズ型のウェラブルデバイスによって構成されていてもよい。また、端末６１は腕時計型のウェラブルデバイス（いわゆる、スマートウォッチ）によって構成されていてもよい。また、撮像装置２７は遠隔操作可能なロボットに設けられていてもよい。その場合には、ロボットを遠隔操作する作業者に情報を提示するデバイス（例えば、タッチパネル２９等）に、透過領域像８Ａが修理対象車両３の像３Ａに重畳されて表示されるとよい。

１ ：車両修理支援システム（第１実施形態に係る修理支援システム）
３ ：修理対象車両（移動体）
３Ａ ：像（修理対象車両の像）
５ ：センサ
７ ：外装部材
８ ：透過領域
８Ａ ：透過領域像
２１ ：端末プロセッサ（プロセッサ）
２３ ：メインメモリ
２５ ：記憶装置
２７ ：撮像装置
２８ ：撮像画像
２９ ：タッチパネル（表示装置）
３３ ：サーバプロセッサ（プロセッサ）
３７ ：サーバ記憶装置（記憶装置）
３８ ：特定情報
３８Ａ ：車両情報テーブル
３８Ｂ ：車両外観データ群
３８Ｃ ：透過領域データ群
３９ ：アイコン
４０ ：通知
４３ ：通知
４５ ：通知
４７ ：通知
５１ ：車両修理支援システム（第２実施形態に係る修理支援システム）
６５ ：レンズ
６９ ：表示装置

Claims (11)

1. 外装部材に設定された透過領域を介して外界情報を取得するセンサを備えた移動体の修理を支援するための修理支援システムであって、
   前記移動体の外面の撮像画像を取得する撮像装置と、
   前記移動体の像に、前記外面の特定の領域を示す像を重畳して、作業者に提示可能な表示装置と、
   前記撮像画像の中から、前前記透過領域に対応する部分を特定するための特定情報を記憶する記憶装置と、
   前記撮像画像を処理するプロセッサと、を有し、
   前記プロセッサは、前記特定情報に基づいて、前記撮像画像の中から、前記透過領域に対応する部分を特定し、前記表示装置に、前記移動体の像の上に前記透過領域に対応する部分を重畳して表示させる修理支援システム。
2. 前記表示装置は、前記撮像画像に前記透過領域に対応する部分を重畳して表示する請求項１に記載の修理支援システム。
3. 前記表示装置は、透明なレンズに情報を重畳表示可能に構成され、
   前記表示装置は、前記レンズを介して視認される前記移動体の前記像に、前記透過領域に対応する部分を重畳して表示する請求項１に記載の修理支援システム。
4. 前記プロセッサは、前記撮像画像から、前記センサの検出感度を低下させうる異常箇所の像を抽出し、
   前記表示装置は、前記移動体の像に、前記透過領域に対応する部分、及び、前記異常箇所を示すアイコンを重畳して表示する請求項１～請求項３のいずれか１つの項に記載の修理支援システム。
5. 前記プロセッサは前記撮像画像に基づいて、前記異常箇所に対応する異常要因を特定し、
   前記表示装置は前記異常要因を表示する請求項４に記載の修理支援システム。
6. 前記異常要因には傷及び汚れが含まれる請求項５に記載の修理支援システム。
7. 前記プロセッサは、前記撮像画像に基づいて前記異常箇所の修理の可否を判定し、
   前記異常箇所の修理が不可能であると判定されたときは、前記表示装置は作業者に交換が必要である旨の通知を行い、前記異常箇所の修理が可能であると判定されたときには、前記表示装置は作業者に修理を指示する旨の通知を行う請求項４～請求項６のいずれか１つの項に記載の修理支援システム。
8. 前記表示装置は、前記撮像画像の更新に合わせて、前記透過領域に対応する部分を更新して表示する請求項１～請求項７のいずれか１つの項に記載の修理支援システム。
9. 前記プロセッサは、前記外装部材の表面形状に基づいて、前記透過領域に対応する部分を特定する請求項１～請求項８のいずれか１項に記載の修理支援システム。
10. 前記プロセッサは、前記撮像画像の中から、前記透過領域に対応する部分が特定できないときには、作業者に撮像を促す通知を行う請求項１～請求項９のいずれか１つの項に記載の修理支援システム。
11. 前記プロセッサは、前記外装部材に加えて、前記移動体に搭載された複数の部材の位置に基づいて、前記透過領域に対応する部分を特定する請求項１～請求項１０のいずれか１項に記載の修理支援システム。