JP6969807B2 - 作業支援システム - Google Patents

Description

本発明は、ＭＲ（Mixed Reality：複合現実）デバイスを用いて作業員の現場作業を支援する作業支援システムに関する。

従来、ＶＲ（仮想現実）デバイスを用いて、機材を作業現場に自動的に配置するシステムが知られている。このシステムでは、作業員がＨＭＤ（ヘッドマウントディスプレイ）を装着し、カメラの撮影範囲にフラッグを立て、これを基準に土地の間口、奥行き等の距離を測定する。そして、ＨＭＤに表示された仮想空間に３次元画像で描かれた資材データを融合させ、パターン化、システム化された配置データに基づいて最適な機材配置を自動的に提供するように構成されている。

また、コンピュータで生成した仮想現実をＨＭＤに表示し、家具類の販売促進または建設作業員の教育に用いる技術も提案されている。例えば、特許文献１には、ＨＭＤに表示した仮想現実空間内で家具類のレイアウトを変え、ＨＭＤ装着者に内装リフォームの提案を行う「仮想現実システム」が記載されている。特許文献２には、ＨＭＤが表示した仮想現実空間内に学習モデルを配置し、学習者に実際の建設現場と同様な感覚で鉄筋の配筋作業を学習させる「教育支援システム」が記載されている。

特開２０１８−１３５６２号公報 特開２０１８−１２８５１０号公報

ところが、従来のＶＲデバイスを用いたシステムによると、ＨＭＤ装着者が仮想現実空間において作業を模擬的に体験するため、次のような課題があった。
（１）測定、検査、整備等の作業は人が現場に行かないと実施できないため、作業員が現場に到着するまでの間は作業ができないうえ、一人の作業員が担当可能な現場の数も限られ、総じて現場作業の能率が悪かった。
（２）建設機械、土木機械は、操作に多くの技術を習得する必要があるうえ、実技訓練を通して経験を積む必要もあり、経験の浅い作業員を一人で現場作業できるまでに育成するには多くの時間がかかった。
（３）文書や映像を用いた机上学習では技術の継承が困難であり、熟練技術者の高齢化も相俟ってベテランのノウハウが失われ、人材不足への対応が急務となっている。

本発明は、上記課題に鑑みてなされたものであり、その目的は、現場作業の能率を高め、人材育成に貢献する作業支援システムを提供することにある。

上記課題を解決するために、本発明の作業支援システム（１）は、作業員（６）によって携帯されるＭＲデバイス（５１）を備える。ＭＲデバイスには、光透過性のディスプレイ（５１１）とカメラ（５１４）とが設けられる。ディスプレイは、現実空間透写部（３１）と仮想空間表示部（３２）とを複合的に有する。また、作業支援システムは、データベース（１２）と支援サーバ（１３）とを備える。データベースには、作業員による現場作業を支援する複数の作業支援情報が記憶される。支援サーバは、ネットワークを介してＭＲデバイスおよびデータベースに接続され、作業支援情報をデータベースから読み出してＭＲデバイスに転送する。そして、ＭＲデバイスは、作業現場の光景をディスプレイの現実空間透写部に透かし写し、カメラが撮影した作業現場の映像を支援サーバに送信し、支援サーバから受信した作業支援情報をディスプレイの仮想空間表示部に表示するように構成される。

本発明では、ＭＲデバイス（５１）は、盾形に形成されたディスプレイ（５１１）と、ディスプレイを作業員の手で携帯するハンドル（５１２）とを備える。
参考形態では、ＭＲデバイス（１１）は、研削機の検査および整備を行う作業員によって携帯される。ＭＲデバイスは、研削機の検査および整備を行う作業現場の光景をディスプレイ（１１１）の現実空間透写部に透かし写す。
本発明の好ましい実施形態では、支援サーバが、ＭＲデバイスから受信したカメラの映像から作業現場の機器または機材に付された識別符号（２５）を読み取り、識別符号に基づいて作業支援情報をデータベースから読み出す。

上記構成の作業支援システムによれば、作業員がＭＲデバイスのディスプレイを通して現場の機器または機材を視認しつつ、支援サーバから受け取った作業支援情報に基づいて現場作業を容易に実施できる。したがって、現場作業の能率が向上するうえ、経験の浅い作業員を短期間に育成することが可能になる。

掘削機の検査、整備作業を行う現場の斜視図である。 本発明の一実施形態を示す作業支援システムのブロック図である。 ＭＲデバイスの外観を示す斜視図である。 掘削機の制御盤を示す正面図である。 ＭＲデバイスのディスプレイ画面を例示する模式図である。 現場作業の全体的な流れを示すフローチャートである。 準備、検査、整備工程の流れを示すフローチャートである。 作業支援プログラムを示すフローチャートである。 作業員の技術習熟度を評価する手順を示すフローチャートである。 ＭＲデバイスの変形例を示す（ａ）斜視図、（ｂ）側面図である。

（一実施形態）
以下、本発明の一実施形態を図面に基づいて説明する。図１に示すように、この実施形態の作業支援システム１は、掘削機２の検査、整備を行う作業現場３に適用されている。作業現場３には、掘削機２を載置する作業台４が設置されている。掘削機２には、地盤を穿孔するドリルビット５が取り付けられるとともに、ドリルビット５を回転するモータ、制御盤等の機器または機材（図示略）が内蔵されている。図１には、一人の作業員６がＭＲデバイス１１を装着し、掘削機２の制御盤に向かって作業をしている様子が示されている。

図２に示すように、作業支援システム１は、作業員６が携帯するＭＲデバイス１１、現場作業に関連する作業支援情報を記憶するデータベース１２、作業支援情報をＭＲデバイス１１に提供する支援サーバ１３、遠隔地の指導員が携帯する指導員携帯端末１４とから構成されている。ＭＲデバイス１１、データベース１２、支援サーバ１３および指導員携帯端末１４は、それぞれインターネット等のネットワーク（図示略）を介して双方向通信可能に接続されている。

ＭＲデバイス１１は、図３に示すように、作業員６の頭部に装着されるＨＭＤであって、頭部に着脱される可撓性のバンド部材１１０を備えている。このバンド部材１１０には、作業現場３を透視可能な光透過性のディスプレイ１１１と、作業現場３の光景を撮影するカメラ１１２とが取り付けられている。ディスプレイ１１１は、バンド部材１１０に対して上下に回動可能に支持され、作業員の目を覆う使用位置と開放する非使用位置とに配置される。

また、ＭＲデバイス１１には、図２に示すように、作業員６の視線を検知する視線センサ１１３、指導員または別の作業員６との会話に使用するマイク１１４およびスピーカ１１５、検査または整備結果等の作業情報を記憶するメモリ１１６、通信部１１７および制御部１１８等が設けられている。通信部１１７は、ＭＲデバイス１１と支援サーバ１３および指導員携帯端末１４との通信を管理する。制御部１１８は、視線センサ１１３の出力に従ってカメラ１１２の焦点を自動制御するなど、ＭＲデバイス１１全体の制御を行う。

データベース１２には、作業現場３の地理的位置、地質、気象条件等の現場情報を記憶する現場情報記憶部１２１、作業日毎の作業内容、進捗状況等の作業履歴を記憶する作業履歴記憶部１２２、作業員６の識別番号、技術習熟度等の作業員情報を記憶する作業員情報記憶部１２３、部品管理に用いる部品リストを記録する部品リスト記憶部１２４、見積または請負書類等の帳票情報を記憶する帳票情報記憶部１２５、作業員６による現場作業を支援するための作業支援情報を記憶する支援情報記憶部１２６が設けられている。

支援サーバ１３には、モニタ１３０と、ネットワークに接続された通信部１３１と、通信データ記憶部１３２と、制御部１３３とが設けられている。通信データ記憶部１３２には、サーバ１３とＭＲデバイス１１との間の交信データ、およびサーバ１３と指導員携帯端末１４との間の交信データが保存される。制御部１３３には、映像解析部１３４、支援情報読出部１３５、支援情報更新部１３６、および画像生成部１３７が設けられている。

映像解析部１３４は、ＭＲデバイス１１のカメラ１１２が撮影した映像を解析し、映像中に含まれている機器または機材の識別符号を特定する。例えば、図４に示すように、掘削機２の制御盤２０には、スイッチ２１、リレー２２、計器２３、配線ケーブル２４等の機器または機材に、それぞれ固有の識別符号を記したタグ２５が付設されている。制御部１３３の支援情報読出部１３５は、タグ２５の識別符号に基づいて現場作業に必要な作業支援情報をデータベース１２の支援情報記憶部１２６から読み出す。

支援情報更新部１３６は、現場作業の完了時にＭＲデバイス１１から送信された作業報告に基づいて支援情報記憶部１２６の作業支援情報を更新する。画像生成部１３７は、支援情報読出部１３５が読み出した作業支援情報をＭＲデバイス１１のディスプレイ１１１に表示するための３Ｄ画像を生成する。図５は、作業員６の目に映るディスプレイ１１１の画面３０を例示する。この画面３０は、現実空間透写部３１と仮想空間表示部３２とを複合的に組み合わせて構成され、現実空間透写部３１に作業現場３の光景（制御盤２からリレー２２を取り出した様子を図示）が透写され、仮想空間表示部３２に作業支援情報（部品リスト３３を図示）が表示される。

そして、画像生成部１３７は、作業支援情報が作業員６に見やすく表示されるように、仮想空間表示部３２に表示される３Ｄ画像の色彩、大きさ、形状、位置等を調整する処理を実行する。これにより、ＭＲデバイス１１は、作業現場３の光景をディスプレイ１１１の現実空間透写部３１に透かし写し、カメラ１１２が撮影した作業現場３の映像を支援サーバ１３に送信し、支援サーバ１３から受信した作業支援情報をディスプレイ１１１の仮想空間表示部３２に表示するように構成されている。

次に、上記のように構成された作業支援システム１の動作について説明する。図６に示すフローチャートは、ＭＲデバイス１１を用いた現場作業の全体的な流れを示す。作業開始にあたり、作業員６は自身の頭部にＭＲデバイス１１を装着し（Ｓ５１）、ディスプレイ１１１を通して作業現場３（図１参照）を透視する。指導員７は作業現場３から離れた遠隔地の携帯端末１４または支援サーバ１３を起動し、ＭＲデバイス１１のカメラ１１２が撮影した作業現場３の映像をモニタ１３０で確認する（Ｓ５２）。

次に、作業員６は、例えば掘削機２（図１参照）の検査、整備等の作業を実施し（Ｓ５３）、この作業期間中、指導員７は、図７に示す支援プログラム６０に従って現場作業を支援する（Ｓ５４）。続いて、作業員６は点検、整備等の作業結果を随時にメモリ１１６に保存する（Ｓ５５）。そして、作業員６および指導員７が共に作業の完了を確認し（Ｓ５６）、不備がある場合はその工程を再度繰り返す。その後、両者６，７は作業報告を作成して支援サーバ１３に送信し（Ｓ５７）、今回の作業を終了する。

図７は、ＭＲデバイス１１と支援サーバ１３とが協同して実行する作業支援プログラム６０を示す。ここでは、まず、ＭＲデバイス１１がディスプレイ１１１の現実空間透写部３１に作業現場３の光景を透写する（Ｓ６１）。次いで、カメラ１１２が、作業者６の視線に追従して作業現場３の機器類を撮影する（Ｓ６２）。次に、通信部１１７が、カメラ１１２の映像をＭＲデバイス１１から支援サーバ１３に転送する（Ｓ６３）。続いて、支援サーバ１３が、映像解析部１３４でカメラ１１２の映像を解析し、解析結果に基づいて制御部１３３が機器または機材に付されたタグ２５の識別符号を読み取る（Ｓ６４）。

次に、読み取られた識別符号に基づいてサーバ１３の支援情報読出部１３５がデータベース１２を検索し、支援情報記憶部１２６から識別符号に該当する機器または機材に関するマニアル、仕様書、部品リストなど、作業者による目下の現場作業の手助けとなる１つまたは複数の作業支援情報を読み出す（Ｓ６５）。続いて、画像生成部１３７が、作業支援情報を見やすく加工して３Ｄ画像を生成し（Ｓ６６）、その画像データを通信部１３１がサーバ１３からＭＲデバイス１１に送信する（Ｓ６７）。

そして、ＭＲデバイス１１がディスプレイ１１１の仮想空間表示部３２に３Ｄ画像を表示し（Ｓ６８）、作業員６が３Ｄ画像に現された作業支援情報を参照して現場作業を遂行する（Ｓ６９）。したがって、作業員６は、ＭＲデバイス１１を用いて作業現場３の情況を視認しつつ、作業に必要な支援情報をサーバ１３から受け取り、現場作業をハンズフリーで能率よく行うことができる。また、サーバ１３からの支援情報に加え、作業員６はマイク１１４およびスピーカ１１５を用いて指導員７から指導またはアドバイスを直接受けることもできるため、経験の浅い作業員６を短期間に育成することが可能である。

図８は、作業履歴情報を利用して現場作業を行う手順を示す。例えば、掘削機１の現場作業では、作業履歴情報が準備工程（Ｓ７０）、検査工程（Ｓ８０）および整備工程（Ｓ９０）で用いられる。準備工程では、前回の作業履歴情報に基づいて機器配置のモデルを表示し、作業員６と指導員７とが現状確認を行い（Ｓ７１）、作業手順を確認し（Ｓ７２）、作業目標を設定および記録する（Ｓ７３）。検査工程では、過去の作業履歴情報を参照して今回の検査項目を確認し（Ｓ８１）、項目順に検査を実行し（Ｓ８２）、検査結果を記録し（Ｓ８３）、必要に応じて監督者の立ち会いを求める（Ｓ８４）。整備工程では、整備項目を確認し（Ｓ９１）、機器の修理または部品交換を行い（Ｓ９２）、整備結果を記録する（Ｓ９３）。そして、各工程の記録情報をサーバ１３に送信し、データベース１２の履歴情報を更新する。

図９は、作業員６の技術習熟度に応じて作業員情報を更新する手順を示す。ここでは、まず、支援サーバ１３がデータベース１２の作業員情報記憶部１２３から作業員情報を読み出す（Ｓ１０１）。作業員情報記憶部１２３には、作業員６の現在の技術習熟度が含まれている。次に、作業員６が要した実際の作業時間を計測する（Ｓ１０２）。続いて、実作業時間を工程ごとに予め定められた標準作業時間と比較する（Ｓ１０３）。そして、比較結果に基づいて作業員情報中の技術習熟度を更新する（Ｓ１０４）。こうすれば、作業員６の技術習熟度に応じて今後の作業計画を立案することができる。

（その他の実施形態）
なお、上記実施形態では、ＭＲデバイスとして作業員の頭部に装着されるＨＭＤ型のデバイス１１を例示したが、図１０（ａ）に示すような盾形のデバイス５１を使用することもできる。このＭＲデバイス５１は、光透過性の盾形ディスプレイ５１１を備え、盾形ディスプレイ５１１に携帯用のハンドル５１２と、作業員６の視線を検知する視線センサ５１３と、作業現場の光景を撮影するカメラ５１４とが設けられている。このＭＲデバイス５１によれば、図１０（ｂ）に示すように、複数の作業員６が一つのディスプレイ５１１を共用して現場作業を体験することができる。

また、上記実施形態では、作業支援システム１の用途として掘削機２の検査・整備作業を例示したが、本発明のシステムを地盤掘削工事現場に適用したり、土木用作業機、建設用クレーン等の操作または運転に適用したりすることも可能である。その他、本発明は、上記実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で各部の形状や構成を適宜に変更して実施することも可能である。

１・・・作業支援システム、３・・・作業現場、６・・・作業員、７・・・指導員、
１１・・・ＭＲデバイス、１１１・・・ディスプレイ、１１２・・・カメラ、
１１３・・・視線センサ、１１４・・・マイク、１１５・・・スピーカ、
１２・・・データベース、１３・・・支援サーバ、１４・・・指導員携帯端末、
３１・・・現実空間透写部、３２・・・仮想空間表示部。

Claims (7)

1. 作業員（６）によって携帯され、現実空間透写部（３１）と仮想空間表示部（３２）とを複合的に有する光透過性のディスプレイ（５１１）およびカメラ（５１４）を備えたＭＲデバイス（５１）と、
   前記作業員による現場作業を支援する複数の作業支援情報を記憶するデータベース（１２）と、
   ネットワークを介して前記ＭＲデバイスおよび前記データベースに接続され、前記作業支援情報を前記データベースから読み出して前記ＭＲデバイスに転送する支援サーバ（１３）と、を含み、
   前記ＭＲデバイスは、盾形に形成された前記ディスプレイと、前記ディスプレイを前記作業員の手で携帯するハンドル（５１２）とを備え、
   前記ＭＲデバイスは、作業現場の光景を前記ディスプレイの前記現実空間透写部に透かし写し、前記カメラが撮影した前記作業現場の映像を前記支援サーバに転送し、前記支援サーバから受信した前記作業支援情報を前記ディスプレイの前記仮想空間表示部に表示するように構成された作業支援システム。
2. 前記支援サーバは、前記ＭＲデバイスから受信した前記カメラの映像から前記作業現場の機器または機材に付された識別符号（２５）を読み取り、前記識別符号に基づいて前記作業支援情報を前記データベースから読み出す請求項１に記載の作業支援システム。
3. 前記ＭＲデバイスは、作業完了時に作業報告を前記支援サーバに送信する請求項１または２に記載の作業支援システム。
4. 前記ＭＲデバイスは、部品交換の後、記録情報を前記支援サーバに送信する請求項１〜３の何れか一項に記載の作業支援システム。
5. 前記データベースは、前記作業員の技術習熟度を含む作業員情報を記憶し、前記支援サーバは、作業工程ごとに定められた標準作業時間と、前記作業工程に要した前記作業員の実作業時間との比較結果に基づいて前記作業員の技術習熟度を更新する請求項１〜４の何れか一項に記載の作業支援システム。
6. 前記ＭＲデバイスは、前記作業員の視線の動きに追従して前記カメラの焦点を自動制御する制御部（１１８）を備える請求項１〜５の何れか一項に記載の作業支援システム。
7. 前記ＭＲデバイスは、前記作業員が前記作業現場から離れた遠隔地の指導員と会話するマイク（１１４）およびスピーカ（１１５）を備える請求項１〜６の何れか一項に記載の作業支援システム。

Images