JP7758520B2 - 物体認識装置、環境データ生成装置、モデル生成装置、物体認識方法、およびプログラム - Google Patents

Description

本発明は、物体認識装置、環境データ生成装置、モデル生成装置、物体認識方法、およびプログラムに関する。

近年、現場の省人化を目指し、施工現場において自律施工するロボットの開発が進められている。ロボットによる自律施工を実現するためには、施工現場の環境を正しく認識する必要がある。しかし、施工現場では、作業の進行により、掘削した土を盛るなど、環境の状況が変化するため、静的なマップを事前に用意して環境を認識させることは難しい。特に、ブルドーザーの自律施工の場合は、他建機や土管などへの接触を避けるため、対象物と相対的な距離を認識する必要がある。加えて、盛土を均す場所の判断や均す制御には、盛土の形状や相対距離を認識する必要もある。

施工現場の環境を認識するため、従来、例えばカメラにより撮像した画像を用いて環境の認識を行っていた（例えば、特許文献１参照）。しかし、カメラの画像を用いた認識では、物体や盛土を認識することはできたものの、対象物までの距離やその対象物の大きさを正確に測定することは難しい。また、カメラの画像を用いた場合の認識精度は、天候などの外部要因に大きく左右される。

特開２０１９－０４４４８０号公報

このような問題に対して、物体の大きさや相対的な距離を正確に計測する手法として、人工知能（ＡＩ；Artificial Intelligence）を構築し、３Ｄ－ＬｉＤＡＲ（3D-Light Detection and Ranging、以下ＬｉＤＡＲ）より計測された点群データを用いて物体認識するものがある。点群データを用いた物体認識を用いることで、認識された点群の集合から、認識した物体の大きさや形状と相対的な距離が算出可能となる。これにより、土木建機が自律的行動するための制御値の決定に、物体の大きさや形状と相対的な距離を利用することができる。

点群データを認識するＡＩを構築するには、各点ごとに建機や障害物などのアノテーションを施した大量の点群データを訓練データとして用意する必要がある。しかし、建機や障害物などのアノテーションを施した大量の点群データはなく、例えば大量の点群データにアノテーションを施すには多大な労力を要する。このため、容易にＡＩを構築することができず、物体認識の精度を高めるのは難しかった。

本発明は、上記の課題認識に基づいてなされたものであり、施工現場における物体認識の精度を高めることができる物体認識装置、環境データ生成装置、モデル生成装置、物体認識方法、およびプログラムを提供することを目的としている。

この発明に係る物体認識装置、環境データ生成装置、モデル生成装置、物体認識方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る物体認識装置は、土木作業の施工環境における点群データを生成する点群データ生成装置により生成された前記点群データを含むデータセットを用いた学習により得られたモデルを取得するモデル取得部と、取得された前記モデルを用いて、前記施工環境に存在する物体を認識する認識部と、を備える、物体認識装置である。

（２）：上記（１）の態様において、前記点群データ生成装置は、前記施工環境を仮想したシミュレータを含み、前記シミュレータは、前記物体に基づいて前記点群データを生成する、ものである。

（３）：上記（２）の態様において、前記データセットは、前記モデルの入力データとして前記シミュレータのシミュレーション上でタグデータがタグ付けされた前記物体に関する施工環境データを含み、前記モデルの出力データとして前記施工環境データに基づいて前記点群データの各点に付与されたアノテーションのデータを含む、ものである。

（４）：また、本発明の一態様に係る環境データ生成装置は、上記（１）から（３）のうちいずれかの物体認識装置と、前記物体認識装置により認識された前記物体に基づいて、前記施工環境の状態を表す環境データを生成する環境データ生成部と、を備える、環境データ生成装置である。

（５）：また、本発明の一態様に係るモデル生成装置は、土木作業の施工環境の施工環境データと、前記施工環境データに基づいて点群データ生成装置により生成された点群データと、をデータセットとした学習によりモデルを生成する学習部を備え、前記データセットは、前記モデルの入力データとして、前記施工環境を仮想したシミュレータのシミュレーション上でタグデータがタグ付けされた物体に関する施工環境データを含み、前記モデルの出力データとして前記施工環境データに基づいて前記点群データの各点に付与されたアノテーションのデータを含む、モデル生成装置である。

（６）：また、本発明の一態様に係る物体認識方法は、物体認識装置のコンピュータが、土木作業の施工環境における点群データを生成する点群データ生成装置により生成された前記点群データを含むデータセットを用いた学習により得られたモデルを取得し、取得された前記モデルを用いて、前記施工環境に存在する物体を認識する、物体認識方法である。

（７）：また、本発明の一態様に係るプログラムは、物体認識装置のコンピュータに、土木作業の施工環境における点群データを生成する点群データ生成装置により生成された前記点群データを含むデータセットを用いた学習により得られたモデルを取得させ、取得された前記モデルを用いて、前記施工環境に存在する物体を認識させる、プログラムである。

上述した（１）～（７）の態様によれば、施工現場における物体認識の精度を高めることができる。

実施形態に係る環境データ生成システム１の構成図である。 環境データ生成装置１００が盛土を認識するイメージを示す図である。 モデル生成装置２００における処理の一例を示すフローチャートである。 環境データ生成装置１００における処理の一例を示すフローチャートである。 環境データ生成装置のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の物体認識装置、環境データ生成装置、モデル生成装置、物体認識方法、およびプログラムの実施形態について説明する。

［全体構成］
図１は、実施形態に係る環境データ生成システム１の構成図である。環境データ生成システム１は、例えば、環境データ生成装置１００と、モデル生成装置２００と、を備える。環境データ生成装置１００は、例えば、土木建機１０に搭載される。土木建機１０と、モデル生成装置２００とは、通信ネットワークＮＷを介した通信が可能とされている。

環境データ生成装置１００が搭載される土木建機１０は、例えば、ブルドーザーや、油圧ショベル、振動ローラーなどである。以下の説明においては、施工現場において、盛った土（盛土）を均すブルドーザーを、環境データ生成装置１００が搭載された土木建機１０として想定して説明する。

土木建機１０は、例えば、運転操作子１１と、運転制御装置１２と、走行駆動力出力装置１３と、施工駆動力出力装置１４と、ＬｉＤＡＲ１５と、カメラ１６と、通信装置１７と、位置測位装置１８と、環境データ生成装置１００と、を備える。図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、さらに別の構成要素が追加されてもよい。

例えば、図１に示す土木建機１０から位置測位装置１８が省略されてもよい。あるいは、土木建機１０の速度を検出する速度センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、土木建機１０の向きを検出する方位センサなどのセンサが追加されてもよい。

運転操作子１１は、施工現場の作業員が手動で土木建機１０の動作を制御するための操作子である。運転操作子１１には、土木建機１０を走行（移動）させる際に操作される操作子や、土木建機１０が備える施工機材で施工を行う際に操作される操作子など、土木建機１０を動作させるための複数の操作子が含まれる。

操作子は、例えば、操作レバー、ジョイスティック、ハンドグリップ、操作ボタンなどである。運転操作子１１には、操作子の操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、運転制御装置１２、もしくは、走行駆動力出力装置１３および施工駆動力出力装置１４のうち一部または全部に出力される。

運転制御装置１２は、施工現場の作業員によって土木建機１０が手動で施工の運転をされる場合、運転操作子１１に取り付けられているセンサにより出力された検出結果に応じて、走行駆動力出力装置１３や施工駆動力出力装置１４を制御する。一方、運転制御装置１２は、土木建機１０が自律型の建設機械であり、土木建機１０が自律的に施工の動作を行う場合、環境データ生成装置１００により出力された環境データや制御値に従って、走行駆動力出力装置１３や施工駆動力出力装置１４を制御する。

走行駆動力出力装置１３は、土木建機１０が施工現場内を走行するための走行駆動力（トルク）を、例えば、クローラやホイールに出力する。走行駆動力出力装置１３は、例えば、内燃機関と、制御装置と、を備える。制御装置は、運転制御装置１２から入力される情報、あるいは運転操作子１１から入力される情報に従って、内燃機関を制御する。

施工駆動力出力装置１４は、土木建機１０によって施工現場で施工作業を行う際に、内燃機関の駆動力（トルク）を、例えば、ブレードや、アーム、バゲットなどの作業装置に連結された油圧装置のシリンダに油圧を発生させるための駆動力として出力する。施工駆動力出力装置１４は、運転制御装置１２から入力される情報、あるいは運転操作子１１から入力される情報に従って、施工時の駆動力を出力する。

ＬｉＤＡＲ１５は、土木建機１０によって施工を行う施工現場において、土木建機１０の前方の所定の範囲である施工環境の空間内に光を照射し、照射した光が物体で反射された反射光（散乱光）を受光する。ＬｉＤＡＲ１５は、光の照射から反射光の受光までの時間に基づいて、施工環境内に存在する物体までの距離を計測する。ＬｉＤＡＲ１５は、施工環境、つまり、物体までの距離を計測する計測範囲内の複数の計測点に対して光を照射し、物体までの距離をそれぞれの計測点ごとに計測する。こうして、ＬｉＤＡＲ１５は、施工環境の状態を計測する。

ＬｉＤＡＲ１５は、それぞれの計測点ごとの物体までの距離を、例えば、周期的に繰り返し計測する。ＬｉＤＡＲ１５が照射する光は、例えば、パルス状のレーザー光である。ＬｉＤＡＲ１５は、それぞれの計測点において計測した物体までの距離を表す施工環境の点群データを、環境データ生成装置１００に出力する。ＬｉＤＡＲ１５は、土木建機１０の任意の箇所に取り付けられる。ＬｉＤＡＲ１５は、例えば、作業員が搭乗する操縦室の屋根部分に取り付けられる。

カメラ１６は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を利用したデジタルカメラである。カメラ１６は、施工環境の範囲（または施工環境よりも広い範囲）を、例えば、周期的に繰り返し撮像する。カメラ１６は、施工環境の範囲を撮像することにより、施工環境の状態を計測する。

カメラ１６は、モノカメラでもよいし、ステレオカメラでもよい。カメラ１６は、撮像した画像データを、環境データ生成装置１００に出力する。カメラ１６は、例えば、ＬｉＤＡＲ１５と同じ箇所や、操縦室内の天井の前部に取り付けられる。土木建機１０のその他の任意の箇所に取り付けられてもよい。

通信装置１７は、例えば、セルラー網や、Ｗｉ－Ｆｉ網などを利用して、管理者が施工計画を決定するために使用する管理装置や、施工計画を管理するサーバ装置などとの間で通信を行う。通信装置１７は、例えば、モデル生成装置２００により送信される情報を受信する。通信装置１７は、受信した情報を環境データ生成装置１００に出力する。通信装置１７は、環境データ生成装置１００に設けられていてもよい。

位置測位装置１８は、例えば、ＧＰＳ（Global Positioning System）衛星から受信した信号に基づいて、土木建機１０の位置を測位する。位置測位装置１８は、測位した土木建機１０の位置を表す情報を環境データ生成装置１００に出力する。環境データ生成装置１００は、位置測位装置１８により出力された土木建機１０の位置の情報を参照して、土木建機１０を自律的に動作させるための制御値を生成し、土木建機１０に出力する。位置測位装置１８は、環境データ生成装置１００により生成された制御値からの要求に応じて、土木建機１０の位置を測位してもよい。

土木建機１０に搭載された環境データ生成装置１００は、周囲の物体、例えば盛土を認識する。図２は、環境データ生成装置１００が盛土を認識するイメージを示す図である。環境データ生成装置１００は、ＬｉＤＡＲ１５により出力された点群データ及びカメラ１６により出力された画像データを取得する。環境データ生成装置１００は、取得した点群データを学習済モデルに入力し、出力結果に基づいて盛土Ｍなどの物体を認識するとともに、盛土Ｍまで距離や盛土Ｍの高さを認識する。学習済モデルは、モデルの一例である。環境データ生成装置１００は、点群データとともに画像データを学習済モデルに入力し、出力結果に基づいて物体を認識してもよい。

環境データ生成装置１００は、例えば、物体認識部１１０と、環境データ生成部１２０と、制御値生成部１３０とを備える。物体認識部１１０、環境データ生成部１２０、及び制御値生成部１３０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め環境データ生成装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで環境データ生成装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

物体認識部１１０は、例えば、取得部１１１と、認識部１１２とを備える。取得部１１１は、例えば、モデル取得部１１１Ａと、点群データ取得部１１１Ｂと、画像データ取得部１１１Ｃと、を備える。モデル取得部１１１Ａは、モデル生成装置２００により送信され、通信装置１７によって受信された学習済モデルを取得する。物体認識部１１０は、物体認識装置の一例である。実施形態において、物体認識装置は、物体認識部１１０として環境データ生成装置１００に含まれるが、物体認識装置は、環境データ生成装置１００から独立して設けられてもよい。

点群データ取得部１１１Ｂは、ＬｉＤＡＲ１５により出力された点群データを取得する。点群データ取得部１１１Ｂは、取得した点群データを認識部１１２に出力する。画像データ取得部１１１Ｃは、カメラ１６により出力された画像データを取得する。画像データ取得部１１１Ｃは、取得した画像データを認識部１１２に出力する。点群データ取得部１１１Ｂおよび画像データ取得部１１１Ｃは、ＬｉＤＡＲ１５により周期的に出力される点群データと、カメラ１６によりから周期的に出力される画像データとを逐次取得して、認識部１１２に出力する。点群データ取得部１１１Ｂおよび画像データ取得部１１１Ｃは、取得した点群データや画像データを、メモリ（不図示）に記憶させてもよい。この場合、認識部１１２は、メモリに記憶された点群データや画像データに基づいて、以下の機能を実行する。

認識部１１２は、モデル取得部１１１Ａにより取得された学習済モデルに、点群データ取得部１１１Ｂにより取得された点群データを入力データとして学習済モデルに入力する。認識部１１２は、点群データを入力された学習済モデルの出力結果に基づいて、物体認識を実行する。認識部１１２は、物体認識により、例えば、盛土などの施工を行う施工対象の対象物や、他の建設機械、資材など、施工環境内に存在する物体を認識する。

認識部１１２は、画像データ取得部１１１Ｃにより取得された画像データに基づく物体認識を実行する。画像データに基づく物体認識は、例えば、画像データを第２の学習済モデルに入力することにより実行される。認識部１１２は、テンプレートを用いた画像解析などの他の手段により画像データに基づく物体認識を行ってもよい。認識部１１２は、第２の学習済モデルの出力結果に基づいて、画像データに基づく物体認識を実行する。認識部１１２は、画像データに基づく物体認識の結果を用いて、学習済モデルの出力結果による物体認識の結果を補正する。認識部１１２は、補正した後の認識結果において認識した物体のうち、少なくとも対象物の情報を点群データに紐付けた対象物情報を、環境データ生成部１２０に出力する。対象物情報には、例えば、ＬｉＤＡＲ１５が計測した対象物との相対的な距離の情報に加えて、認識部１１２が認識した対象物の属性や、大きさ、高さ、形状などの情報が含まれる。対象物の属性は、例えば、対象物が盛土であるか、盛土以外の土の変化、つまり、施工現場の地形の変化であるかなどを表す情報である。

対象物情報には、認識部１１２が認識した他の建設機械や資材などの物体との相対的な距離に加えて、例えば、ダンプトラックなど、他の建設機械の種類や、例えば、配管など、資材の種類を表す物体の属性を表す情報が含まれてもよい。認識部１１２は、点群データ取得部１１１Ｂから点群データが出力されるごとに、上述した物体認識機能を実行し、対象物情報を逐次更新して環境データ生成部１２０に出力する。認識部１１２は、点群データ取得部１１１Ｂにより取得された点群データおよび画像データ取得部１１１Ｃにより取得された画像データを入力データとして、施工環境内の物体を認識してもよい。

環境データ生成部１２０は、物体認識部１１０が備える認識部１１２により出力された対象物情報に基づいて、施工環境の状態を表す環境データを生成する。環境データは、例えば、土木建機１０が施工を行う対象の対象物との間の距離、つまり、対象物が存在する施工現場内の位置の情報と、施工現場内に存在する他の建設機械や資材などの施工を行う対象ではない物体の位置の情報とが含まれる、施工現場のマップ（地図）である。環境データ生成部１２０は、生成した環境データを制御値生成部１３０に出力する。環境データ生成部１２０は、認識部１１２によって対象物情報が更新されるごとに環境データを逐次更新して制御値生成部１３０に出力する。

制御値生成部１３０は、環境データ生成部１２０により出力された環境データに基づいて、土木建機１０が自律的に施工の動作を行う場合の土木建機１０の運転を制御する制御値を生成する。制御値は、例えば、施工現場内で土木建機１０を走行（移動）させるための指示内容や、対象物の場所で土木建機１０に施工作業を行わせるための指示内容を表す制御情報である。制御値生成部１３０は、生成した制御値を、運転制御装置１２に出力する。運転制御装置１２は、制御値生成部１３０から入力された制御値に従って、走行駆動力出力装置１３や施工駆動力出力装置１４を制御する。

モデル生成装置２００は、例えば、点群データ生成部２１０と、学習部２２０と、を備える。点群データ生成部２１０は、例えば、入力インターフェース２１１と、シミュレーション部２１２と、を備える。点群データ生成部２１０は、学習部２２０における学習に用いられる点群データを含むデータセットを生成する。点群データ生成部２１０は、点群データ生成装置の一例である。

入力インターフェース２１１は、作業員等の入力操作に基づいて提供されるデータをシミュレーション部に出力する。入力インターフェース２１１としては、例えば、マウスやキーボード、タッチパネル、ドラッグボール、スイッチ、ボタン、ジョイスティック、カメラ、赤外線センサ、マイク等が用いられる。

シミュレーション部２１２は、入力インターフェース２１１の入力操作に基づいて提供される施工現場の再現データに基づいてシミュレーションを実行する。シミュレーション部２１２は、シミュレーションを実行することにより、施工現場の再現データに基づいて、仮想した施工現場を再現した施工環境データを生成する。

施工現場の再現データとしては、例えば、ＢＩＭ（Building Information Modeling）／ＣＩＭ（Construction Information Modeling）で作成した３Ｄデータやドローンなどで計測した３Ｄ点群マップデータなどを挙げることもできる。施工環境データは、仮想した施工現場に代えて、環境データ生成装置１００により生成された施工環境データに基づく施工現場でもよい。

施工現場のシミュレーション上には、盛土や土木建機などの複数の物体（以下、オブジェクトともいう）が存在する。シミュレーション上のオブジェクトには、それぞれの属性情報がタグ付けされている。施工環境データには、オブジェクトにタグ付けされた属性情報が含まれる。

シミュレーション部２１２は、再現した施工現場を３ＤＬｉＤＡＲで計測するシミュレーションを、生成した施工環境データに基づいて実行し、シミュレーションの結果として点群データを生成する。シミュレーション部２１２は、生成した点群データについて、複数のオブジェクトのそれぞれについてタグ付けされた属性情報に基づいて、アノテーションを付与する。属性情報は、タグデータの一例である。

シミュレーション部２１２は、様々なシチュエーションを想定して、大量の施工現場を再現する。シミュレーション部２１２は、大量の施工現場を再現し、それらの施工現場のそれぞれについて、施工環境データを用いた上記のシミュレーションと同様のシミュレーションを実行し、アノテーションが付与された点群データを生成する。

シミュレーション部２１２は、シミュレーションを実行した結果として、アノテーションが付与された点群データを大量に生成する。点群データ生成部２１０は、シミュレーション部２１２により生成されたオブジェクトに属性情報がタグ付けされた大量の施工環境データ及びアノテーションが付与された大量の点群データを含むデータセットを学習部２２０に出力する。シミュレーション部２１２は、シミュレータの一例である。シミュレータ（シミュレーション部）は、点群データ生成部２１０やモデル生成装置２００とは独立して設けられていてもよい。

学習部２２０は、シミュレーション部２１２により生成された大量の施工環境データ及び点群データをデータセットとした学習として機械学習を行う。学習部２２０は、例えば、属性情報がタグ付けされた施工環境データを入力データとし、アノテーションが付与された点群データを出力データとした機械学習を行う。学習部２２０は、機械学習を行った成果としての学習済モデルを生成する。学習部２２０は、生成した学習済モデルを環境データ生成装置１００に送信する。

学習済モデルは、環境データ生成装置１００において、物体認識に用いられるモデルである。学習済モデルは、例えば、ディープラーニングやパターンマッチングなどの学習により生成されたＡＩ（Artificial Intelligence；人工知能）による物体認識のためのモデルである。学習済モデルは、サポートベクトルマシン（ＳＶＭ：Support Vector Machine）、決定木、ｋ－ｎｎ（k-nearest neighbor）分類器などの学習により生成されてもよい。学習は、ルールベースに基づく学習でもよい。

次に、環境データ生成システム１における処理について説明する。環境データ生成システム１では、施工現場における施工を実行する際の環境データを生成するが、環境データを生成する前に、モデル生成装置２００において環境データを生成するための学習済モデルを生成する。そこで、学習済モデルの生成について説明し、続いて、環境データの生成について説明する。

図３は、モデル生成装置２００における処理の一例を示すフローチャートである。図３に示す処理は、学習済モデルの生成を開始する際に開始される。学習済モデルを生成するにあたり、モデル生成装置２００は、まず、点群データ生成部２１０のシミュレーション部２１２において、入力インターフェース２１１に入力された情報に基づいて、施工現場を再現する施工環境データを生成する（ステップＳ１０１）。施工現場にはオブジェクトが含まれている。オブジェクトは、点の集合で表現されており、オブジェクトの各点には、それぞれ属性情報がタグ付けされている。

続いて、シミュレーション部２１２は、再現した施工現場にＬｉＤＡＲ１５により光を照射するシミュレーションを実行し、シミュレーションに基づく点群データを生成する。生成された点群データにおける各点は、それぞれオブジェクトを構成する施工環境データのいずれかの点に対応する。

シミュレーション部２１２は、点群データにおける各点に対応するオブジェクトの点にタグ付けされた属性情報を判定し、判定された属性情報に応じたアノテーションを点群データにおける各点に付与する（ステップＳ１０３）。例えば、施工環境データに含まれる点に「盛土」の属性情報がタグ付けされていた場合に、対応する点群データの点に「盛土」のアノテーションを付与する。シミュレーション部２１２は、同様にして点群データに含まれるすべての点にアノテーションを付与することにより、点群データを生成する（ステップＳ１０５）。

続いて、シミュレーション部２１２は、施工環境データにおける属性情報と点群データにおけるアノテーションのデータをセットとした大量のデータセットを生成する（ステップＳ１０７）。続いて、シミュレーション部２１２は、生成した大量のデータセットを学習部２２０に出力する（ステップＳ１０９）。

学習部２２０は、シミュレーション部２１２により出力された大量のデータセットを用いて機械学習を行い、学習済モデルを生成する（ステップＳ１１１）。学習部２２０は、生成した学習済モデルを環境データ生成装置１００に送信する（ステップＳ１１３）。こうして、モデル生成装置２００は、図３に示す処理を終了する。

続いて、環境データ生成装置１００における処理について説明する。図４は、環境データ生成装置１００における処理の一例を示すフローチャートである。本フローチャートの処理は、土木建機１０が自律的な動作を開始するときに開始される。以下の説明においては、土木建機１０がすでに施工作業を行う対象物の位置（場所）に到着しているものとする。

まず、土木建機１０における自律的な動作を開始すると、環境データ生成装置１００は、決定された施工計画を、例えば通信装置１７を介して取得する（ステップＳ２０１）。続いて、モデル取得部１１１Ａは、モデル生成装置２００により送信される学習済モデルを、例えば通信装置１７を介して取得する（ステップＳ２０３）。モデル取得部１１１Ａは、取得した学習済モデルを認識部１１２に出力する（ステップＳ２０５）。

続いて、環境データ生成装置１００は、ＬｉＤＡＲ１５及びカメラ１６に対して施工環境の状態を計測させる（ステップＳ２０７）。ＬｉＤＡＲ１５及びカメラ１６は、計測した施工環境の状態に応じた点群データ及び画像データを出力する。続いて、点群データ取得部１１１Ｂは、ＬｉＤＡＲ１５により出力された点群データを取得する（ステップＳ２０９）。点群データ取得部１１１Ｂは、取得した点群データを認識部１１２に出力する。

また、画像データ取得部１１１Ｃは、カメラ１６により出力された画像データを取得する（ステップＳ２１１）。画像データ取得部１１１Ｃは、取得した画像データを認識部１１２に出力する（ステップＳ２１３）。ステップＳ２０７及びステップＳ２０９の処理とステップＳ２１１及びステップＳ２１３の処理とは、同時に行ってもよいし互いに入れ替えてもよい。

続いて、認識部１１２は、点群データ取得部１１１Ｂにより出力された点群データを、モデル取得部１１１Ａにより出力された学習済モデルに入力データとして入力する。認識部１１２は、学習済モデルにより出力される出力データに基づいて、今回施工を行う施工対象の対象物（例えば、盛土など）を認識する（ステップＳ２１５）。認識部１１２は、認識した対象物の情報を点群データに紐付けた対象物情報を、環境データ生成部１２０に出力する（ステップＳ２１７）。

環境データ生成部１２０は、認識部１１２により出力された対象物情報に基づいて、今回施工を行う施工環境の状態を表す環境データを生成する（ステップＳ２１９）。続いて、環境データ生成部１２０は、生成した環境データを制御値生成部１３０に出力する（ステップＳ２２１）。

制御値生成部１３０は、施工計画と環境データとを照合、つまり、施工計画が表す施工環境の状態と、環境データが表す現時点の施工環境の状態とを照合する（ステップＳ２２３）。そして、制御値生成部１３０は、施工計画と環境データとを照合した結果に基づいて制御値を生成する（ステップＳ２２５）。制御値生成部１３０は、生成した制御値を、運転制御装置１２に出力し、走行駆動力出力装置１３や施工駆動力出力装置１４を制御することにより、土木建機１０が自律的に動作する。

以上説明した環境データ生成システム１は、ＬｉＤＡＲ１５及びカメラ１６により計測した施工環境の状態を示す点群データを学習済モデルに入力した結果に基づいて環境データを生成する。このため、施工現場の施工環境をより正確に認識することができる。

さらに、環境データを生成するための学習済モデルは、モデル生成装置２００により生成される。モデル生成装置２００では、シミュレーション部２１２を備える点群データ生成部２１０を利用して大量の点群データを生成するので、学習済モデルを生成するために利用される大量の点群データを容易に生成することができる。したがって、容易にＡＩを構築することができるので、施工現場における物体認識の精度を高めることができる。

さらに、施工現場では、建設作業等が行われるので、施工現場の施工環境は時々刻々変化する。このような状況下においては、施工環境の変化に応じて環境データを生成することが求められるが、施工環境が変化するごとに環境データを生成するのには手間がかかる。この点、実施形態の環境データ生成システム１では、モデル生成装置２００を用いたシミュレーションを行って環境データを生成するための学習済モデルを生成するので、精度の高い学習済モデルを容易に提供することができる。したがって、変化する割合が高い施工現場において、施工環境の変化に応じて環境データを容易に生成することができる。

上記の実施形態では、土木建機１０が、施工現場において、盛った土（盛土）を均すブルドーザーである場合を想定したが、土木建機１０がブルドーザー以外の建設機械であっても同様である。例えば、土木建機１０が、ローラーによって土砂を押し固める施工作業を自律的行う振動ローラーである場合にも、環境データ生成装置１００は、目的の施工作業に合わせた環境データ（例えば、施工現場のマップ）を生成することができる。

上記の実施形態では、ブルドーザーなどの土木建機が利用される土木作業の施工環境を対象としているが、土木作業の施工環境は、他の環境でもよい。例えば、土木作業の施工環境は、トンネル内での事故を減らすためのトンネルの施工現場でもよい。この場合、シミュレーション部２１２では、例えば、トンネル内で建機と人を配置したシミュレーションを実行して点群データを生成し、学習部２２０で学習させることができる。この場合には、トンネル内のオブジェクトの認識が可能となり、建機と人の接触を防止する接触防止システムなどとして機能させることができる。

［ハードウェア構成］
図５は、実施形態の物体認識装置８００のハードウェア構成の一例を示す図である。図示するように、物体認識装置８００は、通信コントローラ８００－１、ＣＰＵ８００－２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）８００－３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）８００－４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置８００－５、ドライブ装置８００－６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ８００－１は、物体認識装置８００以外の構成要素との通信を行う。記憶装置８００－５には、ＣＰＵ８００－２が実行するプログラム８００－５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ８００－３に展開されて、ＣＰＵ８００－２によって実行される。これによって、物体認識部１１０における取得部１１１（モデル取得部１１１Ａ、点群データ取得部１１１Ｂ、画像データ取得部１１１Ｃ）及び認識部１１２のうち一部または全部が実現される。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
土木作業の施工環境における点群データを生成する点群データ生成装置により生成された前記点群データを含むデータセットを用いた学習により得られたモデルを取得し、
取得された前記モデルを用いて、前記施工環境に存在する物体を認識する、
ように構成されている、物体認識装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１・・・環境データ生成システム、１０・・・土木建機、１１・・・運転操作子、１２・・・運転制御装置、１３・・・走行駆動力出力装置、１４・・・施工駆動力出力装置、１５・・・ＬｉＤＡＲ、１６・・・カメラ、１７・・・通信装置、１８・・・位置測位装置、１００・・・環境データ生成装置、１１０・・・物体認識部、１１１・・・取得部、１１１Ａ・・・モデル取得部、１１１Ｂ・・・点群データ取得部、１１１Ｃ・・・画像データ取得部、１１２・・・認識部、１２０・・・環境データ生成部、１３０・・・制御値生成部、２００・・・モデル生成装置、２１０・・・点群データ生成部、２１１・・・入力インターフェース、２１２・・・シミュレーション部、２２０・・・学習部

Claims (7)

1. 土木作業の施工環境における点群データを生成する点群データ生成装置により生成された前記点群データを含むデータセットを用いた学習により得られたモデルを取得するモデル取得部と、
   取得された前記モデルを用いて、前記施工環境に存在する物体を認識する認識部と、を備え、
   前記点群データ生成装置は、前記施工環境を仮想したシミュレータを含み、
   前記モデルは、前記施工環境に光を照射したシミュレーションを前記シミュレータで行って生成された点群データを含むデータセットを用いた学習により得られたモデルである、
   物体認識装置。
2. 前記シミュレーションは、照射した光の反射光の受光した際の前記照射から前記受光までの時間に基づいて計測された距離を利用したシミュレーションを含む、
   請求項１に記載の物体認識装置。
3. 前記データセットは、前記モデルの入力データとして前記シミュレータのシミュレーション上でタグデータがタグ付けされた前記物体に関する施工環境データを含み、前記モデルの出力データとして前記施工環境データに基づいて前記点群データの各点に付与されたアノテーションのデータを含む、
   請求項１または２に記載の物体認識装置。
4. 請求項１から３のうちいずれか１項に記載の物体認識装置と、
   前記物体認識装置により認識された前記物体に基づいて、前記施工環境の状態を表す環境データを生成する環境データ生成部と、を備える、
   環境データ生成装置。
5. 土木作業の施工環境の施工環境データと、前記施工環境データに基づいて点群データ生成装置により生成された点群データと、をデータセットとした学習によりモデルを生成する学習部を備え、
   前記データセットは、前記モデルの入力データとして、前記施工環境を仮想したシミュレータの前記施工環境に光を照射したシミュレーション上でタグデータがタグ付けされた物体に関する施工環境データを含み、前記モデルの出力データとして前記施工環境データに基づいて前記点群データの各点に付与されたアノテーションのデータを含む、
   モデル生成装置。
6. 物体認識装置のコンピュータが、
   土木作業の施工環境における点群データを生成する点群データ生成装置により生成された前記点群データを含むデータセットを用いた学習により得られたモデルを取得し、
   取得された前記モデルを用いて、前記施工環境に存在する物体を認識し、
   前記点群データ生成装置は、前記施工環境を仮想したシミュレータを含み、
   前記モデルは、前記施工環境に光を照射したシミュレーションを前記シミュレータで行って生成された点群データを含むデータセットを用いた学習により得られたモデルである、
   物体認識方法。
7. 物体認識装置のコンピュータに、
   土木作業の施工環境における点群データを生成する点群データ生成装置により生成された前記点群データを含むデータセットを用いた学習により得られたモデルを取得させ、
   取得された前記モデルを用いて、前記施工環境に存在する物体を認識させ、
   前記点群データ生成装置は、前記施工環境を仮想したシミュレータを含み、
   前記モデルは、光を照射したシミュレーションを前記シミュレータで行って生成された点群データを含むデータセットを用いた学習により得られたモデルである、
   プログラム。