JP7828607B2 - 産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラム - Google Patents

Description

本発明は、産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムに関するものである。

産業車両の制御装置として、例えば特許文献１に記載されているものが知られている。特許文献１に記載の産業車両の制御装置は、産業車両に対する操作情報に基づいて産業車両の作業状態を推定し、当該作業状態の推定結果に基づいて産業車両を制御する。

特開２０１９－１８９４３５号明細書

制御装置が作業状態を推定するために、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルを構築する。しかし、作業状態の推定のための推定指標を設計することは、設計作業が困難であり、精度を向上することが難しく、且つ設計のための工数が膨大になるという問題があった。

本発明の目的は、産業車両の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムを提供することである。

本発明の一側面に係る産業車両の制御装置は、産業車両の作業状態を推定するための制御装置であって、 機械学習を用いて産業車両の作業状態を推定する作業状態推定部を有し、作業状態推定部は、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。

産業車両の制御装置は、機械学習を用いて産業車両の作業状態を推定する作業状態推定部を有する。従って、制御装置は、機械学習によって、産業車両の作業状態を推定するための推定指標を設計することができる。ここで、作業状態推定部は、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。このように、作業状態推定部は、過去に実際に行われた操作情報の入力と、当該操作情報によってどのような作業状態となったかを示す正解データと、に基づいて機械学習を行うことができる。これにより、制御装置は、過去の操作情報及び正解データを用いて機械学習を行うだけの工程により、産業車両の作業状態を推定するための推定指標を取得することができる。また、当該推定指標は、過去の実際のデータに基づくものであるため、精度よく作業状態を推定することを可能とする。以上より、産業車両の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる。

作業状態推定部は、現在の操作情報を入力されて、学習結果に基づいて、現在の作業状態を出力してよい。これにより、作業状態推定部は、現在の操作情報を入力するだけで、現在の作業状態を容易に推定することができる。

産業車両の制御装置は、作業状態推定部が出力した作業状態に基づいて、産業車両が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部と、作業状態推定部が出力した作業状態、及び荷物状態推定部が出力した荷物状態に基づいて、作業状態を補正する作業状態補正部と、を更に備えてよい。この場合、制御装置は、産業車両の荷物状態を考慮して補正を行うことで、作業状態の推定精度を向上することができる。

操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含んでよい。これらのパラメータは、産業車両において作業者の意図を反映するパラメータである。作業状態推定部は、操作情報として、このようなパラメータを用いることで、適切な機械学習を行う事ができる。

作業状態推定部は、機械学習モデルとしてＬＳＴＭを用い、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。ＬＳＴＭは、時系列ごとに取得された操作情報によって機械学習を行うにあたり、直近のデータのみならず、過去にさかのぼったデータも考慮した学習を行うことができる。そのため、作業状態推定部は、より精度の高い推定指標を取得することができる。

本発明の一側面に係る産業車両の制御システムは、上述の産業車両の制御装置を有する。

本発明の一側面に係る産業車両の制御装置のプログラムは、上述の産業車両の制御装置に用いられる。

これらの産業車両の制御システム、及び産業車両の制御装置のプログラムは、上述の産業車両の制御装置と同趣旨の作用・効果を得ることができる。

本発明によれば、産業車両の作業状態を推定するための作業状態推定モデルを低工数で精度よく取得することができる産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムを提供することができる。

本発明の実施形態に係る運転支援システムを示すブロック図である。 （ａ）はフォークリフトに対する撮影部の取り付け態様を示す斜視図であり、（ｂ）は撮影部の角度を説明するための模式図である。 フォークリフトの作業状態を説明するための図である。 作業状態取得部のブロック図である。 作業状態推定部の機械学習時の様子を示す図である。 運転支援システムの処理内容を示すフローチャートである。 荷物状態推定部、及び作業状態補正部の効果を説明するグラフである。 制御装置の実験結果を示すグラフである。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。

図１は、本発明の実施形態に係る制御装置２０を含む運転支援システム１００（産業車両の制御システム）を示すブロック図である。運転支援システム１００は、産業車両の遠隔操作を行うためのシステムである。図１に示すように、運転支援システム１００は、フォークリフト１（産業車両）と、遠隔操作装置２と、を備える。

フォークリフト１は、運転制御部１１と、複数の撮影部１２と、を備える。運転制御部１１は、遠隔操作装置２からの指令信号を受信し、当該指令信号に基づいて運転制御、及び操舵制御を行う。複数の撮影部１２は、フォークリフト１の各部位に設けられ、フォークリフト１の周辺環境を撮影する。撮影部１２は、作業支援に用いられる支援情報として、撮影した映像を取得して、後述の表示制御部２２へ送信する。複数の撮影部１２の取り付け位置の例を、図２（ａ）に示す。撮影部１２は、フォークリフト１の車体の前端、幅方向の端部、天井などに設けられる。なお、図２（ｂ）に示すようにＸＹＺ座標を設定した場合、各箇所における撮影部１２は、Ｘ軸、Ｙ軸、Ｚ軸の各軸まわりに傾いた状態で設置されてよい。図２（ａ）では、八箇所に撮影部１２が設けられ、それぞれ異なる箇所の映像を取得する。

図１に示すように、遠隔操作装置２は、記憶部１５と、操作部１６と、表示部１７と、操作情報取得部１８と、制御装置２０と、を備える。記憶部１５は、各種情報を記憶する装置である。操作部１６は、オペレータがフォークリフト１を遠隔操作するため操作を入力するためのユーザーインターフェースである。表示部１７は、映像を出力するためのユーザーインターフェースである。表示部１７は、互いに異なる映像を出力することができる第１領域Ｄ１、第２領域Ｄ２、及び第３領域Ｄ３を有している。

操作情報取得部１８は、オペレータの操作対象（ここでは操作部１６）を操作している場合における、操作情報を取得する。操作情報取得部１８は、例えば、操作部１６の操作レバーに設けられたセンサ、または操作部１６の操作内容を示す信号に基づいて操作内容を検知する手段などによって構成される。

制御装置２０は、遠隔操作装置２全体を制御する制御部である。制御装置２０は、遠隔操作装置２を統括的に管理するＥＣＵ[Electronic Control Unit]を備えている。ＥＣＵは、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］、通信回路等を有する電子制御ユニットである。ＥＣＵでは、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。制御装置２０は、運転指令部２１と、表示制御部２２と、作業状態取得部２３と、視点情報取得部２６と、を備える。

運転指令部２１は、操作部１６で入力された操作に基づく指令信号を生成して、運転制御部１１へ送信するユニットである。

表示制御部２２は、表示部１７の表示内容を制御するユニットである。表示制御部２２は、オペレータの遠隔操作の作業を支援するための情報を表示部１７に表示させる。表示制御部２２は、記憶部１５のデータベースの情報を用いて表示部１７の第１領域Ｄ１、第２領域Ｄ２、及び第３領域Ｄ３の表示内容を制御する。

表示制御部２２は、視点情報取得部２６で取得された視点情報に基づいて、表示部１７に表示させる映像を選択する。第１領域Ｄ１及び第２領域Ｄ２は、特定の映像を大きく表示する大画面部であり、複数の撮影部１２の映像の中から、表示制御部２２が選択した撮影部１２の映像が表示される。第３領域Ｄ３は、複数の映像を小さく表示させる小画面部に該当し、フォークリフト１上の全ての撮影部１２からの映像を、周囲確認のための環境情報として表示する。

例えば、図３（ａ）は、フォークリフト８の作業状態を定義した表である。ここでは作業状態の一例として、「停止（Ｓｔｏｐ）」、「前進（Ｍｏｖｅ ｆｗｄ）」、「棚への接近（Ａｐｐｒｏａｃｈ）」、「調整（Ａｄｊｕｓｔ ｈｅａｄｉｎｇ）」、「荷役（Ｌｏａｄ／Ｕｎｌｏａｄ）」、「走行準備（Ｒｅｔｒｅａｔ）」、「後進（Ｍｏｖｅ ｒｅｖｅｒｓｅ）」という、フォークリフト３の走行や、荷物の取り出し／荷降ろし作業に関する七つの状態について、荷物ありの状態（Ｌｏａｄ）と、荷物無しの状態（ＮｏＬｏａｄ）とで分けることで、合計１４個の作業状態を定義している。フォークリフト３の走行は、「停止（Ｓｔｏｐ）」、「前進（Ｍｏｖｅ ｆｗｄ）」、「棚への接近（Ａｐｐｒｏａｃｈ）」、「走行準備（Ｒｅｔｒｅａｔ）」、「後進（Ｍｏｖｅ ｒｅｖｅｒｓｅ）」が該当し、荷物の取り出し／荷降ろし作業は「調整（Ａｄｊｕｓｔ ｈｅａｄｉｎｇ）」、「荷役（Ｌｏａｄ／Ｕｎｌｏａｄ）」が該当する。各作業状態の定義や数は上記に限定されず、適宜変更可能である。また、フォークリフト３（産業車両）の走行に関するもののみで作業状態を定義してもよい。図３（ｂ）は、フォークリフト１が棚ＳＦからの荷物の取り出し及び荷降ろしを行う際の、各作業状態を示した模式図である。記憶部１５のデータベースでは、各作業状態と、作業状態において確認すべき箇所を映すことができる撮影部１２とが紐付けられている。従って、表示制御部２２は、オペレータが操作しているフォークリフト１の作業状態に合わせて、第１領域Ｄ１及び第２領域Ｄ２に、特に確認すべき箇所の映像を大画面で映すことができる。なお、運転支援のために表示制御部２２の制御によって表示部１７に表示された映像を「運転支援映像」と称する場合がある。

運転支援映像の適切な切替タイミングに関して、オペレータによって個体差が存在する。また、フォークリフト１で行っている作業状態が遷移したら、表示部１７で表示すべき映像が切り替わる。当該事情に鑑みて、作業状態取得部２３、及び視点情報取得部２６は、運転支援映像をオペレータ個人に適合すると共に、作業状態の状態遷移に対応した処理を行う。

作業状態取得部２３は、フォークリフト１で行っている作業状態を取得する。作業状態取得部２３は、操作情報取得部１８で取得された操作情報に基づいて、作業状態を取得する。作業状態取得部２３は、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルを用いて作業状態を取得する。作業状態取得部２３は、記憶部１５に記憶された作業状態推定モデルを取得してよい。作業状態取得部２３の詳細については、後述する。作業状態取得部２３は、取得した作業状態を視点情報取得部２６へ送信する。

視点情報取得部２６は、作業状態取得部２３で取得された作業状態に基づいて、オペレータの視点を取得する。ここで、記憶部１５は、フォークリフト１の作業状態と、オペレータの視線に基づく視線情報とが紐付けられたデータベースを有する。従って、視点情報取得部２６は、フォークリフト１の作業状態とデータベースとを照合することで、作業状態に対応する視線情報を取得する。視点情報取得部２６は、取得した視点情報を表示制御部２２へ送信する。これにより、表示制御部２２は、視点情報に基づいて表示部１７へ表示される映像を制御し、フォークリフト１の作業状態、及びオペレータ個人に対して最適な映像を表示することができる。

次に、図４を参照して、作業状態取得部２３の詳細な構成について説明する。図４は、作業状態取得部２３の構成を示すブロック図である。図４に示すように、作業状態取得部２３は、作業状態推定部３０と、荷物状態推定部３１と、作業状態補正部３２と、を備える。

作業状態推定部３０は、機械学習を用いてフォークリフト１の作業状態を推定する。作業状態推定部３０は、現在の操作情報ｕ（ｔ）を入力されて、学習結果に基づいて、現在の作業状態ｘ（ｔ）を出力する。作業状態推定部３０は、機械学習モデルＭ１を有する。

作業状態として、図３（a）に示す「１」～「１４」の分類が用いられる。操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む。アクセル操作量は、フォークリフト１のアクセルの操作量を示すパラメータであり、アクセル操作量が大きいほどフォークリフト１の車速が速いことを示す。タイヤ角は、フォークリフト１のタイヤの旋回角を示すパラメータであり、タイヤ角が大きいほど、フォークリフト１が大きく旋回することを示す。リフト操作量は、フォークリフト１のフォークをリフトする操作の操作量を示すパラメータであり、リフト操作量が大きいほど、大きくフォークをリフトすることを示す。リーチ操作量は、フォークリフト１のフォークを前方に延ばす操作の操作量を示すパラメータであり、リーチ操作量が大きいほど、大きくフォークを前方へ動かすことを意味する。ティルト操作量は、フォークリフト１のフォークを傾ける操作の操作量を示すパラメータであり、ティルト操作量が大きいほど、大きくフォークを傾けることを意味する。

作業状態推定部３０は、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルと、入力された現在の操作情報ｕ（ｔ）とを照らし合わせることで、現在の作業状態ｘ（ｔ）を推定して出力する。作業状態推定モデルには、上述の操作情報のうち、どのパラメータがどの程度大きく（小さく）なったら、ある作業状態から他の作業状態へ遷移するかが設定されている。例えば、図３（ｂ）に示すように、「作業状態４」の「調整（Ａｄｊｕｓｔ ｈｅａｄｉｎｇ）」ではフォークリフト１が大きく旋回している状態であり、「作業状態５」の「荷役（Ｌｏａｄ）」ではフォークリフト１の車速が遅く徐行している状態である。従って、作業状態推定部３０は、アクセル操作量が大きく、且つタイヤ角が大きい状態から、各パラメータが所定の閾値を下回る状態となったら、「作業状態４」から「作業状態５」へ遷移したものと推定できる。このような作業状態推定モデルは、機械学習によって、オペレータの過去の運転実績に基づいて、当該オペレータにとって最適な推定指標が設定される。なお、オペレータごとに個別の作業状態推定モデルが作成されてもよいし、個別のオペレータに限定されない作業状態推定モデルが作成されてもよい。作業状態推定モデルは記憶部１５に記憶されており、作業状態推定部３０は、必要なタイミングで、記憶部１５からオペレータに対応する適切な作業状態推定モデルを取得する。

図５は、学習時における作業状態推定部３０の様子を示すブロック図である。図５に示すように、作業状態推定部３０は、フォークリフト１に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。図５に示す機械学習の処理は、実際のフォークリフト１の遠隔操作が行われる前段階で、予め行われてよい。操作情報及び正解データとして、予め準備されたデータが用いられる。例えば、実験室などで実際にフォークリフト１の運転を行い、ある時刻における操作情報と、その時刻における実際の作業状態とを紐づけた状態で、データの取得を行う。このときの実際の作業状態が正解データとなる。

作業状態推定部３０は、機械学習モデルＭ１としてＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）を用いてよい。このとき、作業状態推定部３０は、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。時系列ごとに取得された操作情報は、例えば、「時刻０」から「時刻Ｔ」までの所定間隔で取得された「操作情報ｕ（ｔ）及び正解作業状態ｙ（ｔ）」のデータ群によって構成される。作業状態推定部３０は、機械学習モデルＭ１として、時系列ごとに取得された操作情報に対応することができるＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：再帰型ニューラルネットワーク）を用いてもよい。

図４へ戻り、荷物状態推定部３１は、作業状態推定部３０が出力した作業状態ｘ（ｔ）に基づいて、フォークリフト１が取り扱う荷物の状態に関する荷物状態ｇ（ｔ）を出力する。荷物状態推定部３１は、予め作成された荷物状態推定モデル（状態遷移モデル）Ｍ２を有する。荷物状態推定部３１は、記憶部１５から荷物状態推定モデルＭ２を取得する。荷物状態推定部３１は、推定された作業状態ｘ（ｔ）を荷物状態推定モデルＭ２に照らし合わせることで、荷物状態ｇ（ｔ）を推定する。荷物状態ｇ（ｔ）は、「ＮＬ：ＮｏＬｏａｄ（荷物無し）」または「Ｌ：Ｌｏａｄ（荷物有り）」の何れかを示す。荷物状態推定部３１は、推定した荷物状態ｇ（ｔ）を作業状態補正部３２へ出力する。

荷物状態推定モデルＭ２では、指定された作業状態以外での、荷物状態の遷移を禁止している。例えば、図３の例では、「作業状態５」では、フォークリフト１は荷物が無い状態で棚ＳＦに近づき、荷物を受け取ったら「作業状態６」の走行準備の作業状態へ遷移している。この場合、荷物状態推定モデルＭ２では、「作業状態５」から「作業状態６」へ状態遷移する場合に、「ＮＬ：荷物無し」から「Ｌ：荷物有り」へ遷移することを許容し、それ以外での遷移を禁止している。また、「作業状態１２」では、フォークリフト１は荷物が有る状態で棚ＳＦに近づき、荷物を棚ＳＦに降ろしたら「作業状態１３」の走行準備の作業状態へ遷移している。この場合、荷物状態推定モデルＭ２では、「作業状態１２」から「作業状態１３」へ状態遷移する場合に、「Ｌ：荷物有り」から「ＮＬ：荷物無し」へ遷移することを許容し、それ以外での遷移を禁止している。

作業状態補正部３２は、作業状態推定部３０が出力した作業状態ｘ（ｔ）、及び荷物状態推定部３１が出力した荷物状態ｇ（ｔ）に基づいて、作業状態を補正することで、補正後の作業状態ｓ（ｔ）を出力する。作業状態補正部３２は、作業状態推定部３０が出力した作業状態ｘ（ｔ）が荷物を有する作業状態であるか、荷物が無い作業状態であるかを把握する。次に、作業状態補正部３２は、作業状態ｘ（ｔ）の荷物の有無と、荷物状態推定部３１が出力した荷物状態ｇ（ｔ）とを比較する。作業状態補正部３２は、両者の荷物の有無が一致している場合は、作業状態ｘ（ｔ）と同じ内容を補正後の作業状態ｓ（ｔ）とする。一方、作業状態補正部３２は、両者の荷物の有無が食い違っている場合、荷物状態ｇ（ｔ）に合わせるように作業状態ｘ（ｔ）を補正する。例えば、作業状態推定部３０が、荷物が有る作業状態（ｔ－１）から、荷物が無い作業状態（ｔ）へ遷移したこと推定する一方、荷物状態推定部３１が、荷物が有る荷物状態ｇ（ｔ－１）と荷物が有る荷物状態ｇ（ｔ）とで遷移がないことを推定した場合、作業状態補正部３２は、荷物が無い作業状態ｘ（ｔ）を補正して、荷物がある作業状態ｓ（ｔ）とする。なお、図３（ａ）の表のうち、同じ動作カテゴリーの中で誤った推定が生じやすい。例えば、「調整（Ａｄｊｕｓｔ ｈｅａｄｉｎｇ）」という動作の中で、「作業状態４」と「作業状態１１」とを誤り易い。従って、作業状態補正部３２は、同じ動作カテゴリーの中で、荷物の有無を補正する。従って、「作業状態４」が誤っている場合は、作業状態補正部３２は、「作業状態４」と同じ動作カテゴリーである「作業状態１」へ補正する。「作業状態１１」が誤っている場合は、作業状態補正部３２は、「作業状態１１」と同じ動作カテゴリーである「作業状態４」という作業状態へ補正する。

次に、図６を参照して、制御装置２０による運転支援方法を示す処理内容の一例について説明する。図６に示す処理は、表示部１７に運転支援映像が表示されており、且つ、オペレータが遠隔操作でフォークリフト１を操作しているときに行われる。図６に示すように、操作情報取得部１８は、オペレータによる操作情報を取得する（ステップＳ１０）。次に、作業状態推定部３０は、ステップＳで取得した操作情報に基づいて、作業状態を推定する（ステップＳ２０）。次に、荷物状態推定部３１は、ステップＳ２０で推定された作業状態に基づいて、荷物状態を取得する（ステップＳ３０）。次に、作業状態補正部３２は、ステップＳ２０で推定された作業状態、及びステップＳ３０で推定された荷物状態に基づいて、作業状態を補正する（ステップＳ４０）。次に、視点情報取得部５０は、ステップＳ５０で補正された作業状態に基づいて、視点情報を取得する（ステップＳ５０）。次に、表示制御部２２は、ステップＳ５０で取得された視点情報に基づいて、表示部１７で表示する運転支援映像を選択する（ステップＳ６０）。

次に、本実施形態に係る制御装置２０の作用・効果について説明する。

制御装置２０は、機械学習を用いてフォークリフト１の作業状態を推定する作業状態推定部３０を有する。従って、制御装置２０は、機械学習によって、フォークリフト１の作業状態を推定するための推定指標を設計することができる。ここで、作業状態推定部３０は、フォークリフト１に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。このように、作業状態推定部３０は、過去に実際に行われた操作情報の入力と、当該操作情報によってどのような作業状態となったかを示す正解データと、に基づいて機械学習を行うことができる。これにより、制御装置２０は、過去の操作情報及び正解データを用いて機械学習を行うだけの工程により、フォークリフト１の作業状態を推定するための推定指標を取得することができる。また、当該推定指標は、過去の実際のデータに基づくものであるため、精度よく作業状態を推定することを可能とする。以上より、フォークリフト１の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる。

作業状態推定部３０は、現在の操作情報を入力されて、学習結果に基づいて、現在の作業状態を出力してよい。これにより、作業状態推定部３０は、現在の操作情報を入力するだけで、現在の作業状態を容易に推定することができる。

制御装置２０は、作業状態推定部３０が出力した作業状態に基づいて、フォークリフト１が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部３１と、作業状態推定部３０が出力した作業状態、及び荷物状態推定部３１が出力した荷物状態に基づいて、作業状態を補正する作業状態補正部３２と、を更に備えてよい。この場合、制御装置２０は、フォークリフト１の荷物状態を考慮して補正を行うことで、作業状態の推定精度を向上することができる。

図７を参照して、荷物状態推定部３１及び作業状態補正部３２の効果について説明する。図７（ａ）は、ある時刻における操作情報を、横軸に時系列的に示した場合の、作業状態推定部３０が推定した作業状態の推定結果を示すグラフである。図７（ｂ）は、作業状態推定部３０が推定した作業状態を作業状態補正部３２が補正を行った場合の推定結果を示すグラフである。図７（ａ）（ｂ）の破線のグラフは、荷物の有無を示すグラフである。破線のグラフが上段に存在する場合は「荷物有り」の状態であり、下段に存在する場合は「荷物無し」の状態であることを示す。

例えば、図７（ａ）では、荷物が無い状態でフォークの位置を合わせる「作業状態４」から、荷物がある状態でフォークの位置を合わせる「作業状態１１」へ状態遷移したことが推定され、その後に荷物がある状態での荷役状態である「作業状態５」へ状態遷移したことが推定されている。このように、図７（ａ）において「ＦＤ」に示すように、急激に推定結果が局所変動している箇所は、作業状態推定部３０が、一度誤った作業状態を推定し、その後、正しい作業状態を推定していることを示す。

これに対し、荷物状態推定部３１は、「作業状態４」から「作業状態１１」への状態遷移は、「ＮＬ：荷物無し」から「Ｌ：荷物有り」への遷移を禁止している。そのため、荷物状態推定部３１は、荷物が有る「作業状態１１」という作業状態推定部３０の推定結果に対して、「ＮＬ：荷物無し」という荷物状態を作業状態補正部３２へ出力する。これにより、作業状態補正部３２は、荷物が有る「作業状態１１」を、荷物状態推定部３１の推定結果に合わせて荷物が無い「作業状態４」に補正する。これにより、図７（ｂ）に示すように、「作業状態４」から「作業状態１１」を介することなく、正しいタイミング、すなわち実際に「荷物有り」から「荷物無し」へ遷移したタイミングで「作業状態５」へ遷移したことを推定できる。これにより、図７（ｂ）では、図７（ａ）の「ＦＤ」のように誤った作業状態の発生を抑制できる。

操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含んでよい。これらのパラメータは、フォークリフト１において作業者の意図を反映するパラメータである。作業状態推定部３０は、操作情報として、このようなパラメータを用いることで、適切な機械学習を行う事ができる。

作業状態推定部３０は、機械学習モデルＭ１としてＬＳＴＭを用い、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。ＬＳＴＭは、時系列ごとに取得された操作情報によって機械学習を行うにあたり、直近のデータのみならず、過去にさかのぼったデータも考慮した学習を行うことができる。そのため、作業状態推定部３０は、より精度の高い推定指標を取得することができる。

本実施例に係る運転支援システム１００（産業車両の制御システム）は、上述の産業車両の制御装置１を有する。

本実施形態に係る産業車両の制御装置のプログラムは、上述の産業車両の制御装置２０に用いられる。

具体的に、産業車両の制御装置のプログラムは、機械学習を用いて産業車両の作業状態を推定する作業状態推定ステップをコンピュータシステムに実行させる。作業状態推定部ステップでは、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習が行われる。

これらの産業車両の制御システム、及び産業車両の制御装置２０のプログラムは、上述の産業車両の制御装置２０と同趣旨の作用・効果を得ることができる。

図８を参照して、本実施形態に係る制御装置２０を用いて作業状態の推定を行った場合の実験結果について説明する。ここでは、特定の作業パターンに対して、実際の作業状態と推定結果とが一致した割合（正解率）を算出した。図８のうち、実線のグラフＧ１が推定結果を示し、破線のグラフＧ２が実際の作業状態を示す。図８に示すグラフのうち、グラフＧ１，Ｇ２が重なっている箇所では推定結果が実際の作業状態と一致しており、グラフＧ１、Ｇ２が重なっていない箇所では推定結果が実際の作業状態と一致していないことを示す。複数のオペレータを準備し、４４回の作業データを取得し、全４４回の正解率について平均値を算出して評価を行った。機械学習を用いずに設計した作業状態モデルを用いた推定結果に対し、実施形態に係る制御装置２０の推定結果に係る正解率は約１０％向上した。

以上、本発明の好適な実施形態について幾つか説明してきたが、本発明は、上記実施形態に限定されるものではない。

上述の実施形態では、運転支援システムは、遠隔操作時のオペレータの作業を支援していたが、産業車両を有人操作するときに支援を行ってもよい。また、オペレータが産業車両のシミュレーション運転を行うときの支援を行ってもよい。

産業車両は、フォークリフトに限定されず、トーイングトラクター、スキッドステアローダーなどが採用されてもよい。

［形態１］
産業車両の作業状態を推定するための制御装置であって、
機械学習を用いて前記産業車両の前記作業状態を推定する作業状態推定部を有し、
前記作業状態推定部は、前記産業車両に対する操作状態に関する操作情報の入力と、前記作業状態の正解データの入力により、機械学習を行う、産業車両の制御装置。

［形態２］
前記作業状態推定部は、現在の前記操作情報を入力されて、学習結果に基づいて、現在の前記作業状態を出力する、形態１に記載の産業車両の制御装置。

［形態３］
前記作業状態推定部が出力した前記作業状態に基づいて、前記産業車両が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部と、
前記作業状態推定部が出力した前記作業状態、及び前記荷物状態推定部が出力した前記荷物状態に基づいて、前記作業状態を補正する作業状態補正部と、を更に備える、形態１又は２に記載の産業車両の制御装置。

［形態４］
前記操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む、形態１～３の何れか一項に記載の産業車両の制御装置。

［形態５］
前記作業状態推定部は、機械学習モデルとしてＬＳＴＭを用い、学習データとして、時系列ごとに取得された前記操作情報によって機械学習を行う、形態１～４の何れか一項に記載の産業車両の制御装置。

［形態６］
形態１～５の何れか一項に記載の産業車両の制御装置を有する産業車両の制御システム。

［形態７］
請求項１～５の何れか一項に記載の産業車両の制御装置に用いられる産業車両の制御装置のプログラム。

１…フォークリフト、３０…作業状態推定部、３１…荷物状態推定部、３２…作業状態補正部、１００…運転支援システム（産業車両の制御システム）。

Claims (6)

1. 産業車両の作業状態を推定するための制御装置であって、
   機械学習を用いて前記産業車両の作業状態を推定する作業状態推定部と、
   前記作業状態推定部が出力した作業状態に基づいて、前記産業車両が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部と、
   前記作業状態推定部が出力した作業状態、及び前記荷物状態推定部が出力した前記荷物状態に基づいて、前記作業状態推定部が出力した作業状態を補正する作業状態補正部と、を有し、
   前記作業状態推定部は、前記産業車両に対する操作状態に関する操作情報の入力と、前記産業車両の作業状態の正解データの入力により、機械学習を行い、
   前記荷物状態は、荷物無しの状態又は荷物有りの状態を示し、
   前記荷物状態推定部は、荷物状態推定モデルを用いて、指定された作業以外での前記荷物状態の遷移を禁止し、
   前記作業状態補正部は、前記作業状態推定部が出力した作業状態及び前記荷物状態における前記荷物の有無が一致する場合には、前記作業状態推定部が出力した作業状態を補正後の作業状態として出力し、前記作業状態推定部が出力した作業状態及び前記荷物状態における前記荷物の有無が一致しない場合には、前記作業状態推定部が出力した作業状態を前記荷物状態に整合するように補正して前記補正後の作業状態として出力する、産業車両の制御装置。
2. 前記作業状態推定部は、現在の前記操作情報を入力されて、学習結果に基づいて、現在の前記作業状態を出力する、請求項１に記載の産業車両の制御装置。
3. 前記操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む、請求項１に記載の産業車両の制御装置。
4. 前記作業状態推定部は、機械学習モデルとしてＬＳＴＭを用い、学習データとして、時系列ごとに取得された前記操作情報によって機械学習を行う、請求項１に記載の産業車両の制御装置。
5. 請求項１～４の何れか一項に記載の産業車両の制御装置を有する産業車両の制御システム。
6. 請求項１～４の何れか一項に記載の産業車両の制御装置に用いられる産業車両の制御装置のプログラム。