Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7828607B2 - Control devices for industrial vehicles, control systems for industrial vehicles, and programs for industrial vehicle control devices. - Google Patents
[go: Go Back, main page]

JP7828607B2 - Control devices for industrial vehicles, control systems for industrial vehicles, and programs for industrial vehicle control devices. - Google Patents

Control devices for industrial vehicles, control systems for industrial vehicles, and programs for industrial vehicle control devices.

Info

Publication number
JP7828607B2
JP7828607B2 JP2022067070A JP2022067070A JP7828607B2 JP 7828607 B2 JP7828607 B2 JP 7828607B2 JP 2022067070 A JP2022067070 A JP 2022067070A JP 2022067070 A JP2022067070 A JP 2022067070A JP 7828607 B2 JP7828607 B2 JP 7828607B2
Authority
JP
Japan
Prior art keywords
work state
state
work
cargo
estimation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022067070A
Other languages
Japanese (ja)
Other versions
JP2023157271A (en
Inventor
ジョウヨン チュウ
満 河本
隆史 大隈
英一 吉田
幸和 小出
浩伸 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
Toyota Industries Corp
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp, National Institute of Advanced Industrial Science and Technology AIST filed Critical Toyota Industries Corp
Priority to JP2022067070A priority Critical patent/JP7828607B2/en
Publication of JP2023157271A publication Critical patent/JP2023157271A/en
Application granted granted Critical
Publication of JP7828607B2 publication Critical patent/JP7828607B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Forklifts And Lifting Vehicles (AREA)

Description

本発明は、産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムに関するものである。 This invention relates to a control device for industrial vehicles, a control system for industrial vehicles, and a program for a control device for industrial vehicles.

産業車両の制御装置として、例えば特許文献1に記載されているものが知られている。特許文献1に記載の産業車両の制御装置は、産業車両に対する操作情報に基づいて産業車両の作業状態を推定し、当該作業状態の推定結果に基づいて産業車両を制御する。 As a control device for industrial vehicles, for example, the one described in Patent Document 1 is known. The control device for industrial vehicles described in Patent Document 1 estimates the working state of the industrial vehicle based on operation information for the industrial vehicle, and controls the industrial vehicle based on the estimated working state.

特開2019-189435号明細書Japanese Patent Publication No. 2019-189435

制御装置が作業状態を推定するために、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルを構築する。しかし、作業状態の推定のための推定指標を設計することは、設計作業が困難であり、精度を向上することが難しく、且つ設計のための工数が膨大になるという問題があった。 To estimate the work state of a control device, a work state estimation model is constructed that sets estimation indicators such as transition conditions and transition thresholds for each work state. However, designing estimation indicators for work state estimation presents problems such as the difficulty of the design work, the difficulty in improving accuracy, and the enormous amount of effort required for design.

本発明の目的は、産業車両の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムを提供することである。 The objective of this invention is to provide an industrial vehicle control device, an industrial vehicle control system, and a program for an industrial vehicle control device that can accurately acquire estimation indicators for estimating the working state of an industrial vehicle with minimal effort.

本発明の一側面に係る産業車両の制御装置は、産業車両の作業状態を推定するための制御装置であって、 機械学習を用いて産業車両の作業状態を推定する作業状態推定部を有し、作業状態推定部は、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。 One aspect of the present invention relates to a control device for an industrial vehicle, which is a control device for estimating the working state of an industrial vehicle. It includes a working state estimation unit that uses machine learning to estimate the working state of the industrial vehicle. The working state estimation unit performs machine learning based on input of operation information related to the operating state of the industrial vehicle and input of correct data on the working state.

産業車両の制御装置は、機械学習を用いて産業車両の作業状態を推定する作業状態推定部を有する。従って、制御装置は、機械学習によって、産業車両の作業状態を推定するための推定指標を設計することができる。ここで、作業状態推定部は、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。このように、作業状態推定部は、過去に実際に行われた操作情報の入力と、当該操作情報によってどのような作業状態となったかを示す正解データと、に基づいて機械学習を行うことができる。これにより、制御装置は、過去の操作情報及び正解データを用いて機械学習を行うだけの工程により、産業車両の作業状態を推定するための推定指標を取得することができる。また、当該推定指標は、過去の実際のデータに基づくものであるため、精度よく作業状態を推定することを可能とする。以上より、産業車両の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる。 The control device for industrial vehicles has a work state estimation unit that uses machine learning to estimate the work state of the industrial vehicle. Therefore, the control device can design estimation indicators for estimating the work state of the industrial vehicle through machine learning. Here, the work state estimation unit performs machine learning based on input of operation information regarding the operation state of the industrial vehicle and input of ground truth data for the work state. In this way, the work state estimation unit can perform machine learning based on input of operation information actually performed in the past and ground truth data indicating what work state resulted from that operation information. As a result, the control device can obtain estimation indicators for estimating the work state of the industrial vehicle simply by performing machine learning using past operation information and ground truth data. Furthermore, since these estimation indicators are based on actual past data, they enable accurate estimation of the work state. Therefore, estimation indicators for estimating the work state of industrial vehicles can be obtained accurately with minimal effort.

作業状態推定部は、現在の操作情報を入力されて、学習結果に基づいて、現在の作業状態を出力してよい。これにより、作業状態推定部は、現在の操作情報を入力するだけで、現在の作業状態を容易に推定することができる。 The work state estimation unit may receive current operation information as input and output the current work state based on the learning results. This allows the work state estimation unit to easily estimate the current work state simply by inputting current operation information.

産業車両の制御装置は、作業状態推定部が出力した作業状態に基づいて、産業車両が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部と、作業状態推定部が出力した作業状態、及び荷物状態推定部が出力した荷物状態に基づいて、作業状態を補正する作業状態補正部と、を更に備えてよい。この場合、制御装置は、産業車両の荷物状態を考慮して補正を行うことで、作業状態の推定精度を向上することができる。 The control device for industrial vehicles may further include a cargo state estimation unit that outputs a cargo state related to the condition of the cargo handled by the industrial vehicle based on the work state output by the work state estimation unit, and a work state correction unit that corrects the work state based on the work state output by the work state estimation unit and the cargo state output by the cargo state estimation unit. In this case, the control device can improve the accuracy of work state estimation by making corrections that take into account the cargo state of the industrial vehicle.

操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含んでよい。これらのパラメータは、産業車両において作業者の意図を反映するパラメータである。作業状態推定部は、操作情報として、このようなパラメータを用いることで、適切な機械学習を行う事ができる。 The operation information may include at least one of the following: accelerator input, tire angle, lift input, reach input, and tilt input. These parameters reflect the operator's intentions in industrial vehicles. The work state estimation unit can perform appropriate machine learning by using these parameters as operation information.

作業状態推定部は、機械学習モデルとしてLSTMを用い、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。LSTMは、時系列ごとに取得された操作情報によって機械学習を行うにあたり、直近のデータのみならず、過去にさかのぼったデータも考慮した学習を行うことができる。そのため、作業状態推定部は、より精度の高い推定指標を取得することができる。 The work state estimation unit may use LSTM as the machine learning model and perform machine learning using operation information acquired in time series as training data. When performing machine learning using operation information acquired in time series, LSTM can perform learning considering not only the most recent data but also past data. Therefore, the work state estimation unit can obtain more accurate estimation indicators.

本発明の一側面に係る産業車両の制御システムは、上述の産業車両の制御装置を有する。 One aspect of the present invention relates to an industrial vehicle control system comprising the above-described industrial vehicle control device.

本発明の一側面に係る産業車両の制御装置のプログラムは、上述の産業車両の制御装置に用いられる。 A program for a control device for an industrial vehicle according to one aspect of the present invention is used in the above-described control device for an industrial vehicle.

これらの産業車両の制御システム、及び産業車両の制御装置のプログラムは、上述の産業車両の制御装置と同趣旨の作用・効果を得ることができる。 The control systems and control devices for these industrial vehicles can achieve the same functions and effects as the control devices for industrial vehicles described above.

本発明によれば、産業車両の作業状態を推定するための作業状態推定モデルを低工数で精度よく取得することができる産業車両の制御装置、産業車両の制御システム、及び産業車両の制御装置のプログラムを提供することができる。 According to the present invention, it is possible to provide an industrial vehicle control device, an industrial vehicle control system, and a program for an industrial vehicle control device that can acquire an industrial vehicle operation state estimation model with low man-hours and high accuracy.

本発明の実施形態に係る運転支援システムを示すブロック図である。This is a block diagram showing a driver assistance system according to an embodiment of the present invention. (a)はフォークリフトに対する撮影部の取り付け態様を示す斜視図であり、(b)は撮影部の角度を説明するための模式図である。(a) is a perspective view showing how the camera unit is attached to the forklift, and (b) is a schematic diagram illustrating the angle of the camera unit. フォークリフトの作業状態を説明するための図である。This is a diagram illustrating the working state of a forklift. 作業状態取得部のブロック図である。This is a block diagram of the work status acquisition unit. 作業状態推定部の機械学習時の様子を示す図である。This figure shows the machine learning process of the work state estimation unit. 運転支援システムの処理内容を示すフローチャートである。This is a flowchart showing the processing steps of the driver assistance system. 荷物状態推定部、及び作業状態補正部の効果を説明するグラフである。This graph illustrates the effects of the cargo condition estimation unit and the work condition correction unit. 制御装置の実験結果を示すグラフである。This graph shows the experimental results of the control device.

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the drawings, identical or equivalent elements are denoted by the same reference numerals, and redundant descriptions are omitted.

図1は、本発明の実施形態に係る制御装置20を含む運転支援システム100(産業車両の制御システム)を示すブロック図である。運転支援システム100は、産業車両の遠隔操作を行うためのシステムである。図1に示すように、運転支援システム100は、フォークリフト1(産業車両)と、遠隔操作装置2と、を備える。 Figure 1 is a block diagram showing a driver assistance system 100 (industrial vehicle control system) including a control device 20 according to an embodiment of the present invention. The driver assistance system 100 is a system for remotely controlling an industrial vehicle. As shown in Figure 1, the driver assistance system 100 comprises a forklift 1 (industrial vehicle) and a remote control device 2.

フォークリフト1は、運転制御部11と、複数の撮影部12と、を備える。運転制御部11は、遠隔操作装置2からの指令信号を受信し、当該指令信号に基づいて運転制御、及び操舵制御を行う。複数の撮影部12は、フォークリフト1の各部位に設けられ、フォークリフト1の周辺環境を撮影する。撮影部12は、作業支援に用いられる支援情報として、撮影した映像を取得して、後述の表示制御部22へ送信する。複数の撮影部12の取り付け位置の例を、図2(a)に示す。撮影部12は、フォークリフト1の車体の前端、幅方向の端部、天井などに設けられる。なお、図2(b)に示すようにXYZ座標を設定した場合、各箇所における撮影部12は、X軸、Y軸、Z軸の各軸まわりに傾いた状態で設置されてよい。図2(a)では、八箇所に撮影部12が設けられ、それぞれ異なる箇所の映像を取得する。 The forklift 1 comprises a driving control unit 11 and multiple imaging units 12. The driving control unit 11 receives command signals from the remote control device 2 and performs driving and steering control based on these command signals. The multiple imaging units 12 are installed at various points on the forklift 1 and capture images of the surrounding environment. The imaging units 12 acquire the captured images as support information used for work assistance and transmit them to the display control unit 22 (described later). An example of the mounting positions of the multiple imaging units 12 is shown in Figure 2(a). The imaging units 12 are installed at the front end, widthwise ends, ceiling, etc., of the forklift 1's body. Note that, as shown in Figure 2(b), when XYZ coordinates are set, the imaging units 12 at each location may be installed at an angle around the X, Y, and Z axes. In Figure 2(a), eight imaging units 12 are installed, each acquiring images of a different location.

図1に示すように、遠隔操作装置2は、記憶部15と、操作部16と、表示部17と、操作情報取得部18と、制御装置20と、を備える。記憶部15は、各種情報を記憶する装置である。操作部16は、オペレータがフォークリフト1を遠隔操作するため操作を入力するためのユーザーインターフェースである。表示部17は、映像を出力するためのユーザーインターフェースである。表示部17は、互いに異なる映像を出力することができる第1領域D1、第2領域D2、及び第3領域D3を有している。 As shown in Figure 1, the remote control device 2 comprises a storage unit 15, an operation unit 16, a display unit 17, an operation information acquisition unit 18, and a control device 20. The storage unit 15 is a device for storing various types of information. The operation unit 16 is a user interface for an operator to input operations for remotely controlling the forklift 1. The display unit 17 is a user interface for outputting video. The display unit 17 has a first area D1, a second area D2, and a third area D3, each capable of outputting different video.

操作情報取得部18は、オペレータの操作対象(ここでは操作部16)を操作している場合における、操作情報を取得する。操作情報取得部18は、例えば、操作部16の操作レバーに設けられたセンサ、または操作部16の操作内容を示す信号に基づいて操作内容を検知する手段などによって構成される。 The operation information acquisition unit 18 acquires operation information when the operator is operating the target device (in this case, the operation unit 16). The operation information acquisition unit 18 is configured, for example, by a sensor provided on the operation lever of the operation unit 16, or by means of detecting the operation content based on a signal indicating the operation content of the operation unit 16.

制御装置20は、遠隔操作装置2全体を制御する制御部である。制御装置20は、遠隔操作装置2を統括的に管理するECU[Electronic Control Unit]を備えている。ECUは、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]、CAN[Controller Area Network]、通信回路等を有する電子制御ユニットである。ECUでは、例えば、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより各種の機能を実現する。制御装置20は、運転指令部21と、表示制御部22と、作業状態取得部23と、視点情報取得部26と、を備える。 The control device 20 is a control unit that controls the entire remote control device 2. The control device 20 includes an ECU (Electronic Control Unit) that comprehensively manages the remote control device 2. The ECU is an electronic control unit comprising a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), CAN (Controller Area Network), communication circuits, etc. The ECU, for example, implements various functions by loading a program stored in ROM into RAM and executing the program loaded into RAM using the CPU. The control device 20 includes an operation command unit 21, a display control unit 22, a work status acquisition unit 23, and a viewpoint information acquisition unit 26.

運転指令部21は、操作部16で入力された操作に基づく指令信号を生成して、運転制御部11へ送信するユニットである。 The operation command unit 21 is a unit that generates command signals based on the operations input by the operation unit 16 and transmits them to the operation control unit 11.

表示制御部22は、表示部17の表示内容を制御するユニットである。表示制御部22は、オペレータの遠隔操作の作業を支援するための情報を表示部17に表示させる。表示制御部22は、記憶部15のデータベースの情報を用いて表示部17の第1領域D1、第2領域D2、及び第3領域D3の表示内容を制御する。 The display control unit 22 is a unit that controls the display content of the display unit 17. The display control unit 22 displays information on the display unit 17 to support the operator's remote operation. The display control unit 22 controls the display content of the first area D1, second area D2, and third area D3 of the display unit 17 using information from the database in the storage unit 15.

表示制御部22は、視点情報取得部26で取得された視点情報に基づいて、表示部17に表示させる映像を選択する。第1領域D1及び第2領域D2は、特定の映像を大きく表示する大画面部であり、複数の撮影部12の映像の中から、表示制御部22が選択した撮影部12の映像が表示される。第3領域D3は、複数の映像を小さく表示させる小画面部に該当し、フォークリフト1上の全ての撮影部12からの映像を、周囲確認のための環境情報として表示する。 The display control unit 22 selects the image to be displayed on the display unit 17 based on the viewpoint information acquired by the viewpoint information acquisition unit 26. The first area D1 and the second area D2 are large-screen areas that display a specific image in a larger size, and the image from the selected camera unit 12 from among the images from multiple camera units 12 is displayed. The third area D3 corresponds to a small-screen area that displays multiple images in a smaller size, and displays images from all camera units 12 on the forklift 1 as environmental information for surrounding confirmation.

例えば、図3(a)は、フォークリフト8の作業状態を定義した表である。ここでは作業状態の一例として、「停止(Stop)」、「前進(Move fwd)」、「棚への接近(Approach)」、「調整(Adjust heading)」、「荷役(Load/Unload)」、「走行準備(Retreat)」、「後進(Move reverse)」という、フォークリフト3の走行や、荷物の取り出し/荷降ろし作業に関する七つの状態について、荷物ありの状態(Load)と、荷物無しの状態(NoLoad)とで分けることで、合計14個の作業状態を定義している。フォークリフト3の走行は、「停止(Stop)」、「前進(Move fwd)」、「棚への接近(Approach)」、「走行準備(Retreat)」、「後進(Move reverse)」が該当し、荷物の取り出し/荷降ろし作業は「調整(Adjust heading)」、「荷役(Load/Unload)」が該当する。各作業状態の定義や数は上記に限定されず、適宜変更可能である。また、フォークリフト3(産業車両)の走行に関するもののみで作業状態を定義してもよい。図3(b)は、フォークリフト1が棚SFからの荷物の取り出し及び荷降ろしを行う際の、各作業状態を示した模式図である。記憶部15のデータベースでは、各作業状態と、作業状態において確認すべき箇所を映すことができる撮影部12とが紐付けられている。従って、表示制御部22は、オペレータが操作しているフォークリフト1の作業状態に合わせて、第1領域D1及び第2領域D2に、特に確認すべき箇所の映像を大画面で映すことができる。なお、運転支援のために表示制御部22の制御によって表示部17に表示された映像を「運転支援映像」と称する場合がある。 For example, Figure 3(a) is a table defining the working states of forklift 8. Here, as an example of working states, seven states related to the movement of forklift 3 and the loading/unloading of cargo—"Stop," "Move forward," "Approach," "Adjust heading," "Load/Unload," "Retreat," and "Move reverse"—are divided into states with and without cargo, resulting in a total of 14 working states. The movement of forklift 3 corresponds to "Stop," "Move forward," "Approach," "Retreat," and "Move reverse," while the loading/unloading of cargo corresponds to "Adjust heading" and "Load/Unload." The definitions and number of each work state are not limited to those above and can be changed as appropriate. Alternatively, work states may be defined only in relation to the movement of forklift 3 (industrial vehicle). Figure 3(b) is a schematic diagram showing the various work states when forklift 1 loads cargo from shelf SF and unloads cargo. In the database of the memory unit 15, each work state is linked to the camera unit 12, which can capture images of the parts that need to be checked in that work state. Therefore, the display control unit 22 can display images of areas requiring particular attention in the first area D1 and the second area D2 on a large screen, according to the working status of the forklift 1 being operated by the operator. Note that the images displayed on the display unit 17 under the control of the display control unit 22 for driver assistance may be referred to as "driver assistance images."

運転支援映像の適切な切替タイミングに関して、オペレータによって個体差が存在する。また、フォークリフト1で行っている作業状態が遷移したら、表示部17で表示すべき映像が切り替わる。当該事情に鑑みて、作業状態取得部23、及び視点情報取得部26は、運転支援映像をオペレータ個人に適合すると共に、作業状態の状態遷移に対応した処理を行う。 Regarding the appropriate timing for switching the driver assistance video, there are individual differences among operators. Furthermore, when the work state performed by forklift 1 changes, the video to be displayed on the display unit 17 changes. In light of these circumstances, the work state acquisition unit 23 and the viewpoint information acquisition unit 26 adapt the driver assistance video to the individual operator and perform processing corresponding to the state transition of the work state.

作業状態取得部23は、フォークリフト1で行っている作業状態を取得する。作業状態取得部23は、操作情報取得部18で取得された操作情報に基づいて、作業状態を取得する。作業状態取得部23は、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルを用いて作業状態を取得する。作業状態取得部23は、記憶部15に記憶された作業状態推定モデルを取得してよい。作業状態取得部23の詳細については、後述する。作業状態取得部23は、取得した作業状態を視点情報取得部26へ送信する。 The work status acquisition unit 23 acquires the work status being performed by the forklift 1. The work status acquisition unit 23 acquires the work status based on the operation information acquired by the operation information acquisition unit 18. The work status acquisition unit 23 acquires the work status using a work status estimation model that sets estimation indicators such as transition conditions and transition thresholds for transitioning to each work status. The work status acquisition unit 23 may acquire the work status estimation model stored in the storage unit 15. Details of the work status acquisition unit 23 will be described later. The work status acquisition unit 23 transmits the acquired work status to the viewpoint information acquisition unit 26.

視点情報取得部26は、作業状態取得部23で取得された作業状態に基づいて、オペレータの視点を取得する。ここで、記憶部15は、フォークリフト1の作業状態と、オペレータの視線に基づく視線情報とが紐付けられたデータベースを有する。従って、視点情報取得部26は、フォークリフト1の作業状態とデータベースとを照合することで、作業状態に対応する視線情報を取得する。視点情報取得部26は、取得した視点情報を表示制御部22へ送信する。これにより、表示制御部22は、視点情報に基づいて表示部17へ表示される映像を制御し、フォークリフト1の作業状態、及びオペレータ個人に対して最適な映像を表示することができる。 The viewpoint information acquisition unit 26 acquires the operator's viewpoint based on the work status acquired by the work status acquisition unit 23. Here, the storage unit 15 has a database that links the work status of the forklift 1 with viewpoint information based on the operator's gaze. Therefore, the viewpoint information acquisition unit 26 acquires viewpoint information corresponding to the work status by comparing the work status of the forklift 1 with the database. The viewpoint information acquisition unit 26 transmits the acquired viewpoint information to the display control unit 22. As a result, the display control unit 22 controls the image displayed on the display unit 17 based on the viewpoint information, enabling it to display the optimal image for the work status of the forklift 1 and the individual operator.

次に、図4を参照して、作業状態取得部23の詳細な構成について説明する。図4は、作業状態取得部23の構成を示すブロック図である。図4に示すように、作業状態取得部23は、作業状態推定部30と、荷物状態推定部31と、作業状態補正部32と、を備える。 Next, the detailed configuration of the work status acquisition unit 23 will be described with reference to Figure 4. Figure 4 is a block diagram showing the configuration of the work status acquisition unit 23. As shown in Figure 4, the work status acquisition unit 23 comprises a work status estimation unit 30, a cargo status estimation unit 31, and a work status correction unit 32.

作業状態推定部30は、機械学習を用いてフォークリフト1の作業状態を推定する。作業状態推定部30は、現在の操作情報u(t)を入力されて、学習結果に基づいて、現在の作業状態x(t)を出力する。作業状態推定部30は、機械学習モデルM1を有する。 The work state estimation unit 30 estimates the work state of the forklift 1 using machine learning. The work state estimation unit 30 receives current operation information u(t) as input and outputs the current work state x(t) based on the learning results. The work state estimation unit 30 has a machine learning model M1.

作業状態として、図3(a)に示す「1」~「14」の分類が用いられる。操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む。アクセル操作量は、フォークリフト1のアクセルの操作量を示すパラメータであり、アクセル操作量が大きいほどフォークリフト1の車速が速いことを示す。タイヤ角は、フォークリフト1のタイヤの旋回角を示すパラメータであり、タイヤ角が大きいほど、フォークリフト1が大きく旋回することを示す。リフト操作量は、フォークリフト1のフォークをリフトする操作の操作量を示すパラメータであり、リフト操作量が大きいほど、大きくフォークをリフトすることを示す。リーチ操作量は、フォークリフト1のフォークを前方に延ばす操作の操作量を示すパラメータであり、リーチ操作量が大きいほど、大きくフォークを前方へ動かすことを意味する。ティルト操作量は、フォークリフト1のフォークを傾ける操作の操作量を示すパラメータであり、ティルト操作量が大きいほど、大きくフォークを傾けることを意味する。 The classifications "1" to "14" shown in Figure 3(a) are used to represent the working state. Operational information includes at least one of the following: accelerator operation amount, tire angle, lift operation amount, reach operation amount, and tilt operation amount. Accelerator operation amount is a parameter indicating the amount of accelerator operation on the forklift 1; a larger accelerator operation amount indicates a faster forklift 1 speed. Tire angle is a parameter indicating the turning angle of the forklift 1's tires; a larger tire angle indicates a larger turning radius. Lift operation amount is a parameter indicating the amount of operation to lift the forks of the forklift 1; a larger lift operation amount indicates a greater fork lift. Reach operation amount is a parameter indicating the amount of operation to extend the forks of the forklift 1 forward; a larger reach operation amount means a greater forward movement of the forks. Tilt operation amount is a parameter indicating the amount of operation to tilt the forks of the forklift 1; a larger tilt operation amount means a greater tilt of the forks.

作業状態推定部30は、各作業状態へ状態遷移するときの遷移条件や遷移閾値などの推定指標を設定した作業状態推定モデルと、入力された現在の操作情報u(t)とを照らし合わせることで、現在の作業状態x(t)を推定して出力する。作業状態推定モデルには、上述の操作情報のうち、どのパラメータがどの程度大きく(小さく)なったら、ある作業状態から他の作業状態へ遷移するかが設定されている。例えば、図3(b)に示すように、「作業状態4」の「調整(Adjust heading)」ではフォークリフト1が大きく旋回している状態であり、「作業状態5」の「荷役(Load)」ではフォークリフト1の車速が遅く徐行している状態である。従って、作業状態推定部30は、アクセル操作量が大きく、且つタイヤ角が大きい状態から、各パラメータが所定の閾値を下回る状態となったら、「作業状態4」から「作業状態5」へ遷移したものと推定できる。このような作業状態推定モデルは、機械学習によって、オペレータの過去の運転実績に基づいて、当該オペレータにとって最適な推定指標が設定される。なお、オペレータごとに個別の作業状態推定モデルが作成されてもよいし、個別のオペレータに限定されない作業状態推定モデルが作成されてもよい。作業状態推定モデルは記憶部15に記憶されており、作業状態推定部30は、必要なタイミングで、記憶部15からオペレータに対応する適切な作業状態推定モデルを取得する。 The work state estimation unit 30 estimates and outputs the current work state x(t) by comparing the input current operation information u(t) with a work state estimation model that has been set with estimation indicators such as transition conditions and transition thresholds for transitioning to each work state. The work state estimation model has been set which parameters of the above-mentioned operation information need to be increased (decreased) and by how much for a transition to one work state to occur. For example, as shown in Figure 3(b), in "Work State 4" "Adjust heading," the forklift 1 is in a state where it is making a large turn, and in "Work State 5" "Load," the forklift 1 is moving slowly. Therefore, the work state estimation unit 30 can estimate that a transition from "Work State 4" to "Work State 5" has occurred when the accelerator operation amount is large and the tire angle is large, and each parameter falls below a predetermined threshold. In such a work state estimation model, machine learning is used to set the optimal estimation indicators for the operator based on the operator's past driving performance. Furthermore, individual work state estimation models may be created for each operator, or a work state estimation model not limited to a specific operator may be created. The work state estimation models are stored in the storage unit 15, and the work state estimation unit 30 retrieves the appropriate work state estimation model corresponding to the operator from the storage unit 15 at the necessary timing.

図5は、学習時における作業状態推定部30の様子を示すブロック図である。図5に示すように、作業状態推定部30は、フォークリフト1に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。図5に示す機械学習の処理は、実際のフォークリフト1の遠隔操作が行われる前段階で、予め行われてよい。操作情報及び正解データとして、予め準備されたデータが用いられる。例えば、実験室などで実際にフォークリフト1の運転を行い、ある時刻における操作情報と、その時刻における実際の作業状態とを紐づけた状態で、データの取得を行う。このときの実際の作業状態が正解データとなる。 Figure 5 is a block diagram showing the operation state estimation unit 30 during learning. As shown in Figure 5, the operation state estimation unit 30 performs machine learning by inputting operation information related to the operation state of the forklift 1 and correct data on the operation state. The machine learning process shown in Figure 5 may be performed in advance, before the actual remote operation of the forklift 1 takes place. Pre-prepared data is used as operation information and correct data. For example, the forklift 1 is actually operated in a laboratory, and data is acquired by linking the operation information at a certain time with the actual operation state at that time. The actual operation state at this time becomes the correct data.

作業状態推定部30は、機械学習モデルM1としてLSTM(Long Short Term Memory)を用いてよい。このとき、作業状態推定部30は、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。時系列ごとに取得された操作情報は、例えば、「時刻0」から「時刻T」までの所定間隔で取得された「操作情報u(t)及び正解作業状態y(t)」のデータ群によって構成される。作業状態推定部30は、機械学習モデルM1として、時系列ごとに取得された操作情報に対応することができるRNN(Recurrent Neural Network:再帰型ニューラルネットワーク)を用いてもよい。 The work state estimation unit 30 may use LSTM (Long Short Term Memory) as the machine learning model M1. In this case, the work state estimation unit 30 may perform machine learning using operation information acquired in time series as training data. The operation information acquired in time series consists, for example, of a data set of "operation information u(t) and correct work state y(t)" acquired at predetermined intervals from "time 0" to "time T". The work state estimation unit 30 may also use RNN (Recurrent Neural Network) as the machine learning model M1, which is capable of handling operation information acquired in time series.

図4へ戻り、荷物状態推定部31は、作業状態推定部30が出力した作業状態x(t)に基づいて、フォークリフト1が取り扱う荷物の状態に関する荷物状態g(t)を出力する。荷物状態推定部31は、予め作成された荷物状態推定モデル(状態遷移モデル)M2を有する。荷物状態推定部31は、記憶部15から荷物状態推定モデルM2を取得する。荷物状態推定部31は、推定された作業状態x(t)を荷物状態推定モデルM2に照らし合わせることで、荷物状態g(t)を推定する。荷物状態g(t)は、「NL:NoLoad(荷物無し)」または「L:Load(荷物有り)」の何れかを示す。荷物状態推定部31は、推定した荷物状態g(t)を作業状態補正部32へ出力する。 Returning to Figure 4, the cargo state estimation unit 31 outputs a cargo state g(t) related to the state of the cargo handled by the forklift 1, based on the work state x(t) output by the work state estimation unit 30. The cargo state estimation unit 31 has a pre-created cargo state estimation model (state transition model) M2. The cargo state estimation unit 31 obtains the cargo state estimation model M2 from the storage unit 15. The cargo state estimation unit 31 estimates the cargo state g(t) by comparing the estimated work state x(t) with the cargo state estimation model M2. The cargo state g(t) indicates either "NL: No Load (no cargo)" or "L: Load (cargo present)". The cargo state estimation unit 31 outputs the estimated cargo state g(t) to the work state correction unit 32.

荷物状態推定モデルM2では、指定された作業状態以外での、荷物状態の遷移を禁止している。例えば、図3の例では、「作業状態5」では、フォークリフト1は荷物が無い状態で棚SFに近づき、荷物を受け取ったら「作業状態6」の走行準備の作業状態へ遷移している。この場合、荷物状態推定モデルM2では、「作業状態5」から「作業状態6」へ状態遷移する場合に、「NL:荷物無し」から「L:荷物有り」へ遷移することを許容し、それ以外での遷移を禁止している。また、「作業状態12」では、フォークリフト1は荷物が有る状態で棚SFに近づき、荷物を棚SFに降ろしたら「作業状態13」の走行準備の作業状態へ遷移している。この場合、荷物状態推定モデルM2では、「作業状態12」から「作業状態13」へ状態遷移する場合に、「L:荷物有り」から「NL:荷物無し」へ遷移することを許容し、それ以外での遷移を禁止している。 The cargo state estimation model M2 prohibits transitions in cargo states other than the specified work state. For example, in the example in Figure 3, in "Work State 5," forklift 1 approaches shelf SF without cargo, and after receiving the cargo, transitions to "Work State 6," the preparation for travel. In this case, the cargo state estimation model M2 allows the transition from "NL: No Cargo" to "L: Cargo Present" when transitioning from "Work State 5" to "Work State 6," and prohibits any other transitions. Similarly, in "Work State 12," forklift 1 approaches shelf SF with cargo, and after unloading the cargo onto shelf SF, transitions to "Work State 13," the preparation for travel. In this case, the cargo state estimation model M2 allows the transition from "L: Cargo Present" to "NL: No Cargo" when transitioning from "Work State 12" to "Work State 13," and prohibits any other transitions.

作業状態補正部32は、作業状態推定部30が出力した作業状態x(t)、及び荷物状態推定部31が出力した荷物状態g(t)に基づいて、作業状態を補正することで、補正後の作業状態s(t)を出力する。作業状態補正部32は、作業状態推定部30が出力した作業状態x(t)が荷物を有する作業状態であるか、荷物が無い作業状態であるかを把握する。次に、作業状態補正部32は、作業状態x(t)の荷物の有無と、荷物状態推定部31が出力した荷物状態g(t)とを比較する。作業状態補正部32は、両者の荷物の有無が一致している場合は、作業状態x(t)と同じ内容を補正後の作業状態s(t)とする。一方、作業状態補正部32は、両者の荷物の有無が食い違っている場合、荷物状態g(t)に合わせるように作業状態x(t)を補正する。例えば、作業状態推定部30が、荷物が有る作業状態(t-1)から、荷物が無い作業状態(t)へ遷移したこと推定する一方、荷物状態推定部31が、荷物が有る荷物状態g(t-1)と荷物が有る荷物状態g(t)とで遷移がないことを推定した場合、作業状態補正部32は、荷物が無い作業状態x(t)を補正して、荷物がある作業状態s(t)とする。なお、図3(a)の表のうち、同じ動作カテゴリーの中で誤った推定が生じやすい。例えば、「調整(Adjust heading)」という動作の中で、「作業状態4」と「作業状態11」とを誤り易い。従って、作業状態補正部32は、同じ動作カテゴリーの中で、荷物の有無を補正する。従って、「作業状態4」が誤っている場合は、作業状態補正部32は、「作業状態4」と同じ動作カテゴリーである「作業状態1」へ補正する。「作業状態11」が誤っている場合は、作業状態補正部32は、「作業状態11」と同じ動作カテゴリーである「作業状態4」という作業状態へ補正する。 The work state correction unit 32 corrects the work state based on the work state x(t) output by the work state estimation unit 30 and the luggage state g(t) output by the luggage state estimation unit 31, and outputs the corrected work state s(t). The work state correction unit 32 determines whether the work state x(t) output by the work state estimation unit 30 is a work state with luggage or a work state without luggage. Next, the work state correction unit 32 compares the presence or absence of luggage in the work state x(t) with the luggage state g(t) output by the luggage state estimation unit 31. If the presence or absence of luggage in both matches, the work state correction unit 32 sets the corrected work state s(t) to be the same as the work state x(t). On the other hand, if the presence or absence of luggage in both does not match, the work state correction unit 32 corrects the work state x(t) to match the luggage state g(t). For example, if the work state estimation unit 30 estimates that there has been a transition from a work state with cargo (t-1) to a work state without cargo (t), while the cargo state estimation unit 31 estimates that there has been no transition between cargo state g(t-1) with cargo and cargo state g(t) with cargo, the work state correction unit 32 corrects the work state x(t) without cargo to a work state s(t) with cargo. Note that in the table in Figure 3(a), incorrect estimations are likely to occur within the same operation category. For example, in the operation "Adjust heading," it is easy to confuse "work state 4" and "work state 11." Therefore, the work state correction unit 32 corrects the presence or absence of cargo within the same operation category. Consequently, if "work state 4" is incorrect, the work state correction unit 32 corrects it to "work state 1," which is in the same operation category as "work state 4." If "Working State 11" is incorrect, the working state correction unit 32 corrects it to "Working State 4," which is in the same operation category as "Working State 11."

次に、図6を参照して、制御装置20による運転支援方法を示す処理内容の一例について説明する。図6に示す処理は、表示部17に運転支援映像が表示されており、且つ、オペレータが遠隔操作でフォークリフト1を操作しているときに行われる。図6に示すように、操作情報取得部18は、オペレータによる操作情報を取得する(ステップS10)。次に、作業状態推定部30は、ステップSで取得した操作情報に基づいて、作業状態を推定する(ステップS20)。次に、荷物状態推定部31は、ステップS20で推定された作業状態に基づいて、荷物状態を取得する(ステップS30)。次に、作業状態補正部32は、ステップS20で推定された作業状態、及びステップS30で推定された荷物状態に基づいて、作業状態を補正する(ステップS40)。次に、視点情報取得部50は、ステップS50で補正された作業状態に基づいて、視点情報を取得する(ステップS50)。次に、表示制御部22は、ステップS50で取得された視点情報に基づいて、表示部17で表示する運転支援映像を選択する(ステップS60)。 Next, with reference to Figure 6, an example of the processing content showing the driving support method by the control device 20 will be described. The processing shown in Figure 6 is performed when the driving support video is displayed on the display unit 17 and the operator is remotely operating the forklift 1. As shown in Figure 6, the operation information acquisition unit 18 acquires operation information from the operator (step S10). Next, the work state estimation unit 30 estimates the work state based on the operation information acquired in step S (step S20). Next, the load state estimation unit 31 acquires the load state based on the work state estimated in step S20 (step S30). Next, the work state correction unit 32 corrects the work state based on the work state estimated in step S20 and the load state estimated in step S30 (step S40). Next, the viewpoint information acquisition unit 50 acquires viewpoint information based on the work state corrected in step S50 (step S50). Next, the display control unit 22 selects the driving support video to be displayed on the display unit 17 based on the viewpoint information acquired in step S50 (step S60).

次に、本実施形態に係る制御装置20の作用・効果について説明する。 Next, the operation and effects of the control device 20 according to this embodiment will be described.

制御装置20は、機械学習を用いてフォークリフト1の作業状態を推定する作業状態推定部30を有する。従って、制御装置20は、機械学習によって、フォークリフト1の作業状態を推定するための推定指標を設計することができる。ここで、作業状態推定部30は、フォークリフト1に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習を行う。このように、作業状態推定部30は、過去に実際に行われた操作情報の入力と、当該操作情報によってどのような作業状態となったかを示す正解データと、に基づいて機械学習を行うことができる。これにより、制御装置20は、過去の操作情報及び正解データを用いて機械学習を行うだけの工程により、フォークリフト1の作業状態を推定するための推定指標を取得することができる。また、当該推定指標は、過去の実際のデータに基づくものであるため、精度よく作業状態を推定することを可能とする。以上より、フォークリフト1の作業状態を推定するための推定指標を少ない工数で精度よく取得することができる。 The control device 20 has a work state estimation unit 30 that estimates the work state of the forklift 1 using machine learning. Therefore, the control device 20 can design estimation indicators for estimating the work state of the forklift 1 through machine learning. Here, the work state estimation unit 30 performs machine learning based on input of operation information regarding the operation state of the forklift 1 and input of correct data on the work state. In this way, the work state estimation unit 30 can perform machine learning based on input of operation information actually performed in the past and correct data indicating what work state resulted from that operation information. As a result, the control device 20 can obtain estimation indicators for estimating the work state of the forklift 1 simply by performing machine learning using past operation information and correct data. Furthermore, since these estimation indicators are based on actual past data, they enable accurate estimation of the work state. Therefore, estimation indicators for estimating the work state of the forklift 1 can be obtained accurately with minimal effort.

作業状態推定部30は、現在の操作情報を入力されて、学習結果に基づいて、現在の作業状態を出力してよい。これにより、作業状態推定部30は、現在の操作情報を入力するだけで、現在の作業状態を容易に推定することができる。 The work state estimation unit 30 may receive current operation information as input and output the current work state based on the learning results. This allows the work state estimation unit 30 to easily estimate the current work state simply by inputting current operation information.

制御装置20は、作業状態推定部30が出力した作業状態に基づいて、フォークリフト1が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部31と、作業状態推定部30が出力した作業状態、及び荷物状態推定部31が出力した荷物状態に基づいて、作業状態を補正する作業状態補正部32と、を更に備えてよい。この場合、制御装置20は、フォークリフト1の荷物状態を考慮して補正を行うことで、作業状態の推定精度を向上することができる。 The control device 20 may further include a load condition estimation unit 31 that outputs a load condition related to the state of the load handled by the forklift 1 based on the work condition output by the work condition estimation unit 30, and a work condition correction unit 32 that corrects the work condition based on the work condition output by the work condition estimation unit 30 and the load condition output by the load condition estimation unit 31. In this case, the control device 20 can improve the accuracy of work condition estimation by correcting the load condition of the forklift 1.

図7を参照して、荷物状態推定部31及び作業状態補正部32の効果について説明する。図7(a)は、ある時刻における操作情報を、横軸に時系列的に示した場合の、作業状態推定部30が推定した作業状態の推定結果を示すグラフである。図7(b)は、作業状態推定部30が推定した作業状態を作業状態補正部32が補正を行った場合の推定結果を示すグラフである。図7(a)(b)の破線のグラフは、荷物の有無を示すグラフである。破線のグラフが上段に存在する場合は「荷物有り」の状態であり、下段に存在する場合は「荷物無し」の状態であることを示す。 Referring to Figure 7, the effects of the cargo status estimation unit 31 and the work status correction unit 32 will be explained. Figure 7(a) is a graph showing the estimated work status results estimated by the work status estimation unit 30, when operation information at a certain time is shown chronologically on the horizontal axis. Figure 7(b) is a graph showing the estimated results when the work status estimated by the work status estimation unit 30 is corrected by the work status correction unit 32. The dashed lines in Figures 7(a) and 7(b) represent the presence or absence of cargo. If the dashed line is in the upper section, it indicates a "cargo present" state, and if it is in the lower section, it indicates a "cargo absent" state.

例えば、図7(a)では、荷物が無い状態でフォークの位置を合わせる「作業状態4」から、荷物がある状態でフォークの位置を合わせる「作業状態11」へ状態遷移したことが推定され、その後に荷物がある状態での荷役状態である「作業状態5」へ状態遷移したことが推定されている。このように、図7(a)において「FD」に示すように、急激に推定結果が局所変動している箇所は、作業状態推定部30が、一度誤った作業状態を推定し、その後、正しい作業状態を推定していることを示す。 For example, in Figure 7(a), it is estimated that the state transitioned from "working state 4," where the forks are aligned without a load, to "working state 11," where the forks are aligned with a load, and then to "working state 5," which is the loading/unloading state with a load. Thus, as shown by "FD" in Figure 7(a), the location where the estimation result fluctuates sharply indicates that the working state estimation unit 30 initially estimated an incorrect working state, and then subsequently estimated the correct working state.

これに対し、荷物状態推定部31は、「作業状態4」から「作業状態11」への状態遷移は、「NL:荷物無し」から「L:荷物有り」への遷移を禁止している。そのため、荷物状態推定部31は、荷物が有る「作業状態11」という作業状態推定部30の推定結果に対して、「NL:荷物無し」という荷物状態を作業状態補正部32へ出力する。これにより、作業状態補正部32は、荷物が有る「作業状態11」を、荷物状態推定部31の推定結果に合わせて荷物が無い「作業状態4」に補正する。これにより、図7(b)に示すように、「作業状態4」から「作業状態11」を介することなく、正しいタイミング、すなわち実際に「荷物有り」から「荷物無し」へ遷移したタイミングで「作業状態5」へ遷移したことを推定できる。これにより、図7(b)では、図7(a)の「FD」のように誤った作業状態の発生を抑制できる。 In contrast, the cargo state estimation unit 31 prohibits the transition from "NL: No cargo" to "L: Cargo present" when transitioning from "Work state 4" to "Work state 11". Therefore, the cargo state estimation unit 31 outputs "NL: No cargo" as the cargo state to the work state correction unit 32, based on the work state estimation unit 30's estimation result of "Work state 11" (where cargo is present). As a result, the work state correction unit 32 corrects "Work state 11" (where cargo is present) to "Work state 4" (where cargo is absent) to match the estimation result of the cargo state estimation unit 31. This allows the system to estimate that the transition from "Work state 4" to "Work state 5" occurred at the correct timing, i.e., the actual timing of the transition from "Cargo present" to "Cargo absent," without going through "Work state 11," as shown in Figure 7(b). This suppresses the occurrence of incorrect work states, such as "FD" in Figure 7(a), as shown in Figure 7(b).

操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含んでよい。これらのパラメータは、フォークリフト1において作業者の意図を反映するパラメータである。作業状態推定部30は、操作情報として、このようなパラメータを用いることで、適切な機械学習を行う事ができる。 The operation information may include at least one of the following: accelerator input, tire angle, lift input, reach input, and tilt input. These parameters reflect the operator's intentions in the forklift 1. The work state estimation unit 30 can perform appropriate machine learning by using these parameters as operation information.

作業状態推定部30は、機械学習モデルM1としてLSTMを用い、学習データとして、時系列ごとに取得された操作情報によって機械学習を行ってよい。LSTMは、時系列ごとに取得された操作情報によって機械学習を行うにあたり、直近のデータのみならず、過去にさかのぼったデータも考慮した学習を行うことができる。そのため、作業状態推定部30は、より精度の高い推定指標を取得することができる。 The work state estimation unit 30 may use LSTM as the machine learning model M1 and perform machine learning using operation information acquired in time series as training data. When performing machine learning using operation information acquired in time series, LSTM can perform learning considering not only the most recent data but also past data. Therefore, the work state estimation unit 30 can obtain a more accurate estimation index.

本実施例に係る運転支援システム100(産業車両の制御システム)は、上述の産業車両の制御装置1を有する。 The driving support system 100 (industrial vehicle control system) according to this embodiment includes the industrial vehicle control device 1 described above.

本実施形態に係る産業車両の制御装置のプログラムは、上述の産業車両の制御装置20に用いられる。 The program for the industrial vehicle control device according to this embodiment is used in the industrial vehicle control device 20 described above.

具体的に、産業車両の制御装置のプログラムは、機械学習を用いて産業車両の作業状態を推定する作業状態推定ステップをコンピュータシステムに実行させる。作業状態推定部ステップでは、産業車両に対する操作状態に関する操作情報の入力と、作業状態の正解データの入力により、機械学習が行われる。 Specifically, the program for the industrial vehicle's control system instructs the computer system to execute a work state estimation step that uses machine learning to estimate the industrial vehicle's working state. In the work state estimation step, machine learning is performed by inputting operational information regarding the industrial vehicle's operating state and correct data on the working state.

これらの産業車両の制御システム、及び産業車両の制御装置20のプログラムは、上述の産業車両の制御装置20と同趣旨の作用・効果を得ることができる。 The control systems for these industrial vehicles, and the programs for the industrial vehicle control devices 20, can achieve the same functions and effects as the industrial vehicle control devices 20 described above.

図8を参照して、本実施形態に係る制御装置20を用いて作業状態の推定を行った場合の実験結果について説明する。ここでは、特定の作業パターンに対して、実際の作業状態と推定結果とが一致した割合(正解率)を算出した。図8のうち、実線のグラフG1が推定結果を示し、破線のグラフG2が実際の作業状態を示す。図8に示すグラフのうち、グラフG1,G2が重なっている箇所では推定結果が実際の作業状態と一致しており、グラフG1、G2が重なっていない箇所では推定結果が実際の作業状態と一致していないことを示す。複数のオペレータを準備し、44回の作業データを取得し、全44回の正解率について平均値を算出して評価を行った。機械学習を用いずに設計した作業状態モデルを用いた推定結果に対し、実施形態に係る制御装置20の推定結果に係る正解率は約10%向上した。 Referring to Figure 8, the experimental results of estimating the work state using the control device 20 according to this embodiment will be described. Here, the percentage (accuracy rate) in which the actual work state and the estimated result matched was calculated for a specific work pattern. In Figure 8, the solid line graph G1 shows the estimation results, and the dashed line graph G2 shows the actual work state. In the graphs shown in Figure 8, where graphs G1 and G2 overlap, the estimation results match the actual work state, and where graphs G1 and G2 do not overlap, the estimation results do not match the actual work state. Multiple operators were prepared, 44 work data sets were acquired, and the average accuracy rate for all 44 sets was calculated and evaluated. Compared to the estimation results using a work state model designed without machine learning, the accuracy rate of the estimation results of the control device 20 according to this embodiment improved by approximately 10%.

以上、本発明の好適な実施形態について幾つか説明してきたが、本発明は、上記実施形態に限定されるものではない。 Although several preferred embodiments of the present invention have been described above, the present invention is not limited to the embodiments described above.

上述の実施形態では、運転支援システムは、遠隔操作時のオペレータの作業を支援していたが、産業車両を有人操作するときに支援を行ってもよい。また、オペレータが産業車両のシミュレーション運転を行うときの支援を行ってもよい。 In the above-described embodiment, the driver assistance system supported the operator's work during remote operation; however, it may also provide assistance when the industrial vehicle is operated by a human. Furthermore, it may provide assistance when the operator is performing a simulated operation of the industrial vehicle.

産業車両は、フォークリフトに限定されず、トーイングトラクター、スキッドステアローダーなどが採用されてもよい。 Industrial vehicles are not limited to forklifts; towing tractors, skid steer loaders, and other types of vehicles may also be used.

[形態1]
産業車両の作業状態を推定するための制御装置であって、
機械学習を用いて前記産業車両の前記作業状態を推定する作業状態推定部を有し、
前記作業状態推定部は、前記産業車両に対する操作状態に関する操作情報の入力と、前記作業状態の正解データの入力により、機械学習を行う、産業車両の制御装置。
[Form 1]
A control device for estimating the working state of an industrial vehicle,
It has a work state estimation unit that estimates the work state of the industrial vehicle using machine learning,
The aforementioned work state estimation unit is a control device for an industrial vehicle that performs machine learning by inputting operation information relating to the operating state of the industrial vehicle and correct data of the work state.

[形態2]
前記作業状態推定部は、現在の前記操作情報を入力されて、学習結果に基づいて、現在の前記作業状態を出力する、形態1に記載の産業車両の制御装置。
[Form 2]
The control device for an industrial vehicle according to Embodiment 1, wherein the work state estimation unit receives the current operation information as input and outputs the current work state based on the learning results.

[形態3]
前記作業状態推定部が出力した前記作業状態に基づいて、前記産業車両が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部と、
前記作業状態推定部が出力した前記作業状態、及び前記荷物状態推定部が出力した前記荷物状態に基づいて、前記作業状態を補正する作業状態補正部と、を更に備える、形態1又は2に記載の産業車両の制御装置。
[Form 3]
A cargo condition estimation unit outputs a cargo condition relating to the condition of the cargo handled by the industrial vehicle, based on the work condition output by the work condition estimation unit.
A control device for an industrial vehicle according to embodiment 1 or 2, further comprising: a work state correction unit that corrects the work state based on the work state output by the work state estimation unit and the cargo state output by the cargo state estimation unit.

[形態4]
前記操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む、形態1~3の何れか一項に記載の産業車両の制御装置。
[Form 4]
The control device for an industrial vehicle according to any one of embodiments 1 to 3, wherein the operation information includes at least one of the accelerator operation amount, tire angle, lift operation amount, reach operation amount, and tilt operation amount.

[形態5]
前記作業状態推定部は、機械学習モデルとしてLSTMを用い、学習データとして、時系列ごとに取得された前記操作情報によって機械学習を行う、形態1~4の何れか一項に記載の産業車両の制御装置。
[Form 5]
The control device for an industrial vehicle according to any one of the embodiments 1 to 4, wherein the work state estimation unit uses LSTM as a machine learning model and performs machine learning using the operation information acquired in time series as training data.

[形態6]
形態1~5の何れか一項に記載の産業車両の制御装置を有する産業車両の制御システム。
[Form 6]
A control system for an industrial vehicle having a control device for an industrial vehicle as described in any one of the embodiments 1 to 5.

[形態7]
請求項1~5の何れか一項に記載の産業車両の制御装置に用いられる産業車両の制御装置のプログラム。
[Form 7]
A program for an industrial vehicle control device used in an industrial vehicle control device according to any one of claims 1 to 5.

1…フォークリフト、30…作業状態推定部、31…荷物状態推定部、32…作業状態補正部、100…運転支援システム(産業車両の制御システム)。 1…Forklift, 30…Working condition estimation unit, 31…Load condition estimation unit, 32…Working condition correction unit, 100…Driving support system (industrial vehicle control system).

Claims (6)

産業車両の作業状態を推定するための制御装置であって、
機械学習を用いて前記産業車両の作業状態を推定する作業状態推定部と、
前記作業状態推定部が出力した作業状態に基づいて、前記産業車両が取り扱う荷物の状態に関する荷物状態を出力する荷物状態推定部と、
前記作業状態推定部が出力した作業状態、及び前記荷物状態推定部が出力した前記荷物状態に基づいて、前記作業状態推定部が出力した作業状態を補正する作業状態補正部と、を有し、
前記作業状態推定部は、前記産業車両に対する操作状態に関する操作情報の入力と、前記産業車両の作業状態の正解データの入力により、機械学習を行い、
前記荷物状態は、荷物無しの状態又は荷物有りの状態を示し、
前記荷物状態推定部は、荷物状態推定モデルを用いて、指定された作業以外での前記荷物状態の遷移を禁止し、
前記作業状態補正部は、前記作業状態推定部が出力した作業状態及び前記荷物状態における前記荷物の有無が一致する場合には、前記作業状態推定部が出力した作業状態を補正後の作業状態として出力し、前記作業状態推定部が出力した作業状態及び前記荷物状態における前記荷物の有無が一致しない場合には、前記作業状態推定部が出力した作業状態を前記荷物状態に整合するように補正して前記補正後の作業状態として出力する、産業車両の制御装置。
A control device for estimating the working state of an industrial vehicle,
A work state estimation unit that estimates the work state of the industrial vehicle using machine learning ,
A cargo condition estimation unit outputs a cargo condition relating to the condition of the cargo handled by the industrial vehicle, based on the work condition output by the work condition estimation unit.
The system includes a work state correction unit that corrects the work state output by the work state estimation unit based on the work state output by the work state estimation unit and the cargo state output by the cargo state estimation unit,
The work state estimation unit performs machine learning by inputting operation information relating to the operating state of the industrial vehicle and correct data on the working state of the industrial vehicle .
The aforementioned luggage status indicates either no luggage or luggage present.
The aforementioned luggage state estimation unit uses a luggage state estimation model to prohibit transitions in the luggage state other than those specified for the operation.
A control device for an industrial vehicle, wherein the work state correction unit outputs the work state output by the work state estimation unit as the corrected work state if the work state output by the work state estimation unit and the presence or absence of the cargo in the cargo state match, and corrects the work state output by the work state estimation unit to match the cargo state and outputs it as the corrected work state if the work state output by the work state estimation unit and the presence or absence of the cargo in the cargo state do not match .
前記作業状態推定部は、現在の前記操作情報を入力されて、学習結果に基づいて、現在の前記作業状態を出力する、請求項1に記載の産業車両の制御装置。 The control device for an industrial vehicle according to claim 1, wherein the work state estimation unit receives the current operation information as input and outputs the current work state based on the learning results. 前記操作情報は、アクセル操作量、タイヤ角、リフト操作量、リーチ操作量、ティルト操作量の少なくともいずれかを含む、請求項1に記載の産業車両の制御装置。The control device for an industrial vehicle according to claim 1, wherein the operation information includes at least one of the accelerator operation amount, tire angle, lift operation amount, reach operation amount, and tilt operation amount. 前記作業状態推定部は、機械学習モデルとしてLSTMを用い、学習データとして、時系列ごとに取得された前記操作情報によって機械学習を行う、請求項1に記載の産業車両の制御装置。 The control device for an industrial vehicle according to claim 1, wherein the work state estimation unit uses LSTM as a machine learning model and performs machine learning using the operation information acquired in time series as training data. 請求項1~4の何れか一項に記載の産業車両の制御装置を有する産業車両の制御システム。A control system for an industrial vehicle having a control device for an industrial vehicle according to any one of claims 1 to 4. 請求項1~4の何れか一項に記載の産業車両の制御装置に用いられる産業車両の制御装置のプログラム。A program for an industrial vehicle control device used in an industrial vehicle control device according to any one of claims 1 to 4.
JP2022067070A 2022-04-14 2022-04-14 Control devices for industrial vehicles, control systems for industrial vehicles, and programs for industrial vehicle control devices. Active JP7828607B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022067070A JP7828607B2 (en) 2022-04-14 2022-04-14 Control devices for industrial vehicles, control systems for industrial vehicles, and programs for industrial vehicle control devices.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022067070A JP7828607B2 (en) 2022-04-14 2022-04-14 Control devices for industrial vehicles, control systems for industrial vehicles, and programs for industrial vehicle control devices.

Publications (2)

Publication Number Publication Date
JP2023157271A JP2023157271A (en) 2023-10-26
JP7828607B2 true JP7828607B2 (en) 2026-03-12

Family

ID=88469304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022067070A Active JP7828607B2 (en) 2022-04-14 2022-04-14 Control devices for industrial vehicles, control systems for industrial vehicles, and programs for industrial vehicle control devices.

Country Status (1)

Country Link
JP (1) JP7828607B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019189435A (en) 2018-04-27 2019-10-31 株式会社豊田自動織機 Control device for industrial vehicle, industrial vehicle, and control program for industrial vehicle
JP2020037464A (en) 2018-09-03 2020-03-12 三菱ロジスネクスト株式会社 Determination device and determination method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019189435A (en) 2018-04-27 2019-10-31 株式会社豊田自動織機 Control device for industrial vehicle, industrial vehicle, and control program for industrial vehicle
JP2020037464A (en) 2018-09-03 2020-03-12 三菱ロジスネクスト株式会社 Determination device and determination method

Also Published As

Publication number Publication date
JP2023157271A (en) 2023-10-26

Similar Documents

Publication Publication Date Title
EP1148461B1 (en) Driving operation assisting method and system
EP3262609B1 (en) Trailer tracking apparatus and method
US11891778B2 (en) Vehicle auto turning control system
US8049604B2 (en) Shock-detecting apparatus for industrial vehicle
CN109421453A (en) Trailer Reversing Assist with Predictive Engagement Angle
US10689030B2 (en) Driving assist system
US10861251B2 (en) Vehicle maintenance operation
CN113613967B (en) Parking assist device, vehicle, parking assist method and storage medium
US20200239073A1 (en) Display controller
JP7828607B2 (en) Control devices for industrial vehicles, control systems for industrial vehicles, and programs for industrial vehicle control devices.
CN118004274A (en) Drive-by-wire steering driving mode switching control method, device and system and vehicle
US9293047B2 (en) Methods and system for monitoring vehicle movement for use in evaluating possible intersection of paths between vehicle
US11745591B2 (en) Propulsion torque distribution system providing remedial action
JP7496553B2 (en) Work support device, database creation device, work support system, and work support method
CN115593514A (en) Steering angle sensor zero calibration method, device, equipment and storage medium
US20250256769A1 (en) Motor-assisted adjustment of vehicle steering system feedback
US20230331527A1 (en) Control device for industrial vehicle, control system for industrial vehicle, and program for control device for industrial vehicle
US20200307575A1 (en) Vehicle comprising a working equipment, and a working equipment, and a method in relation thereto
CN117572792A (en) Automatic steering actuator test system, method and computer equipment
US11878680B2 (en) Method for operating a motor vehicle with an active parking assistant
JP7780149B2 (en) Anomaly detection device and vehicle
US20250347342A1 (en) Controlling Gears in a Vehicle
EP4674719A1 (en) Computer system and computer-implemented method for managing a vehicle and vehicle
EP4644199A1 (en) Secondary vehicle system test in autonomous vehicle
EP4674732A1 (en) Method for moving a steering device of a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260219

R150 Certificate of patent or registration of utility model

Ref document number: 7828607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150