JP7213428B2 - Driving support device for industrial vehicles - Google Patents
Driving support device for industrial vehicles Download PDFInfo
- Publication number
- JP7213428B2 JP7213428B2 JP2019191006A JP2019191006A JP7213428B2 JP 7213428 B2 JP7213428 B2 JP 7213428B2 JP 2019191006 A JP2019191006 A JP 2019191006A JP 2019191006 A JP2019191006 A JP 2019191006A JP 7213428 B2 JP7213428 B2 JP 7213428B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- display
- travel
- reach
- guide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 238000013459 approach Methods 0.000 description 11
- 240000004050 Pentaglottis sempervirens Species 0.000 description 8
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
Images
Landscapes
- Forklifts And Lifting Vehicles (AREA)
Description
本発明は、産業車両用走行支援装置に関するものである。 TECHNICAL FIELD The present invention relates to a driving support device for industrial vehicles.
特許文献1に開示のフォークリフトの作業支援装置においては、カメラにより少なくともフォークの先端部を含む前方の視界を撮影するとともにタイヤ角を検出する。運転席の近傍にはモニタが配置されている。そして、検出されたタイヤ角で前進した際のフォークの先端部の予想軌跡を演算して、カメラによる映像をモニタに表示すると共に演算された予想軌跡をモニタ上に重畳表示するようにしている。
In the work support device for a forklift disclosed in
ところで、産業車両が動くとガイド表示も動いてしまい目標としていたところに進めているのか分かりづらい。
本発明の目的は、目標としているところにガイド表示することができる産業車両用走行支援装置を提供することにある。
By the way, when the industrial vehicle moves, the guide display also moves, making it difficult to know whether the target is being reached.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a driving support device for industrial vehicles that can display a guide to a target location.
上記問題点を解決するための産業車両用走行支援装置は、産業車両の走行を支援する産業車両用走行支援装置であって、前記産業車両に搭載され、前記産業車両の周辺を撮像するカメラと、画面を見ながら前記産業車両の走行をガイドするための走行ガイドを生成する走行ガイド生成部と、前記カメラにて撮像された画像に前記走行ガイド生成部で生成された前記走行ガイドを重畳して表示する表示部と、前記走行ガイドが車両に対する相対位置関係を保った状態で前記カメラにて撮像された画像に前記走行ガイドを重畳して前記表示部で表示させる相対位置表示から、前記走行ガイドが車両に対する前記相対位置関係を保たずに絶対位置に固定した状態で前記カメラにて撮像された画像に前記走行ガイドを重畳して前記表示部で表示させる絶対位置表示に切り換える切換部と、を備えることを要旨とする。 A driving support device for an industrial vehicle for solving the above problems is a driving support device for an industrial vehicle that supports driving of an industrial vehicle, and includes a camera mounted on the industrial vehicle and capturing an image of the surroundings of the industrial vehicle. a travel guide generation unit for generating a travel guide for guiding the travel of the industrial vehicle while viewing the screen; and superimposing the travel guide generated by the travel guide generation unit on the image captured by the camera. and a relative position display displayed on the display unit by superimposing the travel guide on the image captured by the camera while the travel guide maintains the relative positional relationship with the vehicle. a switching unit for switching to an absolute position display in which the travel guide is superimposed on the image captured by the camera in a state where the guide is fixed at an absolute position without maintaining the relative positional relationship with respect to the vehicle, and displayed on the display unit; The gist is to provide
これによれば、カメラにて撮像された画像に、画面を見ながら産業車両の走行をガイドするための走行ガイドが重畳して表示される。そして、目標としているところで、切換部により、走行ガイドが車両に対する相対位置関係を保った状態でカメラにて撮像された画像に走行ガイドを重畳して表示部で表示させる相対位置表示から、走行ガイドが車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラにて撮像された画像に走行ガイドを重畳して表示部で表示させる絶対位置表示に切り換えられることにより、目標としているところにガイド表示することができる。 According to this, the travel guide for guiding the travel of the industrial vehicle is superimposed and displayed on the image captured by the camera while looking at the screen. Then, at the target position, the switching unit superimposes the travel guide on the image captured by the camera while maintaining the relative positional relationship of the travel guide with respect to the vehicle, and displays it on the display unit. is fixed at an absolute position without maintaining the relative positional relationship with the vehicle, and the image taken by the camera is superimposed on the image captured by the camera and displayed on the display unit. can be displayed as a guide.
また、産業車両用走行支援装置において、前記走行ガイドは予想軌跡であるとよい。
また、産業車両用走行支援装置において、前記走行ガイドは距離表示であるとよい。
また、産業車両用走行支援装置において、前記走行ガイドとしての距離表示は、車両の進行方向及び前記進行方向に直交する方向の少なくとも一方に延びる線であるとよい。
Further, in the industrial vehicle travel support device, the travel guide may be an expected trajectory.
Further, in the industrial vehicle driving support device, the driving guide is preferably a distance display.
Further, in the industrial vehicle travel support device, the distance display as the travel guide may be a line extending in at least one of the traveling direction of the vehicle and a direction orthogonal to the traveling direction.
また、産業車両用走行支援装置において、前記走行ガイドとしての距離表示は、車両の進行方向に延びる線と前記進行方向に直交する方向の延びる線との交点であるとよい。
また、産業車両用走行支援装置において、前記産業車両はフォークリフトであるとよい。
Further, in the industrial vehicle travel support device, the distance display as the travel guide may be an intersection point between a line extending in the traveling direction of the vehicle and a line extending in a direction orthogonal to the traveling direction.
Further, in the industrial vehicle driving support device, the industrial vehicle is preferably a forklift.
また、産業車両用走行支援装置において、前記切換部は、手動より前記相対位置表示から前記絶対位置表示に切り換えるとよい。
また、産業車両用走行支援装置において、前記産業車両用走行支援装置は、フォークリフト用遠隔操作システムに用いられるものであって、前記フォークリフト用遠隔操作システムは、前記産業車両としてのフォークリフトと、遠隔操作装置とを備え、前記フォークリフトは、機台に荷役装置を備えるとともに車両通信部を有し、前記遠隔操作装置は、前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトの走行及び前記荷役装置による荷役を遠隔操作するのに用いられるとよい。
Further, in the driving support device for an industrial vehicle, it is preferable that the switching unit manually switches from the relative position display to the absolute position display.
Further, in the industrial vehicle travel support device, the industrial vehicle travel support device is used in a forklift remote control system, and the forklift remote control system includes a forklift as the industrial vehicle, a remote control The forklift has a cargo handling device on the machine base and a vehicle communication unit, the remote control device has an operation device communication unit that performs wireless communication with the vehicle communication unit, and the forklift It may be used to remotely control traveling and cargo handling by the cargo handling device.
本発明によれば、目標としているところにガイド表示することができる。 According to the present invention, a guide can be displayed at the target location.
(第1の実施形態)
以下、本発明を具体化した一実施形態を図面に従って説明する。
本実施形態では、産業車両としてのリーチ式フォークリフトの走行を支援するフォークリフト用走行支援装置は、フォークリフト用遠隔操作システムに用いられるものである。
(First embodiment)
An embodiment embodying the present invention will be described below with reference to the drawings.
In this embodiment, a forklift travel support device that assists the travel of a reach-type forklift as an industrial vehicle is used in a forklift remote control system.
図1に示すように、フォークリフト用遠隔操作システム10は、リーチ式フォークリフト20と、リーチ式フォークリフト20の走行及び荷役装置による荷役を遠隔操作するのに用いられる遠隔操作装置40と、を備えている。リーチ式フォークリフト20は作業場に配置される。そして、遠隔操作装置40を用いて操作室から作業場のリーチ式フォークリフト20を遠隔操作することができるようになっている、
作業場においてパレット等から離れた場所にリーチ式フォークリフト20が位置している。この状態から、操作者はリーチ式フォークリフト20を遠隔操作して、リーチ式フォークリフト20をパレット等に近づけてフォークをパレット穴に差し込む動作等を行わせる。
As shown in FIG. 1, the forklift
A reach-
図2、図3に示すように、リーチ式フォークリフト20は機台21を備える。機台21の前側には左右一対のリーチレグ22a,22bが配置され、リーチレグ22a,22bは前方に向かって延びている。詳しくは、リーチレグ22aは進行方向右側に設けられ、リーチレグ22bは進行方向左側に設けられている。リーチレグ22a,22bの前部には前輪23a,23bが配設されている。詳しくは、右前輪23aは進行方向右側のリーチレグ22aに設けられ、左前輪23bは進行方向左側のリーチレグ22bに設けられている。このように、機台21の前側に左右一対の前輪23a,23bが設けられている。
As shown in FIGS. 2 and 3 , the reach-
機台21の後部には、後輪24とキャスタホイール(補助輪)25が配設されている。後輪24は機台21の左方に設けられており、キャスタホイール25は機台21の右方に設けられている。後輪24は、駆動輪及び操舵輪である。
図2に示すように、リーチ式フォークリフト20は、2つの前輪23a,23b、及び、1つの後輪24の3つの車輪で走行する。機台21には、リーチ式フォークリフト20の駆動源となる走行モータ26と、走行モータ26の電力源となるバッテリ27が搭載されている。そして、後輪24が走行モータ26により回転駆動される。
As shown in FIG. 2 , the reach-
リーチ式フォークリフト20は、機台21の前方に、荷役装置28を備える。荷役装置28は、リーチシリンダ(図示せず)の駆動により、各リーチレグ22a,22bに沿って前後動作するマスト29を備える。マスト29の前方には、左右一対のフォーク30a,30bがバックレスト31を介して設けられている。フォーク30a,30bは、マスト29に沿って昇降する。
The reach-
本実施形態のリーチ式フォークリフト20は、運転者が着座して操作することが可能に構成されている。なお、運転席の無い無人リーチ式フォークリフトであってもよい。
図3に示すように、リーチ式フォークリフト20は、立席タイプの運転室32を機台21の後部に備える。運転室32の前方及び左方には、ステアリングテーブル33a,33bが設けられている。運転室32の前方に位置するステアリングテーブル33aには、リーチ式フォークリフト20を走行動作させるディレクションレバー34、荷役装置28を動作させる複数の荷役レバー35が設けられている。ディレクションレバー34は、後輪24を回転駆動させて車両を走行させるべく操作される。運転室32の左方に位置するステアリングテーブル33bには、後輪24の操舵を行うハンドル36が設けられている。また、運転室32の床面にはブレーキペダル37が備えられている。
The reach-
As shown in FIG. 3 , the reach-
図2,3に示すように、運転室32は、機台21において立設された左右のピラー38と、ピラー38の上端に固定されたヘッドガード39とにより囲まれている。
図1に示すように、リーチ式フォークリフト20は、フォークリフト搭載機器50として、コントローラ51と、車両通信部としての無線ユニット52と、画像処理部53と、車両通信部としての無線機54と、カメラ71,72,73を有する。
As shown in FIGS. 2 and 3, the operator's
As shown in FIG. 1, the reach-
遠隔操作装置40は、コントローラ61と、操作部62と、表示部(モニタ)63と、操作装置通信部としての無線機64,65と、画像処理部66とを有する。遠隔操作装置40において、操作室側機器60として、コントローラ61と操作部62と表示部(モニタ)63と画像処理部66を備える。
The
遠隔操作装置40の無線機64は作業場に配置されている。また、遠隔操作装置40の無線機65は作業場に配置されている。操作室に配置されるコントローラ61は有線L1により作業場に配置した無線機64と接続されている。コントローラ61は有線L2により作業場に配置した無線機65と接続されている。
The
作業場において、遠隔操作装置40の無線機64とフォークリフト搭載機器50の無線ユニット52とは双方向に無線通信できる。また、作業場において、フォークリフト搭載機器50の無線機54から遠隔操作装置40の無線機65に無線で通信できる。
In the workplace, the
このようにして、リーチ式フォークリフト20は無線ユニット52及び無線機54を有し、遠隔操作装置40は、無線ユニット52及び無線機54と無線通信を行う無線機64,65を有する。
Thus, the
遠隔操作装置40のコントローラ61は、操作部62及び画像処理部66と接続されている。操作部62は、操作者によりリーチ式フォークリフト20を遠隔操作するためのものであり、操作者によるリーチ式フォークリフト20の操作内容(リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等)がコントローラ61に送られる。コントローラ61は、リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等の車両制御信号を、無線機64を介してフォークリフト搭載機器50の無線ユニット52に無線送信する。
A
フォークリフト搭載機器50において、コントローラ51と無線ユニット52と画像処理部53とは、それぞれ相互に通信(例えばCAN通信)可能に接続されている。コントローラ51は遠隔操作装置40側からの指示により走行系アクチュエータ(走行モータ26、図示しない操舵モータ等)及び荷役系アクチュエータ(図示しないリフトシリンダ、リーチシリンダ、ティルトシリンダ等)を駆動することができる。
In the forklift-mounted
無線ユニット52は、リーチ式フォークリフト20の車速等の車両情報、異常情報(障害物検知情報等)を、無線機64を介してコントローラ61に無線送信する。
図1において、コントローラ61は、無線機64、無線ユニット52及びコントローラ51を介してリーチ式フォークリフト20の走行及び荷役装置28による荷役を遠隔操作することができるようになっている。つまり、図3での操作部(ディレクションレバー34、荷役レバー35、ハンドル36、ブレーキペダル37等)に代わり遠隔操作装置40の操作部62により遠隔操作することができるようになっている。
The
In FIG. 1 , a
そして、遠隔操作装置40において、操作部62を用いて操作者が所望の操作を行うとコントローラ61により操作内容が無線機64を介してリーチ式フォークリフト20側に送られる。リーチ式フォークリフト20において、無線ユニット52で遠隔操作装置40からの操作内容が受信され、コントローラ51によりアクチュエータ部が駆動されて所望の動作が実行される。
In the
図4に示すように、リーチ式フォークリフト20は、機台21において右の後角部P1及び左の後角部P2を有する。
図2及び図4に示すように、リーチ式フォークリフト20においてヘッドガード39の前部にカメラ71が前方下方を向くように取り付けられており、カメラ71は、リーチ式フォークリフト20の周辺を撮像する。具体的には、カメラ71は、リーチ式フォークリフト20の進行方向前方の床面を撮像する。また、リーチ式フォークリフト20においてヘッドガード39の右側後部にカメラ72が下方を向くように取り付けられており、カメラ72は、リーチ式フォークリフト20の周辺を撮像する。具体的には、カメラ72は、機台21の右の後角部P1付近を上から撮像する。リーチ式フォークリフト20においてヘッドガード39の左側後部にカメラ73が下方を向くように取り付けられており、カメラ73は、リーチ式フォークリフト20の周辺を撮像する。具体的には、カメラ73は、機台21の左の後角部P2付近を上から撮像する。
As shown in FIG. 4 , the reach-
As shown in FIGS. 2 and 4 , a
図1に示すように、リーチ式フォークリフト20において、カメラ71,72,73により撮像された画像はコントローラ51により画像処理部53及び無線機54を介して遠隔操作装置40側に送られる。遠隔操作装置40において、無線機65でリーチ式フォークリフト20からのカメラ画像が受信されて画像処理部66を介して表示部63で表示される。表示部63は、例えばディスクトップ型ディスプレイである。
As shown in FIG. 1 , images captured by
遠隔操作装置40に設けられる表示部63において、カメラ71,72,73にて撮像された画像が表示される。操作者は表示部63におけるカメラ71,72,73の画像を見ながら操作することになる。
The images captured by the
図5に示すように、遠隔操作装置40において、コントローラ61は操作部62から操舵角等の操作指示によりフォークリフト側に操作量の指示を与える。フォークリフト側からの画像データが画像処理部66を介して表示部63に送られて表示部63で画像の表示が行われる。また、コントローラ61はリーチ式フォークリフト20から図示しない操舵角センサ及び移動距離センサから操舵角及び移動距離を取得する。
As shown in FIG. 5 , in the
図5において、コントローラ61は、リーチ式フォークリフト20の予想軌跡として、操舵角に応じた車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3(図7(a)参照)を車両を原点とするワールド座標に生成する。図7(a)で説明すると、車幅ガイド線Lg1は、車幅における右側であり、車幅ガイド線Lg2は、車幅における左側であり、前方距離ガイド線Lg3は、車両前方の所定距離(例えば5m先)である。ガイド線Lg1,Lg2,Lg3は、リーチ式フォークリフト20の操舵角と予想移動距離から得られる。ワールド座標系で生成されたガイド線Lg1,Lg2,Lg3は、カメラ座標系を介してモニタ座標系に変換される。表示部63において、カメラ71にて撮像された画像に、コントローラ61で生成された車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が重畳して表示される。ガイド線Lg1,Lg2,Lg3は、車両を原点とするワールド座標系で生成されているため、車両に対するガイド線Lg1,Lg2,Lg3の相対関係位置は操舵角が一定であれば車両の移動によっては変化せず、ガイド線Lg1,Lg2,Lg3の画面上の位置(モニタ座標)は変化しない。このような表示態様を相対位置表示と呼称する。
In FIG. 5, the
また、図5に示すように、操作部62は相対位置表示/絶対位置表示切換指示部62aを有する。相対位置表示/絶対位置表示切換指示部62aとして、ボタンやマウスクリックなどを用いることができる。相対位置表示/絶対位置表示切換指示部62aは、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる相対位置表示から、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる絶対位置表示に切り換えるためのものである。相対位置表示/絶対位置表示切換指示部62aは、ガイド線Lg1,Lg2,Lg3の表示態様を手動(操作者の操作)により相対位置表示から絶対位置表示に切り換える。相対位置表示/絶対位置表示切換指示部62aからコントローラ61に、相対位置表示から絶対位置表示への切り換え指示が送られる。この切り換え指示の通知に従いコントローラ61は、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる相対位置表示から、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保たずに絶対位置(車両の移動につれて変化することのない絶対的な位置)に固定した状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる絶対位置表示に切り換えて絶対位置に固定した状態でガイド線Lg1,Lg2,Lg3を表示させることができるようになっている。
Further, as shown in FIG. 5, the
図6(a)及び図6(b)を用いて、例として車両左側の車幅ガイド線Lg2の相対位置表示及び絶対位置表示の描画方法について説明する。
図6(a)に示すように、相対位置表示で表示する車幅ガイド線Lg2は次の式(1)~式(4)にて算出する。
A method of drawing relative position display and absolute position display of the vehicle width guide line Lg2 on the left side of the vehicle will be described as an example with reference to FIGS. 6(a) and 6(b).
As shown in FIG. 6(a), the vehicle width guide line Lg2 displayed in the relative position display is calculated by the following formulas (1) to (4).
即ち、直交2軸座標(x,y)において、Ax,Ayを始点(Ax=0,Ay=0)として、車両の移動量Δx,Δyを予想移動距離L´=L1,L2,…,Ln及び操舵角θから算出し、L1~Lnに対応する各点(Bx,By)を算出して車幅ガイド線Lg2として繋いで描画する。 That is, in orthogonal two-axis coordinates (x, y), with Ax and Ay as starting points (Ax=0, Ay=0), the movement amounts Δx and Δy of the vehicle are estimated as L′=L1, L2, . . . , Ln. and the steering angle θ, points (Bx, By) corresponding to L1 to Ln are calculated and drawn as a vehicle width guide line Lg2.
そして、相対位置表示/絶対位置表示切換指示部62aの操作により相対位置表示から絶対位置表示に切り換えられると、操舵角θを記憶するとともに移動距離Lの算出を開始する。そして、始点(Ax,Ay)及び各点(Bx,By)の算出方法を以下のように切り換える。
Then, when the relative position display/absolute position display switching instruction unit 62a is operated to switch from the relative position display to the absolute position display, the steering angle θ is stored and the calculation of the movement distance L is started. Then, the method of calculating the starting point (Ax, Ay) and each point (Bx, By) is switched as follows.
図6(b)に示すように、絶対位置表示で表示する車幅ガイド線Lg2は次の式(5)~式(10)にて算出する。
即ち、相対位置表示/絶対位置表示切換指示部62aが操作された始点(Ax,Ay)から現在のワールド座標原点である点(Cx,Cy)までの車両の移動量Δx´,Δy´を移動距離L及び操舵角θから算出し、算出された車両の移動量Δx´,Δy´から始点(Ax,Ay)を算出する。そのようにして求められた始点(Ax,Ay)から、相対位置表示と同様に車両の移動量Δx,Δyを予想移動距離L´=L1,L2,…,Ln及び予想操舵角θ´から算出し、L1~Lnに対応する各点(Bx,By)を算出して車幅ガイド線Lg2として繋いで描画する。
As shown in FIG. 6B, the vehicle width guide line Lg2 displayed in the absolute position display is calculated by the following formulas (5) to (10).
That is, the movement amount Δx', Δy' of the vehicle from the start point (Ax, Ay) at which the relative position display/absolute position display switching instruction unit 62a is operated to the current world coordinate origin point (Cx, Cy) is moved. The starting point (Ax, Ay) is calculated from the calculated movement amounts Δx' and Δy' of the vehicle, which are calculated from the distance L and the steering angle θ. From the starting point (Ax, Ay) obtained in this manner, the movement amount Δx, Δy of the vehicle is calculated from the predicted movement distance L′=L1, L2, . Then, each point (Bx, By) corresponding to L1 to Ln is calculated and connected as a vehicle width guide line Lg2 and drawn.
このように、相対位置表示/絶対位置表示切換指示部62aにより絶対位置表示への切り換えが指示された場合には、コントローラ61は指示時点からの車両の移動量Δx´,Δy´をリーチ式フォークリフト20から入力される操舵角θ及び移動距離Lから逐次算出する。コントローラ61は算出された移動量Δx´,Δy´を相殺するように車幅ガイド線Lg2のワールド座標を変更し、カメラ座標系を介してモニタ座標系に変換する。なお、車両右側の車幅ガイド線Lg1及び前方距離ガイド線Lg3も同様に描画される。
In this way, when switching to the absolute position display is instructed by the relative position display/absolute position display switching instructing unit 62a, the
したがって、相対位置表示では、ガイド線Lg1,Lg2,Lg3の画面上の位置(モニタ座標)は操舵角が一定であれば車両の移動により変動することはないが、絶対位置表示ではガイド線Lg1,Lg2,Lg3の画面上の位置(モニタ座標)は、あたかも路面(絶対位置)に描かれたガイド線Lg1,Lg2,Lg3が撮影されているかのように車両の移動により変動する。 Therefore, in the relative position display, the positions (monitor coordinates) of the guide lines Lg1, Lg2, and Lg3 on the screen do not change due to the movement of the vehicle if the steering angle is constant. The positions (monitor coordinates) of Lg2 and Lg3 on the screen fluctuate with the movement of the vehicle as if the guide lines Lg1, Lg2 and Lg3 drawn on the road surface (absolute positions) were photographed.
操舵角θ及び移動距離Lに基づいてガイド線の絶対位置表示での描画を行う以外にもGPS等の位置センサからの情報(図5参照)としてセンサ値Sに基づいてガイド線の絶対位置表示での描画を行うこともできる。 In addition to drawing the absolute position of the guide line based on the steering angle θ and the movement distance L, the absolute position of the guide line is displayed based on the sensor value S as information from a position sensor such as GPS (see FIG. 5). You can also draw with
相対位置表示/絶対位置表示切換指示部62aの操作により相対位置表示から絶対位置表示に切り換えられると、操舵角をθ´として記憶するとともにセンサ値S´をガイド線の始点(Ax,Ay)として記憶する。そして、センサ値S´から求められる始点(Ax,Ay)から、車両の移動量Δx,Δyを予想移動距離L´=L1,L2,…,Ln及び予想操舵角θ´から算出し、L1~Lnに対応する各点(Bx,By)を算出してガイド線として繋いで描画する。 When the relative position display/absolute position display switching instruction unit 62a is operated to switch from the relative position display to the absolute position display, the steering angle is stored as θ' and the sensor value S' is set as the start point (Ax, Ay) of the guide line. Remember. Then, from the starting point (Ax, Ay) obtained from the sensor value S', the amount of movement Δx, Δy of the vehicle is calculated from the predicted movement distance L'=L1, L2, . Each point (Bx, By) corresponding to Ln is calculated and connected as a guide line for drawing.
次に、作用について説明する。
図7(a)に示すように、リーチ式フォークリフト20に対し左前方に目標となるパレットPに接近且つ正対するように走行する場合について説明する。
Next, the action will be described.
As shown in FIG. 7A, a case will be described where the reach-
図7(a)は作業場でのリーチ式フォークリフト20及びパレットPを示す俯瞰図であり、図7(b)は表示部63での表示内容を示す。
今、相対位置表示/絶対位置表示切換指示部62aを用いて、相対位置表示モードが設定されている。相対位置表示においては、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示される。
FIG. 7(a) is a bird's-eye view showing the reach-
Now, the relative position display mode is set using the relative position display/absolute position display switching instructing section 62a. In the relative position display, the vehicle width guide lines Lg1, Lg2 and the front distance guide line Lg1, Lg2 and the front distance guide line are displayed on the image captured by the
図7(b)に示すように、表示部63においてリーチ式フォークリフト20の操舵角に応じた車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が表示される。ここで、今の操舵角においてそのまま走行を続けると、目標となるパレットPに接近且つ正対するように走行することができることが分かる。詳しくは、前方距離ガイド線Lg3が、パレットPの直前に、かつ、パレットPの前面に平行に位置している。
As shown in FIG. 7B, the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 corresponding to the steering angle of the reach-
この状態で相対位置表示/絶対位置表示切換指示部62aが操作される。すると、ガイド線Lg1,Lg2,Lg3が相対位置表示から絶対位置表示に切り換わる。絶対位置表示においては、切換指示時に、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示される。
In this state, the relative position display/absolute position display switching instructing section 62a is operated. Then, the guide lines Lg1, Lg2, and Lg3 are switched from relative position display to absolute position display. In the absolute position display, when the switch is instructed, the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 are fixed in absolute positions without maintaining the relative positional relationship with respect to the vehicle. The vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 are superimposed and displayed on the
図7(a)に示す状態から、図8(a)に示すように、リーチ式フォークリフト20が現状の操舵角のまま走行する。すると、図8(b)に示すように、表示部63において車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3の画面上の位置(=モニタ座標)は車両の移動に伴い変わる。
From the state shown in FIG. 7(a), as shown in FIG. 8(a), the reach-
図8(a)に示す状態から、図9(a)に示すように、リーチ式フォークリフト20が現状の操舵角のままパレットPの前まで走行する。すると、図9(b)に示すように、表示部63において車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3の画面上の位置(=モニタ座標)は車両の移動に伴い変わる。
From the state shown in FIG. 8(a), the reach-
このようにして、相対位置表示/絶対位置表示切換指示部62aが操作されるまではガイド線Lg1,Lg2,Lg3を相対位置で表示しており、切り換え前の相対位置表示においてはガイド線Lg1,Lg2,Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像にガイド線Lg1,Lg2,Lg3を重畳して表示部63で表示させることにより、ガイド線Lg1,Lg2,Lg3のモニタ座標は車両の位置や角度によらず一定である。相対位置表示/絶対位置表示切換指示部62aが操作されると、そのときの軌跡が絶対位置表示に切り換えられる。すると、切換指示時に絶対位置表示に切り換わることによって、ガイド線Lg1,Lg2,Lg3が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像にガイド線Lg1,Lg2,Lg3を重畳して表示部63で表示させることにより、それ以降の車両の位置と角度を元にガイド線Lg1,Lg2,Lg3のモニタ座標を変更する。このようにして、図9(a)及び図9(b)に示すように、リーチ式フォークリフト20をパレットPに接近して正対させることができる。
In this manner, the guide lines Lg1, Lg2, and Lg3 are displayed at relative positions until the relative position display/absolute position display switching instruction section 62a is operated. Guide lines Lg1, Lg2, and Lg3 are superimposed on an image captured by
以後、マスト29を前方に移動させてフォーク30a,30bをパレットPの穴に挿入することになる。
図29(a)、図29(b)、図30(a)、図30(b)、図31(a)、図31(b)は比較例である。
Thereafter, the
29(a), 29(b), 30(a), 30(b), 31(a) and 31(b) are comparative examples.
図29(a)に示すように、走行によりパレットPに近づいて操舵角をもとに予想軌跡としての車幅ガイド線Lg11,Lg12及び前方距離ガイド線Lg13を、図29(b)に示すように、表示する。さらに、図30(a)に示すように、走行によりパレットPに近づいて操舵角をもとに予想軌跡としてのガイド線Lg11,Lg12,Lg13を、図30(b)に示すように、表示する。このとき、ガイド線Lg11,Lg12,Lg13の画面上での位置(=モニタ座標)は変わらずにカメラ画像が変わる。さらには、図31(a)に示すように、更なる走行によりパレットPに更に近づいて操舵角をもとに予想軌跡としてのガイド線Lg11,Lg12,Lg13を、図31(b)に示すように、表示する。このとき、ガイド線Lg11,Lg12,Lg13の画面上での位置(=モニタ座標)は変わらずにカメラ画像が変わる。 As shown in FIG. 29(a), vehicle width guide lines Lg11 and Lg12 and forward distance guide line Lg13 as predicted trajectories based on the steering angle as the vehicle approaches the pallet P as it travels are shown in FIG. 29(b). to display. Furthermore, as shown in FIG. 30(a), the guide lines Lg11, Lg12, and Lg13 as predicted trajectories are displayed as shown in FIG. . At this time, the camera image changes without changing the positions (=monitor coordinates) of the guide lines Lg11, Lg12, and Lg13 on the screen. Further, as shown in FIG. 31(a), the guide lines Lg11, Lg12, and Lg13 as predicted trajectories based on the steering angle as the vehicle approaches the pallet P as it travels further, as shown in FIG. 31(b). to display. At this time, the camera image changes without changing the positions (=monitor coordinates) of the guide lines Lg11, Lg12, and Lg13 on the screen.
ところが、リーチ式フォークリフト20の機台21との相対位置にガイド表示すると、リーチ式フォークリフト20の機台21が動くとガイド表示も動いてしまい、目標としていたパレットに進めているのか分かりづらい。
However, if a guide is displayed at a position relative to the
これに対し図7(a)、図7(b)、図8(a)、図8(b)、図9(a)、図9(b)に示す本実施形態においては、車両の走行情報をもとにガイド表示を目標のパレットに対して固定する。 7(a), 7(b), 8(a), 8(b), 9(a), and 9(b), the vehicle travel information Based on , the guide display is fixed to the target palette.
つまり、操舵角を元に、リーチ式フォークリフト20の予想軌跡をガイド表示する。ガイド表示が目標物に合ったところで、操作者は相対位置表示/絶対位置表示切換指示部62aを用いてガイド表示を固定する。即ち、予想軌跡を表示した場合、目標のパレットに対し車両が移動し始めると軌跡は車両と同様に動いてしまうが、目標位置を決めることで相対位置表示/絶対位置表示切換指示部62aが操作されるとその時の軌跡を固定する。そして、目標位置までのガイドを表示する。それにより、狙った目標位置に到達しやすい。
That is, based on the steering angle, the predicted trajectory of the reach-
上記実施形態によれば、以下のような効果を得ることができる。
(1)産業車両としてのリーチ式フォークリフト20の走行を支援する産業車両用走行支援装置の構成として、リーチ式フォークリフト20に搭載され、リーチ式フォークリフト20の周辺を撮像するカメラ71を備える。リーチ式フォークリフト20の予想軌跡としての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を生成する予想軌跡生成部としてのコントローラ61と、カメラ71にて撮像された画像にコントローラ61で生成された車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示する表示部63と、を備える。予想軌跡としての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に予想軌跡としての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる相対位置表示から、予想軌跡としての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に予想軌跡としての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる絶対位置表示に切り換える切換部としての相対位置表示/絶対位置表示切換指示部62aを備える。
According to the above embodiment, the following effects can be obtained.
(1) A
広義には、画面を見ながら産業車両としてのリーチ式フォークリフト20の走行をガイドするための走行ガイドとしての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を生成する走行ガイド生成部としてのコントローラ61と、カメラ71にて撮像された画像にコントローラ61で生成された車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示する表示部63と、走行ガイドとしての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に走行ガイドとしての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる相対位置表示から、走行ガイドとしての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に走行ガイドとしての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる絶対位置表示に切り換える切換部としての相対位置表示/絶対位置表示切換指示部62aと、を備える。
In a broad sense, a controller as a travel guide generator that generates vehicle width guide lines Lg1 and Lg2 and forward distance guide line Lg3 as travel guides for guiding the travel of the reach-
よって、カメラ71にて撮像された画像に、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が、重畳して表示される。そして、目標としているところで、切換部としての相対位置表示/絶対位置表示切換指示部62aにより、コントローラ61で生成された車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が、相対位置表示から絶対位置表示に切り換えられることにより、目標としているところにガイド表示することができる。
Therefore, the vehicle width guide lines Lg1 and Lg2 and the forward distance guide line Lg3 are superimposed on the image captured by the
(2)切換部としての相対位置表示/絶対位置表示切換指示部62aは、手動より相対位置表示から絶対位置表示に切り換えるものであるので、操作者が任意のタイミングで切り換えることができる。 (2) The relative position display/absolute position display switching instruction section 62a as a switching section is for manually switching from the relative position display to the absolute position display, so that the operator can switch at any timing.
(3)産業車両用走行支援装置は、フォークリフト用遠隔操作システム10に用いられるものであって、フォークリフト用遠隔操作システム10は、リーチ式フォークリフト20と、遠隔操作装置40とを備える。リーチ式フォークリフト20は、機台21に荷役装置28を備えるとともに車両通信部としての無線ユニット52及び無線機54を有する。遠隔操作装置40は、車両通信部としての無線ユニット52及び無線機54と無線通信を行う操作装置通信部としての無線機64,65を有し、リーチ式フォークリフト20の走行及び荷役装置28による荷役を遠隔操作するのに用いられる。よって、遠隔操作する際に、目標としているところにガイド表示することができる。
(3) The industrial vehicle travel support device is used in a forklift
次に、別例を説明する。
○ パレットに正対させるべくガイドする場合以外にも、図10に示すように、広い通路から狭い通路に曲がって走行する場合において曲がろうとする狭い通路の入り口を目標とする場合においても有用である。
Next, another example will be described.
○ In addition to guiding to face the pallet, as shown in Fig. 10, it is also useful when aiming at the entrance of a narrow passage where a wide passage turns into a narrow passage. be.
○ 相対位置表示から絶対位置表示への切り換えは手動でも自動でもよい。つまり、予め目標を決めておき、例えば画像処理装置やGPS機能による自己位置を用いて自動で行うようにしてもよい。即ち、相対位置表示から絶対位置表示への切り換えはシステムで行うようにしてもよい。 ○ Switching from relative position display to absolute position display can be done manually or automatically. In other words, a target may be determined in advance, and the determination may be performed automatically using, for example, the self-position by an image processing device or GPS function. That is, the system may switch from the relative position display to the absolute position display.
○ 絶対位置表示の解除、即ち、絶対位置表示から相対位置表示への復帰は、手動でもシステムが行うようにしてもよい。
○ フォークリフトが前方に走行する場合(前進する場合)において説明したが、フォークリフトが後方に走行する場合(後進する場合)に適用してもよい。つまり、カメラは車両の前方を撮像する前方カメラであったが、カメラは車両の後方を撮像する後方カメラでもよい。
○ Canceling the absolute position display, that is, returning from the absolute position display to the relative position display may be performed manually or by the system.
○ Although the case where the forklift travels forward (forward) has been described, it may be applied to the case where the forklift travels backward (reverse). In other words, although the camera is a front camera that captures an image of the front of the vehicle, the camera may be a rear camera that captures the image of the rear of the vehicle.
○ 図5において操作部62に切換部としての相対位置表示/絶対位置表示切換指示部62aを設けたが、操作部62とは別に切り換えを指示するためのマウス、キーボード等を設けてもよい。
In FIG. 5, the
○ 予想軌跡は車幅の線であったが、これに代わり、車両中心線でもよい。他にも、パレット幅でもよいし、荷がパレットよりも大きいならば荷の幅の線でもよい。
○ カメラ画像として進行方向を表示したが、複数のカメラを用いて俯瞰図を生成して表示部で表示してもよい。
○ Although the predicted trajectory was the line of the width of the vehicle, it may be the center line of the vehicle instead. Alternatively, the width of the pallet may be used, or if the load is larger than the pallet, a line of the width of the load.
○ Although the traveling direction is displayed as a camera image, a bird's-eye view may be generated using a plurality of cameras and displayed on the display unit.
○ 産業車両に搭載するカメラの台数は問わず、少なくとも車両周辺を撮像するカメラを有していればよい。
○ 産業車両用走行支援装置はフォークリフト用遠隔操作システムに用いられるものであったが、これに限るものではない。例えば、有人フォークリフトに用いてもよい。つまり、カメラを搭載した無人フォークリフトと、表示部を有する遠隔操作装置とを備えるではなく、例えば、カメラと表示部を搭載した有人フォークリフトに適用してもよい。
○ It does not matter how many cameras are mounted on an industrial vehicle, as long as it has at least a camera that captures the surroundings of the vehicle.
○ Although the driving support device for industrial vehicles was used in remote control systems for forklifts, it is not limited to this. For example, you may use it for a manned forklift. That is, instead of providing an unmanned forklift equipped with a camera and a remote control device having a display, for example, the present invention may be applied to a manned forklift equipped with a camera and a display.
○ フォークリフトはリーチ式フォークリフトであったが、これに限るものではなく、リーチ式フォークリフト以外のフォークリフトであってもよい。例えば、カウンタ式フォークリフトでもよい。 ○ Although the forklift was a reach-type forklift, it is not limited to this, and a forklift other than a reach-type forklift may be used. For example, a counter-type forklift may be used.
○ 産業車両はフォークリフト以外でもよく、例えば牽引車等を挙げることができる。
(第2の実施形態)
次に、第2の実施形態を、第1の実施形態との相違点を中心に説明する。
○ Industrial vehicles may be other than forklifts, such as tractors.
(Second embodiment)
Next, the second embodiment will be described, focusing on differences from the first embodiment.
本実施形態では、産業車両としてのリーチ式フォークリフト20の予想軌跡を、最大旋回軌跡としている。具体的には、最大旋回軌跡として旋回円をカメラ画像に重畳するとともに旋回円を相対位置表示から絶対位置表示に切り換えるようにしている。
In this embodiment, the predicted trajectory of the reach-
図12において、コントローラ61は、操舵角に応じた走行軌跡L10(図14参照)上に最大旋回軌跡としての最大旋回円C1,C2(図12参照)を生成する。図14で説明すると、走行軌跡L10は操舵角がゼロの場合には前方に直進したときのリーチ式フォークリフト20の機台中心の予想軌跡である。最大旋回円C1は走行先での機台21の後角部P1が通過する円であり、最大旋回円C2は走行先での機台21の後角部P2が通過する円である。コントローラ61は画像処理部66を介してカメラ画像に対して最大旋回円C1,C2を重畳して表示部63で表示させることができるようになっている。また、コントローラ61は、最大旋回円C1,C2をリーチ式フォークリフト20の前後方向において一定の距離d1(図14参照)に表示させる。リーチ式フォークリフト20の前方の距離d1は例えば3m程度である。
In FIG. 12, the
また、図5に示すように、操作部62は相対位置表示/絶対位置表示切換指示部62aを有する。相対位置表示/絶対位置表示切換指示部62aからコントローラ61に、相対位置表示から絶対位置表示への切り換え指示が送られる。この切り換え指示の通知に従いコントローラ61は、最大旋回円C1,C2を相対位置表示から絶対位置表示に切り換えて任意の位置で絶対位置表示させることができるようになっている。つまり、最大旋回円C1,C2の絶対位置表示の指示が無ければ最大旋回円C1,C2をリーチ式フォークリフト20の前後方向において一定の距離d1にカメラ画像に重畳して表示させるが、最大旋回円C1,C2の絶対位置表示の指示が有れば最大旋回円C1,C2をカメラ画像において任意の位置に固定した状態で重畳して表示させる。
Further, as shown in FIG. 5, the
次に、作用について説明する。
図11に示すように、コントローラ61は、ステップS101で操舵角に応じた走行軌跡L10(図14参照)上の前後方向に定めた一定の距離d1の位置を決定する。
Next, the action will be described.
As shown in FIG. 11, in step S101, the
そして、コントローラ61は、ステップS102において、最大ハンドル角で旋回する際に(その場旋回する際に)、図12で示すように、機台21の後角部P1,P2が通過する最大旋回円C1,C2をワールド座標系で表現する。右旋回時の旋回半径は右前輪23aが基準となる。左旋回時の旋回半径は左前輪23bが基準となる。また、旋回半径が最大となるのはリーチ式フォークリフトの機台後方部の一番外側である後角部P1,P2が描く円であり、これが最大旋回円C1,C2となる。
Then, in step S102, the
コントローラ61は、図11のステップS103において、図13に示すように、ステップS102の最大旋回円C1,C2とカメラ71,72,73の相対位置を検出し、ステップS102の最大旋回円C1,C2をワールド座標系からカメラ座標系に座標変換する。コントローラ61は、図11のステップS104において、ステップS103の最大旋回円C1,C2をカメラ座標系からモニタ座標系に座標変換する。コントローラ61は、図11のステップS105において、カメラ画像において走行軌跡L10上の所定位置にステップS104の最大旋回円C1,C2を重畳して、図14に示すように表示部63でリーチ式フォークリフト20の前方床面を表示させる。
In step S103 of FIG. 11, the
このように、今の操舵角でそのまま走行した場合の走行軌跡L10上に最大旋回円C1,C2を重畳し、そのままの操舵角で走行を続けて旋回するとどうなるか分かる。さらに、表示した最大旋回円C1,C2は、操作者の意図により任意のワールド座標上の位置に固定することができる。それにより、目標のパレットに正対させるための旋回位置を予め判断することができる。 In this way, the maximum turning circles C1 and C2 are superimposed on the travel locus L10 when the vehicle travels at the current steering angle, and it can be understood what will happen if the vehicle continues to travel at the steering angle and turns. Furthermore, the displayed maximum turning circles C1 and C2 can be fixed at arbitrary positions on the world coordinates according to the intention of the operator. As a result, it is possible to determine in advance the turning position for facing the target pallet.
具体的には、図14に示すように、目標のパレット100に対して最大旋回円C1,C2を見ながら接近する。そして、図15に示すように、最大旋回円C1,C2がパレット100の真横に来て目標のパレット100が最大旋回円C1,C2に接する位置に来たら、操作者の指示(操作)により最大旋回円C1,C2の位置を固定する。以後、リーチ式フォークリフト20がパレット100に近づくと、表示部63において最大旋回円C1,C2は大きな円として表示される。リーチ式フォークリフト20が最大旋回円C1,C2の位置まできたら旋回で目標方向を向けることができることが分かる。特に、最大旋回円C1,C2がパレット100に接しているとパレット100の真横であることが分かりやすい。さらに、旋回可否が予め判断できる。
Specifically, as shown in FIG. 14, the user approaches the
図16に示すように、リーチ式フォークリフト20が、固定した最大旋回円C1,C2の所まできたら旋回を開始する。そして、図17に示すように、その場旋回すると、パレット100に正対する。さらに、フォーク30a,30bを前方に移動させてパレット穴に差し込む。
As shown in FIG. 16, the reach-
上記実施形態によれば、以下のような効果を得ることができる。
(4)産業車両の予想軌跡は、操舵角に応じた走行軌跡上の最大旋回軌跡であり、相対位置表示から絶対位置表示に切り換えることにより、走行先において旋回可能か判断できるとともに旋回開始位置を容易に判断することができる。
According to the above embodiment, the following effects can be obtained.
(4) The predicted trajectory of the industrial vehicle is the maximum turning trajectory on the traveling trajectory according to the steering angle, and by switching from the relative position display to the absolute position display, it is possible to determine whether turning is possible at the destination and to determine the turning start position. can be easily determined.
次に、別例を説明する。
○ 最大旋回軌跡は、機台21の後角部P1,P2の旋回時の軌跡以外にも考えられ、旋回の際に最も外側に位置する箇所の軌跡であり、例えば、リーチアウトして走行する場合等におけるフォーク先端部P11,P12(図4参照)の旋回時の軌跡でもよい。他にも、リーチアウトして走行する場合等におけるフォークに差し込まれたパレットの前角部の旋回時の軌跡であってもよい。
Next, another example will be described.
○ The maximum turning trajectory is considered other than the trajectory of the rear corners P1 and P2 of the
○ 2つの最大旋回円C1,C2を表示したが旋回方向が分かっている場合(例えば操作者が旋回方向を指示する場合)、一方の最大旋回円を表示してもよい。例えば、図12において右旋回ならば最大旋回円C1を表示し、左旋回ならば最大旋回円C2を表示する。 ○ If the two maximum turning circles C1 and C2 are displayed, but the turning direction is known (for example, the operator indicates the turning direction), one of the maximum turning circles may be displayed. For example, in FIG. 12, if the vehicle is turning right, the maximum turning circle C1 is displayed, and if the vehicle is turning left, the maximum turning circle C2 is displayed.
○ 最大旋回円C1,C2は最大ハンドル角の場合の円でなくてもよく、操作者の指示により最大ハンドル角以外での最大旋回円でもよい。
(第3の実施形態)
次に、第3の実施形態を、第1の実施形態との相違点を中心に説明する。
○ The maximum turning circles C1 and C2 may not be the circles for the maximum steering wheel angle, and may be the maximum turning circles other than the maximum steering wheel angle according to the operator's instruction.
(Third Embodiment)
Next, the third embodiment will be described, focusing on differences from the first embodiment.
本実施形態では、図18及び図19に示すように、画面を見ながら産業車両としてのリーチ式フォークリフト20の走行をガイドするための走行ガイドとしての直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33を生成する。走行ガイドは、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33であり、距離表示である。
In this embodiment, as shown in FIGS. 18 and 19, straight lines Lg20, Lg21, Lg22, Lg23, Lg30, and Lg31 serve as travel guides for guiding the travel of the reach-
直線Lg20,Lg21,Lg22,Lg23は、車両の進行方向に直交する方向の延びる線であって、リーチ式フォークリフト20の進行方向前方において所定距離ごとに左右に延びる。例えば、直線Lg20はリーチ式フォークリフト20の4m先において左右に延び、直線Lg21はリーチ式フォークリフト20の5m先において左右に延び、直線Lg22はリーチ式フォークリフト20の6m先において左右に延び、直線Lg23はリーチ式フォークリフト20の7m先において左右に延びている。直線Lg30,Lg31,Lg32,Lg33は、車両の進行方向に延びる線であって、リーチ式フォークリフト20の進行方向前方において左右方向において所定距離ごとに前後に延びる。例えば、直線Lg30はリーチ式フォークリフト20の前方において最も左側において前後方向に延び、直線Lg31は直線Lg30の1m右側において前後方向に延び、直線Lg32は直線Lg31の1m右側において前後方向に延び、直線Lg33は直線Lg32の1m右側において前後方向に延びている。
The straight lines Lg20, Lg21, Lg22, and Lg23 are lines extending in a direction perpendicular to the direction of travel of the vehicle, and extend left and right at predetermined distances in front of the reach-
図19に示すように、表示部63においてカメラ71にて撮像された画像にコントローラ61で生成された格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が重畳して表示される。
As shown in FIG. 19, grid-shaped straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33 generated by the
切換部としての相対位置表示/絶対位置表示切換指示部62aにより、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が、図21に示す相対位置表示から、図23に示す絶対位置表示に切り換えられる。 Grid-like straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33 are changed from the relative position display shown in FIG. 21 to that shown in FIG. is switched to the absolute position display.
図18は、床面に配置したパレットPに対しリーチ式フォークリフト20が離れている状況を示し、この時、表示部63において図19に示すように表示される。
図18に示す状況から、リーチ式フォークリフト20がパレットPに対し接近するように走行した結果、図20に示すようにパレットPに対しリーチ式フォークリフト20が少し近づく。この時、表示部63において図21に示すように表示される。図20に示す状況下で相対位置表示/絶対位置表示切換指示部62aが押される。
FIG. 18 shows a situation in which the reach-
From the situation shown in FIG. 18, the
その結果、図20に示す状況から、リーチ式フォークリフト20がパレットPに対し更に接近するように走行した結果、図22に示すようにパレットPに対しリーチ式フォークリフト20が更に近づく。この時、表示部63において図23に示すように表示される。
As a result, the
図21の相対位置表示において、直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33を重畳して表示部63で表示される。
21, straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33 are shown in the image captured by the
図23の絶対位置表示において、直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33を重畳して表示部63で表示される。
In the absolute position display of FIG. 23, an image captured by the
このように、走行ガイドは予想軌跡に代わり、走行ガイドは距離表示であってもよい。この場合において、カメラ71にて撮像された画像に、画面を見ながらリーチ式フォークリフト20の走行をガイドするための走行ガイドとしての格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が重畳して表示される。そして、目標としているところで、相対位置表示/絶対位置表示切換指示部62aにより、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33を重畳して表示部63で表示させる相対位置表示から、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33を重畳して表示部63で表示させる絶対位置表示に切り換えられることにより、目標としているところにガイド表示することができる。
In this way, instead of the predicted trajectory, the travel guide may be a distance display. In this case, grid-like straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, and Lg32 as travel guides for guiding the travel of the reach-
つまり、画面上で仮想的に床面に描いた線が目標、即ち、目印となる。そして、相対位置表示では格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33は走行に伴い前方に移動するように表示されるが、絶対位置に固定することにより自車が何m進んだかが分かり、目標となり得る。そして、パレットPに対して近づいていくときにパレットPに対して自車がどれぐらいの距離なのか分かる。 In other words, a line virtually drawn on the floor on the screen becomes a target, that is, a mark. In the relative position display, grid-shaped straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33 are displayed so as to move forward as the vehicle travels. It is possible to know how many meters the robot has progressed, which can be used as a target. Then, when approaching the pallet P, the distance of the vehicle from the pallet P can be known.
次に、別例を説明する。
〇 走行ガイドは、距離情報が分かるような描画であればよく、距離情報を持ったガイドであればよく、格子状のものでも1本の線でも点でもよい。つまり、ガイドについて機台に対し距離を示す少なくても1本のガイドを有する構成としてもよい。
Next, another example will be described.
〇 The travel guide may be a drawing that allows distance information to be understood, and any guide with distance information may be used, such as a grid, a single line, or a point. That is, the guide may be configured to have at least one guide that indicates the distance from the machine base.
具体的には、走行ガイドは、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33であったが、これに代わり、1本の直線でもよく、例えば、直線Lg21のみ、即ち、リーチ式フォークリフト20の5m先において左右に延び直線Lg21のみでもよい。
Specifically, the travel guides are grid-shaped straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33, but instead of this, one straight line may be used, for example, only straight line Lg21, In other words, only the straight line Lg21 extending to the left and right at 5 m ahead of the reach-
他にも、縦一方のみでもよく、この場合には真っすぐ進むわけではないので縦情報も有用となる。
他にも、走行ガイドは、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33であったが、これに代わり、格子状の直線が交差する交点(図18での交点80参照)、即ち、車両の進行方向に延びる線である直線Lg30,Lg31,Lg32,Lg33と進行方向に直交する方向の延びる線である直線Lg20,Lg21,Lg22,Lg23との交点でもよい。他にも、図18での格子の交点の1つのみでもよい。
In addition, it is possible to use only one vertical direction. In this case, the vertical information is also useful because the vehicle does not travel in a straight line.
In addition, the travel guides were grid-shaped straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33, but instead of these, intersections of grid-shaped straight lines (intersection points in FIG. 18 80), that is, intersections of straight lines Lg30, Lg31, Lg32, Lg33 extending in the traveling direction of the vehicle and straight lines Lg20, Lg21, Lg22, Lg23 extending in the direction orthogonal to the traveling direction. Alternatively, it may be only one of the intersections of the grid in FIG.
要は、走行ガイドとしての距離表示は、車両の進行方向及び進行方向に直交する方向の少なくとも一方に延びる線であっても、走行ガイドとしての距離表示は、車両の進行方向に延びる線と進行方向に直交する方向の延びる線との交点であってもよい。 In short, even if the distance display as a travel guide is a line extending in at least one of the traveling direction of the vehicle and a direction perpendicular to the traveling direction, the distance display as a travel guide is a line extending in the traveling direction of the vehicle and a traveling distance. It may be an intersection with a line extending in a direction perpendicular to the direction.
(第4の実施形態)
次に、第4の実施形態を、第1の実施形態との相違点を中心に説明する。
本実施形態では、コントローラ61において、パレットPに対し正対することができる直進と旋回の境界を知らせるための境界線Lg40(図28(a)参照)を作成するとともに、画面を見ながらリーチ式フォークリフト20の走行をガイドするための走行ガイドとしてのガイド線Lg41(図25(a)、図25(b)参照)を生成する。ガイド線Lg41は、カメラ画像に、境界線Lg40よりも所定距離(例えば5m)だけ前方において重畳して表示される。
(Fourth embodiment)
Next, the fourth embodiment will be described, focusing on differences from the first embodiment.
In this embodiment, the
カメラ画像を用いて直進と旋回の境界を知らせるための境界線Lg40について説明する。
図24に示すように、境界線Lg40は、前輪軸中心O1から前方に距離Aの地点において左右に延びる直線であり、A=L-(W/2)としている。ここで、Lは、図24において実線で示す正対位置(パレット中心O2と前輪軸中心O1とが一致)から、図24において2点鎖線で示すように操舵角一定で90°後退旋回した場合の前輪軸中心O1の直進方向移動距離(=旋回半径)である。Lは、操舵角により一義的に定まる。予め代表的な操舵角を設定しておく。Wは、パレット幅であり、予め代表的な値を設定しておく。
A boundary line Lg40 for notifying the boundary between going straight and turning using a camera image will be described.
As shown in FIG. 24, the boundary line Lg40 is a straight line extending left and right at a point a distance A forward from the front wheel axle center O1, where A=L-(W/2). Here, L is the case where the vehicle is turned backward by 90° with a constant steering angle as shown by the two-dot chain line in FIG. is the straight movement distance (=turning radius) of the front wheel axle center O1. L is uniquely determined by the steering angle. A representative steering angle is set in advance. W is the width of the pallet, and a representative value is set in advance.
そして、図28(a)に示すように、境界線Lg40とパレットPの側面線Lpsが重なったら(一致したら)、指定した操舵角で旋回することによりパレットPに正対させることができる。 Then, as shown in FIG. 28(a), when the boundary line Lg40 and the side line Lps of the pallet P overlap (match), it can be made to face the pallet P by turning at a specified steering angle.
また、図26(b)に示すように、表示部63において目標であるパレットPの側面線Lpsと境界線Lg40との距離を表すインジケータINDが重畳して表示される。図27(b)に示すように、インジケータINDは、目標であるパレットPの側面線Lpsと境界線Lg40との距離に応じて目盛りが増加する。そして、図28(b)に示すように、境界線Lg40が目標であるパレットPの側面線Lpsと一致すると目盛りが最大となる。盛りが最大となると、上部の線200が緑色から青色に変わる。
Further, as shown in FIG. 26(b), an indicator IND representing the distance between the side line Lps of the target pallet P and the boundary line Lg40 is superimposed and displayed on the
次に、作用について説明する。
今、図25(a)に示すように、リーチ式フォークリフト20がパレットPに対し離れた場所に位置している。このとき、表示部63において図25(b)に示すように、境界線Lg40よりも所定距離(例えば5m)だけ前方においてガイド線Lg41が重畳して表示される。
Next, the action will be described.
Now, as shown in FIG. 25(a), the reach-
この状態から、図26(a)に示すように、リーチ式フォークリフト20がパレットPに接近するように直進してパレットPに対し離れた場所に位置する。このとき、表示部63において図26(b)に示すように、ガイド線Lg41が目標であるパレットPの側面線Lpsと一致する。
From this state, as shown in FIG. 26(a), the reach-
図26(a)に示す状況下で相対位置表示/絶対位置表示切換指示部62aが押される。その結果、図26(a)に示す状況から、リーチ式フォークリフト20が更に走行した結果、図27(a)に示すようにパレットPに対しリーチ式フォークリフト20が更に近づく。この時、表示部63において図27(b)に示すように表示される。
In the situation shown in FIG. 26(a), the relative position display/absolute position display switching instructing section 62a is pressed. As a result, the
図25(b)及び図26(b)の相対位置表示において、ガイド線Lg41が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像にガイド線Lg41を重畳して表示部63で表示される。
In the relative position display of FIGS. 25B and 26B, the guide line Lg41 is superimposed on the image captured by the
図27(b)の絶対位置表示において、ガイド線Lg41が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像にガイド線Lg41を重畳して表示部63で表示される。
In the absolute position display of FIG. 27(b), the guide line Lg41 is superimposed on the image captured by the
さらに、図27(a)に示す状態から、リーチ式フォークリフト20が更に直進する。すると、図28(b)に示すように、インジケータINDの盛りが最大となると、上部の線200が緑色から青色に変わり、境界線Lg40が目標であるパレットPの側面線Lpsと一致したことが分かる。そして、図28(a)に示す状態から、リーチ式フォークリフト20を指定した操舵角(例えば80°)で旋回することによりパレットPに対し所定位置に所定姿勢となるように配置してパレットPに正対させる。さらに、左右のフォーク30a,30bを前方に移動させることにより左右のフォーク30a,30bを左右のパレット穴に差し込むことができる。
Further, the reach-
10…フォークリフト用遠隔操作システム、20…リーチ式フォークリフト、21…機台、28…荷役装置、40…遠隔操作装置、52…無線ユニット、54…無線機、61…コントローラ、62a…相対位置表示/絶対位置表示切換指示部、63…表示部、64,65…無線機、71…カメラ、80…交点、C1,C2…最大旋回円、Lg1,Lg2…車幅ガイド線、Lg3…前方距離ガイド線、Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33…直線,Lg41…ガイド線。
10... remote control system for forklift, 20... reach type forklift, 21... machine base, 28... cargo handling device, 40... remote control device, 52... radio unit, 54... radio, 61... controller, 62a... relative position display/ Absolute position display switching
Claims (8)
前記産業車両に搭載され、前記産業車両の周辺を撮像するカメラと、
画面を見ながら前記産業車両の走行をガイドするための走行ガイドを生成する走行ガイド生成部と、
前記カメラにて撮像された画像に前記走行ガイド生成部で生成された前記走行ガイドを重畳して表示する表示部と、
前記走行ガイドが車両に対する相対位置関係を保った状態で前記カメラにて撮像された画像に前記走行ガイドを重畳して前記表示部で表示させる相対位置表示から、前記走行ガイドが車両に対する前記相対位置関係を保たずに絶対位置に固定した状態で前記カメラにて撮像された画像に前記走行ガイドを重畳して前記表示部で表示させる絶対位置表示に切り換える切換部と、
を備えることを特徴とする産業車両用走行支援装置。 A driving support device for an industrial vehicle that supports driving of an industrial vehicle,
a camera mounted on the industrial vehicle for imaging the surroundings of the industrial vehicle;
a travel guide generation unit that generates a travel guide for guiding the travel of the industrial vehicle while looking at the screen;
a display unit for superimposing and displaying the travel guide generated by the travel guide generation unit on the image captured by the camera;
From the relative position display in which the travel guide is superimposed on the image captured by the camera while the travel guide maintains the relative positional relationship with the vehicle and displayed on the display unit, the travel guide is displayed in the relative position with respect to the vehicle. a switching unit for switching to an absolute position display in which the display unit superimposes the travel guide on the image captured by the camera in a state where the absolute position is fixed without maintaining the relationship;
A driving support device for an industrial vehicle, comprising:
前記フォークリフト用遠隔操作システムは、前記産業車両としてのフォークリフトと、遠隔操作装置とを備え、
前記フォークリフトは、機台に荷役装置を備えるとともに車両通信部を有し、
前記遠隔操作装置は、前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトの走行及び前記荷役装置による荷役を遠隔操作するのに用いられることを特徴とする請求項1~7のいずれか1項に記載の産業車両用走行支援装置。 The driving support device for industrial vehicles is used in a remote control system for forklifts,
The forklift remote control system includes a forklift as the industrial vehicle and a remote control device,
The forklift has a cargo handling device on its platform and a vehicle communication unit,
The remote control device has a control device communication unit that performs wireless communication with the vehicle communication unit, and is used to remotely control traveling of the forklift and cargo handling by the cargo handling device. 8. The driving support device for industrial vehicles according to any one of 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/003322 WO2020170747A1 (en) | 2019-02-21 | 2020-01-30 | Industrial vehicle travel assistance device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019029397 | 2019-02-21 | ||
| JP2019029397 | 2019-02-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020132431A JP2020132431A (en) | 2020-08-31 |
| JP7213428B2 true JP7213428B2 (en) | 2023-01-27 |
Family
ID=72277670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019191006A Active JP7213428B2 (en) | 2019-02-21 | 2019-10-18 | Driving support device for industrial vehicles |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7213428B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116034200B (en) * | 2021-03-15 | 2025-10-21 | 日立建机株式会社 | Remote control device |
| JP7615812B2 (en) * | 2021-03-23 | 2025-01-17 | 株式会社リコー | TRANSPORTATION DEVICE AND TRANSPORTATION METHOD |
| JP2023054935A (en) * | 2021-10-05 | 2023-04-17 | 三菱ロジスネクスト株式会社 | Remote operation system |
| JP7355481B2 (en) * | 2021-10-18 | 2023-10-03 | 三菱ロジスネクスト株式会社 | remote control system |
| JP7436130B2 (en) * | 2021-12-20 | 2024-02-21 | 三菱ロジスネクスト株式会社 | remote control system |
| JP2023119757A (en) * | 2022-02-17 | 2023-08-29 | 三菱ロジスネクスト株式会社 | Remote operation system |
| WO2025203663A1 (en) * | 2024-03-29 | 2025-10-02 | ロジスティード株式会社 | Remote forklift operating system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006096457A (en) | 2004-09-28 | 2006-04-13 | Toyota Industries Corp | Forklift work assisting device |
| JP2012209882A (en) | 2011-03-30 | 2012-10-25 | Panasonic Corp | On-vehicle display device |
| US20160138248A1 (en) | 2014-11-14 | 2016-05-19 | Caterpillar Inc. | System for Assisting a User of a Machine of a Kind Comprising a Body and an Implement Movable Relative to the Body |
| JP2019202877A (en) | 2018-05-25 | 2019-11-28 | 株式会社豊田自動織機 | Remote control system for industrial vehicle |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3938559B2 (en) * | 2003-08-28 | 2007-06-27 | アイシン精機株式会社 | Vehicle reverse support device |
-
2019
- 2019-10-18 JP JP2019191006A patent/JP7213428B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006096457A (en) | 2004-09-28 | 2006-04-13 | Toyota Industries Corp | Forklift work assisting device |
| JP2012209882A (en) | 2011-03-30 | 2012-10-25 | Panasonic Corp | On-vehicle display device |
| US20160138248A1 (en) | 2014-11-14 | 2016-05-19 | Caterpillar Inc. | System for Assisting a User of a Machine of a Kind Comprising a Body and an Implement Movable Relative to the Body |
| JP2019202877A (en) | 2018-05-25 | 2019-11-28 | 株式会社豊田自動織機 | Remote control system for industrial vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020132431A (en) | 2020-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7213428B2 (en) | Driving support device for industrial vehicles | |
| JP7247812B2 (en) | Operation support device for cargo handling vehicle | |
| KR101137817B1 (en) | Parking assist apparatus | |
| JP6008612B2 (en) | Wirelessly operated vehicle remote control system | |
| JP7287231B2 (en) | Operation support device for cargo handling vehicle | |
| CN105518556A (en) | Vehicle travel system and vehicle travel control method | |
| JP7268575B2 (en) | Operation support device for cargo handling vehicle | |
| JP2019202877A (en) | Remote control system for industrial vehicle | |
| JP2014239357A (en) | Backward periphery monitoring device of work vehicle | |
| WO2020170747A1 (en) | Industrial vehicle travel assistance device | |
| JP7119795B2 (en) | Remote control system for forklift | |
| JP2021022802A (en) | Industrial vehicle remote operation system | |
| JP2020029361A (en) | Cargo handling work supporting device for fork lift | |
| JP7063283B2 (en) | Cargo handling work support device for reach type forklift | |
| JP2018178878A (en) | Industrial vehicle | |
| JP7124675B2 (en) | Driving support device for forklift | |
| JP7107078B2 (en) | Cargo handling support device for reach-type forklifts | |
| JPWO2010044277A1 (en) | Mobile navigation device | |
| JP2020001863A (en) | Remote operation system for industrial vehicle | |
| JP7415429B2 (en) | Cargo handling support device for cargo handling vehicles | |
| JP2021020793A (en) | Operation supporting device for cargo handling vehicle | |
| JP6965837B2 (en) | Remote control system for forklifts | |
| JP7371544B2 (en) | Industrial vehicle work support equipment | |
| JP7087737B2 (en) | Remote control system for forklifts | |
| JP7135629B2 (en) | Operation support device for forklift |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221219 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7213428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |