Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7312582B2 - unmanned mobile device - Google Patents
[go: Go Back, main page]

JP7312582B2 - unmanned mobile device - Google Patents

unmanned mobile device Download PDF

Info

Publication number
JP7312582B2
JP7312582B2 JP2019051794A JP2019051794A JP7312582B2 JP 7312582 B2 JP7312582 B2 JP 7312582B2 JP 2019051794 A JP2019051794 A JP 2019051794A JP 2019051794 A JP2019051794 A JP 2019051794A JP 7312582 B2 JP7312582 B2 JP 7312582B2
Authority
JP
Japan
Prior art keywords
unmanned mobile
mobile body
projection
icon
unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019051794A
Other languages
Japanese (ja)
Other versions
JP2020154635A (en
Inventor
善経 久保田
弦 関原
瞳 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujita Corp
Original Assignee
Fujita Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujita Corp filed Critical Fujita Corp
Priority to JP2019051794A priority Critical patent/JP7312582B2/en
Publication of JP2020154635A publication Critical patent/JP2020154635A/en
Application granted granted Critical
Publication of JP7312582B2 publication Critical patent/JP7312582B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、無人移動装置に関する。 The present invention relates to unmanned mobile devices.

従来、移動装置において、周囲の人間に次の進行方向といった動作を光等の照射によって指し示すための技術が知られている。例えば、特許文献1には、車両に搭載され、車載機器から取得した車両情報に基づいて車両の次の動作を特定し、次の動作を表現する光のアニメーションを路面へと照射する路面照射装置が開示されている。具体的には、例えばシフトレバーの操作やハンドルの操作等を含む車両情報に基づいて、例えば車両の前進、後進、右左折といった次の動作を特定し、動作方向に矢印等のアニメーションを投影させる。 2. Description of the Related Art Conventionally, in a mobile device, there is known a technique for indicating an action such as a next traveling direction to surrounding people by irradiating light or the like. For example, Patent Literature 1 discloses a road illumination device that is mounted on a vehicle, specifies the next motion of the vehicle based on vehicle information acquired from on-vehicle equipment, and illuminates the road surface with an animation of light that expresses the next motion. Specifically, based on the vehicle information including the operation of the shift lever and the steering wheel, for example, the next movement of the vehicle, such as forward movement, backward movement, and right/left turn, is specified, and an animation such as an arrow is projected in the movement direction.

国際公開第2016/027315号WO2016/027315

ところで、移動装置は、上記特許文献1に記載された車両に限らず、例えば移動台車、ドローン等の飛行体、ロボットといった自動で移動する無人移動装置がある。無人移動装置は、例えば建設現場といった作業現場において種々の用途で用いることがある。このような無人移動装置においても、周囲の人間に予定された次の移動経路や動作をわかりやすく提示することが好ましい。しかしながら、無人移動装置では、上記特許文献1に記載された車両のようにユーザーが車両に含まれる機器を操作することなく自動で移動する場合がある。そのため、自動で移動する無人移動装置において、周囲の人間に次の移動経路や動作といった挙動を示すことには、具体的な手法が求められる。 By the way, the moving device is not limited to the vehicle described in Patent Document 1, but there are unmanned moving devices that move automatically, such as mobile trolleys, flying objects such as drones, and robots. Unmanned mobile devices may be used in a variety of applications at work sites, such as construction sites. In such an unmanned mobile device as well, it is preferable to present the planned next travel route and action in an easy-to-understand manner to surrounding people. However, an unmanned mobile device may move automatically without a user operating equipment included in the vehicle, such as the vehicle described in Patent Document 1 above. Therefore, in an unmanned mobile device that moves automatically, a specific method is required to indicate behavior such as the next movement route and action to people around the device.

本発明は、上記に鑑みてなされたものであって、自動で移動する無人移動装置において、次の挙動に関する情報を周囲にわかりやすく提示することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above, and it is an object of the present invention to present information about the next behavior in an unmanned mobile device that moves automatically to the surroundings in an easy-to-understand manner.

上述した課題を解決し、目的を達成するために、本発明は、無人移動体と、前記無人移動体に搭載され、所定の投影範囲内に画像を投影させる投影装置と、前記無人移動体および前記投影装置を制御する制御装置と、を備え、前記制御装置は、予め定められた移動経路に沿って前記無人移動体を移動させながら、前記投影装置から前記投影範囲内に、前記投影範囲内で前記無人移動体が移動する予定となる前記移動経路である予定移動経路を示すラインを投影させることを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention includes an unmanned mobile body, a projection device mounted on the unmanned mobile body for projecting an image within a predetermined projection range, and a control device for controlling the unmanned mobile body and the projection device. is characterized by projecting a line indicating

また、前記移動経路上には、装置の実行予定動作が予め定められており、前記制御装置は、前記投影装置から前記ライン上に前記実行予定動作の内容を模式化して表すアイコンを投影させることが好ましい。 Further, it is preferable that an action scheduled to be performed by the device is predetermined on the movement path, and the control device causes the projection device to project an icon that schematically represents the content of the action scheduled to be performed onto the line.

また、前記制御装置は、前記投影装置から、前記無人移動体が前記予定移動経路を進行する方向である進行方向を指し示すアイコンを投影させることが好ましい。 Moreover, it is preferable that the control device causes the projection device to project an icon indicating a traveling direction, which is a direction in which the unmanned mobile body travels along the planned movement route.

また、前記制御装置は、前記予定移動経路に基づいて前記進行方向を特定し、前記投影装置から、特定した前記進行方向を指し示す前記アイコンを投影させることが好ましい。 Moreover, it is preferable that the control device identifies the traveling direction based on the planned movement route, and causes the projection device to project the icon pointing to the identified traveling direction.

また、前記移動経路上には、前記進行方向を指し示す前記アイコンが予め定められており、前記制御装置は、前記投影装置から、前記移動経路上に予め定められた前記進行方向を指し示す前記アイコンを投影させることが好ましい。 Further, it is preferable that the icon indicating the traveling direction is predetermined on the movement route, and the control device causes the projection device to project the icon indicating the traveling direction predetermined on the movement route.

また、前記無人移動体に搭載され、前記無人移動体の周辺の障害物を検出する障害物検出手段をさらに備え、前記制御装置は、前記障害物検出手段により前記投影範囲内に前記障害物が検出されたとき、前記投影装置から前記障害物の位置に、前記障害物を指し示すアイコンを投影させることが好ましい。 Preferably, the apparatus further comprises obstacle detection means mounted on the unmanned mobile body for detecting an obstacle around the unmanned mobile body, and when the obstacle detection means detects the obstacle within the projection range, the control device causes the projection device to project an icon pointing to the obstacle at the position of the obstacle.

また、前記無人移動体は、移動台車、2足以上の足を有する多足ロボットおよび飛行体のいずれかであることが好ましい。 Also, the unmanned mobile object is preferably any one of a mobile trolley, a multi-legged robot having two or more legs, and a flying object.

本発明にかかる無人移動装置は、自動で移動する無人移動装置において、次の挙動に関する情報を周囲にわかりやすく提示することができるという効果を奏する。 INDUSTRIAL APPLICABILITY The unmanned mobile device according to the present invention has the effect of being able to present information about the next behavior to the surroundings in an easy-to-understand manner in the unmanned mobile device that moves automatically.

図1は、第1実施形態にかかる無人移動装置を示す概略構成図である。FIG. 1 is a schematic configuration diagram showing an unmanned mobile device according to the first embodiment. 図2は、第1実施形態にかかる無人移動装置の動作を模式的に示す説明図である。FIG. 2 is an explanatory diagram schematically showing the operation of the unmanned mobile device according to the first embodiment. 図3は、第1実施形態にかかる無人移動装置の制御手順の一例を示すフローチャートである。3 is a flowchart illustrating an example of a control procedure of the unmanned mobile device according to the first embodiment; FIG. 図4は、変形例にかかる無人移動装置の制御手順の一例を示すフローチャートである。FIG. 4 is a flowchart illustrating an example of a control procedure for an unmanned mobile device according to a modification; 図5は、変形例にかかる無人移動装置の動作を模式的に示す説明図である。FIG. 5 is an explanatory diagram schematically showing the operation of the unmanned mobile device according to the modification. 図6は、変形例にかかる無人移動装置の動作を模式的に示す説明図である。FIG. 6 is an explanatory diagram schematically showing the operation of the unmanned mobile device according to the modification. 図7は、進行方向を指し示すアイコンをライン上にすべて描画した例を示す説明図である。FIG. 7 is an explanatory diagram showing an example in which all icons indicating the direction of travel are drawn on a line. 図8は、第2実施形態にかかる無人移動装置を示す概略構成図である。FIG. 8 is a schematic configuration diagram showing an unmanned mobile device according to the second embodiment. 図9は、第2実施形態にかかる無人移動装置の動作を模式的に示す説明図である。FIG. 9 is an explanatory diagram schematically showing the operation of the unmanned mobile device according to the second embodiment. 図10は、第2実施形態にかかる無人移動装置の制御手順の一例を示すフローチャートである。FIG. 10 is a flowchart illustrating an example of a control procedure for an unmanned mobile device according to the second embodiment; 図11は、プロジェクタを複数備えた無人移動装置の構成例を示す説明図である。FIG. 11 is an explanatory diagram showing a configuration example of an unmanned mobile device having a plurality of projectors.

以下に、本発明にかかる無人移動装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of an unmanned mobile device according to the present invention will be described in detail below with reference to the drawings. In addition, this invention is not limited by this embodiment.

[第1実施形態]
図1は、第1実施形態にかかる無人移動装置を示す概略構成図であり、図2は、第1実施形態にかかる無人移動装置の動作を模式的に示す説明図である。第1実施形態にかかる無人移動装置100は、例えば建設現場といった作業現場において、種々の目的で巡回を行う。無人移動装置100は、作業現場を自動で移動する装置であればよい。例えば、無人移動装置100は、作業現場において種々の物資を搬送する搬送用装置であってもよいし、作業現場において作業員といった追従対象を補助すること等を目的に追従対象を自動で追従する自動追従装置(例えば自動歩行式の作業台)等であってもよい。無人移動装置100は、ユーザー(例えば作業員)により遠隔で作業現場を移動することもできる。無人移動装置100は、図1に示すように、無人移動体10と、プロジェクタ20(投影装置)と、カメラ30(撮影装置)と、位置検出手段40と、制御装置50とを備えている。第1実施形態において、プロジェクタ20、カメラ30、位置検出手段40、制御装置50は、無人移動体10に搭載されている。ただし、制御装置50のいずれかの機能部は、無人移動体10とは別体の制御装置に設けられてもよい。
[First embodiment]
FIG. 1 is a schematic configuration diagram showing the unmanned mobile device according to the first embodiment, and FIG. 2 is an explanatory diagram schematically showing the operation of the unmanned mobile device according to the first embodiment. The unmanned mobile device 100 according to the first embodiment patrols a work site such as a construction site for various purposes. The unmanned mobile device 100 may be a device that automatically moves around the work site. For example, the unmanned mobile device 100 may be a transport device that transports various materials at a work site, or an automatic follow-up device (for example, an automatic walking workbench) that automatically follows a follow-up target for the purpose of assisting a follow-up target such as a worker at the work site. The unmanned mobile device 100 can also be remotely moved around the work site by a user (eg, a worker). The unmanned mobile device 100 includes an unmanned mobile body 10, a projector 20 (projection device), a camera 30 (image capture device), a position detection means 40, and a control device 50, as shown in FIG. In the first embodiment, the projector 20 , the camera 30 , the position detection means 40 and the control device 50 are mounted on the unmanned mobile body 10 . However, any of the functional units of the control device 50 may be provided in a control device separate from the unmanned mobile body 10 .

無人移動体10は、図2に示すように、複数の車輪10aにより移動する移動台車である。無人移動体10は、複数の車輪10aが設けられた本体11と、複数の車輪10aを駆動する駆動装置12とを有する。無人移動体10は、本体11の内部に収容された駆動装置12を介して、複数の車輪10aを駆動し、作業現場を移動することができる。駆動装置12は、無人移動体10を作業現場の地面、床面または路面といった走行面を走行させるための動力を複数の車輪10aに伝達する。駆動装置12は、制御装置50により駆動制御される。なお、図示省略するが、無人移動体10には、作業現場において種々の動作を行うためのアーム部が設けられてもよい。 As shown in FIG. 2, the unmanned mobile body 10 is a mobile cart that moves on a plurality of wheels 10a. The unmanned mobile body 10 has a main body 11 provided with a plurality of wheels 10a, and a driving device 12 that drives the plurality of wheels 10a. The unmanned mobile body 10 can drive a plurality of wheels 10a via a drive device 12 housed inside a main body 11 to move around a work site. The driving device 12 transmits power to the plurality of wheels 10a for causing the unmanned mobile body 10 to travel on a travel surface such as the ground, floor, or road surface of the work site. The driving device 12 is driven and controlled by the control device 50 . Although not shown, the unmanned mobile body 10 may be provided with an arm portion for performing various operations at the work site.

プロジェクタ20は、無人移動体10の本体11に搭載される。プロジェクタ20は、図2に示すように、本体11の上面に取り付けられている。プロジェクタ20は、所定の投影範囲5に光を照射して、画像6を投影させる投影装置である。プロジェクタ20は、制御装置50により制御される。第1実施形態では、プロジェクタ20は、図2に示すように、無人移動体10の進行方向側(図2では左側)に向けて、少なくとも作業現場の地面、床面または路面といった走行面を投影面として光を照射する。なお、走行面を投影面としたとき、プロジェクタ20が投影面に対して垂直にならず、投影範囲5が長方形状(または正方形状)とならない場合には、投影範囲5の台形補正を行ってもよい。また、プロジェクタ20が走行面に対して垂直になるように、図示しないアーム部にプロジェクタ20を取り付けてもよい。 The projector 20 is mounted on the main body 11 of the unmanned mobile body 10 . The projector 20 is attached to the upper surface of the main body 11, as shown in FIG. The projector 20 is a projection device that projects an image 6 by irradiating a predetermined projection range 5 with light. Projector 20 is controlled by control device 50 . In the first embodiment, as shown in FIG. 2, the projector 20 irradiates light toward the travel direction side (left side in FIG. 2) of the unmanned vehicle 10 using at least a traveling surface such as the ground, floor, or road surface of the work site as a projection surface. Note that if the projection area 5 is not rectangular (or square) because the projector 20 is not perpendicular to the projection surface when the driving surface is the projection surface, the projection area 5 may be keystone-corrected. Also, the projector 20 may be attached to an arm (not shown) so that the projector 20 is perpendicular to the running surface.

カメラ30は、所定の撮影範囲(図示省略)を撮影する撮影装置である。カメラ30は、無人移動体10の本体11の正面に取り付けられる。ただし、カメラ30は、無人移動体10により作業現場を撮影可能でさえあれば、本体11のいずれの位置に取り付けられてもよいし、図示しないアーム部に取り付けられてもよい。また、カメラ30は、無人移動体10に複数搭載されてもよい。カメラ30で撮影された画像データは、制御装置50の記憶部51に記憶される。 The camera 30 is a photographing device that photographs a predetermined photographing range (not shown). The camera 30 is attached to the front of the main body 11 of the unmanned mobile body 10 . However, the camera 30 may be attached to any position on the main body 11 or may be attached to an arm (not shown) as long as the unmanned mobile body 10 can photograph the work site. Also, a plurality of cameras 30 may be mounted on the unmanned mobile body 10 . Image data captured by the camera 30 is stored in the storage unit 51 of the control device 50 .

位置検出手段40は、作業現場における無人移動体10の現在位置を検出する手段であり、無人移動体10に搭載される。位置検出手段40は、例えばGPSである。位置検出手段40は、赤外線センサであってもよい。また、位置検出手段40は、ユーザーにより予め定められる初期位置から無人移動体10が移動した距離および方向を検出するセンサと、センサにより検出された距離および方向に基づいて初期位置に対する現在位置を算出する計算部とを含むものであってもよい。位置検出手段40により検出された無人移動体10の現在位置は、制御装置50の制御部52へと出力される。 The position detection means 40 is means for detecting the current position of the unmanned mobile body 10 at the work site, and is mounted on the unmanned mobile body 10 . The position detection means 40 is GPS, for example. The position detection means 40 may be an infrared sensor. Further, the position detection means 40 may include a sensor that detects the distance and direction that the unmanned vehicle 10 has moved from an initial position predetermined by the user, and a calculator that calculates the current position relative to the initial position based on the distance and direction detected by the sensor. The current position of the unmanned mobile body 10 detected by the position detection means 40 is output to the control section 52 of the control device 50 .

制御装置50は、記憶部51と、制御部52とを有する。 The control device 50 has a storage section 51 and a control section 52 .

記憶部51は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。記憶部51は、制御装置50における各種処理に要するデータおよび各種処理結果を記憶する。また、記憶部51は、カメラ30により撮影された画像データを記憶する。 The storage unit 51 is, for example, a semiconductor memory device such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 51 stores data required for various processes in the control device 50 and various processing results. The storage unit 51 also stores image data captured by the camera 30 .

記憶部51は、作業現場の地図情報を含む地図データ51Aと、無人移動体10のルートデータ51Bとを記憶している。ルートデータ51Bは、作業現場において無人移動体10を自動で移動させるべき移動経路であり、ユーザーにより予め作成されて記憶される。ルートデータ51Bは、地図データ51Aとして記憶された作業現場の地図情報に対応して作成される。ルートデータ51Bは、例えば、ユーザーが遠隔操作により無人移動体10を実際に移動させ、制御部52が、無人移動体10が実際に移動した経路を地図データ51Aの地図情報に対応させて作成するものであってもよい。 The storage unit 51 stores map data 51A including map information of the work site and route data 51B of the unmanned mobile body 10 . The route data 51B is a movement route along which the unmanned mobile body 10 should be automatically moved at the work site, and is created and stored in advance by the user. The route data 51B is created corresponding to the map information of the work site stored as the map data 51A. The route data 51B may be created by, for example, the user actually moving the unmanned mobile body 10 by remote control, and the control unit 52 making the route actually traveled by the unmanned mobile body 10 correspond to the map information of the map data 51A.

また、ルートデータ51Bは、移動経路のみならず、移動経路上で無人移動装置100が実行すべき動作である実行予定動作の情報が対応づけて記憶されている。無人移動装置100の実行予定動作は、無人移動装置100が作業現場において用いられる目的に対応した動作や、作業現場において安全性を保つための動作として、ユーザーによって予め移動経路の任意の位置に対応づけて記憶される。無人移動装置100の実行予定動作は、例えば、無人移動体10の一時停止、カメラ30による作業現場の撮影といった動作等を含む。 Further, the route data 51B stores not only the movement route but also the information of the planned execution operation that the unmanned mobile device 100 should execute on the movement route in association with each other. The scheduled execution motions of the unmanned mobile device 100 are stored in advance by the user in association with arbitrary positions on the travel route as motions corresponding to the purposes for which the unmanned mobile device 100 is used at the work site and motions for maintaining safety at the work site. The operations scheduled to be executed by the unmanned mobile device 100 include, for example, operations such as pausing the unmanned mobile device 10 and photographing the work site with the camera 30 .

さらに、記憶部51は、プロジェクタ20から投影させる画像6に用いられる複数のアイコンデータ51Cを記憶している。アイコンデータ51Cは、上述した無人移動装置100が実行する実行予定動作に対応して作成された複数のアイコンICa(図2参照)の画像データを含むデータである。アイコンICaは、例えば図2に示すように、無人移動体10を移動経路上で一時停止させることを示す一時停止アイコンICa1、カメラ30による作業現場の撮影を行うことを示す撮影アイコンICa2等を含む。なお、撮影アイコンICa2は、カメラ30で撮影を行う方向を示す記号を含んでもよい。カメラ30で撮影を行う方向を示す記号は、図2に破線L2で例示するように撮影方向に向けて延びる2本の線や、撮影方向に向けて延びる矢印であってもよい。なお、アイコンICa(および後述するアイコンICb、ICc)は、アニメーションであってもよい。 Further, storage unit 51 stores a plurality of icon data 51C used for image 6 projected from projector 20 . The icon data 51C is data including image data of a plurality of icons ICa (see FIG. 2) created corresponding to the scheduled execution actions to be executed by the unmanned mobile device 100 described above. The icons ICa include, for example, as shown in FIG. 2, a pause icon ICa1 indicating that the unmanned mobile body 10 is to be temporarily stopped on the movement path, and a photographing icon ICa2 indicating that the work site is to be photographed by the camera 30. Note that the shooting icon ICa2 may include a symbol indicating the direction of shooting with the camera 30 . The symbol indicating the shooting direction of the camera 30 may be two lines extending in the shooting direction, as exemplified by the dashed line L2 in FIG. 2, or an arrow extending in the shooting direction. Note that the icon ICa (and icons ICb and ICc to be described later) may be animation.

制御部52は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置である。制御部52は、記憶部51に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部52は、移動制御部52Aと、移動・動作特定部52Bと、投影決定部52Cと、投影制御部52Dとを有する。 The control unit 52 is an arithmetic processing device including, for example, a CPU (Central Processing Unit). The control unit 52 loads a program stored in the storage unit 51 into memory and executes instructions included in the program. The control unit 52 has a movement control unit 52A, a movement/motion specifying unit 52B, a projection determination unit 52C, and a projection control unit 52D.

移動制御部52Aは、無人移動体10の移動を制御する。より詳細には、移動制御部52Aは、位置検出手段40から無人移動体10の現在位置の情報を取得する。また、移動制御部52Aは、記憶部51からルートデータ51Bを取得する。移動制御部52Aは、取得した無人移動体10の現在位置の情報と、ルートデータ51Bとに基づいて、予め作成された移動経路に沿って無人移動体10が作業現場を移動するように、駆動装置12を駆動制御する。また、上述したように、ルートデータ51Bの移動経路は、無人移動装置100の実行予定動作の情報を含んでいる。そのため、移動制御部52Aは、移動経路上において無人移動装置100が実行予定動作を実行するために停止する必要がある場合には、無人移動体10を一旦停止させる。 The movement control unit 52A controls movement of the unmanned mobile body 10 . More specifically, the movement control section 52A acquires information on the current position of the unmanned mobile body 10 from the position detection means 40 . Further, the movement control unit 52A acquires the route data 51B from the storage unit 51. FIG. The movement control unit 52A drives and controls the driving device 12 so that the unmanned mobile body 10 moves within the work site along a previously created movement route based on the acquired current position information of the unmanned mobile body 10 and the route data 51B. Further, as described above, the movement route of the route data 51B includes information on the scheduled execution operation of the unmanned mobile device 100. FIG. Therefore, the movement control unit 52A temporarily stops the unmanned mobile device 10 when it is necessary to stop the unmanned mobile device 100 on the travel route in order to execute the scheduled operation.

なお、移動経路上に定められた無人移動装置100の実行予定動作は、制御部52が無人移動装置100の機能を発揮させる種々のプログラムを実行することで実現される。例えば、実行予定動作として無人移動体10を一時停止させる場合には、移動制御部52Aが駆動装置12を制御することで実現される。また、例えば、実行予定動作としてカメラ30により作業現場を撮影させる場合には、移動制御部52Aが駆動装置12を制御して無人移動体10を一旦停止させ、さらに、カメラ30が定められた撮影方向(図2に破線で例示する方向)を向くように無人移動体10の姿勢を制御する。そして、図示しない撮影制御部がカメラ30を制御して、カメラ30により必要な画像を撮影する。 The scheduled execution operations of the unmanned mobile device 100 determined on the movement route are realized by the control unit 52 executing various programs that cause the unmanned mobile device 100 to exhibit its functions. For example, when the unmanned mobile body 10 is temporarily stopped as the scheduled execution operation, the movement control unit 52A controls the driving device 12 to realize this. Further, for example, when the work site is photographed by the camera 30 as an operation to be executed, the movement control unit 52A controls the driving device 12 to temporarily stop the unmanned mobile body 10, and further controls the attitude of the unmanned mobile body 10 so that the camera 30 faces a predetermined shooting direction (the direction illustrated by the dashed line in FIG. 2). A photographing control unit (not shown) controls the camera 30 to photograph a necessary image.

移動・動作特定部52Bは、無人移動体10の予定移動経路および無人移動装置100の実行予定動作を特定する。より詳細には、移動・動作特定部52Bは、位置検出手段40から無人移動体10の現在位置の情報と、記憶部51からルートデータ51Bとを取得する。移動・動作特定部52Bは、取得した無人移動体10の現在位置の情報とルートデータ51Bとに基づいて、無人移動体10の予定移動経路を特定する。ここで、「無人移動体10の予定移動経路」とは、無人移動体10の現在位置でプロジェクタ20から画像6が投影される投影範囲5において、無人移動体10が進行する予定の移動経路である。移動・動作特定部52Bは、無人移動体10の現在位置、ルートデータ51Bに含まれる移動経路および現在の投影範囲5の位置を対応づけることで、予定移動経路を特定する。さらに、移動・動作特定部52Bは、ルートデータ51Bに含まれる無人移動装置100の実行予定動作の情報に基づいて、上記特定した予定移動経路上における実行予定動作の内容を特定する。移動・動作特定部52Bは、特定した無人移動体10の予定移動経路および無人移動装置100の実行予定動作の情報を投影決定部52Cへと出力する。 The movement/motion identification unit 52B identifies the planned movement route of the unmanned mobile body 10 and the planned execution action of the unmanned mobile device 100 . More specifically, the movement/motion specifying unit 52B acquires the information on the current position of the unmanned mobile body 10 from the position detection means 40 and the route data 51B from the storage unit 51 . The movement/motion identification unit 52B identifies the planned movement route of the unmanned mobile body 10 based on the acquired information on the current position of the unmanned mobile body 10 and the route data 51B. Here, the “planned movement route of the unmanned mobile body 10” is the planned movement route of the unmanned mobile body 10 in the projection range 5 where the image 6 is projected from the projector 20 at the current position of the unmanned mobile body 10. The movement/motion identification unit 52B identifies the planned movement path by associating the current position of the unmanned mobile body 10, the movement path included in the route data 51B, and the current position of the projection range 5. FIG. Further, the movement/motion identifying unit 52B identifies the content of the scheduled movement on the identified scheduled movement route based on the information about the scheduled movement of the unmanned mobile device 100 included in the route data 51B. The movement/motion identification unit 52B outputs information on the identified planned movement route of the unmanned mobile body 10 and the planned execution action of the unmanned mobile device 100 to the projection determination unit 52C.

投影決定部52Cは、プロジェクタ20から投影すべき内容を決定する。すなわち、投影決定部52Cは、プロジェクタ20から投影する画像6のデータを生成する投影画像生成部である。より詳細には、投影決定部52Cは、移動・動作特定部52Bから、上記特定された無人移動体10の予定移動経路および無人移動装置100の実行予定動作の情報を取得する。投影決定部52Cは、取得した予定移動経路に基づいて、当該予定移動経路を示すラインL1(図2参照)を含む画像6を生成する。言い換えると、無人移動体10は、投影範囲5に投影される画像6内に描画されるラインL1に沿って進行する予定である。 The projection determination unit 52C determines the content to be projected from the projector 20. FIG. That is, the projection determination unit 52C is a projection image generation unit that generates data of the image 6 projected from the projector 20. FIG. More specifically, the projection determining unit 52C acquires information on the specified planned movement route of the unmanned mobile body 10 and the planned execution operation of the unmanned mobile device 100 from the movement/motion specifying unit 52B. The projection determination unit 52C generates an image 6 including a line L1 (see FIG. 2) indicating the planned travel route based on the acquired planned travel route. In other words, the unmanned mobile object 10 is scheduled to travel along the line L1 drawn in the image 6 projected onto the projection range 5 .

また、投影決定部52Cは、取得した無人移動装置100の実行予定動作の情報に基づいて、記憶部51からアイコンデータ51Cに含まれる必要なアイコンICaのデータ、すなわち取得した実行予定動作に対応したアイコンICaのデータを取得する。投影決定部52Cは、取得したアイコンICaをラインL1の対応した位置に重ねて描画することで、画像6を生成する。例えば図2に示すように、ラインL1上の対応した位置に、無人移動体10を移動経路上で一時停止させることを示す一時停止アイコンICa1、カメラ30による作業現場の撮影を行うことを示す撮影アイコンICa2が描画される。投影決定部52Cは、生成した画像6のデータを投影制御部52Dへと出力する。 Further, the projection determination unit 52C acquires necessary icon ICa data included in the icon data 51C from the storage unit 51, that is, icon ICa data corresponding to the acquired scheduled execution action, based on the acquired information about the scheduled action of the unmanned mobile device 100. The projection determination unit 52C generates the image 6 by drawing the acquired icon ICa so as to be superimposed on the corresponding position of the line L1. For example, as shown in FIG. 2, a pause icon ICa1 indicating that the unmanned mobile body 10 is to be temporarily stopped on the movement route and a photographing icon ICa2 indicating that the work site is to be photographed by the camera 30 are drawn at corresponding positions on the line L1. The projection determination unit 52C outputs data of the generated image 6 to the projection control unit 52D.

投影制御部52Dは、プロジェクタ20による画像6の投影を制御する。投影制御部52Dは、投影決定部52Cで生成された画像6のデータを取得し、取得した画像6が投影範囲5に投影されるように、プロジェクタ20を制御する。 The projection control unit 52D controls projection of the image 6 by the projector 20. FIG. The projection control unit 52D acquires the data of the image 6 generated by the projection determination unit 52C, and controls the projector 20 so that the acquired image 6 is projected onto the projection range 5. FIG.

次に、第1実施形態にかかる無人移動装置100により画像6を投影させる際の動作について説明する。図3は、第1実施形態にかかる無人移動装置の制御手順の一例を示すフローチャートである。図3に示す処理手順は、無人移動体10が移動経路に沿って移動している間に、制御部52により所定時間ごとに繰り返し実行される。なお、移動経路に沿って無人移動体10を移動させるための制御および無人移動装置100の実行予定動作を実行するための制御は、上述したように、制御部52が種々のプログラムを実行することで実現される。これらの制御手順の詳細は、説明を省略する。 Next, the operation of projecting the image 6 by the unmanned mobile device 100 according to the first embodiment will be described. 3 is a flowchart illustrating an example of a control procedure of the unmanned mobile device according to the first embodiment; FIG. The processing procedure shown in FIG. 3 is repeatedly executed by the control unit 52 at predetermined time intervals while the unmanned vehicle 10 is moving along the movement route. As described above, the control for moving the unmanned mobile body 10 along the movement path and the control for executing the scheduled execution operation of the unmanned mobile device 100 are realized by the control unit 52 executing various programs. Details of these control procedures are omitted.

制御部52は、ステップS1として、無人移動体10の現在位置およびルートデータ51Bを取得する。より詳細には、移動・動作特定部52Bが位置検出手段40で検出された無人移動体10の現在位置の情報、および、記憶部51に記憶されたルートデータ51Bを取得する。 The control unit 52 acquires the current position of the unmanned mobile body 10 and the route data 51B as step S1. More specifically, the movement/motion identifying unit 52B acquires information on the current position of the unmanned mobile body 10 detected by the position detecting means 40 and the route data 51B stored in the storage unit 51. FIG.

制御部52は、ステップS2として、取得した無人移動体10の現在位置およびルートデータ51Bに基づいて、無人移動体10の予定移動経路および無人移動装置100の実行予定動作の内容を特定する。より詳細には、移動・動作特定部52Bが、無人移動体10の現在位置とルートデータ51Bとに基づいて現在の投影範囲5における無人移動体10の予定移動経路を特定する。さらに、移動・動作特定部52Bがルートデータ51Bに含まれる無人移動装置100の実行予定動作の情報に基づいて、上記特定した予定移動経路上での無人移動装置100の実行予定動作を特定する。 In step S2, the control unit 52 identifies the planned movement route of the unmanned mobile body 10 and the content of the scheduled operation of the unmanned mobile device 100 based on the acquired current position of the unmanned mobile body 10 and the route data 51B. More specifically, the movement/motion identification unit 52B identifies the planned movement route of the unmanned vehicle 10 in the current projection range 5 based on the current position of the unmanned vehicle 10 and the route data 51B. Further, the movement/motion identifying unit 52B identifies the scheduled execution motion of the unmanned mobile device 100 on the specified scheduled movement route based on the information of the scheduled execution motion of the unmanned mobile device 100 included in the route data 51B.

制御部52は、ステップS3として、プロジェクタ20から投影すべき内容を決定する。より詳細には、投影決定部52Cが移動・動作特定部52Bから無人移動体10の予定移動経路の情報を取得し、無人移動体10の予定移動経路を示すラインL1を含む画像6を生成する。さらに、投影決定部52Cが移動・動作特定部52Bから予定移動経路上の無人移動装置100の実行予定動作を取得し、記憶部51から実行予定動作に対応したアイコンICaを取得し、取得したアイコンICaをラインL1の対応した位置に描画した画像6を生成する。 The control unit 52 determines the content to be projected from the projector 20 as step S3. More specifically, the projection determination unit 52C acquires information on the planned movement route of the unmanned vehicle 10 from the movement/motion identification unit 52B, and generates the image 6 including the line L1 indicating the planned movement route of the unmanned vehicle 10. Further, the projection determination unit 52C acquires the scheduled execution motion of the unmanned mobile device 100 on the scheduled movement route from the movement/motion specifying unit 52B, acquires the icon ICa corresponding to the scheduled execution motion from the storage unit 51, and generates the image 6 by drawing the acquired icon ICa at the corresponding position on the line L1.

制御部52は、ステップS4として、ステップS3で生成した画像6をプロジェクタ20から投影させる。より詳細には、投影制御部52Dが、投影決定部52Cで生成された画像6のデータを取得し、取得した画像6が走行面の投影範囲5に投影されるようにプロジェクタ20を制御する。 In step S4, the control unit 52 causes the projector 20 to project the image 6 generated in step S3. More specifically, the projection control unit 52D acquires the data of the image 6 generated by the projection determination unit 52C, and controls the projector 20 so that the acquired image 6 is projected onto the projection range 5 of the running surface.

制御部52は、以上のステップS1からステップS4の処理を所定時間ごとに繰り返し実行する。これにより、図2に示すように、プロジェクタ20の投影範囲5に、投影範囲5内で無人移動体10が進行する予定となるラインL1と、ラインL1上で無人移動装置100が実行する実行予定動作を示すアイコンICaが投影される。そして、ラインL1およびアイコンICaを含む画像6は、無人移動体10の移動に伴って常時更新されていく。 The control unit 52 repeatedly executes the processing from step S1 to step S4 at predetermined time intervals. As a result, as shown in FIG. 2, a line L1 along which the unmanned vehicle 10 is scheduled to travel within the projection range 5 and an icon ICa indicating an action scheduled to be performed by the unmanned mobile device 100 on the line L1 are projected onto the projection range 5 of the projector 20. The image 6 including the line L1 and the icon ICa is constantly updated as the unmanned mobile body 10 moves.

以上説明したように、第1実施形態にかかる無人移動装置100は、無人移動体10と、無人移動体10に搭載され、所定の投影範囲5内に画像6を投影させるプロジェクタ20(投影装置)と、無人移動体10およびプロジェクタ20を制御する制御装置50と、を備え、制御装置50は、予め定められた移動経路に沿って無人移動体10を移動させながら、プロジェクタ20から投影範囲5内に、投影範囲5内で無人移動体10が移動する予定の移動経路である予定移動経路を示すラインL1を投影させる。 As described above, the unmanned mobile device 100 according to the first embodiment includes the unmanned mobile body 10, the projector 20 (projection device) that is mounted on the unmanned mobile body 10 and projects the image 6 within the predetermined projection range 5, and the control device 50 that controls the unmanned mobile body 10 and the projector 20. , a line L1 indicating a planned movement route, which is a movement route along which the unmanned vehicle 10 is scheduled to move, is projected.

この構成により、予め定められた無人移動体10の予定移動経路を示すラインL1をプロジェクタ20から走行面に投影させるため、無人移動体10の周囲にいる人間、すなわち作業員7がプロジェクタ20から投影されたラインL1を視認することができる。その結果、無人移動体10の周辺にいる人間(作業員7)は、無人移動体10が次にどのように移動するかを容易に把握することが可能となる。したがって、第1実施形態によれば、自動で移動する無人移動装置100において、次の挙動に関する情報を周囲にわかりやすく提示することができる。 With this configuration, a line L1 indicating a predetermined planned moving route of the unmanned mobile body 10 is projected from the projector 20 onto the traveling surface, so that a person around the unmanned mobile body 10, that is, a worker 7 can visually recognize the line L1 projected from the projector 20.例文帳に追加As a result, a person (worker 7) around the unmanned mobile body 10 can easily grasp how the unmanned mobile body 10 moves next. Therefore, according to the first embodiment, in the unmanned mobile device 100 that moves automatically, information regarding the next behavior can be presented to the surroundings in an easy-to-understand manner.

また、移動経路上には、無人移動装置100の実行予定動作が予め定められており、制御装置50は、プロジェクタ20からラインL1上に実行予定動作の内容を模式化して表すアイコンICaを投影させる。 Further, an action to be executed by the unmanned mobile device 100 is predetermined on the movement route, and the control device 50 causes the projector 20 to project an icon ICa that schematically represents the content of the action to be executed onto the line L1.

この構成により、無人移動装置100が行う実行予定動作を表すアイコンICaをライン上に投影させるため、無人移動装置100の周囲にいる作業員7は、無人移動装置100が次にどのような動作を行うかを把握することができる。 With this configuration, an icon ICa representing an operation scheduled to be performed by the unmanned mobile device 100 is projected on the line, so that the worker 7 around the unmanned mobile device 100 can grasp what kind of operation the unmanned mobile device 100 will perform next.

次に、第1実施形態にかかる無人移動装置の制御手順の変形例について、図4から図6を参照しながら説明する。図4は、変形例にかかる無人移動装置の制御手順の一例を示すフローチャートであり、図5および図6は、変形例にかかる無人移動装置の動作を模式的に示す説明図である。図6は、図5に示す位置から無人移動体10がさらに進行した状態を示している。 Next, modified examples of the control procedure of the unmanned mobile device according to the first embodiment will be described with reference to FIGS. 4 to 6. FIG. FIG. 4 is a flowchart showing an example of the control procedure of the unmanned mobile device according to the modification, and FIGS. 5 and 6 are explanatory diagrams schematically showing the operation of the unmanned mobile device according to the modification. FIG. 6 shows a state in which the unmanned mobile body 10 has advanced further from the position shown in FIG.

図4に示す処理手順は、無人移動体10が移動経路に沿って移動している間に制御部52により所定時間ごとに繰り返し実行される。図4のステップS11、S12の処理は、図3のステップS1、S2の処理と同様であるため、説明を省略する。 The processing procedure shown in FIG. 4 is repeatedly executed by the control unit 52 at predetermined time intervals while the unmanned vehicle 10 is moving along the movement route. Since the processing of steps S11 and S12 in FIG. 4 is the same as the processing of steps S1 and S2 in FIG. 3, description thereof is omitted.

制御部52は、ステップS13として、投影範囲5内の予定移動経路における無人移動体10の進行方向を特定する。より詳細には、移動・動作特定部52Bが、投影範囲5内の予定移動経路における無人移動体10の進行方向を特定する。「無人移動体10の進行方向」とは、無人移動体10が予定移動経路(すなわち図5,6のラインL1)上を進行する方向であり、無人移動体10の姿勢の向きに変化がなく走行する場合は直進方向、無人移動体10の姿勢の向きに変化がありつつ走行する場合は右左折の方向となる。移動・動作特定部52Bは、特定した無人移動体10の進行方向の情報を投影決定部52Cに出力する。 The control unit 52 identifies the traveling direction of the unmanned mobile body 10 on the planned movement route within the projection range 5 as step S13. More specifically, the movement/motion identifying unit 52</b>B identifies the traveling direction of the unmanned mobile body 10 on the planned movement route within the projection range 5 . The "moving direction of the unmanned mobile body 10" is the direction in which the unmanned mobile body 10 travels along the planned movement route (that is, the line L1 in FIGS. 5 and 6). When the unmanned mobile body 10 travels with no change in the orientation of the unmanned mobile body 10, it travels straight. The movement/motion identification unit 52B outputs information on the identified traveling direction of the unmanned mobile body 10 to the projection determination unit 52C.

制御部52は、ステップS14として、プロジェクタ20から投影すべき内容を決定する。より詳細には、図3のステップS3と同様に、投影決定部52Cが、移動・動作特定部52Bから取得した無人移動体10の予定移動経路を示すラインL1および予定移動経路上の無人移動装置100の実行予定動作を示すアイコンICaを含む画像6を生成する。さらに、投影決定部52Cは、移動・動作特定部52Bから、上記特定された無人移動体10の進行方向の情報を取得する。投影決定部52Cは、取得した無人移動体10の進行方向に基づいて、当該進行方向を指し示すアイコンICbをラインL1の対応した位置に重ねて描画した画像6を生成する。 The control unit 52 determines the content to be projected from the projector 20 as step S14. More specifically, similarly to step S3 in FIG. 3, the projection determination unit 52C generates an image 6 that includes a line L1 indicating the planned movement route of the unmanned mobile body 10 acquired from the movement/action identification unit 52B and an icon ICa indicating the planned action of the unmanned mobile device 100 on the planned movement route. Furthermore, the projection determination unit 52C acquires information on the identified traveling direction of the unmanned mobile body 10 from the movement/motion identification unit 52B. Based on the obtained traveling direction of the unmanned mobile body 10, the projection determining unit 52C generates an image 6 in which an icon ICb indicating the traveling direction is superimposed on the corresponding position of the line L1.

アイコンICbは、進行方向が直進方向であれば、例えば図5に示すように、当該直進方向に延びる矢印形状のアイコンICb1である。また、アイコンICbは、進行方向が右左折方向であれば、例えば図6に示すように、当該右左折方向に延びる一本の矢印形状のアイコンICb2である。なお、アイコンICbは、矢印形状のアイコンを複数連続して配置したものなどであってもよいし、アニメーションであってもよい。いずれにせよ、アイコンICbは、視認した人間が進行方向を指すものであると認識可能な形状であればよい。これらのアイコンICbのデータは、例えば記憶部51に基本となる矢印形状のデータを複数記憶させておき、基本となる矢印形状のデータを進行方向に応じて延伸、湾曲させたり、複数組み合わせたりする編集によって生成されればよい。 If the traveling direction is the straight direction, the icon ICb is an arrow-shaped icon ICb1 extending in the straight direction, as shown in FIG. 5, for example. Further, if the traveling direction is the left-right turn direction, the icon ICb is a single arrow-shaped icon ICb2 extending in the right-left turn direction, as shown in FIG. 6, for example. Note that the icon ICb may be a series of arrow-shaped icons, or may be an animation. In any case, the icon ICb may have a shape that allows a viewer to recognize that it points in the direction of travel. The data of these icons ICb may be generated by, for example, storing a plurality of basic arrow-shaped data in the storage unit 51, and editing the basic arrow-shaped data by extending or curving it according to the direction of travel, or by combining a plurality of data.

また、投影決定部52Cは、無人移動体10の現在位置に応じてアイコンICbを描画する。すなわち、投影決定部52Cは、無人移動体10の現在位置に応じて、現在位置から所定距離内におけるラインL1上にアイコンICbを描画する。それにより、図5および図6に示すように、無人移動体10の進行の程度に伴って、アイコンICb1、アイコンICb2が順次描画される。ただし、アイコンICbは、現在の投影範囲5のラインL1上にすべて描画されてもよい。図7は、進行方向を指し示すアイコンをライン上にすべて描画した例を示す説明図である。投影決定部52Cは、以上の手順で生成した画像6を投影決定部52Cに出力する。 Further, the projection determination unit 52C draws the icon ICb according to the current position of the unmanned mobile body 10. FIG. That is, the projection determination unit 52C draws the icon ICb on the line L1 within a predetermined distance from the current position of the unmanned mobile body 10 according to the current position. As a result, as shown in FIGS. 5 and 6, the icon ICb1 and the icon ICb2 are drawn in sequence according to the progress of the unmanned mobile body 10. FIG. However, the icon ICb may be drawn entirely on the line L1 of the current projection range 5. FIG. FIG. 7 is an explanatory diagram showing an example in which all icons indicating the direction of travel are drawn on a line. The projection determining section 52C outputs the image 6 generated by the above procedure to the projection determining section 52C.

制御部52は、ステップS15として、ステップS14で生成した画像6をプロジェクタ20から投影させる。すなわち、投影制御部52Dが、投影決定部52Cから取得した画像6が走行面の投影範囲5に投影されるように、プロジェクタ20を制御する。 In step S15, the control unit 52 causes the projector 20 to project the image 6 generated in step S14. That is, the projection control unit 52D controls the projector 20 so that the image 6 acquired from the projection determination unit 52C is projected onto the projection range 5 of the running surface.

制御部52は、以上のステップS11からステップS15の処理を所定時間ごとに繰り返し実行する。これにより、図5および図6に示すように、プロジェクタ20の投影範囲5に、ラインL1およびアイコンICaに加えて、アイコンICbを含む画像6が投影される。ラインL1、アイコンICaおよびアイコンICbを含む画像6は、無人移動体10の移動に伴って常時更新されていく。 The control unit 52 repeatedly executes the processing from step S11 to step S15 described above at predetermined time intervals. As a result, as shown in FIGS. 5 and 6, an image 6 including the icon ICb is projected onto the projection range 5 of the projector 20 in addition to the line L1 and the icon ICa. The image 6 including the line L1, the icon ICa and the icon ICb is constantly updated as the unmanned mobile body 10 moves.

以上説明したように、制御装置50は、プロジェクタ20から、無人移動体10が進行する方向である進行方向を指し示すアイコンICbを投影させる。この構成により、無人移動体10の周辺にいる作業員7は、無人移動体10が次にどのように移動するかを、矢印形状のアイコンICbを視認することで、より容易に把握することができる。 As described above, the control device 50 causes the projector 20 to project the icon ICb indicating the traveling direction, which is the direction in which the unmanned mobile body 10 travels. With this configuration, the worker 7 around the unmanned mobile body 10 can more easily grasp how the unmanned mobile body 10 moves next by visually recognizing the arrow-shaped icon ICb.

また、制御装置50は、予定移動経路に基づいて進行方向を特定し、プロジェクタ20から、特定した進行方向を指し示すアイコンICbを投影させる。この構成により、無人移動体10の移動にあわせて進行方向に対応したアイコンICbを投影させることができる。すなわち、移動経路のすべての情報に紐付けてアイコンICbを予め記憶しておく必要がない。そのため、無人移動装置100が記憶する情報量が増大することを抑制することができる。 Further, the control device 50 identifies the traveling direction based on the planned travel route, and causes the projector 20 to project an icon ICb pointing to the identified traveling direction. With this configuration, the icon ICb corresponding to the direction of travel can be projected as the unmanned mobile body 10 moves. That is, it is not necessary to store in advance the icon ICb in association with all the information of the movement route. Therefore, an increase in the amount of information stored in the unmanned mobile device 100 can be suppressed.

ただし、アイコンICbは、ルートデータ51Bの移動経路上に対応づけて予め記憶されるものであってもよい。すなわち、ルートデータ51Bが作成された後、制御部52が移動経路における無人移動体10の進行方向をすべて予め特定し、進行方向にあわせたアイコンICbをすべて予め作成し、記憶部51に記憶させておく。そして、無人移動体10が実際に移動経路に沿って移動するとき、投影決定部52Cが、無人移動体10の現在位置に応じて、ラインL1上に描画するべきアイコンICbを記憶部51から順次読み込み、画像6を生成するものとしてもよい。この構成により、無人移動体10の移動にあわせて、順次、無人移動体10の進行方向を特定したり、進行方向に対応したアイコンICbを作成したりする必要がない。そのため、制御部52の計算負荷が増大することを抑制することができる。 However, the icon ICb may be stored in advance in association with the moving route of the route data 51B. That is, after the route data 51B is created, the control unit 52 specifies in advance all the traveling directions of the unmanned mobile body 10 along the travel route, creates all the icons ICb in advance corresponding to the traveling directions, and stores them in the storage unit 51. Then, when the unmanned mobile body 10 actually moves along the movement route, the projection determination unit 52C may sequentially read the icons ICb to be drawn on the line L1 from the storage unit 51 according to the current position of the unmanned mobile body 10, and generate the image 6. With this configuration, it is not necessary to sequentially specify the traveling direction of the unmanned mobile body 10 or create an icon ICb corresponding to the traveling direction in accordance with the movement of the unmanned mobile body 10 . Therefore, an increase in the calculation load of the control unit 52 can be suppressed.

また、本実施形態では、アイコンICbをラインL1上に描画するものとしたが、アイコンICbは、ラインL1に隣接した位置に描画されるものであってもよい。 Further, in this embodiment, the icon ICb is drawn on the line L1, but the icon ICb may be drawn at a position adjacent to the line L1.

[第2実施形態]
次に、第2実施形態にかかる無人移動装置200について説明する。図8は、第2実施形態にかかる無人移動装置を示す概略構成図であり、図9は、第2実施形態にかかる無人移動装置の制御手順の一例を示すフローチャートであり、図10は、第2実施形態にかかる無人移動装置の動作を模式的に示す説明図である。
[Second embodiment]
Next, an unmanned mobile device 200 according to a second embodiment will be described. FIG. 8 is a schematic configuration diagram showing an unmanned mobile device according to the second embodiment, FIG. 9 is a flowchart showing an example of a control procedure of the unmanned mobile device according to the second embodiment, and FIG. 10 is an explanatory diagram schematically showing the operation of the unmanned mobile device according to the second embodiment.

第2実施形態にかかる無人移動装置200は、図8および図9に示すように、第1実施形態の無人移動装置100の構成に加えて、障害物検出手段60を備えている。無人移動装置200の他の構成は、無人移動装置100と同様であるため、同一の構成については説明を省略し、同一の符号を付す。 As shown in FIGS. 8 and 9, the unmanned mobile device 200 according to the second embodiment includes obstacle detection means 60 in addition to the configuration of the unmanned mobile device 100 of the first embodiment. Since other configurations of the unmanned mobile device 200 are the same as those of the unmanned mobile device 100, descriptions of the same configurations are omitted and the same reference numerals are used.

障害物検出手段60は、無人移動体10に搭載され、無人移動体10の周辺の障害物8を検出する手段である。障害物検出手段60は、例えば赤外線といった可視光以外の電波を出力し、その電波の反射波によって障害物8を検出するセンサである。本実施形態において、障害物検出手段60は、図10に示すように、無人移動体10の上面に取り付けられる。ただし、障害物検出手段60は、周辺の障害物8を検出することさえできれば、無人移動体10のいずれの位置に取り付けられてもよい。また、障害物検出手段60は、無人移動体10に複数取り付けられてもよい。また、障害物検出手段60は、例えばカメラ30と兼用されてもよい。すなわち、カメラ30で撮影した画像内に存在する障害物8を検出するものであってもよい。障害物検出手段60は、無人移動体10の周辺の所定範囲内に人間(作業員7)を含む障害物8があることを検出する。障害物検出手段60の検出結果は、制御部52の投影決定部52Cへと出力される。 The obstacle detection means 60 is a means mounted on the unmanned mobile body 10 to detect obstacles 8 around the unmanned mobile body 10 . The obstacle detection means 60 is a sensor that outputs radio waves other than visible light, such as infrared rays, and detects obstacles 8 by reflected waves of the radio waves. In this embodiment, the obstacle detection means 60 is attached to the upper surface of the unmanned mobile body 10, as shown in FIG. However, the obstacle detection means 60 may be attached to any position of the unmanned mobile body 10 as long as it can detect the surrounding obstacles 8 . Also, a plurality of obstacle detection means 60 may be attached to the unmanned mobile body 10 . Further, the obstacle detection means 60 may also be used as the camera 30, for example. That is, the obstacle 8 present in the image captured by the camera 30 may be detected. The obstacle detection means 60 detects that there is an obstacle 8 including a human (worker 7) within a predetermined range around the unmanned mobile body 10 . The detection result of the obstacle detection means 60 is output to the projection determination section 52C of the control section 52. FIG.

移動制御部52Aは、障害物検出手段60から障害物8の検出結果を取得する。移動制御部52Aは、障害物検出手段60から取得した検出結果に基づいて、無人移動体10から上記所定範囲内に障害物8がある場合、無人移動体10の移動を停止させる。 The movement control unit 52A acquires the detection result of the obstacle 8 from the obstacle detection means 60. FIG. The movement control unit 52A stops the movement of the unmanned mobile body 10 based on the detection result obtained from the obstacle detection means 60 when the obstacle 8 is within the predetermined range from the unmanned mobile body 10 .

また、投影決定部52Cは、障害物検出手段60から障害物の検出結果を取得する。投影決定部52Cは、障害物8が投影範囲5内にあるか否かを判定し、障害物8が投影範囲5内にある場合、図10に示すように、プロジェクタ20から障害物の位置に、障害物8を指し示すアイコンICcを含む画像6を生成する。アイコンICcは、例えば所定の大きさで障害物8の周囲を囲む円形状のアイコンである。なお、アイコンICcの形状は、円形状に限られない。アイコンICcは、記憶部51に予め記憶されている。 The projection determination unit 52C also acquires the obstacle detection result from the obstacle detection means 60 . The projection determination unit 52C determines whether or not the obstacle 8 is within the projection range 5, and if the obstacle 8 is within the projection range 5, as shown in FIG. The icon ICc is, for example, a circular icon that has a predetermined size and surrounds the obstacle 8 . Note that the shape of the icon ICc is not limited to a circular shape. The icon ICc is pre-stored in the storage unit 51 .

次に、第2実施形態にかかる無人移動装置200により画像6を投影させる際の動作について図9を参照しながら説明する。図9に示す処理手順は、無人移動体10が移動経路に沿って移動している間に、制御部52により所定時間ごとに繰り返し実行される。図10のステップS21、S22、S23の処理は、図3のステップS1、S2、S3の処理と同様であるため、説明を省略する。 Next, the operation of projecting the image 6 by the unmanned mobile device 200 according to the second embodiment will be described with reference to FIG. The processing procedure shown in FIG. 9 is repeatedly executed by the control unit 52 at predetermined time intervals while the unmanned vehicle 10 is moving along the movement route. Since the processes of steps S21, S22, and S23 in FIG. 10 are the same as the processes of steps S1, S2, and S3 in FIG. 3, description thereof is omitted.

制御部52は、ステップS24として、投影範囲5内に障害物8があるか否かを判定する。より詳細には、投影決定部52Cが障害物検出手段60からの障害物8の検出結果に基づいて、投影範囲5内に障害物8があるか否かを判定する。制御部52は、投影決定部52Cが投影範囲5内に障害物8があると判定した場合(ステップS24でYes)、ステップS25として、障害物8を指し示すアイコンICcを含む画像6を生成する。つまり、ステップS23で生成した画像6にアイコンICcをさらに追加する。制御部52は、投影決定部52Cから生成した画像6を投影制御部52Dへと出力させ、ステップS26の処理へと進む。一方、制御部52は、投影決定部52Cが投影範囲5内に障害物8がないと判定した場合(ステップS24でNo)、ステップS25の処理を省略してステップS26の処理へと進む。 The controller 52 determines whether or not there is an obstacle 8 within the projection range 5 in step S24. More specifically, the projection determination unit 52C determines whether or not the obstacle 8 exists within the projection range 5 based on the detection result of the obstacle 8 from the obstacle detection means 60 . When the projection determination unit 52C determines that the obstacle 8 exists within the projection range 5 (Yes in step S24), the control unit 52 generates the image 6 including the icon ICc pointing to the obstacle 8 in step S25. That is, the icon ICc is added to the image 6 generated in step S23. The control unit 52 causes the projection determination unit 52C to output the generated image 6 to the projection control unit 52D, and the process proceeds to step S26. On the other hand, when the projection determination unit 52C determines that there is no obstacle 8 within the projection range 5 (No in step S24), the control unit 52 omits the processing of step S25 and proceeds to the processing of step S26.

制御部52は、ステップS26として、ステップS23またはステップS25で生成された画像6をプロジェクタ20から投影させる。すなわち、投影制御部52Dが、投影決定部52Cから取得した画像6が走行面の投影範囲5に投影されるように、プロジェクタ20を制御する。これにより、ステップS24で投影範囲5内に障害物8があると判定された場合には、ステップS25で生成された障害物8を指し示すアイコンICcを含む画像6が投影される。 In step S26, the control section 52 causes the projector 20 to project the image 6 generated in step S23 or step S25. That is, the projection control unit 52D controls the projector 20 so that the image 6 acquired from the projection determination unit 52C is projected onto the projection range 5 of the running surface. Accordingly, when it is determined in step S24 that the obstacle 8 exists within the projection range 5, the image 6 including the icon ICc pointing to the obstacle 8 generated in step S25 is projected.

制御部52は、以上のステップS21からステップS26の処理を所定時間ごとに繰り返し実行する。これにより、図10に示すように、プロジェクタ20の投影範囲5に、ラインL1およびアイコンICaに加えて、アイコンICcを含む画像が投影される。ラインL1、アイコンICaおよびアイコンICcを含む画像6は、無人移動体10の移動に伴って常時更新されていく。 The control unit 52 repeatedly executes the processing from step S21 to step S26 at predetermined time intervals. As a result, as shown in FIG. 10, an image including icon ICc is projected onto projection range 5 of projector 20 in addition to line L1 and icon ICa. The image 6 including the line L1, the icon ICa and the icon ICc is constantly updated as the unmanned mobile body 10 moves.

以上説明したように、第2実施形態にかかる無人移動装置200は、無人移動体10に搭載され、無人移動体10の周辺の障害物8を検出する障害物検出手段60をさらに備え、制御装置50は、障害物検出手段60により投影範囲5内に障害物8が検出されたとき、プロジェクタ20から障害物8の位置に、障害物8を指し示すアイコンICcを投影させる。 As described above, the unmanned mobile device 200 according to the second embodiment is mounted on the unmanned mobile body 10 and further includes the obstacle detection means 60 for detecting the obstacle 8 around the unmanned mobile body 10. When the obstacle detection means 60 detects the obstacle 8 within the projection range 5, the control device 50 causes the projector 20 to project the icon ICc pointing to the obstacle 8 at the position of the obstacle 8.

この構成により、プロジェクタ20から障害物8を指し示すアイコンICcを投影させるため、例えば障害物8が人間(作業員7)である場合には、アイコンICcを自ら視認することができ、また、周囲にいる他の人間がアイコンICcを視認して警告するといった対応を取ることが可能となる。また、例えば障害物8が人間でない場合には、周囲にいる他の人間がアイコンICcを視認して、無人移動体10と障害物8との衝突を回避させるよう障害物8の位置を変更するといった対応をとることが可能となる。 With this configuration, since the icon ICc pointing to the obstacle 8 is projected from the projector 20, for example, when the obstacle 8 is a person (worker 7), the icon ICc can be visually recognized by oneself, and other persons in the surroundings can visually recognize the icon ICc and give a warning. Further, for example, when the obstacle 8 is not a human, other people in the vicinity can visually recognize the icon ICc and change the position of the obstacle 8 so as to avoid collision between the unmanned mobile body 10 and the obstacle 8.例文帳に追加

第1実施形態および第2実施形態では、無人移動装置100がプロジェクタ20を1つ備える例を説明した。ただし、プロジェクタ20は、無人移動体10に複数搭載されてもよい。図11は、プロジェクタを複数備えた無人移動装置の構成例を示す説明図である。図11に示す無人移動装置300では、例えば無人移動体10の上面に、複数のプロジェクタ20を異なる方向に向けて取り付ける。それにより、複数のプロジェクタ20から無人移動体10の周囲を囲むように投影範囲5を形成することができる。その結果、より広い範囲に画像6を表示させることができる。 In the first embodiment and the second embodiment, an example in which the unmanned mobile device 100 includes one projector 20 has been described. However, a plurality of projectors 20 may be mounted on the unmanned mobile body 10 . FIG. 11 is an explanatory diagram showing a configuration example of an unmanned mobile device having a plurality of projectors. In the unmanned mobile device 300 shown in FIG. 11, for example, a plurality of projectors 20 are attached to the upper surface of the unmanned mobile body 10 facing different directions. Thereby, the projection range 5 can be formed so as to surround the unmanned mobile body 10 from the plurality of projectors 20 . As a result, the image 6 can be displayed in a wider range.

第1実施形態および第2実施形態において、無人移動体10は、移動台車とした。これにより、無人移動体10を簡易な構成とすることができる。ただし、無人移動体10は、移動台車に限られない。無人移動体10は、例えば2足以上の足を有する多足ロボットであってもよい。それにより、移動台車に比べて、より複雑な走行面を移動させることができる。また、無人移動体10は、例えばドローンのような飛行体であってもよい。それにより、地面、床面または路面を移動する場合に比べて、移動時の制約を受けにくくなる。なお、無人移動体10が飛行体である場合にも、プロジェクタ20からは、地面、床面または路面に向けて画像6を投影すればよい。 In 1st Embodiment and 2nd Embodiment, the unmanned mobile body 10 was used as the mobile trolley. This allows the unmanned mobile body 10 to have a simple configuration. However, the unmanned mobile body 10 is not limited to a mobile cart. The unmanned mobile body 10 may be, for example, a multi-legged robot having two or more legs. As a result, a more complicated running surface can be moved compared to a mobile trolley. Also, the unmanned mobile object 10 may be a flying object such as a drone. As a result, compared to moving on the ground, floor surface, or road surface, it is less likely to be restricted during movement. Even if the unmanned mobile object 10 is a flying object, the image 6 may be projected from the projector 20 toward the ground, floor surface, or road surface.

5 投影範囲
6 画像
7 作業員
8 障害物
10 無人移動体
10a 車輪
11 本体
12 駆動装置
20 プロジェクタ
30 カメラ
40 位置検出手段
50 制御装置
51 記憶部
51A 地図データ
51B ルートデータ
51C アイコンデータ
52 制御部
52A 移動制御部
52B 移動・動作特定部
52C 投影決定部
52D 投影制御部
60 障害物検出手段
100,200,300 無人移動装置
ICa,ICb,ICc アイコン
ICa1 一時停止アイコン
ICa2 撮影アイコン
L1 ライン
5 projection range 6 image 7 worker 8 obstacle 10 unmanned mobile body 10a wheel 11 main body 12 driving device 20 projector 30 camera 40 position detection means 50 control device 51 storage unit 51A map data 51B route data 51C icon data 52 control unit 52A movement control unit 52B movement/motion specifying unit 52C projection determination Part 52D Projection Control Part 60 Obstacle Detection Means 100, 200, 300 Unmanned Mobile Device ICa, ICb, ICc Icon ICa1 Pause Icon ICa2 Photographing Icon L1 Line

Claims (7)

無人移動体と、
前記無人移動体に搭載され、所定の投影範囲内に画像を投影させる投影装置と、
前記無人移動体に搭載され、所定の撮影範囲を撮影する撮影装置と、
前記無人移動体および前記投影装置を制御する制御装置と、
を備え、
前記制御装置は、予め定められた移動経路に沿って前記無人移動体を移動させながら、前記投影装置から前記投影範囲内に、前記投影範囲内で前記無人移動体が移動する予定となる前記移動経路である予定移動経路を示すラインを投影させ
前記移動経路上には、装置の実行予定動作が予め定められており、
前記制御装置は、前記投影装置から前記ライン上に前記実行予定動作の内容を模式化して表すアイコンを投影させ、
前記実行予定動作は、前記撮影装置を用いた作業現場の撮影であることを特徴とする無人移動装置。
an unmanned vehicle;
a projection device mounted on the unmanned mobile body for projecting an image within a predetermined projection range;
a photographing device mounted on the unmanned mobile body for photographing a predetermined photographing range;
a control device that controls the unmanned mobile body and the projection device;
with
The control device moves the unmanned mobile body along a predetermined movement path, and projects a line indicating a planned movement path, which is the movement path along which the unmanned mobile body is scheduled to move within the projection range, from the projection device into the projection range ,
An operation scheduled to be executed by the device is predetermined on the movement route,
The control device causes the projection device to project onto the line an icon that schematically represents the content of the action to be executed;
The unmanned mobile device , wherein the scheduled execution operation is photography of a work site using the photography device .
前記制御装置は、前記アイコンをアニメーションで投影させることを特徴とする請求項1に記載の無人移動装置。 2. The unmanned mobile device according to claim 1, wherein the control device projects the icon by animation . 前記制御装置は、前記投影装置から、前記無人移動体が前記予定移動経路を進行する方向である進行方向を指し示すアイコンを投影させることを特徴とする請求項1または請求項2に記載の無人移動装置。 3. The unmanned mobile device according to claim 1, wherein the control device causes the projection device to project an icon indicating a traveling direction in which the unmanned mobile body travels along the planned travel route. 前記制御装置は、前記予定移動経路に基づいて前記進行方向を特定し、前記投影装置から、特定した前記進行方向を指し示す前記アイコンを投影させることを特徴とする請求項3に記載の無人移動装置。 4. The unmanned mobile device according to claim 3, wherein the control device identifies the traveling direction based on the planned movement route, and causes the projection device to project the icon pointing to the identified traveling direction. 前記移動経路上には、前記進行方向を指し示す前記アイコンが予め定められており、
前記制御装置は、前記投影装置から、前記移動経路上に予め定められた前記進行方向を指し示す前記アイコンを投影させることを特徴とする請求項3に記載の無人移動装置。
The icon indicating the traveling direction is predetermined on the movement route,
4. The unmanned mobile device according to claim 3, wherein the control device causes the projection device to project the icon indicating the predetermined traveling direction on the movement path.
前記無人移動体に搭載され、前記無人移動体の周辺の障害物を検出する障害物検出手段をさらに備え、
前記制御装置は、前記障害物検出手段により前記投影範囲内に前記障害物が検出されたとき、前記投影装置から前記障害物の位置に、前記障害物を指し示すアイコンを投影させることを特徴とする請求項1から請求項5のいずれか一項に記載の無人移動装置。
Further comprising obstacle detection means mounted on the unmanned mobile body for detecting obstacles around the unmanned mobile body,
6. The unmanned mobile device according to any one of claims 1 to 5, wherein, when the obstacle is detected within the projection range by the obstacle detection means, the control device causes the projection device to project an icon pointing to the obstacle at the position of the obstacle.
前記無人移動体は、移動台車、2足以上の足を有する多足ロボットおよび飛行体のいずれかであることを特徴とする請求項1から請求項6のいずれか一項に記載の無人移動装置。 The unmanned mobile device according to any one of claims 1 to 6, wherein the unmanned mobile body is one of a mobile cart, a multi-legged robot having two or more legs, and a flying body.
JP2019051794A 2019-03-19 2019-03-19 unmanned mobile device Active JP7312582B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019051794A JP7312582B2 (en) 2019-03-19 2019-03-19 unmanned mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019051794A JP7312582B2 (en) 2019-03-19 2019-03-19 unmanned mobile device

Publications (2)

Publication Number Publication Date
JP2020154635A JP2020154635A (en) 2020-09-24
JP7312582B2 true JP7312582B2 (en) 2023-07-21

Family

ID=72559150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019051794A Active JP7312582B2 (en) 2019-03-19 2019-03-19 unmanned mobile device

Country Status (1)

Country Link
JP (1) JP7312582B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022162371A (en) * 2021-04-12 2022-10-24 日野自動車株式会社 Information display device
JP7320565B2 (en) * 2021-07-06 2023-08-03 株式会社関電工 Building material transport robot and building material transport system
JP7586020B2 (en) * 2021-07-27 2024-11-19 トヨタ自動車株式会社 Mobile
WO2023088316A1 (en) * 2021-11-16 2023-05-25 深圳市普渡科技有限公司 Interaction method and apparatus for mobile robot, and mobile robot and storage medium
CN114125412B (en) * 2021-12-06 2024-08-23 十乘十(北京)科技发展有限公司 Projection method, apparatus, electronic device and readable storage medium
CN114683284B (en) * 2022-03-24 2024-05-17 上海擎朗智能科技有限公司 Control method, control device, autonomous mobile equipment and storage medium
JP2024018270A (en) * 2022-07-29 2024-02-08 住友重機械工業株式会社 Work support systems, work machines, projection devices, control devices
JP7809042B2 (en) * 2022-10-05 2026-01-30 三菱電機株式会社 Mobile vehicles and platooning systems
KR102615626B1 (en) * 2022-10-31 2023-12-20 한국철도기술연구원 Method for visually or aurally providing information to guide driving and autonomous mobile robot for carrying out the method
JP2025038405A (en) * 2023-09-07 2025-03-19 愛知機械テクノシステム株式会社 Automated guided vehicles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009113190A (en) 2007-11-09 2009-05-28 Toyota Motor Corp Autonomous robot and autonomous robot control method
JP2009202866A (en) 2008-01-31 2009-09-10 Yaskawa Electric Corp Moving body
JP2011186838A (en) 2010-03-09 2011-09-22 Toyota Motor Corp Obstacle detection apparatus, autonomous mobile object, and obstacle detection method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009113190A (en) 2007-11-09 2009-05-28 Toyota Motor Corp Autonomous robot and autonomous robot control method
JP2009202866A (en) 2008-01-31 2009-09-10 Yaskawa Electric Corp Moving body
JP2011186838A (en) 2010-03-09 2011-09-22 Toyota Motor Corp Obstacle detection apparatus, autonomous mobile object, and obstacle detection method

Also Published As

Publication number Publication date
JP2020154635A (en) 2020-09-24

Similar Documents

Publication Publication Date Title
JP7312582B2 (en) unmanned mobile device
JP4844453B2 (en) Robot teaching apparatus and teaching method
JP6601554B2 (en) Unmanned aerial vehicle, unmanned aircraft control system, flight control method, and computer program
US8271132B2 (en) System and method for seamless task-directed autonomy for robots
Doroodgar et al. The search for survivors: Cooperative human-robot interaction in search and rescue environments using semi-autonomous robots
KR102711860B1 (en) Method and system for performing remote-controlled parking maneuvers with a vehicle using a mobile terminal device
KR20180055571A (en) Mobile Robot System, Mobile Robot And Method Of Controlling Mobile Robot System
CN110858098A (en) Self-driven mobile robot using human-robot interaction
WO2021192579A1 (en) Control device, control method, and computer program
EP2775365A1 (en) Remote control system
US20230022637A1 (en) Information processing apparatus, information processing method, and program
EP4466584B1 (en) Systems and methods for recording robot missions
CN118201743A (en) Device and method for controlling a robotic device
WO2021181791A1 (en) Danger degree calculation device, and device and method for controlling unmanned carrier vehicle
JP2022181105A (en) Moving body, controller and program therefor
JP5321214B2 (en) Mobile body and control method thereof
JP7602451B2 (en) Autonomous body movement control system, control device, and control method
JP2017107374A (en) Remote control system and device
Suprapto et al. Designing an Autonomous Vehicle Using Sensor Fusion Based on Path Planning and Deep Learning Algorithms
US20220397905A1 (en) Information processing apparatus, information processing method, and program
KR101912797B1 (en) Method for generating path plan of mobile robot
Takeda et al. Initial Localization of Mobile Robot Based on Expansion Resetting Without Manual Pose Adjustment in Robot Challenge Experiment
JP7563455B2 (en) MOBILE BODY CONTROL SYSTEM, CONTROL DEVICE, AND MOBILE BODY CONTROL METHOD
WO2023127337A1 (en) Information processing device, information processing method, and program
US20260093271A1 (en) System and method for controlling mobile body, and medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R150 Certificate of patent or registration of utility model

Ref document number: 7312582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350