Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5550671B2 - Autonomous traveling robot and traveling control method for autonomous traveling robot - Google Patents
[go: Go Back, main page]

JP5550671B2 - Autonomous traveling robot and traveling control method for autonomous traveling robot - Google Patents

Autonomous traveling robot and traveling control method for autonomous traveling robot Download PDF

Info

Publication number
JP5550671B2
JP5550671B2 JP2012075715A JP2012075715A JP5550671B2 JP 5550671 B2 JP5550671 B2 JP 5550671B2 JP 2012075715 A JP2012075715 A JP 2012075715A JP 2012075715 A JP2012075715 A JP 2012075715A JP 5550671 B2 JP5550671 B2 JP 5550671B2
Authority
JP
Japan
Prior art keywords
obstacle
avoidance
action
remote operation
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012075715A
Other languages
Japanese (ja)
Other versions
JP2013206237A (en
Inventor
敬祐 宇土
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso IT Laboratory Inc
Original Assignee
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso IT Laboratory Inc filed Critical Denso IT Laboratory Inc
Priority to JP2012075715A priority Critical patent/JP5550671B2/en
Publication of JP2013206237A publication Critical patent/JP2013206237A/en
Application granted granted Critical
Publication of JP5550671B2 publication Critical patent/JP5550671B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、自律走行ロボット及び自律をボットの走行を制御する方法に関する。   The present invention relates to an autonomously traveling robot and a method for controlling autonomously traveling of a bot.

外部環境を認識しながら環境地図を作成するとともに、当該環境地図に基づいて自律的に移動し動作するロボットが知られている。このような自律移動ロボットは、人間の移動と異なり外部環境を把握できる範囲が限られているため、完全に自律的に移動することは難しく、当該ロボットを外部から遠隔操作する必要が生じる。   A robot that creates an environment map while recognizing an external environment and moves and operates autonomously based on the environment map is known. Since such an autonomous mobile robot has a limited range in which the external environment can be grasped unlike human movement, it is difficult to move completely autonomously, and it is necessary to remotely control the robot from the outside.

例えば、特許文献1では、複数のロボットと当該ロボットを遠隔操作可能な操作端末から構成されるシステムが開示されており、当該ロボットが自律制御だけでは対応困難な状況になった場合に、ロボットからオペレータを呼び出す信号が出力され、適切な操作端末が選択され、当該選択された操作端末においてロボットの遠隔操作を行う。   For example, Patent Document 1 discloses a system that includes a plurality of robots and an operation terminal that can remotely control the robot. When the robot is in a situation that is difficult to deal with by autonomous control alone, A signal for calling the operator is output, an appropriate operation terminal is selected, and the robot is remotely operated at the selected operation terminal.

特開2007−190659号公報JP 2007-190659 A

しかしながら、特許文献1に記載の遠隔制御システムでは、自律走行が困難な場合に遠隔操作を行うことでロボットを確実に走行させることは可能であるものの、人物が絶えず存在する場所を移動する場合などは、当該人物に衝突する等の理由で自律走行が困難になる頻度が高い。かかる場合に、常に自律走行ロボットの遠隔操作が要求されると、遠隔操作を行うオペレータは常にロボットを監視する必要が生じるため、操作が煩雑となってしまう。   However, in the remote control system described in Patent Document 1, although it is possible to make the robot run reliably by performing a remote operation when autonomous running is difficult, it is possible to move a place where a person constantly exists, etc. Are more likely to be difficult to autonomously travel for reasons such as colliding with the person. In such a case, when the remote operation of the autonomous traveling robot is always requested, the operator who performs the remote operation always needs to monitor the robot, so that the operation becomes complicated.

本発明は、上記に鑑みなされたものであり、遠隔操作を行うオペレータの監視負担を軽減することのできる自律走行ロボット、及びかかる自律走行ロボットの走行を制御する方法を提供することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide an autonomous traveling robot that can reduce the monitoring burden on an operator who performs remote operation, and a method for controlling the traveling of the autonomous traveling robot. .

本発明に係る自律走行ロボットは、所定の経路に沿って移動するための駆動部と、外部環境の情報を取得する外部環境取得部と、前記外部環境の情報に基づき生成された環境地図を記憶する環境地図記憶部と、現在位置から目的地までの移動経路を設定する経路設定部と、外部環境取得部において前記移動経路内の障害物が検出されたときに、当該障害物を回避するよう前記駆動部を制御するか、あるいは遠隔操作を促す信号を出力するかを決定する行動選択部と、前記遠隔操作を促す信号を外部端末に送信するとともに、遠隔操作を指示する信号を前記外部端末から受信する送受信部とを備えた構成を有する。   An autonomous mobile robot according to the present invention stores a drive unit for moving along a predetermined route, an external environment acquisition unit for acquiring information on an external environment, and an environment map generated based on the information on the external environment. An environment map storage unit, a route setting unit for setting a travel route from the current position to the destination, and an external environment acquisition unit to avoid the obstacle when the obstacle in the travel route is detected An action selection unit that determines whether to control the driving unit or to output a signal that prompts a remote operation, and transmits a signal that prompts the remote operation to an external terminal and a signal that instructs the remote operation to the external terminal And a transmission / reception unit for receiving from the terminal.

かかる構成により、自律走行ロボットは、例えば周囲の状況に応じて、障害物を回避するか遠隔操作を要求するかを選択するようになるため、常に遠隔操作を要求することはなく、遠隔操作を行うオペレータの監視負担を軽減することができる。   With this configuration, the autonomous mobile robot selects whether to avoid an obstacle or to request a remote operation according to the surrounding situation, for example. The monitoring burden of the operator who performs can be reduced.

本発明に係る自律走行ロボットは、障害物を遠隔操作により回避した際の回避行動の情報を記憶する回避行動記憶部をさらに備え、前記行動選択部は、前記移動経路内の障害物を回避する場合には、前記回避行動記憶部に記憶された過去の回避行動の情報に基づき回避行動を選択する構成を有する。かかる構成により、過去の回避行動の履歴に応じた回避行動を選択することができるから、障害物を効率よく回避することができる。   The autonomous mobile robot according to the present invention further includes an avoidance action storage unit that stores information of avoidance actions when an obstacle is avoided by remote control, and the action selection unit avoids the obstacle in the moving route. In some cases, the avoidance action is selected based on the past avoidance action information stored in the avoidance action storage unit. With such a configuration, it is possible to select an avoidance action according to the history of past avoidance actions, and therefore it is possible to efficiently avoid an obstacle.

また、遠隔操作により障害物を回避したときに、前記回避行動記憶部に記憶された回避行動の情報を更新することが好ましく、これにより、回避行動の内容を蓄積することで以後の自律移動を改良することが可能となる。   In addition, when avoiding an obstacle by remote operation, it is preferable to update the avoidance action information stored in the avoidance action storage unit. It becomes possible to improve.

また、前記回避行動記憶部は、回避行動のタイプを示す情報と、障害物のタイプを示す情報とを対応付けて記憶しており、前記行動選択部は、前記移動経路内の障害物を回避する場合には、前記障害物に対応する回避行動の情報を前記回避行動記憶部から抽出して回避行動を選択することが好ましい。これにより、障害物のタイプに応じた回避行動を選択することが可能となる。   The avoidance action storage unit stores information indicating the type of avoidance action and information indicating the type of obstacle in association with each other, and the action selection unit avoids the obstacle in the movement route. In this case, it is preferable to select the avoidance action by extracting the avoidance action information corresponding to the obstacle from the avoidance action storage unit. Thereby, it is possible to select an avoidance action according to the type of obstacle.

本発明にかかる自律走行ロボットの走行制御方法は、所定の経路に沿って自律走行ロボットを移動するための駆動ステップと、外部環境の情報を取得する外部環境取得ステップと、前記外部環境の情報に基づき生成された環境地図を記憶する環境地図記憶ステップと、 現在位置から目的地までの移動経路を設定する経路設定ステップと、前記移動経路内の障害物が検出されたときに、当該障害物を回避するよう駆動制御を行うか、あるいは遠隔操作を促す信号を出力するかを決定する行動選択ステップと、前記遠隔操作を行う場合に、前記遠隔操作を促す信号を外部端末に送信するとともに、遠隔操作を指示する信号を前記外部端末から受信するステップと、を備えた構成を有する。かかる構成によっても、常に遠隔操作を要求することはなく、遠隔操作を行うオペレータの監視負担を軽減するという効果を有する。   The traveling control method for an autonomous traveling robot according to the present invention includes a driving step for moving the autonomous traveling robot along a predetermined route, an external environment acquiring step for acquiring external environment information, and the external environment information. An environment map storage step for storing the generated environment map, a route setting step for setting a movement route from the current position to the destination, and an obstacle in the movement route when the obstacle is detected. An action selection step for determining whether to perform drive control to avoid or to output a signal for prompting remote operation; and, when performing the remote control, transmitting a signal for prompting the remote control to an external terminal, Receiving a signal instructing operation from the external terminal. Even with such a configuration, the remote operation is not always requested, and the monitoring burden on the operator who performs the remote operation is reduced.

本発明によれば、障害物を回避するために自律走行ロボットの遠隔操作を行うオペレータの監視負担を軽減することのできるという効果を奏する。   According to the present invention, it is possible to reduce the monitoring burden on an operator who performs remote operation of an autonomous traveling robot to avoid an obstacle.

本発明の実施形態に係る自律走行ロボットと操作端末の構成を示すブロック図The block diagram which shows the structure of the autonomous running robot and operation terminal which concern on embodiment of this invention. 環境地図の一例を示す説明図An explanatory diagram showing an example of an environmental map 環境地図上に現在位置と目的地が設定された状態を示す説明図Explanatory diagram showing the current position and destination set on the environment map 回避行動記憶部に記憶された情報の一例を示す説明図Explanatory drawing which shows an example of the information memorize | stored in the avoidance action memory | storage part 回避行動の一例を示す説明図Explanatory diagram showing an example of avoidance behavior 自律走行ロボットの移動動作の一例を示すフローチャートFlow chart showing an example of movement operation of an autonomous traveling robot

本発明の好適な実施形態について、図面を参照しつつ説明する。図1は、本発明の一実施形態に係る自律走行ロボット10と操作端末50の構成を示すブロック図である。自律走行ロボット10と操作端末50とは、周知の無線通信回線によって、直接あるいはインターネット回線を介して接続されている。また、操作端末50には、複数の自律走行ロボット10が接続されていても良い。   A preferred embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an autonomous mobile robot 10 and an operation terminal 50 according to an embodiment of the present invention. The autonomous mobile robot 10 and the operation terminal 50 are connected by a well-known wireless communication line directly or via an Internet line. In addition, a plurality of autonomous traveling robots 10 may be connected to the operation terminal 50.

自律走行ロボット10は、外部環境取得部12、駆動部14、環境地図生成部16、地図記憶部18、経路設定部20、回避行動記憶部22、行動選択部24及び送受信部26を備える。 The autonomous mobile robot 10 includes an external environment acquisition unit 12, a drive unit 14, an environment map generation unit 16, a map storage unit 18, a route setting unit 20, an avoidance action storage unit 22, an action selection unit 24, and a transmission / reception unit 26.

外部環境取得部12は、少なくとも撮像部30、距離検出部32、位置検出部34及び方向検出部36を備えており、自律走行ロボット10の位置情報及び外部環境に関する情報(環境情報)を取得する。   The external environment acquisition unit 12 includes at least an imaging unit 30, a distance detection unit 32, a position detection unit 34, and a direction detection unit 36, and acquires position information of the autonomous mobile robot 10 and information (environment information) about the external environment. .

撮像部30は、例えばCCDカメラまたはCMOSカメラであり、自律走行ロボット10の前方の物体を撮像して、当該物体に対応する画像データとして出力する。距離検出部32は、自律走行ロボット10の前方に存在する物体までの距離を計測するものであり、例えばレーザレンジファインダ、超音波センサといった各種のセンサを用いることができる。   The imaging unit 30 is, for example, a CCD camera or a CMOS camera, and images an object in front of the autonomous mobile robot 10 and outputs it as image data corresponding to the object. The distance detection unit 32 measures the distance to an object existing in front of the autonomous mobile robot 10, and various sensors such as a laser range finder and an ultrasonic sensor can be used.

位置検出部34は、自律走行ロボット10の現在位置を検出するものであり、例えばレーザレンジファインダから得られる対象物との距離情報を後述の環境地図と照合することで、現在位置情報を取得する。あるいは、位置検出部34としてGPS受信機を用いても良い。方向検出部36は、例えばジャイロセンサであり、自律走行ロボット10の進行方向(ロボットが向いている方向)を検出する。   The position detection unit 34 detects the current position of the autonomous mobile robot 10, and acquires current position information by comparing distance information with an object obtained from a laser range finder, for example, with an environment map described later. . Alternatively, a GPS receiver may be used as the position detection unit 34. The direction detection unit 36 is, for example, a gyro sensor, and detects the traveling direction of the autonomous traveling robot 10 (the direction in which the robot is facing).

駆動部14は、自律走行ロボット10の頭部、手、足、胴体等の各部に取り付けられた複数のモータ及びこれらモータを駆動する駆動回路から構成され、外部環境取得部12で得られた各種の環境情報に基づき、あるいは、操作端末50を介した遠隔操作に応答して、自律走行ロボット10を移動する。   The drive unit 14 includes a plurality of motors attached to the respective parts of the autonomous traveling robot 10 such as the head, hands, feet, and torso, and drive circuits that drive these motors, and various types obtained by the external environment acquisition unit 12. The autonomous mobile robot 10 is moved based on the environmental information or in response to a remote operation via the operation terminal 50.

環境地図生成部16は、外部環境取得部12で取得された環境情報に基づいて環境地図を生成する。環境地図としては、例えば自律走行ロボット10の移動環境を示すエリアを2次元格子で区切ったグリッド上の地図を用いることができ、位置情報と自律走行ロボット10が移動可能か否かを示す情報が、個々のグリッドに対応して設けられる。環境地図は、例えばSLAM(Simultaneous Localization and Mapping)を適用して作成することができる。生成された環境地図情報は、環境地図記憶部18に格納される。環境地図記憶部18としては、例えば不揮発性メモリやハードディスクといった記憶媒体を用いることができる。   The environment map generation unit 16 generates an environment map based on the environment information acquired by the external environment acquisition unit 12. As the environment map, for example, a map on a grid obtained by dividing an area indicating the movement environment of the autonomous mobile robot 10 by a two-dimensional grid can be used, and position information and information indicating whether the autonomous mobile robot 10 can move are included. , Provided corresponding to individual grids. The environmental map can be created by applying, for example, SLAM (Simultaneous Localization and Mapping). The generated environmental map information is stored in the environmental map storage unit 18. As the environmental map storage unit 18, for example, a storage medium such as a nonvolatile memory or a hard disk can be used.

図2は、自律走行ロボット10によって生成された環境地図の一例を示したものである。環境地図60は、自律走行ロボット10が走行済みのエリア62(図2で斜線が引かれていない部分)と、未走行のエリア64と(図2の斜線部分)、壁を示すエリア66を含む。   FIG. 2 shows an example of an environment map generated by the autonomous mobile robot 10. The environment map 60 includes an area 62 in which the autonomous mobile robot 10 has traveled (a portion not shaded in FIG. 2), an untraveled area 64 (a shaded portion in FIG. 2), and an area 66 indicating a wall. .

走行済みエリア62は、自律走行ロボット10が過去に走行したことがある、あるいは、外部環境取得部12により障害物がないことが検出されたグリッドに対応しており、自律走行ロボット10が走行可能なエリアであることを示す。未走行エリア64は、自律走行ロボット10が走行していない、あるいは、障害物がないことが検出されていないエリアを示し、自律走行ロボット10が走行できないエリアであることを示す。壁エリア66は、外部環境取得部12により、自律走行ロボット10が走行できないことが検出されたグリッドに対応する。   The traveled area 62 corresponds to a grid in which the autonomous traveling robot 10 has traveled in the past or has been detected by the external environment acquisition unit 12 as having no obstacles, and the autonomous traveling robot 10 can travel. Indicates that this is an area. The non-traveling area 64 indicates an area where the autonomous traveling robot 10 is not traveling or where it is not detected that there is no obstacle, and indicates that the autonomous traveling robot 10 cannot travel. The wall area 66 corresponds to a grid where the external environment acquisition unit 12 has detected that the autonomous mobile robot 10 cannot travel.

経路設定部20は、操作端末50からの操作入力に応答して、環境地図上での自律走行ロボット10の目的地を設定するとともに、当該目的地に至る経路を設定する。図3に示すように、環境地図60上で、自律走行ロボット10の現在位置68と目的地70が定められると、経路設定部20は、当該目的地70に至る経路72を設定する。目的地に至る設定経路は、目的地と出発地とを直線で結ぶことで生成しても良く、あるいは、グリッド毎に移動コストを示すパラメータを設定しておき、移動コストの合計が最小となる経路を設定経路として定めても良い。   In response to an operation input from the operation terminal 50, the route setting unit 20 sets a destination of the autonomous mobile robot 10 on the environment map and sets a route to the destination. As shown in FIG. 3, when the current position 68 and the destination 70 of the autonomous mobile robot 10 are determined on the environment map 60, the route setting unit 20 sets a route 72 to reach the destination 70. The set route to the destination may be generated by connecting the destination and the starting point with a straight line, or a parameter indicating the movement cost is set for each grid, and the total movement cost is minimized. A route may be defined as a set route.

回避行動記憶部22は、操作端末50からの遠隔操作により自律走行ロボット10の移動がなされた場合に、当該操作の内容と、自律走行ロボット10の前方の物体の情報と、当該操作がなされた時間とを記憶する。遠隔操作時の前方の物体については、例えば撮像部32における撮像で得られた画像データに対し、所定のパターンマッチングを行うことで推定することができる。   When the autonomous traveling robot 10 is moved by remote operation from the operation terminal 50, the avoidance action storage unit 22 performs the operation, information on the object in front of the autonomous traveling robot 10, and the operation. Remember time. For example, the object in front of the remote operation can be estimated by performing predetermined pattern matching on the image data obtained by imaging in the imaging unit 32, for example.

図4は、回避行動記憶部22に記憶されたデータの一例を示したものである。遠隔操作がなされた日時と、その際に検出された障害物(自律走行ロボット10の前方の物体)と、回避行動(遠隔操作の内容)が示されている。例えば、3月4日の15時25分に、障害物としてテーブルが検出され、その際に右方向へ移動(右側に90度進路を変更して走行)したことが記録されている。また、3月4日の16時3分には、障害物として人物が検出され、その際に待機(動かない)したことが記録されている。このようにして、障害物が検出されて遠隔操作が行われたときの回避行動が記録される。   FIG. 4 shows an example of data stored in the avoidance action storage unit 22. The date and time when the remote operation was performed, the obstacle detected at that time (the object in front of the autonomous mobile robot 10), and the avoidance action (the contents of the remote operation) are shown. For example, at 15:25 on March 4, it is recorded that the table was detected as an obstacle and moved rightward (running 90 degrees to the right). In addition, at 16:03 on March 4, it is recorded that a person was detected as an obstacle and was on standby (does not move) at that time. In this way, the avoidance action when the obstacle is detected and the remote operation is performed is recorded.

なお、図4の例では、障害物及び回避行動が具体的な文章で記載されているが、障害物及び回避行動のタイプを示すコードを設けておき、回避行動記憶部22には特定の障害物及び特定の回避行動に対応したコードを記憶するようにしても良い。   In the example of FIG. 4, obstacles and avoidance actions are described in specific text, but codes indicating the types of obstacles and avoidance actions are provided, and specific obstacles are stored in the avoidance action storage unit 22. You may make it memorize | store the code | cord | chord corresponding to a thing and specific avoidance action.

行動選択部24は、設定経路を走行中の自律走行ロボット10が障害物を検出するなどして、走行することができない場合に、回避行動記憶部22に記憶された回避情報を用いて、当該障害物を回避するよう自律走行ロボット10の移動を制御するか、あるいは、操作端末50に対して遠隔操作を促す信号を出力する。   The behavior selection unit 24 uses the avoidance information stored in the avoidance behavior storage unit 22 when the autonomous traveling robot 10 traveling on the set route cannot travel because it detects an obstacle. The movement of the autonomous mobile robot 10 is controlled so as to avoid the obstacle, or a signal that prompts the operation terminal 50 to perform remote operation is output.

図5に示すように、自律走行ロボット10が設定経路72を走行中に、当該設定経路内に障害物74が存在すると、自律走行ロボット10はそのままでは走行できなくなる。このような場合に、行動選択部24は、撮像部を用いて当該障害物を撮像し、周知のパターンマッチングにより障害物のタイプを識別する。そして、行動選択部24は、回避行動記憶部22に記憶された過去の回避行動のデータから、同じタイプの障害物に対応する回避行動のデータを抽出し、抽出された回避行動の中から最も頻度の高い回避行動を選択する。あるいは、直近の一定時間における全ての回避行動のデータを抽出し、同じタイプの障害物に対応するデータに対しては重み付けの値を高くするなどして、最もスコアの高い回避行動を選択しても良い。さらに、直近の回避行動に対する重み値を高くするようにしても良い。   As shown in FIG. 5, when the autonomous traveling robot 10 travels on the set route 72 and an obstacle 74 exists in the set route, the autonomous traveling robot 10 cannot travel as it is. In such a case, the action selection unit 24 images the obstacle using the imaging unit, and identifies the type of the obstacle by well-known pattern matching. And the action selection part 24 extracts the data of the avoidance action corresponding to the obstacle of the same type from the data of the past avoidance action memorize | stored in the avoidance action memory | storage part 22, and most is extracted from the extracted avoidance action Select frequent avoidance actions. Or, select the avoidance action with the highest score by extracting all the avoidance action data for the most recent fixed time and increasing the weighting value for the data corresponding to the same type of obstacle. Also good. Furthermore, you may make it raise the weight value with respect to the latest avoidance action.

そして、行動選択部24は、選択された回避行動に従って、自律走行ロボット10を移動させる(図5の例ではもとの進行方向に対して右方向に移動する)。その後、経路設定部22により、新たな走行経路76が設定され、当該走行経路76に従って自律走行ロボット10を移動させる。   And the action selection part 24 moves the autonomous mobile robot 10 according to the selected avoidance action (in the example of FIG. 5, it moves rightward with respect to the original traveling direction). Thereafter, a new traveling route 76 is set by the route setting unit 22, and the autonomous traveling robot 10 is moved according to the traveling route 76.

行動選択部24は、かかる回避行動に従っても自律走行ロボット10が移動できない場合、または、自律走行ロボット10の位置が検出できない場合には、自律での移動が困難と判断して、操作端末50に対して遠隔操作を促す信号(遠隔操作指示信号)を出力する。   The action selection unit 24 determines that it is difficult to move autonomously when the autonomous traveling robot 10 cannot move even in accordance with the avoidance action or the position of the autonomous traveling robot 10 cannot be detected. On the other hand, a signal for prompting remote operation (remote operation instruction signal) is output.

送受信部26は、撮像部32で得られた画像データ、自律走行ロボット10の現在位置を示す現在位置データ、環境地図データ、遠隔操作指示データといった各種データを操作端末50に送信し、また、遠隔操作が行われる場合には、操作端末50から操作指示の内容を示す指示内容データを受信する。   The transmission / reception unit 26 transmits various data such as image data obtained by the imaging unit 32, current position data indicating the current position of the autonomous mobile robot 10, environmental map data, and remote operation instruction data to the operation terminal 50. When the operation is performed, the instruction content data indicating the content of the operation instruction is received from the operation terminal 50.

操作端末50は、例えば汎用のコンピュータ装置であり、送受信部52、操作入力部54と表示部56を備えている。送受信部52は、自律走行ロボット10より、撮像で得られた画像データ、現在位置データ、環境地図データ、遠隔操作指示データといった各種データを受信するとともに、遠隔操作の内容を示す指示内容データを送信する。操作入力部54は、例えばキーボードやマウスといった入力デバイスであり、自律走行ロボット10の目的地の設定、遠隔操作の入力等を行う際にオペレータによって操作される。   The operation terminal 50 is a general-purpose computer device, for example, and includes a transmission / reception unit 52, an operation input unit 54, and a display unit 56. The transmission / reception unit 52 receives various data such as image data, current position data, environmental map data, and remote operation instruction data obtained by imaging from the autonomous mobile robot 10 and transmits instruction content data indicating the contents of the remote operation. To do. The operation input unit 54 is an input device such as a keyboard or a mouse, for example, and is operated by an operator when setting the destination of the autonomous mobile robot 10 or inputting a remote operation.

表示部56は、例えば液晶ディスプレイであり、自律走行ロボット10より受信した画像データに基づき、自律走行ロボット10の前方の画像を表示する。また、表示部56は、操作端末50が自律走行ロボット10から遠隔操作指示データを受信したときに、操作端末のオペレータに対して遠隔操作を促すためのメッセージを出力する。なお、操作端末50が複数の自律走行ロボット10と接続されている場合には、遠隔操作を指示すべき自律走行ロボットの識別情報もあわせて表示される。さらに、表示部56は、自律走行ロボット10より受信した現在位置データ及び環境地図データに基づき、自律走行ロボット10の位置を示した環境地図を表示しても良い。   The display unit 56 is, for example, a liquid crystal display, and displays an image in front of the autonomous mobile robot 10 based on image data received from the autonomous mobile robot 10. In addition, when the operation terminal 50 receives remote operation instruction data from the autonomous mobile robot 10, the display unit 56 outputs a message for prompting the operator of the operation terminal to perform remote operation. When the operation terminal 50 is connected to a plurality of autonomous traveling robots 10, identification information of the autonomous traveling robot to be instructed for remote operation is also displayed. Further, the display unit 56 may display an environment map indicating the position of the autonomous mobile robot 10 based on the current position data and the environmental map data received from the autonomous mobile robot 10.

以下、上記構成による自律走行ロボット10の移動動作の一例について、図6のフローチャートを用いて説明する。自律走行ロボット10の目的地への自律移動を行うにあたり、自律走行ロボット10は、例えばオペレータによる外部操作を受けて、走行経路を含む一定のエリアを事前に走行し、当該走行エリアに対応する環境地図を予め作成しておく。あるいは、図示しない外部のサーバーから環境地図を予めダウンロードし、これを地図記憶部18に記憶しても良い。   Hereinafter, an example of the movement operation of the autonomous mobile robot 10 having the above configuration will be described with reference to the flowchart of FIG. In performing autonomous movement of the autonomous traveling robot 10 to the destination, the autonomous traveling robot 10 travels in advance in a certain area including a traveling route in response to an external operation by an operator, for example, and an environment corresponding to the traveling area. Create a map in advance. Alternatively, an environmental map may be downloaded in advance from an external server (not shown) and stored in the map storage unit 18.

自律走行ロボット10は、操作端末50より目的地の位置情報を受信すると、経路設定部20は、環境地図に目的地を設定するとともに、環境情報取得部12より取得した現在位置の情報より走行経路を設定する(S11)。   When the autonomous traveling robot 10 receives the position information of the destination from the operation terminal 50, the route setting unit 20 sets the destination on the environment map and also travels from the current position information acquired from the environment information acquisition unit 12. Is set (S11).

走行経路が設定されると、自律走行ロボット10は、駆動部14を駆動して、設定された走行経路に従って移動する(S12)。そして、撮像部30で得られた画像、あるいは、距離検出部32で検出された物体までの距離に基づき、走行経路上に障害物が存在するか否かを判定する(S13)。障害物があることが検出されると(S13で「Y」)、行動選択部24は、回避行動記憶部20に記憶された過去の回避行動の情報に基づき、回避行動を選択する(S14)。   When the travel route is set, the autonomous traveling robot 10 drives the drive unit 14 and moves according to the set travel route (S12). Then, based on the image obtained by the imaging unit 30 or the distance to the object detected by the distance detection unit 32, it is determined whether there is an obstacle on the travel route (S13). When it is detected that there is an obstacle (“Y” in S13), the action selection unit 24 selects an avoidance action based on the past avoidance action information stored in the avoidance action storage unit 20 (S14). .

回避行動の結果、障害物が回避できたか否か(自律走行ロボット10が移動しているか否か、または、自律走行ロボット10の位置が検出できたか否か)を判定する(S15)。障害物が回避できない場合(S15で「N」)、行動選択部24は遠隔操作要求信号を出力する(S36)。遠隔操作要求信号は、送受信部26を介して操作端末50に送信される。   As a result of the avoidance action, it is determined whether or not an obstacle has been avoided (whether the autonomous mobile robot 10 has moved or whether the position of the autonomous mobile robot 10 has been detected) (S15). When an obstacle cannot be avoided (“N” in S15), the action selection unit 24 outputs a remote operation request signal (S36). The remote operation request signal is transmitted to the operation terminal 50 via the transmission / reception unit 26.

その後、自律走行ロボット10は、操作端末50からの遠隔操作指示を受信し、当該指示内容に従い駆動部14を駆動して、自律走行ロボット10を移動する(S37)。障害物が回避されると、操作端末50のオペレータから遠隔操作を解除する信号が受信され、遠隔操作が解除される(S38)。   Thereafter, the autonomous mobile robot 10 receives a remote operation instruction from the operation terminal 50, drives the drive unit 14 according to the content of the instruction, and moves the autonomous mobile robot 10 (S37). When the obstacle is avoided, a signal for canceling the remote operation is received from the operator of the operation terminal 50, and the remote operation is canceled (S38).

このとき、自律走行ロボット10は、操作端末からの遠隔操作の内容を、操作がなされた日時及び障害物のタイプと関連づけて、回避行動記憶部20に記憶する(S39)。これにより、遠隔操作による障害物の回避内容が自律走行ロボット10に蓄積され、以後に障害物を検出した場合に過去の回避内容を参照しつつ、効果的に障害物を回避することが可能となる。   At this time, the autonomous mobile robot 10 stores the contents of the remote operation from the operation terminal in the avoidance action storage unit 20 in association with the date and time of the operation and the type of obstacle (S39). As a result, obstacle avoidance contents by remote operation are accumulated in the autonomous mobile robot 10, and it is possible to avoid obstacles effectively while referring to past avoidance contents when an obstacle is detected thereafter. Become.

ステップS13で障害物が検出されなかった場合、ステップS15で障害物が回避できた場合、あるいは、遠隔操作がなされた場合に、自律走行ロボット10は現在位置を検出して目的地に到達したか否かを判定する(S20)。そして、目的地に到達した場合には自律走行を終了し、そうでない場合にはステップS12に戻り、再び同様の処理を行う。   If no obstacle was detected in step S13, if the obstacle could be avoided in step S15, or if a remote operation was performed, whether the autonomous mobile robot 10 detected the current position and reached the destination It is determined whether or not (S20). If the destination is reached, the autonomous running is terminated. If not, the process returns to step S12 and the same processing is performed again.

このように、過去になされた遠隔操作の内容を記憶しておき、障害物が検出された場合に適切な回避行動を選択することにより、遠隔操作の頻度を減らすことができ、オペレータの負担を軽減することができる。したがって、自律移動ロボットの動作制御の効率化を図ることが可能となる。   In this way, by storing the contents of remote operations performed in the past and selecting an appropriate avoidance action when an obstacle is detected, the frequency of remote operations can be reduced, reducing the burden on the operator. Can be reduced. Therefore, it is possible to improve the efficiency of operation control of the autonomous mobile robot.

上記実施形態では、障害物を検出したときに、まず障害物を回避するように移動し、それでも障害物を回避できなかった場合に遠隔操作を指示する信号を出力するようにしているが、本発明はこれに限られることはなく、例えば、障害物のタイプが検出できなかった場合、障害物のサイズが基準値よりも大きい場合、障害物が自律走行ロボットに接近する場合には、直ちに遠隔操作を促すようにしても良い。また、障害物を検出してから一定時間が経過しても当該障害物を回避できなかった場合に、遠隔操作を指示する信号を出力する用にしてもよい。   In the above embodiment, when an obstacle is detected, the vehicle first moves so as to avoid the obstacle, and if the obstacle is still not avoided, a signal for instructing remote operation is output. The invention is not limited to this. For example, when the type of obstacle cannot be detected, the size of the obstacle is larger than the reference value, or when the obstacle approaches the autonomous mobile robot, the remote control is immediately performed. An operation may be prompted. Further, when the obstacle cannot be avoided even after a certain time has elapsed since the obstacle was detected, a signal instructing remote operation may be output.

上記実施形態では、障害物が検出された場合に、過去の回避行動のデータに基づいて回避行動の内容を決定しているが、本発明はこれに限られることはなく、自律走行ロボット10の周囲のグリッドにおける移動コストを算出し、コストが最も小さい経路を選択するようにしても良い。あるいは、過去の回避行動の結果に応じて大まかな移動方向(左右どちらに移動するか)を決定した後に、移動コストが最も小さい経路を選択するようにしても良い。   In the above embodiment, when an obstacle is detected, the content of the avoidance action is determined based on the past avoidance action data, but the present invention is not limited to this, and the autonomous mobile robot 10 The travel cost in the surrounding grid may be calculated, and the route with the lowest cost may be selected. Alternatively, after determining a rough moving direction (whether to move left or right) according to the result of past avoidance behavior, a route with the lowest moving cost may be selected.

以上説明したように、本発明によれば、障害物が検出されたときに、過去の遠隔操作の内容に基づき、当該障害物を回避する行動をとるようにしたから、遠隔操作の頻度を減らすことができ、自律走行ロボットとして有用である。   As described above, according to the present invention, when an obstacle is detected, an action for avoiding the obstacle is performed based on the contents of the past remote operation, so the frequency of remote operation is reduced. It is useful as an autonomous traveling robot.

10 自律走行ロボット
12 外部環境取得部
16 環境地図生成部
18 地図記憶部
20 経路設定部
22 回避行動記憶部
24 行動選択部
30 撮像部
32 距離検出部
34 位置検出部
36 方向検出部
50 操作端末
60 環境地図
62 走行可能エリア
64 走行不能エリア
72 走行経路
DESCRIPTION OF SYMBOLS 10 Autonomous traveling robot 12 External environment acquisition part 16 Environmental map generation part 18 Map memory | storage part 20 Route setting part 22 Avoidance action memory | storage part 24 Action selection part 30 Imaging part 32 Distance detection part 34 Position detection part 36 Direction detection part 50 Operation terminal 60 Environmental map 62 Travelable area 64 Travel impossible area 72 Travel route

Claims (5)

所定の経路に沿って移動するための駆動部と、
外部環境の情報を取得する外部環境取得部と、
前記外部環境の情報に基づき生成された環境地図を記憶する環境地図記憶部と、
現在位置から目的地までの移動経路を設定する経路設定部と、
外部環境取得部において前記移動経路内の障害物が検出されたときに、当該障害物を回避するよう前記駆動部を制御するか、あるいは遠隔操作を促す信号を出力するかを決定する行動選択部と、
前記遠隔操作を促す信号を外部端末に送信するとともに、遠隔操作を指示する信号を前記外部端末から受信する送受信部と
遠隔操作により障害物を回避した際の回避行動の情報を記憶するとともに、回避行動のタイプを示す情報と、障害物のタイプを示す情報とを対応付けて記憶する回避行動記憶部を備え、
前記行動選択部は、前記移動経路内の障害物を回避する場合には、前記障害物に対応する回避行動の情報を前記回避行動記憶部から抽出して回避行動を選択することを特徴とする自律走行ロボット。
A drive unit for moving along a predetermined path;
An external environment acquisition unit for acquiring external environment information;
An environment map storage unit for storing an environment map generated based on the external environment information;
A route setting unit for setting a travel route from the current position to the destination;
When an external environment acquisition unit detects an obstacle in the movement route, the action selection unit determines whether to control the drive unit to avoid the obstacle or to output a signal for prompting a remote operation. When,
A transmitter / receiver for transmitting a signal for prompting remote operation to an external terminal, and receiving a signal for instructing remote operation from the external terminal ;
An avoidance behavior storage unit that stores information on avoidance behavior when avoiding an obstacle by remote operation, and stores information indicating the type of avoidance behavior and information indicating the type of obstacle,
The behavior selection unit, when avoiding an obstacle in the moving route, extracts avoidance behavior information corresponding to the obstacle from the avoidance behavior storage unit and selects the avoidance behavior Autonomous traveling robot.
遠隔操作により障害物を回避したときに、前記回避行動記憶部に記憶された回避行動の情報を更新することを特徴とする、請求項記載の自律走行ロボット。 When avoiding an obstacle by remote control, and updates the information of been evasive action stored in the evasive action storage unit, according to claim 1 autonomous mobile robot according. 前記行動選択部は、前記回避行動記憶部に記憶された過去の回避行動のデータから、同じタイプの障害物に対応する回避行動のデータを抽出し、抽出された回避行動の中から最も頻度の高い回避行動を選択することを特徴とする、請求項1又は2記載の自律走行ロボット。The action selection unit extracts avoidance action data corresponding to an obstacle of the same type from past avoidance action data stored in the avoidance action storage unit, and the most frequent of the extracted avoidance actions The autonomous traveling robot according to claim 1, wherein a high avoidance action is selected. 前記行動選択部は、前記回避行動記憶部に記憶された過去の回避行動のデータから、直近の一定時間における回避行動のデータを抽出して、回避行動のタイプ毎に重み付け演算により算出されたスコアが最も高い回避行動を選択するとともに、同じタイプの障害物に対応する重み付け値を高くすることを特徴とする、請求項1又は2記載の自律走行ロボット。The action selection unit extracts data of avoidance actions in the latest fixed time from the data of past avoidance actions stored in the avoidance action storage unit, and a score calculated by weighting calculation for each type of avoidance actions The autonomous traveling robot according to claim 1, wherein an avoidance action having the highest value is selected and a weighting value corresponding to an obstacle of the same type is increased. 所定の経路に沿って自律走行ロボットを移動するための駆動ステップと、
外部環境の情報を取得する外部環境取得ステップと、
前記外部環境の情報に基づき生成された環境地図を記憶する環境地図記憶ステップと、
現在位置から目的地までの移動経路を設定する経路設定ステップと、
前記移動経路内の障害物が検出されたときに、当該障害物を回避するよう駆動制御を行うか、あるいは遠隔操作を促す信号を出力するかを決定する行動選択ステップと、
前記遠隔操作を行う場合に、前記遠隔操作を促す信号を外部端末に送信するとともに、遠隔操作を指示する信号を前記外部端末から受信するステップと
遠隔操作により障害物を回避した際の回避行動の情報を記憶するとともに、回避行動のタイプを示す情報と、障害物のタイプを示す情報とを対応付けて記憶する回避行動記憶ステップとを備え、
前記移動経路内の障害物を回避する場合には、前記障害物に対応する回避行動の情報を抽出して回避行動を選択することを特徴とする自律走行ロボットの走行制御方法。

A driving step for moving the autonomous mobile robot along a predetermined route;
An external environment acquisition step for acquiring external environment information;
An environmental map storage step of storing an environmental map generated based on the information of the external environment;
A route setting step for setting a travel route from the current position to the destination;
When an obstacle in the movement path is detected, an action selection step for determining whether to perform drive control so as to avoid the obstacle or to output a signal prompting remote operation;
When performing the remote operation, transmitting a signal prompting the remote operation to an external terminal, and receiving a signal instructing the remote operation from the external terminal ;
Storing avoidance action information when avoiding an obstacle by remote operation, and including an avoidance action storage step of storing information indicating the type of avoidance action and information indicating the type of obstacle in association with each other,
A travel control method for an autonomous mobile robot , wherein when avoiding an obstacle in the movement route, information on avoidance action corresponding to the obstacle is extracted and the avoidance action is selected .

JP2012075715A 2012-03-29 2012-03-29 Autonomous traveling robot and traveling control method for autonomous traveling robot Expired - Fee Related JP5550671B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012075715A JP5550671B2 (en) 2012-03-29 2012-03-29 Autonomous traveling robot and traveling control method for autonomous traveling robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012075715A JP5550671B2 (en) 2012-03-29 2012-03-29 Autonomous traveling robot and traveling control method for autonomous traveling robot

Publications (2)

Publication Number Publication Date
JP2013206237A JP2013206237A (en) 2013-10-07
JP5550671B2 true JP5550671B2 (en) 2014-07-16

Family

ID=49525227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012075715A Expired - Fee Related JP5550671B2 (en) 2012-03-29 2012-03-29 Autonomous traveling robot and traveling control method for autonomous traveling robot

Country Status (1)

Country Link
JP (1) JP5550671B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598385B1 (en) * 2014-11-11 2016-03-02 한양대학교 산학협력단 Autonomous driving method and robot using recognition scene based on straight line information
JP2024015684A (en) * 2022-07-25 2024-02-06 国立研究開発法人農業・食品産業技術総合研究機構 Control system, control method, and program
US11902471B2 (en) 2019-09-30 2024-02-13 Denso Corporation Vehicle remote assistance system, remote assistance apparatus, remote assistance method, and remote assistance program

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102172954B1 (en) * 2013-11-08 2020-11-02 삼성전자주식회사 A walk-assistive robot and a method for controlling the walk-assistive robot
US10295998B2 (en) * 2014-11-13 2019-05-21 Yanmar Co., Ltd. Agricultural work vehicle
JP6484464B2 (en) * 2015-03-04 2019-03-13 株式会社データ変換研究所 Communications system
JP6559525B2 (en) * 2015-09-29 2019-08-14 日立Geニュークリア・エナジー株式会社 Remote work support system and remote work support method
JP6462146B2 (en) * 2015-11-05 2019-01-30 株式会社日立製作所 Moving body moving system and moving path selection method
WO2017090800A1 (en) * 2015-11-27 2017-06-01 주식회사 코어벨 Monitoring and security system using robot
JP6619240B2 (en) * 2016-01-19 2019-12-11 株式会社ダイヘン Route teaching device
CN106054883A (en) * 2016-06-13 2016-10-26 国家电网公司 Robot patrol path control system
JP6938969B2 (en) * 2017-03-07 2021-09-22 富士フイルムビジネスイノベーション株式会社 Environmental measurement systems and programs
WO2018195813A1 (en) * 2017-04-26 2018-11-01 深圳市元征科技股份有限公司 Terminal operation monitoring method and terminal
JP6811688B2 (en) * 2017-06-30 2021-01-13 株式会社日立製作所 Multi-operation unit integrated device, its control method, and autonomous learning robot device
US20190034857A1 (en) * 2017-07-28 2019-01-31 Nuro, Inc. Food and beverage delivery system on autonomous and semi-autonomous vehicle
JP7052260B2 (en) * 2017-09-01 2022-04-12 富士フイルムビジネスイノベーション株式会社 Camera-equipped mobiles, camera-equipped mobile control systems, and programs
JP7124395B2 (en) * 2018-04-06 2022-08-24 株式会社デンソー Control device
JP7365660B2 (en) * 2019-02-14 2023-10-20 パナソニックIpマネジメント株式会社 Vehicle dispatch control device and monitoring system
JP7400217B2 (en) * 2019-05-30 2023-12-19 セイコーエプソン株式会社 Robot system and portable teaching device
JP2021005120A (en) * 2019-06-25 2021-01-14 日本精工株式会社 Autonomous traveling device and communication system
KR102707052B1 (en) * 2019-07-15 2024-09-19 (주)로보티즈 Mobile robot platform system and method thereof
JP7550511B2 (en) * 2019-11-01 2024-09-13 株式会社Preferred Networks Autonomous mobile robot, device, remotely controlled device and program
CN112034836B (en) * 2020-07-16 2023-06-16 北京信息科技大学 Mobile robot path planning method with improved A-algorithm
JP2022065749A (en) * 2020-10-16 2022-04-28 株式会社キビテク Control system for movable body
CN113110481B (en) * 2021-04-26 2024-02-06 上海智蕙林医疗科技有限公司 Emergency avoidance implementation method, system, robot and storage medium

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6238911A (en) * 1985-08-14 1987-02-19 Kubota Ltd Controller for obstacle detouring of remote control service car
JP3281188B2 (en) * 1994-08-09 2002-05-13 ヤマハ発動機株式会社 Unmanned car
JPH11149315A (en) * 1997-11-19 1999-06-02 Mitsubishi Heavy Ind Ltd Robot control system
JP3411529B2 (en) * 1999-11-02 2003-06-03 株式会社国際電気通信基礎技術研究所 Autonomous mobile robot
JP3909300B2 (en) * 2003-04-18 2007-04-25 有限会社ミキシィ Automatic traveling wheelchair, wheelchair automatic traveling system, and wheelchair automatic traveling method
JP2007042031A (en) * 2005-08-05 2007-02-15 Matsushita Electric Ind Co Ltd Autonomous traveling device and program thereof
JP4639343B2 (en) * 2006-01-20 2011-02-23 株式会社国際電気通信基礎技術研究所 Robot remote control system
JP4852753B2 (en) * 2006-05-24 2012-01-11 国立大学法人鳥取大学 Autonomous mobile robot with learning function
JP4871160B2 (en) * 2007-02-16 2012-02-08 株式会社東芝 Robot and control method thereof
JP5595030B2 (en) * 2009-12-17 2014-09-24 三菱重工業株式会社 MOBILE BODY CONTROL SYSTEM, CONTROL DEVICE, CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM
JP5560978B2 (en) * 2010-07-13 2014-07-30 村田機械株式会社 Autonomous mobile

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101598385B1 (en) * 2014-11-11 2016-03-02 한양대학교 산학협력단 Autonomous driving method and robot using recognition scene based on straight line information
US11902471B2 (en) 2019-09-30 2024-02-13 Denso Corporation Vehicle remote assistance system, remote assistance apparatus, remote assistance method, and remote assistance program
JP2024015684A (en) * 2022-07-25 2024-02-06 国立研究開発法人農業・食品産業技術総合研究機構 Control system, control method, and program

Also Published As

Publication number Publication date
JP2013206237A (en) 2013-10-07

Similar Documents

Publication Publication Date Title
JP5550671B2 (en) Autonomous traveling robot and traveling control method for autonomous traveling robot
KR102639675B1 (en) Mobile Robot System, Mobile Robot And Method Of Controlling Mobile Robot System
US11602841B2 (en) Systems and methods for remote operating and/or monitoring of a robot
KR101857952B1 (en) Apparatus and System for Remotely Controlling a Robot Cleaner and Method thereof
EP3577530B1 (en) Systems and methods for assisting a robotic apparatus
EP3460614B1 (en) Combined robot and cruising path generation method therefor
US9481087B2 (en) Robot and control method thereof
CN109414142B (en) System and method for training a robot to autonomously travel along a route
CN112631269B (en) Autonomous mobile robot and control program of autonomous mobile robot
KR102895133B1 (en) Method of tracing user position using crowd robot, tag device, and robot implementting thererof
EP3552072B1 (en) Robotic cleaning device with operating speed variation based on environment
JP2019125354A (en) Information processor, system, method, and program
KR101598385B1 (en) Autonomous driving method and robot using recognition scene based on straight line information
KR102303126B1 (en) Method and system for optimizing reinforcement learning based navigation to human preference
EP2390740A2 (en) Autonomous machine selective consultation
JP7052260B2 (en) Camera-equipped mobiles, camera-equipped mobile control systems, and programs
KR20190098102A (en) Artificial intelligence device for controlling external device
EP2775365A1 (en) Remote control system
CN113168180A (en) Mobile device and object detection method thereof
KR20190094130A (en) Stroller robot and nethod for controlling the same based on user-recognition
KR20240063147A (en) Device and method for controlling a robot device
Shen et al. A collaborative-shared control system with safe obstacle avoidance capability
JP7480975B2 (en) Travel route generation device, travel device, travel route generation method, and program
CN111480131A (en) Bicycle device, travel control method for bicycle device, and travel control program
WO2023127337A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140520

R150 Certificate of patent or registration of utility model

Ref document number: 5550671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees