Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7635816B2 - People Detection System - Google Patents
[go: Go Back, main page]

JP7635816B2 - People Detection System - Google Patents

People Detection System Download PDF

Info

Publication number
JP7635816B2
JP7635816B2 JP2023209164A JP2023209164A JP7635816B2 JP 7635816 B2 JP7635816 B2 JP 7635816B2 JP 2023209164 A JP2023209164 A JP 2023209164A JP 2023209164 A JP2023209164 A JP 2023209164A JP 7635816 B2 JP7635816 B2 JP 7635816B2
Authority
JP
Japan
Prior art keywords
person
information
group
predetermined condition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023209164A
Other languages
Japanese (ja)
Other versions
JP2024015359A (en
Inventor
竜太 新野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2023209164A priority Critical patent/JP7635816B2/en
Publication of JP2024015359A publication Critical patent/JP2024015359A/en
Application granted granted Critical
Publication of JP7635816B2 publication Critical patent/JP7635816B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、人物検出システムにかかり、特に、画像内から人物を検出する人物検出システムに関する。 The present invention relates to a person detection system, and in particular to a person detection system that detects people within an image.

大型娯楽施設や商用施設において、子供が保護者とはぐれて迷子となった場合には、スタッフや他のお客様が泣いている子を発見し、迷子センターへ誘導することで初めて判明する。しかしながら、迷子の発見を人手や目視に頼っているため、正確性の低下や時間がかかる、という問題がある。 When a child gets separated from their guardian and becomes lost in a large entertainment facility or commercial facility, the child's whereabouts are discovered only when a staff member or another customer spots the crying child and guides them to a lost child center. However, because finding lost children relies on human intervention and visual inspection, there are problems with low accuracy and it takes time.

また、迷子を保護した後に保護者を引き合わせるためには、迷子の特徴を放送したり、保護者の迷子センターへの問い合わせに頼るのが現状である。しかしながら、迷子(特に小さい子)からは、情報の入手が困難である。また、放送を行わない娯楽施設もあり、保護者への喚起を行う手段が制限されている場合ある。このため、保護者への迷子の引き合わせにさらに時間がかかる、という問題がある。 In addition, in order to reunite lost children with their guardians after they have been rescued, the current practice is to broadcast the characteristics of the lost child or rely on the guardians contacting the lost children center. However, it is difficult to obtain information from lost children (especially small children). Also, some entertainment facilities do not broadcast announcements, and there are cases where the means of alerting guardians are limited. This results in the problem that it takes even more time to reunite lost children with their guardians.

一方で、迷子の検知手段として、あらかじめ無線通信機器を携帯させて場所を検知する、または音で知らせる、といったことが行われている。しかしながら、常にそのような機器を子供や保護者が装着していなければならず、機器装備の負担が生じる。 On the other hand, one method of detecting lost children is to have them carry a wireless communication device that detects their location or notifies them by sound. However, this requires the child or guardian to wear such a device at all times, which creates a burden for the child.

特開2007-60528号公報JP 2007-60528 A

ここで、特許文献1に、迷子を検出するシステムが開示されている。特許文献1に開示の技術では、予め登録用カメラを用意し、当該登録用カメラにて、引率者と子供との顔画像を撮影し、各顔画像とメールアドレスなどを対応づけてデータベースに登録している。そして、監視カメラにより取得した各画像から人物の顔画像を検出し、一致する顔画像があるか否かを判定する。一致する顔画像がある場合には、監視カメラの位置から子供の位置を特定し、さらに、データベースから引率者を特定する。 Here, Patent Document 1 discloses a system for detecting lost children. In the technology disclosed in Patent Document 1, a registration camera is prepared in advance, and facial images of the chaperone and child are taken with the registration camera, and each facial image is associated with an email address and registered in a database. Then, facial images of people are detected from each image acquired by a surveillance camera, and it is determined whether or not there is a matching facial image. If a matching facial image is found, the child's position is identified from the position of the surveillance camera, and the chaperone is identified from the database.

しかしながら、上述した特許文献1の技術では、事前に引率者と子供とを登録用カメラで撮影して登録しなければならず、手間が生じる。一方で、撮影を怠った場合には、迷子を検出できない、という問題が生じる。 However, with the technology of Patent Document 1 mentioned above, the leader and the child must be photographed in advance with a registration camera and registered, which is time-consuming. On the other hand, if the photograph is neglected, the lost child cannot be detected, which is a problem.

このため、本発明の目的は、上述した課題である、手間を削減しつつ、適切に迷子を検出することができる人物検出システムを提供することにある。 Therefore, the object of the present invention is to provide a person detection system that can appropriately detect lost children while reducing the amount of work required, which is the problem described above.

本発明の一形態である人物検出システムは、
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を備えた、
という構成をとる。
A human detection system according to one embodiment of the present invention comprises:
a person extraction unit that extracts person information representing a person from image information captured by a surveillance camera;
a group determination unit that extracts behavioral information representing the behavior of the person from the image information, determines a group formed by a plurality of people based on the behavioral information, and registers group information including the person information;
a first person identification unit that identifies a first person based on the extracted person information and the extracted behavior information from the image information captured by the surveillance camera;
a second person identification unit that identifies a second person belonging to the same group as the first person based on the person information of the person identified as the first person and the group information from the image information captured by the surveillance camera;
a position identification unit that identifies the positions of the first person and the second person based on position information of the surveillance camera that captured the image information in which the first person and the second person are respectively identified;
Equipped with
The structure is as follows.

また、本発明の一形態である人物検出方法は、
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出し、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録し、
その後、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定し、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定し、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する、
という構成をとる。
Further, a human detection method according to one aspect of the present invention includes:
Extracting personal information representing a person from image information captured by a surveillance camera,
extracting behavioral information representing the behavior of the person from the image information, determining a group formed by a plurality of people based on the behavioral information, and registering group information including the person information;
Then, a first person is identified based on the extracted person information and behavior information from the image information captured by the surveillance camera,
Identifying a second person who belongs to the same group as the first person based on the person information of the person identified as the first person and the group information from the image information captured by the surveillance camera;
identifying the positions of the first person and the second person based on position information of the surveillance camera that captured the image information in which the first person and the second person are respectively identified;
The structure is as follows.

本発明の一形態である人物検出システムは、
情報処理装置に、
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を実現させる、
という構成をとる。
A human detection system according to one embodiment of the present invention comprises:
In the information processing device,
a person extraction unit that extracts person information representing a person from image information captured by a surveillance camera;
a group determination unit that extracts behavioral information representing the behavior of the person from the image information, determines a group formed by a plurality of people based on the behavioral information, and registers group information including the person information;
a first person identification unit that identifies a first person based on the extracted person information and the extracted behavior information from the image information captured by the surveillance camera;
a second person identification unit that identifies a second person belonging to the same group as the first person based on the person information of the person identified as the first person and the group information from the image information captured by the surveillance camera;
a position identification unit that identifies the positions of the first person and the second person based on position information of the surveillance camera that captured the image information in which the first person and the second person are respectively identified;
To achieve this,
The structure is as follows.

本発明は、以上のように構成されることにより、利用者の手間を削減しつつ、適切に人物を検出することができる。 By being configured as described above, the present invention can properly detect people while reducing the effort required of the user.

本発明の第1の実施形態における情報処理システムの構成を示すブロック図である。1 is a block diagram showing a configuration of an information processing system according to a first embodiment of the present invention. 図1に開示した情報処理システムの動作を示すフローチャートである。2 is a flowchart showing an operation of the information processing system disclosed in FIG. 1 . 図1に開示した情報処理システムの動作を示す図である。FIG. 2 is a diagram illustrating an operation of the information processing system disclosed in FIG. 1 . 図1に開示した情報処理システムの動作を示すフローチャートである。2 is a flowchart showing an operation of the information processing system disclosed in FIG. 1 . 図1に開示した情報処理システムの動作を示す図である。FIG. 2 is a diagram illustrating an operation of the information processing system disclosed in FIG. 1 . 図1に開示した情報処理システムの動作を示すフローチャートである。2 is a flowchart showing an operation of the information processing system disclosed in FIG. 1 . 図1に開示した情報処理システムの動作を示す図である。FIG. 2 is a diagram illustrating an operation of the information processing system disclosed in FIG. 1 . 本発明の第2の実施形態における情報処理システムの構成を示すブロック図である。FIG. 11 is a block diagram showing a configuration of an information processing system according to a second embodiment of the present invention.

<実施形態1>
本発明の第1の実施形態を、図1乃至図7を参照して説明する。図1は、実施形態1における情報処理システムの構成を説明するための図である。図2乃至図7は、情報処理システムの動作を説明するための図である。
<Embodiment 1>
A first embodiment of the present invention will be described with reference to Fig. 1 to Fig. 7. Fig. 1 is a diagram for explaining the configuration of an information processing system in the first embodiment. Figs. 2 to 7 are diagrams for explaining the operation of the information processing system.

本発明における情報処理システム(人物検出システム)は、主に、大型娯楽施設や商用施設において、迷子を検出して保護者と引き合わせるために利用可能である。但し、本発明の情報処理システムは、迷子を検出することに限定されず、いかなる場所でいかなる人物を検出するために利用されてもよい。 The information processing system (person detection system) of the present invention can be used primarily in large entertainment facilities and commercial facilities to detect lost children and reunite them with their guardians. However, the information processing system of the present invention is not limited to detecting lost children, and may be used to detect any person in any location.

[構成]
本実施形態における情報処理システム10は、演算装置や記憶装置を備えた、1台又は複数台の情報処理装置にて構成されている。情報処理システム10は、図1に示すように、演算装置がプログラムを実行することで構築された、特徴抽出部11、人物抽出部12、個人特徴解析部13、行動解析部14、グループ判断部15、迷子特定部16、保護者特定部、人物位置特定部18、を備えている。また、情報処理システム10は、記憶装置に形成された、位置情報データベース(DB)21、グループデータベース(DB)22、を備えている。
[composition]
The information processing system 10 in this embodiment is composed of one or more information processing devices each having a calculation device and a storage device. As shown in Fig. 1, the information processing system 10 includes a feature extraction unit 11, a person extraction unit 12, an individual feature analysis unit 13, a behavior analysis unit 14, a group determination unit 15, a lost child identification unit 16, a guardian identification unit, and a person position identification unit 18, which are constructed by the calculation device executing a program. The information processing system 10 also includes a location information database (DB) 21 and a group database (DB) 22, which are formed in the storage device.

さらに、情報処理システム10には、監視カメラ31及びカメラ32が接続可能となっている。監視カメラ31は、施設内の複数箇所に設置されており、設置箇所の画像を撮影し、画像情報を情報処理システムに10に入力している。このとき、情報処理システム10内では、監視カメラ31と、当該監視カメラ31の設置箇所に対応する位置情報とが、関連付けられて登録されている。つまり、情報処理システム10では、監視カメラ31から入力された画像情報の撮影位置を認識することができる。例えば、監視カメラ31は、施設の入り口や、施設内の目印となる箇所に設置されている。 Furthermore, surveillance cameras 31 and cameras 32 can be connected to the information processing system 10. The surveillance cameras 31 are installed at multiple locations within the facility, take images of the locations where they are installed, and input the image information to the information processing system 10. At this time, the surveillance cameras 31 and location information corresponding to the locations where the surveillance cameras 31 are installed are associated and registered within the information processing system 10. In other words, the information processing system 10 can recognize the shooting location of the image information input from the surveillance cameras 31. For example, the surveillance cameras 31 are installed at the entrance to the facility or at landmark locations within the facility.

また、上記カメラ32は、上記監視カメラ31とは異なるカメラであり、施設内の所定箇所に用意されている。カメラ32は、デジタルカメラや携帯電話に装備されたカメラであってもよく、無線や有線によって情報処理システムに接続され、撮影した画像情報を情報処理システム10に入力可能である。 The camera 32 is a different camera from the surveillance camera 31, and is provided at a predetermined location within the facility. The camera 32 may be a digital camera or a camera equipped on a mobile phone, and is connected to the information processing system wirelessly or by wire, so that captured image information can be input to the information processing system 10.

上記特徴抽出部11、人物抽出部12、個人特徴解析部13は、協働して、監視カメラ31にて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部として機能する。具体的に、特徴抽出部11は、画像情報から人物の輪郭等の外観的な特徴を表す特徴情報の抽出を行う。人物抽出部12は、抽出した特徴情報から人物を自動的に把握していく。個人特徴解析部13は、把握した各人物の年齢、服、体格等の個人特徴解析を行い、人物毎の人物情報として、監視カメラ31の位置情報及び撮影時刻と結び付けて、位置情報データベース21に保存する。これにより、位置情報データベース21は、各人物の特徴と、当該人物が出現した場所及び時刻を記憶していることとなり、人物の移動に伴い更新される。 The feature extraction unit 11, person extraction unit 12, and individual feature analysis unit 13 work together to function as a person extraction unit that extracts person information representing a person from image information captured by the surveillance camera 31. Specifically, the feature extraction unit 11 extracts feature information representing external features such as the outline of a person from the image information. The person extraction unit 12 automatically identifies a person from the extracted feature information. The individual feature analysis unit 13 performs an individual feature analysis of the age, clothing, build, etc. of each identified person, and stores this as person information for each person in the location information database 21 in association with the location information and shooting time of the surveillance camera 31. As a result, the location information database 21 stores the features of each person and the place and time at which the person appeared, and is updated as the person moves.

上記行動解析部14及びグループ判断部15は、協働して、複数の人物により形成されるグループを判定して、グループと判定された複数の人物情報を含むグループ情報をグループデータベース22に登録するグループ判定部として機能する。具体的に、行動解析部14は、動画である画像より人物の行動を解析して行動情報を抽出する。グループ判断部15は、行動情報に基づいて、相互に近い距離にいる複数の人物間における行動、例えば、移動の方向、タイミングや、会話をしているか等の行動解析を行い、複数の人物かグループか否かを自動的に判定する。グループと判断した場合は、複数の人物情報を1つのグループ情報としてグループデータベース22に登録する。 The behavior analysis unit 14 and group determination unit 15 cooperate to determine groups formed by multiple people, and function as a group determination unit that registers group information including information on multiple people determined to be a group in the group database 22. Specifically, the behavior analysis unit 14 analyzes the behavior of people from a video image to extract behavior information. Based on the behavior information, the group determination unit 15 performs behavior analysis of multiple people who are close to each other, such as the direction and timing of movement and whether they are talking, and automatically determines whether they are multiple people or a group. If it is determined to be a group, the information on the multiple people is registered in the group database 22 as one group information.

なお、グループ判断部15によるグループ登録処理は、例えば、施設の入口付近に設置された監視カメラ31で撮影した映像から行う。但し、グループ登録処理は、あらゆる監視カメラ31で撮影した映像から行ってもよく、グループの判別を行う度に、グループ情報の更新を行ってもよい。例えば、もともと4人の人物からなるグループが、2人ずつのグループに分割したと判断した場合には、2人ずつのグループ情報をそれぞれ登録すると共に、これらグループ情報を相互に関連付けて登録してもよい。 The group registration process by the group determination unit 15 is performed, for example, from video captured by a surveillance camera 31 installed near the entrance to the facility. However, the group registration process may be performed from video captured by any surveillance camera 31, and group information may be updated each time a group is determined. For example, if it is determined that a group originally consisting of four people has been split into groups of two, group information for each pair may be registered, and these group information may also be registered in association with each other.

上記迷子特定部16(第一人物特定部)は、監視カメラにて撮影した画像情報から、抽出した人物情報と行動情報とに基づいて迷子(第一人物)を特定する。例えば、迷子特定部16は、ある場所に設置された監視カメラ31の画像から、上述した特徴抽出部11、人物抽出部12、個人特徴解析部13にて、輪郭等の特徴抽出を行い、人物を自動的に把握し、各人物の年齢、服、体格等の個人特徴解析を行った結果である人物情報に基づいて、特に迷子になりうる年齢の人物のみを抽出する。さらに、迷子特定部16は、並行して上述した行動解析部14にて行われた人物の行動解析結果である、不安げな表情や行動、単独(一人)で行動しているか等の情報より、迷子の可能性があると判断した場合は、かかる人物を迷子と特定する。 The lost child identification unit 16 (first person identification unit) identifies a lost child (first person) based on the extracted person information and behavior information from the image information captured by the surveillance camera. For example, the lost child identification unit 16 extracts features such as contours from the images of the surveillance camera 31 installed at a certain location using the above-mentioned feature extraction unit 11, person extraction unit 12, and individual characteristic analysis unit 13 to automatically identify the person, and extracts only people of an age that is particularly likely to become lost based on the person information resulting from the individual characteristic analysis of each person's age, clothing, physique, etc. Furthermore, if the lost child identification unit 16 determines that a person may be lost based on information such as anxious expressions and behavior, whether they are acting alone (alone), etc., which is the result of the behavior analysis of the person performed in parallel by the above-mentioned behavior analysis unit 14, the lost child identification unit 16 identifies the person as lost.

なお、迷子特定部16は、監視カメラ31の設置位置や状況によっては、迷子と判定しないケースも設けてもよい。例えば、託児所にいる場合など、例外的に子供が親と離れていると考えられる場所では、子供が一人で行動していても、迷子と特定しなくてもよい。 The lost child identification unit 16 may also be configured to not determine that a child is lost depending on the installation location of the surveillance camera 31 and the situation. For example, in a place where a child is considered to be separated from their parents in exceptional cases, such as a daycare center, the child may not be identified as lost even if they are acting alone.

上記人物位置特定部18は、上述したように迷子特定部16で特定された迷子の位置を、当該迷子を撮影した監視カメラ31の位置情報に基づいて特定して出力する。迷子の位置情報は、例えば、迷子の位置にスタッフを派遣できるよう施設スタッフに対して通知するよう出力される。 The person position identification unit 18 identifies and outputs the position of the lost child identified by the lost child identification unit 16 as described above, based on the position information of the surveillance camera 31 that captured the image of the lost child. The position information of the lost child is output, for example, to notify facility staff so that staff can be dispatched to the location of the lost child.

上記保護者特定部17(第二人物特定部)は、迷子特定部16にて特定された迷子の人物情報とグループデータベース22に登録されたグループ情報とに基づいて、迷子と同一グループに属する保護者(第二人物)を特定する。例えば、保護者特定部17は、迷子の特徴情報をグループデータベース22に問い合わせ、かかる迷子が属するグループを特定し、特定したグループ内の人物情報から大人と思われる保護者を特定する。 The guardian identification unit 17 (second person identification unit) identifies a guardian (second person) who belongs to the same group as the lost child, based on the personal information of the lost child identified by the lost child identification unit 16 and the group information registered in the group database 22. For example, the guardian identification unit 17 queries the group database 22 for characteristic information of the lost child, identifies the group to which the lost child belongs, and identifies a guardian who is believed to be an adult from the personal information of the identified group.

上記人物位置特定部18は、上述したように保護者特定部17で特定された保護者の位置を、当該保護者の人物情報を位置情報データベース21に問い合わせて特定する。保護者の位置情報は、例えば、保護者の位置にスタッフを派遣できるように、施設スタッフに対して通知するよう出力される。 The person position identification unit 18 identifies the position of the guardian identified by the guardian identification unit 17 as described above by inquiring about the guardian's personal information in the position information database 21. The guardian's position information is output to notify facility staff, for example, so that staff can be dispatched to the guardian's position.

また、上述した特徴抽出部11、人物抽出部12、個人特徴解析部13は、協働して、カメラ32にて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部として機能する。具体的には、カメラ32では迷子を探している保護者が撮影されるが、その画像情報から、上述同様に、人物の輪郭等の特徴情報の抽出を行い、人物を自動的に把握し、個人特徴解析を行う。そして、抽出した人物情報を保護者特定部17に渡す。 The above-mentioned feature extraction unit 11, person extraction unit 12, and individual feature analysis unit 13 work together to function as a person extraction unit that extracts personal information representing a person from image information captured by the camera 32. Specifically, a guardian searching for a lost child is captured by the camera 32, and from that image information, feature information such as the outline of the person is extracted in the same manner as described above, the person is automatically identified, and individual feature analysis is performed. The extracted personal information is then passed to the guardian identification unit 17.

上記保護者特定部17(第三人物特定部)は、カメラ32にて撮影された画像から抽出された人物情報に基づいて、グループデータベース22内を検索する。そして、グループデータベース22内に登録されているグループ情報に含まれる人物情報のうち、画像から抽出された人物情報と合致する人物を、保護者(第三人物)として特定する。このとき、特定した保護者が属するグループも特定する。 The guardian identification unit 17 (third person identification unit) searches the group database 22 based on the personal information extracted from the image captured by the camera 32. Then, among the personal information included in the group information registered in the group database 22, a person whose personal information matches the personal information extracted from the image is identified as a guardian (third person). At this time, the group to which the identified guardian belongs is also identified.

また、上記迷子特定部16(第四人物特定部)は、上述したように特定した保護者のグループ内から、そのグループ情報に含まれる人物情報に基づいて迷子(第四人物)を特定して、迷子の人物情報を抽出する。このとき、例えば、グループ内の人物情報を調べ、その特徴情報などから子供と判定される人物を迷子として特定して、その人物情報を抽出する。さらに、迷子特定部16は、監視カメラ31にて撮影した画像から、抽出した迷子を特定する。例えば、抽出した迷子の人物情報を位置情報データベース21に問い合わせ、一致する人物情報の人物を迷子として特定する。 The lost child identification unit 16 (fourth person identification unit) also identifies a lost child (fourth person) from within the group of guardians identified as described above, based on the person information included in the group information, and extracts the person information of the lost child. At this time, for example, the person information within the group is examined, and a person determined to be a child from the characteristic information, etc. is identified as a lost child, and the person information is extracted. Furthermore, the lost child identification unit 16 identifies the extracted lost child from an image captured by the surveillance camera 31. For example, the location information database 21 is queried for the extracted person information of the lost child, and a person with matching person information is identified as a lost child.

上記人物位置特定部18は、上述したように特定した迷子の人物情報から、位置情報データベース21を用いて、当該迷子の位置を特定する。迷子の位置情報は、例えば、迷子の位置にスタッフを派遣できるよう施設スタッフに対して通知するよう出力される。 The person position identification unit 18 uses the position information database 21 to identify the position of the lost child from the person information of the lost child identified as described above. The position information of the lost child is output to notify facility staff, for example, so that staff can be dispatched to the location of the lost child.

[動作]
次に、上述した情報処理システムの動作を説明する。以下では、(1)グループ登録動作、(2)第一の迷子発見動作、(3)第二の迷子発見動作、を詳細に説明する。
[Action]
Next, the operation of the above-mentioned information processing system will be described in detail below: (1) group registration operation, (2) first lost child finding operation, and (3) second lost child finding operation.

(1)グループ登録動作
図2及び図3を参照して、施設内にある監視カメラ31を用いて、お客様の位置情報及びグループ情報を判断し、データベースにリアルタイムに更新していくときの動作を説明する。
(1) Group Registration Operation With reference to Figs. 2 and 3, the operation of determining customer position information and group information using the surveillance camera 31 in the facility and updating the database in real time will be described.

まず、施設の各入口で来場者を監視カメラ31で撮影する(図2のステップS1)。そして、画像から輪郭等の特徴抽出を行い(図3のステップS11)、人物を自動的に把握していく(図3のステップS12)。さらに、各人物の年齢、服、体格等の個人特徴解析を行って、各人物の人物情報を抽出し、かかる人物情報と監視カメラ31の位置情報とを結び付けて、位置情報データベース21に保存する(図3のステップS13)。 First, visitors are photographed by the surveillance cameras 31 at each entrance to the facility (step S1 in FIG. 2). Then, features such as contours are extracted from the images (step S11 in FIG. 3) to automatically identify the people (step S12 in FIG. 3). Furthermore, personal characteristics such as age, clothing, and build of each person are analyzed to extract personal information about each person. This personal information is linked to the position information of the surveillance cameras 31 and stored in the position information database 21 (step S13 in FIG. 3).

また、近い距離にいる人物間で、移動の方向、タイミングや、会話をしているか等の行動解析を行い(図3のステップS14)、複数の人物かグループか否かを自動的に判定する(図2のステップS2、図3のステップS15)。例えば、身長や年齢認識を用い、特に子供とその保護者の組み合わせをグループと判断する。複数の人物をグループと判断した場合は、各人物の人物情報を含むグループ情報をグループデータベース22に登録する(図2のステップS3)。これにより、後述するように、あるグループの人物が検索対象となると、同じグループと判定された他の人物の情報が出力できるようになっている。 In addition, behavioral analysis is performed between people who are close to each other, such as the direction and timing of movement and whether they are talking (step S14 in Figure 3), and it is automatically determined whether there are multiple people or a group (step S2 in Figure 2, step S15 in Figure 3). For example, height and age recognition is used to determine a combination of a child and their guardian as a group. When multiple people are determined to be a group, group information including personal information for each person is registered in the group database 22 (step S3 in Figure 2). As a result, as will be described later, when a person in a certain group is the subject of a search, information on other people determined to be in the same group can be output.

なお、施設内のいかなる監視カメラ31でも、常にリアルタイムに画像を撮影して、人物抽出と解析を行い、監視カメラ31の位置情報と共に人物情報を含むグループ情報を更新登録していく。これにより、どこに個人やグループがいるのかということが適宜更新される。また、各出口付近の監視カメラ31での撮影及び画像の解析によって、あるグループのメンバー全員が退場したと判断した場合には、そのグループ情報をグループデータベース22から削除する。 All surveillance cameras 31 within the facility are constantly taking images in real time, extracting and analyzing people, and updating and registering group information including person information along with the location information of the surveillance cameras 31. This allows the location of individuals and groups to be updated appropriately. Furthermore, when it is determined that all members of a certain group have left the facility based on the images taken by the surveillance cameras 31 near each exit and analysis of the images, the group information is deleted from the group database 22.

同時に、各監視カメラ31にて画像が撮影される度に、上述したように画像から人物情報が抽出され、当該人物情報の位置情報が位置情報データベース21に登録される。そして、位置情報データベース21は、人物の移動に伴い更新される。 At the same time, each time an image is captured by each surveillance camera 31, person information is extracted from the image as described above, and the location information of the person information is registered in the location information database 21. The location information database 21 is then updated as the person moves.

(2)第一の迷子発見動作
図4及び図5を参照して、保護者から連絡を受ける前に迷子を発見した場合であり、保護者への連絡までの動作を説明する。
(2) First Operation for Finding a Lost Child With reference to Figs. 4 and 5, the operation for finding a lost child before receiving a call from the guardian will be described.

まず、施設の各場所に設置された監視カメラ31で画像を撮影する(図4のステップS21)。そして、画像から輪郭等の特徴抽出を行い(図5のステップS31)、人物を自動的に把握していく(図5のステップS32)。さらに、各人物の年齢、服、体格等の個人特徴解析を行い(図5のステップS33)、特に迷子になりうる年齢の人物のみを抽出する。並行して、その人物の行動解析を行い(図5のステップS34)、不安げな表情や行動、単独で行動しているか等の情報より迷子の可能性があると判断した場合は、その人物を迷子として特定する(図4のステップS22、図5のステップS35)。このとき、即座に現地にスタッフを派遣できるよう施設スタッフに通知する(図5のステップS36)。現地でスタッフが迷子と判断した場合は、迷子を保護する。 First, images are taken by the surveillance cameras 31 installed at various locations in the facility (step S21 in FIG. 4). Then, features such as contours are extracted from the images (step S31 in FIG. 5) to automatically identify the person (step S32 in FIG. 5). Furthermore, personal characteristics such as age, clothing, and physique of each person are analyzed (step S33 in FIG. 5) to extract only those people who are of an age where they may be particularly likely to get lost. In parallel, the behavior of the person is analyzed (step S34 in FIG. 5), and if it is determined that the person may be lost based on information such as anxious expressions and behavior, and whether they are acting alone, the person is identified as lost (step S22 in FIG. 4, step S35 in FIG. 5). At this time, the facility staff is notified so that staff can be dispatched to the site immediately (step S36 in FIG. 5). If the staff determines that the person is lost at the site, they will take the person into custody.

さらに、上述した処理に加えて、特定した迷子の人物情報をグループデータベース22に問い合わせ、保護者の人物情報を特定する(図4のステップS23、図5のステップS37)。例えば、特定した迷子が属するグループ内の人物情報から、大人と思われる人物を保護者として特定する。そして、保護者の人物情報を位置情報データベース21に問い合わせ、保護者の現在位置を特定する(図4のステップS24、図5のステップS38)。このとき、そこにスタッフを派遣することで、保護者に迷子を保護していることを知らせ(図5のステップS39)、保護者と迷子を速やかに引き合わせることが可能となる。 In addition to the above-mentioned processing, the group database 22 is queried for personal information of the identified lost child, and personal information of the guardian is identified (step S23 in FIG. 4, step S37 in FIG. 5). For example, from the personal information of the group to which the identified lost child belongs, a person who appears to be an adult is identified as the guardian. The location information database 21 is then queried for the guardian's personal information, and the guardian's current location is identified (step S24 in FIG. 4, step S38 in FIG. 5). At this time, by dispatching staff to the location, the guardian is informed that the lost child is being looked after (step S39 in FIG. 5), making it possible to quickly reunite the guardian and the lost child.

(3)第二の迷子発見動作
図6及び図7を参照して、保護者から迷子の問い合わせがあった場合であり、迷子保護までの動作を説明する。
(3) Second Operation for Finding a Lost Child With reference to Figs. 6 and 7, the operation up to the protection of a lost child, which corresponds to a case where a parent inquires about a lost child, will be described.

保護者が迷子センターに迷子がいないか問い合わせてきた場合に、まずカメラ32で保護者を撮影する(図6のステップS41)。そして、保護者を撮影した画像から、特徴抽出(図7のステップS51)、人物抽出(図7のステップS52)、個人特徴抽出(図7のステップS53)を経て、保護者の人物情報を抽出する。そして、保護者の人物情報を元にグループデータベース22に問い合わせ、保護者と同一グループの迷子を特定し(図6のステップS42、図7のステップS54)、当該迷子の特徴を表す人物情報を取得する。 When a guardian contacts the lost child center to inquire about a lost child, the guardian is first photographed by the camera 32 (step S41 in FIG. 6). Then, from the photographed image of the guardian, personal information about the guardian is extracted through feature extraction (step S51 in FIG. 7), person extraction (step S52 in FIG. 7), and individual feature extraction (step S53 in FIG. 7). Then, based on the guardian's personal information, the group database 22 is queried to identify lost children in the same group as the guardian (step S42 in FIG. 6, step S54 in FIG. 7), and personal information describing the characteristics of the lost children is obtained.

続いて、迷子の人物情報を位置情報データベース21に問い合わせ、迷子の位置情報を取得する(図6のステップS43、図7のステップS55)。このことをスタッフに知らせることで、スタッフは現地で迷子を速やかに保護し、保護者に引き合わせることができる。 Next, the location information database 21 is queried for information about the lost child, and location information about the lost child is obtained (step S43 in FIG. 6, step S55 in FIG. 7). By informing staff of this, the staff can quickly protect the lost child on-site and introduce him/her to his/her guardian.

なお、本実施形態では、グループデータベース22の問い合わせに保護者をカメラ32で撮影した画像を利用しているが、偽保護者のなりすましによる誘拐を防ぐ、及び人手によるミスを排除する効果がある。 In this embodiment, an image of the guardian taken by the camera 32 is used to query the group database 22, which has the effect of preventing kidnapping by a false guardian who poses as a child and eliminating human error.

以上のように、本発明によると、迷子の発生から検知、その後の保護者との引き合わせまでの実行が、より短時間に、より正確に、より人手を介さず実施可能となる。その際に、モバイル機器の携帯電話等を必要とすることなく、場内に設置されたカメラ機器でシステムを構築可能であるため、サービス提供者や利用者の手間も軽減できる。 As described above, according to the present invention, the process from when a child gets lost to when it is detected and then when the child is reunited with their guardian can be carried out in a shorter time, more accurately, and with less human intervention. In addition, the system can be built using camera equipment installed on-site, without the need for mobile devices such as cell phones, which reduces the hassle for service providers and users.

なお、上述した情報処理システムにおいて、迷子の検知やグループの検知が、カメラ精度、行動認識の精度の問題で難しい場合は、対象を1つに限らず複数の候補を回答する形式としてもよい。その場合は、選ばれた複数の対象と与えられたヒント(何%の確率でマッチ、顔は似ているが服装が異なっている、等の情報)から、目視で正解の1つを選別してもよい。複数の候補を回答する場合でも、当たりの可能性がマッチングの過程で算出できているのであれば、当たりの可能性の高い順にソートして出力することで、迷子と保護者の引き合わせをより早く行うことの助けになる。 In the above-mentioned information processing system, if it is difficult to detect lost children or groups due to issues with camera accuracy or behavior recognition accuracy, multiple candidates may be given as an answer rather than just one target. In this case, one correct answer may be selected visually from the multiple selected targets and given hints (information such as what percentage probability of match, similar faces but different clothing, etc.). Even when multiple candidates are given as an answer, if the probability of a match can be calculated during the matching process, sorting and outputting them in order of probability of match can help to match lost children with their guardians more quickly.

<実施形態2>
次に、本発明の第2の実施形態を、図8を参照して説明する。図8は、実施形態2における人物検出システムの構成を示すブロック図である。なお、本実施形態における人物検出システムは、実施形態1で説明した情報処理システムの構成の概略を示している。
<Embodiment 2>
Next, a second embodiment of the present invention will be described with reference to Fig. 8. Fig. 8 is a block diagram showing the configuration of a human detection system in the second embodiment. Note that the human detection system in this embodiment shows an outline of the configuration of the information processing system described in the first embodiment.

図8に示すように、本実施形態おける人物検出システム100は、監視カメラ110にて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部101と、
画像情報から、人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して人物情報を含むグループ情報を登録するグループ判定部102と、
監視カメラ110にて撮影した画像情報から、抽出した人物情報と行動情報とに基づいて第一人物を特定する第一人物特定部103と、
監視カメラ110にて撮影した画像情報から、第一人物として特定された人物の人物情報とグループ情報とに基づいて、第一人物と同一グループに属する第二人物を特定する第二人物特定部104と、
第一人物と第二人物とがそれぞれ特定された画像情報を撮影した監視カメラ110の位置情報に基づいて、第一人物と第二人物との位置を特定する位置特定部105と、
を備えている。
As shown in FIG. 8, the human detection system 100 of this embodiment includes a human extraction unit 101 that extracts human information representing a human from image information captured by a surveillance camera 110;
a group determination unit 102 that extracts behavioral information representing the behavior of a person from the image information, determines groups formed by a plurality of people based on the behavioral information, and registers group information including the person information;
a first person identification unit that identifies a first person based on extracted person information and behavior information from image information captured by a surveillance camera;
a second person identification unit that identifies a second person belonging to the same group as the first person based on the person information and group information of the person identified as the first person from the image information captured by the surveillance camera;
a position identification unit that identifies the positions of the first person and the second person based on position information of a surveillance camera that captured image information in which the first person and the second person are identified;
It is equipped with:

なお、上述した各構成101~105は、情報処理装置に装備された演算装置がプログラムを実行することで、構築されてもよい。 Note that each of the above-mentioned components 101 to 105 may be constructed by a computing device equipped in an information processing device executing a program.

上記構成の人物検出システムによると、まず、監視カメラにて撮影した画像情報から人物情報と行動情報とが抽出され、当該人物情報と行動情報とから自動的に複数の人物からなるグループ情報が登録される。このため、ユーザの手間がかからず、必ずグループ登録されることとなる。その後、あらゆる場所の監視カメラにて撮影した画像情報から抽出した人物情報と行動情報とに基づいて第一人物(例えば迷子)を特定した場合に、当該第一人物の人物情報とグループ情報とから、当該第一人物が属するグループの第二人物(例えば保護者)を特定する。そして、第一人物と第二人物とがそれぞれ撮影された監視カメラの位置情報を用いることで、それらの位置を特定することができる。その結果、事前に登録用カメラで撮影するなどの準備が不用となり、利用者の手間を削減しつつ、適切に人物を検出することができる。 According to the person detection system configured as above, first, person information and behavior information are extracted from image information captured by a surveillance camera, and group information consisting of multiple people is automatically registered from the person information and behavior information. Therefore, the group is always registered without any effort on the part of the user. After that, when a first person (e.g., a lost child) is identified based on the person information and behavior information extracted from image information captured by surveillance cameras in various locations, a second person (e.g., a guardian) of the group to which the first person belongs is identified from the person information and group information of the first person. Then, the positions of the first person and the second person can be identified by using the position information of the surveillance cameras that captured the first person and the second person. As a result, there is no need for preparations such as taking pictures with a registration camera in advance, and people can be detected appropriately while reducing the user's efforts.

また、上述した構成に加え、上記人物抽出部は、監視カメラとは異なるカメラで人物を撮影した画像情報から、当該人物の人物情報を抽出する。そして、人物検出システムは、さらに、監視カメラとは異なるカメラで撮影した画像情報から抽出した人物の人物情報に基づいて、グループ情報の中から第三人物を特定する第三人物特定部と、第三人物として特定された人物の人物情報とグループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、監視カメラにて撮影した画像情報から、抽出した人物情報に基づいて前記第四人物を特定する第四人物特定部と、を備える。そしてさらに、上記位置特定部は、第四人物が特定された画像情報を撮影した監視カメラの位置情報に基づいて、第四人物の位置を特定する。 In addition to the above configuration, the person extraction unit extracts personal information of a person from image information of the person captured by a camera other than the surveillance camera. The person detection system further includes a third person identification unit that identifies a third person from group information based on the personal information of the person extracted from image information captured by a camera other than the surveillance camera, and a fourth person identification unit that identifies a fourth person belonging to the same group as the identified third person based on the personal information of the person identified as the third person and the group information, and identifies the fourth person based on the personal information extracted from the image information captured by the surveillance camera. Furthermore, the position identification unit identifies the position of the fourth person based on position information of the surveillance camera that captured the image information in which the fourth person is identified.

上記構成によると、まず、第三人物(例えば保護者)を監視カメラとは異なるカメラで撮影することで、その画像情報から抽出した人物情報から、グループ情報内の第三人物を特定する。そして、この第三人物と同一グループに属する第四人物(例えば迷子)をグループ情報内から特定することで当該第四人物の人物情報を取得し、監視カメラにて撮影した画像情報から第四人物を特定して、その位置を特定することができる。このように、第三人物が第四人物を探している場合であっても、適切に人物を検出することができる。 According to the above configuration, first, a third person (e.g., a guardian) is photographed with a camera other than the surveillance camera, and the third person in the group information is identified from the person information extracted from the image information. Then, a fourth person (e.g., a lost child) who belongs to the same group as the third person is identified from the group information, and the person information of the fourth person is obtained. The fourth person is then identified from the image information captured by the surveillance camera, and his/her position can be determined. In this way, even if the third person is searching for the fourth person, the person can be detected appropriately.

<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における人物検出システム、プログラム、人物検出方法の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
<Additional Notes>
A part or all of the above-described embodiments can be described as follows: The following describes an outline of the configurations of the human detection system, the program, and the human detection method according to the present invention. However, the present invention is not limited to the following configurations.

(付記1)
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を備えた、
人物検出システム。
(Appendix 1)
a person extraction unit that extracts person information representing a person from image information captured by a surveillance camera;
a group determination unit that extracts behavioral information representing the behavior of the person from the image information, determines a group formed by a plurality of people based on the behavioral information, and registers group information including the person information;
a first person identification unit that identifies a first person based on the extracted person information and the extracted behavior information from the image information captured by the surveillance camera;
a second person identification unit that identifies a second person belonging to the same group as the first person based on the person information of the person identified as the first person and the group information from the image information captured by the surveillance camera;
a position identification unit that identifies the positions of the first person and the second person based on position information of the surveillance camera that captured the image information in which the first person and the second person are respectively identified;
Equipped with
People detection system.

(付記2)
付記1に記載の人物検出システムであって、
前記人物抽出部は、前記人物情報として人物の外観的な特徴を表す特徴情報を抽出し、
前記第一人物特定部は、前記特徴情報に基づいて前記第一人物として迷子を特定する、
人物検出システム。
(Appendix 2)
2. The person detection system according to claim 1,
the person extraction unit extracts, as the person information, feature information that represents an external feature of a person;
The first person identification unit identifies a lost child as the first person based on the characteristic information.
People detection system.

(付記3)
付記2に記載の人物検出システムであって、
前記第一人物特定部は、前記行動情報と前記特徴情報とに基づいて、一人で行動している子供を前記第一人物である迷子として特定する、
人物検出システム。
(Appendix 3)
3. The person detection system according to claim 2,
The first person identification unit identifies a child who is acting alone as the first person, that is, a lost child, based on the behavior information and the characteristic information.
People detection system.

(付記4)
付記2又は3に記載の人物検出システムであって、
前記第二人物特定部は、前記特徴情報に基づいて、前記第一人物として特定された迷子の保護者として前記第二人物を特定する、
人物検出システム。
(Appendix 4)
4. The person detection system according to claim 2,
the second person identification unit identifies the second person as a guardian of the lost child identified as the first person based on the characteristic information.
People detection system.

(付記5)
付記1に記載の人物検出システムであって、
前記人物抽出部は、前記監視カメラとは異なるカメラで人物を撮影した画像情報から、当該人物の人物情報を抽出し、
さらに、
前記監視カメラとは異なるカメラで撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定する第三人物特定部と、
前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定する第四人物特定部と、
を備え、
前記位置特定部は、前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
人物検出システム。
(Appendix 5)
2. The person detection system according to claim 1,
The person extraction unit extracts personal information of a person from image information obtained by photographing the person with a camera other than the surveillance camera,
moreover,
a third person identification unit that identifies a third person from the group information based on the person information of a person extracted from image information captured by a camera different from the surveillance camera;
a fourth person identification unit that identifies a fourth person belonging to the same group as the identified third person based on the personal information of the person identified as the third person and the group information, and identifies the fourth person based on the personal information extracted from the image information captured by the surveillance camera;
Equipped with
The position identification unit identifies a position of the fourth person based on position information of the surveillance camera that captured the image information in which the fourth person is identified.
People detection system.

(付記6)
付記5に記載の人物検出システムであって、
前記第三人物特定部は、保護者として前記第三人物を特定し、
前記第四人物特定部は、前記第三人物として特定された保護者の子供として前記第四人物を特定する、
人物検出システム。
(Appendix 6)
6. The person detection system according to claim 5,
The third person identification unit identifies the third person as a guardian,
the fourth person identification unit identifies the fourth person as a child of the guardian identified as the third person;
People detection system.

(付記7)
付記1乃至6のいずれかに記載の人物検出システムであって、
前記グループ判定部は、新たな前記画像情報から抽出した前記行動情報に基づいて、前記グループ情報を更新して登録する、
人物検出システム。
(Appendix 7)
7. The human detection system according to claim 1,
the group determination unit updates and registers the group information based on the behavior information extracted from the new image information.
People detection system.

(付記8)
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出し、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録し、
その後、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定し、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定し、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する、
人物検出方法。
(Appendix 8)
Extracting personal information representing a person from image information captured by a surveillance camera,
extracting behavioral information representing the behavior of the person from the image information, determining a group formed by a plurality of people based on the behavioral information, and registering group information including the person information;
Then, a first person is identified based on the extracted person information and behavior information from the image information captured by the surveillance camera,
Identifying a second person who belongs to the same group as the first person based on the person information of the person identified as the first person and the group information from the image information captured by the surveillance camera;
identifying the positions of the first person and the second person based on position information of the surveillance camera that captured the image information in which the first person and the second person are respectively identified;
Person detection methods.

(付記9)
付記8に記載の人物検出方法であって、
前記監視カメラとは異なるカメラで人物を撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定し、
前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定し、
前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
人物検出方法。
(Appendix 9)
9. The person detection method according to claim 8, further comprising:
Identifying a third person from the group information based on the person information of the person extracted from image information obtained by photographing a person with a camera different from the surveillance camera;
Identifying a fourth person who belongs to the same group as the identified third person based on the personal information of the person identified as the third person and the group information, and identifying the fourth person based on the personal information extracted from the image information captured by the surveillance camera;
identifying a position of the fourth person based on position information of the surveillance camera that captured the image information in which the fourth person is identified;
Person detection methods.

(付記10)
情報処理装置に、
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を実現させるためのプログラム。
(Appendix 10)
In the information processing device,
a person extraction unit that extracts person information representing a person from image information captured by a surveillance camera;
a group determination unit that extracts behavioral information representing the behavior of the person from the image information, determines a group formed by a plurality of people based on the behavioral information, and registers group information including the person information;
a first person identification unit that identifies a first person based on the extracted person information and the extracted behavior information from the image information captured by the surveillance camera;
a second person identification unit that identifies a second person belonging to the same group as the first person based on the person information of the person identified as the first person and the group information from the image information captured by the surveillance camera;
a position identification unit that identifies the positions of the first person and the second person based on position information of the surveillance camera that captured the image information in which the first person and the second person are respectively identified;
A program to achieve this.

(付記11)
付記10に記載のプログラムであって、
前記人物抽出部は、前記監視カメラとは異なるカメラで人物を撮影した画像情報から、当該人物の人物情報を抽出し、
さらに、前記情報処理装置に、
前記監視カメラとは異なるカメラで撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定する第三人物特定部と、
前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定する第四人物特定部と、
を実現させ、
前記位置特定部は、前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
プログラム。
(Appendix 11)
11. The program according to claim 10,
The person extraction unit extracts personal information of a person from image information obtained by photographing the person with a camera other than the surveillance camera,
Furthermore, the information processing device
a third person identification unit that identifies a third person from the group information based on the person information of a person extracted from image information captured by a camera different from the surveillance camera;
a fourth person identification unit that identifies a fourth person belonging to the same group as the identified third person based on the personal information of the person identified as the third person and the group information, and identifies the fourth person based on the personal information extracted from the image information captured by the surveillance camera;
Realize this,
The position identification unit identifies a position of the fourth person based on position information of the surveillance camera that captured the image information in which the fourth person is identified.
program.

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。 The above-mentioned program is stored in a storage device or a computer-readable recording medium. For example, the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, or a semiconductor memory.

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。 The present invention has been described above with reference to the above-mentioned embodiments, but the present invention is not limited to the above-mentioned embodiments. Various modifications that can be understood by a person skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

10 情報処理システム
11 特徴抽出部
12 人物抽出部
13 個人特徴解析部
14 行動解析部
15 グループ判断部
16 迷子特定部
17 保護者特定部
18 人物位置特定部
21 位置情報データベース
22 グループデータベース
31 監視カメラ
32 カメラ
100 人物検出システム
101 人物抽出部
102 グループ判定部
103 第一人物特定部
104 第二人物特定部
105 位置特定部
110 監視カメラ
10 Information processing system 11 Feature extraction unit 12 Person extraction unit 13 Personal feature analysis unit 14 Behavior analysis unit 15 Group determination unit 16 Lost child identification unit 17 Parent identification unit 18 Person position identification unit 21 Position information database 22 Group database 31 Surveillance camera 32 Camera 100 Person detection system 101 Person extraction unit 102 Group determination unit 103 First person identification unit 104 Second person identification unit 105 Position identification unit 110 Surveillance camera

Claims (6)

撮像装置から画像を取得し、
前記画像に基づいて人物に関する第1の特徴と第2の特徴とを取得し、
前記人物に関する前記第1の特徴と前記第2の特徴とに基づいて、所定の条件を満たす候補を取得し、
前記所定の条件を満たす候補を提示することに応じて、前記所定の条件を満たす候補と共に、前記所定の条件を満たす候補が前記第1の特徴とどの程度関連しているかを表す指標と、前記所定の条件を満たす候補が前記第2の特徴とどの程度関連しているかを表す指標と、をパーセンテージで提示する、
処理をコンピュータに実行させるためのプログラム。
Acquire an image from an imaging device;
acquiring a first feature and a second feature related to the person based on the image;
acquiring a candidate that satisfies a predetermined condition based on the first characteristic and the second characteristic related to the person;
In response to presenting the candidates that satisfy the predetermined condition, presenting, together with the candidates that satisfy the predetermined condition, an indicator that indicates to what extent the candidates that satisfy the predetermined condition are related to the first feature and an indicator that indicates to what extent the candidates that satisfy the predetermined condition are related to the second feature, expressed as a percentage .
A program that causes a computer to execute a process.
請求項1に記載のプログラムであって、
前記第1の特徴は、少なくとも人物の年齢、服、体格のいずれかを含む、
プログラム。
The program according to claim 1 ,
The first characteristic includes at least one of the person's age, clothing, and physical build.
program.
請求項1又は2に記載のプログラムであって、
前記画像に基づいて取得された前記人物に関する前記第1の特徴と前記第2の特徴とをデータベースに保存する、
処理をコンピュータに実行させるためのプログラム。
The program according to claim 1 or 2 ,
storing the first feature and the second feature related to the person acquired based on the image in a database;
A program that causes a computer to execute a process.
請求項1乃至のいずれかに記載のプログラムであって、
前記所定の条件を満たす候補が前記第1の特徴とどの程度関連しているかを表す指標と、前記所定の条件を満たす候補が前記第2の特徴とどの程度関連しているかを表す指標とを、前記所定の条件を満たす候補ごとに提示する、
処理をコンピュータに実行させるためのプログラム。
4. The program according to claim 1 ,
presenting, for each candidate that satisfies the predetermined condition, an index indicating how the candidate that satisfies the predetermined condition is related to the first characteristic and an index indicating how the candidate that satisfies the predetermined condition is related to the second characteristic;
A program that causes a computer to execute a process.
撮像装置から画像を取得し、
前記画像に基づいて人物に関する第1の特徴と第2の特徴とを取得し、
前記人物に関する前記第1の特徴と前記第2の特徴とに基づいて、所定の条件を満たす候補を取得し、
前記所定の条件を満たす候補を提示することに応じて、前記所定の条件を満たす候補と共に、前記所定の条件を満たす候補が前記第1の特徴とどの程度関連しているかを表す指標と、前記所定の条件を満たす候補が前記第2の特徴とどの程度関連しているかを表す指標と、をパーセンテージで提示する、
情報処理方法。
Acquire an image from an imaging device;
acquiring a first feature and a second feature related to the person based on the image;
acquiring a candidate that satisfies a predetermined condition based on the first characteristic and the second characteristic related to the person;
In response to presenting the candidates that satisfy the predetermined condition, presenting, together with the candidates that satisfy the predetermined condition, an indicator that indicates to what extent the candidates that satisfy the predetermined condition are related to the first feature and an indicator that indicates to what extent the candidates that satisfy the predetermined condition are related to the second feature, expressed as a percentage .
Information processing methods.
撮像装置から画像を取得する第一手段と、
前記画像に基づいて人物に関する第1の特徴と第2の特徴とを取得する第二手段と、
前記人物に関する前記第1の特徴と前記第2の特徴とに基づいて、所定の条件を満たす候補を取得する第三手段と、
前記所定の条件を満たす候補を提示することに応じて、前記所定の条件を満たす候補と共に、前記所定の条件を満たす候補が前記第1の特徴とどの程度関連しているかを表す指標と、前記所定の条件を満たす候補が前記第2の特徴とどの程度関連しているかを表す指標と、をパーセンテージで提示する第四手段と、
を備えた情報処理装置。
a first means for acquiring an image from an imaging device;
A second means for acquiring a first feature and a second feature related to the person based on the image;
a third means for acquiring a candidate that satisfies a predetermined condition based on the first characteristic and the second characteristic related to the person;
a fourth means for presenting, in response to presenting the candidates that satisfy the predetermined condition, an indicator that indicates to what extent the candidates that satisfy the predetermined condition are related to the first characteristic and an indicator that indicates to what extent the candidates that satisfy the predetermined condition are related to the second characteristic, in percentages , together with the candidates that satisfy the predetermined condition;
An information processing device comprising:
JP2023209164A 2017-02-13 2023-12-12 People Detection System Active JP7635816B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023209164A JP7635816B2 (en) 2017-02-13 2023-12-12 People Detection System

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017023894A JP6930126B2 (en) 2017-02-13 2017-02-13 Person detection system
JP2021048069A JP7143912B2 (en) 2017-02-13 2021-03-23 person detection system
JP2022141895A JP7405200B2 (en) 2017-02-13 2022-09-07 person detection system
JP2023209164A JP7635816B2 (en) 2017-02-13 2023-12-12 People Detection System

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022141895A Division JP7405200B2 (en) 2017-02-13 2022-09-07 person detection system

Publications (2)

Publication Number Publication Date
JP2024015359A JP2024015359A (en) 2024-02-01
JP7635816B2 true JP7635816B2 (en) 2025-02-26

Family

ID=63108160

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2017023894A Active JP6930126B2 (en) 2017-02-13 2017-02-13 Person detection system
JP2021048069A Active JP7143912B2 (en) 2017-02-13 2021-03-23 person detection system
JP2022141895A Active JP7405200B2 (en) 2017-02-13 2022-09-07 person detection system
JP2023209164A Active JP7635816B2 (en) 2017-02-13 2023-12-12 People Detection System

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2017023894A Active JP6930126B2 (en) 2017-02-13 2017-02-13 Person detection system
JP2021048069A Active JP7143912B2 (en) 2017-02-13 2021-03-23 person detection system
JP2022141895A Active JP7405200B2 (en) 2017-02-13 2022-09-07 person detection system

Country Status (3)

Country Link
US (1) US11348371B2 (en)
JP (4) JP6930126B2 (en)
WO (1) WO2018146938A1 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6805996B2 (en) * 2017-07-28 2020-12-23 トヨタ自動車株式会社 Information processing equipment, information processing methods and information processing systems
JP2019086906A (en) * 2017-11-02 2019-06-06 Necプラットフォームズ株式会社 Monitoring apparatus, system, method and program
JP7296559B2 (en) * 2018-06-14 2023-06-23 パナソニックIpマネジメント株式会社 Information processing method, information processing program and information processing system
JP7095876B2 (en) * 2019-02-20 2022-07-05 日本電気株式会社 Information processing equipment, information processing methods and programs
JP7263043B2 (en) * 2019-02-21 2023-04-24 前田建設工業株式会社 ALERT OUTPUT SYSTEM, ALERT OUTPUT METHOD, AND PROGRAM
JP7215936B2 (en) * 2019-03-08 2023-01-31 本田技研工業株式会社 Lost child prevention support system
US12361757B2 (en) 2019-12-27 2025-07-15 Nec Corporation Outputting notification information when having decided that independently acting person belongs to group
JP7439572B2 (en) * 2020-03-05 2024-02-28 オムロン株式会社 Self-propelled robot, guidance method, and guidance program
US12283169B2 (en) 2021-03-05 2025-04-22 Nec Corporation Monitoring system, monitoring method, and recording medium
US20230341229A1 (en) * 2022-04-20 2023-10-26 Ford Global Technologies, Llc Vehicle-based multi-modal trip planning and event coordination
US12288400B2 (en) * 2023-09-20 2025-04-29 Motorola Solutions, Inc. Method and system for carrying out iterative appearance searching

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092396A (en) 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd Apparatus for detecting lone person and person in group
JP2007226315A (en) 2006-02-21 2007-09-06 Mitsubishi Electric Corp Image browser system
JP2009199322A (en) 2008-02-21 2009-09-03 Hitachi Kokusai Electric Inc Monitoring system, and person retrieval method
JP2013069128A (en) 2011-09-22 2013-04-18 Nec Embedded Products Ltd System and method for finding lost child
JP2013191059A (en) 2012-03-14 2013-09-26 Dainippon Printing Co Ltd Lost child notifying guide system and method, eyewitness information distribution server, and program
JP2015143921A (en) 2014-01-31 2015-08-06 株式会社日立製作所 Image search system, image search apparatus, and image search method
JP2016201758A (en) 2015-04-14 2016-12-01 パナソニックIpマネジメント株式会社 In-facilities person search support device, in-facilities person search support system and in-facilities person search support method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4438443B2 (en) * 2004-02-18 2010-03-24 オムロン株式会社 Image acquisition device and search device
JP2007060528A (en) 2005-08-26 2007-03-08 Toshiba Corp User management system and user management method in facility
KR101044090B1 (en) * 2010-10-04 2011-06-23 박희운 Finding Missing Methods Using 2D Barcodes
US10043229B2 (en) * 2011-01-26 2018-08-07 Eyelock Llc Method for confirming the identity of an individual while shielding that individual's personal data
KR102005766B1 (en) 2012-12-13 2019-10-01 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. Print controlling apparatus, image forming apparatus, method for color revising and computer-readable recording medium
US20160157074A1 (en) * 2014-11-30 2016-06-02 Raymond Anthony Joao Personal monitoring apparatus and method
JP6915542B2 (en) * 2015-09-30 2021-08-04 日本電気株式会社 Information processing equipment, notification system, information transmission method and program
US11200409B2 (en) * 2017-11-27 2021-12-14 T-Mobile Usa, Inc. Utilizing an array of cameras including IoT sensors with cameras to search for objects via a wireless communication network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092396A (en) 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd Apparatus for detecting lone person and person in group
JP2007226315A (en) 2006-02-21 2007-09-06 Mitsubishi Electric Corp Image browser system
JP2009199322A (en) 2008-02-21 2009-09-03 Hitachi Kokusai Electric Inc Monitoring system, and person retrieval method
JP2013069128A (en) 2011-09-22 2013-04-18 Nec Embedded Products Ltd System and method for finding lost child
JP2013191059A (en) 2012-03-14 2013-09-26 Dainippon Printing Co Ltd Lost child notifying guide system and method, eyewitness information distribution server, and program
JP2015143921A (en) 2014-01-31 2015-08-06 株式会社日立製作所 Image search system, image search apparatus, and image search method
JP2016201758A (en) 2015-04-14 2016-12-01 パナソニックIpマネジメント株式会社 In-facilities person search support device, in-facilities person search support system and in-facilities person search support method

Also Published As

Publication number Publication date
JP2018132803A (en) 2018-08-23
JP2021108149A (en) 2021-07-29
JP2022168070A (en) 2022-11-04
JP6930126B2 (en) 2021-09-01
WO2018146938A1 (en) 2018-08-16
US11348371B2 (en) 2022-05-31
JP7405200B2 (en) 2023-12-26
US20210279450A1 (en) 2021-09-09
JP2024015359A (en) 2024-02-01
JP7143912B2 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
JP7635816B2 (en) People Detection System
US11640726B2 (en) Person monitoring system and person monitoring method
US9141184B2 (en) Person detection system
US8885942B2 (en) Object mapping device, method of mapping object, program and recording medium
JP6139364B2 (en) Person identification device, person identification method and program
KR20200116158A (en) Image processing method and device, electronic device and storage medium
JP4984728B2 (en) Subject collation device and subject collation method
CN105989174A (en) Extraction device and extraction method of area of interest
JP2010191620A (en) Method and system for detecting suspicious person
JP2021106330A (en) Information processing apparatus, information processing method, and program
WO2020075283A1 (en) Abnormal person prediction system, abnormal person prediction method, and program
CN111667664B (en) Lost Child Prevention Support System
US20190122228A1 (en) Examination device
JP7675617B2 (en) Search processing device, search processing method and program
JPWO2019181479A1 (en) Face matching system
US9959460B2 (en) Re-wandering alarm system and method
US12530900B2 (en) Processing apparatus, processing method, and non-transitory storage medium
JP2024034415A (en) Video search system and video search method
WO2021241293A1 (en) Action-subject specifying system
JP7564064B2 (en) Video monitoring system and video monitoring method
JP7218778B2 (en) Information processing system, method and program
EP4738158A1 (en) Biometric authentication apparatus, biometric authentication system, and computer program
US20230394830A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium
WO2020178893A1 (en) Dictionary creation device, biometric authentication device, monitoring system, dictionary creation method, and recording medium
JP6092753B2 (en) Information notification device, information notification method, information notification program, and information notification system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250127

R150 Certificate of patent or registration of utility model

Ref document number: 7635816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150