JP7740107B2 - Person detection device and person detection method - Google Patents
Person detection device and person detection methodInfo
- Publication number
- JP7740107B2 JP7740107B2 JP2022066380A JP2022066380A JP7740107B2 JP 7740107 B2 JP7740107 B2 JP 7740107B2 JP 2022066380 A JP2022066380 A JP 2022066380A JP 2022066380 A JP2022066380 A JP 2022066380A JP 7740107 B2 JP7740107 B2 JP 7740107B2
- Authority
- JP
- Japan
- Prior art keywords
- feet
- captured image
- image
- camera
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、人検出装置及び人検出方法に関する。 The present invention relates to a human detection device and a human detection method.
特許文献１には、作業機械の周辺を監視する作業機械の周辺監視装置が開示されている。作業機械の周辺監視装置は、撮影装置と、プロセッサとを備えている。撮影装置は、作業機械の周囲を撮影する。プロセッサは、撮影装置が撮影した作業機械の周囲画像を表す撮影画像データから人物画像を抽出する。プロセッサは、抽出した人物画像と撮影装置の設置パラメータとに基づいて、作業機械と人との距離を測定する。具体的には、プロセッサは、撮像画像データにおける人物画像の足元の二次元座標である足元座標を取得する。プロセッサは、取得した足元座標と撮影装置の設置パラメータとに基づいて、作業機械と人との距離を測定する。 Patent Document 1 discloses a work machine periphery monitoring device that monitors the periphery of a work machine. The work machine periphery monitoring device includes a camera and a processor. The camera captures images of the periphery of the work machine. The processor extracts a person image from captured image data that represents the image of the periphery of the work machine captured by the camera. The processor measures the distance between the work machine and the person based on the extracted person image and the installation parameters of the camera. Specifically, the processor acquires foot coordinates, which are the two-dimensional coordinates of the feet of the person image in the captured image data. The processor measures the distance between the work machine and the person based on the acquired foot coordinates and the installation parameters of the camera.
撮影画像データにおいて足元が障害物によって隠れていると、足元座標の取得が困難になるため、足元座標を用いた作業機械と人との距離の測定も困難になる。 If the feet are obscured by obstacles in the captured image data, it becomes difficult to obtain the foot coordinates, which makes it difficult to measure the distance between the work machine and the person using the foot coordinates.
上記問題点を解決するための人検出装置は、カメラが撮像した画像である撮像画像から人を検出し、前記カメラから前記人までの距離を算出する検出部を備える人検出装置であって、前記検出部は、前記撮像画像に前記人を構成する部位である足元が含まれているか否かを判定し、前記撮像画像に前記足元が含まれていると判定した場合には、前記撮像画像における前記足元の位置に基づいて前記カメラから前記足元までの距離を算出し、前記撮像画像に前記足元が含まれていないと判定した場合には、前記撮像画像において前記人を構成する部位である第１部位及び第２部位の位置を検出し、検出した前記撮像画像における前記第１部位及び前記第２部位の位置から、前記撮像画像における前記第１部位と前記第２部位との距離である２点間距離を算出し、算出した前記２点間距離に基づいて前記撮像画像における前記足元の位置を推定し、推定した前記撮像画像における前記足元の位置に基づいて前記カメラから前記足元までの距離を算出することを要旨とする。 A human detection device that solves the above problems includes a detection unit that detects a person from a captured image captured by a camera and calculates the distance from the camera to the person. The detection unit determines whether the captured image includes the feet, which are a part of the person, and if it determines that the feet are included in the captured image, calculates the distance from the camera to the feet based on the position of the feet in the captured image. If it determines that the feet are not included in the captured image, it detects the positions of a first part and a second part, which are parts of the person, in the captured image, and calculates a point-to-point distance between the first part and the second part in the captured image from the detected positions of the first part and the second part in the captured image. It estimates the position of the feet in the captured image based on the calculated point-to-point distance. It also calculates the distance from the camera to the feet based on the estimated position of the feet in the captured image.
検出部は、撮像画像に足元が含まれていないと判定した場合には、撮像画像に含まれている人を構成する第１部位及び第２部位を用いることによって、撮像画像における足元の位置を推定する。よって、撮像画像に足元が含まれていなくても、カメラから人までの距離を算出できる。 If the detection unit determines that the feet are not included in the captured image, it estimates the position of the feet in the captured image by using the first and second parts that make up the person included in the captured image. Therefore, even if the feet are not included in the captured image, the distance from the camera to the person can be calculated.
上記人検出装置において、前記検出部は、前記撮像画像における前記第１部位の位置として前記人の頭部の位置を検出し、前記撮像画像における前記第２部位の位置として前記人の腰部又は肩部の位置を検出してもよい。 In the above-described human detection device, the detection unit may detect the position of the person's head as the position of the first part in the captured image, and detect the position of the person's waist or shoulders as the position of the second part in the captured image.
頭部、腰部、及び肩部は、人を構成する部位の中でも特徴的な部位であるため、検出部による第１部位及び第２部位の位置の検出が容易になる。
上記人検出装置において、前記検出部は、前記撮像画像における前記第２部位の位置として前記腰部の位置を検出し、前記頭部から前記腰部までの寸法に対する前記頭部から前記足元までの寸法比を用いて前記撮像画像における前記足元の位置を推定してもよい。
The head, waist, and shoulders are distinctive parts of a human body, and therefore the detection unit can easily detect the positions of the first and second parts.
In the above-mentioned human detection device, the detection unit may detect the position of the waist as the position of the second part in the captured image, and estimate the position of the feet in the captured image using the ratio of the dimension from the head to the feet to the dimension from the head to the waist.
第２部位として腰部を用いる場合、第２部位として肩部を用いる場合と比較して、２点間距離が長くなる。このため、頭部から腰部までの寸法に対する頭部から足元までの寸法比は、頭部から肩部までの寸法に対する頭部から足元までの寸法比よりも小さくなる。よって、撮像画像における足元の位置の推定精度が向上する。その結果、カメラから人までの距離の算出誤差を低減できる。 When the waist is used as the second part, the distance between the two points is longer than when the shoulders are used as the second part. Therefore, the ratio of the dimension from head to feet to the dimension from head to waist is smaller than the ratio of the dimension from head to feet to the dimension from head to shoulders. This improves the accuracy of estimating the position of the feet in the captured image. As a result, the calculation error of the distance from the camera to the person can be reduced.
上記人検出装置において、前記検出部は、画像が入力されると、当該画像における前記人を構成する部位の位置を出力するように学習された学習済みモデルを有し、前記学習済みモデルによって、前記撮像画像における前記人を構成する部位の位置を推定してもよい。 In the above-described human detection device, the detection unit may have a trained model that has been trained to output the positions of the body parts that make up the person in an image when the image is input, and the positions of the body parts that make up the person in the captured image may be estimated using the trained model.
学習済みモデルの学習度合いによっては、撮像画像における人を構成する部位の位置の検出精度を上げることができる。
上記問題点を解決するための人検出方法は、検出部が、カメラが撮像した画像である撮像画像から人を検出し、前記カメラから前記人までの距離を算出する人検出方法であって、前記検出部が前記撮像画像に前記人を構成する部位である足元が含まれているか否かを判定するステップを有し、前記撮像画像に前記足元が含まれていると判定された場合には、前記検出部が前記撮像画像における前記足元の位置に基づいて前記カメラから前記足元までの距離を算出するステップが行われ、前記撮像画像に前記足元が含まれていないと判定された場合には、前記検出部が、前記撮像画像において前記人を構成する部位である第１部位及び第２部位の位置を検出するステップと、前記検出部が、検出した前記撮像画像における前記第１部位及び前記第２部位の位置から、前記撮像画像における前記第１部位と前記第２部位との距離である２点間距離を算出するステップと、前記検出部が、算出した前記２点間距離に基づいて前記撮像画像における前記足元の位置を推定するステップと、前記検出部が、推定した前記撮像画像における前記足元の位置に基づいて前記カメラから前記足元までの距離を算出するステップと、が行われることを要旨とする。
Depending on the degree of learning of the trained model, the accuracy of detecting the positions of parts that make up a person in a captured image can be improved.
A human detection method for solving the above problems is a human detection method in which a detection unit detects a person from a captured image, which is an image captured by a camera, and calculates a distance from the camera to the person, the method comprising a step in which the detection unit determines whether the captured image includes feet, which are a part of the person, and if it is determined that the feet are included in the captured image, a step in which the detection unit calculates a distance from the camera to the feet based on the position of the feet in the captured image is carried out; and if it is determined that the feet are not included in the captured image, a step in which the detection unit detects positions of a first part and a second part, which are parts of the person, in the captured image, a step in which the detection unit calculates a point-to-point distance, which is the distance between the first part and the second part in the captured image, from the detected positions of the first part and the second part in the captured image, a step in which the detection unit estimates the position of the feet in the captured image based on the calculated point-to-point distance, and a step in which the detection unit calculates the distance from the camera to the feet based on the estimated position of the feet in the captured image.
撮像画像に足元が含まれていない場合には、撮像画像に含まれている人を構成する第１部位及び第２部位が用いられることによって、撮像画像における足元の位置が推定される。よって、撮像画像に足元が含まれていなくても、カメラから人までの距離を算出できる。 If the feet are not included in the captured image, the position of the feet in the captured image is estimated by using the first and second parts that make up the person included in the captured image. Therefore, even if the feet are not included in the captured image, the distance from the camera to the person can be calculated.
本発明によれば、撮像画像に足元が含まれていなくても、カメラから人までの距離を算出できる。 According to the present invention, the distance from the camera to a person can be calculated even if the feet are not included in the captured image.
以下、人検出装置及び人検出方法を具体化した一実施形態を図１～図８にしたがって説明する。本実施形態の人検出装置及び人検出方法は、フォークリフトに適用される。以下の説明において、「前」、「後」、「左」、「右」、「上」、「下」とは、フォークリフトの前進方向を基準とした場合の「前」、「後」、「左」、「右」、「上」、「下」のことをいう。 An embodiment of a human detection device and human detection method will be described below with reference to Figures 1 to 8. The human detection device and human detection method of this embodiment are applied to a forklift. In the following description, "front," "rear," "left," "right," "up," and "down" refer to the forward direction of the forklift.
＜フォークリフト＞
図１に示すように、フォークリフト１０は、機台１１と、２つの駆動輪１２ａと、２つの操舵輪１２ｂと、荷役装置１３とを備えている。２つの駆動輪１２ａは、機台１１の前下部に設けられている。２つの操舵輪１２ｂは、機台１１の後下部に設けられている。機台１１は、ヘッドガード１４と、２つのフロントピラー１５と、２つのリアピラー１６とを有している。リアピラー１６は、フロントピラー１５よりも後方に設けられている。ヘッドガード１４は、２つのフロントピラー１５及び２つのリアピラー１６に支持されている。
<Forklift>
As shown in FIG. 1 , the forklift 10 includes a base 11, two drive wheels 12a, two steered wheels 12b, and a cargo handling device 13. The two drive wheels 12a are provided at the front lower portion of the base 11. The two steered wheels 12b are provided at the rear lower portion of the base 11. The base 11 has a head guard 14, two front pillars 15, and two rear pillars 16. The rear pillars 16 are provided rearward of the front pillars 15. The head guard 14 is supported by the two front pillars 15 and the two rear pillars 16.
本実施形態のフォークリフト１０は、工場内や倉庫内において、フロアＦ上を走行したり、荷役装置１３によって荷役動作を行ったりする。このとき、フォークリフト１０の周囲には、作業者等の人１００が存在することがある。例えば、人１００は、フォークリフト１０の左後方に存在している。人１００の足元１０１は、工場や倉庫のフロアＦ上に位置している。 The forklift 10 of this embodiment travels on the floor F in a factory or warehouse and performs loading and unloading operations using the loading and unloading device 13. At this time, a person 100, such as a worker, may be present around the forklift 10. For example, the person 100 is present to the left rear of the forklift 10. The feet 101 of the person 100 are located on the floor F of the factory or warehouse.
＜人検出装置＞
図２に示すように、人検出装置２０は、カメラ２１と、カメラ２１に接続された検出部２２とを有している。本実施形態の人検出装置２０は、フォークリフト１０に搭載されている。人検出装置２０は、フォークリフト１０の周囲に存在する人１００を検出する。人検出装置２０は、フォークリフト１０の周囲に存在する人１００を検出した場合、カメラ２１から人１００までの距離を算出する。
<Human detection device>
2, the human detection device 20 has a camera 21 and a detection unit 22 connected to the camera 21. The human detection device 20 of this embodiment is mounted on the forklift 10. The human detection device 20 detects a person 100 present around the forklift 10. When the human detection device 20 detects a person 100 present around the forklift 10, it calculates the distance from the camera 21 to the person 100.
カメラ２１は、単眼カメラである。カメラ２１は、デジタルカメラである。カメラ２１は、レンズと撮像素子とを有している。撮像素子は、例えば、ＣＣＤイメージセンサ(Charge Coupled Device image sensor)やＣＭＯＳイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)である。撮像素子は、複数の画素から構成されている。 Camera 21 is a monocular camera. Camera 21 is a digital camera. Camera 21 has a lens and an image sensor. The image sensor is, for example, a CCD image sensor (Charge Coupled Device image sensor) or a CMOS image sensor (Complementary Metal Oxide Semiconductor image sensor). The image sensor is composed of multiple pixels.
図１及び図３に示すように、カメラ２１は、フォークリフト１０に取り付けられている。フロアＦからカメラ２１までの高さやフロアＦに対するカメラ２１の光軸の傾きは、カメラ２１の画角を考慮した上で、カメラ２１の撮像範囲が人に相当する範囲と同等以上になるように設定されている。 As shown in Figures 1 and 3, the camera 21 is attached to the forklift 10. The height from the floor F to the camera 21 and the inclination of the optical axis of the camera 21 relative to the floor F are set, taking into account the angle of view of the camera 21, so that the imaging range of the camera 21 is equal to or greater than the range corresponding to a person.
本実施形態のカメラ２１は、ヘッドガード１４の後部における左右方向の中央に取り付けられている。カメラ２１は、後方を向くように配置されている。カメラ２１は、フォークリフト１０の後方を撮像する。フロアＦからカメラ２１までの高さはＨである。本実施形態のカメラ２１の光軸は、フロアＦに対して傾いていない。カメラ２１の光軸は、前後方向に沿って延びている。カメラ２１の光軸は、左右方向及び上下方向のそれぞれに対して直交するように延びている。 In this embodiment, the camera 21 is attached to the rear of the head guard 14 at the center in the left-right direction. The camera 21 is positioned so as to face rearward. The camera 21 captures images of the area behind the forklift 10. The height from the floor F to the camera 21 is H. In this embodiment, the optical axis of the camera 21 is not tilted with respect to the floor F. The optical axis of the camera 21 extends in the front-to-rear direction. The optical axis of the camera 21 extends perpendicular to both the left-to-right and up-to-down directions.
図２に示すように、検出部２２は、プロセッサ２３と、記憶部２４とを有している。プロセッサ２３としては、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又はDSP（Digital Signal Processor）が用いられる。記憶部２４は、RAM（Random Access Memory）及びROM（Read Only Memory）を含む。記憶部２４には、人検出装置２０を動作させるためのプログラムが記憶されている。記憶部２４は、処理をプロセッサ２３に実行させるように構成されたプログラムコードまたは指令を格納しているといえる。記憶部２４、すなわちコンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。検出部２２は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である検出部２２は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。 As shown in FIG. 2, the detection unit 22 includes a processor 23 and a memory unit 24. The processor 23 may be, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a DSP (Digital Signal Processor). The memory unit 24 includes RAM (Random Access Memory) and ROM (Read Only Memory). The memory unit 24 stores a program for operating the human detection device 20. The memory unit 24 stores program code or instructions configured to cause the processor 23 to execute processing. The memory unit 24, i.e., a computer-readable medium, includes any available medium accessible by a general-purpose or dedicated computer. The detection unit 22 may be configured with a hardware circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). The detection unit 22, which is a processing circuit, may include one or more processors operating according to a computer program, one or more hardware circuits such as an ASIC or FPGA, or a combination thereof.
本実施形態の記憶部２４は、学習済みモデルＭを記憶している。学習済みモデルＭは、画像が入力されると、当該画像における人を構成する部位の位置を出力するように生成されたモデルである。学習済みモデルＭは、教師有り学習によって学習されている。教師データは、複数のデータセットを有している。データセットは、人１００の画像を含む学習用画像と、学習用画像における人１００を構成する部位の位置の正解データとを有している。学習済みモデルＭの学習手法としては、例えば、HOG(Histgram Of Gradient)を用いた機械学習手法や、SSD(Single Shot Multibox Detector)やYOLO(You Only Look Once)、CenterNetなどのディープラーニング手法を挙げることができる。本実施形態の学習済みモデルＭは、画像が入力されると、当該画像における人を構成する部位の位置として足元１０１、頭部１０２、腰部１０３、及び肩部１０４の位置を出力する。 The memory unit 24 of this embodiment stores a trained model M. The trained model M is a model generated so that, when an image is input, it outputs the positions of body parts that make up a person in the image. The trained model M is trained using supervised learning. The training data includes multiple datasets. The datasets include training images including images of people 100 and ground truth data for the positions of body parts that make up the person 100 in the training images. Examples of training methods for the trained model M include machine learning methods using HOG (Histgram of Gradient), and deep learning methods such as SSD (Single Shot Multibox Detector), YOLO (You Only Look Once), and CenterNet. When an image is input, the trained model M of this embodiment outputs the positions of feet 101, head 102, waist 103, and shoulders 104 as the positions of body parts that make up a person in the image.
＜人検出方法＞
人検出装置２０は、以下の人検出方法によって、カメラ２１からフォークリフト１０の周囲に存在する人１００までの距離を算出する。本実施形態の人検出装置２０は、カメラ２１からフォークリフト１０の後方に存在する人１００までの距離を算出する。
<Human detection method>
The human detection device 20 calculates the distance from the camera 21 to the person 100 present around the forklift 10 by the following human detection method. The human detection device 20 of this embodiment calculates the distance from the camera 21 to the person 100 present behind the forklift 10.
カメラ２１から人１００までの距離の算出は、所定の周期で繰り返し行われるルーチンである。本実施形態では、カメラ２１から人１００までの距離の算出は、カメラ２１が撮像を行う度に行われるが、例えば、カメラ２１が所定の回数だけ撮像を行った場合に行われてもよい。 Calculation of the distance from the camera 21 to the person 100 is a routine that is repeated at a predetermined interval. In this embodiment, calculation of the distance from the camera 21 to the person 100 is performed each time the camera 21 captures an image, but it may also be performed, for example, when the camera 21 captures an image a predetermined number of times.
図４に示すように、ステップＳ１０において、カメラ２１は、フォークリフト１０の後方を撮像する。
図５、図６、及び図７は、カメラ２１が撮像した画像である撮像画像Ｉの一例である。フォークリフト１０の後方に人１００が存在する場合、撮像画像Ｉには、人１００の画像が含まれている。また、撮像画像Ｉには、フォークリフト１０の後部の画像が含まれている。
As shown in FIG. 4, in step S10, the camera 21 captures an image of the area behind the forklift 10.
5, 6, and 7 are examples of captured image I, which is an image captured by camera 21. If a person 100 is present behind forklift 10, captured image I includes an image of person 100. Captured image I also includes an image of the rear of forklift 10.
次に、ステップＳ１１において、検出部２２は、撮像画像Ｉに足元１０１の画像が含まれているか否かを判定する。本実施形態の検出部２２は、学習済みモデルＭによって、撮像画像Ｉに足元１０１の画像が含まれているか否かを判定する。 Next, in step S11, the detection unit 22 determines whether the captured image I includes an image of the feet 101. In this embodiment, the detection unit 22 uses the trained model M to determine whether the captured image I includes an image of the feet 101.
例えば、図５に示す撮像画像Ｉには、人１００の全身の画像が含まれている。したがって、図５に示す撮像画像Ｉには、人１００の足元１０１の画像が含まれている。この場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける足元１０１の位置を推定することができる。詳しくは、学習済みモデルＭは、撮像画像Ｉが入力されると、撮像画像Ｉにおける足元１０１の位置として足元１０１を示す領域Ａ１０１を出力する。足元１０１を示す領域Ａ１０１は、一方の足１０１ａのくるぶしから足裏までを示す矩形の第１領域Ａ１０１ａと、他方の足１０１ｂのくるぶしから足裏までを示す矩形の第２領域Ａ１０１ｂとから構成されている。なお、図５では、説明の便宜上、撮像画像Ｉにおける第１領域Ａ１０１ａ及び第２領域Ａ１０１ｂを枠で表示しているが、実際の撮像画像Ｉでは、枠は表示されていなくてもよい。検出部２２は、撮像画像Ｉにおける足元１０１の位置を検出できた場合、撮像画像Ｉに足元１０１の画像が含まれていると判定する。 For example, the captured image I shown in FIG. 5 includes an image of the entire body of the person 100. Therefore, the captured image I shown in FIG. 5 includes an image of the feet 101 of the person 100. In this case, the detection unit 22 can estimate the position of the feet 101 in the captured image I using the trained model M. More specifically, when the captured image I is input, the trained model M outputs an area A101 indicating the feet 101 as the position of the feet 101 in the captured image I. The area A101 indicating the feet 101 is composed of a rectangular first area A101a indicating the area from the ankle to the sole of one foot 101a, and a rectangular second area A101b indicating the area from the ankle to the sole of the other foot 101b. Note that, for ease of explanation, the first area A101a and the second area A101b in the captured image I are displayed with frames in FIG. 5, but the frames may not be displayed in the actual captured image I. If the detection unit 22 can detect the position of the feet 101 in the captured image I, it determines that the captured image I includes an image of the feet 101.
一方、図６及び図７に示す撮像画像Ｉでは、人１００の一部は、フォークリフト１０の後部が障害物になることによって隠れている。図６に示す撮像画像Ｉでは、人１００の足元１０１がフォークリフト１０の後部によって隠れている。このため、図６に示す撮像画像Ｉには、足元１０１の画像は含まれてない。図６に示す撮像画像Ｉには、人１００の頭部１０２、腰部１０３、肩部１０４の画像は含まれている。図７に示す撮像画像Ｉでは、人１００の腰部１０３より下側がフォークリフト１０の後部によって隠れている。このため、図７に示す撮像画像Ｉには、足元１０１及び腰部１０３の画像は含まれていない、図７に示す撮像画像Ｉには、人１００の頭部１０２及び肩部１０４の画像は含まれている。この場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける足元１０１の領域Ａ１０１を推定することができない。したがって、検出部２２は、撮像画像Ｉに足元１０１の画像が含まれていないと判定する。 On the other hand, in the captured images I shown in Figures 6 and 7, part of the person 100 is hidden by the rear of the forklift 10, which acts as an obstacle. In the captured image I shown in Figure 6, the feet 101 of the person 100 are hidden by the rear of the forklift 10. For this reason, the captured image I shown in Figure 6 does not include an image of the feet 101. The captured image I shown in Figure 6 includes images of the head 102, waist 103, and shoulders 104 of the person 100. In the captured image I shown in Figure 7, the part of the person 100 below the waist 103 is hidden by the rear of the forklift 10. For this reason, the captured image I shown in Figure 7 does not include images of the feet 101 and waist 103, but does include images of the head 102 and shoulders 104 of the person 100. In this case, the detection unit 22 cannot estimate the area A101 of the feet 101 in the captured image I using the trained model M. Therefore, the detection unit 22 determines that the captured image I does not include an image of the feet 101.
ステップＳ１１の判定結果が肯定の場合、すなわち検出部２２が撮像画像Ｉに足元１０１の画像が含まれていると判定した場合、検出部２２は、ステップＳ１２の処理を行う。ステップＳ１１の判定結果が否定の場合、すなわち検出部２２が撮像画像Ｉに足元１０１の画像が含まれていないと判定した場合、検出部２２は、ステップＳ１３の処理を行う。 If the determination result in step S11 is positive, i.e., if the detection unit 22 determines that the captured image I contains an image of the feet 101, the detection unit 22 performs the process of step S12. If the determination result in step S11 is negative, i.e., if the detection unit 22 determines that the captured image I does not contain an image of the feet 101, the detection unit 22 performs the process of step S13.
ステップＳ１２において、検出部２２は、撮像画像Ｉにおける足元１０１の位置に基づいて、カメラ２１から人１００までの距離を算出する。以下では、本実施形態でのステップＳ１２における検出部２２の処理について詳述する。 In step S12, the detection unit 22 calculates the distance from the camera 21 to the person 100 based on the position of the feet 101 in the captured image I. The processing performed by the detection unit 22 in step S12 in this embodiment is described in detail below.
図８に示すように、実世界座標系は、Ｘ軸、Ｙ軸、及びＺ軸を有している。Ｘ軸、Ｙ軸、及びＺ軸は、互いに直交している。Ｘ軸は、左右方向に沿って延びる軸である。Ｙ軸は、上下方向に沿って延びる軸である。Ｚ軸は、前後方向に沿って延びる軸である。Ｘ軸方向におけるカメラ２１から人１００の足元１０１までの距離をＤｘとする。Ｙ軸方向におけるカメラ２１から人１００の足元１０１までの距離をＤｙとする。上述したように、人１００の足元１０１はフロアＦ上に位置していることから、距離ＤｙはフロアＦからカメラ２１までの高さＨと一致している。Ｚ軸方向におけるカメラ２１から人１００の足元１０１までの距離をＤｚとする。 As shown in FIG. 8, the real-world coordinate system has an X-axis, a Y-axis, and a Z-axis. The X-axis, Y-axis, and Z-axis are perpendicular to one another. The X-axis extends in the left-right direction. The Y-axis extends in the up-down direction. The Z-axis extends in the front-to-back direction. The distance from the camera 21 to the feet 101 of the person 100 in the X-axis direction is defined as Dx. The distance from the camera 21 to the feet 101 of the person 100 in the Y-axis direction is defined as Dy. As mentioned above, since the feet 101 of the person 100 are located on the floor F, the distance Dy is equal to the height H from the floor F to the camera 21. The distance from the camera 21 to the feet 101 of the person 100 in the Z-axis direction is defined as Dz.
カメラ２１の光軸と直交するとともに、カメラ２１の光軸が延びる方向においてカメラ２１から焦点距離ｆだけ離れた位置に存在する平面を画像平面Ｐとする。画像平面Ｐの中心Ｃは、カメラ２１の光軸が画像平面Ｐを通過する点である。上述したように、本実施形態のカメラ２１の光軸は、前後方向に沿って延びている。したがって、画像平面Ｐは、Ｚ軸方向に対して直交している。画像平面Ｐは、画像平面Ｐの中心Ｃを通るとともにＸ軸方向に対して平行に延びるＵ軸と、画像平面Ｐの中心Ｃを通るとともにＹ軸方向に対して平行に延びるＶ軸とを有している。Ｕ軸及びＶ軸は互いに直交している。 The image plane P is a plane that is perpendicular to the optical axis of the camera 21 and is located at a focal length f away from the camera 21 in the direction in which the optical axis of the camera 21 extends. The center C of the image plane P is the point at which the optical axis of the camera 21 passes through the image plane P. As described above, the optical axis of the camera 21 in this embodiment extends along the front-to-rear direction. Therefore, the image plane P is perpendicular to the Z-axis direction. The image plane P has a U-axis that passes through the center C of the image plane P and extends parallel to the X-axis direction, and a V-axis that passes through the center C of the image plane P and extends parallel to the Y-axis direction. The U-axis and V-axis are perpendicular to each other.
本実施形態の検出部２２は、撮像画像Ｉにおける足元１０１を示す領域Ａ１０１を用いて、画像平面Ｐにおける足元１０１の位置を推定する。検出部２２は、撮像画像Ｉにおける領域Ａ１０１の最下端を、Ｖ軸方向における足元１０１の位置ｖｆとして推定する。検出部２２は、撮像画像Ｉにおける領域Ａ１０１におけるＶ軸に最も近い端を、Ｕ軸方向における足元１０１の位置ｕｆとして推定する。 The detection unit 22 of this embodiment estimates the position of the feet 101 in the image plane P using an area A101 indicating the feet 101 in the captured image I. The detection unit 22 estimates the lowest end of the area A101 in the captured image I as the position vf of the feet 101 in the V-axis direction. The detection unit 22 estimates the end of the area A101 in the captured image I that is closest to the V-axis as the position uf of the feet 101 in the U-axis direction.
検出部２２は、画像平面Ｐにおける足元１０１の座標（ｕｆ，ｖｆ）に基づいて、実世界におけるカメラ２１から足元１０１までの距離を算出する。検出部２２は、実世界におけるカメラ２１から足元１０１までの距離として、Ｘ軸方向におけるカメラ２１から足元１０１までの距離Ｄｘと、Ｚ軸方向におけるカメラ２１から足元１０１までの距離Ｄｚとを算出する。 The detection unit 22 calculates the distance from the camera 21 to the feet 101 in the real world based on the coordinates (u f , v f ) of the feet 101 in the image plane P. The detection unit 22 calculates, as the distance from the camera 21 to the feet 101 in the real world, a distance Dx from the camera 21 to the feet 101 in the X-axis direction and a distance Dz from the camera 21 to the feet 101 in the Z-axis direction.
まず、検出部２２は、Ｕ軸方向における画像平面Ｐの中心Ｃから足元１０１までの距離ｕ［ｐｉｘｅｌ］を算出する。検出部２２は、距離ｕ［ｐｉｘｅｌ］にＵ軸方向における画素サイズ［ｍｍ／ｐｉｘｅｌ］を乗算することによって、距離ｕ［ｍｍ］に換算する。なお、Ｕ軸方向における画素サイズ［ｍｍ／ｐｉｘｅｌ］は、Ｕ軸方向における撮像素子の寸法を、Ｕ軸方向における画素数によって除算することによって得られる。 First, the detection unit 22 calculates the distance u [pixel] from the center C of the image plane P to the feet 101 in the U-axis direction. The detection unit 22 converts the distance u [pixel] into distance u [mm] by multiplying the distance u [pixel] by the pixel size [mm/pixel] in the U-axis direction. The pixel size [mm/pixel] in the U-axis direction is obtained by dividing the dimension of the image sensor in the U-axis direction by the number of pixels in the U-axis direction.
検出部２２は、Ｖ軸方向における画像平面Ｐの中心Ｃから足元１０１までの距離ｖ［ｐｉｘｅｌ］を算出する。検出部２２は、距離ｖ［ｐｉｘｅｌ］にＶ軸方向における画素サイズ［ｍｍ／ｐｉｘｅｌ］を乗算することによって、距離ｖ［ｍｍ］に換算する。なお、Ｖ軸方向における画素サイズ［ｍｍ／ｐｉｘｅｌ］は、Ｖ軸方向における撮像素子の寸法を、Ｖ軸方向における画素数によって除算することによって得られる。 The detection unit 22 calculates the distance v [pixels] from the center C of the image plane P to the feet 101 in the V-axis direction. The detection unit 22 converts the distance v [mm] by multiplying the distance v [pixels] by the pixel size [mm/pixel] in the V-axis direction. The pixel size [mm/pixel] in the V-axis direction is obtained by dividing the dimension of the image sensor in the V-axis direction by the number of pixels in the V-axis direction.
次に、検出部２２は、Ｚ軸方向におけるカメラ２１から足元１０１までの距離Ｄｚを算出する。距離Ｄｚは、距離ｖと、カメラ２１の焦点距離ｆと、フロアＦからカメラ２１までの高さＨとから、Ｄｚ＝ｆ／ｖと表される。また、検出部２２は、Ｘ軸方向におけるカメラ２１から足元１０１までの距離Ｄｘを算出する。距離Ｄｘは、距離ｕと、焦点距離ｆと、距離Ｄｚとから、Ｄｘ＝Ｄｚｕ／ｆと表される。Ｄｚ＝ｆＨ／ｖであるため、Ｄｘ＝ｕＨ／ｖと表される。 Next, the detection unit 22 calculates the distance Dz from the camera 21 to the feet 101 in the Z-axis direction. The distance Dz is expressed as Dz = f/v from the distance v, the focal length f of the camera 21, and the height H of the camera 21 from the floor F. The detection unit 22 also calculates the distance Dx from the camera 21 to the feet 101 in the X-axis direction. The distance Dx is expressed as Dx = Dzu/f from the distance u, the focal length f, and the distance Dz. Since Dz = fH/v, it can be expressed as Dx = uH/v.
ステップＳ１３において、検出部２２は、撮像画像Ｉに人１００の頭部１０２及び腰部１０３の画像が含まれているか否かを判定する。頭部１０２は、人１００を構成する第１部位である。腰部１０３は、人１００を構成する第２部位である。本実施形態の検出部２２は、学習済みモデルＭによって、撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれているか否かを判定する。 In step S13, the detection unit 22 determines whether the captured image I contains images of the head 102 and waist 103 of the person 100. The head 102 is the first part of the person 100. The waist 103 is the second part of the person 100. In this embodiment, the detection unit 22 uses the trained model M to determine whether the captured image I contains images of the head 102 and waist 103.
上述したように、図６に示す撮像画像Ｉには、人１００の頭部１０２及び腰部１０３の画像が含まれている。この場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける頭部１０２及び腰部１０３の位置を推定することができる。詳しくは、学習済みモデルＭは、撮像画像Ｉが入力されると、撮像画像Ｉにおける頭部１０２の位置として頭頂部を示す点を出力する。また、学習済みモデルＭは、撮像画像Ｉにおける腰部１０３の位置として腰幅の中央を示す点を出力する。なお、図６では、説明の便宜上、撮像画像Ｉにおける頭部１０２及び腰部１０３の位置をバツ印で表示しているが、実際の撮像画像Ｉでは、バツ印は表示されていなくてもよい。検出部２２は、撮像画像Ｉにおける頭部１０２及び腰部１０３の位置を検出できた場合、撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていると判定する。 As described above, captured image I shown in FIG. 6 includes images of the head 102 and waist 103 of person 100. In this case, the detection unit 22 can estimate the positions of the head 102 and waist 103 in captured image I using the trained model M. Specifically, when captured image I is input, the trained model M outputs a point indicating the top of the head as the position of the head 102 in captured image I. The trained model M also outputs a point indicating the center of the waist width as the position of the waist 103 in captured image I. Note that, for ease of explanation, the positions of the head 102 and waist 103 in captured image I are indicated by crosses in FIG. 6, but the crosses do not need to be displayed in the actual captured image I. If the detection unit 22 can detect the positions of the head 102 and waist 103 in captured image I, it determines that captured image I includes images of the head 102 and waist 103.
一方、図７に示す撮像画像Ｉには、頭部１０２の画像は含まれているが、腰部１０３の画像は含まれていない。この場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける腰部１０３の位置を推定することができない。したがって、検出部２２は、撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていないと判定する。 On the other hand, captured image I shown in Figure 7 includes an image of the head 102, but does not include an image of the waist 103. In this case, the detection unit 22 cannot estimate the position of the waist 103 in captured image I using the trained model M. Therefore, the detection unit 22 determines that captured image I does not include images of the head 102 or waist 103.
ステップＳ１３の判定結果が肯定の場合、すなわち検出部２２が撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていると判定した場合、検出部２２は、ステップＳ１４の処理を行う。ステップＳ１３の判定結果が否定の場合、すなわち検出部２２が撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていないと判定した場合、検出部２２は、ステップＳ１５の処理を行う。 If the determination result in step S13 is positive, i.e., if the detection unit 22 determines that the captured image I contains images of the head 102 and waist 103, the detection unit 22 performs the process of step S14. If the determination result in step S13 is negative, i.e., if the detection unit 22 determines that the captured image I does not contain images of the head 102 and waist 103, the detection unit 22 performs the process of step S15.
ステップＳ１４において、検出部２２は、撮像画像Ｉにおける頭部１０２及び腰部１０３の位置から、撮像画像Ｉにおける頭部１０２と腰部１０３との距離である２点間距離を算出する。具体的には、検出部２２は、画像平面Ｐにおける頭部１０２の座標（ｕｈ，ｖｈ）及び腰部１０３の座標（ｕｗ，ｖｗ）から、画像平面ＰにおけるＵ軸方向での２点間距離Ｌｕ＝ｕｗ－ｕｈと、画像平面ＰにおけるＶ軸方向での２点間距離Ｌｖ＝ｖｗ－ｖｈとを算出する。 In step S14, the detection unit 22 calculates the point-to-point distance between the head 102 and the waist 103 in the captured image I, from the positions of the head 102 and the waist 103 in the captured image I. Specifically, the detection unit 22 calculates the point-to-point distance Lu = u w - u h in the U-axis direction on the image plane P and the point-to-point distance Lv = v w - v h in the V-axis direction on the image plane P, from the coordinates (u h , v h ) of the head 102 and the coordinates (u w , v w ) of the waist 103 in the image plane P.
次に、ステップＳ１６において、検出部２２は、ステップＳ１４で算出した２点間距離に基づいて、画像平面Ｐにおける足元１０１の位置を推定する。具体的には、検出部２２は、画像平面ＰにおけるＵ軸方向での２点間距離Ｌｕ及びＶ軸方向での２点間距離Ｌｖに基づいて、画像平面Ｐにおける足元１０１の座標（ｕｆ，ｖｆ）を推定する。足元１０１の座標（ｕｆ，ｖｆ）は、（Ｌｕ×α＋ｕｈ，Ｌｖ×α＋ｕｈ）と表される。ここで、αとは、人間の体の寸法比に基づいて設定される値である。一般に、頭部１０２から足元１０１までの寸法は、頭部１０２から腰部１０３までの寸法の約２倍である。したがって、本実施形態では、α＝２に設定されている。つまり、検出部２２は、頭部１０２から腰部１０３までの寸法に対する頭部１０２から足元１０１までの寸法比を用いて画像平面Ｐにおける足元１０１の位置を推定する。 Next, in step S16, the detection unit 22 estimates the position of the feet 101 on the image plane P based on the distance between the two points calculated in step S14. Specifically, the detection unit 22 estimates the coordinates (u f , v f ) of the feet 101 on the image plane P based on the distance Lu between the two points in the U-axis direction and the distance Lv between the two points in the V-axis direction on the image plane P. The coordinates (u f , v f ) of the feet 101 are expressed as (Lu×α+u h , Lv×α+u h ). Here, α is a value set based on the dimensional ratio of the human body. Generally, the dimension from the head 102 to the feet 101 is approximately twice the dimension from the head 102 to the waist 103. Therefore, in this embodiment, α is set to 2. That is, the detection unit 22 estimates the position of the feet 101 on the image plane P using the ratio of the dimension from the head 102 to the feet 101 to the dimension from the head 102 to the waist 103 .
これにより、図６に示すように、撮像画像Ｉにおける足元１０１の位置が推定される。なお、図６では、説明の便宜上、撮像画像Ｉにおける足元１０１の位置をバツ印で表示しているが、実際の撮像画像Ｉでは、バツ印は表示されていなくてもよい。 As a result, the position of feet 101 in captured image I is estimated, as shown in Figure 6. Note that in Figure 6, for ease of explanation, the position of feet 101 in captured image I is indicated by a cross, but in the actual captured image I, the cross does not need to be displayed.
例えば、検出部２２は、ステップＳ１３において、画像平面Ｐにおける頭部１０２の座標（ｕｈ，ｖｈ）＝（１００，－１００）と、画像平面Ｐにおける腰部１０３の座標（ｕｗ，ｖｗ）＝（１０４，－２００）とを推定する。検出部２２は、ステップＳ１４において、Ｕ軸方向における２点間距離Ｌｕ＝４と、Ｖ軸方向における２点間距離Ｌｖ＝－１００とを算出する。検出部２２は、ステップＳ１６において、画像平面Ｐにおける足元１０１の座標（ｕｆ，ｖｆ）＝（４×２＋１００，－１００×２＋（－１００））＝（１０８，－３００）を推定する。 For example, in step S13, the detection unit 22 estimates the coordinates ( uh , vh ) = (100, -100) of the head 102 on the image plane P and the coordinates ( uw , vw ) = (104, -200) of the waist 103 on the image plane P. In step S14, the detection unit 22 calculates the distance between the two points in the U-axis direction Lu = 4 and the distance between the two points in the V-axis direction Lv = -100. In step S16, the detection unit 22 estimates the coordinates ( uf , vf ) = (4 × 2 + 100, -100 × 2 + (-100)) = (108, -300) of the feet 101 on the image plane P.
次に、ステップＳ１７において、検出部２２は、ステップＳ１６で推定した画像平面Ｐにおける足元１０１の位置に基づいて、カメラ２１から人１００までの距離を算出する。なお、画像平面Ｐにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する方法については、ステップＳ１２の説明で詳述したため、説明を省略する。 Next, in step S17, the detection unit 22 calculates the distance from the camera 21 to the person 100 based on the position of the feet 101 on the image plane P estimated in step S16. Note that the method for calculating the distance from the camera 21 to the feet 101 of the person 100 based on the position of the feet 101 on the image plane P has been described in detail in the description of step S12, and therefore will not be described here.
ステップＳ１５において、検出部２２は、撮像画像Ｉに人１００の頭部１０２及び肩部１０４の画像が含まれているか否かを判定する。頭部１０２は、人１００を構成する第１部位である。肩部１０４は、人１００を構成する第２部位である。本実施形態の検出部２２は、学習済みモデルＭによって、撮像画像Ｉに頭部１０２及び肩部１０４の画像が含まれているか否かを判定する。 In step S15, the detection unit 22 determines whether the captured image I contains images of the head 102 and shoulders 104 of the person 100. The head 102 is the first part that makes up the person 100. The shoulders 104 are the second part that makes up the person 100. In this embodiment, the detection unit 22 uses the trained model M to determine whether the captured image I contains images of the head 102 and shoulders 104.
上述したように、図７に示す撮像画像Ｉには、人１００の頭部１０２及び肩部１０４の画像が含まれている。この場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける頭部１０２及び肩部１０４の位置を推定することができる。詳しくは、学習済みモデルＭは、撮像画像Ｉが入力されると、撮像画像Ｉにおける頭部１０２の位置として頭頂部を示す点を出力する。また、学習済みモデルＭは、撮像画像Ｉにおける肩部１０４の位置として肩幅の中央を示す点を出力する。なお、図７では、説明の便宜上、撮像画像Ｉにおける頭部１０２及び肩部１０４の位置をバツ印で表示しているが、実際の撮像画像Ｉでは、バツ印は表示されていなくてもよい。検出部２２は、撮像画像Ｉにおける頭部１０２及び肩部１０４の位置を検出できた場合、撮像画像Ｉに頭部１０２及び肩部１０４の画像が含まれていると判定する。 As described above, captured image I shown in FIG. 7 includes images of the head 102 and shoulders 104 of person 100. In this case, the detection unit 22 can estimate the positions of the head 102 and shoulders 104 in captured image I using the trained model M. More specifically, when captured image I is input, the trained model M outputs a point indicating the top of the head as the position of the head 102 in captured image I. The trained model M also outputs a point indicating the center of the shoulder width as the position of the shoulders 104 in captured image I. Note that, for ease of explanation, the positions of the head 102 and shoulders 104 in captured image I are indicated by crosses in FIG. 7, but the crosses do not necessarily need to be displayed in the actual captured image I. If the detection unit 22 can detect the positions of the head 102 and shoulders 104 in captured image I, it determines that captured image I includes images of the head 102 and shoulders 104.
一方、撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていない場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける頭部１０２及び腰部１０３の位置を推定することができない。したがって、検出部２２は、撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていないと判定する。 On the other hand, if the captured image I does not include images of the head 102 and waist 103, the detection unit 22 cannot estimate the positions of the head 102 and waist 103 in the captured image I using the trained model M. Therefore, the detection unit 22 determines that the captured image I does not include images of the head 102 and waist 103.
ステップＳ１５の判定結果が肯定の場合、すなわち検出部２２が撮像画像Ｉに頭部１０２及び肩部１０４の画像が含まれていると判定した場合、検出部２２は、ステップＳ１８の処理を行う。ステップＳ１５の判定結果が否定の場合、すなわち検出部２２が撮像画像Ｉに頭部１０２及び肩部１０４の画像が含まれていないと判定した場合、検出部２２は、フローを終了する。 If the determination result in step S15 is positive, i.e., if the detection unit 22 determines that the captured image I contains images of the head 102 and shoulders 104, the detection unit 22 performs the process of step S18. If the determination result in step S15 is negative, i.e., if the detection unit 22 determines that the captured image I does not contain images of the head 102 and shoulders 104, the detection unit 22 ends the flow.
ステップＳ１８において、検出部２２は、撮像画像Ｉにおける頭部１０２及び肩部１０４の位置から、撮像画像Ｉにおける頭部１０２と肩部１０４との距離である２点間距離を算出する。具体的には、検出部２２は、画像平面Ｐにおける頭部１０２の座標（ｕｈ，ｖｈ）及び肩部１０４の座標（ｕｓ，ｖｓ）から、画像平面ＰにおけるＵ軸方向での２点間距離Ｌｕ＝ｕｓ－ｕｈと、画像平面ＰにおけるＶ軸方向での２点間距離Ｌｖ＝ｖｓ－ｖｈとを算出する。 In step S18, the detection unit 22 calculates the point-to-point distance between the head 102 and the shoulders 104 in the captured image I, from the positions of the head 102 and the shoulders 104 in the captured image I. Specifically, the detection unit 22 calculates the point-to-point distance Lu=u s −u h in the U-axis direction on the image plane P and the point-to-point distance Lv=v s −v h in the V-axis direction on the image plane P , from the coordinates (u h , v h ) of the head 102 and the coordinates (u s , v s ) of the shoulders 104 in the image plane P.
次に、ステップＳ１９において、検出部２２は、ステップＳ１８で算出した２点間距離に基づいて、画像平面Ｐにおける足元１０１の位置を推定する。具体的には、検出部２２は、画像平面ＰにおけるＵ軸方向での２点間距離Ｌｕ及びＶ軸方向での２点間距離Ｌｖに基づいて、画像平面Ｐにおける足元１０１の座標（ｕｆ，ｖｆ）を推定する。足元１０１の座標（ｕｆ，ｖｆ）は、（Ｌｕ×β＋ｕｈ，Ｌｖ×β＋ｕｈ）と表される。ここで、βとは、人間の体の寸法比に基づいて設定される値である。一般に、頭部１０２から足元１０１までの寸法は、頭部１０２から肩部１０４までの寸法の約４倍である。したがって、本実施形態では、β＝４に設定されている。つまり、検出部２２は、頭部１０２から肩部１０４までの寸法に対する頭部１０２から足元１０１までの寸法比を用いて画像平面Ｐにおける足元１０１の位置を推定する。 Next, in step S19, the detection unit 22 estimates the position of the feet 101 on the image plane P based on the distance between the two points calculated in step S18. Specifically, the detection unit 22 estimates the coordinates (u f , v f ) of the feet 101 on the image plane P based on the distance Lu between the two points in the U-axis direction and the distance Lv between the two points in the V-axis direction on the image plane P. The coordinates (u f , v f ) of the feet 101 are expressed as (Lu×β+u h , Lv×β+u h ). Here, β is a value set based on the dimensional ratio of the human body. Generally, the dimension from the head 102 to the feet 101 is approximately four times the dimension from the head 102 to the shoulders 104. Therefore, in this embodiment, β is set to 4. That is, the detection unit 22 estimates the position of the feet 101 on the image plane P using the ratio of the dimension from the head 102 to the feet 101 to the dimension from the head 102 to the shoulders 104 .
これにより、図７に示すように、撮像画像Ｉにおける足元１０１の位置が推定される。なお、図７では、説明の便宜上、撮像画像Ｉにおける足元１０１の位置をバツ印で表示しているが、実際の撮像画像Ｉでは、バツ印は表示されていなくてもよい。 As a result, the position of feet 101 in captured image I is estimated, as shown in Figure 7. Note that in Figure 7, for ease of explanation, the position of feet 101 in captured image I is indicated by a cross, but in the actual captured image I, the cross does not need to be displayed.
例えば、検出部２２は、ステップＳ１５において、画像平面Ｐにおける頭部１０２の座標（ｕｈ，ｖｈ）＝（１００，－１００）と、画像平面Ｐにおける肩部１０４の座標（ｕｓ，ｖｓ）＝（１０２，－１５０）とを推定する。検出部２２は、ステップＳ１８において、Ｕ軸方向における２点間距離Ｌｕ＝２と、Ｖ軸方向における２点間距離Ｌｖ＝－５０とを算出する。検出部２２は、ステップＳ１９において、画像平面Ｐにおける足元１０１の座標（ｕｆ，ｖｆ）＝（２×４＋１００，－５０×４＋（－１００））＝（１０８，－３００）を推定する。 For example, in step S15, the detection unit 22 estimates the coordinates (u h , v h ) = (100, -100) of the head 102 on the image plane P and the coordinates (u s , v s ) = (102, -150) of the shoulders 104 on the image plane P. In step S18, the detection unit 22 calculates the distance between the two points in the U-axis direction Lu = 2 and the distance between the two points in the V-axis direction Lv = -50. In step S19, the detection unit 22 estimates the coordinates (u f , v f ) = (2 × 4 + 100, -50 × 4 + (-100)) = (108, -300) of the feet 101 on the image plane P.
次に、ステップＳ１７において、検出部２２は、ステップＳ１９で推定した画像平面Ｐにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。 Next, in step S17, the detection unit 22 calculates the distance from the camera 21 to the feet 101 of the person 100 based on the position of the feet 101 on the image plane P estimated in step S19.
［本実施形態の作用及び効果］
本実施形態の作用及び効果を説明する。
（１）撮像画像Ｉに足元１０１が含まれている場合には、検出部２２は、撮像画像Ｉにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。一方、撮像画像Ｉに足元１０１の画像が含まれていない場合には、検出部２２は、撮像画像Ｉにおける人１００を構成する第１部位及び第２部位の位置に基づいて、撮像画像Ｉにおける足元１０１の位置を推定する。そして、検出部２２は、推定した撮像画像Ｉにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。したがって、撮像画像Ｉに足元１０１が含まれていなくても、カメラ２１から人１００までの距離を算出できる。
[Actions and Effects of the Present Embodiment]
The operation and effects of this embodiment will be described.
(1) When the captured image I includes feet 101, the detection unit 22 calculates the distance from the camera 21 to the feet 101 of the person 100 based on the position of the feet 101 in the captured image I. On the other hand, when the captured image I does not include an image of the feet 101, the detection unit 22 estimates the position of the feet 101 in the captured image I based on the positions of the first and second parts that make up the person 100 in the captured image I. Then, the detection unit 22 calculates the distance from the camera 21 to the feet 101 of the person 100 based on the estimated position of the feet 101 in the captured image I. Therefore, even if the captured image I does not include feet 101, the distance from the camera 21 to the person 100 can be calculated.
（２）検出部２２は、人１００を構成する第１部位として頭部１０２を用いるとともに、人１００を構成する第２部位として腰部１０３又は肩部１０４を用いる。頭部１０２、腰部１０３、及び肩部１０４は、人１００を構成する部位の中でも特徴的な部位であるため、検出部２２による第１部位及び第２部位の検出が容易になる。 (2) The detection unit 22 uses the head 102 as the first part of the person 100, and the waist 103 or shoulders 104 as the second part of the person 100. The head 102, waist 103, and shoulders 104 are distinctive parts of the parts of the person 100, making it easy for the detection unit 22 to detect the first and second parts.
（３）ステップＳ１３は、ステップＳ１５よりも先に行われる。このため、撮像画像Ｉに腰部１０３及び肩部１０４の両方が含まれていたとしても、人１００を構成する第２部位として肩部１０４よりも腰部１０３が優先的に用いられる。第２部位として腰部１０３を用いる場合、第２部位として肩部１０４を用いる場合と比較して、２点間距離が長くなる。このため、頭部１０２から腰部１０３までの寸法に対する頭部１０２から足元１０１までの寸法比は、頭部１０２から肩部１０４までの寸法に対する頭部１０２から足元１０１までの寸法比よりも小さくなる。よって、撮像画像Ｉにおける足元１０１の位置の推定精度が向上する。その結果、カメラ２１から人１００までの距離の算出誤差を低減できる。 (3) Step S13 is performed before step S15. Therefore, even if the captured image I includes both the waist 103 and the shoulders 104, the waist 103 is used preferentially over the shoulders 104 as the second part of the person 100. When the waist 103 is used as the second part, the distance between the two points is longer than when the shoulders 104 are used as the second part. Therefore, the ratio of the dimension from the head 102 to the waist 103 to the dimension from the head 102 to the feet 101 is smaller than the ratio of the dimension from the head 102 to the shoulders 104 to the dimension from the head 102 to the feet 101. This improves the accuracy of estimating the position of the feet 101 in the captured image I. As a result, the calculation error of the distance from the camera 21 to the person 100 can be reduced.
（４）検出部２２は、画像が入力されると、当該画像における人１００を構成する部位の位置を出力するように機械学習された学習済みモデルＭを有している。検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける人１００を構成する部位の位置を推定する。この場合、学習済みモデルＭの学習度合いによっては、撮像画像Ｉにおける人１００を構成する部位の位置の推定精度を上げることができる。 (4) The detection unit 22 has a trained model M that has been machine-learned to output the positions of the body parts that make up the person 100 in the image when an image is input. The detection unit 22 estimates the positions of the body parts that make up the person 100 in the captured image I using the trained model M. In this case, depending on the degree of learning of the trained model M, the accuracy of estimating the positions of the body parts that make up the person 100 in the captured image I can be improved.
（５）検出部２２は、例えば、次のようにしてカメラ２１から人１００の足元１０１までの距離を算出することができる。検出部２２は、図５に示すように、撮像画像Ｉにおける人１００を示す領域Ａ１００を推定する。検出部２２は、撮像画像Ｉにおける領域Ａ１００の下端の位置を、撮像画像Ｉにおける足元１０１の位置として推定する。検出部２２は、領域Ａ１００に基づいて推定された足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。しかしながら、この方法では、撮像画像Ｉにおける足元１０１の位置の推定に誤差が生じやすい。特に、図６及び図７に示すように、撮像画像Ｉに足元１０１が含まれていない場合、撮像画像Ｉにおける足元１０１の位置の推定結果の誤差は大きくなる。したがって、カメラ２１から人１００の足元１０１までの距離を算出する際の誤差も大きくなる。 (5) The detection unit 22 can calculate the distance from the camera 21 to the feet 101 of the person 100, for example, as follows. As shown in FIG. 5 , the detection unit 22 estimates an area A100 representing the person 100 in the captured image I. The detection unit 22 estimates the position of the bottom edge of area A100 in the captured image I as the position of the feet 101 in the captured image I. The detection unit 22 calculates the distance from the camera 21 to the feet 101 of the person 100 based on the position of the feet 101 estimated based on area A100. However, this method is prone to errors in estimating the position of the feet 101 in the captured image I. In particular, as shown in FIGS. 6 and 7 , if the feet 101 are not included in the captured image I, the error in the estimation result of the position of the feet 101 in the captured image I will be large. Therefore, the error in calculating the distance from the camera 21 to the feet 101 of the person 100 will also be large.
これに対し、本実施形態では、検出部２２は、人１００を構成する第１部位及び第２部位を用いて、撮像画像Ｉにおける足元１０１の位置を推定する。このため、上記の方法と比較して、撮像画像Ｉにおける足元１０１の位置の推定結果の誤差が低減される。よって、カメラ２１から人１００の足元１０１までの距離を算出する際の誤差を低減できる。 In contrast, in this embodiment, the detection unit 22 estimates the position of the feet 101 in the captured image I using the first and second parts of the person 100. Therefore, compared to the above method, the error in the estimation result of the position of the feet 101 in the captured image I is reduced. Therefore, the error in calculating the distance from the camera 21 to the feet 101 of the person 100 can be reduced.
［変更例］
なお、上記各実施形態は、以下のように変更して実施できる。上記各実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施できる。
[Example of change]
The above-described embodiments can be modified as follows: The above-described embodiments and the following modifications can be combined with each other within the scope of technical compatibility.
○ 撮像画像Ｉにおける足元１０１の位置の推定に用いられる人１００を構成する部位は、頭部１０２、腰部１０３、及び肩部１０４に限定されない。撮像画像Ｉにおける足元１０１の位置の推定に用いられる人１００を構成する部位は、例えば、膝部や腹部であってもよい。 - The parts of the person 100 used to estimate the position of the feet 101 in the captured image I are not limited to the head 102, waist 103, and shoulders 104. The parts of the person 100 used to estimate the position of the feet 101 in the captured image I may be, for example, the knees or abdomen.
○ 撮像画像Ｉにおける足元１０１の位置の推定に用いられる人１００の第１部位及び第２部位の組み合わせは、適宜変更されてもよい。撮像画像Ｉにおける足元１０１の位置の推定に用いられる人１００の第１部位及び第２部位の組み合わせは、例えば、腰部１０３及び肩部１０４の組み合わせであってもよい。 - The combination of the first and second parts of the person 100 used to estimate the position of the feet 101 in the captured image I may be changed as appropriate. The combination of the first and second parts of the person 100 used to estimate the position of the feet 101 in the captured image I may be, for example, the combination of the waist 103 and shoulders 104.
○ ステップＳ１３及びステップＳ１５の何れか一方は省略されてもよい。すなわち、撮像画像Ｉにおける足元１０１の位置の推定は、頭部１０２及び腰部１０３の組み合わせ、又は頭部１０２及び肩部１０４の組み合わせの何れか一方を用いて行われてもよい。 ○ Either step S13 or step S15 may be omitted. That is, the position of the feet 101 in the captured image I may be estimated using either the combination of the head 102 and waist 103, or the combination of the head 102 and shoulders 104.
○ ステップＳ１３よりもステップＳ１５が先に行われてもよい。すなわち、撮像画像Ｉに頭部１０２及び肩部１０４の両方が含まれている場合、撮像画像Ｉにおける足元１０１の位置の推定には、腰部１０３よりも肩部１０４が優先的に用いられてもよい。 Step S15 may be performed before step S13. That is, if the captured image I includes both the head 102 and the shoulders 104, the shoulders 104 may be used preferentially over the waist 103 to estimate the position of the feet 101 in the captured image I.
○ 検出部２２は、カメラ２１から人１００までの距離を算出した後、さらに、フォークリフト１０から人１００までの距離を算出してもよい。検出部２２は、フォークリフト１０の形状やフォークリフト１０に対するカメラ２１の取り付け位置などの情報を記憶している。検出部２２は、記憶している情報と、算出したカメラ２１から人１００までの距離とに基づいて、フォークリフト１０から人１００までの距離を算出する。検出部２２が算出したフォークリフト１０から人１００までの距離は、フォークリフト１０の動作の制御に用いられてもよい。例えば、フォークリフト１０から人１００までの距離が所定の距離以下になった場合に、フォークリフト１０の報知装置を作動させたり、フォークリフト１０の動作を強制的に停止させたりする。 - After calculating the distance from the camera 21 to the person 100, the detection unit 22 may further calculate the distance from the forklift 10 to the person 100. The detection unit 22 stores information such as the shape of the forklift 10 and the mounting position of the camera 21 relative to the forklift 10. The detection unit 22 calculates the distance from the forklift 10 to the person 100 based on the stored information and the calculated distance from the camera 21 to the person 100. The distance from the forklift 10 to the person 100 calculated by the detection unit 22 may be used to control the operation of the forklift 10. For example, if the distance from the forklift 10 to the person 100 becomes equal to or less than a predetermined distance, an alarm device of the forklift 10 may be activated or the operation of the forklift 10 may be forcibly stopped.
○ 検出部２２は、撮像画像Ｉに足元１０１が含まれている場合であっても、撮像画像Ｉに含まれている人１００を構成する第１部位及び第２部位を用いて、撮像画像Ｉにおける足元１０１の位置を推定してもよい。この場合、検出部２２は、検出した撮像画像Ｉにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。また、検出部２２は、推定した撮像画像Ｉにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。そして、算出した２つの距離を比較することによって、短い方の距離をカメラ２１から人１００までの距離として採用してもよい。カメラ２１から人１００までの距離がフォークリフト１０の動作の制御に用いられる場合には、２つの距離を比較した上で短い方の距離が採用される方が安全性の観点から好ましい。 ○ Even if the feet 101 are included in the captured image I, the detection unit 22 may estimate the position of the feet 101 in the captured image I using the first and second parts constituting the person 100 included in the captured image I. In this case, the detection unit 22 calculates the distance from the camera 21 to the feet 101 of the person 100 based on the detected position of the feet 101 in the captured image I. The detection unit 22 also calculates the distance from the camera 21 to the feet 101 of the person 100 based on the estimated position of the feet 101 in the captured image I. The two calculated distances may then be compared and the shorter distance may be adopted as the distance from the camera 21 to the person 100. If the distance from the camera 21 to the person 100 is used to control the operation of the forklift 10, it is preferable from a safety standpoint to compare the two distances and adopt the shorter distance.
○ 検出部２２は、学習済みモデルＭを有していなくてもよい。この場合、撮像画像Ｉにおける人１００を構成する部位の位置を検出する方法としては、例えば、次のような方法が考えられる。検出部２２は、撮像画像Ｉから人１００のエッジを抽出する。検出部２２は、抽出したエッジの形状から人１００を構成する部位を推定する。例えば、検出部２２は、抽出したエッジの形状が略円形状の場合には、当該エッジが人１００の頭部１０２であると推定する。 ○ The detection unit 22 does not need to have a trained model M. In this case, the following method, for example, can be considered as a method for detecting the positions of the body parts that make up the person 100 in the captured image I. The detection unit 22 extracts the edges of the person 100 from the captured image I. The detection unit 22 estimates the body parts that make up the person 100 from the shape of the extracted edges. For example, if the shape of the extracted edge is approximately circular, the detection unit 22 estimates that the edge is the head 102 of the person 100.
○ 上記実施形態では、検出部２２は、撮像画像Ｉから撮像画像Ｉにおける人１００を構成する部位の位置を推定していたが、撮像画像Ｉから人１００の画像を抽出した後、抽出した人１００の画像から人１００を構成する部位の位置を推定してもよい。この場合、学習済みモデルＭは、入力された画像から人の画像を抽出するように学習されているのが好ましい。学習済みモデルＭは、教師有り学習によって学習されている。教師データは、複数のデータセットを有している。データセットは、人の画像を含む学習用画像と、学習用画像における人の画像の正解データとを有している。検出部２２は、学習済みモデルＭによって、撮像画像Ｉから人１００の画像を抽出する。この場合、上記実施形態におけるステップＳ１１以降のステップは、撮像画像Ｉから人１００の画像が抽出された場合に行われる。 - In the above embodiment, the detection unit 22 estimated the positions of the body parts that make up the person 100 in the captured image I from the captured image I. However, it is also possible to extract an image of the person 100 from the captured image I and then estimate the positions of the body parts that make up the person 100 from the extracted image of the person 100. In this case, it is preferable that the trained model M has been trained to extract images of people from input images. The trained model M has been trained by supervised learning. The training data has multiple datasets. The datasets have training images that include images of people and ground truth data for images of people in the training images. The detection unit 22 extracts the image of the person 100 from the captured image I using the trained model M. In this case, the steps from step S11 onwards in the above embodiment are performed when an image of the person 100 has been extracted from the captured image I.
○ 図９に示すように、学習済みモデルＭは、画像が入力されると、当該画像における足１０１ａ，１０１ｂの位置を点で出力するように学習されていてもよい。
○ フォークリフト１０は、駆動輪１２ａや操舵輪１２ｂの摩耗等によって傾くことがある。フォークリフト１０が傾くとカメラ２１も傾く。また、カメラ２１は、傾いた状態でフォークリフト１０に取り付けられることもある。この場合、検出部２２は、カメラ２１の傾きを考慮してカメラ２１から人１００までの距離を算出してもよい。
As shown in FIG. 9, the trained model M may be trained to output the positions of the feet 101a and 101b in an image as points when an image is input.
The forklift 10 may tilt due to wear of the drive wheels 12 a or the steering wheels 12 b, etc. When the forklift 10 tilts, the camera 21 also tilts. The camera 21 may also be attached to the forklift 10 in a tilted state. In this case, the detection unit 22 may calculate the distance from the camera 21 to the person 100 taking into account the tilt of the camera 21.
図１０に示すように、カメラ２１の光軸は、前後方向に対応する軸であるＺ軸に対して角度θ１だけ傾いている。なお、カメラ２１の光軸は、左右方向に対しては傾斜していない。この場合、Ｚ軸方向におけるカメラ２１から足元１０１までの距離Ｄｚは、Ｄｚ＝Ｈ／ｔａｎθと表される。ここで、角度θとは、Ｚ軸に対する、カメラ２１及び足元１０１を通る直線Ｌの傾きである。角度θは、θ＝θ１＋θ２と表される。角度θ２は、カメラ２１の光軸に対する直線Ｌの傾きである。なお、θ２＝ｔａｎ－１（ｖ／ｆ）と表される。 As shown in Figure 10, the optical axis of the camera 21 is tilted at an angle θ1 with respect to the Z axis, which is the axis corresponding to the front-to-rear direction. The optical axis of the camera 21 is not tilted with respect to the left-to-right direction. In this case, the distance Dz from the camera 21 to the feet 101 in the Z axis direction is expressed as Dz = H/tan θ. Here, the angle θ is the tilt of the line L passing through the camera 21 and the feet 101 with respect to the Z axis. The angle θ is expressed as θ = θ1 + θ2. The angle θ2 is the tilt of the line L with respect to the optical axis of the camera 21. It is expressed as θ2 = tan -1 (v/f).
○ 人検出装置２０は、複数のカメラ２１を備えていてもよい。この場合、撮像範囲が広くなるため、人１００の検出可能範囲は広くなる。
○ フォークリフト１０に対するカメラ２１の取り付け位置は適宜変更されてもよい。例えば、カメラ２１は、フロントピラー１５や荷役装置１３に取り付けられていてもよい。フロントピラー１５や荷役装置１３に取り付けられたカメラ２１は、フォークリフト１０の前方を撮像する。
The human detection device 20 may include a plurality of cameras 21. In this case, the imaging range is widened, and therefore the range in which the human 100 can be detected is widened.
The mounting position of the camera 21 on the forklift 10 may be changed as appropriate. For example, the camera 21 may be mounted on the front pillar 15 or the cargo handling device 13. The camera 21 mounted on the front pillar 15 or the cargo handling device 13 captures an image of the area in front of the forklift 10.
○ 人検出装置２０及び人検出方法は、フォークリフト１０以外の産業車両、例えば、トーイングトラクタに適用されてもよい。
○ 人検出装置２０及び人検出方法は、産業車両以外の車両に適用されてもよい。産業車両以外の車両としては、例えば、自動車やトラックが挙げられる。
The human detection device 20 and the human detection method may be applied to industrial vehicles other than the forklift 10, such as a towing tractor.
The human detection device 20 and the human detection method may be applied to vehicles other than industrial vehicles, such as automobiles and trucks.
○ 人検出装置２０及び人検出方法は、車両以外に適用されてもよい。
例えば、人検出装置２０は、ドローンに適用されてもよい。この場合、カメラ２１はドローンに搭載される。検出部２２は、カメラ２１とともにドローンに搭載されてもよいし、地上にあってもよい。検出部２２が地上にある場合、検出部２２は、カメラ２１と無線通信することにより、カメラ２１から撮像画像Ｉを取得する。
The human detection device 20 and the human detection method may be applied to things other than vehicles.
For example, the human detection device 20 may be applied to a drone. In this case, the camera 21 is mounted on the drone. The detection unit 22 may be mounted on the drone together with the camera 21, or may be located on the ground. When the detection unit 22 is located on the ground, the detection unit 22 acquires the captured image I from the camera 21 by wirelessly communicating with the camera 21.
２０…人検出装置、２１…カメラ、２２…検出部、１００…人、１０１…足元、１０２…第１部位としての頭部、１０３…第２部位としての腰部、１０４…第２部位としての肩部、Ｉ…撮像画像、Ｍ…学習済みモデル。 20...Human detection device, 21...Camera, 22...Detection unit, 100...Person, 101...Feet, 102...Head as first part, 103...Waist as second part, 104...Shoulder as second part, I...Captured image, M...Trained model.
Claims (5)
前記撮像画像には、前記フォークリフトの後部の画像が含まれており、
前記検出部は、
前記撮像画像に前記人を構成する部位である足元が含まれているか否かを判定し、
前記撮像画像に前記足元が含まれていると判定した場合には、前記撮像画像における前記足元の位置を推定し、
前記撮像画像に前記足元が含まれていないと判定した場合には、
前記撮像画像において前記人を構成する部位である第１部位及び第２部位の位置を検出し、
検出した前記撮像画像における前記第１部位及び前記第２部位の位置から、前記撮像画像における前記第１部位と前記第２部位との距離である２点間距離を算出し、
算出した前記２点間距離と、前記第１部位から前記第２部位までの寸法に対する前記第１部位から前記足元までの寸法比として設定されている所定の値に基づいて前記撮像画像における前記足元の位置を推定し、
推定した前記撮像画像における前記足元の位置から画像平面における前記足元の座標を取得し、
前記画像平面は、前記カメラの光軸と直交するとともに、前記カメラの光軸が延びる方向において前記カメラから離れた位置に存在する平面であり、前記カメラの光軸が通過する点を前記画像平面の中心とした場合、前記画像平面は、前記画像平面の中心を通るとともに実世界のＸ軸方向に対して平行に延びるＵ軸と、前記画像平面の中心を通るとともに実世界のＹ軸方向に対して平行に延びるＶ軸とを有しており、
前記Ｕ軸方向における前記画像平面の中心から前記取得された前記画像平面における前記足元の座標までの距離を画素サイズを用いて実世界の寸法に換算した距離と、前記Ｖ軸方向における前記画像平面の中心から前記取得された前記画像平面における前記足元の座標までの距離を画素サイズを用いて実世界の寸法に換算した距離とを用いて前記カメラから前記足元までの距離を算出することを特徴とする人検出装置。 A human detection device including a detection unit that detects a person from a captured image that is an image captured by a camera attached to a forklift and calculates a distance from the camera to the person,
the captured image includes an image of a rear portion of the forklift;
The detection unit
determining whether the captured image includes feet, which are a part of the person;
If it is determined that the feet are included in the captured image, the position of the feet in the captured image is estimated;
If it is determined that the captured image does not include the feet,
Detecting positions of a first part and a second part that constitute the person in the captured image;
calculating a point-to-point distance between the first portion and the second portion in the captured image from the detected positions of the first portion and the second portion in the captured image;
estimating the position of the feet in the captured image based on the calculated distance between the two points and a predetermined value set as a ratio of a dimension from the first location to the feet to a dimension from the first location to the second location;
acquiring coordinates of the feet in an image plane from the estimated position of the feet in the captured image;
the image plane is a plane that is orthogonal to the optical axis of the camera and exists at a position away from the camera in the direction in which the optical axis of the camera extends, and when a point through which the optical axis of the camera passes is defined as the center of the image plane, the image plane has a U-axis that passes through the center of the image plane and extends parallel to an X-axis direction in the real world, and a V-axis that passes through the center of the image plane and extends parallel to a Y-axis direction in the real world,
A human detection device characterized by calculating the distance from the camera to the feet using a distance converted to real-world dimensions using pixel size from the center of the image plane in the U-axis direction to the coordinates of the feet in the acquired image plane, and a distance converted to real-world dimensions using pixel size from the center of the image plane in the V -axis direction to the coordinates of the feet in the acquired image plane.
前記撮像画像には、前記フォークリフトの後部の画像が含まれており、
前記カメラの光軸と直交するとともに、前記カメラの光軸が延びる方向において前記カメラから離れた位置には画像平面が想定され、前記カメラの光軸が通過する点を前記画像平面の中心とした場合、前記画像平面は、前記画像平面の中心を通るとともに実世界のＸ軸方向に対して平行に延びるＵ軸と、前記画像平面の中心を通るとともに実世界のＹ軸方向に対して平行に延びるＶ軸とを有しており、
前記検出部が前記撮像画像に前記人を構成する部位である足元が含まれているか否かを判定するステップを有し、
前記撮像画像に前記足元が含まれていると判定された場合には、前記検出部が前記撮像画像における前記足元の位置を推定するステップが行われ、
前記撮像画像に前記足元が含まれていないと判定された場合には、
前記検出部が、前記撮像画像において前記人を構成する部位である第１部位及び第２部位の位置を検出するステップと、
前記検出部が、検出した前記撮像画像における前記第１部位及び前記第２部位の位置から、前記撮像画像における前記第１部位と前記第２部位との距離である２点間距離を算出するステップと、
前記検出部が、算出した前記２点間距離と、記第１部位から前記第２部位までの寸法に対する前記第１部位から前記足元までの寸法比として設定されている所定の値に基づいて前記撮像画像における前記足元の位置を推定するステップとが行われ、
前記検出部が、推定した前記撮像画像における前記足元の位置から前記画像平面における前記足元の座標を取得するステップと、
前記検出部が、前記Ｕ軸方向における前記画像平面の中心から前記取得された前記画像平面における前記足元の座標までの距離を画素サイズを用いて実世界の寸法に換算した距離と、前記Ｖ軸方向における前記画像平面の中心から前記取得された前記画像平面における前記足元の座標までの距離を画素サイズを用いて実世界の寸法に換算した距離とを用いて前記カメラから前記足元までの距離を算出するステップと、を有することを特徴とする人検出方法。 A human detection method in which a detection unit detects a human from a captured image that is an image captured by a camera attached to a forklift , and calculates a distance from the camera to the human,
the captured image includes an image of a rear portion of the forklift;
an image plane is assumed to be orthogonal to the optical axis of the camera and at a position away from the camera in the direction in which the optical axis of the camera extends, and when a point through which the optical axis of the camera passes is taken as the center of the image plane, the image plane has a U-axis that passes through the center of the image plane and extends parallel to an X-axis direction in the real world, and a V-axis that passes through the center of the image plane and extends parallel to a Y-axis direction in the real world;
a step in which the detection unit determines whether or not the captured image includes feet, which are a part of the person;
When it is determined that the feet are included in the captured image, the detection unit estimates the position of the feet in the captured image;
If it is determined that the captured image does not include the feet,
a step in which the detection unit detects positions of a first part and a second part that are parts constituting the person in the captured image;
a step in which the detection unit calculates a point-to-point distance between the first portion and the second portion in the captured image from the positions of the first portion and the second portion detected in the captured image;
the detection unit estimates the position of the feet in the captured image based on the calculated distance between the two points and a predetermined value set as a ratio of a dimension from the first location to the feet to a dimension from the first location to the second location ,
the detection unit acquiring coordinates of the feet in the image plane from the estimated position of the feet in the captured image;
A human detection method characterized by comprising a step in which the detection unit calculates the distance from the camera to the feet using a distance from the center of the image plane in the U-axis direction to the coordinates of the feet in the acquired image plane converted to real-world dimensions using pixel size, and a distance from the center of the image plane in the V-axis direction to the coordinates of the feet in the acquired image plane converted to real-world dimensions using pixel size.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022066380A JP7740107B2 (en) | 2022-04-13 | 2022-04-13 | Person detection device and person detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022066380A JP7740107B2 (en) | 2022-04-13 | 2022-04-13 | Person detection device and person detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023156802A JP2023156802A (en) | 2023-10-25 |
| JP7740107B2 true JP7740107B2 (en) | 2025-09-17 |
Family
ID=88468868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022066380A Active JP7740107B2 (en) | 2022-04-13 | 2022-04-13 | Person detection device and person detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7740107B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020056644A (en) | 2018-10-01 | 2020-04-09 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
-
2022
- 2022-04-13 JP JP2022066380A patent/JP7740107B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020056644A (en) | 2018-10-01 | 2020-04-09 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
Non-Patent Citations (1)
| Title |
|---|
| Zhe Cao et.al.，OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields，IEEE Transactions on Pattern Analysis and Machine Intelligence，Volume: 43, Issue: 1，米国，IEEE，2019年07月17日，p.172－p. 186，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8765346 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023156802A (en) | 2023-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111414794B (en) | Method for calculating position of trailer hitch point | |
| US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| KR102098140B1 (en) | Method for monotoring blind spot of vehicle and blind spot monitor using the same | |
| JP7025912B2 (en) | In-vehicle environment recognition device | |
| EP3552926B1 (en) | Apparatus for determining an angle of a trailer attached to a vehicle | |
| KR101776622B1 (en) | Apparatus for recognizing location mobile robot using edge based refinement and method thereof | |
| US9202106B2 (en) | Eyelid detection device | |
| KR101169533B1 (en) | Face posture estimating device, face posture estimating method, and computer readable recording medium recording face posture estimating program | |
| EP3716145A1 (en) | Object detection device and method | |
| WO2014199929A1 (en) | Monocular-motion-stereo distance estimation method, and monocular-motion-stereo distance estimation apparatus | |
| JP2021060720A (en) | Object detection device | |
| CN112230652A (en) | Walking robot and its movement control method, computer storage medium | |
| EP4216176B1 (en) | Image processing device of person detection system | |
| JP5785515B2 (en) | Pedestrian detection device and method, and vehicle collision determination device | |
| JP7732363B2 (en) | Obstacle detection device, industrial vehicle, and obstacle detection method | |
| JP6708152B2 (en) | Driver state estimating device and driver state estimating method | |
| JP7740107B2 (en) | Person detection device and person detection method | |
| KR20240178529A (en) | Method and apparatus for estimating object distance based on static object and ground height difference | |
| CN120164159B (en) | A motorcycle helmet wearing identification and driving safety control method and system | |
| US11704911B2 (en) | Apparatus and method for identifying obstacle around vehicle | |
| CN114937250A (en) | Vehicle body relative pose calculation method, device, vehicle, equipment and storage medium | |
| JP7700707B2 (en) | Obstacle detection device and obstacle detection method | |
| JP7683546B2 (en) | Seat position estimation device, seat position estimation method, and computer program for seat position estimation | |
| AU2024204296B2 (en) | Obstacle detection device and obstacle detection method | |
| CN114565974A (en) | Human body dumping identification algorithm based on 3D vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240919 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250805 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250818 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7740107 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |