JP7697490B2

JP7697490B2 - Alarm device, alarm method and program

Info

Publication number: JP7697490B2
Application number: JP2023070185A
Authority: JP
Inventors: 悟川上; 次郎藤野; 健一郎原; 寛森本; 健太山田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2023-04-21
Filing date: 2023-04-21
Publication date: 2025-06-24
Anticipated expiration: 2043-04-21
Also published as: JP2024155452A

Description

本開示は、警報装置、警報方法及びプログラムに関する。 This disclosure relates to an alarm device, an alarm method, and a program.

特許文献１には、自車両の周辺を撮像して撮像情報を出力し、撮像情報に基づいて自車両の周辺に存在する物体を検出する技術について記載されている。特許文献１に記載された技術では、自車両の周辺に存在する物体が人物であるか否かが判定され、自車両の周辺に存在する物体が人物である場合に、運転者への注意喚起等が行われる。 Patent Document 1 describes a technology that captures an image of the surroundings of the vehicle, outputs the image information, and detects objects present around the vehicle based on the image information. The technology described in Patent Document 1 determines whether an object present around the vehicle is a person, and if the object present around the vehicle is a person, the driver is alerted.

特開２０１２－１４６１４２号公報JP 2012-146142 A

例えば運転支援システム等によって車両の周囲に存在する歩行者が検出される場合には、車両の周囲環境が、例えば昼間等のように運転者がその歩行者を視認しやすい周囲環境である場合と、車両の周囲環境が、例えば夜間等のように運転者がその歩行者を視認しづらい周囲環境である場合とが含まれる。運転者が歩行者を視認していない場合には、車両と歩行者との衝突等を回避するために、例えば運転支援システム等によって歩行者に関する注意喚起が運転者に対して行われることが好ましい。一方、運転者が歩行者を既に視認しているにもかかわらず、例えば運転支援システム等によって歩行者に関する注意喚起が運転者に対して行われると、運転者がその注意喚起を煩わしいと感じてしまうおそれがある。歩行者に関する注意喚起を運転者に対して適切に行うことができる技術が望まれる。 For example, when a driving assistance system or the like detects a pedestrian around a vehicle, the vehicle's surrounding environment may be one in which the driver can easily see the pedestrian, such as during the day, and another in which the driver has difficulty seeing the pedestrian, such as at night. When the driver does not see the pedestrian, it is preferable for the driving assistance system or the like to warn the driver about the pedestrian in order to avoid a collision between the vehicle and the pedestrian. On the other hand, if the driving assistance system or the like warns the driver about the pedestrian even though the driver has already seen the pedestrian, the driver may find the warning annoying. There is a need for technology that can appropriately warn the driver about pedestrians.

上述した点に鑑み、本開示は、歩行者に関する注意喚起を運転者に対して適切に行うことができる警報装置、警報方法及びプログラムを提供することを目的とする。 In view of the above, the present disclosure aims to provide an alarm device, an alarm method, and a program that can appropriately alert drivers to pedestrians.

（１）本開示の一態様は、車両の周囲の物体の検出結果に基づいて、前記車両の周囲に歩行者が存在するか否かを判定する第１判定部と、前記車両の周辺環境の検出結果に基づいて、前記車両の運転者による前記歩行者の視認しやすさを示す視認度が閾値以上であるか否かを判定する第２判定部と、ドライバモニタカメラによって撮像された前記運転者の顔を含むドライバモニタカメラ画像に基づいて、前記運転者が前記歩行者を視認しているか否かを判定する第３判定部と、警報を出力させる警報処理を実行する警報部とを備え、前記警報部は、前記車両の周囲に前記歩行者が存在する場合であって前記視認度が前記閾値以上である場合であって前記運転者が前記歩行者を視認していない場合に前記警報処理を実行し、前記車両の周囲に前記歩行者が存在する場合であって前記視認度が前記閾値未満である場合には、前記運転者が前記歩行者を視認しているか否かにかかわらず前記警報処理を実行する、警報装置である。 (1) One aspect of the present disclosure is an alarm device that includes a first determination unit that determines whether or not a pedestrian is present around the vehicle based on a detection result of an object around the vehicle, a second determination unit that determines whether or not a visibility indicating the ease with which the driver of the vehicle can see the pedestrian is equal to or greater than a threshold based on a detection result of the environment around the vehicle, a third determination unit that determines whether or not the driver sees the pedestrian based on a driver monitor camera image including the face of the driver captured by a driver monitor camera, and an alarm unit that executes an alarm process to output an alarm, and the alarm unit executes the alarm process when the pedestrian is present around the vehicle, the visibility is equal to or greater than the threshold, and the driver does not see the pedestrian, and when the pedestrian is present around the vehicle and the visibility is less than the threshold, the alarm device executes the alarm process regardless of whether the driver sees the pedestrian.

（２）（１）の警報装置では、前記車両の周囲の物体の検出結果に基づいて、複数の歩行者の集まりである歩行者集団が前記車両の周囲に存在するか否かを判定する第４判定部と、前記車両の周囲の物体の検出結果に基づいて、前記歩行者集団に属さない歩行者である単独歩行者が前記車両の周囲に存在するか否かを判定する第５判定部とを備え、前記警報部は、前記歩行者集団が前記車両の周囲に存在する場合であって前記単独歩行者が前記車両の周囲に存在する場合に、前記運転者が前記単独歩行者を視認しているか否かにかかわらず前記警報処理を実行してもよい。 (2) The warning device of (1) includes a fourth determination unit that determines whether a pedestrian group, which is a collection of multiple pedestrians, is present around the vehicle based on the detection result of objects around the vehicle, and a fifth determination unit that determines whether a lone pedestrian, who is a pedestrian not belonging to the pedestrian group, is present around the vehicle based on the detection result of objects around the vehicle. When the pedestrian group is present around the vehicle and the lone pedestrian is present around the vehicle, the warning unit may execute the warning process regardless of whether the driver can see the lone pedestrian.

（３）本開示の一態様は、警報装置が、車両の周囲の物体の検出結果に基づいて、前記車両の周囲に歩行者が存在するか否かを判定する第１判定ステップと、前記警報装置が、前記車両の周辺環境の検出結果に基づいて、前記車両の運転者による前記歩行者の視認しやすさを示す視認度が閾値以上であるか否かを判定する第２判定ステップと、前記警報装置が、ドライバモニタカメラによって撮像された前記運転者の顔を含むドライバモニタカメラ画像に基づいて、前記運転者が前記歩行者を視認しているか否かを判定する第３判定ステップと、前記警報装置が、警報を出力させる警報ステップとを備え、前記警報装置は、前記車両の周囲に前記歩行者が存在する場合であって前記視認度が前記閾値以上である場合であって前記運転者が前記歩行者を視認していない場合に前記警報ステップを実行し、前記車両の周囲に前記歩行者が存在する場合であって前記視認度が前記閾値未満である場合には、前記運転者が前記歩行者を視認しているか否かにかかわらず前記警報ステップを実行する、警報方法である。 (3) One aspect of the present disclosure is an alarm method including a first determination step in which an alarm device determines whether or not a pedestrian is present around the vehicle based on a detection result of an object around the vehicle; a second determination step in which the alarm device determines whether or not a visibility indicating the ease with which the driver of the vehicle can see the pedestrian is equal to or greater than a threshold based on a detection result of the surrounding environment of the vehicle; a third determination step in which the alarm device determines whether or not the driver sees the pedestrian based on a driver monitor camera image including the face of the driver captured by a driver monitor camera; and an alarm step in which the alarm device outputs an alarm, in which the alarm device executes the alarm step when the pedestrian is present around the vehicle, the visibility is equal to or greater than the threshold, and the driver does not see the pedestrian, and when the pedestrian is present around the vehicle and the visibility is less than the threshold, the alarm device executes the alarm step regardless of whether the driver sees the pedestrian.

（４）本開示の一態様は、プロセッサに、車両の周囲の物体の検出結果に基づいて、前記車両の周囲に歩行者が存在するか否かを判定する第１判定ステップと、前記車両の周辺環境の検出結果に基づいて、前記車両の運転者による前記歩行者の視認しやすさを示す視認度が閾値以上であるか否かを判定する第２判定ステップと、ドライバモニタカメラによって撮像された前記運転者の顔を含むドライバモニタカメラ画像に基づいて、前記運転者が前記歩行者を視認しているか否かを判定する第３判定ステップと、警報を出力させる警報ステップとを実行させるためのプログラムであって、前記警報ステップは、前記車両の周囲に前記歩行者が存在する場合であって前記視認度が前記閾値以上である場合であって前記運転者が前記歩行者を視認していない場合に実行され、前記警報ステップは、前記車両の周囲に前記歩行者が存在する場合であって前記視認度が前記閾値未満である場合に、前記運転者が前記歩行者を視認しているか否かにかかわらず実行される、プログラムである。 (4) One aspect of the present disclosure is a program for causing a processor to execute a first determination step of determining whether or not a pedestrian is present around the vehicle based on a detection result of an object around the vehicle, a second determination step of determining whether or not a visibility indicating the ease with which the driver of the vehicle can see the pedestrian is equal to or greater than a threshold based on a detection result of the environment around the vehicle, a third determination step of determining whether or not the driver sees the pedestrian based on a driver monitor camera image including the face of the driver captured by a driver monitor camera, and an alarm step of outputting an alarm, in which the alarm step is executed when the pedestrian is present around the vehicle, the visibility is equal to or greater than the threshold, and the driver does not see the pedestrian, and the alarm step is executed when the pedestrian is present around the vehicle and the visibility is less than the threshold, regardless of whether or not the driver sees the pedestrian.

本開示によれば、歩行者に関する注意喚起を運転者に対して適切に行うことができる。 This disclosure makes it possible to appropriately warn drivers about pedestrians.

第１実施形態の警報装置２０が適用された車両１の概略構成の一例を示す図である。1 is a diagram showing an example of a schematic configuration of a vehicle 1 to which a warning device 20 of a first embodiment is applied. 第１実施形態の警報装置２０の具体的な構成の一例を示す図である。2 is a diagram showing an example of a specific configuration of the alarm device 20 of the first embodiment; FIG. 第１実施形態の警報装置２０のプロセッサ２３によって実行される処理の一例を説明するためのフローチャートである。4 is a flowchart illustrating an example of processing executed by a processor 23 of the warning device 20 of the first embodiment. 第２実施形態の警報装置２０の具体的な構成の一例を示す図である。FIG. 11 is a diagram showing an example of a specific configuration of an alarm device 20 according to a second embodiment. 第２実施形態の警報装置２０のプロセッサ２３によって実行される処理の一例を説明するためのフローチャートである。10 is a flowchart illustrating an example of processing executed by a processor 23 of the warning device 20 of the second embodiment.

以下、図面を参照し、本開示の警報装置、警報方法及びプログラムの実施形態について説明する。 Below, we will explain embodiments of the alarm device, alarm method, and program disclosed herein with reference to the drawings.

＜第１実施形態＞
図１は第１実施形態の警報装置２０が適用された車両１の概略構成の一例を示す図である。図２は第１実施形態の警報装置２０の具体的な構成の一例を示す図である。
図１及び図２に示す例では、車両１が、車外カメラ２と、レーダー３と、ＬｉＤＡＲ（Light Detection And Ranging）４と、運転支援ＥＣＵ（Electronic Control Unit）１２と、警報装置２０とを備えている。車外カメラ２は、車両１の周囲の物体（例えば歩行者、先行車等）及び車両１の周辺の道路環境（例えば道路構造、ルール等）を示す画像を撮像し、その画像のデータを車両１の周囲の物体及び車両１の周辺の道路環境の検出結果として生成し、運転支援ＥＣＵ１２と警報装置２０とに送信する。レーダー３は、例えばミリ波レーダー等であり、車両１に対する車両１の周囲の物体及び車両１の周辺の道路構造の相対位置及び相対速度を検出し、その検出結果を運転支援ＥＣＵ１２と警報装置２０とに送信する。ＬｉＤＡＲ４は、車両１に対する車両１の周囲の物体及び車両１の周辺の道路構造の相対位置及び相対速度を検出し、その検出結果を運転支援ＥＣＵ１２と警報装置２０とに送信する。 First Embodiment
Fig. 1 is a diagram showing an example of a schematic configuration of a vehicle 1 to which a warning device 20 according to a first embodiment is applied. Fig. 2 is a diagram showing an example of a specific configuration of the warning device 20 according to the first embodiment.
In the example shown in FIG. 1 and FIG. 2, the vehicle 1 includes an exterior camera 2, a radar 3, a LiDAR (Light Detection And Ranging) 4, a driving assistance ECU (Electronic Control Unit) 12, and an alarm device 20. The exterior camera 2 captures an image showing objects (e.g., pedestrians, preceding vehicles, etc.) around the vehicle 1 and the road environment (e.g., road structure, rules, etc.) around the vehicle 1, generates data of the image as a detection result of the objects around the vehicle 1 and the road environment around the vehicle 1, and transmits the detection result to the driving assistance ECU 12 and the alarm device 20. The radar 3 is, for example, a millimeter wave radar, and detects the relative position and relative speed of the objects around the vehicle 1 and the road structure around the vehicle 1 relative to the vehicle 1, and transmits the detection result to the driving assistance ECU 12 and the alarm device 20. The LiDAR 4 detects the relative position and relative speed of the objects around the vehicle 1 and the road structure around the vehicle 1 relative to the vehicle 1, and transmits the detection result to the driving assistance ECU 12 and the alarm device 20.

また、車両１は、ＧＰＳ（Global Positioning System）ユニット５と、地図情報ユニット６とを備えている。ＧＰＳユニット５は、ＧＰＳ信号に基づいて車両１の現在位置を示す位置情報を取得し、車両１の位置情報を運転支援ＥＣＵ１２に送信する。地図情報ユニット６は、例えば車両１に搭載されたＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等のストレージ内に形成されている。地図情報ユニット６が有する地図情報には、道路構造（道路の位置、道路の形状等）、ルール等の各種の情報が含まれる。
更に、車両１は、ドライバモニタカメラ７と、ＨＭＩ（Human Machine Interface）８と、照度センサ９とを備えている。ドライバモニタカメラ７は、車両１の運転者の顔を含むドライバモニタカメラ画像を撮像し、その画像のデータを警報装置２０に送信する。ドライバモニタカメラ７は、車両１の運転者の顔及び上半身の一部を撮像することができるように、車両１のステアリングコラム（図示せず）の上部に配置されている。
他の例では、ドライバモニタカメラ７が車両１のセンタークラスタに配置されたり、ドライバモニタカメラ７が車両１のルームミラー、メータパネル、メータフード等に配置されたりしてもよい。これらの例においても、ドライバモニタカメラ７は、車両１の運転者の顔及び上半身の一部を撮像することができる。 The vehicle 1 also includes a GPS (Global Positioning System) unit 5 and a map information unit 6. The GPS unit 5 acquires location information indicating the current location of the vehicle 1 based on a GPS signal, and transmits the location information of the vehicle 1 to the driving assistance ECU 12. The map information unit 6 is formed in a storage device such as a HDD (Hard Disk Drive) or SSD (Solid State Drive) mounted on the vehicle 1. The map information held by the map information unit 6 includes various information such as road structures (road locations, road shapes, etc.), rules, etc.
Furthermore, the vehicle 1 is equipped with a driver monitor camera 7, an HMI (Human Machine Interface) 8, and an illuminance sensor 9. The driver monitor camera 7 captures a driver monitor camera image including the face of the driver of the vehicle 1, and transmits the image data to the warning device 20. The driver monitor camera 7 is disposed above a steering column (not shown) of the vehicle 1 so as to be able to capture an image of the face and part of the upper body of the driver of the vehicle 1.
In other examples, the driver monitor camera 7 may be disposed in a center cluster of the vehicle 1, or the driver monitor camera 7 may be disposed in a rearview mirror, a meter panel, a meter hood, or the like of the vehicle 1. In these examples, the driver monitor camera 7 can also capture an image of the face and part of the upper body of the driver of the vehicle 1.

図１及び図２に示す例では、ＨＭＩ８が、運転支援ＥＣＵ１２、警報装置２０等と運転者との間で情報の入出力を行うためのインターフェースである。ＨＭＩ８は、運転者に各種情報を提供するための情報提供装置、具体的には、文字、画像等を表示するディスプレイ、音声を出力するスピーカ等を備えている。また、ＨＭＩ８は、運転者の入力操作を受け付ける操作ボタン、タッチパネル等を備えている。照度センサ９は、車両１の周囲の照度を車両１の周辺環境として検出し、その検出結果を警報装置２０に送信する。
車外カメラ２とレーダー３とＬｉＤＡＲ４とＧＰＳユニット５と地図情報ユニット６とドライバモニタカメラ７とＨＭＩ８と照度センサ９と運転支援ＥＣＵ１２と警報装置２０とは、車内ネットワーク１３を介して接続されている。 1 and 2, the HMI 8 is an interface for inputting and outputting information between the driver and the driving assistance ECU 12, the warning device 20, etc. The HMI 8 is an information providing device for providing various information to the driver, specifically, a display for displaying characters, images, etc., and a speaker for outputting sound, etc. The HMI 8 also includes operation buttons and a touch panel for accepting input operations by the driver. The illuminance sensor 9 detects the illuminance around the vehicle 1 as the surrounding environment of the vehicle 1, and transmits the detection result to the warning device 20.
The exterior camera 2, radar 3, LiDAR 4, GPS unit 5, map information unit 6, driver monitor camera 7, HMI 8, illuminance sensor 9, driving assistance ECU 12 and warning device 20 are connected via an in-vehicle network 13.

また、車両１は、操舵アクチュエータ１４と、制動アクチュエータ１５と、駆動アクチュエータ１６とを備えている。操舵アクチュエータ１４には、例えばパワーステアリングシステム、ステアバイワイヤ操舵システム、後輪操舵システム等が含まれる。制動アクチュエータ１５は、車両１を減速させる機能を有する。制動アクチュエータ１５には、例えば油圧ブレーキ、電力回生ブレーキ等が含まれる。駆動アクチュエータ１６は、車両１を加速させる機能を有する。駆動アクチュエータ１６には、例えばエンジン、ＥＶ（電気自動車）システム、ハイブリッドシステム、燃料電池システム等が含まれる。
運転支援ＥＣＵ１２は、車外カメラ２によって撮像された車両１の周囲の物体（例えば歩行者、先行車等）及び車両１の周辺の道路環境（例えば道路構造、ルール等）を示す画像のデータ、レーダー３による車両１に対する車両１の周囲の物体及び車両１の周辺の道路構造の相対位置及び相対速度の検出結果、ＬｉＤＡＲ４による車両１に対する車両１の周囲の物体及び車両１の周辺の道路構造の相対位置及び相対速度の検出結果等に基づいて、車両１の運転者による車両１の運転の支援を行う。運転支援ＥＣＵ１２は、操舵アクチュエータ１４を作動させるための制御信号を操舵アクチュエータ１４に送信し、制動アクチュエータ１５を作動させるための制御信号を制動アクチュエータ１５に送信し、駆動アクチュエータ１６を作動させるための制御信号を駆動アクチュエータ１６に送信する。 The vehicle 1 also includes a steering actuator 14, a braking actuator 15, and a drive actuator 16. The steering actuator 14 includes, for example, a power steering system, a steer-by-wire steering system, a rear wheel steering system, etc. The braking actuator 15 has a function of decelerating the vehicle 1. The braking actuator 15 includes, for example, a hydraulic brake, a regenerative brake, etc. The drive actuator 16 has a function of accelerating the vehicle 1. The drive actuator 16 includes, for example, an engine, an EV (electric vehicle) system, a hybrid system, a fuel cell system, etc.
The driving assistance ECU 12 assists the driver of the vehicle 1 in driving the vehicle 1 based on image data showing objects (e.g., pedestrians, preceding vehicles, etc.) around the vehicle 1 and the road environment (e.g., road structure, rules, etc.) around the vehicle 1 captured by the exterior camera 2, detection results of the relative positions and relative speeds of the objects around the vehicle 1 and the road structure around the vehicle 1 relative to the vehicle 1 by the radar 3, detection results of the relative positions and relative speeds of the objects around the vehicle 1 and the road structure around the vehicle 1 relative to the vehicle 1 by the LiDAR 4, etc. The driving assistance ECU 12 transmits a control signal for operating the steering actuator 14 to the steering actuator 14, transmits a control signal for operating the braking actuator 15 to the braking actuator 15, and transmits a control signal for operating the driving actuator 16 to the driving actuator 16.

警報装置２０は、車両１の運転者に対する警報をＨＭＩ８に出力させる警報処理等を実行する機能を有する。警報装置２０は、通信インターフェース（Ｉ／Ｆ）２１とメモリ２２とプロセッサ２３とを備えるマイクロコンピュータによって構成されている。通信インターフェース２１とメモリ２２とプロセッサ２３とは、信号線２４を介して接続されている。通信インターフェース２１は、警報装置２０を車内ネットワーク１３に接続するためのインターフェース回路を有する。メモリ２２は、例えば揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３により実行される処理において使用されるプログラム及び各種のデータを記憶する。プロセッサ２３は、ＨＭＩ８に警報を出力させる必要があるか否かの判定等を行う機能を有する。
図１及び図２に示す例では、警報装置２０が１つのプロセッサ２３を備えているが、他の例では、警報装置２０が複数のプロセッサを備えていてもよい。また、図１及び図２に示す例では、警報装置２０が１つのＥＣＵ（例えば警報ＥＣＵ）によって構成されているが、他の例では、警報装置２０が複数のＥＣＵによって構成されていてもよい。 The warning device 20 has a function of executing warning processing, etc., for outputting a warning to the driver of the vehicle 1 to the HMI 8. The warning device 20 is configured by a microcomputer including a communication interface (I/F) 21, a memory 22, and a processor 23. The communication interface 21, the memory 22, and the processor 23 are connected via a signal line 24. The communication interface 21 has an interface circuit for connecting the warning device 20 to the in-vehicle network 13. The memory 22 has, for example, a volatile semiconductor memory and a non-volatile semiconductor memory. The memory 22 stores programs and various data used in the processing executed by the processor 23. The processor 23 has a function of determining whether or not it is necessary to output a warning to the HMI 8.
1 and 2, the warning device 20 includes one processor 23, but in other examples, the warning device 20 may include multiple processors. Also, in the example shown in Figures 1 and 2, the warning device 20 is configured by one ECU (e.g., a warning ECU), but in other examples, the warning device 20 may be configured by multiple ECUs.

図１及び図２に示す例では、プロセッサ２３が、取得部２３１としての機能と、第１判定部２３２としての機能と、第２判定部２３３としての機能と、第３判定部２３４としての機能と、警報部２３５としての機能とを有する。
取得部２３１は、車外カメラ２によって撮像された車両１の周囲の物体（例えば歩行者等）及び車両１の周辺の道路環境を示す画像のデータから、車両１の周囲の物体の検出結果を取得する。また、取得部２３１は、レーダー３によって検出された車両１に対する車両１の周囲の物体（例えば歩行者等）及び車両１の周辺の道路環境の相対位置及び相対速度を示す情報から、車両１の周囲の物体の検出結果を取得する。更に、取得部２３１は、ＬｉＤＡＲ４によって検出された車両１に対する車両１の周囲の物体（例えば歩行者等）及び車両１の周辺の道路環境の相対位置及び相対速度を示す情報から、車両１の周囲の物体の検出結果を取得する。また、取得部２３１は、ドライバモニタカメラ７によって撮像された車両１の運転者の顔を含むドライバモニタカメラ画像のデータを取得する。更に、取得部２３１は、照度センサ９によって検出された車両１の周囲の照度を示す情報を、車両１の周辺環境の検出結果として取得する。また、取得部２３１は、車外カメラ２とドライバモニタカメラ７との位置関係を示す情報を例えばメモリ２２から取得する。 In the example shown in Figures 1 and 2, the processor 23 has a function as an acquisition unit 231, a function as a first judgment unit 232, a function as a second judgment unit 233, a function as a third judgment unit 234, and a function as an alarm unit 235.
The acquisition unit 231 acquires detection results of objects around the vehicle 1 from image data showing objects (e.g., pedestrians, etc.) around the vehicle 1 and the road environment around the vehicle 1 captured by the exterior camera 2. The acquisition unit 231 also acquires detection results of objects around the vehicle 1 from information showing the relative positions and relative speeds of objects around the vehicle 1 (e.g., pedestrians, etc.) and the road environment around the vehicle 1 relative to the vehicle 1 detected by the radar 3. The acquisition unit 231 also acquires detection results of objects around the vehicle 1 from information showing the relative positions and relative speeds of objects around the vehicle 1 (e.g., pedestrians, etc.) and the road environment around the vehicle 1 relative to the vehicle 1 detected by the LiDAR 4. The acquisition unit 231 also acquires data of a driver monitor camera image including the face of the driver of the vehicle 1 captured by the driver monitor camera 7. The acquisition unit 231 also acquires information showing the illuminance around the vehicle 1 detected by the illuminance sensor 9 as a detection result of the surrounding environment of the vehicle 1. In addition, the acquisition unit 231 acquires information indicating the positional relationship between the outside camera 2 and the driver monitor camera 7 from the memory 22, for example.

第１判定部２３２は、取得部２３１によって取得された車両１の周囲の物体の検出結果に基づいて、車両１の周囲に歩行者が存在するか否かを判定する。詳細には、第１判定部２３２は、車外カメラ２によって撮像された画像のデータに基づいて、車両１の周囲に歩行者が存在するか否かを判定する。また、第１判定部２３２は、レーダー３の検出結果に基づいて、車両１の周囲に歩行者が存在するか否かを判定する。更に、第１判定部２３２は、ＬｉＤＡＲ４の検出結果に基づいて、車両１の周囲に歩行者が存在するか否かを判定する。 The first determination unit 232 determines whether or not a pedestrian is present around the vehicle 1 based on the detection result of the object around the vehicle 1 acquired by the acquisition unit 231. In detail, the first determination unit 232 determines whether or not a pedestrian is present around the vehicle 1 based on the image data captured by the exterior camera 2. The first determination unit 232 also determines whether or not a pedestrian is present around the vehicle 1 based on the detection result of the radar 3. Furthermore, the first determination unit 232 determines whether or not a pedestrian is present around the vehicle 1 based on the detection result of the LiDAR 4.

第２判定部２３３は、取得部２３１によって取得された車両１の周辺環境の検出結果に基づいて、車両１の運転者による歩行者の視認しやすさを示す視認度が閾値以上であるか否かを判定する。詳細には、第２判定部２３３は、照度センサ９によって検出された車両１の周囲の照度に基づいて、車両１の運転者による歩行者の視認しやすさを示す視認度が閾値以上であるか否かを判定する。
つまり、図１及び図２に示す例では、車両１の運転者による歩行者の視認しやすさを示す視認度として、照度センサ９によって検出された車両１の周囲の照度が用いられる。第２判定部２３３は、例えば昼間の時間帯に、車両１の運転者による歩行者の視認しやすさを示す視認度が閾値以上であると判定し、例えば夜間の時間帯に、車両１の運転者による歩行者の視認しやすさを示す視認度が閾値未満であると判定する。
他の例では、車外カメラ２によって撮像された車両１の周囲の物体及び車両１の周辺の道路環境を示す画像に基づいて、車両１の例えば前方の物標が検出され、車両１から最も遠い検出物標までの距離が視認度として用いられてもよい。
更に他の例では、レインセンサによって検出される降雨状態が視認度に反映されてもよい。
これらの例においては、夜間及び荒天（雨、雪、霧等）時に、第２判定部２３３は、車両１の運転者による歩行者の視認しやすさを示す視認度が閾値未満であると判定する。
更に他の例では、例えば運転者にとって逆光の環境下において、第２判定部２３３が、車外カメラ２によって撮像された画像に基づいて、車両１の運転者による歩行者の視認しやすさを示す視認度が閾値未満であると判定してもよい。 The second determination unit 233 determines whether or not the visibility indicating the ease with which the driver of the vehicle 1 can see a pedestrian is equal to or greater than a threshold, based on the detection result of the surrounding environment of the vehicle 1 acquired by the acquisition unit 231. In detail, the second determination unit 233 determines whether or not the visibility indicating the ease with which the driver of the vehicle 1 can see a pedestrian is equal to or greater than a threshold, based on the illuminance around the vehicle 1 detected by the illuminance sensor 9.
1 and 2, the illuminance around the vehicle 1 detected by the illuminance sensor 9 is used as the visibility indicating the ease with which the driver of the vehicle 1 can see the pedestrian. The second determination unit 233 determines that the visibility indicating the ease with which the driver of the vehicle 1 can see the pedestrian is equal to or greater than the threshold during, for example, a daytime period, and determines that the visibility indicating the ease with which the driver of the vehicle 1 can see the pedestrian is less than the threshold during, for example, a nighttime period.
In another example, a target, for example, in front of the vehicle 1 may be detected based on an image showing objects around the vehicle 1 and the road environment around the vehicle 1 captured by the exterior camera 2, and the distance from the vehicle 1 to the farthest detected target may be used as the visibility.
In yet another example, the rainfall condition detected by a rain sensor may be reflected in the visibility.
In these examples, at night and in inclement weather (rain, snow, fog, etc.), the second determination unit 233 determines that the visibility indicating the ease with which the driver of the vehicle 1 can see pedestrians is below the threshold value.
In yet another example, for example, in an environment where the driver is in backlit, the second judgment unit 233 may determine, based on an image captured by the exterior camera 2, that the visibility indicating the ease with which the driver of the vehicle 1 can see pedestrians is below a threshold value.

図１及び図２に示す例では、第３判定部２３４が、ドライバモニタカメラ７によって撮像された車両１の運転者の顔を含むドライバモニタカメラ画像に基づいて、車両１の運転者が歩行者を視認しているか否かを判定する。詳細には、第３判定部２３４は、ドライバモニタカメラ７によって撮像された車両１の運転者の顔を含むドライバモニタカメラ画像と、車外カメラ２によって撮像された歩行者を含む画像と、取得部２３１によって取得された情報が示す車外カメラ２とドライバモニタカメラ７との位置関係とに基づいて、車両１の運転者が歩行者を視認しているか否かを判定する。
第３判定部２３４は、例えば特許第６４５９８５６号公報の段落００１８、段落００１９等に記載された技術等を用いることによって、車外カメラ画像上の運転者注視位置を特定する。更に、第３判定部２３４は、車外カメラ画像上の運転者注視位置に歩行者が存在する場合に、車両１の運転者が歩行者を視認していると判定し、車外カメラ画像上の運転者注視位置に歩行者が存在しない場合に、車両１の運転者が歩行者を視認していないと判定する。
他の例では、第３判定部２３４が、例えば特許第４８７９１８９号公報に記載された技術等のような特許第６４５９８５６号公報の段落００１８、段落００１９等に記載された技術とは異なる技術を用いることによって、車両１の運転者が歩行者を視認しているか否かを判定してもよい。 1 and 2, the third determination unit 234 determines whether or not the driver of the vehicle 1 visually recognizes a pedestrian, based on a driver monitor camera image including the face of the driver of the vehicle 1 captured by the driver monitor camera 7. In detail, the third determination unit 234 determines whether or not the driver of the vehicle 1 visually recognizes a pedestrian, based on the driver monitor camera image including the face of the driver of the vehicle 1 captured by the driver monitor camera 7, an image including the pedestrian captured by the exterior camera 2, and the positional relationship between the exterior camera 2 and the driver monitor camera 7 indicated by the information acquired by the acquisition unit 231.
The third determination unit 234 identifies the driver's gaze position on the exterior camera image by using, for example, the technology described in paragraphs 0018 and 0019 of Japanese Patent No. 6459856. Furthermore, the third determination unit 234 determines that the driver of the vehicle 1 is viewing a pedestrian when a pedestrian is present at the driver's gaze position on the exterior camera image, and determines that the driver of the vehicle 1 is not viewing a pedestrian when a pedestrian is not present at the driver's gaze position on the exterior camera image.
In another example, the third judgment unit 234 may determine whether the driver of vehicle 1 is viewing a pedestrian by using a technology different from the technology described in paragraphs 0018 and 0019 of Japanese Patent No. 6,459,856, such as the technology described in Japanese Patent No. 4,879,189.

図１及び図２に示す例では、警報部２３５が、ＨＭＩ８に警報を出力させる警報処理を実行する。
詳細には、警報部２３５は、車両１の周囲に歩行者が存在すると第１判定部２３２によって判定された場合であって、車両１の運転者による歩行者の視認しやすさを示す視認度が閾値以上であると第２判定部２３３によって判定された場合であって、運転者が歩行者を視認していないと第３判定部２３４によって判定された場合に、ＨＭＩ８に警報を出力させる警報処理を実行する。
つまり、図１及び図２に示す例では、車両１の周囲環境が、例えば昼間等のように運転者が歩行者を視認しやすい周囲環境である場合、運転者が歩行者を視認していないときにのみ、警報部２３５が警報処理を実行する。
そのため、図１及び図２に示す例では、車両１の周囲環境が、例えば昼間等のように運転者が歩行者を視認しやすい周囲環境である場合に、運転者が歩行者を既に視認しているにもかかわらず、警報部２３５が警報処理を実行することに伴って、運転者が警報部２３５による警報処理（歩行者に関する注意喚起）を煩わしいと感じてしまうおそれを抑制することができる。 In the example shown in FIG. 1 and FIG. 2, the alarm unit 235 executes an alarm process for causing the HMI 8 to output an alarm.
In detail, the alarm unit 235 executes an alarm process to cause the HMI 8 to output an alarm when the first judgment unit 232 judges that a pedestrian is present around the vehicle 1, when the second judgment unit 233 judges that the visibility indicating the ease with which the driver of the vehicle 1 can see the pedestrian is equal to or higher than a threshold, and when the third judgment unit 234 judges that the driver does not see the pedestrian.
In other words, in the example shown in Figures 1 and 2, when the surrounding environment of the vehicle 1 is an environment in which the driver can easily see pedestrians, such as during the daytime, the warning unit 235 executes warning processing only when the driver does not see pedestrians.
Therefore, in the example shown in Figures 1 and 2, when the surrounding environment of vehicle 1 is an environment in which the driver can easily see pedestrians, such as during the daytime, the warning unit 235 executes the warning process even though the driver has already seen the pedestrian, which can reduce the risk that the driver will find the warning process (warning about pedestrians) by the warning unit 235 annoying.

更に、図１及び図２に示す例では、警報部２３５は、車両１の周囲に歩行者が存在すると第１判定部２３２によって判定された場合であって、車両１の運転者による歩行者の視認しやすさを示す視認度が閾値未満であると第２判定部２３３によって判定された場合に、運転者が歩行者を視認しているか否かにかかわらず、ＨＭＩ８に警報を出力させる警報処理を実行する。つまり、車両１の周囲に歩行者が存在すると第１判定部２３２によって判定された場合であって、車両１の運転者による歩行者の視認しやすさを示す視認度が閾値未満であると第２判定部２３３によって判定された場合には、車両１の運転者が歩行者を視認しているか否かが第３判定部２３４によって判定されることなく、警報部２３５がＨＭＩ８に警報を出力させる警報処理を実行する。
すなわち、図１及び図２に示す例では、車両１の周囲環境が、例えば夜間等のように運転者が歩行者を視認しづらい周囲環境である場合に、車両１と歩行者との衝突等を回避するために、運転者が歩行者を視認しているか否かにかかわらず、警報部２３５が警報処理（運転者に対する歩行者に関する注意喚起）を実行する。
そのため、図１及び図２に示す例では、車両１の周囲環境が、例えば夜間等のように運転者が歩行者を視認しづらい周囲環境である場合における車両１の運転の安全性を向上させることができる。 1 and 2, when the first determination unit 232 determines that a pedestrian is present around the vehicle 1 and the second determination unit 233 determines that the visibility indicating the ease of visibility of the pedestrian by the driver of the vehicle 1 is less than a threshold, the alarm unit 235 executes an alarm process to cause the HMI 8 to output an alarm, regardless of whether the driver sees the pedestrian or not. In other words, when the first determination unit 232 determines that a pedestrian is present around the vehicle 1 and the second determination unit 233 determines that the visibility indicating the ease of visibility of the pedestrian by the driver of the vehicle 1 is less than a threshold, the alarm unit 235 executes an alarm process to cause the HMI 8 to output an alarm, without the third determination unit 234 determining whether the driver of the vehicle 1 sees the pedestrian.
That is, in the example shown in Figures 1 and 2, when the surrounding environment of vehicle 1 is an environment in which it is difficult for the driver to see pedestrians, such as at night, in order to avoid a collision between vehicle 1 and pedestrians, the warning unit 235 executes warning processing (alerts the driver to pedestrians) regardless of whether the driver sees the pedestrian or not.
Therefore, in the example shown in Figures 1 and 2, the safety of driving the vehicle 1 can be improved when the surrounding environment of the vehicle 1 is an environment in which it is difficult for the driver to see pedestrians, such as at night.

図３は第１実施形態の警報装置２０のプロセッサ２３によって実行される処理の一例を説明するためのフローチャートである。
図３に示す例では、ステップＳ１０において、取得部２３１が、車両１の周囲の物体の検出結果、車両１の周辺環境の検出結果等を取得する。
ステップＳ１１では、第１判定部２３２が、ステップＳ１０において取得された車両１の周囲の物体の検出結果に基づいて、車両１の周囲に歩行者が存在するか否かを判定する。ＹＥＳの場合にはステップＳ１２に進み、ＮＯの場合には図３に示すルーチンを終了する。
ステップＳ１２では、第２判定部２３３が、ステップＳ１０において取得された車両１の周辺環境の検出結果に基づいて、車両１の運転者による歩行者の視認しやすさを示す視認度が閾値以上であるか否かを判定する。ＹＥＳの場合にはステップＳ１３に進み、ＮＯの場合にはステップＳ１４に進む。 FIG. 3 is a flowchart for explaining an example of processing executed by the processor 23 of the warning device 20 of the first embodiment.
In the example shown in FIG. 3, in step S10, the acquisition unit 231 acquires the detection results of objects around the vehicle 1, the detection results of the surrounding environment of the vehicle 1, and the like.
In step S11, the first determination unit 232 determines whether or not a pedestrian is present around the vehicle 1 based on the detection result of the object around the vehicle 1 acquired in step S10. If YES, the process proceeds to step S12, and if NO, the routine shown in FIG. 3 is terminated.
In step S12, the second determination unit 233 determines whether or not the visibility indicating the ease with which the driver of the vehicle 1 can recognize pedestrians is equal to or greater than a threshold based on the detection result of the surrounding environment of the vehicle 1 acquired in step S10. If the result is YES, the process proceeds to step S13, and if the result is NO, the process proceeds to step S14.

ステップＳ１３において、第３判定部２３４は、ドライバモニタカメラ７によって撮像された運転者の顔を含むドライバモニタカメラ画像に基づいて、車両１の運転者が歩行者を視認しているか否かを判定する。ＹＥＳの場合には図３に示すルーチンを終了し、ＮＯの場合にはステップＳ１４に進む。
ステップＳ１４では、警報部２３５が、ＨＭＩ８に警報を出力させる警報処理を実行する。 In step S13, the third determination unit 234 determines whether or not the driver of the vehicle 1 is viewing a pedestrian based on a driver monitor camera image including the face of the driver captured by the driver monitor camera 7. If YES, the routine shown in Fig. 3 is terminated, and if NO, the process proceeds to step S14.
In step S14, the alarm unit 235 executes an alarm process to cause the HMI 8 to output an alarm.

＜第２実施形態＞
第２実施形態の警報装置２０が適用された車両１は、後述する点を除き、図１に示す第１実施形態の警報装置２０が適用された車両１と同様に構成されている。図４は第２実施形態の警報装置２０の具体的な構成の一例を示す図である。 Second Embodiment
The vehicle 1 to which the warning device 20 of the second embodiment is applied is configured similarly to the vehicle 1 to which the warning device 20 of the first embodiment shown in Fig. 1 is applied, except for the points described below. Fig. 4 is a diagram showing an example of a specific configuration of the warning device 20 of the second embodiment.

上述したように、図１及び図２に示す例では、プロセッサ２３が、取得部２３１としての機能と、第１判定部２３２としての機能と、第２判定部２３３としての機能と、第３判定部２３４としての機能と、警報部２３５としての機能とを有する。
一方、図１及び図４に示す例では、プロセッサ２３が、取得部２３１としての機能と、第１判定部２３２としての機能と、第２判定部２３３としての機能と、第３判定部２３４としての機能と、第４判定部２３６としての機能と、第５判定部２３７としての機能と、警報部２３５としての機能とを有する。 As described above, in the example shown in Figures 1 and 2, the processor 23 has a function as an acquisition unit 231, a function as a first judgment unit 232, a function as a second judgment unit 233, a function as a third judgment unit 234, and a function as an alarm unit 235.
On the other hand, in the example shown in Figures 1 and 4, the processor 23 has a function as an acquisition unit 231, a function as a first judgment unit 232, a function as a second judgment unit 233, a function as a third judgment unit 234, a function as a fourth judgment unit 236, a function as a fifth judgment unit 237, and a function as an alarm unit 235.

第４判定部２３６は、取得部２３１によって取得された車両１の周囲の物体の検出結果に基づいて、複数の歩行者の集まりである歩行者集団が車両１の周囲に存在するか否かを判定する。詳細には、第４判定部２３６は、例えば下記の文献１～文献３に記載されている技術等のような公知の技術を用いることにより、重なって見える複数の歩行者を１つの歩行者集団と認識し、歩行者集団が車両１の周囲に存在するか否かを判定する。
文献１：「重複のないカメラ視野を移動する複数の歩行者の対応付け」赤塚久哉他（https://www.cs.is.i.nagoya-u.ac.jp/users/ide/res/paper/J06-symposium-akatsuka-2.pdf）
文献２：「車載カメラを用いた複数歩行者の実時間認識」鈴木秀和他、電子情報通信学会論文誌Ａ、Ｖｏｌ．Ｊ８８－Ａ、Ｎｏ．２、ｐｐ．１３１－１４１
文献３：「車載カメラを用いた深層学習による人流推定法の提案」原佑輔他、情報処理学会研究報告、Ｖｏｌ．２０１８－ＩＴＳ－７２、Ｎｏ．３ The fourth determination unit 236 determines whether or not a pedestrian group, which is a collection of multiple pedestrians, exists around the vehicle 1, based on the detection result of the object around the vehicle 1 acquired by the acquisition unit 231. In detail, the fourth determination unit 236 recognizes multiple pedestrians that appear to overlap as one pedestrian group by using a known technique such as the techniques described in the following documents 1 to 3, and determines whether or not a pedestrian group exists around the vehicle 1.
Reference 1: "Matching multiple pedestrians moving in a non-overlapping camera field of view" by Hisaya Akatsuka et al. (https://www.cs.is.i.nagoya-u.ac.jp/users/ide/res/paper/J06-symposium-akatsuka-2.pdf)
Reference 2: "Real-time recognition of multiple pedestrians using a vehicle-mounted camera," Hidekazu Suzuki et al., IEICE Transactions on Information and Communication Engineers, Vol. J88-A, No. 2, pp. 131-141
Reference 3: "Proposal of a method for estimating people flow using deep learning with an in-vehicle camera," Yusuke Hara et al., Information Processing Society of Japan Research Report, Vol. 2018-ITS-72, No. 3

第５判定部２３７は、取得部２３１によって取得された車両１の周囲の物体の検出結果に基づいて、歩行者集団に属さない歩行者である単独歩行者が車両１の周囲に存在するか否かを判定する。 The fifth determination unit 237 determines whether or not a lone pedestrian who does not belong to a group of pedestrians is present around the vehicle 1 based on the detection results of objects around the vehicle 1 acquired by the acquisition unit 231.

単独歩行者は、歩行者集団に含まれる複数の歩行者のそれぞれとは異なる動きをするため、歩行者集団に属さない。車両１の走行中、車両１の運転者が、歩行者集団に気を取られ、単独歩行者に気付かない場合には、車両１と単独歩行者との衝突等のリスクが高くなるおそれがある。 A lone pedestrian does not belong to a pedestrian group because his or her movements are different from those of the multiple pedestrians that are included in the pedestrian group. If the driver of vehicle 1 is distracted by a group of pedestrians while vehicle 1 is traveling and does not notice the lone pedestrian, there is a high risk of a collision between vehicle 1 and the lone pedestrian.

そこで、図１及び図４に示す例では、歩行者集団が車両１の周囲に存在すると第４判定部２３６が判定した場合であって、単独歩行者が車両１の周囲に存在すると第５判定部２３７が判定した場合に、車両１の運転者が単独歩行者を視認しているか否かにかかわらず、警報部２３５が、ＨＭＩ８に警報を出力させる警報処理を実行する。
その結果、図１及び図４に示す例では、車両１の運転者が歩行者集団に気を取られて単独歩行者に気付かないおそれを抑制することができる。 Therefore, in the example shown in Figures 1 and 4, if the fourth judgment unit 236 judges that a group of pedestrians is present around the vehicle 1 and the fifth judgment unit 237 judges that a lone pedestrian is present around the vehicle 1, the alarm unit 235 executes an alarm process to cause the HMI 8 to output an alarm, regardless of whether the driver of the vehicle 1 can see the lone pedestrian or not.
As a result, in the examples shown in Figures 1 and 4, the risk that the driver of the vehicle 1 will be distracted by a group of pedestrians and fail to notice a lone pedestrian can be reduced.

図５は第２実施形態の警報装置２０のプロセッサ２３によって実行される処理の一例を説明するためのフローチャートである。
図５に示す例では、ステップＳ１０において、図３に示す例と同様に、取得部２３１が、車両１の周囲の物体の検出結果、車両１の周辺環境の検出結果等を取得する。
ステップＳ１１では、図３に示す例と同様に、第１判定部２３２が、ステップＳ１０において取得された車両１の周囲の物体の検出結果に基づいて、車両１の周囲に歩行者が存在するか否かを判定する。ＹＥＳの場合にはステップＳ２０に進み、ＮＯの場合には図５に示すルーチンを終了する。 FIG. 5 is a flowchart for explaining an example of processing executed by the processor 23 of the alarm device 20 of the second embodiment.
In the example shown in FIG. 5, in step S10, similarly to the example shown in FIG. 3, the acquisition unit 231 acquires the detection results of objects around the vehicle 1, the detection results of the surrounding environment of the vehicle 1, and the like.
In step S11, similarly to the example shown in Fig. 3, the first determination unit 232 determines whether or not a pedestrian is present around the vehicle 1 based on the detection result of the object around the vehicle 1 acquired in step S10. If YES, the process proceeds to step S20, and if NO, the routine shown in Fig. 5 is terminated.

ステップＳ２０では、第４判定部２３６が、ステップＳ１０において取得された車両１の周辺環境の検出結果に基づいて、複数の歩行者の集まりである歩行者集団が車両１の周囲に存在するか否かを判定する。ＹＥＳの場合にはステップＳ２１に進み、ＮＯの場合にはステップＳ１２に進む。
ステップＳ２１では、第５判定部２３７が、ステップＳ１０において取得された車両１の周辺環境の検出結果に基づいて、歩行者集団に属さない歩行者である単独歩行者が車両１の周囲に存在するか否かを判定する。ＹＥＳの場合にはステップＳ１４に進み、ＮＯの場合には図５に示すルーチンを終了する。 In step S20, the fourth determination unit 236 determines, based on the detection result of the surrounding environment of the vehicle 1 acquired in step S10, whether or not a pedestrian group, which is a collection of multiple pedestrians, is present around the vehicle 1. If the determination is YES, the process proceeds to step S21, and if the determination is NO, the process proceeds to step S12.
In step S21, the fifth determination unit 237 determines, based on the detection result of the surrounding environment of the vehicle 1 acquired in step S10, whether or not a lone pedestrian who does not belong to a pedestrian group is present around the vehicle 1. If the result is YES, the process proceeds to step S14, and if the result is NO, the routine shown in FIG.

ステップＳ１２では、図３に示す例と同様に、第２判定部２３３が、ステップＳ１０において取得された車両１の周辺環境の検出結果に基づいて、車両１の運転者による歩行者の視認しやすさを示す視認度が閾値以上であるか否かを判定する。ＹＥＳの場合にはステップＳ１３に進み、ＮＯの場合にはステップＳ１４に進む。
ステップＳ１３において、第３判定部２３４は、ドライバモニタカメラ７によって撮像された運転者の顔を含むドライバモニタカメラ画像に基づいて、車両１の運転者が歩行者を視認しているか否かを判定する。ＹＥＳの場合には図５に示すルーチンを終了し、ＮＯの場合にはステップＳ１４に進む。
ステップＳ１４では、図３に示す例と同様に、警報部２３５が、ＨＭＩ８に警報を出力させる警報処理を実行する。 3, in step S12, the second determination unit 233 determines whether or not the visibility indicating the ease with which the driver of the vehicle 1 can recognize pedestrians is equal to or greater than a threshold based on the detection result of the surrounding environment of the vehicle 1 acquired in step S10. If the result is YES, the process proceeds to step S13, and if the result is NO, the process proceeds to step S14.
In step S13, the third determination unit 234 determines whether or not the driver of the vehicle 1 is viewing a pedestrian based on a driver monitor camera image including the face of the driver captured by the driver monitor camera 7. If YES, the routine shown in Fig. 5 is terminated, and if NO, the process proceeds to step S14.
In step S14, similarly to the example shown in FIG. 3, the alarm unit 235 executes an alarm process to cause the HMI 8 to output an alarm.

以上のように、本開示の警報装置、警報方法及びプログラムの実施形態について図面を参照して説明したが、本開示の警報装置、警報方法及びプログラムは上述した実施形態に限られるものではなく、本開示の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した実施形態の各例の構成を適宜組み合わせてもよい。
上述した実施形態の各例では、警報装置２０において行われる処理を、プログラムを実行することにより行われるソフトウエア処理として説明したが、警報装置２０において行われる処理が、ハードウエアにより行われる処理であってもよい。あるいは、警報装置２０において行われる処理が、ソフトウエア及びハードウエアの双方を組み合わせた処理であってもよい。また、警報装置２０のメモリ２２に記憶されるプログラム（警報装置２０のプロセッサ２３の機能を実現するプログラム）が、例えば半導体メモリ、磁気記録媒体、光記録媒体等のようなコンピュータ読み取り可能な記憶媒体に記録されて提供、流通等されてもよい。 As described above, the embodiments of the alarm device, the alarm method, and the program disclosed herein have been described with reference to the drawings, but the alarm device, the alarm method, and the program disclosed herein are not limited to the above-described embodiments, and may be modified as appropriate without departing from the spirit of the present disclosure. The configurations of the examples of the above-described embodiments may be combined as appropriate.
In each of the above-mentioned embodiments, the processing performed in the alarm device 20 has been described as software processing performed by executing a program, but the processing performed in the alarm device 20 may be processing performed by hardware. Alternatively, the processing performed in the alarm device 20 may be processing that combines both software and hardware. In addition, the program stored in the memory 22 of the alarm device 20 (a program that realizes the functions of the processor 23 of the alarm device 20) may be provided, distributed, etc., by recording it on a computer-readable storage medium such as a semiconductor memory, a magnetic recording medium, an optical recording medium, etc.

１車両
２車外カメラ
３レーダー
４ＬｉＤＡＲ
５ＧＰＳユニット
６地図情報ユニット
７ドライバモニタカメラ
８ＨＭＩ
９照度センサ
１２運転支援ＥＣＵ
１４操舵アクチュエータ
１５制動アクチュエータ
１６駆動アクチュエータ
２０警報装置
２１通信インターフェース
２２メモリ
２３プロセッサ
２３１取得部
２３２第１判定部
２３３第２判定部
２３４第３判定部
２３５警報部
２３６第４判定部
２３７第５判定部 1. Vehicle 2. Outside camera 3. Radar 4. LiDAR
5 GPS unit 6 Map information unit 7 Driver monitor camera 8 HMI
9 Illuminance sensor 12 Driving assistance ECU
14 Steering actuator 15 Braking actuator 16 Driving actuator 20 Alarm device 21 Communication interface 22 Memory 23 Processor 231 Acquisition unit 232 First determination unit 233 Second determination unit 234 Third determination unit 235 Alarm unit 236 Fourth determination unit 237 Fifth determination unit

Claims

a first determination unit that determines whether or not a pedestrian is present around the vehicle based on a result of detection of an object around the vehicle;
a second determination unit that determines whether a visibility indicating an ease with which a driver of the vehicle can recognize the pedestrian is equal to or greater than a threshold based on a detection result of the surrounding environment of the vehicle;
a third determination unit that determines whether or not the driver is viewing the pedestrian based on a driver monitor camera image including a face of the driver captured by a driver monitor camera;
a fourth determination unit that determines whether or not a pedestrian group, which is a group of a plurality of pedestrians, is present around the vehicle based on a result of the detection of objects around the vehicle;
a fifth determination unit that determines whether or not a lone pedestrian who does not belong to the pedestrian group is present around the vehicle based on a result of the detection of an object around the vehicle;
an alarm unit that executes an alarm process to output an alarm;
The alarm unit is
execute the warning process when the pedestrian is present around the vehicle, the visibility is equal to or greater than the threshold, and the driver does not see the pedestrian;
When the pedestrian is present around the vehicle and the visibility is less than the threshold, the warning process is executed regardless of whether the driver sees the pedestrian or not.
The fifth determination unit is
Based on the data of the image captured by the external camera, the detection results of the radar, and the detection results of the LiDAR, it is determined whether or not the lone pedestrian whose movement is different from that of each of the multiple pedestrians included in the pedestrian group is present around the vehicle;
The alarm unit is
When a group of pedestrians is present around the vehicle and when a lone pedestrian whose movements are different from those of each of the multiple pedestrians included in the group of pedestrians is present around the vehicle, the warning device executes the warning processing regardless of whether the driver can see the lone pedestrian .

a first determination step in which the warning device determines whether or not a pedestrian is present around the vehicle based on a result of detection of an object around the vehicle;
a second determination step in which the warning device determines whether or not a visibility indicating an ease with which the driver of the vehicle can see the pedestrian is equal to or greater than a threshold based on a detection result of the surrounding environment of the vehicle;
a third determination step in which the warning device determines whether the driver visually recognizes the pedestrian based on a driver monitor camera image including a face of the driver captured by a driver monitor camera;
a fourth determination step in which the warning device determines whether or not a pedestrian group, which is a group of a plurality of pedestrians, is present around the vehicle based on a result of detection of an object around the vehicle;
a fifth determination step in which the warning device determines whether or not a lone pedestrian who does not belong to the pedestrian group is present around the vehicle based on the result of the detection of objects around the vehicle;
The warning device includes a warning step of outputting a warning,
The alarm device includes:
Executing the warning step when the pedestrian is present around the vehicle, the visibility is equal to or greater than the threshold, and the driver does not see the pedestrian;
When the pedestrian is present around the vehicle and the visibility is less than the threshold, the warning step is executed regardless of whether the driver sees the pedestrian.
In the fifth determination step,
Based on the data of the image captured by the external camera, the detection results of the radar, and the detection results of the LiDAR, it is determined whether or not the lone pedestrian whose movement is different from that of each of the multiple pedestrians included in the pedestrian group is present around the vehicle;
The warning step includes:
The warning method is executed when a group of pedestrians is present around the vehicle and when a lone pedestrian whose movements are different from those of each of the multiple pedestrians included in the group of pedestrians is present around the vehicle, regardless of whether the driver can see the lone pedestrian.

The processor:
a first determination step of determining whether or not a pedestrian is present around the vehicle based on a result of detection of an object around the vehicle;
a second determination step of determining whether or not a visibility indicating an ease with which a driver of the vehicle can recognize the pedestrian is equal to or greater than a threshold based on a detection result of the surrounding environment of the vehicle;
a third determination step of determining whether or not the driver is viewing the pedestrian based on a driver monitor camera image including a face of the driver captured by a driver monitor camera;
a fourth determination step of determining whether or not a pedestrian group, which is a group of a plurality of pedestrians, is present around the vehicle based on the result of the detection of objects around the vehicle;
a fifth determination step of determining whether or not a lone pedestrian who does not belong to the pedestrian group is present around the vehicle based on the result of the detection of objects around the vehicle;
and a warning step of outputting a warning,
The warning step is executed when the pedestrian is present around the vehicle, the visibility is equal to or greater than the threshold, and the driver does not see the pedestrian,
The warning step is executed when the pedestrian is present around the vehicle and the visibility is less than the threshold, regardless of whether the driver sees the pedestrian or not,
In the fifth determination step,
Based on the data of the image captured by the external camera, the detection results of the radar, and the detection results of the LiDAR, it is determined whether or not the lone pedestrian whose movement is different from that of each of the multiple pedestrians included in the pedestrian group is present around the vehicle;
The warning step includes:
A program that is executed when a group of pedestrians is present around the vehicle and when a lone pedestrian whose movements are different from those of each of the multiple pedestrians included in the group of pedestrians is present around the vehicle, regardless of whether the driver can see the lone pedestrian.