JP7527737B2

JP7527737B2 - Stop Line Detector

Info

Publication number: JP7527737B2
Application number: JP2021020865A
Authority: JP
Inventors: 祥吾松本
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2021-02-12
Filing date: 2021-02-12
Publication date: 2024-08-05
Anticipated expiration: 2041-02-12
Also published as: JP2022123511A

Description

本発明は、一時停止線検出装置に関し、特に、撮像した画像から一時停止線を検出する一時停止線検出装置に関する。 The present invention relates to a stop line detection device, and in particular to a stop line detection device that detects stop lines from captured images.

従来、撮像した画像から一時停止線を検出する一時停止線検出装置が提案されている（例えば、特許文献１参照）。 Conventionally, a stop line detection device has been proposed that detects stop lines from captured images (see, for example, Patent Document 1).

上記特許文献１には、一時停止線以外の白線の誤検知を防止して、一時停止線を精度よく検出する一時停止線検出装置が記載されている。上記特許文献１に記載された一時停止線検出装置では、カメラにより撮像された自車両前方の画像から自車両の走行レーンの境界を示すレーンマーク（区画線）を検出し、レーンマークと交差するように路面車幅方向（水平方向）に延びる白線を検出し、該白線が直線状かつ所定長さ以上である場合に一時停止線であると認識する。 The above-mentioned Patent Document 1 describes a stop line detection device that prevents erroneous detection of white lines other than stop lines and accurately detects stop lines. The stop line detection device described in the above-mentioned Patent Document 1 detects lane marks (dividing lines) that indicate the boundaries of the vehicle's driving lane from an image in front of the vehicle captured by a camera, detects white lines that extend in the vehicle width direction (horizontal direction) of the road surface so as to intersect with the lane marks, and recognizes the white line as a stop line if it is straight and has a predetermined length or more.

特開２０１２－１５０５９５号公報JP 2012-150595 A

ところで、上記特許文献１のように、自車両前方における一時停止線を認識するための手段として、自車両の走行レーンの境界を示すレーンマーク（区画線）を検出し、レーンマークと路面車幅方向（水平方向）に接続する一定長さのラインを認識する等の検出方法がある。 As described in Patent Document 1 above, one method for recognizing a stop line ahead of the vehicle is to detect lane marks (dividing lines) that indicate the boundaries of the vehicle's travel lane, and to recognize a line of a certain length that connects the lane mark to the road surface in the vehicle width direction (horizontal direction).

しかしながら、上記のような方法では、自車両前方における一時停止線が自車線側（自車両側）の一時停止線であるのか、又は対向車線側（対向車両側）の一時停止線であるのかを判別することが困難であるという問題点があった。 However, the above method has the problem that it is difficult to determine whether the stop line ahead of the vehicle is a stop line on the vehicle's own lane (the vehicle's side) or on the oncoming lane (the oncoming vehicle's side).

本発明は、上記問題点を解消すべくなされたものであって、自車両前方における一時停止線が自車線側の一時停止線であることの判定率を向上することが可能な一時停止線検出装置を提供することを目的とする。 The present invention has been made to solve the above problems, and aims to provide a stop line detection device that can improve the rate at which a stop line ahead of the vehicle is determined to be a stop line on the vehicle's own lane.

上記目的を達成するために、本発明は、次のように構成されている。 To achieve the above objective, the present invention is configured as follows:

（１）本発明による一時停止線検出装置は、車両前方を撮像する撮像部と、前記撮像部により撮像された撮像画像から一時停止線候補を検出する一時停止線検出部と、前記一時停止線検出部により検出された前記一時停止線候補の長さ方向の両側端点を検出する前記一時停止線候補の端点検出部と、前記一時停止線候補の前記両側端点に基づいて算出される前記一時停止線候補の長さが所定長さ以上であるか否かを判定する一時停止線候補判定部と、前記一時停止線候補判定部により前記所定長さ以上であると判定された前記一時停止線候補に対して車道の幅方向両外側における車道の両側端点を取得する車道端点取得部と、前記一時停止線候補の両側端点と前記車道の両側端点との位置関係に基づいて、自車線側の一時停止線であることを判定する自車線側一時停止線判定部とを備えること、を特徴とする。 (1) The stop line detection device according to the present invention is characterized in that it includes an imaging unit that images the area ahead of the vehicle, a stop line detection unit that detects stop line candidates from an image captured by the imaging unit, a stop line candidate endpoint detection unit that detects both end points in the length direction of the stop line candidate detected by the stop line detection unit, a stop line candidate determination unit that determines whether the length of the stop line candidate calculated based on the both end points of the stop line candidate is equal to or greater than a predetermined length, a roadway endpoint acquisition unit that acquires both end points of the roadway on both sides in the width direction of the roadway for the stop line candidate determined by the stop line candidate determination unit to be equal to or greater than the predetermined length, and a current lane side stop line determination unit that determines that the stop line is a stop line on the current lane side based on the positional relationship between the both end points of the stop line candidate and the both end points of the roadway.

上記構成によれば、撮像部により撮像された自車両前方における一時停止線候補の両側端点、及び車道の幅方向両外側における車道の両側端点との位置関係に基づいて、自車両前方における一時停止線候補が自車線側（自車両側）の一時停止線であるのか、又は対向車線側（対向車両側）の一時停止線であるのかを判定することができる。これにより、自車両前方における一時停止線候補が自車線側の一時停止線であることの判定率を向上することができる。 According to the above configuration, it is possible to determine whether a stop line candidate ahead of the vehicle is a stop line on the vehicle's own lane side (the vehicle's side) or an oncoming lane side (the oncoming vehicle's side) based on the positional relationship between the endpoints on both sides of the stop line candidate ahead of the vehicle captured by the imaging unit and the endpoints on both sides of the roadway on both outer sides in the width direction of the roadway. This makes it possible to improve the determination rate that a stop line candidate ahead of the vehicle is a stop line on the vehicle's own lane side.

（２）本発明による一時停止線検出装置において、好ましくは、前記自車線側一時停止線判定部は、前記一時停止線候補の両側端点と対応する方向における前記車道の両側端点との離間距離を比較して、前記自車線側の一時停止線であることを判定するとよい。このように構成すれば、一時停止線候補の両側端点と対応する方向における車道の両側端点との離間距離の大きさに基づいて、容易に、一時停止線候補が自車線側（自車両側）の一時停止線であるのか、又は対向車線側（対向車両側）の一時停止線であるのかを判定することができる。 (2) In the stop line detection device according to the present invention, preferably, the stop line determination unit for the own lane compares the distance between both side endpoints of the stop line candidate and both side endpoints of the roadway in the corresponding direction to determine that it is a stop line for the own lane. With this configuration, it is possible to easily determine whether the stop line candidate is a stop line for the own lane (for the own vehicle) or an oncoming lane (for the oncoming vehicle) based on the magnitude of the distance between both side endpoints of the stop line candidate and both side endpoints of the roadway in the corresponding direction.

（３）この場合において、好ましくは、前記一時停止線候補の両側端点は、車両の進行方向に対して左側に位置する停止線左側端点、及び車両の進行方向に対して右側に位置する停止線右側端点を含み、前記車道の両側端点は、車両の進行方向に対して左側に位置する車道左側端点、及び車両の進行方向に対して右側に位置する車道右側端点を含み、前記停止線左側端点と前記車道左側端点との離間距離を左側離間距離とし、前記停止線右側端点と前記車道右側端点との離間距離を右側離間距離とした場合に、前記左側離間距離及び前記右側離間距離が所定の離間距離よりも小さいことを条件として、前記自車線側の一時停止線であると前記自車線側一時停止線判定部が判定するとよい。このように構成すれば、左側離間距離及び右側離間距離が所定の離間距離よりも小さい場合に、一時停止線候補の長さが車道の幅方向の長さに対して所定長さ以上であると判定することができる。その結果、一時停止線候補が自車線側（自車両側）の一時停止線であると判定することができる。 (3) In this case, preferably, the end points on both sides of the stop line candidate include the left end point of the stop line located on the left side of the vehicle's traveling direction and the right end point of the stop line located on the right side of the vehicle's traveling direction, and the end points on both sides of the roadway include the left end point of the roadway located on the left side of the vehicle's traveling direction and the right end point of the roadway located on the right side of the vehicle's traveling direction, and the distance between the left end point of the stop line and the left end point of the roadway is defined as the left side separation distance, and the distance between the right end point of the stop line and the right end point of the roadway is defined as the right side separation distance. If the left side separation distance and the right side separation distance are smaller than a predetermined separation distance, the stop line determination unit on the own lane side may determine that the stop line candidate is a stop line on the own lane side. With this configuration, if the left side separation distance and the right side separation distance are smaller than the predetermined separation distance, it can be determined that the length of the stop line candidate is equal to or greater than a predetermined length with respect to the width of the roadway. As a result, it can be determined that the stop line candidate is a stop line on the own lane side (own vehicle side).

（４）上記左側離間距離及び右側離間距離を所定の離間距離と比較する構成において、好ましくは、前記左側離間距離及び前記右側離間距離のうち少なくとも一方が所定の離間距離よりも大きいことを条件として、前記自車線側一時停止線判定部は、前記左側離間距離が前記右側離間距離よりも小さいことを条件に前記自車線側の一時停止線であると判定するとともに、前記左側離間距離が前記右側離間距離よりも大きいことを条件に対向車線側の一時停止線であると判定するとよい。このように構成すれば、左側離間距離が右側離間距離よりも小さい場合に一時停止線候補が車道の中央に対して左側に位置する（左寄り）と判定されるため、一時停止線候補が自車線側（自車両側）の一時停止線であると判定することができる。一方、左側離間距離が右側離間距離よりも大きい場合に一時停止線候補が車道の中央に対して右側に位置する（右寄り）と判定されるため、一時停止線候補が対向車線側（対向車両側）の一時停止線であると判定することができる。 (4) In the configuration in which the left side separation distance and the right side separation distance are compared with a predetermined separation distance, preferably, on the condition that at least one of the left side separation distance and the right side separation distance is greater than the predetermined separation distance, the stop line determination unit for the own lane may determine that the stop line is a stop line for the own lane if the left side separation distance is smaller than the right side separation distance, and may determine that the stop line is a stop line for the oncoming lane if the left side separation distance is greater than the right side separation distance. With this configuration, if the left side separation distance is smaller than the right side separation distance, the stop line candidate is determined to be located to the left of the center of the roadway (leftward), so that the stop line candidate can be determined to be a stop line for the own lane (own vehicle). On the other hand, if the left side separation distance is greater than the right side separation distance, the stop line candidate is determined to be located to the right of the center of the roadway (rightward), so that the stop line candidate can be determined to be a stop line for the oncoming lane (oncoming vehicle).

（５）本発明による一時停止線検出装置において、好ましくは、前記一時停止線検出部は、深層学習を利用した画像認識を利用して前記一時停止線候補を検出するとよい。このように構成すれば、深層学習を利用した画像認識により、撮像部により撮像された車両前方における複数の一時停止線候補が、自車線側の一時停止線であるのか、又は対向車線側の一時停止線であるのかを効果的に判定することができる。 (5) In the stop line detection device according to the present invention, preferably, the stop line detection unit detects the stop line candidates using image recognition that utilizes deep learning. With this configuration, it is possible to effectively determine, by image recognition that utilizes deep learning, whether a plurality of stop line candidates in front of the vehicle captured by the image capture unit are stop lines on the vehicle's own lane or on the oncoming lane.

本発明に係る態様によれば、自車両前方における一時停止線が自車線側の一時停止線であることの判定率を向上することが可能な一時停止線検出装置を提供することができる。 According to an aspect of the present invention, a stop line detection device can be provided that can improve the rate at which a stop line ahead of the vehicle is determined to be a stop line on the vehicle's own lane.

本実施形態に係る一時停止線検出装置を示すブロック図である。1 is a block diagram showing a stop line detection device according to an embodiment of the present invention; 本実施形態に係る一時停止線検出装置における一時停止線判定処理を示すフローチャートである。5 is a flowchart showing a stop line determination process in the stop line detection device according to the present embodiment. 本実施形態に係る一時停止線検出装置における一時停止線判定処理を示すフローチャートである。5 is a flowchart showing a stop line determination process in the stop line detection device according to the present embodiment. 本実施形態に係るルックアップテーブルの一例を示す図である。FIG. 4 is a diagram illustrating an example of a lookup table according to the embodiment. 本実施形態に係る一時停止線判定処理を説明するための図である。5 is a diagram for explaining a stop line determination process according to the embodiment; FIG. 本実施形態に係る車道検出を説明するための図である。FIG. 4 is a diagram for explaining roadway detection according to the embodiment; 本実施形態の第一変形例に係る一時停止線判定処理を説明するための図である。11 is a diagram for explaining a stop line determination process according to a first modified example of the embodiment. FIG. 本実施形態の第二変形例に係る一時停止線判定処理を説明するための図である。FIG. 11 is a diagram for explaining a stop line determination process according to a second modified example of the embodiment.

以下、添付図面を参照して、本発明の一実施形態に係る一時停止線検出装置を説明する。これらの図は模式図であって、必ずしも大きさを正確な比率で記したものではない。また、図中、同様の構成部品は、同様の符号を付して示す。 The following describes a stop line detection device according to one embodiment of the present invention with reference to the accompanying drawings. These drawings are schematic diagrams and are not necessarily drawn to exact scale. In addition, similar components are denoted by similar reference numerals in the drawings.

（全体構成）
図１～図６を参照して、本発明の一実施形態に係る一時停止線検出装置の概略構成について説明する。一時停止線検出装置１００は、車両（図示省略）に搭載されている。一時停止線検出装置１００は、道路領域を含む自車両前方を撮像して画像及び映像を取得し、撮像された画像及び映像に基づいて一時停止線候補を検出し、一時停止線候補が自車線側の一時停止線であるか又は対向車線側の一時停止線であるかを判定するように構成されている。 (overall structure)
A schematic configuration of a stop line detection device according to an embodiment of the present invention will be described with reference to Figures 1 to 6. The stop line detection device 100 is mounted on a vehicle (not shown). The stop line detection device 100 is configured to capture an image and video of the area ahead of the vehicle, including the road area, detect a stop line candidate based on the captured image and video, and determine whether the stop line candidate is a stop line on the vehicle's lane or an oncoming lane.

図１に示すように、一時停止線検出装置１００は、主に、撮像部１０と、制御部２０と、出力部３０とを備えている。 As shown in FIG. 1, the stop line detection device 100 mainly includes an imaging unit 10, a control unit 20, and an output unit 30.

撮像部１０は、カメラユニット等により構成されている。撮像部１０（カメラユニット）は、例えば、車室内におけるフロントガラスや車両の前方等に取り付けられている。撮像部１０は、道路領域や人物等を含む自車両前方を撮像する。また、撮像部１０は、撮像された画像及び映像に関する情報を制御部２０に出力する。 The imaging unit 10 is composed of a camera unit and the like. The imaging unit 10 (camera unit) is attached, for example, to the windshield inside the vehicle cabin or to the front of the vehicle. The imaging unit 10 captures images of the area in front of the vehicle, including road areas and people. The imaging unit 10 also outputs information about the captured images and video to the control unit 20.

制御部２０は、後述する一時停止線判定に関する制御に基づいて、撮像部１０により撮像された画像及び映像から一時停止線候補を検出し、この一時停止線候補が自車線側の一時停止線であるか又は対向車線側の一時停止線であるかを判定する。また、制御部２０は、上記の判定結果を出力部３０に出力する。 The control unit 20 detects a stop line candidate from the image and video captured by the imaging unit 10 based on the control related to the stop line determination described later, and determines whether the stop line candidate is a stop line on the own lane side or a stop line on the oncoming lane side. The control unit 20 also outputs the above determination result to the output unit 30.

出力部３０は、制御部２０から受信した判定結果に関する情報を出力するように構成されている。出力部３０は、例えば、表示装置、記録装置、及び通信装置等により構成されている。表示装置としては、カーナビゲーションやインストルメントパネル等が挙げられる。記録装置としては、ＳＤカード、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、及びＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等が挙げられる。通信装置としては、Ｗｉｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等が挙げられる。 The output unit 30 is configured to output information related to the judgment result received from the control unit 20. The output unit 30 is configured, for example, with a display device, a recording device, and a communication device. Examples of the display device include a car navigation system and an instrument panel. Examples of the recording device include an SD card, a HDD (Hard Disk Drive), and an SSD (Solid State Drive). Examples of the communication device include Wi-Fi (registered trademark) and Bluetooth (registered trademark).

（制御部）
制御部２０は、一時停止線検出部２１と、端点検出部２２と、一時停止線候補判定部２３と、車道端点取得部２４と、自車線側一時停止線判定部２５とを備えている。 (Control Unit)
The control unit 20 includes a stop line detection unit 21 , an end point detection unit 22 , a stop line candidate determination unit 23 , a roadway end point acquisition unit 24 , and a host lane side stop line determination unit 25 .

（一時停止線検出部）
一時停止線検出部２１は、撮像部１０により撮像された車両前方における画像及び映像から一時停止線候補Ａ（図５参照）を検出する。一時停止線検出部２１は、深層学習（物体検出やセマンティックセグメンテーション等）もしくはエッジ処理等を利用した画像認識を利用して一時停止線候補Ａを検出する。なお、一時停止線候補Ａが検出されるのと同時に、対向車線側に位置する一時停止線候補Ｃ（図６参照）についても検出される。以下の説明では、説明の便宜上、主に一時停止線候補Ａに関する処理について説明する。 (Stop line detection unit)
The stop line detection unit 21 detects a stop line candidate A (see FIG. 5 ) from the image and video of the area ahead of the vehicle captured by the imaging unit 10. The stop line detection unit 21 detects the stop line candidate A using deep learning (object detection, semantic segmentation, etc.) or image recognition using edge processing or the like. At the same time that the stop line candidate A is detected, a stop line candidate C (see FIG. 6 ) located on the oncoming lane is also detected. In the following description, for convenience of explanation, the processing related to the stop line candidate A will be mainly described.

（端点検出部）
端点検出部２２は、一時停止線検出部２１により検出された一時停止線候補Ａの長さ方向（車両の進行方向に対する水平方向（横方向））の両側端点を検出する。図５に示すように、本実施形態では、端点検出部２２は、撮像部１０により撮像された画像（映像）における左上の点（座標）を（ｘ，ｙ）＝（０，０）とした場合に、一時停止線候補Ａにおける左端の点（ｘ_１，ｙ_１）を取得するとともに、一時停止線候補Ａにおける右端の点（ｘ_２，ｙ_２）を取得する。 (End point detection unit)
The endpoint detection unit 22 detects both end points in the length direction (the horizontal direction (lateral direction) relative to the vehicle's traveling direction) of the stop line candidate A detected by the stop line detection unit 21. As shown in Fig. 5, in this embodiment, when the upper left point (coordinates) of the image (video) captured by the imaging unit 10 is (x, y) = (0, 0), the endpoint detection unit 22 obtains the left end point ( _x1 , _y1 ) of the stop line candidate A and the right end point ( _x2 , _y2 ) of the stop line candidate A.

図６に示すように、端点検出部２２は、一時停止線候補Ａにおける中点及び長さを算出する。算出方法の一例としては、一時停止線候補Ａにおける中点は、（ｘ_{ｃｅｎｔｅｒ}＝（ｘ_１＋ｘ_２）／２，ｙ_{ｃｅｎｔｅｒ}＝（ｙ_１＋ｙ_２）／２）により算出される。一時停止線候補Ａにおける長さは、（ｄ＝（（ｘ_２－ｘ_１）^２＋（ｙ_２－ｙ_１）^２）^１／２）により算出される。 6, the endpoint detection unit 22 calculates the midpoint and length of the stop line candidate A. As an example of the calculation method, the midpoint of the stop line candidate A is calculated by (x _center = (x ₁ + x ₂ )/2, y _center = (y ₁ + y ₂ )/2). The length of the stop line candidate A is calculated by (d = ((x ₂ - x ₁ ) ² + (y ₂ - y ₁ ) ² ) ^1/2 ).

また、端点検出部２２は、図４に示すルックアップテーブルに基づいて、一時停止線候補Ａの中点（ｙ_{ｃｅｎｔｅｒ}）における水平方向の１ピクセル当たりの長さ（Ｌ_{ｐｉｘｅｌ}）を取得することにより、一時停止線候補Ａの実際の長さである実長さ（Ｌ_ｒｅａｌ＝Ｌ_{ｐｉｘｅｌ}×ｄ）を予測する。なお、ルックアップテーブルは、カメラ画像の歪み等の補正値であるカメラパラメータから作成可能である。 Furthermore, the end point detection unit 22 predicts the real length (L real =L pixel ×d ₎ of the stop line candidate A by obtaining the horizontal length per pixel (L _pixel ) at the midpoint ₍ y _center ) of the stop line candidate A based on the lookup table shown in Fig. 4. Note that the lookup table can be created from camera parameters, which are correction values for distortion of the camera image, etc.

（一時停止線候補判定部）
図１及び図５に示すように、一時停止線候補判定部２３は、一時停止線候補Ａの両側端点（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）に基づいて算出される一時停止線候補Ａの長さが所定長さＭよりも大きいか否かを判定する。なお、一時停止線候補Ａの両側端点（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）は、車両の進行方向に対して左側に位置する停止線左側端点（ｘ_１，ｙ_１）、及び車両の進行方向に対して右側に位置する停止線右側端点（ｘ_２，ｙ_２）である。本実施形態では、一時停止線候補判定部２３は、一時停止線候補Ａの実長さ（Ｌ_ｒｅａｌ）が所定の長さＭ（例えば、１．５ｍ）よりも大きいことを条件に、セマンティックセグメンテーションを用いて車道Ｂを検出する（図６参照）。 (Stop line candidate determination unit)
As shown in FIG. 1 and FIG. 5, the stop line candidate determination unit 23 determines a stop line candidate A based on both end points (x ₁ , y ₁ ) and (x ₂ , y ₂ ) of the stop line candidate A. It is determined whether the length of the candidate A is greater than a predetermined length M. The end points (x ₁ , y ₁ ) and (x ₂ , y ₂ ) of the stop line candidate A are aligned in the traveling direction of the vehicle. and _a right end point ( _x2 , _y2 ) of the stop line located on the right side of the _vehicle 's traveling direction. The stop line candidate determination unit 23 uses semantic segmentation to determine the stop line candidate A on the condition that the real length (L _real ) of the stop line candidate A is greater than a predetermined length M (for example, 1.5 m). (See FIG. 6).

（車道端点取得部）
図６に示すように、車道端点取得部２４は、一時停止線候補判定部２３により所定長さＭ以上であると判定された一時停止線候補Ａに対して車道の幅方向両外側における車道の両側端点（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）を取得する。なお、車道の両側端点は、車両の進行方向に対して左側に位置する車道左側端点（ｘ_３，ｙ_３）、及び車両の進行方向に対して右側に位置する車道右側端点（ｘ_４，ｙ_４）である。本実施形態では、図６に示すように、車道端点取得部２４は、一時停止線候補判定部２３により検出された車道Ｂのデータから一時停止線候補Ａにおける左端の垂直方向の座標ｙ_１に位置する最小のｘ_３を取得するとともに、一時停止線候補Ａにおける右端の垂直方向の座標ｙ_２に位置する最大のｘ_４を取得する。 (Road edge point acquisition section)
As shown in Fig. 6, the roadway edge point acquisition unit 24 acquires both side edge points (x3, y3) ( _x4 , _y4 ) of the roadway on both outside sides in the width direction of the roadway for a stop line candidate A that has been determined by the stop line candidate determination unit ₂₃ to have a _length equal to or greater than the predetermined length M. The both side edge points of the roadway are the left side edge point ( _x3 , _y3 ) of the roadway located on the left side in the vehicle's traveling direction, and the right side edge point ( _x4 , _y4 ) of the roadway located on the right side in the vehicle's traveling direction. In this embodiment, as shown in Fig. 6, the roadway edge point acquisition unit 24 acquires the smallest _x3 located at the vertical coordinate _y1 of the left end of the stop line candidate A from the data of the roadway B detected by the stop line candidate determination unit 23, and acquires the largest _x4 located at the vertical coordinate _y2 of the right end of the stop line candidate A.

また、停止線左側端点（ｘ_１，ｙ_１）と車道左側端点（ｘ_３，ｙ_３）との離間距離を左側離間距離（ｄ_１３）とし、停止線右側端点（ｘ_２，ｙ_２）と車道右側端点（ｘ_４，ｙ_４）との離間距離を右側離間距離（ｄ_２４）とした場合に、左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）が所定の離間距離（Ｍ）よりも小さいことを条件として、自車線側一時停止線判定部２５により一時停止線候補Ａが自車線側の一時停止線であると判定される。 In addition, if the distance between the left end point of the stop line ( _x1 , _y1 ) and the left end point of the road ( _x3 , _y3 ) is defined as the left side distance ( _d13 ), and the distance between the right end point of the stop line ( _x2 , _y2 ) and the right end point of the road ( _x4 , _y4 ) is defined as _{the right side distance (d24} ₎ , then the own lane side stop line determination unit 25 determines that the stop line candidate A is a stop line on the own lane side, provided that the left side distance ( _d13 ) and the right side distance (d24) are smaller than a predetermined distance (M).

（自車線側一時停止線判定部）
自車線側一時停止線判定部２５は、一時停止線候補Ａの両側端点（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）と車道の両側端点（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）との位置関係に基づいて、一時停止線候補Ａが自車線側の一時停止線であるか否かを判定する。ここで、「一時停止線候補の両側端点と車道の両側端点との位置関係に基づいて」とは、一時停止線候補Ａの両側端点（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）と対応する方向における車道の両側端点（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）との離間距離（ｄ_１３及びｄ_２４）を比較することである。言い換えると、車道の幅方向中央部を境として一方側にある一時停止線候補Ａの端点（ｘ_１）及び車道の端点（ｘ_３）の間隔（ｄ_１３）と、車道の幅方向中央部を境として他方側にある一時停止線候補Ａの端点（ｘ_２）及び車道の端点（ｘ_４）の間隔（ｄ_２４）とを比較することである。 (Own lane side stop line determination unit)
The stop line determination unit 25 for the own lane determines both side end points ( _x1 , _y1 ) ( _x2 , _y2 ) of the stop line candidate A and both side end points ( _x3 , _y3 ) ( _x4 , y5) of the roadway. ₄ ) based on the positional relationship with the vehicle lane, it is determined whether the stop line candidate A is a stop line on the vehicle lane side. "Based on the positional relationship" refers to the two end points ( _x1 , _y1 ) and ( _x2 , _y2 ) of the stop line candidate A and the two end points ( _x3 , _y3 ) and ( _x4, y5) of the roadway in the corresponding direction. , y ₄ ) with the separation distances (d ₁₃ and d ₂₄ ). In other words, the distance (d ₁₃ ) between the end point (x ₁ ) of the stop line candidate A on one side of the center of the width of the roadway and the end point (x ₃ ) of the roadway, and the distance (d 13 ) between the end point (x 1 ) of the stop line candidate A on one side of the center of the width of the roadway The boundary between the stop line candidate A and the roadway is determined by comparing the distance (d ₂₄ ) between the end point (x ₂ ) of the stop line candidate A on the other side and the end point (x ₄ ) of the roadway.

図６に示すように、本実施形態では、左側離間距離（ｘ_１－ｘ_３＝ｄ_１３）、右側離間距離（ｘ_４－ｘ_２＝ｄ_２４）とした場合における、左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）の両方が所定の離間距離Ｎよりも小さいこと（例えば、ｄ_１３＜３０ｃｍ、及び、ｄ_２４＜３０ｃｍ）を条件として、自車線側一時停止線判定部２５により一時停止線候補Ａが自車線側の一時停止線であると判断される。 As shown in FIG. 6, in this embodiment, when the left side separation distance is (x ₁ - _x ₃ = d ₁₃ ) and the right side separation distance (x ₄ - _{x 2} = d ₂₄ ), the own lane side stop line determination unit 25 determines that the stop line candidate A is a stop line on the own lane under the condition that both the left side separation distance (d 13 ) and the right side separation distance (d ₂₄ ) are smaller than a predetermined separation distance N (for example, _{d 13} < 30 cm and d ₂₄ < 30 cm).

一方、左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）のうち少なくとも一方が所定の離間距離Ｎよりも大きいこと（例えば、ｄ_１３＞３０ｃｍ及びｄ_２４＞３０ｃｍのうち少なくとも一方）を条件として、後述するように、自車線側一時停止線判定部２５により一時停止線候補Ａが自車線側の一時停止線であるか、又は一時停止線を対向車線側の一時停止線であると判断される。 On the other hand, provided that at least one of the left side separation distance ( _d13 ) and the right side separation distance ( _d24 ) is greater than the predetermined separation distance N (for example, at least one of _d13 > 30 cm and _d24 > 30 cm), the own lane side stop line determination unit 25 determines that the stop line candidate A is a stop line on the own lane side, or that the stop line is a stop line on the oncoming lane side, as described below.

また、自車線側一時停止線判定部２５は、上記のように、左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）のうち少なくとも一方が所定の離間距離Ｎよりも大きいことを条件として、以下のような判定を行う。自車線側一時停止線判定部２５は、左側離間距離（ｄ_１３）が右側離間距離（ｄ_２４）よりも小さいこと（ｄ_１３＜ｄ_２４）を条件として、一時停止線候補Ａが自車線側の一時停止線であると判定する。一方、自車線側一時停止線判定部２５は、左側離間距離（ｄ_１３）が右側離間距離（ｄ_２４）よりも大きいこと（ｄ_１３＞ｄ_２４）を条件に、一時停止線候補Ａが自車線側の一時停止線ではないと判定する。この場合、図６に示すように、対向車線側の一時停止線候補Ｃについて、左側離間距離（ｄ_１３）が右側離間距離（ｄ_２４）よりも大きいこと（ｄ_１３＞ｄ_２４）を条件に、一時停止線候補Ｃが対向車線側の一時停止線であると判定される。 As described above, the own lane side stop line determination unit 25 makes the following determination on the condition that at least one of the left side separation distance ( _d13 ) and the right side separation distance ( _d24 ) is greater than the predetermined separation distance N. The own lane side stop line determination unit 25 determines that the stop line candidate A is a stop line on the own lane side on the condition that the left side separation distance ( _d13 ) is smaller than the right side separation distance ( _d24 ) ( _d13 < _d24 ). On the other hand, the own lane side stop line determination unit 25 determines that the stop line candidate A is not a stop line on the own lane side on the condition that the left side separation distance ( _d13 ) is greater than the right side separation distance ( _d24 ) ( _d13 > _d24 ). In this case, as shown in Figure 6, for the stop line candidate C on the oncoming lane, the left separation distance ( _d13 ) is greater than the right separation distance ( _d24 ) ( _d13 > _d24 ), and the stop line candidate C is determined to be a stop line on the oncoming lane.

次に、図２～図６を参照して、本実施形態に係る一時停止線判定に関する制御について説明する。 Next, the control related to stop line determination according to this embodiment will be explained with reference to Figures 2 to 6.

図２に示すように、ステップＳ１１において、撮像部１０により自車両前方における道路領域や人物等が撮像され、画像及び映像に関する情報（データ）が取得される。その後、ステップＳ１２に進む。 As shown in FIG. 2, in step S11, the image capturing unit 10 captures an image of the road area, people, etc. in front of the vehicle, and obtains information (data) related to the image and video. Then, the process proceeds to step S12.

ステップＳ１２において、撮像部１０により撮像された画像及び映像から、一時停止線検出部２１により一時停止線候補Ａ（図５参照）及び一時停止線候補Ｃ（図６参照））が検出される。その後、ステップＳ１３に進む。 In step S12, the stop line detection unit 21 detects stop line candidate A (see FIG. 5) and stop line candidate C (see FIG. 6) from the image and video captured by the imaging unit 10. Then, the process proceeds to step S13.

ステップＳ１３において、端点検出部２２により、一時停止線候補Ａの長さ方向（車両の進行方向に対する水平方向（横方向））の両側端点が検出される。すなわち、一時停止線候補Ａにおける車両進行方向に対する左端の点（ｘ_１，ｙ_１）が取得されるとともに、一時停止線候補Ａにおける車両進行方向に対する右端の点（ｘ_２，ｙ_２）が取得される。その後、ステップＳ１４に進む。 In step S13, the endpoint detection unit 22 detects both end points in the length direction (horizontal (lateral) direction relative to the vehicle travel direction) of the stop line candidate A. That is, the left end point ( _x1 , _y1 ) of the stop line candidate A relative to the vehicle travel direction is obtained, and the right end point ( _x2 , _y2 ) of the stop line candidate A relative to the vehicle travel direction is obtained. Then, the process proceeds to step S14.

ステップＳ１４において、端点検出部２２により、一時停止線候補Ａにおける中点（ｘ_{ｃｅｎｔｅｒ}，ｙ_{ｃｅｎｔｅｒ}）及び長さ（ｄ）が算出される。その後、ステップＳ１５に進む。 In step S14, the end point detection unit 22 calculates the midpoint (x _center , y _center ) and length (d) of the stop line candidate A. Then, the process proceeds to step S15.

ステップＳ１５において、端点検出部２２により、図４に示すルックアップテーブルに基づいて、一時停止線候補Ａの中点（ｙ_{ｃｅｎｔｅｒ}）における水平方向の１ピクセル当たりの長さ（Ｌ_{ｐｉｘｅｌ}）が取得される。その後、ステップＳ１６に進む。 In step S15, the end point detection unit 22 obtains the horizontal length per pixel (L _pixel ) at the midpoint (y _center ) of the stop line candidate A based on the lookup table shown in Fig. 4. Then, the process proceeds to step S16.

ステップＳ１６において、端点検出部２２により、一時停止線候補Ａの実長さ（Ｌ_ｒｅａｌ＝Ｌ_{ｐｉｘｅｌ}×ｄ）が取得される。その後、ステップＳ１７に進む。 In step S16, the end point detection unit 22 acquires the real length (L _real =L _pixel ×d) of the stop line candidate A. Then, the process proceeds to step S17.

ステップＳ１７において、一時停止線候補判定部２３により、一時停止線候補Ａの実長さ（Ｌ_ｒｅａｌ）が所定長さ（Ｍ）よりも大きい（Ｌ_ｒｅａｌ＞Ｍ）か否かが判定される。ステップＳ１７において、一時停止線候補判定部２３により、一時停止線候補Ａの実長さ（Ｌ_ｒｅａｌ）が所定長さ（Ｍ）よりも小さい（Ｌ_ｒｅａｌ＜Ｍ）と判定されたことを条件として、一時停止線候補Ａが基準の長さを満たしていないため、ステップＳ１１に戻る。 In step S17, the stop line candidate determination unit 23 determines whether the actual length (L _real ) of the stop line candidate A is greater than a predetermined length (M) (L _real > M). If the stop line candidate determination unit 23 determines in step S17 that the actual length (L _real ) of the stop line candidate A is less than the predetermined length (M) (L _real < M), the stop line candidate A does not satisfy the standard length, and the process returns to step S11.

一方、ステップＳ１７において、一時停止線候補判定部２３により、一時停止線候補Ａの実長さ（Ｌ_ｒｅａｌ）が所定長さ（Ｍ）よりも大きい（Ｌ_ｒｅａｌ＞Ｍ）と判定されたことを条件として、一時停止線候補Ａが基準の長さを満たしているため、ステップＳ１８（図３参照）に進む。 On the other hand, in step S17, if the stop line candidate determination unit 23 determines that the actual length (L _real ) of the stop line candidate A is greater than the predetermined length (M) (L _real > M), the stop line candidate A satisfies the standard length, and the process proceeds to step S18 (see FIG. 3 ).

図３に示すように、ステップＳ１８において、一時停止線候補判定部２３により、セマンティックセグメンテーションを用いて車道Ｂ（図６参照）に関する情報（データ）を取得する。その後、ステップＳ１９に進む。 As shown in FIG. 3, in step S18, the stop line candidate determination unit 23 acquires information (data) about the roadway B (see FIG. 6) using semantic segmentation. Then, the process proceeds to step S19.

ステップＳ１９において、車道端点取得部２４により、車道Ｂのデータから車道の座標（ｙ_１）における最小の（ｘ_３）を取得するとともに、車道の座標（ｙ_２）における最大の（ｘ_４）を取得する。その後、ステップＳ２０に進む。 In step S19, the roadway edge point acquisition unit 24 acquires the minimum ( _x3 ) at the roadway coordinate ( _y1 ) and the maximum ( _x4 ) at the roadway coordinate ( _y2 ) from the data of roadway B. Then, the process proceeds to step S20.

ステップＳ２０において、一時停止線候補Ａの両側端点（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）から車道の両側端点（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）までの距離（左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４））が算出される。その後、ステップＳ２１に進む。 In step S20, the distances (left side distance ( _d13 ) and right side distance (d24)) from the two end points ( _x1 , _y1 ) ( _x2 , _y2 ) of the stop line candidate A to the two end points ( _x3 , _y3 ) ( _x4 , _y4 ) of the roadway are calculated. Then, the _process proceeds to step S21.

ステップＳ２１において、左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）が所定の離間距離Ｎ（例えば、Ｎ＝３０ｃｍ）よりも小さい（ｄ_１３＜３０ｃｍ、及び、ｄ_２４＜３０ｃｍ）か否かが判定される。ステップＳ２１において、左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）が所定の離間距離Ｎよりも小さい（ｄ_１３＜３０ｃｍ、及び、ｄ_２４＜３０ｃｍ）ことを条件として、ステップＳ２２に進む。 In step S21, it is determined whether the left side separation distance ( _d13 ) and the right side separation distance ( _d24 ) are smaller than a predetermined separation distance N (e.g., N=30 cm) ( _d13 <30 cm and _d24 <30 cm). In step S21, if the left side separation distance ( _d13 ) and the right side separation distance ( _d24 ) are smaller than the predetermined separation distance N ( _d13 <30 cm and _d24 <30 cm), the process proceeds to step S22.

ステップＳ２２において、自車線側一時停止線判定部２５により、一時停止線候補Ａが自車線側の一時停止線であると判定される。その後、本制御を終了する。 In step S22, the current lane side stop line determination unit 25 determines that the stop line candidate A is a stop line on the current lane side. Then, this control is terminated.

一方、ステップＳ２１において、左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）のうち少なくとも一方が所定の離間距離Ｎ（例えば、Ｎ＝３０ｃｍ）よりも大きいこと（ｄ_１３＞３０ｃｍ及びｄ_２４＞３０ｃｍのうち少なくとも一方）を条件として、ステップＳ２３に進む。 On the other hand, in step S21, if at least one of the left separation distance ( _d13 ) and the right separation distance ( _d24 ) is greater than a predetermined separation distance N (e.g., N=30 cm) (at least one of _d13 >30 cm and _d24 >30 cm), the process proceeds to step S23.

ステップＳ２３において、自車線側一時停止線判定部２５は、左側離間距離（ｄ_１３）が右側離間距離（ｄ_２４）よりも小さい（ｄ_１３＜ｄ_２４）ことを条件として、ステップＳ２２に進む。ステップＳ２２において、自車線側一時停止線判定部２５により、一時停止線候補Ａが自車線側の一時停止線であると判定される。その後、本制御を終了する。 In step S23, the own lane side stop line determination unit 25 proceeds to step S22 under the condition that the left separation distance ( _d13 ) is smaller than the right separation distance ( _d24 ) ( _d13 < _d24 ). In step S22, the own lane side stop line determination unit 25 determines that the stop line candidate A is a stop line on the own lane side. Then, this control is terminated.

一方、ステップＳ２３において、自車線側一時停止線判定部２５は、左側離間距離（ｄ_１３）が右側離間距離（ｄ_２４）よりも大きい（ｄ_１３＞ｄ_２４）ことを条件として、ステップＳ２４に進む。ステップＳ２４において、自車線側一時停止線判定部２５により、一時停止線候補Ａが自車線側の一時停止線ではないと判定される。すなわち、図６に示すように、対向車線側の一時停止線候補Ｃについて、左側離間距離（ｄ_１３）が右側離間距離（ｄ_２４）よりも大きい（ｄ_１３＞ｄ_２４）ことを条件に、一時停止線候補Ｃが対向車線側の一時停止線であると判定される。その後、本制御を終了する。 On the other hand, in step S23, the own lane side stop line determination unit 25 proceeds to step S24 on the condition that the left separation distance ( _d13 ) is greater than the right separation distance ( _d24 ) ( _d13 > _d24 ). In step S24, the own lane side stop line determination unit 25 determines that the stop line candidate A is not a stop line on the own lane side. _That is, as shown in Fig. 6, for the stop line candidate C on the oncoming lane side, it is determined that the stop line candidate C is a stop line on the oncoming lane side on the condition that the left separation distance ( _d13 ) is greater than the right separation distance (d24) ( _d13 > _d24 ). Then, this control is terminated.

上記説明した実施形態によれば、以下の効果（１）～（５）を得ることができる。 The above-described embodiment provides the following advantages (1) to (5).

（１）上記実施形態による一時停止線検出装置１００では、撮像部１０により撮像された自車両前方における一時停止線候補Ａ及びＣの両側端点（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）、及び車道の幅方向両外側における車道の両側端点（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）との位置関係に基づいて、自車両前方における一時停止線候補Ａが自車線側の一時停止線であると判定するようにした。これにより、自車両前方における一時停止線候補Ａ及びＣが自車線側（自車両側）の一時停止線であるのか、又は対向車線側（対向車両側）の一時停止線であるのかを判定することができる。その結果、自車両前方における一時停止線候補Ａが自車線側の一時停止線であることの判定率を向上することができる。 (1) In the stop line detection device 100 according to the above embodiment, the stop line candidate A ahead of the host vehicle is determined to be a stop line on the host lane side based on the positional relationship between the both side end points ( _x1 , _y1 ) ( _x2 , _y2 ) of the stop line candidates A and C ahead of the host vehicle imaged by the imaging unit 10 and the both side end points ( _x3 , _y3 ) ( _x4 , _y4 ) of the roadway on both outer sides in the width direction of the roadway. This makes it possible to determine whether the stop line candidates A and C ahead of the host vehicle are stop lines on the host lane side (host vehicle side) or on the oncoming lane side (oncoming vehicle side). As a result, it is possible to improve the determination rate that the stop line candidate A ahead of the host vehicle is a stop line on the host lane side.

（２）上記実施形態による一時停止線検出装置１００では、一時停止線候補Ａの両側端点（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）と対応する方向における車道の両側端点（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）との左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）を比較して、自車線側の一時停止線であることを判定した。これにより、一時停止線候補Ａの両側端点（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）と対応する方向における車道の両側端点（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）との離間距離（ｄ_１３，ｄ_２４）の大きさに基づいて、容易に、一時停止線候補Ａが自車線側（自車両側）の一時停止線であるのか、又は対向車線側（対向車両側）の一時停止線であるのかを判定することができる。 (2) In the above embodiment, the stop line detection device 100 compares the left side distance ( _d13 ) and the right side distance ( _d24 ) between the both side endpoints ( _x1 , _y1 ) ( _x2 , _y2 ) of the stop line candidate A and the both side endpoints (x3, _y3 ) ( _x4 _, _y4 ) of the roadway in the corresponding direction to determine that the stop line is a stop line on the own lane side. This makes it possible to _easily determine whether the stop line candidate A is a stop line on the own lane side (side of _the _own vehicle) or on the oncoming lane side (side of _the oncoming vehicle) based on the magnitude of the distance ( _d13 , _d24 ) between the both side endpoints ( _x1 , _y1 ) (x2 _, _y2 ) of the stop line candidate A and the both side endpoints (x3, y3) (x4, y4) of the roadway in the corresponding direction.

（３）上記実施形態による一時停止線検出装置１００では、左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）が所定の離間距離（Ｎ）よりも小さいことを条件として、自車線側の一時停止線であると判定するようにした。これにより、左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）が所定の離間距離（Ｎ）よりも小さい場合に、一時停止線候補Ａの長さが車道の幅方向の長さに対して所定長さ以上であると判定することができる。その結果、一時停止線候補Ａが自車線側（自車両側）の一時停止線であると判定することができる。 (3) In the stop line detection device 100 according to the above embodiment, a stop line is determined to be on the vehicle's own lane side, provided that the left side separation distance (d ₁₃ ) and _the right side separation distance (d ₂₄ ) are smaller than a predetermined separation distance (N). This makes it possible to determine that the length of the stop line candidate A is equal to or greater than a predetermined length relative to the width of the roadway when the left side separation distance (d ₁₃ ) and the right side separation distance (d 24 ) are smaller than the predetermined separation distance (N). As a result, it is possible to determine that the stop line candidate A is a stop line on the vehicle's own lane side (vehicle side).

（４）上記実施形態による一時停止線検出装置１００では、左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）のうち少なくとも一方が所定の離間距離（Ｎ）よりも大きいことを条件として、自車線側一時停止線判定部２５は、左側離間距離（ｄ_１３）が右側離間距離（ｄ_２４）よりも小さいことを条件に自車線側の一時停止線であると判定し、左側離間距離（ｄ_１３）が右側離間距離（ｄ_２４）よりも大きいことを条件に対向車線側の一時停止線であると判定するようにした。これにより、左側離間距離（ｄ_１３）が右側離間距離（ｄ_２４）よりも小さい場合に一時停止線候補Ａが車道の中央に対して左側に位置する（左寄り）と判定されるため、一時停止線候補Ａが自車線側（自車両側）の一時停止線であると判定することができる。一方、左側離間距離（ｄ_１３）が右側離間距離（ｄ_２４）よりも大きい場合に一時停止線候補Ａが車道の中央に対して右側に位置する（右寄り）と判定されるため、一時停止線候補Ａが対向車線側（対向車両側）の一時停止線であると判定することができる。 (4) In the stop line detection device 100 according to the above embodiment, on the condition that at least one of the left separation distance (d ₁₃ ) and the right separation distance (d ₂₄ ) is greater than a predetermined separation distance (N), the own lane side stop line determination unit 25 determines that the stop line is in the own lane if the left separation distance (d ₁₃ ) is smaller than the right separation distance (d ₂₄ ), and determines that the stop line is in the oncoming lane if the left separation distance (d ₁₃ ) is greater than the right separation distance (d ₂₄ ). As a result, if the left separation distance (d ₁₃ ) is smaller than the right separation distance (d ₂₄ ), the stop line candidate A is determined to be located to the left of the center of the roadway (leaning to the left), and therefore it is possible to determine that the stop line candidate A is a stop line in the own lane (on the own vehicle side). On the other hand, when the left side separation distance (d ₁₃ ) is greater than the right side separation distance (d ₂₄ ), the stop line candidate A is determined to be located on the right side of the center of the roadway (to the right), so it can be determined that the stop line candidate A is a stop line on the oncoming lane side (oncoming vehicle side).

（５）上記実施形態による一時停止線検出装置１００では、一時停止線検出部２１が深層学習を利用した画像認識を利用して一時停止線候補Ａを検出するようにした。これにより、深層学習を利用した画像認識により、撮像部１０により撮像された車両前方における複数の一時停止線候補Ａが、自車線側の一時停止線であるのか、又は対向車線側の一時停止線であるのかを効果的に判定することができる。 (5) In the stop line detection device 100 according to the above embodiment, the stop line detection unit 21 detects the stop line candidate A using image recognition that utilizes deep learning. As a result, it is possible to effectively determine, by image recognition that utilizes deep learning, whether the multiple stop line candidates A in front of the vehicle captured by the image capture unit 10 are stop lines on the vehicle's own lane or on the oncoming lane.

（第一変形例）
次に、図７を参照して、上記説明した実施形態の第一変形例について説明する。この第一変形例では、一時停止線候補Ａの中点が車道の中点に対して車両進行方向の左側に位置することを条件に自車線側の一時停止線であると判定するとともに、右側に位置することを条件に対向車線側の一時停止線であると判定する例について説明する。 (First Modification)
Next, a first modified example of the embodiment described above will be described with reference to Fig. 7. In this first modified example, an example will be described in which a stop line candidate A is determined to be a stop line in the own lane if its midpoint is located to the left of the midpoint of the roadway in the vehicle travel direction, and a stop line candidate A is determined to be a stop line in the oncoming lane if its midpoint is located to the right.

図７に示すように、車道のデータから一時停止線候補Ａの中点における垂直方向の座標（ｙ_{ｃｅｎｔｅｒ}）に位置する最小の（ｘ_５）を取得するとともに、最大の（ｘ_６）を取得する。次に、座標（ｘ_５）と座標（ｘ_６）との中点（ｘ_{ｒｏａｄ＿ｃｅｎｔｅｒ}＝（ｘ_５＋ｘ_６）／２）を算出する。算出された中点（ｘ_{ｒｏａｄ＿ｃｅｎｔｅｒ}）が（ｘ_{ｃｅｎｔｅｒ}＜ｘ_{ｒｏａｄ＿ｃｅｎｔｅｒ}）であることを条件に、一時停止線候補Ａが自車線側の一時停止線であると判定される。一方、算出された中点（ｘ_{ｒｏａｄ＿ｃｅｎｔｅｒ}）が（ｘ_{ｃｅｎｔｅｒ}＞ｘ_{ｒｏａｄ＿ｃｅｎｔｅｒ}）であることを条件に、一時停止線候補Ａが自車線側の一時停止線ではない（対向車線側の一時停止線である）と判定される。 As shown in Fig. 7, the minimum ( _x5 ) located at the vertical coordinate ( _ycenter ) of the midpoint of stop line candidate A is obtained from the roadway data, and the maximum ( _x6 ) is also obtained. Next, the midpoint ( _{xroad_center} = ( _x5 + _x6 )/2) between the coordinates ( _x5 ) and ( _x6 ) is calculated. If the calculated midpoint ( _{xroad_center} ) is ( _xcenter < _{xroad_center} ), it is determined that stop line candidate A is a stop line on the own lane. On the other hand, if the calculated midpoint ( _{xroad_center} ) is ( _xcenter > _{xroad_center} ), it is determined that stop line candidate A is not a stop line on the own lane (it is a stop line on the oncoming lane).

上記説明した第一変形例によれば、以下の効果（６）を得ることができる。 The first modified example described above can provide the following effect (6).

（６）上記第一変形例による一時停止線検出装置１００では、一時停止線候補Ａの両側端点（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）に基づき算出された中点（ｘ_{ｃｅｎｔｅｒ}）、及び車道の両側端点（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）に基づき算出された中点（ｘ_{ｒｏａｄ＿ｃｅｎｔｅｒ}）との位置関係に基づいて、一時停止線候補Ａの中点（ｘ_{ｃｅｎｔｅｒ}）が車道の中点（ｘ_{ｒｏａｄ＿ｃｅｎｔｅｒ}）よりも小さいこと（左寄り）を条件として、自車両前方における一時停止線候補Ａが自車線側の一時停止線であると判定するようにした。これにより、自車両前方における一時停止線候補Ａが自車線側（自車両側）の一時停止線であるのか、又は対向車線側（対向車両側）の一時停止線であるのかを判定することができる。その結果、自車両前方における一時停止線候補Ａが自車線側の一時停止線であることの判定率を向上することができる。 (6) In the stop line detection device 100 according to the first modification, the stop line candidate A ahead of the host vehicle is determined to be a stop _line on the host vehicle's side of the lane, based on the positional relationship between the midpoint ( _xcenter ) calculated based on both end points ( _x1 , _y1 ) ( _x2 , _y2 ) of the stop line candidate A and _the _midpoint ( _{xroad_center} ) calculated based on both end points ( _x3 , _y3 ) (x4, y4) of the road, provided that the midpoint (xcenter) of the stop line candidate A is smaller (more to the left) than the midpoint ( _{xroad_center} ) of the road. This makes it possible to determine whether the stop line candidate A ahead of the host vehicle is a stop line on the host vehicle's side of the lane (host vehicle side) or on the oncoming lane side (oncoming vehicle side). As a result, it is possible to improve the rate at which it is determined that the stop line candidate A ahead of the host vehicle is a stop line on the host vehicle's lane side.

（第二変形例）
次に、図８を参照して、上記説明した実施形態の第二変形例について説明する。この第二変形例では、一時停止線候補Ａにおける車道の中点に対する車両進行方向の左側の長さと右側の長さとを比較して、左側の長さが右側の長さよりも大きいことを条件に自車線側の一時停止線と判定し、左側の長さが右側の長さよりも小さいことを条件に対向車線側の一時停止線と判定する例について説明する。 (Second Modification)
Next, a second modified example of the embodiment described above will be described with reference to Fig. 8. In this second modified example, the length of the left side and the length of the right side of the stop line candidate A in the vehicle travel direction relative to the midpoint of the roadway are compared, and if the length of the left side is greater than the length of the right side, the stop line is determined to be in the own lane, and if the length of the left side is less than the length of the right side, the stop line is determined to be in the oncoming lane.

図８に示すように、一時停止線候補Ａにおける車道の中点に対する車両進行方向の左側の長さ（ｘ_{ｒｏａｄ＿ｃｅｎｔｅｒ}－ｘ_１＝ｄ_１ｃ）を算出するとともに、一時停止線候補Ａにおける車道の中点に対する車両の進行方向の右側の長さ（ｘ_２－ｘ_{ｒｏａｄ＿ｃｅｎｔｅｒ}＝ｄ_２ｃ）を算出する。算出された一時停止線候補Ａの左側の長さ（ｄ_１ｃ）が一時停止線の右側の長さ（ｄ_２ｃ）よりも大きいこと（ｄ_１ｃ＞ｄ_２ｃ）を条件に、一時停止線候補Ａが自車線側の一時停止線であると判定される。一方、算出された一時停止線候補Ａの左側の長さ（ｄ_１ｃ）が一時停止線候補Ａの右側の長さ（ｄ_２ｃ）よりも小さいこと（ｄ_１ｃ＜ｄ_２ｃ）を条件に、一時停止線候補Ａが自車線側の一時停止線であると判定される。 As shown in Fig. 8, the length of the stop line candidate A on the left side in the vehicle's traveling direction relative to the midpoint of the roadway ( _{xroad_center} - _x1 = _d1c ) is calculated, and the length of the stop line candidate A on the right side in the vehicle's traveling direction relative to the midpoint of the roadway ( _x2 - _{xroad_center} = _d2c ) is calculated. If the calculated length of the stop line candidate A on the left side ( _d1c ) is greater than the length of the stop line on the right side ( _d2c ) ( _d1c > _d2c ), the stop line candidate A is determined to be a stop line on the vehicle's lane. On the other hand, if the calculated length of the stop line candidate A on the left side ( _d1c ) is less than the length of the stop line candidate A on the right side ( _d2c ) ( _d1c < _d2c ), the stop line candidate A is determined to be a stop line on the vehicle's lane.

上記説明した第二変形例によれば、以下の効果（７）を得ることができる。 According to the second modified example described above, the following effect (7) can be obtained.

（７）上記第二変形例による一時停止線検出装置１００では、一時停止線候補Ａの両側端点（ｘ_１，ｙ_１）（ｘ_２，ｙ_２）、及び車道の両側端点（ｘ_３，ｙ_３）（ｘ_４，ｙ_４）に基づき算出された一時停止線候補Ａの左側の長さ（ｄ_１ｃ）及び右側の長さ（ｄ_２ｃ）の位置関係に基づいて、一時停止線候補Ａの左側の長さ（ｄ_１ｃ）が右側の長さ（ｄ_２ｃ）よりも大きいこと（ｄ_１ｃ＞ｄ_２ｃ）を条件として、自車両前方における一時停止線候補Ａが自車線側の一時停止線であると判定するようにした。これにより、自車両前方における一時停止線候補Ａの左側の長さ（ｄ_１ｃ）及び右側の長さ（ｄ_２ｃ）の位置関係に基づいて、一時停止線候補Ａが自車線側（自車両側）の一時停止線であるのか、又は対向車線側（対向車両側）の一時停止線であるのかを判定することができる。その結果、自車両前方における一時停止線候補Ａが自車線側の一時停止線であることの判定率を向上することができる。 (7) _In the stop line detection device 100 according to the second modification, the stop line candidate A ahead _of _the vehicle is determined to be a stop line on the vehicle's own lane side based on the positional relationship of the length ( _d1c ) of the left side of the stop line candidate A _and the length ( _d2c ) of the right side of the stop line candidate A calculated based on the endpoints ( _x1 _, _y1 ) (x2, _y2 ) on both sides of the stop line candidate A and the endpoints ( _{x3, y3} ) (x4, _{y4) on both sides of the roadway, provided that the length (d1c} ₎ of the left side of the stop line candidate A is greater than the length (d2c) of the right side of the stop line candidate A ( _d1c > _d2c ). This makes it possible to determine whether the stop line candidate A is a stop line on the vehicle's own lane side (vehicle side) or on the oncoming lane side (oncoming vehicle side) based on the positional relationship of the length ( _d1c ) of the left side of the stop line candidate A and the length (d2c) of the right side of the stop line candidate A ahead of the vehicle. As a result, it is possible to improve the rate at which it is determined that the stop line candidate A ahead of the host vehicle is a stop line on the host vehicle's lane side.

（その他の変形例）
上記実施形態は、以下のように変更した構成とすることもできる。 (Other Modifications)
The above embodiment can be modified as follows.

上記実施形態では、本発明による撮像部の一例として、車両前方を撮像するカメラユニットを示したが、本発明はこれに限られない。例えば、車両前方を撮像することが可能であればカメラユニット以外の撮像装置を適用することが可能である。また、上記実施形態では、カメラユニットを車室内におけるフロントガラスや車両の前方等に取り付けられている例を示したが、本発明はこれに限られない。本発明では、車両前方を撮像することが可能であれば、カメラユニットの取付位置は限定されない。 In the above embodiment, a camera unit that captures an image in front of the vehicle is shown as an example of an imaging unit according to the present invention, but the present invention is not limited to this. For example, imaging devices other than a camera unit can be applied as long as they are capable of capturing an image in front of the vehicle. Also, in the above embodiment, an example is shown in which the camera unit is attached to the windshield inside the vehicle cabin or to the front of the vehicle, but the present invention is not limited to this. In the present invention, the mounting position of the camera unit is not limited as long as it is capable of capturing an image in front of the vehicle.

上記実施形態では、一時停止線候補判定部により一時停止線候補Ａの実長さ（Ｌ_ｒｅａｌ）が所定の長さＭ（例えば、１．５ｍ）よりも大きいか否かを判定する例を示したが、本発明はこれに限られない。本発明では、所定の長さＭを１．５ｍ以外の長さに適宜設定することも可能である。 In the above embodiment, an example has been shown in which the stop line candidate determination unit determines whether the actual length (L _real ) of the stop line candidate A is greater than a predetermined length M (for example, 1.5 m), but the present invention is not limited to this. In the present invention, it is also possible to appropriately set the predetermined length M to a length other than 1.5 m.

上記実施形態では、自車線側一時停止線判定部により、左側離間距離（ｄ_１３）及び右側離間距離（ｄ_２４）が所定の離間距離Ｎ（例えば、ｄ_１３＜３０ｃｍ、及び、ｄ_２４＜３０ｃｍ）よりも小さいか否かを判定する例を示したが、本発明はこれに限られない。本発明では、所定の離間距離Ｎを３０ｃｍ以外の離間距離に適宜設定することも可能である。 In the above embodiment, the own lane side stop line determination unit determines whether the left separation distance ( _d13 ) and the right separation distance ( _d24 ) are smaller than a predetermined separation distance N (e.g., _d13 < 30 cm and d24 < ₃₀ cm), but the present invention is not limited to this. In the present invention, the predetermined separation distance N can be appropriately set to a distance other than 30 cm.

上記実施形態は、いずれも本発明の適応の例示であり、特許請求の範囲に記載の範囲内におけるその他いかなる実施形態も、発明の技術的範囲に含まれることは当然のことである。 The above embodiments are merely examples of applications of the present invention, and it goes without saying that any other embodiments within the scope of the claims are also included within the technical scope of the invention.

１０撮像部
２０制御部
２１一時停止線検出部
２２端点検出部
２３一時停止線候補判定部
２４車道端点取得部
２５自車線側一時停止線判定部
３０出力部
１００一時停止線検出装置
Ａ自車線側の一時停止線候補
Ｂ車道
Ｃ対向車線側の一時停止線候補 10 Imaging unit 20 Control unit 21 Stop line detection unit 22 End point detection unit 23 Stop line candidate determination unit 24 Roadway end point acquisition unit 25 Own lane side stop line determination unit 30 Output unit 100 Stop line detection device A Own lane side stop line candidate B Roadway C Oncoming lane side stop line candidate

Claims

An imaging unit that images an image of the area ahead of the vehicle;
a stop line detection unit that detects stop line candidates from an image captured by the imaging unit;
a stop line candidate endpoint detection unit that detects both end points in a length direction of the stop line candidate detected by the stop line detection unit;
a stop line candidate determination unit that determines whether a length of the stop line candidate calculated based on both side endpoints of the stop line candidate is equal to or longer than a predetermined length;
a roadway end point acquisition unit that acquires both side end points of a roadway on both outer sides in a width direction of the roadway with respect to the stop line candidate that is determined to have the predetermined length or more by the stop line candidate determination unit;
a current lane side stop line determination unit that determines whether the current lane side stop line candidate is a stop line based on the positional relationship between both side endpoints of the stop line candidate and both side endpoints of the roadway.

The stop line detection device according to claim 1, characterized in that the stop line determination unit for the own lane compares the distance between both end points of the stop line candidate and both end points of the roadway in the corresponding direction to determine that the stop line is a stop line for the own lane.