JP6802999B2

JP6802999B2 - Compartment line detection system

Info

Publication number: JP6802999B2
Application number: JP2016219729A
Authority: JP
Inventors: 茂小笠原; 祐一梅実; 章則宇野; 柴田　健吾; 健吾柴田
Original assignee: Suzuki Motor Corp
Current assignee: Suzuki Motor Corp
Priority date: 2016-11-10
Filing date: 2016-11-10
Publication date: 2020-12-23
Anticipated expiration: 2036-11-10
Also published as: JP2018077713A

Description

本発明は、道路上に車両の走行レーンなどを表示した区画線検出システムに関する。 The present invention relates to a lane marking system that displays a traveling lane of a vehicle on a road.

従来、車載カメラの画像を利用して、道路上の区画線（白線など）とそれ以外の路面との輝度差などから区画線を検出する種々の方法が提案されている。一般に車載カメラとしては、近景から遠景に亘って広範囲の画像を取得するために広角レンズを備えたカメラが使用され、路面に対して斜めに画角が設定される。このような車載カメラに取得される入力画像では、例えば平行な２本の区画線からなる走行レーンは、２本の区画線が両側斜辺に沿って延びる台形状を呈し、それに広角レンズの歪曲収差が加わる。 Conventionally, various methods have been proposed in which a lane marking line is detected from a difference in brightness between a lane marking line (white line or the like) on a road and another road surface by using an image of an in-vehicle camera. Generally, as an in-vehicle camera, a camera equipped with a wide-angle lens is used to acquire a wide range of images from a near view to a distant view, and the angle of view is set obliquely with respect to the road surface. In the input image acquired by such an in-vehicle camera, for example, a traveling lane consisting of two parallel lane markings has a trapezoidal shape in which the two lane markings extend along the hypotenuses on both sides, and the distortion of the wide-angle lens. Is added.

特許文献１では、上記のような入力画像を歪みの無い俯瞰画像に変換し、該俯瞰画像における輝度情報から微分演算を経て白線を検出する方法が提案されている。このような俯瞰画像への変換を行う場合、遠景側で画素の補間処理を行うか、または、特許文献１に記載されるように、特定画素のみを抽出する間引きによる圧縮を行うことになるが、前者では演算の負荷が大きい割に検出精度への寄与は少なく、後者では近景側の解像度が無駄になり、検出精度の低下は否めない。 Patent Document 1 proposes a method of converting an input image as described above into a distortion-free bird's-eye view image and detecting a white line from the luminance information in the bird's-eye view image through a differential calculation. When converting to such a bird's-eye view image, pixel interpolation processing is performed on the distant view side, or compression is performed by thinning out only specific pixels as described in Patent Document 1. In the former case, the calculation load is large, but the contribution to the detection accuracy is small. In the latter case, the resolution on the near view side is wasted, and it is undeniable that the detection accuracy is lowered.

特開２００９−９６２７４号公報JP-A-2009-96274

本発明は、上記のような実状に鑑みてなされたものであり、その目的は、検出精度を確保しつつ処理の負荷を低減でき、リアルタイム性を確保するうえで有利な区画線検出システムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a lane marking detection system that can reduce the processing load while ensuring detection accuracy and is advantageous in ensuring real-time performance. To do.

上記課題を解決するために、本発明は、
周囲路面（５）を撮像すべく車両（１）に搭載された撮像手段（２）と、
前記撮像手段に取得される入力画像（２０）に設定された区画線探索範囲（２１）の座標（ｐｉ，ｑｉ）を、前記路面を上方から俯瞰した俯瞰画像における区画線探索範囲（２２）の座標（ｘｉ，ｙｉ）に変換するためのルックアップテーブル（２３）、および、前記ルックアップテーブルに記載された全座標の車幅方向（ｘ）の出現度数分布に対応する基準ヒストグラム（Ｈ１）を格納したデータ記憶手段（１２）と、
前記入力画像（２０）の前記区画線探索範囲（２１）内に存在する区画線エッジピクセルを検出し、前記ルックアップテーブル（２３）を参照して、検出された全ての区画線エッジピクセルに対応する車幅方向座標値を求め、前記区画線エッジピクセルの車幅方向座標における入力ヒストグラム（Ｈ２）を取得する画像処理手段（１３）と、
前記入力ヒストグラム（Ｈ２）を前記基準ヒストグラム（Ｈ１）で除算して補正ヒストグラム（Ｈ３）を取得し、前記補正ヒストグラムにおいて所定の閾値を超えた車幅方向座標を区画線（４）として検出する演算処理手段（１３）と、
を備えた区画線検出システムにある。 In order to solve the above problems, the present invention
An imaging means (2) mounted on the vehicle (1) to image the surrounding road surface (5), and
The coordinates (pi, qi) of the lane marking search range (21) set in the input image (20) acquired by the imaging means are the coordinates (pi, qi) of the lane marking search range (22) in the bird's-eye view image of the road surface from above. A lookup table (23) for converting to coordinates (xi, yi) and a reference histogram (H1) corresponding to the appearance frequency distribution of all coordinates in the vehicle width direction (x) described in the lookup table are provided. The stored data storage means (12) and
The division line edge pixels existing in the division line search range (21) of the input image (20) are detected, and the lookup table (23) is referred to to correspond to all the detected division line edge pixels. An image processing means (13) for obtaining a vehicle width direction coordinate value to be used and acquiring an input histogram (H2) in the vehicle width direction coordinates of the lane marking edge pixel.
A calculation in which the input histogram (H2) is divided by the reference histogram (H1) to obtain a correction histogram (H3), and the vehicle width direction coordinates exceeding a predetermined threshold value in the correction histogram are detected as a lane marking (4). Processing means (13) and
It is in the lane marking system equipped with.

本発明に係る区画線検出システムによれば、入力画像を俯瞰画像に変換するルックアップテーブルを利用して、入力画像の区画線探索範囲に検出される区画線エッジピクセルの俯瞰画像座標を求め、それに基準ヒストグラムに基づく補正（標準化）を行うことで、入力画像から俯瞰画像等への画像変換をせずに、簡易な演算処理のみで直ちに区画線位置を検出でき、演算負荷の低減による処理の高速化が見込め、車線逸脱警報や経路誘導機能、操舵補助機能など、高応答性、リアルタイム性が要求される用途に有利である。 According to the lane marking detection system according to the present invention, the bird's-eye view image coordinates of the lane marking edge pixels detected in the lane marking search range of the input image are obtained by using a lookup table that converts the input image into a bird's-eye view image. By performing correction (standardization) based on the reference histogram, the lane marking position can be detected immediately by simple arithmetic processing without image conversion from the input image to a bird's-eye view image, etc., and the processing by reducing the arithmetic load can be performed. High speed is expected, and it is advantageous for applications that require high responsiveness and real-time performance, such as lane departure warning, route guidance function, and steering assist function.

本発明実施形態に係る区画線検出システムを示すブロック図である。It is a block diagram which shows the lane marking detection system which concerns on embodiment of this invention. 入力画像の例を示す概略図である。It is the schematic which shows the example of the input image. 本発明第１実施形態に係る（ａ）車両と入力画像および俯瞰画像の関係を示す斜視図、（ｂ）入力画像と俯瞰画像における座標の対応関係を示す概略図、（ｃ）入力画像を俯瞰画像に変換するルックアップテーブルを示す概略図である。(A) A perspective view showing the relationship between the vehicle and the input image and the bird's-eye view image, (b) a schematic view showing the correspondence between the coordinates in the input image and the bird's-eye view image, and (c) a bird's-eye view of the input image according to the first embodiment of the present invention. It is a schematic diagram which shows the lookup table which is converted into an image. （ａ）ｘ−ＬＵＴ基準ヒストグラム、（ｂ）区画線エッジピクセルに対応する車幅方向座標（ｘｉ）のヒストグラム、（ｃ）補正ヒストグラムである。(A) x-LUT reference histogram, (b) histogram of vehicle width direction coordinates (xi) corresponding to lane marking edge pixels, and (c) correction histogram. 本発明実施形態に係る区画線検出の前処理を示すフローチャートである。It is a flowchart which shows the preprocessing of the lane marking detection which concerns on embodiment of this invention. 本発明実施形態に係る区画線検出プロセスのリアルタイム処理を示すフローチャートである。It is a flowchart which shows the real-time processing of the lane marking detection process which concerns on embodiment of this invention. 本発明第２実施形態に係る（ａ）車両とサイドカメラの入力画像および俯瞰画像の関係を示す斜視図、（ｂ）サイドカメラの入力画像と（ｃ）俯瞰画像における座標の対応関係を示す概略図である。A perspective view showing the relationship between (a) the input image and the bird's-eye view image of the vehicle and the side camera, and (b) the outline showing the correspondence between the coordinates in the input image of the side camera and (c) the bird's-eye view image according to the second embodiment of the present invention. It is a figure. 本発明第２実施形態に係る（ａ）ｙ−ＬＵＴ基準ヒストグラム、（ｂ）区画線エッジピクセルに対応する車幅方向座標（ｙｉ）のヒストグラム、（ｃ）補正ヒストグラムである。It is (a) y-LUT reference histogram, (b) histogram of vehicle width direction coordinates (yi) corresponding to lane marking edge pixel, and (c) correction histogram which concerns on 2nd Embodiment of this invention. 本発明第３実施形態に係る（ａ）車両とコーナーカメラの入力画像および俯瞰画像の関係を示す斜視図、（ｂ）コーナーカメラの入力画像と（ｃ）俯瞰画像、（ｄ）回転した入力画像と（ｅ）俯瞰画像における座標の対応関係を示す概略図、（ｅ）ｕ−ＬＵＴ基準ヒストグラムである。A perspective view showing the relationship between (a) the input image of the vehicle and the corner camera and the bird's-eye view image, (b) the input image of the corner camera and (c) the bird's-eye view image, and (d) the rotated input image according to the third embodiment of the present invention. It is a schematic diagram showing the correspondence between the coordinates in the bird's-eye view image and (e), and (e) a u-LUT reference histogram. （ａ）車両とバックカメラ、サイドカメラ、コーナーカメラの区画線探索範囲の関係を示す平面図、（ｂ）バックカメラ、（ｃ）サイドカメラ、（ｄ）コーナーカメラの入力画像と区画線探索範囲の関係を示す概略図である。(A) Plan view showing the relationship between the vehicle and the back camera, the side camera, and the corner line search range of the corner camera, (b) the back camera, (c) the side camera, and (d) the input image of the corner camera and the section line search range. It is a schematic diagram which shows the relationship of.

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図１は、本発明に係る区画線検出システムを車線逸脱警報システムとして実施した実施形態を示している。図１において、車線逸脱警報システムは、車両１の周囲路面を撮像するカメラ２、区画線検出装置１０、警報装置３から構成され、区画線検出装置１０は、画像記録部１１、データ格納部１２、区画線検出処理部１３、および、車線逸脱判定部１４を含む処理部を備えている。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 shows an embodiment in which the lane departure warning system according to the present invention is implemented as a lane departure warning system. In FIG. 1, the lane departure warning system is composed of a camera 2, a lane marking device 10, and an alarm device 3 that image the road surface around the vehicle 1, and the lane departure warning system 10 includes an image recording unit 11 and a data storage unit 12. , A processing unit including a lane departure detection processing unit 13 and a lane departure determination unit 14.

カメラ２は、ＣＭＯＳ，ＣＭＤ，ＣＣＤなどの固体撮像素子と広角レンズを用いたデジタルカメラが好適であり、フロントカメラ、バックカメラ、サイドカメラ、コーナーカメラなど、既存の車載カメラを利用することもできる。車両１が車線方向に走行する場合における区画線の車幅方向位置を検出するため、車両１への取付け角度（光軸方向）に応じて検出座標方向が選定される。以下に述べる第１実施形態では、図３に示されるように、車両後部に取付けられ、車体後部から地表面を含み近景から遠景までを画角に収めるバックカメラを撮像手段として利用している。 The camera 2 is preferably a digital camera using a solid-state image sensor such as CMOS, CMD, or CCD and a wide-angle lens, and existing in-vehicle cameras such as a front camera, a back camera, a side camera, and a corner camera can also be used. .. In order to detect the position of the lane marking in the vehicle width direction when the vehicle 1 travels in the lane direction, the detection coordinate direction is selected according to the mounting angle (optical axis direction) to the vehicle 1. In the first embodiment described below, as shown in FIG. 3, a back camera attached to the rear part of the vehicle and including the ground surface from the rear part of the vehicle body and capturing the near view to the distant view within the angle of view is used as the imaging means.

画像記録部１１は、カメラ２から送られる映像信号を所定のフレームレートで入力画像２０として記録する画像記録手段であり、専用のグラフィックメモリ（ＶＲＡＭ）、または、区画線検出装置１０を構成するコンピュータのメインメモリ（ＲＡＭ）を利用可能である。 The image recording unit 11 is an image recording means that records a video signal sent from the camera 2 as an input image 20 at a predetermined frame rate, and is a dedicated graphic memory (VRAM) or a computer that constitutes a lane marking detection device 10. Main memory (RAM) is available.

データ格納部１２は、後述する座標変換用のルックアップテーブル２３（ｘ−ＬＵＴ）および基準ヒストグラムＨ１を格納するデータ記憶手段であり、区画線検出装置１０を構成するコンピュータのプログラムを格納するＲＯＭ（フラッシュメモリ）を利用可能である。 The data storage unit 12 is a data storage means for storing a look-up table 23 (x-LUT) for coordinate conversion and a reference histogram H1 to be described later, and is a ROM (ROM) for storing a computer program constituting the lane marking detection device 10. Flash memory) is available.

区画線検出処理部１３は、入力画像２０の区画線探索範囲２１内に存在する区画線エッジピクセルを検出し、車幅方向座標（ｘｉ）の入力ヒストグラムＨ２を取得する画像処理手段、および、入力ヒストグラムＨ２を基準ヒストグラムＨ１で除算して補正ヒストグラムＨ３を取得し、補正ヒストグラムにおいて所定の閾値Ｓを超えた車幅方向座標（ｘｉ）を区画線４として検出する演算処理手段を構成する部分である。 The lane marking detection processing unit 13 detects the lane marking edge pixels existing in the lane marking search range 21 of the input image 20, and acquires the input histogram H2 of the vehicle width direction coordinates (xi), and the input. It is a part constituting an arithmetic processing means that divides the histogram H2 by the reference histogram H1 to obtain the correction histogram H3, and detects the vehicle width direction coordinates (xi) exceeding a predetermined threshold value S as the lane marking 4 in the correction histogram. ..

車線逸脱判定部１４は、区画線検出処理部１３で検出された区画線４の座標値（ｘｉ）と、自車両の車幅に対応する極限値（ｘＬ，ｘＲ）とを比較し、極限値を越えた場合に車線逸脱状態に移行しつつあると判定し、警報装置３に車線逸脱信号を出力する。 The lane deviation determination unit 14 compares the coordinate value (xi) of the lane marking 4 detected by the lane marking processing unit 13 with the limit value (xL, xR) corresponding to the vehicle width of the own vehicle, and sets the limit value. When the distance exceeds the above, it is determined that the vehicle is shifting to the lane deviation state, and a lane deviation signal is output to the alarm device 3.

これらは、区画線検出装置１０の各機能を実行するように動作可能なプログラムを格納するＲＯＭ（フラッシュメモリ）、演算処理を行うＣＰＵ、前記プログラムが読み出され前記ＣＰＵの作業領域および演算結果の一時記憶領域となるＲＡＭ、および入出力インターフェースなどを備えたコンピュータ（マイクロコンピュータ）で構成される。 These include a ROM (flash memory) that stores a program that can operate to execute each function of the lane marking device 10, a CPU that performs arithmetic processing, a work area of the CPU from which the program is read, and an arithmetic result. It consists of a computer (microcomputer) equipped with a RAM that serves as a temporary storage area and an input / output interface.

なお、警報装置３は、運転者に対して車線逸脱状態に近づいていることを、（ｉ）視覚的に表示するディスプレイやランプ、（ｉｉ）音声や警報音で伝えるスピーカやブザー、（ｉｉｉ）振動で伝えるバイブレータなどから構成される。 The alarm device 3 includes (i) a display or lamp that visually displays to the driver that the driver is approaching a lane departure state, (ii) a speaker or buzzer that notifies the driver by sound or alarm sound, and (iii). It consists of a vibrator that transmits by vibration.

ディスプレイとしては、専用ディスプレイのほかに、カーナビゲーションシステムのディスプレイやヘッドアップディスプレイを利用可能であり、スピーカとしては、車載オーディオ装置のスピーカを利用可能である。また、バイブレータとしてはステアリングハンドルに埋設されたバイブレータのほかに、ＥＰＳモータを用いてステアリングハンドル自体をパルス振動させることもできる。 As the display, in addition to the dedicated display, a car navigation system display or a head-up display can be used, and as a speaker, a speaker of an in-vehicle audio device can be used. Further, as the vibrator, in addition to the vibrator embedded in the steering handle, the steering handle itself can be pulse-vibrated by using an EPS motor.

以上のように構成された区画線検出システムは、（ｉ）ルックアップテーブル２３（ｘ−ＬＵＴ）および基準ヒストグラムＨ１を取得する前処理（図５）、（ｉｉ）走行中の車両において実際に区画線検出を行うリアルタイム処理（図６）の二段階で実施される。以下、区画線検出の基本概念とそれぞれの処理について図面を参照しながら説明する。 The lane marking system configured as described above includes (i) preprocessing for acquiring the look-up table 23 (x-LUT) and the reference histogram H1 (FIG. 5), and (ii) the actual lane marking in the running vehicle. It is carried out in two stages of real-time processing (FIG. 6) for line detection. Hereinafter, the basic concept of lane marking detection and each process will be described with reference to the drawings.

（区画線検出の基本概念）
図２は、カメラ２（バックカメラ）からの入力画像２０の一例を示しており、両側の区画線４（車道外側線または車線境界線）によって区画された車線５（走行レーン）は、路面に向けて斜めに設置されているカメラ２の画角に起因して画面略中央上部に消失点を有する透視画像であるとともに、広角レンズに起因した樽型収差を有しており、車両との位置関係を直ちに特定することはできない。 (Basic concept of lane marking detection)
FIG. 2 shows an example of the input image 20 from the camera 2 (back camera), and the lane 5 (traveling lane) partitioned by the lane markings 4 (outside lane or lane boundary) on both sides is on the road surface. It is a perspective image with a vanishing point at the upper center of the screen due to the angle of view of the camera 2 installed diagonally toward it, and also has barrel aberration due to the wide-angle lens, and is positioned with the vehicle. The relationship cannot be identified immediately.

上記のような入力画像２０は、図３（ａ）に示すように、カメラ２の光軸方向と直交する仮想平面における透視図と見ることができ、このような入力画像２０を、路面（５）を垂直に見下ろす俯瞰画像２２に変換することで、歪みのない平面上の直交座標系で、区画線４の位置を特定できる。 As shown in FIG. 3A, the input image 20 as described above can be seen as a perspective view in a virtual plane orthogonal to the optical axis direction of the camera 2, and such an input image 20 can be viewed as a road surface (5). ) Is converted into a bird's-eye view image 22 that looks down vertically, so that the position of the lane marking 4 can be specified in the Cartesian coordinate system on a plane without distortion.

このような画像変換を行う場合、路面の垂直上方に仮想視点を設定して３次元座標変換する代わりに、図３（ｂ）に示すように、変換前後の座標ｇ（ｐｉ，ｑｉ），ｇ′（ｘｉ，ｙｉ）の対応関係を規定したルックアップテーブルを用いることで、行列・逆行列演算などの計算処理が簡略化される利点がある。 When performing such image conversion, instead of setting a virtual viewpoint vertically above the road surface and performing three-dimensional coordinate conversion, as shown in FIG. 3 (b), the coordinates g (pi, qi), g before and after the conversion are performed. By using a lookup table that defines the correspondence of ′ (xi, yi), there is an advantage that calculation processing such as matrix / inverse matrix calculation can be simplified.

しかしながら、このような画像変換を行って俯瞰画像２２を作成し、さらに俯瞰画像２２に対してエッジ検出などの画像処理を行うとなると、演算処理の負荷が大きくなるばかりか、俯瞰画像２２の遠景側では歪が大きくなるとともに、入力画像２０の１つの画素が補間処理によって引き伸ばされることで、検出精度への寄与が少ない。 However, if the bird's-eye view image 22 is created by performing such image conversion and further image processing such as edge detection is performed on the bird's-eye view image 22, not only the load of arithmetic processing becomes large, but also the distant view of the bird's-eye view image 22 becomes large. On the side, the distortion becomes large, and one pixel of the input image 20 is stretched by the interpolation process, so that the contribution to the detection accuracy is small.

（ルックアップテーブル、ｘ−ＬＵＴ）
そこで、リアルタイムで俯瞰画像２２に変換する代わりに、俯瞰画像２２において矩形領域となるように設定された区画線探索範囲（２２）に対応する入力画像２０の区画線探索範囲２１においてエッジ検出を行い、検出された区画線エッジピクセルに対応する俯瞰画像２２における座標値のみを、ルックアップテーブル２３を用いて求めることで、リアルタイム処理における演算負荷を大幅に削減できる。 (Look-up table, x-LUT)
Therefore, instead of converting to the bird's-eye view image 22 in real time, edge detection is performed in the section line search range 21 of the input image 20 corresponding to the section line search range (22) set to be a rectangular area in the bird's-eye view image 22. By using the lookup table 23 to obtain only the coordinate values in the bird's-eye view image 22 corresponding to the detected lane marking edge pixels, the calculation load in real-time processing can be significantly reduced.

さらに、俯瞰画像２２の遠景側では、ｘ方向のみならず、ｙ方向にも画像が引き伸ばされ、画素のサンプリング量が少なくなるが、基本的に車両１の走行方向に延びる区画線４の検出では、ｙ方向の位置は重要度が低い。そこで、図３（ｃ）に示すように、ルックアップテーブル２３は、入力画像２０のｘ座標のみを変換するｘ−ＬＵＴとすることで、さらにリアルタイム処理における演算負荷は削減される。 Further, on the distant view side of the bird's-eye view image 22, the image is stretched not only in the x direction but also in the y direction, and the sampling amount of pixels is reduced, but basically, in the detection of the lane marking 4 extending in the traveling direction of the vehicle 1. , The position in the y direction is less important. Therefore, as shown in FIG. 3C, the lookup table 23 is an x-LUT that converts only the x-coordinate of the input image 20, so that the calculation load in the real-time processing is further reduced.

（基準ヒストグラム）
一方、図３（ｂ）に示すように、俯瞰画像２２では、車幅方向の中央から両側に離れるほど、画素サンプリング量が少なくなる。図４（ａ）は、ルックアップテーブル２３内にある全座標のｘ軸方向の出現度数分布に対応するヒストグラムＨ１を示している。このように、画素サンプリング量に差があると、検出されたエッジピクセルを評価するために、ｘ方向全体に同一の閾値を適用することができない。 (Reference histogram)
On the other hand, as shown in FIG. 3B, in the bird's-eye view image 22, the pixel sampling amount decreases as the distance from the center in the vehicle width direction to both sides increases. FIG. 4A shows a histogram H1 corresponding to the appearance frequency distribution of all coordinates in the x-axis direction in the lookup table 23. As described above, if there is a difference in the amount of pixel sampling, it is not possible to apply the same threshold value in the entire x direction in order to evaluate the detected edge pixels.

そこで、ヒストグラムＨ１を基準ヒストグラムとして、図４（ｂ）に示すような入力画像２０で検出された区画線エッジピクセルの入力ヒストグラムＨ２を、基準ヒストグラムＨ１で除算して、図４（ｃ）に示すような補正ヒストグラムＨ３を得ることにより、画素サンプリング量のアンバランスが是正され、ｘ方向全体に同一の閾値Ｓを適用可能となり、この閾値Ｓを越えたｘ座標値を区画線位置として直ちに検出可能となる。 Therefore, using the histogram H1 as a reference histogram, the input histogram H2 of the lane marking edge pixels detected in the input image 20 as shown in FIG. 4 (b) is divided by the reference histogram H1 and shown in FIG. 4 (c). By obtaining such a correction histogram H3, the imbalance of the pixel sampling amount is corrected, the same threshold value S can be applied to the entire x direction, and the x coordinate value exceeding this threshold value S can be immediately detected as the lane marking position. It becomes.

（区画線検出の前処理）
以上述べたように、本発明に係る区画線検出システムでは、図５に示すようなプロセスで区画線検出のための前処理を行う。すなわち、
（１）カメラ２の入力画像２０において、俯瞰画像２２に変換された場合に矩形領域となるように区画線探索範囲２１を設定する（ステップ５１）。
（２）車両１に対するカメラ２の取付け位置、角度、画像仕様から、区画線探索範囲２１に対応するルックアップテーブル２３（ｘ−ＬＵＴ）を取得する（ステップ５２）。
（３）ルックアップテーブル２３（ｘ−ＬＵＴ）に記載された全座標の車幅方向（ｘ）の出現度数分布に対応する基準ヒストグラムＨ１を作成する（ステップ５３）。 (Pretreatment for lane marking detection)
As described above, in the lane marking detection system according to the present invention, preprocessing for lane marking detection is performed by the process as shown in FIG. That is,
(1) In the input image 20 of the camera 2, the lane marking search range 21 is set so as to be a rectangular area when converted into a bird's-eye view image 22 (step 51).
(2) The look-up table 23 (x-LUT) corresponding to the lane marking search range 21 is acquired from the mounting position, angle, and image specifications of the camera 2 with respect to the vehicle 1 (step 52).
(3) A reference histogram H1 corresponding to the appearance frequency distribution in the vehicle width direction (x) of all coordinates described in the lookup table 23 (x-LUT) is created (step 53).

上記において、区画線探索範囲２１は、例えば一般的な車線５の幅を考慮して、俯瞰画像２２において左右幅方向（ｘ軸方向）６ｍ、前後車長方向（ｙ軸方向）２〜７ｍに設定する。 In the above, the lane marking search range 21 is set to 6 m in the left-right width direction (x-axis direction) and 2 to 7 m in the front-rear vehicle length direction (y-axis direction) in the bird's-eye view image 22, for example, in consideration of the width of a general lane 5. Set.

区画線探索範囲２１に対応するルックアップテーブル２３の取得に際しては、例えば、俯瞰画像２２の上空に仮想視点を設定し、カメラ２に取得される画像上の画素（ｐｉ，ｑｉ）を、ピンホールカメラモデルに基づいて、カメラ２の光軸に垂直なイメージプレーン上へ置き換え、このイメージプレーンをカメラ光軸に沿って仮想的に車両後方にシフトしていくことで、焦点距離の増加とともにイメージプレーン上の像が拡大し、このプレーン上の各画素が路面５と交わった点の実空間座標（ｘｉ，ｙｉ）を記録する。 When acquiring the lookup table 23 corresponding to the lane marking search range 21, for example, a virtual viewpoint is set above the bird's-eye view image 22, and the pixels (pi, qi) on the image acquired by the camera 2 are pinholes. Based on the camera model, the image plane is replaced on the image plane perpendicular to the optical axis of the camera 2, and this image plane is virtually shifted to the rear of the vehicle along the optical axis of the camera to increase the focal length and the image plane. The upper image is enlarged, and the real space coordinates (xi, yi) of the point where each pixel on the plane intersects the road surface 5 are recorded.

これらのプロセスを実行するプログラムを区画線検出装置１０のＲＯＭに用意し、前処理のメニュー画面で、カメラパラメータや区画線探索範囲サイズを入力することで、ルックアップテーブル２３（ｘ−ＬＵＴ）および基準ヒストグラムＨ１が作成され、データ格納部１２（ＲＯＭ）に保存されるようにする。 By preparing a program for executing these processes in the ROM of the lane marking device 10 and inputting the camera parameters and the lane marking search range size on the preprocessing menu screen, the lookup table 23 (x-LUT) and The reference histogram H1 is created and stored in the data storage unit 12 (ROM).

（区画線検出のリアルタイム処理）
以上のような前処理を経た区画線検出システムは、車両１の走行中において、画像記録部１１に取得される入力画像２０に対して、図６に示すようなプロセスで区画線検出を実行する。すなわち、
（１）入力画像２０の区画線探索範囲２１に対して、ｘ軸方向に隣接するピクセルの輝度差などに基づきエッジ検出を行い、区画線エッジピクセルｇ（ｐｉ，ｑｉ）を探索する（ステップ６１）。
（２）ルックアップテーブル２３（ｘ−ＬＵＴ）を参照して、検出された全ての区画線エッジピクセルｇ（ｐｉ，ｑｉ）に対応するｘ座標値を求める（ステップ６２）。
（３）区画線エッジピクセルｇ（ｐｉ，ｑｉ）に対応するｘ座標値について、横軸をｘ座標値、縦軸を度数とする入力ヒストグラムＨ２を作成する（ステップ６３）。
（４）入力ヒストグラムＨ２を基準ヒストグラムＨ１で除算して補正ヒストグラムＨ３を取得する（ステップ６４）。
（５）補正ヒストグラムＨ３において、所定の閾値Ｓを超えたｘ座標値を区画線位置として検出する（ステップ６５，６６）。
（６）区画線位置のｘ座標値（ｘｉ）と車両１の車幅に対応する左右の極限値（ｘＬ，ｘＲ）と比較し、極限値を越えた場合、すなわちｘＬ＞ｘｉまたはｘＲ＜ｘｉとなった場合に車線逸脱状態に移行しつつあると判定し（ステップ６８）、警報装置３に車線逸脱警報信号を出力する（ステップ６９）。 (Real-time processing of lane marking detection)
The lane marking detection system that has undergone the above preprocessing executes lane marking detection for the input image 20 acquired by the image recording unit 11 in the process shown in FIG. 6 while the vehicle 1 is traveling. .. That is,
(1) With respect to the lane marking search range 21 of the input image 20, edge detection is performed based on the brightness difference of pixels adjacent to each other in the x-axis direction, and the lane marking edge pixels g (pi, qi) are searched (step 61). ).
(2) With reference to the look-up table 23 (x-LUT), the x-coordinate value corresponding to all the detected lane marking edge pixels g (pi, qi) is obtained (step 62).
(3) For the x-coordinate value corresponding to the lane marking edge pixel g (pi, qi), an input histogram H2 having the horizontal axis as the x-coordinate value and the vertical axis as the frequency is created (step 63).
(4) The input histogram H2 is divided by the reference histogram H1 to obtain the correction histogram H3 (step 64).
(5) In the correction histogram H3, the x-coordinate value exceeding the predetermined threshold value S is detected as the lane marking position (steps 65 and 66).
(6) Comparing the x-coordinate value (xi) of the lane marking position with the left and right limit values (xL, xR) corresponding to the vehicle width of the vehicle 1, when the limit value is exceeded, that is, xL> xi or xR <xi In the case of, it is determined that the vehicle is shifting to the lane deviation state (step 68), and the lane deviation warning signal is output to the alarm device 3 (step 69).

上記（１）〜（６）の区画線検出／車線逸脱判定プロセスを、所定のフレームレート（例えば毎秒３０フレーム）で読み込まれる入力画像２０に順に実施するか、または、上記（１）〜（５）の区画線検出プロセスを入力画像２０に実施する一方、（６）の車線逸脱判定プロセスは、連続した複数フレームにおける区画線位置のｘ座標値（ｘｉ）の位置の変化に基づいて左右の極限値（ｘＬ，ｘＲ）への接近を予測して、車線逸脱警報信号を出力するようにすることもできる。 The lane marking detection / lane deviation determination process of (1) to (6) above is sequentially performed on the input images 20 read at a predetermined frame rate (for example, 30 frames per second), or the above (1) to (5) ) Is carried out on the input image 20, while the lane deviation determination process of (6) is based on the change in the x-coordinate value (xi) of the lane marking position in a plurality of consecutive frames. It is also possible to predict the approach to the value (xL, xR) and output the lane departure warning signal.

なお、エッジ検出に際しては、入力画像２０にノーマライズなどのフィルタ処理を実施した後、区画線探索範囲２１の全てのｙ座標について、ｘ軸方向のライン走査を実施し、隣接するピクセルの輝度差が最大になるピクセルを検出する方法、ｘ軸方向の輝度値の１次微分において傾斜が最大になるピクセルを検出する方法、さらには、入力画像２０を二値化する方法など、比較的簡単な方法で実施可能である。 In edge detection, after performing filter processing such as normalization on the input image 20, line scanning in the x-axis direction is performed for all y coordinates in the lane marking search range 21, and the brightness difference between adjacent pixels is reduced. A relatively simple method such as a method of detecting the pixel having the maximum, a method of detecting the pixel having the maximum inclination in the first derivative of the brightness value in the x-axis direction, and a method of binarizing the input image 20. It can be carried out at.

上記第１実施形態では、撮像手段として車両後部に取付けられたバックカメラを利用する場合について述べたが、本発明に係る区画線検出はこれに限定されるものではなく、車両前方を撮像するフロントカメラや、車両側方を撮像するサイドカメラ、車両前側方または車両後側方を撮像するコーナーカメラを用いることもできる。基本的な構成は同様であるため、以下、差異点を中心に説明する。 In the first embodiment described above, a case where a back camera attached to the rear part of the vehicle is used as an imaging means has been described, but the lane marking detection according to the present invention is not limited to this, and the front image is captured in front of the vehicle. A camera, a side camera that captures the side of the vehicle, and a corner camera that captures the front side of the vehicle or the rear side of the vehicle can also be used. Since the basic configuration is the same, the differences will be mainly described below.

（第２実施形態）
図７に示す第２実施形態の区画線検出システムでは、車両側部（サイドミラーなど）に取付けられ、車両側方を撮像するサイドカメラ２０２を撮像手段として利用する場合を示している。この場合も、入力画像２２０における区画線探索範囲２２１は、入力画像２２０を俯瞰画像２２２に変換した場合に矩形領域となるように設定されているが、サイドカメラ２０２の入力画像２２０に基づく俯瞰画像２２２では、サイドカメラ２０２の光軸方向であるｙ軸方向が車幅方向、ｘ軸方向が車両１の進行方向（車長方向）となり、検出すべき区画線４は基本的にｘ軸方向に延在し、区画線４のｙ座標値が検出対象となる。 (Second Embodiment)
The lane marking detection system of the second embodiment shown in FIG. 7 shows a case where a side camera 202, which is attached to a vehicle side portion (side mirror or the like) and images the vehicle side, is used as an imaging means. Also in this case, the lane marking search range 221 in the input image 220 is set to be a rectangular area when the input image 220 is converted into the bird's-eye view image 222, but the bird's-eye view image based on the input image 220 of the side camera 202 is set. In 222, the y-axis direction, which is the optical axis direction of the side camera 202, is the vehicle width direction, the x-axis direction is the traveling direction of the vehicle 1 (vehicle length direction), and the lane marking 4 to be detected is basically in the x-axis direction. It extends and the y-coordinate value of the lane marking 4 is the detection target.

そこで、図８（ａ）に示すように、区画線探索範囲２２１に対応するルックアップテーブル（ｙ−ＬＵＴ）を取得し、ルックアップテーブル（ｙ−ＬＵＴ）内にある全座標のｙ軸方向の出現度数分布に対応する基準ヒストグラムＨ１を取得し、図８（ｂ）に示すように、入力画像２２０で検出された区画線エッジピクセルの入力ヒストグラムＨ２を、基準ヒストグラムＨ１で除算して、図８（ｃ）に示すような補正ヒストグラムＨ３を得ることにより、ｙ方向全体に同一の閾値を適用可能となり、この閾値を越えたｙ座標値を区画線位置として検出する。 Therefore, as shown in FIG. 8A, the lookup table (y-LUT) corresponding to the lane marking search range 221 is acquired, and all the coordinates in the lookup table (y-LUT) are in the y-axis direction. A reference histogram H1 corresponding to the appearance frequency distribution is acquired, and as shown in FIG. 8B, the input histogram H2 of the lane marking edge pixels detected in the input image 220 is divided by the reference histogram H1 to obtain FIG. By obtaining the correction histogram H3 as shown in (c), the same threshold value can be applied to the entire y direction, and the y coordinate value exceeding this threshold value is detected as the lane marking position.

上記第２実施形態において、入力画像２２０を９０度回転し、第１実施形態と同様に、ｘ−ＬＵＴベースで基準ヒストグラムＨ１を取得し、入力ヒストグラムＨ２を、基準ヒストグラムＨ１で除算して補正ヒストグラムＨ３を得て区画線検出することもできる。 In the second embodiment, the input image 220 is rotated 90 degrees, the reference histogram H1 is acquired on an x-LUT basis as in the first embodiment, and the input histogram H2 is divided by the reference histogram H1 to correct the histogram. It is also possible to obtain H3 and detect the lane marking.

（第３実施形態）
図９に示す第３実施形態の区画線検出システムでは、車両前側部に取付けられ、車両前側方を撮像するコーナーカメラ３０２を撮像手段として利用する場合を示している。入力画像３２０における区画線探索範囲（３３１）が、入力画像３２０を俯瞰画像３３２に変換した場合に矩形領域となるように設定される点は同様であるが、コーナーカメラ３０２の入力画像３２０に基づく俯瞰画像３３２では、図９（ｃ）に示すように、検出すべき区画線４は、コーナーカメラ３０２の光軸方向（ｙ軸方向）に対して傾斜方向に延在するので、ｙ軸方向やｘ軸方向のエッジ検出では検出感度が低下する。 (Third Embodiment)
The lane marking detection system of the third embodiment shown in FIG. 9 shows a case where a corner camera 302 attached to the front side of the vehicle and imaging the front side of the vehicle is used as an imaging means. Similarly, the lane marking search range (331) in the input image 320 is set to be a rectangular area when the input image 320 is converted into the bird's-eye view image 332, but based on the input image 320 of the corner camera 302. In the bird's-eye view image 332, as shown in FIG. 9C, the lane marking 4 to be detected extends in the tilt direction with respect to the optical axis direction (y-axis direction) of the corner camera 302, so that it extends in the y-axis direction and In edge detection in the x-axis direction, the detection sensitivity decreases.

エッジ検出感度を高くするためには、図９（ｃ）中において車両１の進行方向（車長方向）となるＶ方向に延在する区画線４と直交するＵ方向にエッジ探索することが好ましい。しかし、当然ながら傾斜方向の探索では、ｘ，ｙそれぞれの方向でエッジピクセルｇ′（ｘｉ，ｙｉ）の存在を確認する必要が生じるため、演算負荷が大きくなる。 In order to increase the edge detection sensitivity, it is preferable to search for an edge in the U direction orthogonal to the lane marking 4 extending in the V direction, which is the traveling direction (vehicle length direction) of the vehicle 1 in FIG. 9C. .. However, as a matter of course, in the search in the inclination direction, it is necessary to confirm the existence of the edge pixel g'(xi, yi) in each of the x and y directions, which increases the calculation load.

そこで、図９（ｄ）（ｅ）に示すように、入力画像３２０を、その俯瞰画像３３２における進行方向との傾斜角度（θ：カメラの取付け角度の水平成分）の分だけ回転し、Ｕ軸方向が車幅方向、Ｖ軸方向が車両１の進行方向（車長方向）と一致するような直交座標系であるＵ−Ｖ座標系を規定し、このＵ−Ｖ座標系で傾斜の無い矩形領域（３２２）となるような区画線探索範囲３２１を設定し、この区画線探索範囲３２１に対応するルックアップテーブルを取得する。 Therefore, as shown in FIGS. 9 (d) and 9 (e), the input image 320 is rotated by the inclination angle (θ: horizontal component of the camera mounting angle) with respect to the traveling direction in the bird's-eye view image 332, and is U-axis. A UV coordinate system, which is a Cartesian coordinate system in which the direction coincides with the vehicle width direction and the V-axis direction coincides with the traveling direction (vehicle length direction) of the vehicle 1, is defined, and a rectangular shape with no inclination in this UV coordinate system. The lane marking search range 321 that becomes the area (322) is set, and the lookup table corresponding to the lane marking search range 321 is acquired.

入力画像３２０に対して角度θ回転させた画像３２０′における区画線探索範囲３２１に対応する俯瞰画像での区画線探索範囲３２２を座標変換により求めるためのルックアップテーブル（Ｕ−ＬＵＴ，Ｖ−ＬＵＴ）は、回転せずに俯瞰画像に座標変換する場合のルックアップテーブル（ｘ−ＬＵＴ，ｙ−ＬＵＴ）から、次式により求めることができる。

Look-up table (U-LUT, V-LUT) for obtaining the lane marking search range 322 in the bird's-eye view image corresponding to the lane marking search range 321 in the image 320'rotated by an angle θ with respect to the input image 320 by coordinate conversion. ) Can be obtained by the following equation from a look-up table (x-LUT, y-LUT) in which coordinates are converted into a bird's-eye view image without rotation.

上記のような回転処理を追加することで、第１実施形態と同様に、図９（ｆ）に示すように、ルックアップテーブル（Ｕ−ＬＵＴ）内にある全座標のＵ軸方向の出現度数分布に対応する基準ヒストグラムＨ１を取得し、入力画像３２０の区画線探索範囲３２１で検出された区画線エッジピクセルの入力ヒストグラムＨ２を、基準ヒストグラムＨ１で除算して補正ヒストグラムＨ３を得ることにより、Ｕ方向全体に同一の閾値を適用可能となり、この閾値を越えたＵ座標値を区画線位置として検出可能である。 By adding the rotation process as described above, as shown in FIG. 9F, the appearance frequency of all the coordinates in the lookup table (U-LUT) in the U-axis direction is the same as that of the first embodiment. The reference histogram H1 corresponding to the distribution is acquired, and the input histogram H2 of the lane marking edge pixels detected in the lane marking search range 321 of the input image 320 is divided by the reference histogram H1 to obtain the correction histogram H3. The same threshold can be applied to the entire direction, and the U coordinate value exceeding this threshold can be detected as the lane marking position.

上記回転処理を含むルックアップテーブルや基準ヒストグラムＨ１の取得は、区画線検出の前処理段階で完了しており、区画線検出のリアルタイム処理において、それぞれのルックアップテーブル（ｘ−ＬＵＴ，ｙ−ＬＵＴ，Ｕ−ＬＵＴ）を参照して区画線エッジピクセルｇ（ｐｉ，ｑｉ）に対応する座標値ｇ′（ｘｉ，ｙｉ）、ｇ″（Ｕｉ，Ｖｉ）を求める演算処理や、それらから得られる入力ヒストグラムＨ２に基準ヒストグラムＨ１を適用して補正ヒストグラムＨ３を得る演算処理は基本的に同様である。 The acquisition of the lookup table including the rotation processing and the reference histogram H1 is completed in the preprocessing stage of the lane marking detection, and each lookup table (x-LUT, y-LUT) is completed in the real-time processing of the lane marking detection. , U-LUT) to obtain the coordinate values g'(xi, yi) and g "(Ui, Vi) corresponding to the lane marking edge pixel g (pi, qi), and the input obtained from them. The arithmetic processing for applying the reference histogram H1 to the histogram H2 to obtain the corrected histogram H3 is basically the same.

図１０（ａ）は、車両１とバックカメラ２（第１実施形態）、サイドカメラ２０２（第２実施形態）、コーナーカメラ３０２（第３実施形態）のそれぞれの光軸方向２ａ，２０２ａ，３０２ａ、および、区画線探索範囲２１，２２１，３２１の関係を示しており、図１０（ｂ）〜（ｄ）は、バックカメラ２、サイドカメラ２０２、コーナーカメラ３０２のそれぞれの入力画像２０，２２０，３２０と区画線探索範囲２１，２２１，３２１の関係を示している。フロントカメラの場合は図示されていないが、バックカメラ２と進行方向が異なるだけで、基本的に同様に実施可能である。 FIG. 10A shows the vehicle 1 and the back camera 2 (first embodiment), the side camera 202 (second embodiment), and the corner camera 302 (third embodiment) in the optical axis directions 2a, 202a, 302a, respectively. , And the relationship between the lane marking search ranges 21, 221 and 321. FIGS. 10 (b) to 10 (d) show the input images 20, 220, of the back camera 2, the side camera 202, and the corner camera 302, respectively. The relationship between 320 and the lane marking search ranges 21, 221 and 321 is shown. Although not shown in the case of the front camera, it can be carried out basically in the same manner except that the traveling direction is different from that of the back camera 2.

なお、上記第２および第３実施形態では、車両進行方向左側のサイドカメラ２０２およびコーナーカメラ３０２を用いる場合について述べたが、基本的に車両進行方向右側のサイドカメラおよびコーナーカメラについても同様の処理が同時に実施される。その際、左右各側のカメラがそれぞれの側の区画線を検出しても良いし、左右の画像を合成して１台のカメラを用いる場合と同様の処理を行うこともできる。 In the second and third embodiments, the case where the side camera 202 and the corner camera 302 on the left side in the vehicle traveling direction are used has been described, but basically the same processing is performed for the side camera and the corner camera on the right side in the vehicle traveling direction. Are carried out at the same time. At that time, the cameras on the left and right sides may detect the lane markings on the respective sides, or the left and right images can be combined to perform the same processing as when one camera is used.

また、上記各実施形態では、区画線検出システムを車線逸脱判定／警報に利用する場合について述べたが、その他にも、駐車時の操舵補助機能や、区画線による経路誘導機能など、様々な利用が見込まれる。 Further, in each of the above embodiments, the case where the lane marking system is used for lane deviation determination / warning has been described, but in addition, various uses such as a steering assist function at the time of parking and a route guidance function by the lane marking function are used. Is expected.

以上、本発明のいくつかの実施形態について述べたが、本発明は上記実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能であることを付言する。 Although some embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications and modifications can be made based on the technical idea of the present invention. I will add.

１車両
２カメラ（バックカメラ、撮像手段）
３警報装置
４区画線（白線、車道外側線、車線境界線）
５車線（走行レーン、周囲路面）
１０区画線検出装置（処理手段）
１１画像記録部（画像記録手段）
１２データ格納部（データ記憶手段）
１３区画線検出処理部（画像処理手段、演算処理手段）
１４車線逸脱判定部
２０入力画像
２１区画線探索範囲
２２俯瞰画像（区画線探索範囲）
２３ルックアップテーブル（ｘ−ＬＵＴ）
２０２カメラ（サイドカメラ、撮像手段）
２２０入力画像
２２１区画線探索範囲
２２２俯瞰画像（区画線探索範囲）
３０２カメラ（コーナーカメラ、撮像手段）
３２０入力画像
３２１区画線探索範囲
３２２俯瞰画像（区画線探索範囲）
Ｈ１基準ヒストグラム
Ｈ２入力ヒストグラム
Ｈ３補正ヒストグラム 1 Vehicle 2 Camera (back camera, imaging means)
3 Alarm device 4 Section line (white line, lane outside line, lane boundary line)
5 lanes (driving lane, surrounding road surface)
10 Compartment line detection device (processing means)
11 Image recording unit (image recording means)
12 Data storage unit (data storage means)
13 Compartment line detection processing unit (image processing means, arithmetic processing means)
14 Lane deviation determination unit 20 Input image 21 Section line search range 22 Bird's-eye view image (section line search range)
23 Look-up table (x-LUT)
202 camera (side camera, imaging means)
220 Input image 221 Section line search range 222 Bird's-eye view image (section line search range)
302 camera (corner camera, imaging means)
320 Input image 321 lane marking search range 322 bird's-eye view image (lane lane search range)
H1 reference histogram H2 input histogram H3 correction histogram

Claims

An imaging means mounted on the vehicle to image the surrounding road surface,
A lookup table for converting the coordinates of the lane marking search range set in the input image acquired by the imaging means into the coordinates of the lane marking search range in the bird's-eye view image of the road surface from above, and the look. A data storage means that stores a reference histogram corresponding to the appearance frequency distribution of all coordinates in the vehicle width direction described in the up table, and
A step of applying an edge detection process to the lane marking search range of the input image and detecting lane marking edge pixels existing in the lane marking search range, all the detected histograms with reference to the lookup table. A step of obtaining a vehicle width direction coordinate value corresponding to a line edge pixel, a step of acquiring an input histogram in the vehicle width direction coordinates of the lane marking edge pixel, and a step of dividing the input histogram by the reference histogram to obtain a correction histogram. , And a processing means configured to execute the steps of detecting the vehicle width direction coordinates exceeding a predetermined threshold as a lane marking in the correction histogram in that order.
A lane marking system with.

An image recording means for recording the input image at a predetermined frame rate is further provided.
After the step of detecting the vehicle width direction coordinates exceeding a predetermined threshold value as a lane marking in the correction histogram, the processing means exceeds the limit value corresponding to the vehicle width of the own vehicle. It is configured to perform the step of determining a lane departure if
The lane marking detection system according to claim 1 .

The lane marking search range in the input image is set so that the lane marking search range in the bird's-eye view image is a rectangular region surrounded by a horizontal axis parallel to the vehicle width direction and a vertical axis orthogonal to the horizontal axis. The lane marking detection system according to claim 1 or 2 .