JP6593263B2 - Lane marking recognition system - Google Patents
Lane marking recognition system Download PDFInfo
- Publication number
- JP6593263B2 JP6593263B2 JP2016136114A JP2016136114A JP6593263B2 JP 6593263 B2 JP6593263 B2 JP 6593263B2 JP 2016136114 A JP2016136114 A JP 2016136114A JP 2016136114 A JP2016136114 A JP 2016136114A JP 6593263 B2 JP6593263 B2 JP 6593263B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- frame
- road surface
- vehicle
- lane marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、カメラの撮影画像から区画線を認識する区画線認識装置に関する。 The present invention relates to a lane marking recognition device for recognizing a lane marking from a captured image of a camera.
車両に搭載されたカメラの撮影画像から、道路の車線を区画する区画線を認識する装置では、撮影画像に含まれたノイズを区画線と誤認識することが問題となっている。そのため、ノイズを区画線と誤認識することを抑制する装置が種々提案されている。例えば、特許文献1に記載のレーンマーク認識装置は、ノイズの一つであるレーンマークの補修跡が、レーンマークに近接しているとともにレーンマークよりも輝度が低くなることを用いて、レーンマークの補修跡を判別し誤認識を抑制している。 In an apparatus that recognizes a lane marking that divides a road lane from a captured image of a camera mounted on a vehicle, there is a problem in that noise included in the captured image is erroneously recognized as a lane marking. For this reason, various devices have been proposed for suppressing erroneous recognition of noise as a lane marking. For example, the lane mark recognition apparatus described in Patent Document 1 uses the fact that a repair mark of a lane mark, which is one of noises, is close to the lane mark and has a lower brightness than the lane mark. Recognize the repair traces of and prevent misrecognition.
撮影画像に含まれるノイズとして、路面に当たった光が反射してカメラのレンズに入射する路面反射がある。この路面反射は、区画線と同様に、画像上で路面よりも輝度が高くなるため、区画線と誤認識されるおそれがある。しかしながら、路面反射は、区画線に近接して現れるとは限らず、また、区画線よりも輝度が低くなるとも限らない。よって、特許文献1に記載の装置では、路面反射と区画線とを判別することはできない。 As noise included in a photographed image, there is road surface reflection in which light hitting a road surface is reflected and enters a camera lens. Like the lane marking, this road surface reflection has a higher brightness than the road surface on the image, and may be erroneously recognized as a lane marking. However, the road surface reflection does not always appear close to the lane marking, and does not necessarily have lower luminance than the lane marking. Therefore, the apparatus described in Patent Document 1 cannot distinguish between road surface reflections and lane markings.
本発明は、上記実情に鑑みてなされたものであり、路面反射を判別することが可能な区画線認識装置を提供することを主たる目的とする。 This invention is made | formed in view of the said situation, and makes it a main objective to provide the lane marking recognition apparatus which can discriminate | determine road surface reflection.
本発明は、車両(70)に搭載されたカメラ(10)により車両の周囲が撮影された撮影画像から、車線を区画するように路面に描かれた区画線を認識する区画線認識装置(30)であって、特徴点検出部(S100)と、挙動取得部(S110)と、補正部(S140〜S160)と、反射判定部(S140〜S160)と、を備える。特徴点検出部は、撮影画像から路面よりも明るい部分を表す特徴点を検出する。挙動取得部は、車両の挙動を取得する。補正部は、予め設定された期間離れた時点における撮影画像のフレームを第1フレーム及び第2フレームとし、第1フレームにおいて検出された特徴点である第1特徴点の位置を、取得された車両の挙動を用いて第2フレームにおける位置に補正し、補正位置を算出する。反射判定部は、算出された補正位置に、第2フレームにおいて検出された特徴点である第2特徴点が存在しない場合に、第1フレームにおいて、第2特徴点が存在しない補正位置に対応する第1特徴点が表す部分を路面反射部分と判定する。 The present invention relates to a lane marking recognition device (30) for recognizing a lane marking drawn on a road surface so as to divide a lane from a captured image obtained by capturing the surroundings of the vehicle with a camera (10) mounted on the vehicle (70). And a feature point detection unit (S100), a behavior acquisition unit (S110), a correction unit (S140 to S160), and a reflection determination unit (S140 to S160). The feature point detection unit detects a feature point representing a brighter part than the road surface from the captured image. The behavior acquisition unit acquires the behavior of the vehicle. The correction unit sets the frames of the captured image at a time point away from a preset period as the first frame and the second frame, and acquires the position of the first feature point that is the feature point detected in the first frame. Is corrected to the position in the second frame using the above behavior, and the corrected position is calculated. The reflection determination unit corresponds to a correction position where the second feature point does not exist in the first frame when the second feature point that is the feature point detected in the second frame does not exist in the calculated correction position. The portion represented by the first feature point is determined as the road surface reflection portion.
本発明によれば、第1フレームにおいて検出された第1特徴点の位置が、車両の挙動を用いて第2フレームにおける位置に補正され、補正位置が算出される。第1特徴点が区画線を表す特徴点の場合、第2フレームにおいて、第1特徴点の位置を車両の挙動の分だけ動かした補正位置に第2特徴点が検出される。一方、短期間ではカメラと光源との位置関係が一定とみなせるため、路面反射部分はフレーム間で同じ位置に検出される。よって、第1特徴点が路面反射部分を表す特徴点の場合、第2フレームにおいて、補正位置に第2特徴点は検出されない。すなわち、第1フレームにおいて、第2特徴点が検出されない補正位置に対応する第1特徴点は、路面反射部分を表す特徴点である。したがって、路面反射部分を精度よく判別することができる。 According to the present invention, the position of the first feature point detected in the first frame is corrected to the position in the second frame using the behavior of the vehicle, and the corrected position is calculated. When the first feature point is a feature point representing a lane marking, the second feature point is detected at a correction position in which the position of the first feature point is moved by the amount corresponding to the behavior of the vehicle in the second frame. On the other hand, since the positional relationship between the camera and the light source can be considered to be constant in a short period, the road surface reflection portion is detected at the same position between frames. Therefore, when the first feature point is a feature point representing a road surface reflection portion, the second feature point is not detected at the correction position in the second frame. That is, in the first frame, the first feature point corresponding to the correction position where the second feature point is not detected is a feature point representing a road surface reflection portion. Therefore, it is possible to accurately determine the road surface reflection portion.
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。 In addition, the code | symbol in the parenthesis described in this column and a claim shows the correspondence with the specific means as described in embodiment mentioned later as one aspect, Comprising: The technical scope of this invention is shown. It is not limited.
以下、図面を参照しながら、発明を実施するための形態を説明する。
<構成>
本実施形態に係る区画線認識装置は、車両70に搭載されて、道路の区画線を認識する装置である。本実施形態に係る区画線認識装置は、図1に示すように、ECU20から構成されており、ECU20には、カメラ10と、センサ類17と、車両制御装置50とが接続されている。なお、区画線は、道路の車線を区画するように路面に描かれた白線や黄線である。以下では、白色以外の色の区画線も含めて区画線を白線と称する。
Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings.
<Configuration>
The lane marking recognition device according to the present embodiment is a device that is mounted on a
カメラ10は、フロントカメラ11、左サイドカメラ12、右サイドカメラ13、及びリアカメラ14を備えている。各カメラ11〜14は、CCDイメージセンサやCMOSイメージセンサを用いて構成された周知のものである。図2に示すように、フロントカメラ11は、車両前方の路面が撮影範囲となるように、例えば、車両前端のバンパーに設置される。左サイドカメラ12は、車両左側方の路面が撮影範囲となるように、例えば、左側のサイドミラーに設置される。右サイドカメラ13は、車両右側方の路面が撮影範囲となるように、例えば、右側のサイドミラーに設置される。リアカメラ14は、車両後方の路面が撮影範囲となるように、例えば、車両後端のバンパーに設置される。各カメラ11〜14は、予め設定された時間間隔、例えば、1/15(秒)間隔で繰り返し撮影し、カメラ画像をECU20へ出力する。
The
センサ類17は、車両70の挙動を測定するセンサである。具体的には、センサ類17は、車両70の車速を測定する車速センサ、及び車両70のヨーレートを測定するヨーレートセンサを含む複数のセンサである。
The
車両制御装置50は、CPU、ROM、RAM、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。車両制御装置50は、ECU20から出力される白線の認識結果に基づいて、車両70が車線内を走行するように、車両70の操舵や、ブレーキ、エンジン等を制御する制御装置である。
The
ECU20は、CPU,ROM、RAM、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。ECU20が実現する各機能は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、ECU20を構成するマイクロコンピュータの数は1つでも複数でもよい。
The ECU 20 is configured around a known microcomputer including a semiconductor memory such as a CPU, a ROM, a RAM, and a flash memory. Each function realized by the
ECU20は、入力処理部21、合成処理部22、認識処理部23、及び出力処理部24の機能を備える。また、認識処理部23は、特徴点検出部、挙動取得部、領域設定部、補正部、反射判定部、及び区画線認識部の機能を備える。これらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
The ECU 20 includes functions of an
<路面反射部分の特徴>
図3に、合成処理部22により生成された鳥瞰図画像の模式図を示す。図の中央に破線で示す領域は、車両70が存在する車両領域である。合成処理部22は、4つのカメラ11〜14で撮影されたカメラ画像を合成して鳥瞰図に変換し、車両領域を取り囲む鳥瞰図画像を生成する。図3に示す鳥瞰図画像では、路面の特徴部分として、破線の白線と、実線の白線と、補修跡が存在する。本実施形態では、路面上に描かれたペイントなどの路面よりも明るい部分を特徴部分としている。補修跡は、路面の亀裂を補修した跡であり、例えば、アスファルトの路面の亀裂をタールで補修した跡や、コンクリートの路面の亀裂をアスファルトで補修した跡である。路面の亀裂は、特に北米等の雪の多い地域において、タイヤの圧迫を受けて白線に沿って生じることが多く、補修跡は、白線に沿った直線状になることが多い。本実施形態では、鳥瞰図画像が撮影画像に相当する。
<Characteristics of road surface reflection part>
In FIG. 3, the schematic diagram of the bird's-eye view image produced | generated by the synthetic |
通常、鳥瞰図画像上で、補修跡は路面よりも暗くなる。しかしながら、補修跡に日光等の光が当たって反射し、反射光がカメラ10のレンズに入射すると、光を反射した反射部分は、鳥瞰図画像上で路面よりも明るくなる。このように画像上で路面よりも明るくなる特徴は、補修跡の反射部分に限らず路面反射部分全般が有する。よって、一般に、路面反射部分は白線と誤認識されるおそれがある。そこで、本実施形態では、路面反射部分と白線部分との特徴の違いを明確にし、鳥瞰図画像上で、路面反射部分と白線部分とを判別することにした。なお、補修跡の反射部分以外の路面反射部分としては、例えば、濡れた路面に光が当たって反射した場合の濡れた路面の反射部分などがある。
Usually, the repaired track is darker than the road surface on the bird's eye view image. However, when light such as sunlight hits the repaired track and is reflected, and the reflected light is incident on the lens of the
次に、図4〜図6を参照して、破線の白線、実線の白線、及び路面反射部分の特徴を説明する。図4〜図6は、時点t0,t1,t2の各時点における鳥瞰図画像の模式図を示す。時点t1は時点t0から期間ΔT経過した時点であり、時点t2は時点t1から期間ΔT経過した時点である。3つのフレームは、時間の経過に伴い車両70の進行方向の前方から後方に流れている。以下では、時点t0〜時点t2における各フレームを、フレーム0〜フレーム2とする。期間ΔTは、予め設定された期間であり、光源である太陽と車両70との位置関係、すなわち太陽とカメラ11〜14との位置関係が一定と見なせるような十分に短い期間であり、カメラ11〜14の撮影時間間隔より長くてもよい。すなわち、フレーム0とフレーム1は、連続して撮影されたカメラ画像からそれぞれ生成した鳥瞰図画像でもよいし、連続していないカメラ画像からそれぞれ生成した鳥瞰図画像でもよい。本実施形態では、期間ΔTは、車両70の車速が低いほど、長い期間に設定されている。
Next, with reference to FIG. 4 to FIG. 6, characteristics of the broken white line, the solid white line, and the road surface reflection portion will be described. 4 to 6 are schematic diagrams of bird's-eye view images at time points t0, t1, and t2. The time point t1 is a time point when the period ΔT has elapsed from the time point t0, and the time point t2 is a time point when the period ΔT has elapsed from the time point t1. The three frames flow from the front to the rear in the traveling direction of the
路面よりも明るい部分を表す特徴点が破線の白線を表す場合、図4に示すように、フレーム1において、特徴点は、フレーム0で検出された位置から、進行方向と反対方向に、フレーム間における車両70の移動量ずれた位置に検出される。そして、フレーム2において、特徴点は、フレーム1で検出された位置から車両70の移動量ずれた位置に検出される。すなわち、現フレームにおいて、特徴点は、1つ前のフレームで検出された位置をエゴモーション補正した補正位置に検出される。
When the feature point representing a brighter part than the road surface represents a broken white line, as shown in FIG. 4, in the frame 1, the feature point is located between the frames in the direction opposite to the traveling direction from the position detected in the frame 0. Is detected at a position where the movement amount of the
次に、特徴点が実線の白線を表す場合、図5に示すように、破線の白線と同様に、現フレームにおいて、特徴点は、1つ前のフレームで検出された位置をエゴモーション補正した補正位置に検出される。ただし、実線の白線の場合、特徴点が進行方向で連続しているため、現フレームにおいて、特徴点は、1つ前のフレームで検出された位置と同じ位置にも検出される。 Next, when the feature point represents a solid white line, as shown in FIG. 5, the feature point in the current frame is subjected to ego-motion correction at the position detected in the previous frame as in the case of the dashed white line. It is detected at the correction position. However, in the case of the solid white line, the feature points are continuous in the traveling direction, and therefore the feature points are detected at the same position as the position detected in the previous frame in the current frame.
一方、特徴点が路面反射部分を表す場合、図6に示すように、特徴点は、フレーム間で、車両70の進行方向及び幅方向において、同じ位置にしか検出されない。すなわち、フレーム1において、特徴点は、フレーム0で検出された位置をエゴモーション補正した補正位置には検出されない。また、フレーム1において、特徴点は、フレーム2で検出された位置をエゴモーション補正した補正位置には検出されない。
On the other hand, when the feature point represents a road surface reflection portion, as shown in FIG. 6, the feature point is detected only at the same position between frames in the traveling direction and the width direction of the
太陽とカメラ11〜14との位置関係が一定であれば、フレームが異なっても同じ位置に路面反射が生じる。そのため、路面反射部分を表す特徴点は、フレーム間で同じ位置にしか検出されない。このような路面反射部分の特徴は、補修跡に光が当たって反射した部分に限らず路面反射部分全般が有する特徴である。
If the positional relationship between the sun and the
<処理>
次に、上述した白線と路面反射部分との特徴の違いを用いて、白線を認識して出力する処理手順について、図7のフローチャートを参照して説明する。本処理手順は、ECU20が、カメラ11〜14の撮影時間間隔で繰り返し実行する。
<Processing>
Next, a processing procedure for recognizing and outputting a white line using the difference in characteristics between the white line and the road surface reflection portion described above will be described with reference to the flowchart of FIG. This processing procedure is repeatedly executed by the
まず、ステップS10では、カメラ11〜14により撮影されたカメラ画像を取得し、取得したカメラ画像をサンプリングすることでデジタル信号に変換する。
続いて、ステップS20では、デジタル信号化された4つのカメラ画像を、予め設定された仮想視点から見た鳥瞰図に変換して合成し、車両70の周囲を映した鳥瞰図画像を生成する。
First, in step S10, camera images taken by the
Subsequently, in step S20, the four camera images converted into digital signals are converted into a bird's-eye view viewed from a preset virtual viewpoint, and a bird's-eye view image showing the surroundings of the
続いて、ステップS30では、ステップS20で生成した鳥瞰図画像から白線を認識する。白線認識処理の詳細については後述する。
続いて、ステップS40では、検出された白線の認識結果を、車載ネットワークを介して車両制御装置50へ出力する。以上で本処理を終了する。
Subsequently, in step S30, a white line is recognized from the bird's eye view image generated in step S20. Details of the white line recognition process will be described later.
Subsequently, in step S40, the detected white line recognition result is output to the
なお、本実施形態では、ステップS10の処理が、入力処理部21の機能が実行する処理に相当し、ステップS20の処理が、合成処理部22の機能が実行する処理に相当する。また、ステップS30の処理が、認識処理部23の機能が実行する処理に相当し、ステップS40の処理が、出力処理部24の機能が実行する処理に相当する。
In the present embodiment, the process of step S10 corresponds to the process executed by the function of the
次に、白線認識の処理手順について、図8のフローチャートを参照して説明する。
まず、ステップS100では、生成された鳥瞰図画像から路面よりも明るい部分を表す特徴点を検出する。本実施形態では、周囲よりも輝度値が閾値以上高いエッジ点を特徴点とし、鳥瞰図画像にソーベルフィルタ等を適用して特徴点を検出する。
Next, the white line recognition processing procedure will be described with reference to the flowchart of FIG.
First, in step S100, a feature point representing a brighter part than the road surface is detected from the generated bird's eye view image. In this embodiment, an edge point having a luminance value higher than the surrounding by a threshold value or more is used as a feature point, and a feature point is detected by applying a Sobel filter or the like to the bird's eye view image.
続いて、ステップS110では、センサ類17で測定された車両70の車速及びヨーレートを取得する。
続いて、ステップS120では、鳥瞰図画像において、車両70の進行方向に対して前方、中央及び後方の3つの領域を設定し、ステップS100で検出された特徴点を各領域に分類する。各領域の大きさは、車両70の車速に応じて設定する。具体的には、車速が高いほど、エゴモーション補正における補正量が大きくなるので、前方領域及び後方領域の大きさを大きくし、中央領域の大きさを小さくする。
Subsequently, in step S110, the vehicle speed and yaw rate of the
Subsequently, in step S120, in the bird's-eye view image, three regions are set in front, center, and rear with respect to the traveling direction of the
続いて、ステップS130では、3つの領域から1つの領域を選択し、その領域が後方か前方か中央かを判定する。選択した領域が後方領域の場合は、ステップS140において、条件Aを用いて路面反射部分を判定し、鳥瞰図画像から検出された特徴点から、路面反射部分を表す特徴点をノイズとして除去する。また、選択した領域が前方領域の場合は、ステップS150において、条件Bを用いて路面反射部分を判定し、鳥瞰図画像から検出された特徴点から、路面反射部分を表す特徴点をノイズとして除去する。条件Aを用いた路面反射部分の判定、及び条件Bを用いた路面反射部分の判定の詳細については後述する。 Subsequently, in step S130, one area is selected from the three areas, and it is determined whether the area is the rear, front, or center. If the selected region is the rear region, in step S140, the road surface reflection portion is determined using the condition A, and the feature point representing the road surface reflection portion is removed as noise from the feature point detected from the bird's eye view image. If the selected region is the front region, in step S150, the road surface reflection portion is determined using Condition B, and the feature point representing the road surface reflection portion is removed as noise from the feature points detected from the bird's eye view image. . Details of the determination of the road surface reflection portion using the condition A and the determination of the road surface reflection portion using the condition B will be described later.
さらに、選択した領域が中央領域の場合は、ステップS160において、条件A及び条件Bを用いて路面反射部分を判定する。すなわち、中央領域を後方領域とみなして、条件Aを用いて路面反射部分を判定するとともに、中央領域を前方領域と見なして、条件Bを用いて路面反射部分を判定する。そして、鳥瞰図画像から検出された特徴点から、条件Aを用いて判定された路面反射部分を表す特徴点と、条件Bを用いて判定された路面反射部分を表す特徴点とを、ノイズとして除去する。条件Aを用いて判定された特徴点と条件Bを用いて判定された特徴点は同じものになることもある。 Furthermore, when the selected area is the central area, the road surface reflection portion is determined using the condition A and the condition B in step S160. That is, the road surface reflection portion is determined using the condition A with the central region regarded as the rear region, and the road surface reflection portion is determined using the condition B with the central region regarded as the front region. Then, from the feature points detected from the bird's eye view image, the feature points representing the road surface reflection portion determined using the condition A and the feature points representing the road surface reflection portion determined using the condition B are removed as noise. To do. The feature point determined using the condition A and the feature point determined using the condition B may be the same.
続いて、ステップS170では、全領域についてノイズ除去の処理を終了したか否か判定する。全領域についてノイズ除去の処理を終了していない場合は、ステップS130の処理に戻り、全領域についてノイズ除去の処理を終了している場合は、ステップS180の処理に進む。 Subsequently, in step S170, it is determined whether or not the noise removal processing has been completed for all regions. If the noise removal process has not been completed for all regions, the process returns to step S130. If the noise removal process has been completed for all areas, the process proceeds to step S180.
続いて、ステップS180では、ステップS100で検出された特徴点のうち、ノイズを除去した残りの特徴点にハフ変換等を適用して直線を検出する。検出された直線を白線候補とする。 Subsequently, in step S180, a straight line is detected by applying Hough transform or the like to the remaining feature points from which noise has been removed among the feature points detected in step S100. The detected straight line is set as a white line candidate.
続いて、ステップS190では、取得した車両70の挙動を考慮して、ステップS170で検出した白線候補の中から、車両の左側及び右側において、それぞれ尤も白線らしい白線候補を選出する。
Subsequently, in step S190, considering the acquired behavior of the
続いて、ステップS200では、ステップS180で選出した白線候補から白線パラメータを推定して、白線を認識する。白線パラメータは、例えば、白線曲率、車線幅、車両70の進行方向と白線の接線方向とのなす角度である。以上で本処理を終了する。
Subsequently, in step S200, white line parameters are estimated from the white line candidates selected in step S180, and the white line is recognized. The white line parameter is, for example, the white line curvature, the lane width, and the angle formed by the traveling direction of the
なお、本実施形態では、ステップS100の処理が特徴点検出部の機能が実行する処理に相当し、ステップS110の処理が挙動取得部の機能が実行する処理に相当する。また、ステップS120の処理が領域設定部の機能が実行する処理に相当し、ステップS140〜S160の処理が補正部及び反射判定部の機能が実行する処理に相当する。そして、ステップS180〜S200の処理が区画線認識部の機能が実行する処理に相当する。 In the present embodiment, the process of step S100 corresponds to the process executed by the function of the feature point detection unit, and the process of step S110 corresponds to the process executed by the function of the behavior acquisition unit. Further, the process of step S120 corresponds to the process executed by the function of the area setting unit, and the processes of steps S140 to S160 correspond to the process executed by the functions of the correction unit and the reflection determination unit. And the process of step S180-S200 is corresponded to the process which the function of a lane marking recognition part performs.
<条件A又は条件Bを用いた判定>
条件Aを用いた路面反射部分の判定について、図9を参照して説明する。図9では、時点t110のフレームを、今周期の処理で生成した鳥瞰図画像のフレーム110、時点t100のフレームを、N周期前の処理で生成した鳥瞰図画像のフレーム100とする。また、フレーム110で検出された特徴点を特徴点Xa、フレーム100で検出された特徴点を特徴点Yaとする。Nは1以上の整数で、予め設定された値である。条件Aを用いた判定では、フレーム110が第1フレーム、フレーム100が第2フレームに相当し、特徴点Xaが第1特徴点、特徴点Yaが第2特徴点に相当する。
<Determination using Condition A or Condition B>
The determination of the road surface reflection portion using the condition A will be described with reference to FIG. In FIG. 9, the frame at the time point t110 is a bird's eye view image frame 110 generated by the processing of the current cycle, and the frame at the time point t100 is a frame 100 of the bird's eye view image generated by the processing before the N cycles. Further, the feature point detected in the frame 110 is defined as a feature point Xa, and the feature point detected in the frame 100 is defined as a feature point Ya. N is an integer equal to or greater than 1, and is a preset value. In the determination using the condition A, the frame 110 corresponds to the first frame, the frame 100 corresponds to the second frame, the feature point Xa corresponds to the first feature point, and the feature point Ya corresponds to the second feature point.
上述したように、破線及び実線の白線を表す特徴点と異なり、路面反射部分を表す特徴点は、フレーム100において、フレーム110で検出された位置をエゴモーション補正した補正位置には検出されない。条件Aはこの特徴を条件化したものであり、条件Aを用いた判定では、現在のフレーム110で検出された特徴点Xaの位置を、エゴモーション補正して補正位置を算出する。そして、条件Aを用いた判定では、フレーム100において、補正位置に特徴点Yaが存在しない場合に、フレーム110において、特徴点Yaが存在しない補正位置に対応する特徴点Xaが表す部分を、路面反射部分と判定する。補正位置に対応する特徴点Xaとは、エゴモーション補正前のフレーム100の検出位置で検出された特徴Xaのことである。また、エゴモーション補正は、ステップS110で取得した車両70の車速及びヨーレートを用いて行う。
As described above, unlike the feature points that represent the broken line and the solid white line, the feature points that represent the road surface reflection portion are not detected in the corrected position in the frame 100 where the position detected in the frame 110 is corrected by egomotion. The condition A is a condition of this feature. In the determination using the condition A, the position of the feature point Xa detected in the current frame 110 is corrected by ego motion to calculate a corrected position. In the determination using the condition A, when the feature point Ya does not exist at the correction position in the frame 100, the portion represented by the feature point Xa corresponding to the correction position where the feature point Ya does not exist in the frame 110 is determined as the road surface. It is determined as a reflection part. The feature point Xa corresponding to the correction position is the feature Xa detected at the detection position of the frame 100 before the egomotion correction. Further, ego motion correction is performed using the vehicle speed and yaw rate of the
なお、条件Aを用いたい判定で、フレーム間で同じ位置に検出される特徴点Xaが表す部分を路面反射部分とすると、実線の白線と路面反射部分とが区別されず、実線の白線を路面反射部分と誤判定することがあるので、望ましくない。ただし、上記条件Aを用いた判定に追加し、フレーム110において、特徴点Yaが存在しない補正位置に対応し、且つ、特徴点Yaと同じ位置に検出されている特徴点Xaが表す部分を、路面反射部分と判定してもよい。このようにすると、より高精度に路面反射部分が判定される。 In addition, if it is determined that the condition A is to be used and the portion represented by the feature point Xa detected at the same position between frames is a road surface reflection portion, the solid white line and the road surface reflection portion are not distinguished, and the solid white line is the road surface. Since it may be erroneously determined as a reflection part, it is not desirable. However, in addition to the determination using the above condition A, in the frame 110, a portion corresponding to the correction position where the feature point Ya does not exist and represented by the feature point Xa detected at the same position as the feature point Ya is You may determine with a road surface reflection part. In this way, the road surface reflection portion is determined with higher accuracy.
次に、条件Bを用いた路面反射部分の判定について、図10を参照して説明する。図10では、時点t210のフレームを、今周期の処理で生成した鳥瞰図画像のフレーム210、時点t200のフレームを、N周期前の処理で生成した鳥瞰図画像のフレーム200とする。また、フレーム200で検出された特徴点を特徴点Xb、フレーム210で検出された特徴点を特徴点Ybとする。Nは1以上の整数で、予め設定された値である。条件Bを用いた判定では、フレーム200が第1フレーム、フレーム210が第2フレームに相当し、特徴点Xbが第1特徴点、特徴点Ybが第2特徴点に相当する。 Next, determination of a road surface reflection portion using condition B will be described with reference to FIG. In FIG. 10, the frame at the time t210 is a bird's eye view image frame 210 generated by the current cycle process, and the frame at the time t200 is a bird's eye view image frame 200 generated by the process N cycles ago. Further, the feature point detected in the frame 200 is defined as a feature point Xb, and the feature point detected in the frame 210 is defined as a feature point Yb. N is an integer equal to or greater than 1, and is a preset value. In the determination using the condition B, the frame 200 corresponds to the first frame, the frame 210 corresponds to the second frame, the feature point Xb corresponds to the first feature point, and the feature point Yb corresponds to the second feature point.
条件Bを用いた判定でも、路面反射部分を表す特徴点は、エゴモーション補正した補正位置に検出されないことを用いる。ただし、現在のフレーム210の前方領域で検出された特徴点Ybの位置をエゴモーション補正した場合、フレーム200における補正位置は、車両70の前方のフレーム外になるおそれがある。よって、条件Bを用いた判定では、過去のフレーム200で検出された特徴点Xbの位置をエゴモーション補正して、補正位置を算出する。そして、条件Bを用いた判定では、フレーム210において、補正位置に特徴点Ybが存在しない場合に、フレーム200において、特徴点Ybが存在しない補正位置に対応する特徴点Xbが表す部分を、路面反射部分と判定する。ただし、今周期の処理でノイズを除去するためには、現在のフレーム210において路面反射部分を判定する必要がある。
Even in the determination using the condition B, it is used that the feature point representing the road surface reflection portion is not detected at the corrected position after the egomotion correction. However, when the position of the feature point Yb detected in the front area of the current frame 210 is corrected by ego motion, the correction position in the frame 200 may be outside the frame in front of the
よって、条件Bを用いた判定では、さらに、路面反射部分を表す特徴点が、フレーム間で同じ位置に検出されることも用いる。具体的には、条件Bを用いた判定では、フレーム210において、フレーム200で路面反射部分と判定した特徴点Xbと同じ位置に検出される特徴点Ybが表す部分を、路面反射部分と判定する。 Therefore, in the determination using the condition B, it is further used that the feature point representing the road surface reflection portion is detected at the same position between frames. Specifically, in the determination using the condition B, the part represented by the feature point Yb detected at the same position as the feature point Xb determined as the road surface reflection part in the frame 200 in the frame 210 is determined as the road surface reflection part. .
<効果>
以上説明した本実施形態によれば、以下の効果を奏する。
(1)鳥瞰図画像の前方領域においては、過去のフレームで検出された特徴点を第1特徴点として、現在のフレームにおける補正位置が算出される。現在のフレームにおいて、算出された補正位置に第2特徴点が存在しない場合、過去のフレームにおいて、第2特徴点が存在しない補正位置に対応する第1特徴点が表す部分は、路面反射部分と判定される。そして、路面反射部分はフレーム間で同じ位置に検出されるため、現在のフレームにおいて、過去のフレームで路面反射部分と判定された第1特徴点と同じ位置に検出された第2特徴点が表す部分を、路面反射部分と判定することができる。よって、現在のフレームにおいて、検出された第2特徴点のうち、路面反射部分と判定された部分の第2特徴点を除いて、高精度に区画線を認識することができる。
<Effect>
According to this embodiment described above, the following effects are obtained.
(1) In the front area of the bird's eye view image, the correction position in the current frame is calculated with the feature point detected in the past frame as the first feature point. If the second feature point does not exist at the calculated correction position in the current frame, the portion represented by the first feature point corresponding to the correction position in which no second feature point exists in the past frame is a road surface reflection portion. Determined. Since the road surface reflection portion is detected at the same position between the frames, the second feature point detected at the same position as the first feature point determined as the road surface reflection portion in the past frame in the current frame is represented. The portion can be determined as a road surface reflection portion. Therefore, in the current frame, it is possible to recognize the lane markings with high accuracy except for the second feature points of the detected second feature points that are determined to be road surface reflection portions.
(2)鳥瞰図画像の後方領域においては、現時点のフレームで検出された特徴点を第1特徴点とし、過去のフレームにおける補正位置が算出される。過去のフレームにおいて、算出された補正位置に第2特徴点が存在しない場合、現在のフレームにおいて、第2特徴点が存在しない補正位置に対応する第1特徴点が表す部分は、路面反射部分と判定できる。よって、現在のフレームにおいて、検出された第1特徴点のうち、路面反射部分と判定された部分の第1特徴点を除いて、高精度に区画線を認識することができる。 (2) In the rear region of the bird's-eye view image, the feature point detected in the current frame is set as the first feature point, and the correction position in the past frame is calculated. In the past frame, when the second feature point does not exist at the calculated correction position, the portion represented by the first feature point corresponding to the correction position where the second feature point does not exist in the current frame is a road surface reflection portion. Can be judged. Therefore, in the current frame, it is possible to recognize the lane markings with high accuracy by excluding the first feature points of the detected first feature points that are determined to be road surface reflection portions.
(3)鳥瞰図画像の領域では、前方の領域と同様にして路面反射部分を判定し、検出された特徴点から路面反射部分を除いて区画線を認識することができるとともに、後方の領域と同様にして路面反射部分を判定し、検出された特徴点から路面反射部分を除いて区画線を認識することができる。 (3) In the bird's-eye view image area, the road surface reflection portion can be determined in the same manner as in the front area, and the marking line can be recognized by removing the road surface reflection portion from the detected feature points, and the same as in the rear area. Thus, it is possible to determine the road surface reflection portion and recognize the lane markings by removing the road surface reflection portion from the detected feature points.
(4)車速に応じてフレーム間での車両70の移動量が変わるので、車速に応じて鳥瞰図画像の各領域の大きさを設定することにより、路面反射部分を適切に判定することができる。
(4) Since the amount of movement of the
(5)車速が大きいほど、フレーム間での車両70の移動量が大きくなるので、車速が大きいほど、中間領域を小さくして、前方及び後方領域を大きくすることにより、路面反射部分を適切に判定することができる。
(5) The greater the vehicle speed, the greater the amount of movement of the
(他の実施形態)
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。
(Other embodiments)
As mentioned above, although the form for implementing this invention was demonstrated, this invention is not limited to the above-mentioned embodiment, It can implement in various deformation | transformation.
(a)上記実施形態では、鳥瞰図画像に対して3つの領域を設定しているが、中間領域を設定せず、前方領域と後方領域の2つの領域のみを設定してもよい。この場合、車速が大きいほど、フレーム間での車両70の移動量が大きくなるので、前方領域を大きくすると、適切にノイズを除去することができる。
(A) In the above embodiment, three areas are set for the bird's-eye view image, but only the two areas of the front area and the rear area may be set without setting the intermediate area. In this case, as the vehicle speed increases, the amount of movement of the
(b)鳥瞰図画像に対して設定した2つ又は3つの領域の大きさは、車両70の車速によらず一定の大きさとしてもよい。この場合、画像を、進行方向において均等に2つ又は3つに分割してもよいし、予め設定された比率で分割してもよい。
(B) The size of the two or three regions set for the bird's eye view image may be a constant size regardless of the vehicle speed of the
(c)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。 (C) A plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate | omit a part of structure of the said embodiment. In addition, at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment. In addition, all the aspects included in the technical idea specified only by the wording described in the claim are embodiment of this invention.
(d)上述した区画線認識装置の他、路面反射判定装置、当該区画線認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、区画線認識方法、路面反射判定方法など、種々の形態で本発明を実現することもできる。 (D) In addition to the lane marking recognition device described above, a road surface reflection determination device, a program for causing a computer to function as the lane marking recognition device, a non-transition actual recording medium such as a semiconductor memory in which the program is recorded, and a lane marking The present invention can also be realized in various forms such as a recognition method and a road surface reflection determination method.
10…カメラ、20…ECU、70…車両。 10 ... camera, 20 ... ECU, 70 ... vehicle.
Claims (6)
前記撮影画像から前記路面よりも明るい部分を表す特徴点を検出する特徴点検出部(S100)と、
前記車両の挙動を取得する挙動取得部(S110)と、
予め設定された期間離れた時点における前記撮影画像のフレームを第1フレーム及び第2フレームとし、前記第1フレームにおいて検出された前記特徴点である第1特徴点の位置を、取得された前記車両の挙動を用いて前記第2フレームにおける位置に補正し、補正位置を算出する補正部(S140〜S160)と、
算出された前記補正位置に、前記第2フレームにおいて検出された前記特徴点である第2特徴点が存在しない場合に、前記第1フレームにおいて、前記第2特徴点が存在しない前記補正位置に対応する前記第1特徴点が表す部分を路面反射部分と判定する反射判定部(S140〜S160)と、を備え、
前記撮影画像において、前記車両の進行方向に対して前方の領域と後方の領域とを含む複数の領域を設定する領域設定部(S120)と、
前記特徴点検出部により検出された前記特徴点のうち、前記反射判定部により路面反射部分と判定された部分の前記特徴点を除いた前記特徴点から、前記区画線を認識する区画線認識部(S180〜S200)と、を備え、
設定された前記前方の領域において、
前記第1フレームを現時点よりも前の時点のフレーム、且つ前記第2フレームを現時点のフレームとし、
前記反射判定部は、前記2フレームにおいて、算出された前記補正位置に前記第2特徴点が存在しない場合に、前記第2特徴点が存在しない前記補正位置に対応する前記第1特徴点と同じ位置に検出されている前記第2特徴点が表す部分を路面反射部分と判定し、
前記区画線認識部は、検出された前記第2特徴点のうち、前記反射判定部により路面反射部分と判定された部分の第2特徴点を除いた前記第2特徴点から、前記区画線を認識する、区画線認識装置。 A lane marking recognition device (30) for recognizing a lane marking drawn on a road surface so as to divide a lane from a captured image obtained by capturing the surroundings of the vehicle with a camera (10) mounted on the vehicle (70). And
A feature point detector (S100) for detecting a feature point representing a brighter part than the road surface from the captured image;
A behavior acquisition unit (S110) for acquiring the behavior of the vehicle;
The vehicle of which the position of the first feature point, which is the feature point detected in the first frame, is obtained by setting the frames of the captured image at a time point away from a preset period as the first frame and the second frame. A correction unit (S140 to S160) that corrects the position in the second frame using the behavior and calculates the correction position;
When the second feature point that is the feature point detected in the second frame does not exist in the calculated correction position, it corresponds to the correction position in which the second feature point does not exist in the first frame. A reflection determination unit (S140 to S160) that determines a portion represented by the first feature point to be a road surface reflection portion ,
In the captured image, an area setting unit (S120) that sets a plurality of areas including a front area and a rear area with respect to the traveling direction of the vehicle;
A lane marking recognition unit that recognizes the lane markings from the feature points of the feature points detected by the feature point detection unit, excluding the feature points of the portion determined to be a road surface reflection portion by the reflection determination unit. (S180 to S200),
In the set front area,
The first frame is a frame at a time before the current time, and the second frame is a current frame,
The reflection determination unit is the same as the first feature point corresponding to the correction position where the second feature point does not exist when the second feature point does not exist at the calculated correction position in the two frames. A portion represented by the second feature point detected at a position is determined as a road surface reflection portion;
The lane marking recognition unit extracts the lane marking from the second feature point except for the second feature point of the detected second feature point that is determined as the road surface reflection portion by the reflection determination unit. Recognizing lane marking recognition device.
前記第1フレームを現時点のフレーム、且つ前記第2フレームを現時点よりも前の時点のフレームとし、
前記区画線認識部は、前記第1特徴点のうち、前記反射判定部により路面反射部分と判定された部分の前記第1特徴点を除いた前記第1特徴点から、前記区画線を認識する、請求項1に記載の区画線認識装置。 In the set rear region,
The first frame is a current frame, and the second frame is a frame before the current time,
The lane marking recognition unit recognizes the lane marking from the first feature point excluding the first feature point of a portion of the first feature point determined to be a road surface reflection portion by the reflection determination unit. The lane marking recognition apparatus according to claim 1 .
前記領域設定部により設定された前記中央の領域において、
前記反射判定部は、前記中央の領域を前記前方の領域として前記路面反射部分の判定を行うとともに、前記中央の領域を前記後方の領域として前記路面反射部分の判定を行い、
前記区画線認識部は、前記中央の領域を前記前方の領域として前記区画線の認識を行うとともに、前記中央の領域を前記後方の領域として前記区画線の認識を行う、請求項2に記載の区画線認識装置。 The region setting unit sets a front region, a central region, and a rear region with respect to the traveling direction of the vehicle,
In the central area set by the area setting unit,
The reflection determination unit determines the road surface reflection portion with the central region as the front region, and determines the road surface reflection portion with the central region as the rear region.
The division line recognition unit performs recognition of the partition lines the central area as the area in front of, to recognize the division line of the central area as the rear area, according to claim 2 A lane marking recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016136114A JP6593263B2 (en) | 2016-07-08 | 2016-07-08 | Lane marking recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016136114A JP6593263B2 (en) | 2016-07-08 | 2016-07-08 | Lane marking recognition system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018005838A JP2018005838A (en) | 2018-01-11 |
| JP6593263B2 true JP6593263B2 (en) | 2019-10-23 |
Family
ID=60946413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016136114A Expired - Fee Related JP6593263B2 (en) | 2016-07-08 | 2016-07-08 | Lane marking recognition system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6593263B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20250005934A1 (en) * | 2022-02-24 | 2025-01-02 | Aisin Corporation | Environment recognition device and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11203446A (en) * | 1998-01-12 | 1999-07-30 | Toyota Motor Corp | Photographing object recognizing device |
| JP6132807B2 (en) * | 2014-04-24 | 2017-05-24 | 本田技研工業株式会社 | Lane mark recognition device |
| JP6458384B2 (en) * | 2014-07-24 | 2019-01-30 | 株式会社デンソー | Lane detection device and lane detection method |
-
2016
- 2016-07-08 JP JP2016136114A patent/JP6593263B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018005838A (en) | 2018-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101405783B (en) | Road division line detector | |
| CN109478324B (en) | Image processing device, external recognition device | |
| CN107787496B (en) | Vanishing point correction device and method | |
| JP6132412B2 (en) | Outside environment recognition device | |
| JP6158779B2 (en) | Image processing device | |
| JP6741603B2 (en) | Estimator | |
| CN104870256A (en) | Vehicle control device | |
| JP5805619B2 (en) | Boundary line recognition device | |
| US11176397B2 (en) | Object recognition device | |
| JP2015166903A (en) | Branch recognition device | |
| JP2018106259A (en) | Division line recognition device | |
| KR101190789B1 (en) | Apparatus and method for measurementing distance of vehicle | |
| JP6601336B2 (en) | Lane marking recognition system | |
| KR101276073B1 (en) | System and method for detecting distance between forward vehicle using image in navigation for vehicle | |
| WO2011016257A1 (en) | Distance calculation device for vehicle | |
| JP6593263B2 (en) | Lane marking recognition system | |
| JP4807733B2 (en) | Outside environment recognition device | |
| CN104517099A (en) | Filtering device and environment recognition system | |
| CN109923586B (en) | Parking frame recognition device | |
| CN108885837A (en) | Motion track detection device, moving Object Detection device, motion track detection method | |
| CN104573618A (en) | Lane detection method and system using photographing unit | |
| WO2017188245A1 (en) | Image processing device, image processing method, and program | |
| CN110611772B (en) | Image capturing device for vehicle and exposure parameter setting method thereof | |
| JP6729358B2 (en) | Recognition device | |
| WO2019013253A1 (en) | Detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190611 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190909 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6593263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |