Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6474766B2 - 構造光を運用し障害を感知するバック警告方法 - Google Patents
[go: Go Back, main page]

JP6474766B2 - 構造光を運用し障害を感知するバック警告方法 - Google Patents

構造光を運用し障害を感知するバック警告方法 Download PDF

Info

Publication number
JP6474766B2
JP6474766B2 JP2016158054A JP2016158054A JP6474766B2 JP 6474766 B2 JP6474766 B2 JP 6474766B2 JP 2016158054 A JP2016158054 A JP 2016158054A JP 2016158054 A JP2016158054 A JP 2016158054A JP 6474766 B2 JP6474766 B2 JP 6474766B2
Authority
JP
Japan
Prior art keywords
warning
information
processing unit
moving means
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016158054A
Other languages
English (en)
Other versions
JP2017107537A (ja
Inventor
進豐 江
進豐 江
世鈞 徐
世鈞 徐
宏源 魏
宏源 魏
宗翰 李
宗翰 李
祖▲こん▼ 張
祖▲こん▼ 張
桂樹 許
桂樹 許
嘉穗 王
嘉穗 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Metal Industries Research and Development Centre
Original Assignee
Metal Industries Research and Development Centre
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metal Industries Research and Development Centre filed Critical Metal Industries Research and Development Centre
Publication of JP2017107537A publication Critical patent/JP2017107537A/ja
Application granted granted Critical
Publication of JP6474766B2 publication Critical patent/JP6474766B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は警告方法に関し、自動車のバック時に、バック速度に基づき現在必要なブレーキ距離を割り出し、障害の距離及び必要なブレーキ距離に応じて、異なる警告を発する構造光を運用し障害を感知するバック警告方法に関する。
自動車は日常生活で最も普及している移動手段である。自動車には、少なくとも左側サイドミラー、右側サイドミラー、車内ミラーが設置され、車両の左後方、右後方及び正後方の画像を、ミラーの反射により自動車のドライバーに見せる。
しかし、これらミラーがドライバーに提供できる視野範囲には限界があり、またミラーはドライバーにより広い視野を提供するためには、凸レンズを使用する必要がある。
けれども、凸レンズの結像は縮小し直立した虚像となり、近距離の障害が凸レンズ結像を通すと、遠くにあるとの錯覚を生じ、ドライバーは実際の障害との距離をつかみにくくなってしまう。
しかも、自動車が道路を走行時には、視野範囲が制限され、距離感に誤差が生じるだけでなく、精神的な疲労或いは道路を使用する他の人が交通法規を守らない等の要因により、ドライバー、乗客及び歩行者の生命の安全は危険にさらされてしまう。
安全性を高めるために、受動安全配備は自動車出荷時の標準配備となっており、主動安全配備も各メーカーの努力の下、開発が続けられている。
現行の技術では、使用者に即時に警告する安全警告機能装置を開示しているものもある。
それは例えば、信号発射器及び信号レシーバーを設置するバックレーダーで、バックの際に障害が車の後部に近づいた時には、音声を発し、ドライバーに注意を促す設備である。
しかし、ドライバーにとっては、自動車には依然として特定の視覚の死角が存在する。
特に、バック時のドライバーの視野範囲には、車のボディに遮られて非常に大きな視覚の死角が生じる。
これにより、ドライバーは、車のボディに近い場所に障害があるか、或いは路面に陥没が存在するかどうかを知ることはできない。
現在では車外に撮影設備を設置する技術もある。
それは、画像キャプチャーデバイスを用いて画像を読み取り、車内の表示装置に表示しドライバーの参考に供する。
しかし、画像キャプチャーデバイスが取得する画像範囲には制限がある。
しかも、同一位置に固定されるため、画像の撮影範囲は、自動車右左折時の角度の大きさに応じて変化することはない。
これにより、ある部分の視覚には死角が発生し、しかも画像キャプチャーデバイスが撮影する画像は平面画像であるため、ドライバーがこの画像に基づき、障害との間の距離をつかむことは非常に難しい。
画像の中に参考線を加えて、ドライバーが距離を判断する際の依拠としているメーカーもあるが、このような方法では、おおよその距離しか分からず、障害或いは路面の陥没と車体との間の距離を正確に判断することはできない。
前記先行技術では、障害或いは路面の陥没と車体との間の距離を正確に判断することはできないという欠点がある。
本発明は、移動手段後側に取り付ける構造光投影モジュール及び構造光撮影ユニットにより、障害が反射する複数の光イメージ信号を受信し、移動手段のバック時に、後方に障害があることを確認し、警告信号を発して移動手段のドライバーに知らせる構造光を運用し障害を感知するバック警告方法に関する。
本発明の一実施形態による構造光を運用し障害を感知するバック警告方法のステップは以下の通りである。
構造光投影モジュールを使用して複数の光平面を投射し、構造光撮影ユニットが反射する複数の光イメージ信号を受信し、処理ユニットは、光イメージ信号により高度及び距離を計算し、高度に基づき、バックの安全に影響を及ぼすかどうかを確認後、距離及び移動手段の速度に基づき計算された警告距離に応じて、情報データベース中から警告情報を取得し、警告モジュールは、警告情報に基づき、警告を発する。
本発明の一実施形態において、該処理ユニットは、該速度情報、重力加速度情報、該移動手段のタイヤの摩擦係数に基づき、計算し、該警告距離情報を取得する。
本発明の一実施形態において、該処理ユニットは、高度に基づき、移動手段がバックする時の安全に影響を及ぼすかどうかを判断するステップにおいて、該処理ユニットは、該高度及び該移動手段の安全高度情報に基づき、障害がバックの安全に影響を及ぼすかどうかを判断する。
本発明の一実施形態において、警告モジュールを利用して該警告通知を発するステップにおいて、該警告モジュールの少なくとも1個の音声ユニットを使用し、該警告通知を発する。
本発明の一実施形態において、該警告モジュールは、該警告情報に基づき、該音声ユニットをコントロールし該警告通知の周波数を発する。
本発明の一実施形態において、移動手段に設置される該構造光撮影ユニットを使用し、該少なくとも1個の障害が、該光平面の投影を反射する複数の光イメージ情報を受け取った後には、さらに以下のステップを含む。
該処理ユニットを使用し、該各光イメージ情報を利用し、該少なくとも1個の障害の輪郭を計算し、該少なくとも1個の障害の輪郭に基づき、その種類を分析する。
該少なくとも1個の障害が、該移動手段のバックの安全に影響を及ぼさないなら、該少なくとも1個の障害を無視する。
本発明の一実施形態において、該処理ユニットは、該各光イメージ情報に基づき、該少なくとも1個の障害の該高度情報及び該距離情報を計算するステップの後に、該方法のステップはさらに以下を含む。
該各光イメージ情報を表示ユニットに表示する。
該処理ユニットは、該表示ユニットにおいて、該少なくとも1個の障害中の該移動手段に最も近いものを標記する。
本発明の一実施形態において、移動手段に設置される該構造光投影モジュールを使用し、複数の光平面を該移動手段周辺の該少なくとも1個の障害に連続投影するステップ前には、該方法のステップはさらに以下を含む。
走行状態感知ユニットを使用し、該移動手段の走行状態を取得し、該走行状態がバックであることを確認する。
本発明の構造光を運用し障害を感知するバック警告方法は、移動手段後側に取り付ける構造光投影モジュール及び構造光受信モジュールにより、障害が反射する複数の光イメージ信号を受信し、移動手段のバック時に、後方に障害があることを確認し、警告信号を発して移動手段のドライバーに知らせる。
本発明の第一実施形態の構造光を運用し障害を感知するバック警告方法のシステムブロックチャートである。 本発明の第一実施形態の構造光を運用し障害を感知するバック警告方法の応用模式図であり、障害への光平面投影を示す。 本発明の第一実施形態の構造光を運用し障害を感知するバック警告方法の光平面が二次元ポイントアレイを含むことを示す模式図である。 本発明の第一実施形態の構造光を運用し障害を感知するバック警告方法のフローチャートである。 本発明の第二実施形態の構造光を運用し障害を感知するバック警告方法のフローチャートである。 本発明の第二実施形態の構造光を運用し障害を感知するバック警告方法のシステムブロックチャートである。
従来の技術において、一般の画像キャプチャーデバイスが撮影する画像は平面画像であるため、自動車のバックに運用される時には、ドライバーは障害物の距離及び高度を正確に判断することはできない。
よって、本発明は構造光を運用し障害を感知するバック警告方法を提供し、構造光の反射を運用し、障害物と移動手段との実際の距離及び障害物の高度を計算し、ドライバーに参考に供し、障害が警告範囲内に入ると、ドライバーに警告を発する。
図1、図2に示す通り、本発明の構造光を運用し障害を感知するバック警告システムは、自動車、バス或いは大型トラック等の移動手段1の後測に設置する。
構造光を運用し障害を感知するバック警告システムは、ハードウェア構造として、構造光投影モジュール10、構造光撮影ユニット20、処理ユニット30、警告モジュール40、表示ユニット60、データベース70及び走行状態感知ユニット80を有する。
上述のユニット及びモジュールはともに、電源供給ユニット50と電気的に連接し、電力供給を得て作動する。
構造光投影モジュール10は、レーザー光源ユニット101、レンズセット103を有し、移動手段1後方数十メートル内の空間に、走行安全に影響を与える可能性が有る、行き交う歩行者、動物、他の移動手段、或いは固定された柵、灌木や草むら、地面の隆起或いは陥没等の障害がないかどうかを感知する。
本発明が使用する探知方式は、構造光技術を用いる。
その原理は、光源は被測定測障害の表面に制御可能なドット状光、ひも状光或いは光平面を投射し、撮影機材等のセンサーで反射のイメージを受け取り、幾何計算を経て、障害の立体座標を得るものである。
本発明の一実施形態では、非可視光レーザーを光源とし、その同調性が高く、減衰が遅く、測定距離が長く、正確性が高い等の特性を利用する。
さらに、それは他の光源の影響を受けにくいため、一般の光線に比べよく投射できる。
レーザー光源ユニット101が提供する光源は、レンズセット103を通った後に発散し、空間中では光平面105を形成する。
本発明が使用するレンズセット103には、図案化レンズ(pattern lens)を含む。
それは図案化の微構造を備えるため、そこを通過するレーザー光源が形成する光平面は、図案化特徴を備える。
例えば、二次元平面は光ポイントアレイを呈する(図3参照)。
移動手段1の後方には障害、地面の陥没或いは地面の隆起等障害2が存在するなら、光平面105が障害2の表面に投影されると、光線は反射され、光イメージ情報の形式で、構造光撮影ユニット20により受信される。
構造光撮影ユニット20は、非可視光レーザーを受信できる撮影ユニットである。
光イメージ情報は、構造光投影モジュール10が投影する光平面105が障害2表面の不規則性反射を経て、形成される変形図案である。
構造光撮影モジュール20はこの変形図案を受け取った後、処理ユニット30はこれら変形図案を受け取り、障害2の立体外観輪郭を再構築する。
処理ユニット30は、計算及びロジック演算可能な電子パーツである。
警告モジュール40は、音声ユニット401を有する。
警告モジュール40は、警告情報を受け取った後、警告情報に基づき、音声ユニット401を駆動して警告を発しさせる。
音声ユニット401が発する警告は、音声、言語或いは他のドライバーに知らせることができる音である。
表示ユニット60は、液晶スクリーン、プラズマスクリーン、陰極線管スクリーン或いはデジタル画像を表示できる他の表示ユニットである。
データベース70は、デジタル情報を保存できる電子パーツで、少なくとも1個の警告情報を保存する。
データベース70は、移動手段1に設置されるとは限らず、外部に設置することもでき、移動手段1は無線或いは有線の方式でデータベース70に連接され、警告情報を取得する。
走行状態感知ユニット80は、移動手段1の走行状態を感知し、走行状態感知ユニット80は、加速度或いは加速度を生じることができるセンサーが生じる情報に基づき、移動手段1の走行状態を判断することができる。
走行状態感知ユニット80は、移動手段1のシフトレバーのシフト位置に基づき、移動手段1の走行状態を判断することができる。
走行状態感知ユニット80は、移動手段1のタイヤ或いはタイヤ軸に取り付け、移動手段1のタイヤ或いはタイヤ軸の回転方向を感知し、移動手段1の走行状態を判断する。
電源供給ユニット50は、電池或いは外付け式電源である。
本発明の第一実施形態の構造光を運用し障害を感知するバック警告方法のステップについて説明する。
図4は、本発明の第一実施形態の構造光を運用し障害を感知するバック警告方法のフローチャートである。
図に示す通り、本実施形態の執行時には以下のステップを含む。
ステップS1:移動手段の走行状態を判断する。
ステップS3:構造光撮影ユニットは、複数の光イメージ情報を取得する。
ステップS5:処理ユニットは、該各光イメージ情報に基づき、該障害の高度情報及び距離情報を計算する。
ステップS7:障害がバックの安全に影響を及ぼすと確定する。
ステップS9:警告距離情報を取得する。
ステップS11:処理ユニットは障害を標示する。
ステップS13:処理ユニットは警告情報を取得する。
ステップS15:処理ユニットは警告情報を警告モジュールにインプットする。
図1、図2、図3及び図4を用いて、本発明の第一実施形態の構造光を運用し障害を感知するバック警告方法執行時の流れについて説明する。
移動手段1は道路上を走行し、本発明の構造光を運用し障害を感知するバック警告方法を執行可能なシステムを搭載する時、ステップS1からステップS15を執行する。
ステップS1において、移動手段1の走行状態を判断する。
走行状態感知ユニット80は、移動手段1の現在の走行状態を判断する。
例えば、走行状態感知ユニット80が加速度センサーである時には、加速度センサーが感知する加速度により、移動手段1がバック状態にあるか、他の状態にあるかを判断する。
走行状態感知ユニット80が、移動手段1のシフトレバーのシフト位置に基づき、移動手段1の走行状態を判断する際には、シフトレバー所在のシフト位置がバック位置であるかどうかにより、移動手段1がバックしているかどうかを判断する。
走行状態感知ユニット80を、移動手段1のタイヤ或いはタイヤ軸に取り付ける場合には、走行状態感知ユニット80は、移動手段のタイヤ或いはタイヤ軸の回転方向に基づき、移動手段1の走行状態を判断する。
移動手段1がバックしていない時には、ステップS1を繰り返す。
ステップS3では、構造光射撮影ユニット20は、複数の光イメージ情報を取得する。
構造光投影モジュール10のレーザー光源ユニット101は、移動手段1周囲の少なくとも1個の障害2の表面に、複数の光平面105を連続で投射する。
構造光射撮影ユニット20は、障害2の表面が該各光平面105の投影を受けた後に反射する複数の光イメージ情報を受け取る。
レーザー光源ユニット101が発するレーザー光は、レンズセット103を通して発散される。
よって、投射距離には限界があり、移動手段1から遠い障害には投射されない。
一実施形態中のレーザー光源ユニット101が発するレーザー光投射距離は、15メートル以内である。
別種の実施形態では、レーザー光源ユニット101の出力を調整することで、レーザー光投射の距離を延長し、或いは短縮する。
例えば、移動手段1が一般の乗用車であれば、必要なブレーキ距離は比較的短いため、レーザー光源ユニット101の出力を低下させ、移動手段1に比較的近い障害だけにレーザー光を反射させることができる。
これにより、節電でき、処理ユニット30が処理する必要がある資料を減らすことができる。
移動手段1が大型の客車或いは牽引車である時には、必要なブレーキ距離は比較的長いため、レーザー光源ユニット101の出力を高めることで、移動手段1から遠い障害にレーザー光を反射させ、こうしてバックの安全性を高めることができる。
ステップS5において、処理ユニット30は、該各光イメージ情報に基づき、障害2の高度情報及び距離情報の少なくとも1個を計算する。
それは、構造光撮影ユニット20が取得する光イメージ情報の計算と分析を行い、その変化程度を利用し、障害2と移動手段1との間の距離情報、高度情報、障害2の外観輪郭を取得する。
障害2の高度情報がプラスである時、障害2は物体或いは地面の隆起で、障害2の高度情報がマイナスである時には、障害2は地面の陥没である。
ステップS7では、処理ユニット30が、障害2がバックの安全に影響を及ぼすか判断する際には、処理ユニット30は障害2の高度情報及び移動手段1の安全高度情報に基づき、障害2が移動手段1のバックの安全に影響を及ぼすかどうかを判断する。影響があると、ステップS9を執行し、影響がないと、ステップS3を執行する。
安全高度情報は、移動手段1の底盤から地面までの高度で、移動手段1のタイヤ半径或いは他のあらかじめ設定された数値である。
移動手段1の底盤から地面までの高度は安全高度情報であることで説明する。障害2の高度値がプラスで、しかも移動手段1の底盤から地面までの高度より小さければ、この障害2は、移動手段1のバックに何らの影響も及ぼさない。
障害2の高度値がマイナスで、障害2の高度値の絶対値が移動手段1の底盤から地面までの高度より小さい時には、この障害2は移動手段1のバックに何らの影響も及ぼさない。
反対に、障害2の高度値がプラスで、しかも移動手段1の底盤から地面までの高度より大きい時には、移動手段1のバックの際にはこの障害2に衝突する。
障害2の高度値がマイナスで、障害2の高度値の絶対値が移動手段1の底盤から地面までの高度より大きい時には、移動手段1のバックの際には、この障害2中に落ち込むことで、バックの安全に対して影響を及ぼす。
一実施形態において、処理ユニット30は、移動手段1のタイヤ半径に基づき、障害2がバックの安全に影響を及ぼすかどうか判断する。
ドライバーは自身の運転習慣に基づき、安全高度情報を設定することができる。
ステップS9において、処理ユニット30は警告距離情報を取得する。
走行状態感知ユニット80が加速度センサーである時には、加速度センサーが生じる加速度情報により計算して速度情報を取得し、さらに計算して警告距離情報を取得する。
また、タイヤ、タイヤ軸或いは移動手段1上の他の場所に取り付けられるセンサーは、移動手段1の速度情報を取得する。
処理ユニット30は速度を取得後に計算し、警告距離情報を取得する。
この警告距離情報は、最短ブレーキ距離で、その公式は以下の通りである。
Figure 0006474766
Vは移動手段1の現在の速度で、Gは重力加速度で、uは移動手段1のタイヤの摩擦係数である。
本発明の一実施形態において、処理ユニットは、最短ブレーキ距離及びドライバーの反応に必要な距離に基づき、警告距離情報を取得する。
この公式は以下の通りである。
Figure 0006474766
Rはドライバーの反応時間である。
ステップS11において、処理ユニット30は障害2を標示する。
このステップ中では、表示ユニット60は、障害2の反射する光イメージ情報を表示する。
処理ユニット30は、障害2の外観輪郭に基づき、表示ユニット60が表示する光イメージ情報上で障害2を標示する。
これにより、ドライバーは表示ユニット60を通して障害2の存在を知ることができる。
処理ユニット30は、表示ユニット30に障害2と移動手段1との距離を標示することができる。
例えば、障害2が移動手段1付近の3メートルの範囲内にあれば、障害2の表示ユニット60上の光イメージ情報脇には、3メートルと標示される。
処理ユニット30はさらに、障害2の距離情報に基づき、光イメージ情報を変え、表示ユニット60上の色を変えることができる。
例えば、障害2が移動手段1付近3メートルの範囲内にあるなら、障害2の光イメージ情報は赤色で表示ユニット60上に標示され、障害2が移動手段1付近10メートルの範囲内にあれば、障害2の光イメージ情報は緑色で表示ユニット60上に標示される。
ステップS13において、処理ユニット30は警告情報を取得する。
処理ユニット30は、障害2の高度情報、距離情報及び警告距離情報に基づき、データベース70で警告情報を取得する。
ステップS15中では、処理ユニット30は警告情報を警告モジュール40にインプットする。
ステップ13において、処理ユニット30は、ステップS11中で取得した警告情報を、警告モジュール40にインプットする。
警告モジュール40は、警告情報に基づき、音声ユニット401をコントロールし警告を発しさせる。
本発明の一実施形態において、ステップS13では、処理ユニット30は、障害2の距離の違いに基づき、データベース70から異なる警告情報を取得する。
例えば、移動手段1の警告距離情報は5メートルで、障害2の距離情報が3メートルである時、処理ユニット30は、データベース70から第一警告情報を取得する。
障害2の距離情報が10メートルである時、データベース70から第二警告情報を取得する。
本発明の一実施形態において、ステップS15では、該警告情報が第一警告情報である時、差し迫った危険があるため、警告モジュール40は音声ユニット401を制御し、連続した音声によりドライバーに知らせ、或いは障害2に接触しそうであると言語により告知する。
警告情報が第二警告情報である時には、いくらか緩衝距離があるため、警告モジュール40は、音声ユニット401をコントロールし、間歇性の音声により、ドライバーに知らせ、或いは言語により警告距離外に障害2が存在すると告知する。
音声ユニット401が音声によりドライバーに知らせる時、音声ユニット401が第一警告情報に基づき発する音声の周波数は、音声ユニット401が第二警告情報に基づき発する音声の周波数より高い。
本発明の一実施形態において、ステップS5では、処理ユニット30は、距離情報或いは高度情報の内の1個を先に計算し、計算した情報と対応するステップの執行を完了した後、別のものを計算し、別のものと対応するステップを執行する。
例えば、処理ユニット30は、高度情報を先に計算し、続いてステップS7を執行した後、処理ユニット30はステップS5に戻り、距離情報を計算し、続いてステップS7からステップS15を執行する。
或は、処理ユニット30は距離情報を先に計算し、続いてステップS7を執行した後、処理ユニット30はステップS5に戻り、高度情報を計算し、続いてステップS7からステップS15を執行する。
上述のステップを執行した後、本発明の第一実施形態の構造光感知障害距離のバック警告方法の運用を終了する。
本発明は、構造光に基づき、移動手段1後方の障害2の高度情報及び距離情報を取得し、高度情報及び距離情報、及び移動手段1の加速度、タイヤ磨擦係数に基づき取得した警告距離情報に基づき、この障害2が移動手段1のバック時に危険をもたらすかどうかを判断する。
本発明の第二実施形態の構造光を運用し障害距離を感知するバック警告方法は、図5及び図6の第二実施形態の構造光を運用し障害距離を感知するバック警告方法フローチャート及びシステムブロックチャートに示す。
本実施形態と第一実施形態の差異は、以下の通りである。
本実施形態のシステム中には、撮影ユニット90をさらに有する。
撮影ユニット90は、撮影機、或いは連続して画像を取り込むことができる他の設備である。
本実施形態のステップでは、ステップS5の後に、ステップS6をさらに有し、障害の種類を分析する。
ステップS7の後には、ステップS8をさらに有し、障害画像を表示する。
本実施形態の他の部分は、第一実施形態と相同であるため、再記述は行わない。
ステップS6では、移動手段1の後方に異なる類型の障害2が存在することに鑑みる。
各種障害2のバックの安全に対する影響の程度は異なる。
例えば、石ころ、他の車両、路面の隆起、路面の陥没、或いは歩行者等はバックの安全に影響するが、大量の雑草は、バックの安全に影響しない。
よって、ステップS6中では、処理ユニット30は、光イメージ情報を使用し障害2の立体外観輪郭を再構築し、障害2を分類し、それが移動手段1に対して威脅となるかどうかを判断する。
分類の方式は、異なる障害2の外観特徴について識別を行い、障害2の特徴とデータベース70中に予め保存する資料を比較対照する。
分類により、障害2が移動手段1のバック安全に影響を及ぼすかどうかを判断することができる。
例えば、バック安全に対して危険とならない草であれば、処理ユニット30は該障害を無視する。
本発明の一実施形態において、ステップS6では、処理ユニット30は障害2を識別する前に、グルーピング演算法を用いて、光イメージ情報上の障害2に対してグルーピングを行う。
光イメージ情報には、地面及び少なくとも1個の障害2が反射する構造光を含み、グルーピング演算法により、地面と障害2とを分離することができる。
光イメージ情報中に、多数の障害2を含む時には、グルーピング演算法において、地面及び障害2を分離する時、第一障害、第二障害等と区分することができ、これにより後続の障害2の分類を行う時には、障害2の輪郭を効果的に取得できる。
本発明の一実施形態において、グルーピング演算法は、K平均演算法(K-means clustering)である。
ステップS8中において、撮影ユニット90は、周囲を連続撮影し画像を取得する。
処理ユニット30は、ステップS5中で取得した障害2の輪郭及び障害の位置に基づき、画像中の障害2を表示ユニット60に表示する。
本発明の第二実施形態において、ドライバーは障害の種類及び距離は、表示ユニット上に表示される障害画像により、より正確に判断できる。
本発明の一実施形態において、構造光投影モジュール10及び構造光撮影ユニット20、撮影ユニット90は、移動手段1の後側に設置される。
本発明の一実施形態において、構造光投影モジュール10或いは\及び構造光撮影ユニット20或いは\及び撮影ユニット90と地面の挟角は90度以下である。
実際の使用時には、移動手段1がバックする時のドライバーは、バックの安全に影響を及ぼす障害2が後方に存在するかを知るだけで良い。
言い換えれば、障害2の部分輪郭を提供するだけでよく、障害2の全貌を取得する必要はない。
構造光投影モジュール10或いは\及び構造光撮影ユニット20或いは\及び撮影ユニット90と地面との挟角を調整することで、取得された障害2の光イメージ情報或いは\及び画像が障害2の全貌とならないようにでき、これにより処理ユニット30の演算量及びドライバーが受け取る情報量を減らすことができる。
1 移動手段
10 構造光投影モジュール
101 レーザー光源ユニット
103 レンズセット
105 光平面
20 構造光撮影ユニット
30 処理ユニット
40 警告モジュール
401 音声ユニット
50 電源供給ユニット
60 表示ユニット
70 データベース
80 走行状態感知ユニット
90 撮影ユニット
2 障害

Claims (16)

  1. 構造光を運用し障害を感知するバック警告方法であって、それは移動手段に用いられ、そのステップは、以下を含み、
    前記移動手段に設置される構造光投影モジュールを使用し、複数の光平面を前記移動手段周囲の少なくとも1個の障害に連続して投影し、
    前記移動手段に設置される構造光撮影ユニットを使用し、前記少なくとも1個の障害の表面が前記複数の光平面の投影を経て反射した複数の光イメージ情報を受信し、
    処理ユニットが前記各光イメージ情報を利用し、前記少なくとも1個の障害の輪郭を計算し、
    前記処理ユニットは、前記少なくとも1個の障害の輪郭が表示ユニットに表示することに基づき、前記少なくとも1個の障害を標示し、
    前記少なくとも1個の障害の輪郭に基づき、その種類を分析し、
    前記少なくとも1個の障害が、前記移動手段のバックの安全に影響を及ぼさないなら、前記少なくとも1個の障害を無視し、
    前記処理ユニットは、前記各光イメージ情報に基づき、その他の少なくとも1個の障害の高度情報を計算し、
    前記処理ユニットは、前記高度情報に基づき、前記移動手段のバックの安全に影響を及ぼすかどうかを判断することを特徴とする構造光を運用し障害を感知するバック警告方法。
  2. 前記処理ユニットが、前記高度情報に基づき、前記移動手段のバックの安全に影響を及ぼすかどうかを判断するステップの後には、さらに以下を含み、
    前記処理ユニットは、前記各光イメージ情報に基づき、該少なくとも1個の障害の距離情報を計算し、
    前記移動手段の速度情報を前記処理ユニットにインプットし、前記処理ユニットは、前記速度情報に基づき計算し、警告距離情報を取得し、
    前記処理ユニットは、前記警告距離情報及び前記距離情報に基づき、データベース中から警告情報を取得し、
    警告モジュールは、前記警告情報に基づき、警告通知を発することを特徴とする請求項1に記載の構造光を運用し障害を感知するバック警告方法。
  3. 前記処理ユニットは、前記速度情報、重力加速度情報、前記移動手段のタイヤの摩擦係数に基づき計算し、前記警告距離情報を取得することを特徴とする請求項2に記載の構造光を運用し障害を感知するバック警告方法。
  4. 前記処理ユニットは、高度情報に基づき、前記移動手段がバックする時の安全に影響を及ぼすかどうかを判断するステップにおいて、前記処理ユニットは、前記高度情報及び前記移動手段の安全高度情報に基づき、障害がバックの安全に影響を及ぼすかどうかを判断することを特徴とする請求項1に記載の構造光を運用し障害を感知するバック警告方法。
  5. 警告モジュールが警告情報により警告通知を発するステップにおいて、前記警告モジュールの少なくとも1個の音声ユニットを使用し、警告通知を発し、前記警告モジュールは、前記警告情報に基づき、前記音声ユニットをコントロールし前記警告通知の周波数を発することを特徴とする請求項1に記載の構造光を運用し障害を感知するバック警告方法。
  6. 前記処理ユニットは、前記各光イメージ情報に基づき、前記少なくとも1個の障害の高度情報を計算するステップ後、前記方法のステップはさらに以下を含み、
    撮影モジュールを使用し、少なくとも1個の画像を取得し、前記表示ユニットは、前記画像を表示することを特徴とする請求項1に記載の構造光を運用し障害を感知するバック警告方法。
  7. 前記移動手段に設置される構造光投影モジュールを使用し、複数の光平面を前記移動手段周囲の前記少なくとも1個の障害に連続投影するステップ前には、前記方法のステップはさらに以下を含み、
    走行状態感知ユニットを使用し、前記移動手段の走行状態を取得し、前記走行状態がバックであることを確認することを特徴とする請求項1に記載の構造光を運用し障害を感知するバック警告方法。
  8. 前記移動手段に設置される構造光撮影ユニットを使用し、前記少なくとも1個の障害の表面が前記複数の光平面の投影を経て反射した複数の光イメージ情報を受信したステップ後、前記方法のステップはさらに以下を含み、
    前記処理ユニットは、前記各光イメージ情報を利用し、前記少なくとも1個の障害の輪郭を計算することを特徴とする請求項1に記載の構造光を運用し障害を感知するバック警告方法。
  9. 構造光を運用し障害を感知するバック警告方法であって、それは移動手段に用いられ、そのステップは、以下を含み、
    前記移動手段に設置される構造光投影モジュールを使用し、複数の光平面を前記移動手段周囲の少なくとも1個の障害に連続して投影し、
    前記移動手段に設置される構造光撮影ユニットを使用し、前記少なくとも1個の障害の表面が前記複数の光平面の投影を経て反射した複数の光イメージ情報を受信し、処理ユニットは、前記各光イメージ情報を利用し、前記少なくとも1個の障害の輪郭を計算し、
    前記処理ユニットは、前記少なくとも1個の障害の輪郭が表示ユニットに表示することに基づき、前記少なくとも1個の障害を標示し、
    前記少なくとも1個の障害の輪郭に基づき、その種類を分析し、
    前記少なくとも1個の障害が、前記移動手段のバックの安全に影響を及ぼさないなら、前記少なくとも1個の障害を無視し、
    前記処理ユニットは、前記各光イメージ情報に基づき、その他の少なくとも1個の障害の距離情報を計算し、
    前記移動手段の速度情報を前記処理ユニットにインプットし、前記処理ユニットは、前記速度情報に基づき計算し、警告距離情報を取得し、
    前記処理ユニットは、前記警告距離情報及び前記距離情報に基づき、データベース中から警告情報を取得し、
    警告モジュールは、前記警告情報に基づき、警告通知を発することを特徴とする構造光を運用し障害を感知するバック警告方法。
  10. 前記移動手段の速度情報を処理ユニットにインプットするステップの後には、さらに以下を含み、
    前記処理ユニットは、前記各光イメージ情報に基づき、高度情報を計算し、
    前記処理ユニットは、前記高度情報に基づき、前記移動手段のバックの安全に影響を及ぼすかどうかを判断することを特徴とする請求項9に記載の構造光を運用し障害を感知するバック警告方法。
  11. 前記処理ユニットは、前記速度情報、重力加速度情報、前記移動手段のタイヤの摩擦係数に基づき、計算し、前記警告距離情報を取得することを特徴とする請求項9に記載の構造光を運用し障害を感知するバック警告方法。
  12. 前記処理ユニットは、高度情報に基づき、前記移動手段がバックする時の安全に影響を及ぼすかどうかを判断するステップにおいて、前記処理ユニットは、前記高度情報及び前記移動手段の安全高度情報に基づき、障害がバックの安全に影響を及ぼすかどうかを判断することを特徴とする請求項10に記載の構造光を運用し障害を感知するバック警告方法。
  13. 前記警告モジュールが前記警告情報に基づき、前記警告通知を発するステップにおいて、前記警告モジュールの少なくとも1個の音声ユニットを使用し、警告通知を発し、前記警告モジュールは、前記警告情報に基づき、前記音声ユニットをコントロールし前記警告通知の周波数を発することを特徴とする請求項9に記載の構造光を運用し障害を感知するバック警告方法。
  14. 前記処理ユニットは、前記各光イメージ情報に基づき、前記少なくとも1個の障害の距離情報を計算後、前記方法のステップはさらに以下を含み、
    撮影モジュールを使用し、少なくとも1個の画像を取得し、前記表示ユニットは、前記画像を表示することを特徴とする請求項9に記載の構造光を運用し障害を感知するバック警告方法。
  15. 前記移動手段に設置される構造光投影モジュールを使用し、複数の光平面を前記移動手段周囲の前記少なくとも1個の障害に連続投影するステップ前には、前記方法のステップはさらに以下を含み、
    走行状態感知ユニットを使用し、前記移動手段の走行状態を取得し、前記走行状態がバックであることを確認することを特徴とする請求項9に記載の構造光を運用し障害を感知するバック警告方法。
  16. 前記移動手段に設置される構造光撮影ユニットを使用し、前記少なくとも1個の障害の表面が前記複数の光平面の投影を経て反射した複数の光イメージ情報を受信したステップ後、前記方法のステップはさらに以下を含み、
    前記処理ユニットは、前記各光イメージ情報を利用し、前記少なくとも1個の障害の輪郭を計算することを特徴とする請求項9に記載の構造光を運用し障害を感知するバック警告方法。
JP2016158054A 2015-12-07 2016-08-10 構造光を運用し障害を感知するバック警告方法 Active JP6474766B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104140935A TWI596361B (zh) 2015-12-07 2015-12-07 Using structured light sensing barrier reversing warning method
TW104140935 2015-12-07

Publications (2)

Publication Number Publication Date
JP2017107537A JP2017107537A (ja) 2017-06-15
JP6474766B2 true JP6474766B2 (ja) 2019-02-27

Family

ID=58799660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016158054A Active JP6474766B2 (ja) 2015-12-07 2016-08-10 構造光を運用し障害を感知するバック警告方法

Country Status (4)

Country Link
US (1) US9963069B2 (ja)
JP (1) JP6474766B2 (ja)
CN (1) CN106828304A (ja)
TW (1) TWI596361B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109839628A (zh) * 2017-11-29 2019-06-04 杭州萤石软件有限公司 一种障碍物确定方法及移动机器人
AT520794B1 (de) * 2017-12-20 2019-11-15 Prinoth Ag Schneefahrzeug
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
TWI733449B (zh) * 2020-05-14 2021-07-11 國立雲林科技大學 自由空間偵測系統及自由空間偵測方法
CN113734048B (zh) * 2020-05-29 2024-05-07 广州汽车集团股份有限公司 一种倒车预警方法和装置
DE102020117060B4 (de) * 2020-06-29 2022-05-05 Audi Aktiengesellschaft Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs
DE102020211461B4 (de) * 2020-09-11 2022-03-24 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Rückfahrassistenzsystems für ein Fahrzeug und Rückfahrassistenzsystem
CN112339762A (zh) * 2020-10-29 2021-02-09 三一专用汽车有限责任公司 倒车影像安全预警方法、搅拌车和计算机可读存储介质
CN112744216A (zh) * 2020-12-25 2021-05-04 南京爱动信息技术有限公司 一种基于工业叉车智能化的后方车距检测装置及检测方法
FR3124252B1 (fr) * 2021-06-18 2023-10-27 Valeo Vision Procédé de détection d'un objet sur une surface de route, procédé de conduite autonome et dispositif d'éclairage automobile
CN113370979B (zh) * 2021-07-09 2022-10-18 北京福田戴姆勒汽车有限公司 行车安全预警方法及系统、车辆、电子设备和存储介质
CN113581080B (zh) * 2021-08-18 2022-07-15 苏州双福智能科技有限公司 一种新能源汽车用倒车盲区辅助显示装置
CN113936500B (zh) * 2021-10-08 2022-12-27 奇瑞新能源汽车股份有限公司 车辆的后向交通穿行预警方法及装置
CN115187963B (zh) * 2022-07-25 2025-11-04 重庆长安汽车股份有限公司 车辆障碍物检测方法、系统、设备、介质及程序
CN115951621B (zh) * 2023-03-15 2023-05-30 临工重机股份有限公司 高空作业平台避障控制方法、装置、电子设备及存储介质
CN116883478B (zh) * 2023-07-28 2024-01-23 广州瀚臣电子科技有限公司 一种基于汽车摄像头的障碍物距离确认系统及方法
CN116908828B (zh) * 2023-09-12 2023-12-19 永林电子股份有限公司 一种车用尾灯距离感应控制方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0659038A (ja) * 1992-08-07 1994-03-04 Nissan Motor Co Ltd 車両用レーザレーダ
JPH0687377A (ja) * 1992-09-04 1994-03-29 Yazaki Corp 車両周辺監視装置
JP2001343460A (ja) * 2000-06-02 2001-12-14 Mitsubishi Electric Corp 周辺車両検出装置
DE102005015088B4 (de) * 2004-04-02 2015-06-18 Denso Corporation Fahrzeugumgebungsüberwachungssystem
JP4470041B2 (ja) * 2004-06-22 2010-06-02 株式会社エクォス・リサーチ 障害物検知支援装置
JP2006168459A (ja) * 2004-12-14 2006-06-29 Takenobu Yabe 車両周囲監視警報装置
US20090309710A1 (en) * 2005-04-28 2009-12-17 Aisin Seiki Kabushiki Kaisha Vehicle Vicinity Monitoring System
JP2007112317A (ja) * 2005-10-21 2007-05-10 Fujitsu Ten Ltd 接触回避支援装置
JP2010188988A (ja) * 2009-02-18 2010-09-02 Tomotada Enami 青色光線衝突防止装置
US20100253595A1 (en) * 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Virtual controls and displays by laser projection
CN101987597B (zh) * 2009-08-03 2012-02-29 深圳安科智能视频技术有限公司 基于角度信息的可视化倒车轨迹线形成系统及方法
WO2012086070A1 (ja) * 2010-12-24 2012-06-28 株式会社日立製作所 路面形状認識装置及びそれを利用した自律移動装置
TWI417207B (zh) * 2010-12-28 2013-12-01 Automotive Res & Testing Ct Image - based obstacle detection reversing warning system and method
CN103129536A (zh) * 2011-12-05 2013-06-05 镁骅科技有限公司 车辆倒车安全装置
TW201432222A (zh) * 2013-02-06 2014-08-16 Flex Instr Co Ltd 立體距離測定方法及其系統
KR102129588B1 (ko) * 2013-06-26 2020-07-02 현대모비스(주) 물체 인식 시스템
CN104700065B (zh) * 2013-12-04 2018-09-28 财团法人车辆研究测试中心 可提高分类效能的物体影像检测方法与装置
CN103822614B (zh) * 2014-03-14 2015-12-30 河北工业大学 倒车影像的三维测量方法
TWM507874U (zh) * 2015-04-17 2015-09-01 Hua Chuang Automobile Information Technical Ct Co Ltd 行車測距三維影像輔助系統
CN104802710B (zh) * 2015-04-17 2017-07-11 浙江大学 一种智能汽车倒车辅助系统及辅助方法

Also Published As

Publication number Publication date
TWI596361B (zh) 2017-08-21
US20170158128A1 (en) 2017-06-08
US9963069B2 (en) 2018-05-08
TW201721181A (zh) 2017-06-16
CN106828304A (zh) 2017-06-13
JP2017107537A (ja) 2017-06-15

Similar Documents

Publication Publication Date Title
JP6474766B2 (ja) 構造光を運用し障害を感知するバック警告方法
US20230052890A1 (en) Interactive Safety System for Vehicles
JP6113375B2 (ja) 運転支援装置および運転支援方法
US10696224B2 (en) Driving notification method and driving notification system
CN104670091B (zh) 利用投影单元的增强现实车道变更辅助系统
JP6575445B2 (ja) 車両用画像処理装置
WO2019044185A1 (ja) 映像出力装置、映像生成プログラム、およびコンピュータ読み出し可能持続的有形記録媒体
CN110651313A (zh) 控制装置和控制方法
US10732420B2 (en) Head up display with symbols positioned to augment reality
CN106476695B (zh) 用于可视性增强的系统和方法
JP6373820B2 (ja) 障害物警告システム及びその動作方法
CN110573377B (zh) 用于发光信号指示机动车辆的车道变换的装置
JP2017107538A (ja) 構造光を運用し物体距離を感知する内輪差警告方法及びシステム
TW201601955A (zh) 車用安全系統及其運作方法
CN109927629A (zh) 用于控制投影设备的显示控制设备、显示控制方法及车辆
KR20190078944A (ko) 철도차량용 증강현실 헤드업 디스플레이 시스템
JP2007006006A (ja) 車載情報表示装置及び車両用情報表示方法
WO2017157865A1 (en) Navigation aid
KR101679017B1 (ko) Hud에서 가상이미지를 생성하는 장치 및 방법
CN105711492A (zh) 障碍物警示系统及其运作方法
JP7282069B2 (ja) 車両報知装置
CN203713703U (zh) 行车监控装置
JP4200974B2 (ja) 車両用表示装置
TWM482526U (zh) 行車監控裝置
KR102835960B1 (ko) 이륜차용 주행 정보 시각화 장치 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190130

R150 Certificate of patent or registration of utility model

Ref document number: 6474766

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250