JP7769779B2 - 外界認識装置、および、外界認識方法 - Google Patents
外界認識装置、および、外界認識方法Info
- Publication number
- JP7769779B2 JP7769779B2 JP2024507242A JP2024507242A JP7769779B2 JP 7769779 B2 JP7769779 B2 JP 7769779B2 JP 2024507242 A JP2024507242 A JP 2024507242A JP 2024507242 A JP2024507242 A JP 2024507242A JP 7769779 B2 JP7769779 B2 JP 7769779B2
- Authority
- JP
- Japan
- Prior art keywords
- distance measurement
- distance
- unit
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the three-dimensional [3D] impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
- G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
- G01B21/045—Correction of measurements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
Description
図1は、本実施例に係る車載ステレオカメラ装置10のハードウェアの概略構成を示すブロック図である。この車載ステレオカメラ装置10は、車載システムの一部として車両に搭載される装置であり、自車両前方の撮影対象領域の画像情報に基づいて車外環境を認識する装置である。この装置が認識する車外環境は、例えば、道路の白線、歩行者、車両、その他の立体物、信号、標識、点灯ランプ、および、それらまでの距離などであり、車載システムは、車載ステレオカメラ装置10が認識した車外環境に応じて、自車両の駆動系、制動系、操舵系などを制御し、所望の自動運転制御、運転支援制御等を実現する。
図2は、図1の車載ステレオカメラ装置10を機能ブロックとして表現した図である。機能ブロックとして表現した場合、車載ステレオカメラ装置10は、左カメラ11、右カメラ12、画像補正部1、視差演算部2、物体検知・測距部3、物体認識部4、認識辞書5、測距調停部6、光学特性データベース7、車両制御部8を備えている。
図3は、車載ステレオカメラ装置10における視差演算の過程を簡易化した物理モデルであり、本発明の機序を語るものである。点光源を使ったインパルス応答的な過程を考えると、外界の物体は点光源群で構成されていると見做すことができ、点光源群が撮像素子上で画像化される場合は、大きく2つの処理過程を経ることになる。
測距調停部6による測距調停が、従来の自動調整やエイミングと違う点は、全撮像画像に対して一律に適用されるのではなく、局所的(特定の対象物、特定の撮像環境、特定の走行シーン)に適用されることにある。例えば、同じ仕様の車載ステレオカメラ装置10であっても、光学系・撮像系の個体差の影響で、昼間走行シーンでの測距は良いが、夜間の光点(例えば、先行車のテールランプやブレーキランプ)に対する測距性能が劣る個体が稀にある。そのような個体であれば、夜間撮像した光点に基づいて測距する場合に限り、測距補正することが本発明の測距調停の狙いである。
ここで、図6のフローチャートに基づいて、車載ステレオカメラ装置10の製造時の処理の詳細を説明する。
次に、図7、図8のフローチャートに基づいて、車載ステレオカメラ装置10を装着した車両が実路を走行する場合に、ステレオカメラ装置10内で実施される処理の詳細を説明する。
(1)撮像対象物の明るさが所定値以上の場合(撮影時の露光時間が所定値未満の場合)。
(2)撮像時の環境温度が所定値以上である場合。
Claims (7)
- 複数のカメラを有する車載カメラ装置で撮像した画像から視差を演算する視差演算部と、
前記視差から車外の対象物までの距離を求める測距部と、
前記複数のカメラの各々のレンズの応答特性および各々の撮像素子の輝度特性が記録された記憶部と、
前記レンズの応答特性および前記撮像素子の輝度特性を用いて、前記対象物までの距離を補正する必要の有無を判定する測距補正要否判定部と、
前記補正が必要と判定された場合に、前記レンズの応答特性および前記撮像素子の輝度特性に基づいて前記対象物までの距離を補正する測距補正部と、
を有し、
前記測距補正要否判定部は、露光時間が所定値未満の場合に、前記対象物までの距離を補正する必要があると判定することを特徴とする外界認識装置。 - 請求項1に記載の外界認識装置において、
前記レンズの応答特性は温度に依存するデータであって、
前記測距補正要否判定部または前記測距補正部は、前記レンズの応答特性に加えて温度依存性を用いることを特徴とする外界認識装置。 - 請求項1に記載の外界認識装置において、
前記撮像素子の輝度特性は温度に依存するデータであって、
前記測距補正要否判定部または前記測距補正部は、前記撮像素子の輝度特性に加えて温度依存性を用いることを特徴とする外界認識装置。 - 請求項1から請求項3の何れか一項に記載の外界認識装置において、
前記レンズの応答特性および前記撮像素子の輝度特性は、前記車載カメラ装置の製造時に検査され、前記記憶部に記録されたものであることを特徴とする外界認識装置。 - 請求項1に記載の外界認識装置において、
前記測距補正要否判定部は、対象物の明るさが所定値以上の場合に、前記対象物までの距離を補正する必要があると判定することを特徴とする外界認識装置。 - 請求項2または請求項3に記載の外界認識装置において、
前記測距補正要否判定部は、撮像環境の温度が所定値以上の場合に、前記対象物までの距離を補正する必要があると判定することを特徴とする外界認識装置。 - 複数のカメラを有する車載カメラ装置で撮像した画像から視差を演算する視差演算ステップと、
前記視差から車外の対象物までの距離を求める測距ステップと、
記憶部に記憶された前記複数のカメラの各々のレンズの応答特性および各々の撮像素子の輝度特性を用いて、前記対象物までの距離を補正する必要の有無を判定する測距補正要否判定ステップと、
前記補正が必要と判定された場合に、前記レンズの応答特性および前記撮像素子の輝度特性に基づいて前記対象物までの距離を補正する測距補正ステップと、
を有し、
前記測距補正要否判定ステップでは、露光時間が所定値未満の場合に、前記対象物までの距離を補正する必要があると判定することを特徴とする外界認識方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2022/011524 WO2023175708A1 (ja) | 2022-03-15 | 2022-03-15 | 外界認識装置、および、外界認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2023175708A1 JPWO2023175708A1 (ja) | 2023-09-21 |
| JP7769779B2 true JP7769779B2 (ja) | 2025-11-13 |
Family
ID=88022918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024507242A Active JP7769779B2 (ja) | 2022-03-15 | 2022-03-15 | 外界認識装置、および、外界認識方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20250159122A1 (ja) |
| JP (1) | JP7769779B2 (ja) |
| DE (1) | DE112022006340T5 (ja) |
| WO (1) | WO2023175708A1 (ja) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007024590A (ja) | 2005-07-13 | 2007-02-01 | Toyota Motor Corp | 物体検出装置 |
| JP2007081806A (ja) | 2005-09-14 | 2007-03-29 | Konica Minolta Holdings Inc | 撮像システム |
| JP2008066798A (ja) | 2006-09-04 | 2008-03-21 | Sumitomo Electric Ind Ltd | 遠赤外線撮像システム及び遠赤外線撮像方法 |
| JP2008241491A (ja) | 2007-03-28 | 2008-10-09 | Hitachi Ltd | 3次元計測装置 |
| JP2009017020A (ja) | 2007-07-02 | 2009-01-22 | Nissan Motor Co Ltd | 画像処理装置及び表示画像生成方法 |
| US20110134249A1 (en) | 2009-12-04 | 2011-06-09 | Lockheed Martin Corporation | Optical Detection and Ranging Sensor System For Sense and Avoid, and Related Methods |
| JP2011169853A (ja) | 2010-02-22 | 2011-09-01 | Ricoh Co Ltd | 距離画像取得装置 |
| JP2011232975A (ja) | 2010-04-28 | 2011-11-17 | Konica Minolta Opto Inc | 画像処理装置、周辺監視システム、および、プログラム |
| JP2012044317A (ja) | 2010-08-16 | 2012-03-01 | Fujitsu Semiconductor Ltd | 画像処理装置、撮像装置、及び画像処理方法 |
| JP2012147281A (ja) | 2011-01-13 | 2012-08-02 | Ricoh Co Ltd | 画像処理装置 |
| JP2017062173A (ja) | 2015-09-25 | 2017-03-30 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| WO2018101055A1 (ja) | 2016-11-30 | 2018-06-07 | 日立オートモティブシステムズ株式会社 | 画像補正装置および画像補正方法 |
| JP2019028633A (ja) | 2017-07-28 | 2019-02-21 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
| JP2021039018A (ja) | 2019-09-04 | 2021-03-11 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
| JP2021044764A (ja) | 2019-09-13 | 2021-03-18 | 日立オートモティブシステムズ株式会社 | 画像処理装置、及びそれを用いたステレオカメラ装置 |
| JP2021072601A (ja) | 2019-11-01 | 2021-05-06 | キヤノン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5172314B2 (ja) * | 2007-12-14 | 2013-03-27 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| WO2011010438A1 (ja) | 2009-07-22 | 2011-01-27 | パナソニック株式会社 | 視差検出装置、測距装置及び視差検出方法 |
| JP6197291B2 (ja) * | 2012-03-21 | 2017-09-20 | 株式会社リコー | 複眼カメラ装置、及びそれを備えた車両 |
| JP2015148887A (ja) * | 2014-02-05 | 2015-08-20 | 株式会社リコー | 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム |
| JP6427900B2 (ja) | 2014-03-07 | 2018-11-28 | 株式会社リコー | 校正方法、校正システム、プログラム及び移動体 |
| JP7057090B2 (ja) * | 2017-10-11 | 2022-04-19 | キヤノン株式会社 | 測距装置および測距方法 |
| US11182916B2 (en) * | 2018-12-28 | 2021-11-23 | Nvidia Corporation | Distance to obstacle detection in autonomous machine applications |
| JP7371053B2 (ja) * | 2021-03-29 | 2023-10-30 | キヤノン株式会社 | 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体 |
-
2022
- 2022-03-15 US US18/836,304 patent/US20250159122A1/en active Pending
- 2022-03-15 DE DE112022006340.8T patent/DE112022006340T5/de active Pending
- 2022-03-15 WO PCT/JP2022/011524 patent/WO2023175708A1/ja not_active Ceased
- 2022-03-15 JP JP2024507242A patent/JP7769779B2/ja active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007024590A (ja) | 2005-07-13 | 2007-02-01 | Toyota Motor Corp | 物体検出装置 |
| JP2007081806A (ja) | 2005-09-14 | 2007-03-29 | Konica Minolta Holdings Inc | 撮像システム |
| JP2008066798A (ja) | 2006-09-04 | 2008-03-21 | Sumitomo Electric Ind Ltd | 遠赤外線撮像システム及び遠赤外線撮像方法 |
| JP2008241491A (ja) | 2007-03-28 | 2008-10-09 | Hitachi Ltd | 3次元計測装置 |
| JP2009017020A (ja) | 2007-07-02 | 2009-01-22 | Nissan Motor Co Ltd | 画像処理装置及び表示画像生成方法 |
| US20110134249A1 (en) | 2009-12-04 | 2011-06-09 | Lockheed Martin Corporation | Optical Detection and Ranging Sensor System For Sense and Avoid, and Related Methods |
| JP2011169853A (ja) | 2010-02-22 | 2011-09-01 | Ricoh Co Ltd | 距離画像取得装置 |
| JP2011232975A (ja) | 2010-04-28 | 2011-11-17 | Konica Minolta Opto Inc | 画像処理装置、周辺監視システム、および、プログラム |
| JP2012044317A (ja) | 2010-08-16 | 2012-03-01 | Fujitsu Semiconductor Ltd | 画像処理装置、撮像装置、及び画像処理方法 |
| JP2012147281A (ja) | 2011-01-13 | 2012-08-02 | Ricoh Co Ltd | 画像処理装置 |
| JP2017062173A (ja) | 2015-09-25 | 2017-03-30 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| WO2018101055A1 (ja) | 2016-11-30 | 2018-06-07 | 日立オートモティブシステムズ株式会社 | 画像補正装置および画像補正方法 |
| JP2019028633A (ja) | 2017-07-28 | 2019-02-21 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
| JP2021039018A (ja) | 2019-09-04 | 2021-03-11 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
| JP2021044764A (ja) | 2019-09-13 | 2021-03-18 | 日立オートモティブシステムズ株式会社 | 画像処理装置、及びそれを用いたステレオカメラ装置 |
| JP2021072601A (ja) | 2019-11-01 | 2021-05-06 | キヤノン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2023175708A1 (ja) | 2023-09-21 |
| US20250159122A1 (en) | 2025-05-15 |
| DE112022006340T5 (de) | 2024-10-31 |
| WO2023175708A1 (ja) | 2023-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10701341B2 (en) | Calibration method, calibration device, and computer program product | |
| CN107122770B (zh) | 多目相机系统、智能驾驶系统、汽车、方法和存储介质 | |
| JP6602982B2 (ja) | 車載カメラ、車載カメラの調整方法、車載カメラシステム | |
| US20160379066A1 (en) | Method and Camera System for Distance Determination of Objects from a Vehicle | |
| JP2021025868A (ja) | ステレオカメラ | |
| CN105579289A (zh) | 具有自身运动检测的成像系统和方法 | |
| CN114252887A (zh) | 求取环境感测系统运行参数的方法、环境感测系统和控制器 | |
| JP7525936B2 (ja) | 確信度推定値を有する深度マップを提供するための方法およびシステム | |
| WO2023067867A1 (ja) | 車載制御装置、および、3次元情報取得方法 | |
| US20140055641A1 (en) | System for recognizing surroundings of vehicle | |
| WO2011016257A1 (ja) | 車両用距離算出装置 | |
| JP6808753B2 (ja) | 画像補正装置および画像補正方法 | |
| JP7769779B2 (ja) | 外界認識装置、および、外界認識方法 | |
| JP2007293672A (ja) | 車両用撮影装置、車両用撮影装置の汚れ検出方法 | |
| JP7122394B2 (ja) | 撮像部制御装置 | |
| JP7492599B2 (ja) | 車載カメラ装置 | |
| WO2019058755A1 (ja) | 物体距離検出装置 | |
| WO2017122688A1 (ja) | 車載カメラのレンズ異常検出装置 | |
| JP2017116321A (ja) | 車載ステレオカメラ用のキャリブレーション装置 | |
| JP7652897B2 (ja) | 画像処理装置、および、画像処理方法 | |
| JP4539400B2 (ja) | ステレオカメラの補正方法、ステレオカメラ補正装置 | |
| JP7207889B2 (ja) | 測距装置および車載カメラシステム | |
| WO2025099908A1 (ja) | 画像処理装置 | |
| JP2025034985A (ja) | 画像処理装置及び画像処理方法 | |
| WO2024150480A1 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250527 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20250725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20251007 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20251031 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7769779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |