JP6151535B2 - パラメータ取得装置、パラメータ取得方法及びプログラム - Google Patents
パラメータ取得装置、パラメータ取得方法及びプログラム Download PDFInfo
- Publication number
- JP6151535B2 JP6151535B2 JP2013037064A JP2013037064A JP6151535B2 JP 6151535 B2 JP6151535 B2 JP 6151535B2 JP 2013037064 A JP2013037064 A JP 2013037064A JP 2013037064 A JP2013037064 A JP 2013037064A JP 6151535 B2 JP6151535 B2 JP 6151535B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- camera
- vector
- deriving
- installation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000009434 installation Methods 0.000 claims description 115
- 239000013598 vector Substances 0.000 claims description 90
- 238000011156 evaluation Methods 0.000 claims description 46
- 238000009795 derivation Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 24
- 239000000203 mixture Substances 0.000 description 22
- 238000012545 processing Methods 0.000 description 19
- 239000002131 composite material Substances 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 239000000284 extract Substances 0.000 description 8
- 239000003550 marker Substances 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 239000013256 coordination polymer Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
図1は、本実施の形態のパラメータ取得装置の使用場面の一例を示す図である。車両(本実施の形態では自動車)9に搭載された車載装置2は、車両9が備える複数のカメラ5で得られた複数の撮影画像を用いて合成画像を生成し、車両9の車室内に表示する機能を有している。
図2は、車両9における複数のカメラ5の位置と光軸の方向(設計上の方向)とを示す図である。複数のカメラ5はそれぞれ、レンズと撮像素子とを備えており、車両9の周辺の撮影画像を電子的に取得する。複数のカメラ5はそれぞれ、車載装置2とは別に車両9の適位置に配置され、取得した撮影画像を車載装置2に入力する。
図3は主に、車載装置2の構成を示す図である。図に示すように、車載装置2は、4つのカメラ5と通信可能に接続されている。車載装置2は、4つのカメラ5でそれぞれ得られた4つの撮影画像を合成して仮想視点からみた車両9の周辺の様子を示す合成画像を生成し、この合成画像を表示する。車載装置2は、この合成画像を生成する際に、キャリブレーション処理で得られた設置パラメータを利用する。
次に、画像合成部23が合成画像を生成する手法について説明する。図4は、画像合成部23が合成画像を生成する手法を説明する図である。
次に、車載装置2が設置パラメータ24aを取得するキャリブレーション処理の流れについて説明する。図7は、キャリブレーション処理の流れを示す図である。このキャリブレーション処理は、図1に示すような複数の被写体点Pa〜Phを含む被写体が車両9の周辺に存在している状態で、作業員が操作部25を介して所定の操作を車載装置2に行い、さらに、車両9を走行させた場合に実行される。作業員は、クリープ現象を利用して比較的低速に車両9の前後方向に沿って車両9を走行(すなわち、直進)させる。
次に、パラメータ導出処理(ステップS17)の詳細について説明する。パラメータ導出処理では、車両9を基準とした車両座標系(ワールド座標系)と、注目カメラ5を基準としたカメラ座標系(ローカル座標系)とが用いられる。図10は、車両座標系とカメラ座標系との関係を示す図である。
以上のように、本実施の形態の車載装置2では、画像取得部22が、車両9が備えるカメラ5で車両9の走行中の異なる時点に撮影された2つの撮影画像を取得する。車載装置2のフロー抽出部21aは、2つの撮影画像間での特徴点の動きを示す複数のオプティカルフローOPを抽出し、複数のオプティカルフローOPを車両9を基準とした車両座標系の複数のベクトルVにそれぞれ変換する。そして、パラメータ導出部21cは、複数のベクトルVに基いて、カメラ5の設置に関する設置パラメータを導出する。
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
5 カメラ
9 車両
21 制御部
22 画像取得部
24a 設置パラメータ
24b プログラム
Claims (6)
- カメラに関するパラメータを取得するパラメータ取得装置であって、
車両が備えるカメラで前記車両の直進走行中の異なる時点に撮影された複数の撮影画像を取得する取得手段と、
前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する手段と、
前記複数の撮影画像間での特徴点の動きを示す第1ベクトルを抽出する抽出手段と、
前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第1ベクトルを前記車両を基準とした車両座標系の第2ベクトルに変換する変換手段と、
前記第2ベクトルが前記車両の前後方向に一致するほど小さくなる第1変数と、前記第2ベクトルの長さが前記移動距離と一致するほど小さくなる第2変数とを用いて評価値を導出する手段と、
前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する導出手段と、
を備えることを特徴とするパラメータ取得装置。 - カメラに関するパラメータを取得するパラメータ取得装置であって、
車両が備えるカメラで前記車両の旋回走行中の異なる時点に撮影された複数の撮影画像を取得する取得手段と、
前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する手段と、
前記車両の舵角とホイールベースの長さとに基づいて前記車両の旋回中心を定め、該旋回中心を中心とした前記車両の旋回角度を、前記移動距離に基づいて導出する手段と、
前記複数の撮影画像間での特徴点の動きを示す第1ベクトルを抽出する抽出手段と、
前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第1ベクトルを前記車両を基準とした車両座標系の第2ベクトルに変換する変換手段と、
前記第2ベクトルの始点及び終点、並びに、前記旋回中心で形成される三角形の該旋回中心に対応する頂点の内角が、前記旋回角度に一致するほど小さくなる評価値を導出する手段と、
前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する導出手段と、
を備えることを特徴とするパラメータ取得装置。 - カメラに関するパラメータを取得するパラメータ取得方法であって、
(a)車両が備えるカメラで前記車両の直進走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、
(b)前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、
(c)前記複数の撮影画像間での特徴点の動きを示す第1ベクトルを抽出する工程と、
(d)前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第1ベクトルを前記車両を基準とした車両座標系の第2ベクトルに変換する工程と、
(e)前記第2ベクトルが前記車両の前後方向に一致するほど小さくなる第1変数と、前記第2ベクトルの長さが前記移動距離と一致するほど小さくなる第2変数とを用いて評価値を導出する工程と、
(f)前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、
を備えることを特徴とするパラメータ取得方法。 - カメラに関するパラメータを取得するパラメータ取得方法であって、
(a)車両が備えるカメラで前記車両の旋回走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、
(b)前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、
(c)前記車両の舵角とホイールベースの長さとに基づいて前記車両の旋回中心を定め、該旋回中心を中心とした前記車両の旋回角度を、前記移動距離に基づいて導出する工程と、
(d)前記複数の撮影画像間での特徴点の動きを示す第1ベクトルを抽出する工程と、
(e)前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第1ベクトルを前記車両を基準とした車両座標系の第2ベクトルに変換する工程と、
(f)前記第2ベクトルの始点及び終点、並びに、前記旋回中心で形成される三角形の該旋回中心に対応する頂点の内角が、前記旋回角度に一致するほど小さくなる評価値を導出する工程と、
(g)前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、
を備えることを特徴とするパラメータ取得方法。 - コンピュータによって実行可能なプログラムであって、
前記コンピュータに、
(a)車両が備えるカメラで前記車両の直進走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、
(b)前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、
(c)前記複数の撮影画像間での特徴点の動きを示す第1ベクトルを抽出する工程と、
(d)前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第1ベクトルを前記車両を基準とした車両座標系の第2ベクトルに変換する工程と、
(e)前記第2ベクトルが前記車両の前後方向に一致するほど小さくなる第1変数と、前記第2ベクトルの長さが前記移動距離と一致するほど小さくなる第2変数とを用いて評価値を導出する工程と、
(f)前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、
を実行させることを特徴とするプログラム。 - コンピュータによって実行可能なプログラムであって、
前記コンピュータに、
(a)車両が備えるカメラで前記車両の旋回走行中の異なる時点に撮影された複数の撮影画像を取得する工程と、
(b)前記複数の撮影画像それぞれの撮影時点の相互間と前記車両の速度とに基づいて、前記車両が移動した移動距離を導出する工程と、
(c)前記車両の舵角とホイールベースの長さとに基づいて前記車両の旋回中心を定め、該旋回中心を中心とした前記車両の旋回角度を、前記移動距離に基づいて導出する工程と、
(d)前記複数の撮影画像間での特徴点の動きを示す第1ベクトルを抽出する工程と、
(e)前記カメラの設置に関する設置パラメータの仮値に基づいて、前記第1ベクトルを前記車両を基準とした車両座標系の第2ベクトルに変換する工程と、
(f)前記第2ベクトルの始点及び終点、並びに、前記旋回中心で形成される三角形の該旋回中心に対応する頂点の内角が、前記旋回角度に一致するほど小さくなる評価値を導出する工程と、
(g)前記評価値が最も小さくなる前記仮値を、前記設置パラメータとして導出する工程と、
を実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013037064A JP6151535B2 (ja) | 2013-02-27 | 2013-02-27 | パラメータ取得装置、パラメータ取得方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013037064A JP6151535B2 (ja) | 2013-02-27 | 2013-02-27 | パラメータ取得装置、パラメータ取得方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014165810A JP2014165810A (ja) | 2014-09-08 |
| JP6151535B2 true JP6151535B2 (ja) | 2017-06-21 |
Family
ID=51616014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013037064A Expired - Fee Related JP6151535B2 (ja) | 2013-02-27 | 2013-02-27 | パラメータ取得装置、パラメータ取得方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6151535B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017139612A (ja) * | 2016-02-03 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 車載カメラ用校正システム |
| JP2017158142A (ja) * | 2016-03-04 | 2017-09-07 | 株式会社デンソー | キャリブレーション装置 |
| JP6768554B2 (ja) * | 2017-02-22 | 2020-10-14 | クラリオン株式会社 | キャリブレーション装置 |
| JP6798926B2 (ja) * | 2017-04-13 | 2020-12-09 | クラリオン株式会社 | 車載カメラのキャリブレーション装置 |
| JP6932058B2 (ja) * | 2017-10-11 | 2021-09-08 | 日立Astemo株式会社 | 移動体の位置推定装置及び位置推定方法 |
| JP7137464B2 (ja) * | 2018-12-26 | 2022-09-14 | 株式会社デンソーアイティーラボラトリ | カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム |
| JP7445415B2 (ja) * | 2019-05-29 | 2024-03-07 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3776094B2 (ja) * | 2002-05-09 | 2006-05-17 | 松下電器産業株式会社 | 監視装置、監視方法および監視用プログラム |
| JP4879031B2 (ja) * | 2007-01-11 | 2012-02-15 | 三洋電機株式会社 | 運転支援システム、画像処理装置及びずれ検出方法 |
| JP2009129001A (ja) * | 2007-11-20 | 2009-06-11 | Sanyo Electric Co Ltd | 運転支援システム、車両、立体物領域推定方法 |
| JP2011217233A (ja) * | 2010-04-01 | 2011-10-27 | Alpine Electronics Inc | 車載カメラ校正システム及びコンピュータプログラム |
| JP5820787B2 (ja) * | 2012-08-30 | 2015-11-24 | 株式会社デンソー | 画像処理装置、及びプログラム |
-
2013
- 2013-02-27 JP JP2013037064A patent/JP6151535B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014165810A (ja) | 2014-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7245295B2 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| JP6151535B2 (ja) | パラメータ取得装置、パラメータ取得方法及びプログラム | |
| JP5341789B2 (ja) | パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム | |
| CN111819571B (zh) | 具有经调整适配的投影面的全景环视系统 | |
| JP4636346B2 (ja) | 車載カメラの校正装置、方法、及びプログラム | |
| JP6603094B2 (ja) | キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム | |
| KR101617956B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
| CN103502876B (zh) | 用于校正车辆的投影装置的方法和设备 | |
| JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
| CN103426160B (zh) | 数据导出装置及数据导出方法 | |
| CN105453558B (zh) | 车辆周边监视装置 | |
| JP2018531530A6 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| JP6375633B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
| JP6776440B2 (ja) | 動力車両を運転する際に動力車両のドライバーを支援する方法、ドライバー支援システム及び動力車両 | |
| JP2011182236A (ja) | カメラキャリブレーション装置 | |
| JP2021516390A5 (ja) | ||
| US20170024851A1 (en) | Panel transform | |
| JP7074546B2 (ja) | 画像処理装置および方法 | |
| JP5173551B2 (ja) | 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法 | |
| JPWO2020022373A1 (ja) | 運転支援装置および運転支援方法、プログラム | |
| JP4681432B2 (ja) | 車載周辺画像表示装置 | |
| US12080075B2 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings | |
| KR20180021822A (ko) | 후방 교차 교통-퀵 룩스 | |
| JP2008085710A (ja) | 運転支援システム | |
| JP6855254B2 (ja) | 画像処理装置、画像処理システム、及び、画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170516 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6151535 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |