JP5483945B2 - カメラ調整方法及び装置 - Google Patents

Description

本発明は例えば車両周囲を複数のカメラで撮影して車両上方に視点のある１枚の画像に合成して表示する際、各カメラの撮影画像が適正に入力することができるように、予め調整を行うための、カメラ調整方法及び装置に関する。

車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には周囲の物体と自車両をこする等の事故を発生することもある。また、車両を車庫や駐車場から出すときも、周囲の物体や人間には十分注意する必要がある。更に、車庫や駐車場の出入り以外にも、極めて狭い道路の走行時や狭い道路での対向車とのすれ違いにおける周囲の物体との接触や、溝に車輪が落ちないようにする、等の車両の周囲に十分注意を要する場合も多い。

その対策として、近年車両に広く搭載されるようになっている、車両の後方を撮影してモニタに表示し、車庫入れや駐車を容易にする後方撮影用カメラ、車両の前方両側を撮影して車両が見通しの悪い狭い道路から出るときに、先方の道路を走行する車両等を確認する車両側方撮影用カメラ等の、車外撮影カメラを利用し、車両周囲の状況を監視し、充分確認しながら運転することも行われている。

しかしながら、このような車外撮影カメラとして超広角カメラを用いたとしても、例えば車両を後退させながら車庫入れ等を行うとき、車両後側方周囲に障害物があるときには、車両の後退とともに後方撮影用カメラの視界外になり、その障害物の状態を知ることができなくなる。その対策として、車両の両側にも超広角カメラを設け、前記のような後方撮影用カメラの視界外部分を側方撮影カメラによって見ることができるようにすることも考えられる。

しかし上記のような超広角カメラの画像では、撮影画像の中心部と周辺部とでは物体の見え方が大きく異なり、単に撮影画像を見ているだけでは、その物体と車両との位置関係が明確ではなく、予期しない衝突や接触事故を生じることがある。特に後方撮影用カメラでの画像から側方撮影用カメラの画像に切り換えたとしても、そのときに画面に表示される障害物等の物体の画像はその大きさや形状及び位置が大きく異なり、実際の物体の状態を把握することは容易ではない。

そのため、車両に複数の車外撮影用カメラを搭載し、それらのカメラで撮影した画像を合成し、あたかも車両の上方に設置したカメラから車両の周囲を撮影しているような画像を形成してモニタに表示することが提案され実施されている。そのような複数のカメラを用いる際には例えば図７に示すように、車両の右側を撮影する車両右側撮影用カメラＣＲ、車両の左側を撮影する車両左側撮影用カメラＣＬ、車両の後方を撮影する車両後方撮影用カメラＣＢ、車両の前側を撮影する車両前方撮影用カメラＣＦの合計４個のカメラを搭載して、これらのカメラの全ての画像を合成し、例えば図７（ｃ）に略示するように、あたかも車両の真上に設けた１つのカメラにより車両の全周囲を撮影しているような画像をモニタに表示することが提案され実施されている。

この方式はトップビューシステムともいわれ、車両の外部を撮影するカメラは必要に応じて２個、３個と適宜選択し、また設置位置も種々の位置に選択して設置することができる。また、車両に搭載した前記のような種々のカメラの撮影画像は、前記のようなトップビューによる画像表示を行う以外に、個々のカメラによって従来のように後視用カメラ、側方監視用カメラとして個々の撮影画像を表示させるために切り替え表示を行う等、種々の画像表示を行うことができるため、マルチビューシステムと呼ばれることもある。

上記のようなトップビューシステムにおいて、車両に搭載した各カメラは予め決められた位置に設置され、その撮影方向は上下方向及び左右方向において所定の角度となるように設置する。このことを前提にして画像合成部では各撮影画像を特定の平面の画像に変換するためのマッピングテーブル等を用いて所定の座標変換を行い、最終的に各カメラの画像の表示領域を決めて１つの平面画像とする。

したがって、車両に搭載した各カメラの設置状態が変われば、撮影した画像は所定の座標と異なるため、座標変換に際しては正規の画像を得ることができなくなり、最終的に各カメラの撮影画像を組み合わせるとき、結合部分での画像が連続的ではなくなって、全体として正しい１枚の平面画像を得ることができなくなる。そのためこのようなトップビューシステムによる画像表示ではユーザにとって極めて見にくい画像とならざるを得ない。

特に、このようなトップビューシステムを備えた車両を工場の生産ラインから出荷するときには、生産ラインにおいて各カメラは精密に取り付けることができ、また大型の精密な装置によって正しいトップビューの画像が得られているかの検査を行い、適切でないときにはカメラの取り付け調整、及び画像処理システムにおける調整部を調整して適正なトップビュー画像を得ることができる。

しかしながら、このようにして生産ラインから出荷されてユーザの手に渡った車両でも、例えばサイドミラー先端に取り付けられたカメラ等では、車両の側部に突出していることもあり、サイドミラーの各種物体との接触等によって撮影方向がずれてしまうことがある。また、車両に設置する他のカメラにおいても、車両の接触事故や衝撃等によりカメラの設置状態が変化することもある。このような撮影方向のずれは、トップビュー画像における大きなずれとなり、見にくい画像とならざるを得ない。

また、このようなトップビューシステムは必ずしも工場の出荷時に車両に搭載されるとは限らず、自動車メーターのディーラーにおいてオプションで取り付けることも考えられる。その際にはディーラーの工場においてカメラの取り付け、システムの調整を行うこととなるが、ディーラーでこのような調整を行うときには大がかりな調整装置を備えることはできず、カメラを取り付けた後、トップビュー画像を実際に見ながら、画像合成部分の調整を行い、取り付けたカメラの位置及び撮影角度に合った調整を、各カメラ毎に行わなければならず、その作業には多くの時間と手間を要する。

ディーラーによる前記のような調整作業は、ディーラーオプションとしてこのトップビューシステムを取り付けるとき以外に、前記のように実際に車両に搭載して使用しているとき、次第にカメラの撮影方向が変化し、或いは事故により大きく変化し、或いは特定のカメラ等を取り付け直しをしなければならなくなることもある。その際にも各ディーラ等で前記作業を行わなければならず、したがってこのような調整を容易に行うことができるようにすることがこのシステムの普及にとって大きな問題となる。

なお、撮像装置の設置状態を自動的に計測して画像処理装置の動作に使用するため、車両に撮像装置を取り付ける際に撮像装置の光軸調整を行う必要が無く、かつ撮像装置の取り付け高さや角度の異なる車種の車両へも同一の撮像装置および画像処理装置を取り付けることを可能とするカメラの調節方法は、特開２００１−１１６５１５号公報（特許文献１）に開示されている。

特開２００１−１１６５１５号公報

前記のようなトップビューシステムでの各カメラの調整手法としては種々のものが提案されているが、その一つとして例えば図６に示すような調整手法が提案されている。即ちこの調整手法は同図（ａ）に示すような車両Ｃの前後左右に設けたカメラＣＦ、ＣＬ、ＣＢ、ＣＲによって撮影した画像を所定の画像合成ラインで合成し、それぞれの撮影画像範囲ＳＦ、ＳＬ、ＳＢ、ＳＲによって１枚のトップビュー画像を形成している時、図６（ｂ）に示すような、平板状の調整板ＢＤの表面に、Ｐ１〜Ｐ８で示す図中８個の黒丸で示す円形マークＰＭを付与すると共に、調整板ＢＤの周囲に枠取りマークＦＭを付与している。なお、この円形マークは前記のような８個に限らず、１２個等の任意の数を付与することができる。

これらの円形マークＰＭはこれをカメラで撮影する時、その撮影画像から各円の中心点を演算することができ、それによりこの調整板ＢＤにおける各円の中心点の位置座標を特定することができる。また枠取りマークＦＭはこれをカメラで撮影する時、その４隅の点Ａ、Ｂ、Ｃ、Ｄの位置座標を特定することができる。図示の調整板ＢＤにおいては横の長さがａ、縦がｂであり、各円形マークＰＭの横方向中心間距離がｃで、各円形マークＰＭの両脇に枠取りマークＦＭ迄それぞれ距離ｄになるように形成した例を示している。また、各円形マークＰＭの縦方向中心間距離はｅで、各円形マークＰＭの両脇に枠取りマークＰＭ迄それぞれ距離ｄになるように形成した例を示している。

例えば車両のサービス工場等において各カメラの調整を行うに際しては、上記のような調整板ＢＤを、車両が停止している状態の所定位置に配置する。その際の所定位置の設定手法には種々の手法が考えられるが、例えば図６（ｃ）のようにして、調整板ＢＤの設置位置を予め規定しておくことができる。即ち同図の例においては、フロントカメラＣＦの調整のために、フロントカメラ撮影画像範囲ＳＦ内の所定位置ＹＢＤＦに、調整板ＢＤの４隅に対応する位置であるＦＡ、ＦＢ、ＦＣ、ＦＤの位置を設定する。なお、これらの位置の設定に際しては、車両の特定部分の位置、カメラに対する位置等によって種々の態様で設定することができる。

同様に、左側カメラＣＬの調整のために、左側カメラ撮影画像範囲ＳＬ内の所定位置ＹＢＤＬに、調整板ＢＤの４隅に対応する位置であるＬＡ、ＬＢ、ＬＣ、ＬＤの位置を設定し、後部カメラＣＢの調整のために、後部カメラ撮影画像範囲ＳＢ内の所定位置ＹＢＤＢに、調整板ＢＤの４隅に対応する位置であるＢＡ、ＢＢ、ＢＣ、ＢＤの位置を設定し、右側カメラＣＲの調整のために、右側カメラ撮影画像範囲ＳＲ内の所定位置ＹＢＤＲに、調整板ＢＤの４隅に対応する位置であるＲＡ、ＲＢ、ＲＣ、ＲＤの位置を設定しておく。

実際のカメラの調整に際しては図６（ｄ）に示すように、調整すべきカメラの撮影範囲の前記所定位置に調整板ＢＤを設置し、調整板ＢＤ上に表示されている前記のような円形マークを撮影して、マークの写る状態が所定の状態とどのように、またどの程度異なっているかを演算することによって、現在のカメラの取り付け状態で、本来のカメラの取り付け状態の画像とするための補正値を演算して記憶する。図６（ｄ）には全てのカメラの調整を行う時の図を示しているが、調整すべきカメラに対してのみ前記の手法によって調整を行えばよい。以降は撮影画像にその補正値を用いて補正することにより、各カメラの撮影画像にひずみが無く、特に各カメラの撮影画像の合成部において、適正に画像が合成されるようにしている。

前記のような従来の調整板ＢＤを用いた調整は、調整板ＢＤを所定の位置に設置した後、実際に各カメラでこの調整板を撮影し、所定の計測を行う必要があるが、その際にこの調整作業を例えばディーラーの工場等で行う際、工場内の照明の配置等によって、調整板全体を明瞭に撮影することができず、一部の円形マークのみが明瞭に撮影されるのに対して、他の部分の円形マークは不明瞭に撮影されることがある。その時には１枚の調整板に表示される円形マーク全体によって調整用データを得ることができず、実質的に適正な調整を行うことができなくなる。即ち、工場内の照明の配置によって、調整板の一部が暗過ぎ、或いは明る過ぎ、更には調整板への照明の反射光による特定部分の画像の飛び等によって、調整板全体を適正に撮影することができないことがある。

このような調整板の撮影画像の不適正な状態は、前記のような工場内の照明の配置の問題のほか、調整板の配置が大きくずれている時等種々の状態が考えられる。したがって、この調整板を用いてカメラのキャリブレーション、即ち調整を行う作業者にとって、調整作業中に適切な調整が行われないとき、その原因が何であるかを知るのに各種の試行錯誤を重ねて原因を調べていく必要がある。特にこの調整作業に未だ不慣れな作業者にとっては多くの手数を必要とし、困難な作業となってしまうことが考えられる。なお、このような調整板を用いてカメラの調整を行うときの問題は、前記のような多数の円形マークを用いて調整をするとき以外に、従来から提案されている各種のマークを付与した調整板を用いるときにも同様の問題を生じる。

したがって本発明は、カメラの調整作業を調整板の撮影画像を用いて調整する際、その調整板が適正に撮影されないとき、その原因を調べ、調整板の撮影状態の案内と、適正に撮影できるようにする対策を案内することができ、作業者がこれにより現在の調整状態がどのようになっているかを容易に把握することができると共に、調整の対策の案内にしたがって、容易に適正な撮影画像を得ることができるようにしたカメラ調整方法及び装置を提供することを主たる目的とする。

本発明に係るカメラ調整方法は、前記課題を解決する為、車外を撮影するカメラによる調整板の撮影画像を入力し、前記調整板の撮影画像が適正に撮影されているか否かを判別し、前記判別の結果適正に撮影されていないと判別したとき、適正ではない調整板の状態と、適正にする対策を案内出力し、前記適正に撮影されていない原因が調整板の画像の輝度のむらであるとき、カメラで撮影した画像の輝度を変更し、適正に撮影されていない部分が適正になったとき、先のカメラの撮影画像と、輝度を変更して適正になった撮影画像とを画像合成し、１枚の適正な調整板画像を形成することを特徴とする。

本発明に係るカメラ調整装置は、前記課題を解決する為、車外を撮影する調整の対象となるカメラと、前記カメラによって撮影する領域の所定位置に配置した調整板を撮影した画像を入力する調整カメラ撮影画像入力部と、前記調整板を撮影した画像が適正に撮影されているか否かを判別する調整板適正撮影判別部と、前記調整板適正撮影判別部で調整板が適正に撮影されていないと判別したとき、その原因を検出する調整板不適正撮影原因検出部と、前記適正に撮影されていない調整板の案内と、前記調整板不適正撮影原因検出部で検出した原因に対応する対策の案内とを出力する調整板撮影適正化操作案内出力部とを備え、前記調整板不適正撮影原因検出部には、適正に撮影されていない原因が調整板に対する照明であることを検出する照明不適正検出部を備え、更に、前記照明不適正検出部で照明が原因であることを検出したとき、前記カメラで撮影した画像の輝度を変更する画像輝度変更部と、前記画像輝度変更部で輝度を変更することにより、前記適正に撮影されていない部分が適正になったことを検出する調整板不適正撮影部分適正化検出部と、
前記カメラの撮影画像と、前記輝度を変更して適正になった撮影画像とを画像合成し、１枚の適正な調整板画像を形成する調整板適正画像合成処理部とを備えたことを特徴とする。

本発明は上記のように構成したので、カメラの調整作業を調整板の撮影画像を用いて調整する際、その調整板が適正に撮影されないとき、その原因を調べ、調整板の撮影状態とその対策を作業者に知らせることができ、調整作業を容易に、且つ確実に行うことができる。また調整板が適正に撮影されない原因が照明であるときには、自動的に輝度調整を行って適正ではなかった部分が適正になった画像を形成することができ、先のカメラの画像と合成して１枚の調整板の画像を得ることができ、調整板の調整を作業者が作業することなく、自動的に行うことができるようになる。

本発明の実施例の機能ブロック図である。 同実施例の全体の作動を示す作動フロー図である。 図２のステップＳ８における処理を行う作動フロー図である。 同実施例のモニタへの表示例を示す図である。 同実施例のモニタへの他の表示例を示す図である。 調整板を撮影して調整を行う例を示す図である。 従来のトップビューシステムの説明図である。

本発明の実施例を図面に沿って説明する。図１は本発明の機能ブロック図であり、本発明を各種の態様で実施することができるようにした例を示しており、必要に応じて適宜の機能を用いて各種態様を実施することができるようにしている。図１に示すカメラ調整装置には、前記図７に示すような車両の外を撮影する前後左右４個のカメラ１１を備え、それぞれの撮影画像を、マルチ画像処理部１０における、各カメラに対応したカメラ画像入力部１２で入力し、各カメラ画像に対してカメラ画像処理部１３で画像処理を行い、表示画像種別選択表示処理部１４に入力している。

表示画像種別選択表示処理部１４では、車両の前後左右に設けたカメラについて、例えば後視カメラによって車両の後退時に車両後部の画像を表示する処理を行い、或いは車両側部のカメラによって側溝のある細い道路でのすれ違いのために、車両側部下方の画像を表示する処理を行う等、それぞれのカメラ単独の撮影画像を表示する機能を単独カメラ撮影画像形成部１５で行っている。

また、これらの複数の画像を合成して種々の合成画像を形成する、複数カメラ撮影画像合成処理部１６を備え、その代表的な画像合成処理としてトップビュー画像処理部１７を示している。表示画像種別選択表示処理部１４における各種の画像処理に際して、カメラの設置状態が異なることにより所望の画像を得ることができないため、その調整を行うための画角調整部１８を備えており、特にトップビューシステムのように、多数のカメラの画像を適正に合成するためには、各カメラの撮影画像の基準となる所定の画角を備えていることが必要であるため、その画角をカメラ毎に調節することができる画角調整部１８は特に必要となる。

この画角調整部１８は、後述する画角調整値演算部２５が、各カメラによる調整板の画像を入力し、所定の演算方式によって画角を演算して、その値を画角調整部１８に出力する。画角調整部１８がその値を最新の画角として記憶し、各種画像を形成する際に、カメラの画像の補正値として利用する。

画像表示出力部２０からは、表示画像種別選択表示処理部１４で処理された各種画像をモニタ２２に出力するものであるが、特に合成画像表示出力部２１は、前記複数カメラ撮影画像合成処理部１６で処理された合成画像をモニタに出力する。なお、図示のモニタ２２には、後述する調整板を撮影することにより各カメラの調整を行う時の画面表示に際して、調整板撮影適正化操作案内出力部３７から、操作案内を出力表示している例を示している。

前記のように、表示画像種別選択表示処理部１４における、各カメラの画角を調整するための画角調整部１８に、現在の適正な画角データを記録するため、調整カメラ選択指示入力部２３からの作業者の指示に従って、或いは作業手順によって自動的に指示される調整カメラの選択指示信号により、調整カメラ撮影画像選択入力部２４は、前後左右のカメラ画像処理部１３の画像を選択して入力する。

調整カメラ撮影画像選択入力部２４で入力した特定のカメラの撮影画像について、調整板撮影画像分析部２６は、特に各カメラで調整板を撮影しているカメラ調整中に、撮影された調整板の画像を分析する。この時の分析手法は任意に設定することができるが、例えば撮影された調整板における全ての円形マークが適正に撮影されているか、或いは調整板の設置誤差が大きすぎないか、等の分析を行う。

調整板撮影画像分析部２６で分析したデータにより、例えば図４のカメラ調整時のモニタ画面に示すように、車両の左側カメラの調整選択中において、車両の左側の所定位置に設置している調整板の撮影画像を分析した結果、黒丸で示した部分は適正に撮影していることにより認識できたのに対して、白丸で示した部分は適正に撮影されていないため認識できないという分析がされたとき、調整板適正撮影判別部２７では、入力した調整板の撮影画像は適正ではなく、現在は調整板による調整作業を行うことができない状態にあるという判別を行う。

また、このとき調整板不適正撮影原因検出部３１は、調整板適正撮影判別部２７で撮影画像が不適正であると判別した原因を検出する。その際に調整板不適正撮影原因検出部３１では、予め入力し記録している調整板不適正撮影分析データベース２８のデータを読み込み、調整板適正撮影判別部２７で不適正と判別した原因を分析し、その原因を検出する。特に照明不適正検出部３２では、調整板が不適正に撮影される代表的な例である、調整板に対する照明が不適正であることを、前記原因分析データに照らし合わせて検出することができるようにしている。

図１に示す例においては照明不適正検出部３２で照明が不適正であることにより、調整板の特定部分が適正に撮影できなかったことを検出したとき、画像輝度変更部３３が、調整カメラ撮影画像選択入力部２４で入力した画像の輝度を変更する。その変更に際しては、例えば最初不適正な画像部分について、その輝度が高すぎるか暗すぎるかを判別し、輝度が高すぎると判別したときには徐々に輝度が暗くなるように変更し、逆に輝度が暗すぎると判別したときには徐々に輝度が明るくなるように変更して、その過程で撮影画像の不適正部分が適正になったか否かを判別する。

また、画像輝度変更部３３で、前記のように最初一旦所定量輝度を低下させ、照明が不適正であるとされた部分について、かえって不明瞭になったとされたときには、逆に輝度を高める方向に徐々に変化させ、カメラの調整を行うために充分に明瞭な画像が形成されたと、調整板不適正撮影部分的適正化検出部２４が検出したときに輝度の変化を停止するようにすることもできる。

このような輝度調整においては、例えば図１右下部分に例示するように、最初調整板画像がＡのように撮影され、調整板の後側が明るすぎて適正に撮影することができなかったとき、輝度を低下することによってこの明る過ぎる部分の画像部分が明瞭になると共に、今まで明瞭であった部分の輝度が高すぎて次第に不明瞭になる。その結果同図にＢとして示すような調整板の画像が得られる。

したがって同図に示すように、最初の調整板の画像Ａと、輝度調整によって得られた調整板の画像Ｂとを合成すると同図に調整板の画像Ｃとして示す、調整板全体について明瞭な画像を得ることができる。このような画像の合成を、調整板適正画像合成処理部３５で行っており、その合成画像を画角調整値演算部２５に出力して、定常的な画角調整の演算を行う。

画像輝度変更部３３で前記のように輝度を変更していく際、輝度を低下させるとき、及び輝度を高めていくときでも、最終的に輝度調整が最大値の限界になったことを輝度調整限界検出部３６で検出し、その時でも調整板不適正撮影部分適正化検出部３４で適正な画像が得られなかったとき、調整板撮影適正化操作案内出力部３７では、調整板を適正に撮影するために、作業者はどのようにしたらよいかの操作案内を出力する。

その操作案内は、調整板不適正撮影分析データベース２８に記録されている対策データ３０を用い、照明の問題については前記のような照明不適正検出部３２で検出した、例えば車両の後方の照明が明るすぎる、等の原因分析データに対応した対策データに基づき、図１のモニタ２２に例示しているように、また同図を図４に拡大して示しているように、調整案内として、「赤枠エリア付近の照明を暗くして再調整して下さい」、のような操作案内を表示する。

前記の例においては、調整板不適正撮影原因検出部３１で調整板が適正に撮影されなかった原因が照明によるものであることを検出したとき、この装置内で画像の輝度変更を自動的に行う例を示したが、このような輝度の変更処理を行うことなく、直ちに調整板撮影適正化操作案内出力部３７から前記のような操作案内を出力するようにしても良い。

調整板撮影適正化操作案内出力部３７で出力する操作案内は前記のような照明の不適正な検出に基づくものばかりではなく、調整板不適正撮影原因検出部３１で検出した、例えば作業者が調整板を所定位置に配置しなければならないいのに対して、このことをほとんど意識せずに配置してしまったときのように、調整板の配置が不適正であることを検出したときには、例えば「調整板はあらかじめ決められた位置に配置して下さい」のような作業者に対する操作案内を行うようにしても良い。

図１に示すマルチ画像処理部１０の画像処理における、前記のような調整板を利用した車外撮影カメラの調整処理に際しては、例えば図２に示す作動フローにより実施することができる。以下にこの作動フローを、図１の機能ブロック図等を参照しつつ説明する。図２に示す車外撮影カメラ調整処理の例においては、最初車両の周囲の所定箇所に調整板を配置する（ステップＳ１）。このような調整板の配置については、前記図６の説明で述べたとおりである。次いで調整を行うカメラを指示する（ステップＳ２）。この作動は多くの場合作業者が図１の調整カメラ選択指示入力部２３から入力することにより行うが、調整するカメラの順序をあらかじめ決めておき、自動的に選択させることもできる。

その後、前記のようにして指示したカメラの調整板撮影画像を取り込み（ステップＳ３）、調整板撮影画像の分析を行う（ステップＳ４）。この処理は図１の調整板撮影画像分析部２６で行っている。次いで調整板は適正に撮影されたか否かを判別する（ステップＳ５）。

ここで調整板が適正に撮影されたと判別したときには、ステップＳ１６で定常的な調整板を用いたカメラの画角の演算を行い、この演算した画角を記憶し（ステップＳ１７）、全てのカメラの調整が終了したかを判別し（ステップＳ１８）、未だ調整していないカメラが存在するときには再びステップＳ２に戻って、次の調整を行うカメラを指示し、前記作動を繰り返す。また、ステップＳ１８で全てのカメラの調整が終了したと判別したときには、この調整処理を終了する（ステップＳ１９）。

これらの作動は、図１の調整カメラ撮影画像選択入力部２４で入力した特定のカメラの調整板撮影画像について、調整板適正撮影判別部２７が適正に撮影されていると判別したとき、画角調整値演算部２５が画角の演算を行い、その値を画角調整部１８に記憶することにより行っている。

前記のステップＳ１６〜１９は調整板が適正に撮影されたとき、他の処理を行うことなく全てのカメラの画角調整が円滑に行われるのに対して、ステップＳ５で調整板は適正に撮影されなかったと判別したときには、適正に撮影されなかった原因を検出する（ステップＳ６）。

その原因の検出の結果、図示の例では原因は調整板に対する照明が原因であるか否かを判別している（ステップＳ７）。即ち、調整板が適正に撮影されなかった原因の主たるものが、前記のような照明に起因するものが多いので、ここでは不適正画像が撮影された原因の一つとして、その原因は調整板に対する照明か否かを判別し、照明が原因となっていると判別したときには、図３に示す画像の輝度調整による不適正部分の適正化処理を行う（ステップＳ８）。

これらの作動は、図１における調整板適正撮影判別部２７で不適正であると判別したとき、調整板不適正撮影原因検出部３１が調整板撮影画像分析部２６の分析データに基づき、また調整板不適正画像分析データベース２８の原因分析データ２９に基づき、照明が不適正であることを照明不適正検出部３２が検出し、以降画像の輝度調整による不適正部分の適正化処理を行うことにより実施することができる。

図２のステップＳ８で後述するような、図３に示す画像の輝度調整による不適正部分の適正化処理を行い、最終的に図２のステップＳ９の処理を行う事になったときには（図３ステップＳ３１）、不適切な箇所の照明と調整方法を案内表示する（ステップＳ９）。その後作業者が調整すべき内容に従って明るさを調整し（ステップＳ１０）、再びステップＳ５に戻って調整板は適正に撮影されたか否かの判別を行って、前記作動を繰り返し、調整板が適正に撮影されるに至ったときには、ステップＳ１６以降の前記画角演算作動を行うこととなる。

ステップＳ７において調整板に対する照明が原因ではないと判別したときには、照明以外の他の原因の検出を行い（ステップＳ１１）、他の原因を検出したか否かを判別し（ステップＳ１２）、他の原因を検出したときには、検出した原因の対策を案内表示する（ステップＳ１３）。したがって、例えば他の原因として調整板の配置が極めて不適正であったときのような場合には、その対策として例えば「調整板はあらかじめ決められた位置に配置して下さい」、のような案内を表示する。

ステップＳ１３において検出した原因の対策を案内表示した後、作業者がその案内に従って操作を実行すると（ステップＳ１４）、再びステップＳ５に戻って調整板は適正に撮影されたか否かを判別し、以降の作動を繰り返す。また、ステップＳ１２で他の原因を検出しなかったときには、調整方法をこのシステムの開発部門に問い合わせる等の、適宜の他の対策を講じ、その対策を講じた後ステップＳ５で調整板は適正に撮影されたか否かを判別して、前記作動を繰り返す。

図２のステップＳ８における画像の輝度調整による不適正部分の適正化処理は、図３に示すように行うことができ、図３に示す例においては最初、不適正画像部分は輝度の高過ぎによるものか否かを判別している（ステップＳ２１）。この判別に際しては、撮影画像の不適正とされた部分が標準より白い方向であるとき、不適正画像部分の輝度は高過ぎると判別することができる。また、逆に黒い方向であるとき、不適正画像部分の輝度は低すぎると判別する。

ステップＳ２１において不適正画像部分は輝度の高過ぎによるものであると判別したときには、画像の輝度を暗くなる方向に変更する（ステップＳ２２）。その後不適正部分の画像は適正になったか否かを判別し（ステップＳ２３）、未だ適正になっていないと判別したときには、輝度調整は限界迄変更したか否かを判別し（ステップＳ２４）、未だ輝度調整は暗くなる方向への変更について限界迄変更していないと判別したときには、ステップＳ２２に戻って前記作動を繰り返す。

前記作動中、ステップＳ２３で不適正部分の合成画像は適正になったと判別したときには、ステップＳ２８に進んで、先の画像データと合成して１枚の調整板の画像データとする。これは図１の右下部分に示したとおりであり、先の画像データＡと、輝度を変更して得られた画像データＢとを合成し、それらの適正に撮影されている部分のみを集めて、１枚の調整板の画像データＣとする。その後ステップＳ２９において図２のステップＳ１６に進み、調整板によるカメラの画角演算処理等を行う。また、ステップＳ２４において輝度調整は限界まで変更したと判別したときには、ステップＳ３０において図２のステップＳ９に進み、不適正な箇所の照明と調整方法を案内表示する。

ステップＳ２１において、不適正画像部分は輝度の高過ぎによるものではないと判別したときには、画像の輝度を明るくなる方向へ変更する（ステップＳ２５）。以降は前記ステップＳ２２〜Ｓ２４と同様の処理を行い、不適正部分の画像は適正になったか否かを判別し（ステップＳ２６）、適正になっていないと判別したときには輝度調整は限界迄変更したか、即ち明るくなる方向の輝度の変更が最大値になったか否かを判別し（ステップＳ２７）、未だ限界迄変更していないと判別したときにはステップＳ２５に戻って画像の輝度を更に明るくなる方向へ変更する。

この作動の過程でステップＳ２６において不適正部分の画像は適正になったと判別したときには、ステップＳ２８において前記と同様に、先の画像データと合成して１枚の調整板の適正な画像データとし、ステップＳ２９において図２のステップＳ１６に進んで画角の演算等の処理を行うことは前記のとおりである。また、ステップＳ２７において輝度調整は限界まで変更したと判別したときには、ステップＳ３０において図２のステップＳ９に進み、不適正な箇所に対応する照明と調整方法を案内表示する。

上記のような作動を行う結果、調整板の撮影に際して、照明の関係で不適正な画像が得られたとき、最終的に例えば図４に示すようなモニタの表示がなされる。即ち図４に示すカメラ調整のモニタ画面の例においては、図中右側に現在撮影している調整板が前後左右の内、左側であることを示し、且つその調整板について１２個の円形マークのうち車両の前方側から７個が適正に撮影されたことにより黒丸等で表示し、後側から５個が適正に撮影されなかったことを白丸で表示した例を示している。

また、特にこの調整板の撮影画像から、全体として車両後方側に、他の部分と比較して特に明るい照明が存在し、調整板に大きな輝度むらが生じていることがわかるので、環境条件変更場所案内表示のために、この部分を例えば赤枠で囲む等により、作業者にわかりやすく表示した例を示している。

図４のモニタ画面例では前記の画像の左側に各種の情報表示画面を配置し、現在調整を行っているカメラは左側カメラを選択していることをわかりやすく示し、調整結果は不適切であったことによりＮＧであることを示し、その下方に調整案内として、「赤枠エリア付近の照明を暗くして再調整して下さい」と案内表示を行っている。このような表示を見ることにより、従来は作業者がどのような調整を行ったらよいかわからず、多くの時間を要していたのに対して、前記本発明においては容易にその原因を知ることができ、且つその対策も容易に知ることができるため、調整作業が容易となり、しかも正確な調整が可能となる。

図５には他のモニタへの案内表示例を示している。同図の（ａ）においては、その右側にトップビュー方式の画像を表示し、特に現在左側のカメラの調整を行っていることをその撮影領域を赤い色等の他の部分とは容易に識別可能に表示する。またこの画面の左側には、前記と同様に現在調整を行っているカメラを案内表示し、その下方に縦向きの調整板の画像を表示して、その調整板上の円形マークについて、適正に撮影された円形マークを二重丸として示し、適正に撮影されなかった円形マークを単なる円で示している。

また、その右側には作業手順のフローを示し、「調整実行」から「初期化」「パラメータ設定」「戻る」の作動順を表示した例を示している。また、それらの下方の部分に調整の案内表示の部分を配置し、「左側後方付近の照明を暗くして再調整して下さい」のような表示を行った例を示している。

図５（ｂ）には後方を撮影するカメラの調整を行う場合の例を示し、右側の画面では後方の調整板を撮影している状態をトップビュー方式で表示し、その左側の画面では後方を撮影するカメラの画像調整を行っていることを示している。その下方には横向きの調整板を示し、前記と同様に、その調整板上の円形マークについて、適正に撮影された円形マークを二重丸として示し、適正に撮影されなかった円形マークを単なる円で示している。

また、その右側には前記と同様の作業手順のフローを示し、また、それらの下方の部分の案内表示の部分には、「左側前方付近の照明を暗くして再調整して下さい」のような表示を行った例を示している。本発明については上記に説明した手法に基づき、種々の態様で実施することができ、またモニタへの案内表示についても更に種々の態様で表示することができる。

１０ マルチ画像処理部
１１ カメラ
１２ カメラ画像入力部
１３ カメラ画像処理部
１４ 表示画像種別選択表示処理部
１５ 単独カメラ撮影画像形成部
１６ 複数カメラ撮影画像合成処理部
１７ トップビュー合成処理部
１８ 画角調整部
２０ 画像表示出力部
２１ 合成画像表示出力部
２２ モニタ
２３ 調整カメラ選択指示入力部
２４ 調整カメラ撮影画像選択入力部
２５ 画角調整値演算部
２６ 調整板撮影画像分析部
２７ 調整板適正撮影判別部
２８ 調整板不適正撮影分析データベース
２９ 原因分析データ
３０ 対策データ
３１ 調整板不適正撮影原因検出部
３２ 照明不適正検出部
３３ 画像輝度変更部
３４ 調整板不適正撮影部分適正化検出部
３５ 調整板適正画像合成処理部
３６ 輝度調整限界検出部
３７ 調整板撮影適正化操作案内出力部

Claims (2)

1. 車外を撮影するカメラによる調整板の撮影画像を入力し、
   前記調整板の撮影画像が適正に撮影されているか否かを判別し、
   前記判別の結果適正に撮影されていないと判別したとき、適正ではない調整板 の状態と、適正にする対策を案内出力し、
   前記適正に撮影されていない原因が調整板の画像の輝度のむらであるとき、カ メラで撮影した画像の輝度を変更し、適正に撮影されていない部分が適正にな ったとき、先のカメラの撮影画像と、輝度を変更して適正になった撮影画像と を画像合成し、１枚の適正な調整板画像を形成することを特徴とするカメラ調 整方法。
2. 車外を撮影する調整の対象となるカメラと、
   前記カメラによって撮影する領域の所定位置に配置した調整板を撮影した画像 を入力する調整カメラ撮影画像入力部と、
   前記調整板を撮影した画像が適正に撮影されているか否かを判別する調整板適 正撮影判別部と、
   前記調整板適正撮影判別部で調整板が適正に撮影されていないと判別したとき、 その原因を検出する調整板不適正撮影原因検出部と、
   前記適正に撮影されていない調整板の案内と、前記調整板不適正撮影原因検出 部で検出した原因に対応する対策の案内とを出力する調整板撮影適正化操作案 内出力部とを備え、
   前記調整板不適正撮影原因検出部には、適正に撮影されていない原因が調整 板に対する照明であることを検出する照明不適正検出部を備え、
   更に、前記照明不適正検出部で照明が原因であることを検出したとき、前記カ メラで撮影した画像の輝度を変更する画像輝度変更部と、
   前記画像輝度変更部で輝度を変更することにより、前記適正に撮影されていな い部分が適正になったことを検出する調整板不適正撮影部分適正化検出部と、
   前記カメラの撮影画像と、前記輝度を変更して適正になった撮影画像とを画像 合成し、１枚の適正な調整板画像を形成する調整板適正画像合成処理部とを備 えたことを特徴とするカメラ調整装置。

Images