JP6943328B2 - 画角調整方法 - Google Patents

Description

本発明は、カメラを備えた監視システムにおける画角調整方法に関する。

例えば、監視カメラの設定方法として、３点のマーカーを検出して、監視エリアを設定する方法がある（例えば、特許文献１参照）。この設定方法では、監視対象水平面上に３点のマーカーを設定し、画像処理によりこれらのマーカーを検出している。この設定方法では、３点のマーカーの間隔及びカメラ高さの情報を利用してカメラパラメータの計算を行い、計算されたカメラパラメータを使用して監視エリアを設定している。

特開２００１−２０４００７号公報

しかしながら、従来のように複数のマーカーを配置して、カメラの設定を行うと作業が煩雑であった。例えば、複数のカメラを備えるシステムにおいては、カメラごとにマーカーを設定する必要があった。

本発明は、カメラを備えた監視システムにおける画角調整の手順の簡素化を図ることが可能な画角調整方法を提供することを目的とする。

本発明の画角調整方法は、カメラを備えた監視システムにおける画角調整方法であって、カメラによる撮影領域に存在し、寸法及びカメラからの距離が既知であり基準長を判別可能な既存の物体をターゲットとして設定する工程と、カメラによって撮影された画像上で撮像されるマークのサイズを計算する工程と、計算されたサイズとなるようにマークを画像上に表示する工程と、画像上でターゲットの表示をマークに合わせるように、カメラの画角を調整する工程と、を含み、マークのサイズを計算する工程は、既知のデータであるカメラからターゲットまでの距離に基づいて、マークのサイズを計算する。

この画角調整方法では、カメラの撮影領域に存在する既知の物体をターゲットとして設定し、このターゲットの既知のデータである寸法及びカメラからの距離を用いて、カメラの画角調整を行うことができる。これにより、ターゲットとなる物体をわざわざ配置する必要がなく、監視システムにおける画角調整の手順の簡素化を図ることができる。

また、既存の物体をターゲットとして設定する工程では、物体が載置されている載置面の水平面に対する角度が既知である既存の物体をターゲットとして設定する。これにより、マークの配置を計算する工程では、既知のデータであるカメラからターゲットまでの距離のみに基づいて、マークの配置を計算することができる。

また、既存の物体をターゲットとして設定する工程では、カメラのカメラ座標の中心と既存の物体の中心が一致している、または、既存の物体の中心とのずれ量が既知である当該既存の物体をターゲットとして設定する。これにより、カメラ座標の中心と、ターゲットとの中心のずれ量を計測する必要がない。または、既知である物体の中心のカメラ座標に対するずれ量に基づいて、監視システムにおける画角調整を行うことができる。

本発明によれば、近距離用カメラ及び遠距離用カメラを備えた監視システムにおいて、画角調整の手順の簡素化を図ることができる。また、本発明によれば、カメラを備えた監視システムにおいて、画角調整の手順の簡素化を図ることができる。

支障物検知装置を搭載する車両が高速道路を走行する状態を示す斜視図である。 画角調整方法を適用可能な支障物検知装置を示すブロック構成図である。 近距離用カメラによる撮影領域、遠距離用カメラによる撮影領域、及びターゲットの配置を示す概略側面図である。 画角調整方法における処理手順を示すフローチャートである。 画像上に表示されたターゲットとマークとを示す図である。 カメラの撮像素子とターゲットとの位置関係を示す図である。 図７（ａ）は、カメラの設置ピッチング角を示す側面図である。図７（ｂ）は、カメラの設置パン角を示す平面図である。 図８（ａ）は、メインテナンス時の近距離用カメラにおける画角調整方法の処理手順を示すフローチャートである。図８（ｂ）は、メインテナンス時の遠距離用カメラにおける画角調整方法の処理手順を示すフローチャートである。 図９（ａ）、（ｃ）は、第２画像上に表示されたターゲットＴ_Ａ及び第２マークを示す図である。図９（ｂ）、（ｄ）は、第１画像上に表示されたターゲットＴ_Ａ及び第１マークを示す図である。 変形例に係る画角調整方法を適用可能な支障物検知装置を示すブロック構成図である。 変形例に係る画角調整方法の処理手順を示すフローチャートである。

以下、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。なお、各図において同一部分又は相当部分には同一の符号を付し、重複する説明は省略する。

まず、本実施形態に係る画角調整方法を適用可能な支障物検知装置（監視システム）について図１及び図２を参照して説明する。

（支障物検知装置）
支障物検知装置１は、図１に示されるように、例えば車両Ｍに搭載されて車両前方の対象物（例えば落下物Ｂ）を検出する。支障物検知装置１は、図２に示されるように、カメラ２、３ＤＬＲ（３次元レーザレーダ、３Ｄ Ｌａｓｅｒ Ｒａｄａｒ）３、車輪速センサ４及び支障物検知ユニット５を備えている。

支障物検知装置１は、検出された対象物を追跡し、追跡された対象物の中で判定条件を満たすものを支障物として判定する。「支障物」とは、車両Ｍの走行の妨げになるおそれがある対象物であり、当該対象物を回避するように走行を変更したり、停止して取り除くことが必要となるものである。

カメラ２は、車両前方を撮影し、道路及び対象物等の画像情報（検出データ）を取得する。カメラ２で取得された画像情報は、支障物検知ユニット５に入力される。カメラ２は、近距離用カメラ２Ａと、遠距離用カメラ２Ｂとを含む。近距離用カメラ２Ａ及び遠距離用カメラ２Ｂは、例えば、車両の前後方向において同じ位置に配置され、車幅方向に並んで配置されている。なお、カメラ２のレンズの歪みの影響は十分に小さい。

図３に示されるように、近距離用カメラ２Ａは、車両前方の第１撮影領域Ｒ_２Ａを撮影する。第１撮影領域Ｒ_２Ａは、例えば、車両前方の地点Ｐ_１から地点Ｐ_３までの範囲である。遠距離用カメラ２Ｂは、車両前方の第２撮影領域Ｒ_２Ｂを撮影する。第２撮影領域Ｒ_２Ｂは、例えば、地点Ｐ_２から地点Ｐ_４までの範囲である。車両前方の数百ｍの範囲を含む。第２撮影領域Ｒ_２Ｂは、第１撮影領域Ｒ_２Ａの一部を含むと共に、基準位置（車両Ｍの停車位置、カメラ２の設置位置）からの距離が第１撮影領域Ｒ_２Ａ（地点Ｐ_３）よりも遠い領域を含んでいる。なお、第１撮影領域Ｒ_２Ａ及び第２撮影領域Ｒ_２Ｂの両方に含まれる領域を共通領域Ｒ_２Ｃとする。共通領域Ｒ_２Ｃは、地点Ｐ_２から地点Ｐ_３までの領域を含む。また、第１撮影領域Ｒ_２Ａと第２撮影領域Ｒ_２Ｂとは、隣接するように設定されていてもよい。このときの共通領域は、第１撮影領域Ｒ_２Ａと第２撮影領域Ｒ_２Ｂとの境界となる。

３ＤＬＲ３は、車両前方にレーザを照射して、路上の対象物で反射した反射レーザを受信する。３ＤＬＲ３で受信した反射レーザに関する情報は、支障物検知ユニット５に入力される。

車輪速センサ４は、車両Ｍの車輪の回転角度に関する情報を取得するセンサである。車輪速センサ４は、例えばエンコーダを備え、このエンコーダは、車輪の回転パルスを計測する。車輪の回転パルスに関する信号は、支障物検知ユニット５に入力される。

支障物検知ユニット５は、画像処理部６、３ＤＬＲ処理部７、線形計算部８、統合処理部９及びシステム統括部１０を備えている。支障物検知ユニット５は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などを備える。

システム統括部１０は、支障物検知ユニット５の全体の制御を司り、画像処理部６、３ＤＬＲ処理部７、線形計算部８及び統合処理部９のブロックの生成及び機能の停止を管理する。また、システム統括部１０は、後述する表示部１５、操作部１６及び車両制御部１７とのデータの入出力を管理する。

画像処理部６は、カメラ２から入力したセンサデータについて画像処理を行う。画像処理部６は、画像処理として、例えば２値化処理を行い、対象物に関する情報、道路の白線に関する情報を検知する。また、カメラ２から入力したセンサデータには、対象物の色相に関する情報、対象物の明度に関する情報、対象物のサイズ（外形寸法）に関する情報、及び対象物の位置に関する情報が含まれる。

また、画像処理部６は、センサデータに基づいて、対象物の位置（左右方向の位置、車両Ｍの進行方向における位置）、対象物のサイズ（幅方向のサイズ、高さ方向のサイズ）、対象物の色相及び明度を算出する。また、画像処理部６は、対象物の周囲の色相及び明度を算出する。

画像処理部６は、画像内のピクセルサイズに対して、画角などのカメラパラメータ及び経路の線形情報を照合して、対象物の実際のサイズを算出し判定する。なお、画角とは、例えば、焦点距離ｆ（図６参照）、設置ピッチング角θ_１（図７（ａ）参照）、設置パン角θ_２（図７（ｂ）参照）などを含む。

３ＤＬＲ処理部７は、３ＤＬＲ３から入力したセンサデータについてデータ処理を行う。また、３ＤＬＲから入力したセンサデータには、対象物の位置（左右方向の位置、車両Ｍの進行方向における位置、上下方向の位置）が含まれる。

３ＤＬＲ処理部７は、センサデータに基づいて、対象物の位置（左右方向の位置、車両Ｍの進行方向における位置、上下方向の位置）を算出する。

線形計算部８は、記憶部に記憶されている経路の線形情報と、車輪速センサ４で取得された車速とを用いて、車両Ｍの移動距離を算出する。「経路の線形情報」は、経路の起点となる位置からの距離に対応した経路の３次元の形状に関する情報であり、道路におけるカーブの水平方向の曲率に関する情報、坂道における上下方向の勾配に関する情報を含むものである。線形計算部８は、経路の線形情報及び車速に基づいて、車両Ｍの起点から位置を示す自車位置情報を算出する。

統合処理部９は、複数のセンサから取得された対象物のセンサデータを統合する統合処理を行う。統合処理部９は、追跡処理及び支障物判定処理に適したデータとするために、時間的に異なる複数のセンサデータを時間的に連続するデータとして統合する。

統合処理部９は、近距離用カメラ２Ａ、遠距離用カメラ２Ｂ又は３ＤＬＲ３で検知された対象物が支障物であるか否かを判定する。統合処理部９による処理結果は、システム統括部１０に出力される。

また、支障物検知ユニット５には、表示部１５及び操作部１６が電気的に接続されている。表示部１５は、例えば、液晶表示装置であり、カメラ２で取得した画像を表示する。また、支障物検知ユニット５から出力された情報に基づいて、支障物である対象物を強調表示することで、運転者に報知する。

また、操作部１６は、例えば液晶表示装置のタッチパネルであり、運転者の操作入力に基づく信号をシステム統括部１０に出力する。運転者は、例えば支障物ではないと確認された対象物について入力操作する際に、操作部１６を操作する。

また、支障物検知装置１には、車両Ｍの制御を司る車両制御部１７が電気的に接続されている。車両制御部１７には、例えば警報器１８及びブレーキ１９が電気的に接続されている。車両制御部１７は、システム統括部１０からの信号に基づいて、警報器１８を制御して警報音を発することができる。また、車両制御部１７は、システム統括部１０からの信号に基づいて、ブレーキ１９を作動させて、車両Ｍを減速させることができる。

（画角調整方法；第１実施形態）
次に、近距離用カメラ２Ａ及び遠距離用カメラ２Ｂを備えた支障物検知装置１におけるカメラ２の画角調整方法について説明する。図４に示すフローチャートに沿って説明する。図４は、画角調整方法の処理手順を示すフローチャートである。図４に示す処理手順は、例えば、支障物検知装置１の使用前に実施される。例えば、出荷前において、工場内で画角調整方法を実施してもよく、屋外で実施してもよく、走行路上で実施してもよい。また、画角調整方法は車両Ｍの停止中に実施される。

画角調整方法では、まず、作業者は車両Ｍ前方にターゲットＴ_Ａを配置する工程を行う（ステップＳ１）。ターゲットＴ_Ａは、図５に示されるように、例えば、画面上で矩形の物体として表示されるものである。ターゲットＴ_Ａは、矩形の物体として表示されるものに限定されず、例えば、三角形、円形、台形、線状など、その他の形状の物体として表示されるものでもよい。

また、ターゲットＴ_Ａは、図３に示されるように、車両Ｍ前方の共通領域Ｒ_２Ｃ内に配置される。ターゲットＴ_Ａは、近距離用カメラ２Ａ及び遠距離用カメラ２Ｂの両方によって撮影可能な位置に配置される。近距離用カメラ２Ａによる第１撮影領域Ｒ_２Ａが、車両前方のＳ［ｍ］以上４Ｓ［ｍ］以下であり、遠距離用カメラ２Ｂによる第２撮影領域Ｒ_２Ｂが、車両前方の２Ｓ［ｍ］以上８Ｓ［ｍ］以下の場合には、共通領域Ｒ_２Ｃは、２Ｓ［ｍ］以上４Ｓ［ｍ］以下の範囲となる。なお、「Ｓ」は、任意の数値である。車両ＭからターゲットＴ_Ａまでの距離Ｌ_ＴＡは、例えば３Ｓ［ｍ］である。距離Ｌ_ＴＡは、例えばカメラ２（近距離用カメラ２Ａ、遠距離用カメラ２Ｂ）からターゲットＴ_Ａまでの距離でもよい。

なお、ターゲットＴ_Ａとしての物体を配置する代わりに、既存の物をターゲットＴ_Ａとして用いることができる。例えば、道路近傍に配置された標識、道路上の白線、道路上の表示、その他の設置物などをターゲットとして使用してもよい。また、例えば、画像処理部において、車線の両側の白線を検出し、これらの白線に交差する仮想の直線を設定し、この仮想の直線をターゲットＴ_Ａとして設定してもよい。

次に、車両ＭからターゲットＴ_Ａまでの距離を測定する工程を行う（ステップＳ２）。具体的には、３ＤＬＲ３が車両前方にレーザを照射して、ターゲットＴ_Ａで反射した反射レーザを受信する。３ＤＬＲ処理部７は、３ＤＬＲ３から入力したセンサデータについてデータ処理を行い、ターゲットＴ_Ａの位置を検出する。これにより、車両ＭからターゲットＴ_Ａまでの距離を測定する。なお、３ＤＬＲ３を用いて、測定を行うにあたり、３ＤＬＲのキャリブレーションを行ってもよい。

また、車両ＭからターゲットＴ_Ａまでの距離Ｌ_ＴＡを測定する工程は、３ＤＬＲ３を用いて実施されるものに限定されず、その他のレーザレーダ、測距装置を用いてもよく、その他の方法により、距離Ｌ_ＴＡを測定してもよい。また、車両ＭからターゲットＴ_Ａまでの距離Ｌ_ＴＡが既知である場合には、その値を用いることができる。

次に、第１マークＣ_１の配置を計算する工程を行う（ステップＳ３）。第１マークＣ_１は、第１画像Ｊ_１上でのターゲットＴ_Ａの表示目標を示すマークである。また、第１画像Ｊ_１とは、近距離用カメラ２Ａを用いて撮影された画像である。第１マークＣ_１は、例えば、ターゲットＴ_Ａの外形に対応した形状を成している。例えば、ターゲットＴ_Ａの外形が矩形状である場合には、第１マークＣ_１は、ターゲットＴ_Ａの外形に対応した矩形状の枠体とすることができる。第１マークＣ_１は、ターゲットＴ_Ａの外形の一部に対応する形状でもよい。例えば、ターゲットＴ_Ａが矩形状である場合には、この四隅に対応する位置に配置された４つの点でもよい。

ステップＳ３では、例えば、支障物検知ユニット５の画像処理部６が演算処理を行う。図６は、カメラの撮像素子とターゲットとの位置関係を示す図である。この場合のカメラは、近距離用カメラ２Ａであり、撮像素子２１及びレンズ２２は、近距離用カメラ２Ａの撮像素子２１及びレンズ２２である。

図６に示されるように、焦点距離ｆ［ｍｍ］、カメラ２（車両Ｍ）からターゲットＴ_Ａまでの距離Ｌ_ＴＡ［ｍｍ］、撮像素子の素子サイズａ［ｍｍ］、ターゲットＴ_Ａの視野ｂ［ｍｍ］は、以下の比例式（１）を満たす。
ｆ：ａ＝Ｌ_ＴＡ：ｂ…（１）

上記の比例式（１）において、焦点距離ｆ及び素子サイズａは、既知である。カメラ２からターゲットＴ_Ａまでの距離Ｌ_ＴＡは、ステップＳ２で算出された値を用いることができる。これらの値（ａ、ｂ、Ｌ_ＴＡ）を比例式（１）に代入して、視野ｂを算出することができる。

このように比例式（１）を用いて、ターゲットＴの位置の水平視野ｂ_Ｘ［ｍｍ］、垂直視野ｂ_Ｙ［ｍｍ］を求めることができる。このとき、カメラの画像の解像度（例えばフルＨＤ：水平1920［pixel］、垂直1080［pixel］）は、既知である。そのため、ターゲットの位置における水平方向Ｘの分解能Ｇｘ（＝1920／水平視野ｂ_Ｘ）［pixel／mm］と、垂直方向Ｙの分解能Ｇ_Ｙ（＝1080／垂直視野ｂ_Ｙ）［pixel／mm］を求めることができる。

ターゲットＴ_Ａの実際のサイズ［ｍｍ］も既知であるため、画像処理部６は、上記の分解能Ｇｘ、Ｇ_Ｙを用いて、画像上に撮像される第１マークＣ_１のサイズ［pixel］を計算することができる。

次に、第１画像Ｊ_１上に第１マークＣ_１を表示する工程を行う（ステップＳ４）。ステップＳ４では、ステップＳ３で計算された配置となるように第１マークＣ_１を第１画像Ｊ_１上に表示する。画像処理部６は、ステップＳ３で算出した第１マークＣ_１のサイズ（Ｔｘ、Ｔｙ）を適用して、図５に示されるように、第１画像Ｊ_１上に、第１マークＣ_１を表示する。なお、第１マークＣ_１を表示する位置（画像上の表示位置（ｘ、ｙ））は、使用者が任意に設定することができる。例えば、画像の中央に、第１マークＣ_１が表示されるように、第１マークＣ_１の表示位置を決定してもよい。

次に、近距離用カメラ２Ａの画角を調整する工程を行う（ステップＳ５）。具体的には、第１画像Ｊ_１上において、表示された第１マークＣ_１とターゲットＴ_Ａとが一致するように、近距離用カメラ２Ａの画角を調整する。例えば、作業員が手動で近距離用カメラ２Ａを操作して、近距離用カメラ２Ａの画角を調整してもよく、支障物検知ユニット５から信号を出力してアクチュエータを駆動して自動で調整してもよい。

ステップＳ５では、例えば、近距離用カメラ２Ａの焦点距離ｆ、近距離用カメラ２Ａの設置ピッチング角θ_１、近距離用カメラ２Ａの設置パン角θ_２を調整する。近距離用カメラ２Ａのレンズ２２の位置を移動させて、焦点距離ｆを変えることができる。図７（ａ）は、近距離用カメラ２Ａの設置ピッチング角θ_１を示す側面図である。図７（ａ）に示されるように、例えば水平方向に延在する軸線Ｄと、近距離用カメラ２Ａの光軸Ｌ_２とが交差する角度を設置ピッチング角θ_１とすることができる。例えば、近距離用カメラ２Ａを支持する支持台を傾斜させることで、設置ピッチング角θ_１を調整することができる。

図７（ｂ）は、近距離用カメラ２Ａの設置パン角θ_２を示す平面図である。図７（ｂ）に示されるように、例えば車両Ｍの前後方向に延在する軸線Ｅと、近距離用カメラ２Ａの光軸Ｌ_２とが交差する角度を設置パン角θ_２とすることができる。例えば、近距離用カメラ２Ａを支持する支持台を鉛直方向に延在する軸線回りに回転移動させることで、設置パン角θ_２を調整することができる。

次に、第２マークＣ_２の配置を計算する工程を行う（ステップＳ６）。第２マークＣ_２は、第２画像Ｊ_２上でのターゲットＴ_Ａの表示目標を示すマークである。また、第２画像Ｊ_２とは、遠距離用カメラ２Ｂを用いて撮影された画像である。第２マークＣ_２は、例えば、ターゲットＴ_Ａの外形に対応した形状を成している。例えば、ターゲットＴ_Ａの外形が矩形状である場合には、第２マークＣ_２は、ターゲットＴ_Ａの外形に対応した矩形状の枠体とすることができる。第２マークＣ_２は、ターゲットＴ_Ａの外形の一部に対応する形状でもよい。例えば、ターゲットＴ_Ａが矩形状である場合には、この四隅に対応する位置に配置された４つの点でもよい。

ステップＳ６では、例えば、支障物検知ユニット５の画像処理部６で演算処理を行う。ここでの処理は、ステップＳ３と同様の手順で遠距離用カメラ２Ｂについて実施することができる。そのため詳細な説明は省略する。

次に、第２画像Ｊ_２上に第２マークＣ_２を表示する工程を行う（ステップＳ７）。ステップＳ７では、ステップＳ６で計算された配置となるように第２マークＣ_２を第２画像Ｊ_２上に表示する。画像処理部６は、ステップＳ６で算出した第２マークＣ_２のサイズ（Ｔｘ、Ｔｙ）を適用して、第２画像Ｊ_２上に、第２マークＣ_２を表示する。なお、第２マークＣ_２を表示する位置（画像上の表示位置（ｘ、ｙ））は、使用者が任意に設定することができる。例えば、画像の中央に、第２マークＣ_２が表示されるように、第２マークＣ_２の表示位置を決定してもよい。なお、図５は、第１画像Ｊ_１及び第２画像Ｊ_２として例示しているが、第１画像Ｊ_１と第２画像Ｊ_２とは、異なる画像であり、各画像において、ターゲットＴ_Ａ同士は、異なる大きさであり、第１マークＣ_１と第２マークＣ_２とは、異なる大きさとなる。

次に、遠距離用カメラ２Ｂの画角を調整する工程を行う（ステップＳ８）。具体的には、第２画像Ｊ_２上において、表示された第２マークＣ_２とターゲットＴ_Ａとが一致するように、遠距離用カメラ２Ｂの画角を調整する。例えば、作業員が手動で調整してもよく、支障物検知ユニット５から信号を出力してアクチュエータを駆動して自動で調整してもよい。

ステップＳ８では、例えば、遠距離用カメラ２Ｂの焦点距離ｆ、遠距離用カメラ２Ｂの設置ピッチング角θ_１、遠距離用カメラ２Ｂの設置パン角θ_２を調整する。遠距離用カメラ２Ｂのレンズ２２の位置を移動させて、焦点距離ｆを変えることができる。また、例えば、遠距離用カメラ２Ｂを支持する支持台を傾斜させることで、設置ピッチング角θ_１を調整することができる。また、例えば、遠距離用カメラ２Ｂを支持する支持台を鉛直方向に延在する軸線回りに回転移動させることで、設置パン角θ_２を調整することができる。

以上説明したように、この画角調整方法によれば、近距離用カメラ２Ａによって撮影される第１撮影領域Ｒ_２Ａと、遠距離用カメラ２Ｂによって撮影される第２撮影領域Ｒ_２Ｂとの両方に含まれる共通領域Ｒ_２ＣにターゲットＴ_Ａを設定し、同一のターゲットＴ_Ａを用いて、近距離用カメラ２Ａにおける画角調整と、遠距離用カメラ２Ｂにおける画角調整とを行うことができる。これにより、近距離用カメラ２Ａの画角調整で使用するターゲットＴ_Ａと、遠距離用カメラ２Ｂの画角調整で使用するターゲットＴ_Ａとを別々に配置する必要がなく、画角調整における手順を簡素化することができる。また、同一のターゲットＴ_Ａを撮影することで、近距離用カメラ２Ａで取得されたターゲットＴ_Ａの画像データと、遠距離用カメラ２Ｂで取得されたターゲットＴ_Ｂの画像データとを容易に比較することができる。そのため、取得された画像データに基づく、対象物の検出精度の向上を図ることができる。

例えば、近距離用カメラ２Ａに対して１つのターゲットを準備し、遠距離用カメラ２Ｂに対して１つのターゲットを準備して、合計２つのターゲットを準備して、画角調整を行った場合には、それぞれのカメラに対してターゲットの設置場所が異なるため、それぞれで設置誤差が発生するおそれがある。この場合には、各カメラで異なるターゲットを撮影して画角調整を行っているため、それぞれのターゲットにおける設置誤差を含み、両方のカメラで同時に撮影される共通領域に存在する同一物体の検出位置がずれる可能性があり、画像処理部６における画像処理（物体検知）、統合処理部９における統合処理、判定処理等の精度に影響が出る可能性がある。

これに対して、共通領域Ｒ_２Ｃに配置された同一のターゲットＴ_Ａを用いて、近距離用カメラ２Ａ及び遠距離用カメラ２Ｂの画角を調整する場合には、ターゲットＴ_Ａの設置誤差として、共通の設置誤差が１つだけ生じることになる。また、同一のターゲットＴ_Ａを見て、画角を調整することができるので、後段の画像処理による物体検知において、近距離用カメラ２Ａと遠距離用カメラ２Ｂとの間で、同一物体の検出位置の差が小さくなる。

（画角調整方法；第２実施形態）
次に、第２実施形態として、メインテナンス時における画角調整方法について説明する。メインテナンス時とは、例えば、支障物検知装置１を一定時間使用した後に実施される定期点検時などである。なお、メインテナンス時における画角調整方法の説明において、上記の画角調整方法と同様の説明は省略する。また、メインテナンス時における画角調整方法では、例えば、使用前に実行した画角調整方法と同じ位置に車両Ｍを配置し、同じ方向に車両Ｍを向け、同じ位置にターゲットＴ_Ａを配置する。

図４に示されるように、使用前における画角調整方法における手順と同様に、まず、ステップＳ１からＳ４の処理を行う。

次に、図８（ａ）に示されるように、第１画像Ｊ_１上でのターゲットＴ_Ａと第１マークＣ_１との第１ずれ量を計測する工程を行う（ステップＳ２１）。第１マークＣ_１の配置は、例えば、初回と同じである。第１ずれ量として、例えば、ターゲットＴ_Ａの中心点と、第１マークＣ_１の中心点との位置のずれ量［ｍｍ］を計測してもよく、ターゲットＴ_Ａの角部と、対応する第１マークＣ_１の角部との位置のずれ量を計測してもよく、その他の対応する位置同士のずれ量を計測してもよい。第１ずれ量の計測は、例えば、画像処理部６において演算処理を行うことで実施可能である。

次に、第１ずれ量を記憶する工程を行う（ステップＳ２２）。支障物検知ユニット５は、ステップＳ２１で計測された第１ずれ量に関するデータを支障物検知ユニット５の記憶部に記憶する。

次に、第１ずれ量が判定閾値以上であるか否かを判定する工程を行う（ステップＳ２３）。支障物検知ユニット５は、第１ずれ量が判定閾値以上であるか否かを判定する判定部を含む。支障物検知ユニット５の判定部は、ステップＳ２１で計測された第１ずれ量が判定閾値（第１判定閾値）以上であるか否かの判定を行う。この判定閾値は、近距離用カメラ２Ａの画角調整が必要であるか否かを判定するための閾値であり、例えば、実験データ、過去のデータに基づいて決定することができる。

ステップＳ２３において、第１ずれ量が判定閾値以上である場合には（ステップＳ２３；ＹＥＳ）、ステップＳ５に進み、近距離用カメラ２Ａの画角を調整する工程を実施した後に、ステップＳ６に進む。一方、第１ずれ量が判定閾値未満である場合には（ステップＳ２３；ＮＯ）、ステップＳ５の画角を調整する工程を実行せずに、ステップＳ６に進む。

次に、図４に示すステップＳ６、Ｓ７を実施した後、図８（ｂ）に示されるように、第２画像Ｊ_２上でのターゲットＴ_Ａと第２マークＣ_２との第２ずれ量を計測する工程を行う（ステップＳ３１）。第２ずれ量として、例えば、ターゲットＴ_Ａの中心点と、第２マークＣ_２の中心点との位置のずれ量［ｍｍ］を計測してもよく、ターゲットＴ_Ａの角部と、対応する第２マークＣ_２の角部との位置のずれ量を計測してもよく、その他の対応する位置同士のずれ量を計測してもよい。第２ずれ量の計測は、例えば、画像処理部６において演算処理を行うことで実施可能である。

次に、第２ずれ量を記憶する工程を行う（ステップＳ３２）。支障物検知ユニット５は、ステップＳ３１で計測された第２ずれ量に関するデータを支障物検知ユニット５の記憶部に記憶する。

次に、第２ずれ量が判定閾値以上であるか否かを判定する工程を行う（ステップＳ３３）。支障物検知ユニット５は、第２ずれ量が判定閾値以上であるか否かを判定する判定部を含む。支障物検知ユニット５の判定部は、ステップＳ３１で計測された第２ずれ量が判定閾値（第２判定閾値）以上であるか否かの判定を行う。この判定閾値は、遠距離用カメラ２Ｂの画角調整が必要であるか否かを判定するための閾値であり、例えば、実験データ、過去のデータに基づいて決定することができる。

ステップＳ３３において、第２ずれ量が判定閾値以上である場合には（ステップＳ３３；ＹＥＳ）、ステップＳ８に進み、遠距離用カメラ２Ｂの画角を調整する工程を実施した後に、ステップＳ８に進む。一方、第２ずれ量が判定閾値未満である場合には（ステップＳ３３；ＮＯ）、ステップＳ８の画角を調整する工程を実行せずに、終了する。

このような画角調整方法によれば、第１ずれ量が判定閾値以上の場合にのみ、ステップＳ５において近距離用カメラ２Ａの画角を調整することができ、第１ずれ量が判定閾値未満の場合には、近距離用カメラ２Ａの画角調整を実施しないようにすることができる。これにより、例えば、第１ずれ量が判定閾値未満であり、わずかな場合には、画角調整を実施しないので、画角調整により第１ずれ量が大きく変化することを防止することができる。この場合には、記憶部に記憶された第１ずれ量を考慮して、後段の画像処理における物体検出を実行することができる。そのため、わずかな第１ずれ量を維持したまま、精度良く物体検出を行うことができる。不用な画角調整を行う必要がないので、手順の簡略化を図ることができる。

また、第２ずれ量が判定閾値以上の場合にのみ、ステップＳ８において遠距離用カメラ２Ｂの画角を調整することができ、第２ずれ量が判定閾値未満の場合には、遠距離用カメラ２Ｂの画角調整を実施しないようにすることができる。これにより、例えば、第２ずれ量が判定閾値未満であり、わずかな場合には、画角調整を実施しないので、画角調整により第２ずれ量が大きく変化することを防止することができる。この場合には、記憶部に記憶された第２ずれ量を考慮して、後段の画像処理における物体検出を実行することができる。そのため、わずかな第２ずれ量を維持したまま、精度良く物体検出を行うことができる。不用な画角調整を行う必要がないので、手順の簡略化を図ることができる。

（画角調整方法；第３実施形態）
次に、第３実施形態として、メインテナンス時における画角調整方法について説明する。なお、第３実施形態の説明において、上記の第１、第２実施形態と同様の説明は省略する。

この画角調整方法では、初回（例えば使用前）の画角調整後において、第１画像Ｊ_１上のターゲットＴ_Ａの位置、大きさ等のデータを記憶部に記憶させておく。同様に、初回の画角調整後において、第２画像Ｊ_２上のターゲットＴ_Ａの位置、大きさ等のデータを記憶部に記憶させておく。

そして、次回のメインテナンス時に画角調整方法を実施する際に、初回（前回）のデータと比較してずれ量Ｋ_１、Ｋ_２を検出すると共に、第１画像Ｊ_１上での第１ずれ量Ｋ_１と第２画像Ｊ_２上での第２ずれ量Ｋ_２とを比較する工程を行う。

まず、図９（ａ）に示された第２画像Ｊ_２上での第２ずれ量Ｋ_２と、図９（ｂ）に示された第１画像Ｊ_１上での第１ずれ量Ｋ_１との比較について説明する。図９（ａ）は、遠距離用カメラ２Ｂで撮影された第２画像Ｊ_２であり、第２画像Ｊ_２上に表示されたターゲットＴ_Ａ及び第２マークＣ_２を示す図である。図９（ｂ）は、近距離用カメラ２Ａで撮影された第１画像Ｊ_１であり、第１画像Ｊ_１上に表示されたターゲットＴ_Ａ及び第１マークＣ_１を示す図である。

図９（ａ）において、第２マークＣ_２が表示される位置は、初回の画角調整後のターゲットＴ_Ａの位置と同じであり、記憶部に記憶されたデータである。初回の画角調整後から一定期間の使用後のメインテナンス前において、近距離用カメラ２Ａの画角に変化がない場合には、第２画像Ｊ_２上に表示されたターゲットＴ_Ａと第２マークＣ_２と位置は一致する可能性が高い。

図９（ａ）では、メインテナンス時の画角調整前のターゲットＴ_Ａの表示位置は、初回の画角調整後の位置（第２マークＣ_２）からずれている。第２画像Ｊ_２上では、右斜め上方にずれている。このとき、第２画像Ｊ_２上において、第２ずれ量Ｋ_２を示す表示として、矢印を表示させてもよい。

図９（ｂ）において、第１マークＣ_１が表示される位置は、初回の画角調整後のターゲットＴ_Ａの位置と同じであり、記憶部に記憶されたデータである。初回の画角調整後から一定期間の使用後のメインテナンス前において、近距離用カメラ２Ａの画角に変化がない場合には、第１画像Ｊ_１上に表示されたターゲットＴ_Ａと第１マークＣ_１と位置は一致する可能性が高い。

図９（ｂ）では、メインテナンス時の画角調整前のターゲットＴ_Ａの表示位置は、初回の画角調整後の位置（第１マークＣ_１）からずれている。第１画像Ｊ_１上では、右斜め上方にずれている。このとき、第１画像Ｊ_１上において、第１ずれ量Ｋ_１を示す表示として、矢印を表示させてもよい。

例えば、画像処理部６は、第１画像Ｊ_１上での第１ずれ量Ｋ_１と、第２画像Ｊ_２上での第２ずれ量Ｋ_２とを比較する。例えば、支障物検知ユニット５は、第１画像Ｊ_１上での第１ずれ量Ｋ_１の方向と、第２画像Ｊ_２上での第２ずれ量Ｋ_２の方向とが、一致しているか否かを判定する。図９（ａ）、（ｂ）に示す場合には、ずれ量Ｋ_１、Ｋ_２を示す矢印が向く方向が同じであるので、支障物検知ユニット５は、第１画像Ｊ_１上での第１ずれ量Ｋ_１の方向と、第２画像Ｊ_２上での第２ずれ量Ｋ_２の方向とが一致すると判定する。

図９（ａ）、（ｂ）に示されるように、ずれが同じ方向である場合に、近距離用カメラ２Ａ及び遠距離用カメラ２Ｂにおいて、それぞれの設置ピッチング角及び設置パン角のずれの影響は小さく、今回の画角調整時の車両Ｍの設置位置、車両Ｍの向き等が、前回の画角調整時と比較してずれているおそれがある。この場合には、支障物検知ユニット５の判定部は、画角調整を行わないことを決定することができる。

次に、図９（ｃ）に示された第２画像Ｊ_２上での第２ずれ量Ｋ_２と、図９（ｄ）に示された第１画像Ｊ_１上での第１ずれ量Ｋ_１との比較について説明する。図９（ｃ）は、遠距離用カメラ２Ｂで撮影された第２画像Ｊ_２であり、第２画像Ｊ_２上に表示されたターゲットＴ_Ａ及び第２マークＣ_２を示す図である。図９（ｂ）は、近距離用カメラ２Ａで撮影された第１画像Ｊ_１であり、第１画像Ｊ_１上に表示されたターゲットＴ_Ａ及び第１マークＣ_１を示す図である。

なお、図９（ｃ）は、図９（ａ）と同一であるので、ここでの説明は省略する。図９（ｄ）において、第１マークＣ_１が表示される位置は、図９（ｂ）と同じである。

図９（ｄ）では、メインテナンス時の画角調整前のターゲットＴ_Ａの表示位置は、初回の画角調整後の位置（第１マークＣ_１）からずれている。第１画像Ｊ_１上では、右斜め下方にずれている。このとき、第１画像Ｊ_１上において、第１ずれ量Ｋ_１を示す表示として、矢印を表示させてもよい。

例えば、画像処理部６は、第１画像Ｊ_１上での第１ずれ量Ｋ_１と、第２画像Ｊ_２上での第２ずれ量Ｋ_２とを比較し、第１画像Ｊ_１上での第１ずれ量Ｋ_１の方向と、第２画像Ｊ_２上での第２ずれ量Ｋ_２の方向とが、一致しているか否かを判定する。図９（ｃ）、（ｄ）に示す場合には、ずれ量Ｋ_１、Ｋ_２を示す矢印が向く方向が異なるので、支障物検知ユニット５は、第１画像Ｊ_１上での第１ずれ量Ｋ_１の方向と、第２画像Ｊ_２上での第２ずれ量Ｋ_２の方向とが一致しないと判定する。

図９（ｃ）、（ｄ）に示されるように、ずれが異なる方向である場合に、近距離用カメラ２Ａ及び遠距離用カメラ２Ｂの少なくとも一方において、設置ピッチング角及び設置パン角の少なくとも一方がずれている可能性がある。設置ピッチング角、設置パン角がずれる原因としては、車両Ｍの走行による振動の影響が考えられる。この場合には、支障物検知ユニット５の判定部は、画角調整を行うことを決定することができる。この場合には、近距離用カメラ２Ａの画角を調整する工程（ステップＳ４）及び遠距離用カメラ２Ｂの画角を調整する工程（ステップＳ８）を実行する。

また、例えば、第１画像Ｊ_１上での第１ずれ量Ｋ_１と、第２画像Ｊ_２上での第２ずれ量Ｋ_２とを比較する工程において、ずれ量Ｋ_１、Ｋ_２の大きさ（矢印の長さ）を比較してもよい。また、「第１画像Ｊ_１におけるターゲットＴ_Ａの外形と第１マークＣ_１の外形との変化の倍率」と、「第２画像Ｊ_２におけるターゲットＴ_Ｂの外形と第２マークの外形との変化の倍率」とを比較してもよい。これにより、前回の画角調整時と比較して、カメラの画角がずれているのか、カメラの画角はずれていないが、その他の原因でずれが生じているのかを判定することができる。例えば、外形の変化の倍率が、第１画像Ｊ_１と第２画像Ｊ_２とで異なる場合には、車両Ｍの振動の影響により、焦点距離ｆの調整に問題が生じたおそれがある。

（画角調整方法；変形例）
次に、図１０及び図１１を参照して変形例に係る支障物検知装置及び画角調整方法について説明する。なお、変形例の説明において、上記の第１〜第３実施形態と同様の説明は省略する。

図１０に示される変形例に係る支障物検知装置１が、図２に示される上記実施形態の支障物検知装置１と違う点は、近距離用カメラ２Ａ及び遠距離用カメラ２Ｂに代えて、１台のカメラ２を備える点、３ＤＬＲを備えていない点である。また、支障物検知装置１の支障物検知ユニット５は、３ＤＬＲ処理部７を備えていない点で、支障物検知装置１の支障物検知ユニット５と異なっている。

変形例に係る画角調整方法では、図１１に示されるように、作業者は、既存の物体をターゲットとして設定する（ステップＳ１１）。この既存の物体は、カメラ２による撮影領域に存在するものである。この既存の物体の寸法（例えば高さ）は既知であり、カメラ２から既存の物体までの距離も既知である。この既存の物体は、基準長が分かる物体である。既存の物体の基準長とは、例えば、道路の幅、レールの幅である。

また、ステップＳ１１では、物体が載置されている載置面の水平面に対する角度が既知である既存の物体をターゲットとして設定する。例えば、物体の基準長の長手方向と水平方向と角度が既知である物体をターゲットとして設定する。物体が載置されている載置面の水平面に対する角度は、支障物検知装置１の記憶部に記憶されている。

また、ステップＳ１１では、カメラ２のカメラ座標の中心と既存の物体の中心とのずれ量が既知である当該既存の物体をターゲットとして設定する。なお、既存の物体の中心は、カメラ２のカメラ座標の中心と一致しているものでもよい。

ステップ１１では、例えば、作業者は、操作部１６を用いて操作入力を行い、既存の物体を指定して、当該物体をターゲットとして設定する。支障物検知ユニット５は、操作部１６から入力された情報に基づいて、既存の物体をターゲットとして認識する。

次に、支障物検知ユニット５は、カメラ２からターゲットまでの距離を読み取る（ステップＳ１２）。支障物検知ユニット５は、記憶部に記憶されているターゲットまでの距離に関するデータ（既知のデータ）を読み取る。

次に、マークの配置を計算する工程を行う（ステップＳ１３）。マークは、画像上でのターゲットの表示目標を示すマークである。ここでの画像は、カメラ２を用いて撮影された画像である。

次に、画像上にマークを表示する工程を行う（ステップＳ１４）。ステップＳ１４では、ステップＳ１３で計算された配置となるようにマークを画像上に表示する。画像処理部６は、ステップＳ１３で算出したマークのサイズを適用して、画像上に、マークを表示する。

次に、カメラ２の画角を調整する工程を行う（ステップＳ１５）。具体的には、画像上において、表示されたマークとターゲットとが一致するように、カメラ２の画角を調整する。

このような画角調整方法によれば、カメラ２の撮影領域に存在する既知の物体をターゲットとして設定し、このターゲットの既知のデータである寸法及びカメラ２からの距離を用いて、カメラ２の画角調整を行うことができる。これにより、ターゲットとなる物体をわざわざ配置する必要がなく、支障物検知装置における画角調整の手順の簡素化を図ることができる。

また、既存の物体をターゲットとして設定する工程（ステップＳ１１）では、物体が載置されている載置面の水平面に対する角度が既知である既存の物体をターゲットとして設定している。これにより、その後のマークの配置を計算する工程では、既知のデータであるカメラからターゲットまでの距離のみに基づいて、マークの配置を計算することができる。

また、既存の物体をターゲットとして設定する工程（ステップＳ１１）では、カメラ２のカメラ座標の中心とのずれ量が既知である当該既知の物体をターゲットとして設定している。これにより、カメラ座標の中心と、ターゲットとの中心のずれ量を計測する必要がない。または、既知である物体の中心のカメラ座標に対するずれ量に基づいて、支障物検知装置１における画角調整を行うことができる。

本発明は、前述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で下記のような種々の変形が可能である。

例えば、上記実施形態の画角調整方法において、処理手順を適宜入れ替えて実行することもできる。上記実施形態では、図４に示されるように、ステップＳ３〜Ｓ５を実行して近距離用カメラ２Ａの画角を調整した後に、ステップＳ６〜Ｓ８を実行して遠距離用カメラ２Ｂの画角を調整しているが、ステップＳ６〜Ｓ８を実行して遠距離用カメラ２Ｂの画角を調整した後に、ステップＳ３〜Ｓ５を実行して近距離用カメラ２Ａの画角を調整してもよい。

また、ステップＳ３の第１マークＣ_１の配置を計算する工程及びステップＳ６の第２マークＣ２の配置を計算する工程を事前に実行し、計算結果を記憶部に記憶させておいてもよい。そして、ステップＳ４において、記憶部からデータを読み取り第１画像Ｊ_１上に第１マークＣ_１を表示し、同様にステップＳ７において、記憶部からデータを読み取り第２画像Ｊ_２上に第２マークＣ_２を表示してもよい。

また、上記実施形態では、近距離用カメラ２Ａ及び遠距離用カメラ２Ｂを備えた監視システムにおける画角調整方法について説明しているが、撮影領域が異なる３種類以上のカメラを備えた監視システムに画角調整方法を適用することもできる。この場合には、３種類以上のカメラのうちの任意の２台のカメラについて適用することができる。

また、上記実施形態では、支障物検知システムを車両に搭載した場合について説明しているが、支障物検知システムを車両以外の移動体に搭載してもよい。例えば、ロボット、飛行機、船舶、鉄道などに、支障物検知システムを搭載してもよい。また、支障物検知システムは、移動体に搭載せずに、その他の場所や物に設置してもよい。例えば、工場、店舗、病院、空港、駅、走行路周辺の建築物などに、支障物検知システムを設置して、危険のおそれがある対象物を支障物として検知してもよい。なお、対象物は静止物に限定されず、移動する物、人、動物でもよい。また、支障物は、危険な対象物に限定されず、障害となる対象物、特定の条件に合致する対象物でもよい。

１ 支障物検知装置（監視システム）
２ カメラ、
２Ａ 近距離用カメラ
２Ｂ 遠距離用カメラ
３ ３ＤＬＲ（３次元レーザレーダ）
４ 車輪速センサ
５ 支障物検知ユニット
６ 画像処理部
７ ３ＤＬＲ処理部
８ 線形計算部
９ 統合処理部
１０ システム統括部
１５ 表示部
１６ 操作部
１７ 車両制御部
１８ 警報器
１９ ブレーキ
２１ 撮像素子
２２ レンズ
ａ 素子サイズ
ｂ 視野
ｆ 焦点距離
Ｃ１ 第１マーク
Ｃ２ 第２マーク
Ｄ 水平方向に延在する軸線
Ｅ 車両の前後方向に延在する軸線
Ｊ_１ 第１画像
Ｊ_２ 第２画像
Ｋ_１ 第１ずれ量
Ｋ_２ 第２ずれ量
Ｌ_２ 光軸
Ｌ_ＴＡ 車両からターゲットまでの距離
Ｍ 車両
Ｒ_２Ａ 第１撮影領域
Ｒ_２Ｂ 第２撮影領域
Ｒ_２Ｃ 共通領域
Ｔ_Ａ ターゲット
θ_１ 設置ピッチング角
θ_２ 設置パン角

Claims (3)

1. カメラを備えた監視システムにおける画角調整方法であって、
   前記カメラによる撮影領域に存在し、寸法及び前記カメラからの距離が既知であり基準長を判別可能な既存の物体をターゲットとして設定する工程と、
   前記カメラによって撮影された画像上で撮像されるマークのサイズを計算する工程と、
   計算されたサイズとなるように前記マークを前記画像上に表示する工程と、
   前記画像上で前記ターゲットの表示を前記マークに合わせるように、前記カメラの画角を調整する工程と、を含み、
   前記マークのサイズを計算する工程は、既知のデータである前記カメラから前記ターゲットまでの距離に基づいて、前記マークのサイズを計算する画角調整方法。
2. 前記既存の物体をターゲットとして設定する工程では、前記物体が載置されている載置面の水平面に対する角度が既知である前記既存の物体をターゲットとして設定する請求項１に記載の画角調整方法。
3. 前記既存の物体をターゲットとして設定する工程では、前記カメラのカメラ座標の中心と前記既存の物体の中心が一致している、または、前記既存の物体の中心とのずれ量が既知である当該既存の物体を前記ターゲットとして設定する請求項１又は２に記載の画角調整方法。
   
   

Images