JP6589926B2 - 物体検出装置 - Google Patents

Description

本発明は、物体検出装置に関し、特に、検出された物体の位置を特定する物体検出装置の技術分野に関する。

この種の装置として、例えば、ステレオカメラで撮像された一対の画像を解析することにより物体までの距離を含む位置の情報に基づいて物体を検出する装置が提案されている。該装置は、（ｉ）一対の画像から距離画像を形成して、周囲に存在する物体の実空間上の距離の情報を含む位置の情報を検出し、（ｉｉ）実空間を上下方向に延在する複数の区分空間ごとにヒストグラムを作成し、（ｉｉｉ）物体の距離の情報を、該物体の位置の情報が属する区分空間に対応するヒストグラムに投票し、（ｉｖ）投票結果に基づいて各区分空間の代表距離を算出し、該算出された代表距離をグルーピングして物体を検出する（特許文献１参照）。

尚、（ｉ）飛行体に搭載されたカメラで車両の走行域を撮像し取得された画像から、該画像上におけるウェイポイントの仮想座標を決定するとともに、（ｉｉ）該飛行体に搭載されたレーザ照射装置から地上にレーザ光を照射し、上記画像におけるレーザ光の照射点座標と仮想座標とが合ったときの現実のレーザ光の照射点を現実のウェイポイントの位置座標とする装置が提案されている（特許文献２参照）。

特開２００９−１７６０９１号公報 特開２０１７−０１６３９５号公報

特許文献１に記載の技術のように、ステレオカメラを用いて物体を検出する技術では、例えば視差計算に係る計算量が比較的多くなる。加えて、例えば視差計算を正しく行うために、前段階としてステレオカメラのキャリブレーションが必要である。つまり、特許文献１に記載の技術では、物体の検出に係る処理負荷が比較的高くなる。

本発明は、上記問題点に鑑みてなされたものであり、処理負荷を低減しつつ、物体を検出することができる物体検出装置を提供することを課題とする。

本発明の物体検出装置は、上記課題を解決するために、自車両の周辺を撮像して周辺画像を取得する撮像手段と、前記周辺画像から対象物を検出して、前記検出された対象物の前記周辺画像上の位置を示す第１画像座標を出力する対象物検出手段と、前記自車両の位置を検出する位置検出手段と、道路上の複数の地点各々の３次元座標を夫々示す複数の座標点を含む地図情報を記憶する地図記憶手段と、前記第１画像座標と前記自車両の位置とに基づいて、前記対象物を、前記複数の座標点のうち１個以上の座標点と対応付けるとともに、前記自車両の位置及び前記対応付けられた１個以上の座標点に基づいて、前記対象物の実空間上の位置及び前記自車両から前記対象物までの距離の少なくとも一方を算出する算出手段と、を備える。

当該物体位置検出装置によれば、地図情報が援用されることにより、例えばステレオカメラにより撮像された左右一対の画像を用いた視差計算等の画像のみを用いた距離の算出処理が不要となり、対象物の位置及び自車両から対象物までの距離の算出に係る処理負荷を低減することができる。当該物体位置検出装置では、ステレオカメラを用いずとも、対象物の位置及び自車両から対象物までの距離を算出することができるので、例えばステレオカメラのキャリブレーションも不要である。

尚、周辺画像から対象物を検出する方法には、ニューラルネットワーク等の機械学習を用いたパターン認識技術を適用可能である。「周辺画像における対象物の位置（即ち、第１画像座標）」は、例えば周辺画像中で対象物が占める領域を代表する画像座標等とすればよい。

本発明の物体検出装置の一態様では、当該物体検出装置は、前記撮像手段の光軸方向を推定する光軸推定手段を備え、前記算出手段は、前記推定された光軸方向に基づいて、前記対象物を前記複数の座標点のうち１個以上の座標点と対応付ける。このように構成すれば、例えば撮像手段の光軸方向が、車線が延びる方向からずれている場合であっても、適切に対応物を座標点に対応付けることができる。

本発明の物体検出装置の他の態様では、前記算出手段は、前記対応付けられた１個以上の座標点を前記周辺画像の画像座標に変換し、前記第１画像座標に最も近い画像座標に変換された座標点により示される３次元座標から、前記対象物の実空間上の位置及び前記自車両から前記対象物までの距離の少なくとも一方を算出する。或いは、本発明の物体検出装置の他の態様では、前記算出手段は、前記第１画像座標と前記自車両の位置とに基づいて、前記対象物を、前記複数の座標点のうち２個以上の座標点と対応付け、前記対応付けられた２個以上の座標点のうち少なくとも２つの座標点各々により示される３次元座標を利用した平均により、前記対象物の実空間上の位置及び前記自車両から前記対象物までの距離の少なくとも一方を算出する。

これらの態様によれば、比較的容易にして、対象物の実空間上の位置及び自車両から対象物までの距離の少なくとも一方を算出することができる。尚、座標点（即ち、実空間上の位置）と周辺画像上の画像座標とは、撮像手段の外部パラメータ（位置と姿勢）と内部パラメータ（光学パラメータ）が既知であれば対応付けが可能である（即ち、座標点の画像座標への変換が可能である）。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

実施形態に係る物体検出装置の構成を示すブロック図である。 実施形態に係る物体検出処理を示すフローチャートである。 実施形態に係る物体検出処理の概念を示す図である。

本発明の物体検出装置に係る実施形態について、図１乃至図３を参照して説明する。

（装置構成）
実施形態に係る物体検出装置の構成について、図１を参照して説明する。図１は、実施形態に係る物体検出装置の構成を示すブロック図である。

図１において、物体検出装置１００は、本発明に係る「自車両」の一例としての、車両１に搭載されている。物体検出装置１００は、撮像手段１１、自己位置検出手段１２、自己姿勢検出手段１３、地図手段１４、対象物検出手段１５及び算出手段１６を備えて構成されている。

撮像手段１１は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を有する。撮像手段１１は、車両１の周辺（典型的には、車両１の前方）を撮像して周辺画像を逐次取得する。

自己位置検出手段１２は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して、当該物体検出装置１００の位置（即ち、当該物体検出装置１００を搭載する車両１の位置）を検出する。自己位置検出手段１２は、例えばジャイロセンサ等の内界センサの出力に基づいて、例えばＧＰＳ信号から検出された位置の精度を向上させてよい。或いは、自己位置検出手段１２は、例えば撮像手段１１により取得された周辺画像を俯瞰画像に変換して、地図情報として保持された路面テクスチャと最も相関が大きくなる位置を求めることにより、例えばＧＰＳ信号から検出された位置の精度を向上させてよい。

自己姿勢検出手段１３は、例えばジャイロセンサの出力に基づいて、当該物体検出装置１００の姿勢（特に、撮像手段１１の光軸方向）を推定する。

地図手段１４は、例えば地図データベースであり、道路地図情報を保持する。道路地図情報には、道路形状及び道路勾配を示す情報が含まれている。具体的には、道路地図情報には、例えば緯度、経度及び標高等の３次元座標を夫々示す複数のデータ点と、複数のデータ点の相互間を接続する道路を示す接続情報とが含まれている。複数のデータ点は、例えば交差点等の結節点（所謂ノード）に対応するデータ点に限らず、道路（又は車線毎）に沿って一定間隔で配列されたデータ点も含んでよい。本実施形態では、上記複数のデータ点を、「ウェイポイント」と称する。

対象物検出手段１５は、撮像手段１１で取得された周辺画像からパターン認識により対象物（例えば他車両、歩行者、障害物等）を検出して、その画像座標（即ち、周辺画像上の対象物の位置を示す画像座標）を出力する。

算出手段１６は、対象物の位置及び車両１から対象物までの距離の少なくとも一方を算出するために、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、ウェイポイント投影部１６１及び位置・距離推定部１６２を備える。

（物体検出処理）
上述の如く構成された物体検出装置１００が実施する物体検出処理について、図２のフローチャートを参照して説明する。尚、以下の説明では、対象物の一例として、車両１の前方を走行する他車両を挙げる。

図２において、対象物検出手段１５及び算出手段１６は、撮像手段１１から周辺画像を取得する（ステップＳ１０１）。算出手段１６は、自己位置検出手段１２から当該物体検出装置１００の位置（即ち、自己位置）を取得する（ステップＳ１０２）。算出手段１６は、自己姿勢検出手段１３から撮像手段１１の光軸方向を含む当該物体検出装置１００の姿勢（即ち、自己姿勢）を取得する（ステップＳ１０３）。尚、ステップＳ１０１〜Ｓ１０３の処理は、並行して又は相前後して行われてよい。

次に、対象物検出手段１５は、周辺画像から対象物を検出し、算出手段１６は対象物検出手段１５から対象物の位置を示す画像座標を取得する（ステップＳ１０４）。ここで、周辺画像として、車両１の前方を走行する他車両が写った画像が取得された場合に、該他車両を対象物として検出する方法について、図３を参照して具体的に説明する。

対象物検出手段１５は、先ず、図３（ａ）に示すように、周辺画像上に探索領域２１を設定する。探索領域２１は、対象物に応じて設定される。例えば、対象物が車両の場合、空等の道路外に車両が存在することはないので、撮像手段１１に係る画角や設置角度等に基づいて、例えば空に該当する領域をなるべく含まないような探索領域が設定される。このように探索領域を限定することによって、誤検出を抑制することができる。

次に、対象物検出手段１５は、探索領域２１内において、パターン認識により対象物を検出する。パターン認識には、例えばディープニューラルネットワーク等の機械学習に基づく手法等、既存の技術を適用可能である。対象物が検出されると、対象物検出手段１５は、検出された対象物（ここでは、他車両）を示す検出枠２２を設定する（図３（ｂ）参照）。対象物検出手段１５は、更に、検出枠２２の下辺中央の画像座標（図３（ｃ）の黒丸２２ａ参照）を、周辺画像における対象物の画像座標として出力する。なぜなら、ウェイポイントにより示される３次元座標は、道路上の地点に対応しているからである。このため、検出枠２２で囲まれた領域のうち、道路に最も近いと考えられる位置に対応する画像座標を対象物の位置とすれば、対象物の位置等の算出に係る誤差を抑制することができる。

図２のステップＳ１０４の処理の後、ウェイポイント投影部１６１は、周辺画像上にウェイポイントを投影する（ステップＳ１０５）。具体的には、ウェイポイント投影部１６１は、当該物体検出装置１００の位置に基づいて、地図手段１４から道路地図情報に含まれる一又は複数のウェイポイントを取得（抽出）する。ここで、取得されるウェイポイントは、例えば当該物体検出装置１００の位置に基づいて周辺画像に写っていると推定される地点に対応するウェイポイントである。ウェイポイント投影部１６１は、撮像手段１１の外部パラメータ（位置及び光軸方向）と、内部パラメータ（レンズ焦点距離、画素間隔等）に基づいて、上記取得された一又は複数のウェイポイントを、周辺画像上に投影する（即ち、ウェイポイントを周辺画像上の画像座標に変換する）。図３（ｃ）に、ウェイポイントが投影された周辺画像の一例を示す。図３（ｃ）の白丸がウェイポイントを表している。

図２のステップＳ１０５の処理の後、位置・距離推定部１６２は、周辺画像における対象物の位置を示す画像座標、及び、該周辺画像上に投影されたウェイポイントに基づいて、対象物の位置及び車両１から対象物までの距離の少なくとも一方を算出（推定）する（ステップＳ１０６）。ここで、対象物の位置等の算出方法について、図３（ｃ）を参照して具体的に説明する。

第１の方法
第１の方法では、位置・距離推定部１６２は、周辺画像における対象物の位置を示す画像座標２２ａに最も近い画像座標に対応するウェイポイントを特定する。図３（ｃ）では、ウェイポイントＷ１が、該ウェイポイントとして特定されたものとする。位置・距離推定部１６２は、ウェイポイントＷ１により示される３次元座標を、現実の対象物の位置とする。また、位置・距離推定部１６２は、ウェイポイントＷ１により示される３次元座標と、当該物体検出装置１００の位置との差分を、車両１から対象物までの距離として算出する。

第２の方法
他方、第２の方法では、位置・距離推定部１６２は、周辺画像における対象物の近傍の複数のウェイポイントを特定し該対象物と対応付ける。図３（ｃ）では、ウェイポイントＷ１及びＷ２が、対象部の位置を示す画像座標と最も画素距離が近い複数のウェイポイントとして特定されたものとする。位置・距離推定部１６２は、ウェイポイントＷ１及びＷ２各々により示される３次元座標の平均により、対象物の実空間上の位置を算出する。ここで平均は、例えば対象物の画像座標とウェイポイントＷ１及びＷ２との画素間距離の逆数を正規化して定義した重みを用いる荷重平均である。尚、「平均」には、加重平均の他に、単純平均、相乗平均等の既存の各種平均（法）を適用可能である。位置・距離推定部１６２は、該算出された現実の対象物の位置と、当該物体検出装置１００の位置との差分を、車両１から対象物までの距離として算出する。

上述の第１の方法及び第２の方法のいずれを採用するかは、例えば目標とする精度や、ウェイポイントの配置間隔等に応じて適宜決定されてよい。具体的には、ウェイポイントが比較的密に配置されている場合（例えば数メートル間隔でウェイポイントが配置されている場合）には、第１の方法が採用されることが望ましい。他方、ウェイポイントが比較的疎に配置されている場合（例えば十数メートル以上の間隔でウェイポイントが配置されている場合）には、第２の方法が採用されることが望ましい。尚、第１の方法では平均が行われないので、第２の方法に比べて処理負荷を低減することができる。

尚、対象物が、例えば歩行者等、車線上に存在しないことが多いものである場合、位置・距離推定部１６２は、例えば次のように対象物の位置を算出する。例えば図３（ｃ）において、検出枠２３に対応する歩行者が対象物であるとする。位置・距離推定部１６２は、検出枠２３の下辺中央の画像座標２３ａの縦方向の座標と、ウェイポイントが対応付けられた画像座標の縦方向の座標とを比較する。

上述の第１の方法の場合、位置・距離推定部１６２は、画像座標２３ａの縦方向の座標に最も近い縦方向の座標に変換されたウェイポイントと対象物（歩行者）を対応付ける。位置・距離推定部１６２は、対応付けられたウェイポイントの位置から車両１から該ウェイポイントまでの距離を求め、これを対象物（歩行者）までの距離の概算距離とする。位置・距離推定部１６２は、更に、特定されたウェイポイントの画像座標の横方向の座標及び画像座標２３ａの横方向の座標の差分と、撮像手段１１の内部パラメータとから対象物（歩行者）の位置及び車両１から対象物までの距離の少なくとも一方を算出する。

或いは、上述の第２の方法の場合、位置・距離推定部１６２は、画像座標２３ａの縦方向の座標近傍のウェイポイントＷ１及びＷ３を特定し対象物（歩行者）と対応付ける。位置・距離推定部１６２は、ウェイポイントＷ１及びＷ３各々により示される３次元座標の平均により、対象物（歩行者）の位置及び車両１から対象物までの距離の少なくとも一方を算出する。

尚、対象物としての歩行者の検出に、顔検出処理が用いられる場合（この場合、典型的には、検出枠は頭部近傍に設定される）、検出枠の下辺は接地点とは異なることが多い。この場合、例えば検出枠の位置から、接地点に相当する画像座標を推定した上で、対象物としての歩行者の位置等が算出されることが望ましい。

本実施形態では、車両１の前方を走行する他車両を対象物として挙げたが、車両１の後方又は側方を走行する他車両等が対象物とされてもよい。

（技術的効果）
自車両の周辺に存在する、例えば他車両や歩行者等の対象物の位置を検出する方法として、例えばレーダやＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等の距離を測定可能なセンサを用いる方法が提案されている。しかしながら、この方法では、目的とする対象物を識別して検出することが困難であり、加えてコストも比較的高くなる。

或いは、ステレオカメラを用いる方法が提案されている。しかしながら、この方法では、視差計算に係る計算量が比較的多くなってしまう。加えて、ステレオカメラのキャリブレーションが必要である。従って、この方法では、処理負荷が比較的高くなる。

或いは、単眼カメラを用いる方法の１つとして、路面が平坦であることを仮定した方法が提案されている。例えばカメラ搭載位置、カメラ光軸方向、画角、焦点距離等のカメラに係るパラメータに基づいて、撮像された画像の下端位置から対象物までの距離が推定されることがある。しかしながら、この場合、路面に勾配があると推定誤差が比較的大きくなってしまう。また、単眼カメラを用いる別の方法として、撮像された画像における対象物のサイズと、該対象物の実際のサイズとから距離が推定されることがある。この場合、実際のサイズのばらつき（例えば、乗用車が対象物である場合、その横幅は、約１．４メートル〜約２メートルと比較的大きく変化する）に起因して、推定距離の誤差が比較的大きくなってしまう。

さて、当該物体検出装置１００では、撮像手段１１により撮像された周辺画像から対象物が検出される。撮像された周辺画像は、距離を測定可能なセンサに比べて空間解像度が高く、比較的遠方の被写体であってもその詳細な形状を得ることができる。従って、当該物体検出装置１００によれば、距離を測定可能なセンサに比べて、容易に目的とする対象物を識別して検出することができる。

加えて、当該物体検出装置１００では、対象物の位置等を算出するために、ステレオカメラを用いる場合の視差計算は不要である。従って、当該物体検出装置１００によれば、ステレオカメラを用いる方法に比べて、処理負荷を低減することができる。他方で、当該物体検出装置１００では、対象物の位置等を算出するために、道路地図情報に含まれるウェイポイントを利用している。従って、上述の単眼カメラを用いる方法とは異なり、路面勾配の影響を受けずに（更には、対象物の実際のサイズが未知であっても）、対象物の位置等を算出することができる。

以上の結果、当該物体検出装置１００によれば、処理負荷を低減しつつ、対象物を比較的高い精度で検出することができるとともに、対象物の位置等を比較的高い精度で算出することができる。

実施形態に係る「自己位置検出手段１２」、「自己姿勢検出手段１３」及び「地図手段１４」は、夫々、本発明に係る「位置検出手段」、「光軸推定手段」及び「地図記憶手段」の一例である。実施形態に係る「ウェイポイント投影部１６１」及び「位置・距離推定部１６２」は、本発明に係る「算出手段」の一例である。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う物体検出装置もまた本発明の技術的範囲に含まれるものである。

１…車両、１１…撮像手段、１２…自己位置検出手段、１３…自己姿勢検出手段、１４…地図手段、１５…対象物検出手段、１６…算出手段、１００…物体検出装置、１６１…ウェイポイント投影部、１６２…位置・距離推定部

Claims (4)

1. 自車両の周辺を撮像して周辺画像を取得する撮像手段と、
   前記周辺画像から対象物を検出して、前記検出された対象物の前記周辺画像上の位置を示す第１画像座標を出力する対象物検出手段と、
   前記自車両の位置を検出する位置検出手段と、
   道路上の複数の地点各々の３次元座標を夫々示す複数の座標点を含む地図情報を記憶する地図記憶手段と、
   前記第１画像座標と前記自車両の位置とに基づいて、前記対象物を、前記複数の座標点のうち１個以上の座標点と対応付けるとともに、前記自車両の位置及び前記対応付けられた１個以上の座標点に基づいて、前記対象物の実空間上の位置及び前記自車両から前記対象物までの距離の少なくとも一方を算出する算出手段と、
   を備えることを特徴とする物体検出装置。
2. 前記撮像手段の光軸方向を推定する光軸推定手段を備え、
   前記算出手段は、前記推定された光軸方向に基づいて、前記対象物を前記複数の座標点のうち１個以上の座標点と対応付ける
   ことを特徴とする請求項１に記載の物体検出装置。
3. 前記算出手段は、前記対応付けられた１個以上の座標点を前記周辺画像の画像座標に変換し、前記第１画像座標に最も近い画像座標に変換された座標点により示される３次元座標から、前記対象物の実空間上の位置及び前記自車両から前記対象物までの距離の少なくとも一方を算出することを特徴とする請求項１又は２に記載の物体検出装置。
4. 前記算出手段は、
   前記第１画像座標と前記自車両の位置とに基づいて、前記対象物を、前記複数の座標のうち２個以上の座標点と対応付け、
   前記対応付けられた２個以上の座標点のうち少なくとも２つの座標点各々により示される３次元座標を利用した平均により、前記対象物の実空間上の位置及び前記自車両から前記対象物までの距離の少なくとも一方を算出する
   ことを特徴とする請求項１又は２に記載の物体検出装置。