JP4588914B2

JP4588914B2 - 物体位置計測装置

Info

Publication number: JP4588914B2
Application number: JP2001128708A
Authority: JP
Inventors: 收文中山; 守人塩原
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2001-04-26
Filing date: 2001-04-26
Publication date: 2010-12-01
Anticipated expiration: 2021-04-26
Also published as: JP2002323301A

Description

【０００１】
【発明の属する技術分野】
本発明はステレオ距離計測の手法により得た映像内の各物体までの距離情報に基づき映像内に映っている物体を検出する装置において、照明状態の変化などによって映像全体または一部の明るさが増減して、結果として物体の一部の距離情報が欠落する場合においても、安定に物体を検出して物体の３次元位置を計測するものに関する。
【０００２】
映像中の任意の物体を検出し、その３次元位置を特定する装置は、例えば路上映像から車両の位置を計測して車両の通過の有無や通過速度を算出する交通流計測システムや、人が往来する映像から通過する人の位置や人数を計測する人物監視システムなど、物体監視システム一般に適用可能である。
【０００３】
またベルトコンベア上を運ばれてくる物品の種別を判別する物流システムにおいて、その物品の大きさや映像特徴から運ばれている物品を特定する物品識別へ適用することも可能であり、その外に無人搬送システムで走行ルート上にある障害物を特定するための物体検出手段としての適用や、自律ロボットシステムにおいて、周囲にある物体の位置や大きさを計測する認識処理への適用が可能である。
【０００４】
【従来の技術】
従来の、センサ周囲の距離情報を用いて物体の位置を計測する計測方式は、最初にステレオ距離計測方式によってセンサ周囲にある物体の各位置までの距離（これを距離情報という）を計測して、次に得られた距離情報から特定の大きさや形を持つ部位を抽出して該当物体として識別する。この識別された物体は距離情報を有しているので、その距離情報により、センサから見たステレオ画像により３次元位置が計測できる。
【０００５】
この方式の代表例として実吉敬二、塙圭二、十川能之、荒井一真等の「ステレオ画像を用いた運転支援のための前方状況認識システム」電子情報通信学会技術研究報告ＰＲＭＵ９７−２５〜３６ｐｐ．３９−４６の方式を例として説明する。
【０００６】
これによれば、図８に示す如く、計測したい物体２１を含む情景を２台のテレビカメラ２２、２３を用いて撮影し、ステレオ画像を得る。ここでは左右水平に取付けられたテレビカメラを用いているので、左右１対のステレオ画像２４、２５の映像が取得できる。
【０００７】
次にこのステレオ画像２４、２５から明るさが急変する点群であるエッジ点を、ステレオ画像を微分処理して抽出して、左右画像それぞれに対するエッジ画像２６、２７を得る。続して、後述するステレオ距離計測処理により、各エッジ点について画像の位置ずれ検出画面２８に示す如く、ずれ量ｄを検出し、このずれ量ｄと、テレビカメラ２２、２３の距離にもとづきこのエッジ点について物体までの距離を計測する。
【０００８】
ステレオ距離計測処理とは、一方のエッジ画像、例えばエッジ画像２６中の各位置において、Ｎ×Ｎ画素の局所領域を設ける。そしてそれぞれの局所領域毎に、他方のエッジ画像２７中にＮ×Ｎ画素の局所領域を設け、他方のエッジ画像２７中でこの局所領域を走査することにより、エッジ画像２６の局所領域と同じエッジ点の分布するエッジ画像２７における局所領域を検出する。すなわち左のエッジ画像２６と右のエッジ画像２７から同一物体を示す個所を探し出す処理を行う。これがステレオ距離計測処理である。
【０００９】
物体は、左右画像では距離に応じて映る位置つまり投影される位置が異なるため逆に同一物体の画像での投影位置を左右画像から探し求めることでその位置ずれ量を検出することで、物体までの距離を計算することができる。
【００１０】
このステレオ処理によって画像の各エッジ点で求められた距離の情報は、３次元空間の一点にマッピングされるので、距離が求まった各エッジ点についてマッピング作業を行い、３次元空間での位置の分布を得る。この３次元空間で、例えば予め定めた路面の位置より上方にあり、かつ車両の幅・高さ・奥行きに合致する３次元の塊を検出することで、計測対象である車両を識別することができる。
【００１１】
【発明が解決しようとする課題】
このような対象情景の各位置までの距離情報を取得し、その距離情報にのみ基づいて物体位置を計測する逐次的な方式では、物体までの距離情報が得られている場合には、物体を識別でき、その３次元位置を計測することができる。
【００１２】
ところが、例えば屋外で稼働する場合を考えると、日照変化や天候変化により照度の増減があるため、映像全体が暗くなり過ぎたり、明るくなり過ぎたりして、対象物体と背景の明るさが似てきてしまい、対象物体の外形を示すエッジ点の検出位置がずれることがある。
【００１３】
しかもその位置ずれは、左右上下のいずれの方向に生じるかは各エッジ毎に独立であるため、エッジ点毎のステレオ処理において、局所領域毎のエッジ点の分布形状を比較しても左右画像から一致する部分が見つけられず、物体外形の距離が計測できなかったり、一致部分を見つけられたとしてもエッジの位置がずれを含むため、誤った距離の情報を呈することとなる。結果として物体外形を示す距離情報が欠落して物体の検出ができなかったり、誤った距離情報を用いて誤った位置に物体があると誤認識してしまう問題があった。
【００１４】
２つの画像によるステレオ処理では、設置した２台のカメラと平行な方向のエッジについては原理的に距離を求めることができない。例えば左右水平にカメラを設置した場合には、水平線エッジの距離を算出できず、物体の縦方向の外形しか距離は得られない。実際に照度変化が生じたときに、どのように物体外形の距離情報が欠けるかを観察すると、物体外形の全体が得られない場合よりも、物体左右端の外形のいずれかが欠けることが多い。物体外形の左右端のいずれかが欠けると、３次元的な幅や高さが変わるので、物体として検出できない。
【００１５】
このような状況を考えると物体の外形の一部から距離情報が得られない場合でも物体の位置を正確に検出できることが必要である。従って本発明の目的は、物体の外形の一部から距離情報が得られない場合でも物体の位置を正確に検出することができる物体位置計測装置を提供することである。
【００１６】
【課題を解決するための手段】
本発明の原理構成を図１に示す。図１において１はステレオ画像撮影部、２はステレオ処理部、３は物体検出処理部、４は物体検出処理選択部、５は全体外形物体検出処理部、６は部分外形物体検出処理部である。本発明の前記目的は下記（１）〜（３）により達成することができる。
【００１７】
（１）ステレオ計測距離情報から物体を検出する物体位置計測装置において、検出すべき物体の外形の全体で距離情報が得られているか否かを判断する物体検出処理選択手段４と、
前記外形の全体で距離情報が得られているとき、物体位置を決定する全体外形物体検出処理手段５と、
前記物体の外形の一部の距離情報が欠けている場合に、予め用意した物体の外形の見え方モデルを使用して外形の欠けている部分を識別し、欠けた部分に対応する位置のエッジ点の如き特徴量の塊に基づき外形を形成し、この塊に基づいてステレオ対応付けを行うことにより、前記欠けた部分の外形の距離を算出する部分外形物体検出処理手段６を具備したことを特徴とする物体位置計測装置。
【００１８】
（２）前記部分外形物体検出処理手段６は、前記エッジ点の如き特徴量の塊の平均位置に基づいてステレオ対応付けを行うことを特徴とする前記（１）記載の物体位置計測装置。
【００１９】
（３）前記全体外形物体検出処理手段５と、前記部分外形物体検出処理手段６において、複数の物体位置候補を算出して、これらを物体位置決定処理手段に送出し、物体位置決定処理手段では過去に求められた物体位置の情報を用いて複数の物体位置候補から正しい物体位置を決定可能にしたことを特徴とする前記（１）または前記（２）記載の物体位置計測装置。
【００２０】
これにより下記の作用効果を奏する。
【００２１】
（１）物体外形の全体で距離が得られている場合に物体位置を決定する処理部に加えて、物体外形の一部の距離情報が欠けている場合でも、予め用意した物体の外形の見え方のモデルを用いて外形の欠けた部分に対しても距離を算出する処理部を設けたので、物体外形全体で距離が得られている場合は勿論のこと、物体外形の一部が欠けている場合でも、正確に物体を検出することができる。
【００２２】
（２）ステレオ処理で距離が求められない、一部の欠けた外形について、エッジ点などのように距離とは異なる特徴量の塊を使用して外形を形成するので、一部が欠けた外形に対しても外形部分を正確に得ることができる。
【００２３】
（３）過去に得られた物体位置の情報を用いて複数の物体位置候補から正しい物体位置を時系列的に得ることができるので、背景にもエッジ点があるような場合でもそれを誤認することなく正確に物体を検出することができる。
【００２４】
【発明の実施の形態】
本発明の概略を図１及び図２に基づき説明する。図１は本発明の概略構成図、図２は外形の一部が欠けている場合の処理状態説明図である。
【００２５】
先ず２個のカメラを有するステレオ画像撮影部１で得られたステレオ画像を、ステレオ処理部２に送出し、距離情報を取得する。この距離情報は、従来方式と同じ手法で得られるものであり、ステレオ画像を微分処理して明るさが急変するエッジ部分を検出し、次に左右の画像から得られたエッジ部分の一致する同一部分を検出し、この同一部分のズレを求めて距離を得るものである。従来は、物体検出処理に際し、距離情報を３次元空間にマッピングして、その３次元点情報から物体の幅・高さ・奥行きのモデル（３次元モデルであり、検出物体があらかじめどのようなサイズのものかを予め記述したものであり、複数の固定の場合も、また式で表現した可変サイズの場合もある）を用いて物体を検出する処理のみを、全体外形物体検出処理部５で行っていた。
【００２６】
これに対し、本発明では、距離情報から物体を検出する処理において、従来からの物体外形の全体で距離が得られている場合だけでなく、物体外形の一部の距離情報が欠けている場合には、予め用意した物体の外形の見え方のモデルを用いて、外形のどこが欠けているのかを識別し、欠けた部分では再度外形の距離を、図１に示す部分外形物体検出処理部６で行い、この全体外形の距離が得られている場合の処理と、物体外形の一部の距離情報が欠けている場合の処理を物体検出処理選択部４で切替制御することにより、物体外形の全体が得られている場合でも、物体外形の一部が欠けている場合でも安定に物体を検出できるようにしたものである。
【００２７】
物体外形の一部が欠けている場合の処理は、図１における部分外形物体検出処理部６で行うものであり、本発明の重要な構成部分であるので、この物体の外形が欠けた部分で再度外形の距離を算出する処理を図２により説明する。図２では左右水平状態にカメラを取り付け物体の形状を矩形（直方体）として、その左端の外形しか距離情報が得られていない場合を想定している。
【００２８】
まず一方の画像（ここでは左カメラで撮影した左画像）の各エッジ位置について距離を定めた距離画像（左距離画像）に対して、物体の外形の見え方モデルＭを当てはめて、外形が欠けているかいないか調べる（処理▲１▼）。これにより外形右端の欠けていることが検出される。
【００２９】
次に欠けていると判断された個所（この場合は右端）については直接エッジ画像を調べ、物体の外形に相当する距離が求まっていないエッジ点の有無を調査する（処理▲２▼）。
【００３０】
もしこの距離の求められていないエッジ点があれば、それらエッジ点群を一塊として抽出する（処理▲３▼）。そしてこのエッジ塊を、欠けていた外形右端と見なす（処理▲４▼）。
【００３１】
この操作を他方画像（ここでは右距離画像）についても同様に行い、外形右端を形成するエッジ塊を検出する（処理▲１▼′、▲２▼′、▲３▼′、▲４▼′）。
【００３２】
次に前記左距離画像より得られている距離情報外形を外形左端とし（処理▲５▼）、前記処理▲４▼より得られた外形右端を統合して左統合画面を作成する。同様にして右距離画像より得られている距離情報外形を外形左端とし（処理▲５▼′）前記処理▲４▼′より得られた外形右端を統合して右統合画面を作成する。そして左統合画像と右統合画像の右端の塊同士を対応ずけ（例えば平均位置を算出）、右端外形の距離を算出する（処理▲６▼）。
【００３３】
このように物体と背景との明るさの差が減少した場合のように、エッジ点自体は存在するが、その検出された位置の精度が低く左右画像間でエッジ点毎の対応つまりエッジ点の一致検出が無理である場合でもエッジの塊同士では対応付けられることを意味している。
【００３４】
しかしエッジ点だけを頼りに物体外形を定めると、背景のエッジなど物体ではない誤った部分のエッジを用いて物体外形と誤認する場合が発生する。そこで本発明では、後述する第２の実施の形態に説明するように、部分外形物体検出処理部６では、モデル一致度（物体らしさの評価値）を定めておき、物体位置を探索しながらそのモデル一致度が高かった上位Ｋ番目（Ｋは１以上）の複数の物体候補を出力する。そして物体の運動の履歴情報等の過去の物体位置の情報から動きの滑らかさなどを判断して物体位置決定処理を行い、複数の候補の中から最も物体である可能性の高いものを最終的な物体位置として出力する。これにより物体外形の一部が欠けても、背景や他の物体の影響を受けることなく、正しい物体位置を決定することができる。
【００３５】
本発明の一実施の形態を図３〜図５により、他図を参照して説明する。図３は本発明の一実施の形態、図４は距離画像説明図、図５は走査範囲説明図、図６は物体外形の見え方モデルと外形検出領域の関係説明図である。
【００３６】
図中、他図と同記号は同一部を示し、１はステレオ画像撮影部、２はステレオ処理部、３は物体検出処理部、４は物体検出処理選択部、５は全体外形物体検出処理部、６は部分外形物体検出処理部である。
【００３７】
ステレオ画像撮影部１は設置位置が異なる２台以上、例えば２台のカメラから構成され、このステレオカメラ装置により、例えば２枚のステレオ画像を取得するものである。
【００３８】
ステレオ処理部２は、ステレオ画像撮影部１で得られたステレオ画像を入力として、最初にそれぞれの入力画像について徴分処理を行い、明るさが急変する箇所すなわちエッジ点を抽出し、エッジ画像を作成する。次にこのステレオ画像のエッジ画像を入力として同部分を求めるステレオ対応付け処理を行い、同一部分に対してはその画像のずれ量より距離を求める。そして距離の求められているもののみエッジ点毎に奥行き情報を有する距離画像を作成し、ステレオ処理部２の出力とする。また同時に最初に求めたエッジ画像群もステレオ処理部２の出力として後段処理のため出力する。
【００３９】
物体検出処理部３は、ステレオ処理部２の前記出力である距離画像とエッジ画像群を入力として、物体を検出して３次元位置を定める処理を行うものであり、物体検出処理選択部４、全体外形物体検出処理部５、部分外形物体検出処理部６等を備えている。
【００４０】
物体検出処理選択部４は、入力された距離情報（距離画像）から物体らしい部位Ｐ_i（_i≧１）（物体断片と呼ぶ）を抽出し、予め用意した物体の３次元形状を表した物体形状モデルＭ_j（_j≧１）から定まる画像での見え方モデルＭＬⁱ _j（_j≧１）を物体断片Ｐ_iに当てはめ、距離情報について物体外形が欠けているかを判断するものである。なお見え方モデルとは、物体をその見る位置に応じて示したものであり、同一物体でもその見える位置により形状が変わるものであり、例えば直方体の場合、真横からみれば見え方モデルは矩形になり、斜め横方向から見れば見え方モデルは正面部分の他に側面が見える形状となる。図２の例は直方体を真横から見た場合の見え方モデルＭを示している。
【００４１】
もし欠けが無ければ、物体検出処理選択部４は処理を全体外形物体検出処理部５に移して物体外形全体の距離情報を用いて物体の有無を判断し、物体が有るならばその位置を決定する。また物体検出処理選択部４は物体外形に欠けがあると判断すれば、処理を部分外形物体検出処理部６に移して部分的な外形の距離情報と欠けた部分ではエッジ点情報を用いて物体の有無を判定し、物体があればその位置を決定する。
【００４２】
以下に各部の詳細内容について説明する。
【００４３】
まず、物体検出処理選択部４について説明する。物体検出処理選択部４では、最初に次の手順で物体断片Ｐ_i（０≦_i≦Ｎ；Ｎは物体断片の数）を検出する。Ｐ_iの検出の手法として、図４に示す如く、まず、距離画像Ｄｉｍｇを幅と高さがＧ_w×Ｇ_hの小領域Ｇ_k（グリッド）に区切り、各小領域毎に含まれるエッジ点の距離分布の平均値と分散値及びエッジ点の個数を求め、距離の分散値が閾値より大きな領域もしくはエッジ点の個数が閾値以下の領域は距離が一定でなく不安定領域として削除する。残りの小領域については、距離画像上（２次元）での小領域Ｇ_k間の距離差Ｌ₁と小領域間が持つ３次元空間での距離差（奥行差）Ｌ₂とが、それぞれ閾値以内にある小領域群を一つにまとめて物体断片Ｐ_iとして抽出する。これは、３次元的に近くに位置する塊を物体断片として抽出していることになる。
【００４４】
次に、得られた各物体断片Ｐ_iに対して、物体の３次元形状モデルＭ_j（１≦ｊ≦Ｎｍ；Ｎｍは用意する物体形状モデルの種別数）を用いて、そのモデルそれぞれを物体断片Ｐ_iの位置（距離）に置いた時の物体外形がどのように見えるかを表す「物体外形見え方モデルＭＬⁱ _j」（ｉは物体断片の番号、ｊは使用しているモデルの番号で、１≦ｊ≦Ｎｍ；Ｎｍは用意する物体形状モデルの種別数）を作成する。物体の３次元形状モデルはどのようなものでも良いが、ここでは実現例の一つとして、物体の幅ＭＷ_j、高さＭＨ_j、奥行きＭＤ_jを示す直方体モデルを採用する。
【００４５】
各物体断片Ｐ_iの３次元位置の中心位置（Ｃｘ_i,Ｃｙ_i,Ｃｚ_i）に直方体モデルの前面を合わせるように置くと、直方体の各頂点は（Ｃｘ_i±ＭＷ_j／２，Ｃｙ_i±ＭＨ_j／２，Ｃｚ_i）×（Ｃｘ_i±ＭＷ_j／２，Ｃｙ_i±ＭＨ_j／２，Ｃｚ_i＋ＭＤ_j）（符号組合せは任意）となる。各頂点位置を（Ｘ，Ｙ，Ｚ）として、カメラの内部パラメータである焦点距離ｆと２台のカメラ間距離ｂとを用いて、画像上への投影位置（ｘ，ｙ）を下式（１）により求め、投影点を囲む最小矩形領域
【００４６】
【数１】

【００４７】
を物体外形の見え方モデルＭＬⁱ _j（１≦ｊ≦Ｎｍ；Ｎｍは用意する物体形状モデルの種別数）とする。この物体外形の見え方モデルＭＬⁱ _jの大きさで距離画像内を走査していき、以下に述べる判断条件（１）を満たす場合には、物体外形全体が求まったと見なす。このとき、ｋ（ｉ）番目の物体候補Ｏ^ij _k(i)を生成して、Ｏ^ij _k(i)に対してその走査位置を記録するとともに、全体外形物体検出処理部５へ移行するフラグを立てる。このｋ（ｉ）とは、ｉ番目の物体断片Ｐ_iに対して検出された物体候補に付けられる通し番号で、候補毎に異なる番号が付され、複数の候補が検出されても良いことを意味する。
【００４８】
また、後述する判断条件（２）を満たす場合には、物体外形の一部が求まったと見なし、ｋ（ｉ）番目の物体候補Ｏ^ij _k(i)を生成して、その走査位置を記録するとともに、部分外形物体検出処理部６へ移行するフラグを立てる。
【００４９】
条件（１）も（２）も満足しない場合は、物体は存在しないと見なし、走査作業を続行する。走査範囲は、図５に示すように、物体断片Ｐ_iと物体の見え方モデルＭＬⁱ _jが重なる最左端から最右端までの範囲、すなわち、物体断片Ｐ_iの右側と見え方モデルＭＬⁱ _jの右側が一致する位置から、物体断片Ｐ_iの左側と見え方モデルＭＬⁱ _jの左側が一致する位置までの範囲とする。
【００５０】
判断条件（１）：（外形全体が得られているかの検査）
ここでは、ステレオカメラが並んだ方向を水平軸と考えたとき（実際に水平である必要は無い）、左側に位置するカメラ（画像）を左、右側に位置するカメラ（画像）を右とする。このとき、ステレオの性質上、物体の縦成分しか距離が求まらない。従って、物体外形として重要なのは、左右端の縦の外形である。そこで、この左右端の外形の有無を外形全体が得られているか否かの判断基準とする。
【００５１】
物体外形の見え方モデルＭＬⁱ _jを距離画像内に設置し、図６に示すような調査領域（Ｒ１〜Ｒ３）を見え方モデルＭＬⁱ _jの位置を基準に設定する。ここで、Ｒ１は外形の左端側の存在を検査するための領域、Ｒ２は右端側の外形の存在を検査する領域、Ｒ３は物体の内部か外部かを判定する領域である。領域の大きさは次のように定める。Ｒ１、Ｒ２については、高さは見え方モデルＭＬⁱ _jの高さＭＨⁱ _jと同じで、幅Ｒ_wは見え方モデルＭＬⁱ _jの幅ＭＷⁱ _jを基準にある関数Ｆ（ＭＷⁱ _j）で与えるものとし、例えばＦ（Ｘ）＝Ｘ／４などである。Ｒ１とＲ２を設定する位置は図６に示したように、Ｒ１やＲ２の幅の１／２が見え方モデルと重なるようにする。また、Ｒ３は見え方モデル内でＲ１、Ｒ２でない部分とする。従って、領域Ｒ３の幅はＭＷⁱ _j−Ｆ（ＭＷⁱ _j）で、高さはＭＨⁱ _jである。
【００５２】
外形の検出領域Ｒ１、Ｒ２について、以下に示す条件の両者を満足する時に、物体の外形が全て見つかったと判断する。
【００５３】
（左端側の検査領域Ｒ１内にある距離を有すエッジ点の数）≧閾値Ｔｈ₁
（右端側の検査領域Ｒ２内にある距離を有すエッジ点の数）≧閾値Ｔｈ₁
ここで、閾値Ｔｈ₁は、領域Ｒ１（またはＲ２）に存在すべき距離を有すエッジ点の数の最低値を定めたノイズによる影響を抑制するための閾値である。これ以上の数のエッジ点がある時に安定して距離を有すエッジ点の塊が存在する、すなわち距離を有す外形が存在すると見なす。
【００５４】
判断条件（２）：（外形の一部分が得られているか、すなわち一部が欠けているかの検査）
判断条件（１）と同様に、物体外形の見え方モデルＭＬⁱ _jをステレオ画像のうちの一方の距離画像内に設置し、図６で示した調査領域（Ｒ１、Ｒ２）について、以下のいずれかの条件を満足するか調べる。
【００５５】
【数２】

【００５６】
ここで、「距離が求まっていないエッジ点」とは、物体と背景との間の明るさの変化が少ないなどの理由によりエッジ点の位置がずれてしまい、ステレオ処理で左右エッジ画像間で同一箇所を定められず、距離が求まっていないエッジ点を指す。このいずれかの条件を満たすならば、一方の端では３次元位置を定められる距離情報を持つ物体外形があり、他方端では、距離は分からないが、塊として物体外形を形成し得る特徴（痕跡）が存在することを表す。ます、距離が求まっていないエッジ点の数に対する閾値Ｔｈ₂は、閾値Ｔｈ₁に対して
【００５７】
【数３】

【００５８】
なる関係を持つ値とする。ここで式中のＴは、全エッジ点に対する平均対応率であり、あらかじめ、例えば実験により求めておくものであり、全エッジ数のうち、平均的に距離が求まるエッジ点の数の割合を表す。通常は、全てのエッジ点に対して距離が求まらないので、１以下の数値となる。この関数Ｔを用いることで、距離が求まっているエッジ点の数と、距離が求まっていないエッジ点の数と影響がほぼ等しくなるように調整している。
【００５９】
もし、式２の条件のいずれかを満足するならば、物体の外形の一部が見つかった（一部が欠けている）可能性があると判断して、下記の次処理で説明する、他方画像で同様に外形の有無を調査する。この調査の目的は、互いに異なる物体の一部分ずつを組合せて、一部の外形が欠けた物体であるとする誤認識を防ぐためであり、ステレオ画像間で矛盾無く「外形が欠けている」と判断できるかを確認している。
【００６０】
もし、式２のどちらも満足しないならば、判断条件（２）を満足しないとして返る。
【００６１】
次処理である他方画像での物体外形の有無の判定は、次のように行う。まず、元の画像における外形検出領域Ｒ１またはＲ２のうち、「距離を有すエッジ点を多く含む領域」側の平均距離に基づいて、他方画像における物体の見えるべき位置を算出する（後述）。次に、他方画像での見えるべき位置で図６で示した調査領域を設定し、元の画像で「距離が求まっていないエッジ点を多く含む領域」側と同一側の領域において、以下の条件を満足するか調べる。
【００６２】
（距離が求まっているエッジ点の数）≦閾値Ｔｈ₃
（距離が求まっていないエッジ点の数）≦閾値Ｔｈ₂
この条件は、ステレオ画像間で、物体の左右端の同一側で距離を有す外形が欠けていることを判断するためのものである。上記の２つの条件を満足するならば、矛盾無く外形の一部が欠けているので、判断条件（２）を満足するとして返る。もし満足しないならば、判断条件（２）は満足しないとする。
【００６３】
他方画像における物体の見えるべき位置の算出は、次のように行う。一方画像のエッジ点位置Ｅ₁（ｘ^e _1,ｙ^e ₁）と他方画像でのエッジ点位置Ｅ₂（ｘ^e _2,ｙ^e ₂）の関係は、エッジ点の距離Ｄ_E、カメラの焦点距離ｆ、カメラ間距離ｂによって以下のように関連付けられる（水平に設置されたステレオの場合）。
【００６４】
【数４】

【００６５】
従って、物体外形のうち距離が求まっている側の平均距離Ｄmeanを用いて、物体外形の見え方モデルＭＬⁱ _jの矩形領域をｘ方向に計算値分だけずらすことで、他方画像での物体の見えるべき位置を決定できる。
【００６６】
もし、ｉ番目の物体断片Ｐ_iについて、全ての物体モデルを用いて走査を終了したならば、他の物体断片Ｐ_k（ｋ＝_i+1）について以上の操作を繰り返す。もし全ての物体断片について以上の処理を施したならば、物体検出処理選択部４の処理を終え、それぞれの物体候補Ｏ^ij _k(i)毎に関連付けられた物体検出処理（全体外形物体検出処理部５、又は、部分外形物体検出処理部６）へ処理を移す。
【００６７】
次に、全体外形物体検出処理部５について説明する。全体外形物体検出処理部５では、物体断片Ｐ_iに関して走査により得られた距離を有する外形が全体から得られている物体候補Ｏ^ij _kについて、物体の有無を判定し、物体があると判定されたならば、その３次元位置を決定する。処理の詳細について説明する。まず、ｉ番目の物体断片に対して、ｊ番目の物体モデル（見え方モデルＭＬⁱ _j）を走査して求まったｋ番目の物体候補Ｏ^ij _k（０≦ｋ≦ＮＯ^j _i；ＮＯ^j _iはｉ番目の物体断片に対して、ｊ番目のモデルを走査したときに得られる物体候補の数）について、見え方モデルＭＬⁱ _jを当てはめた時の当てはめ度合の良し悪しを評価するためのモデル一致度Ｅ１^ij _kを計算し、物体断片Ｐ_i毎に、用いた見え方モデル全てから得られた物体候補の中でモデル一致度が最大となる値Ｅ１ⁱ _maxと、それを与えるモデル位置（ｊ，ｋ）を次のように求める。
【００６８】
【数５】

【００６９】
もし、最大値Ｅ１ⁱ _maxが閾値以上なら、（ｊ，ｋ）で与えられる位置（物体見え方モデルＭＬⁱ _jをｋ番目の物体候補を与える位置に置いた位置）に物体が存在すると決定する。もし最大値Ｅ１ⁱ _maxが閾値以下なら、物体断片Ｐ_iに対する物体は存在しないと決定する。
【００７０】
ここで、見え方モデルとの一致度Ｅ１^ij _kは、与えられたモデルと画像から得られる物体の特徴量がどれだけ符合するかを表す量であれば、その実現方法については特に言及しないが、例えば次のようなものである。図６に示した外形検出領域Ｒ１、Ｒ２で、距離を有すエッジ点の個数の合計をＥ１ⁱⁿ ₁とし、物体内部検出領域Ｒ３で距離を有すエッジ点の内、外形検出領域Ｒ１、Ｒ２の平均距離との差が閾値以内の点数をＥ１ⁱⁿ ₂、閾値以上の点数をＥ１^outとする時、以下の式でモデル一致度を与える。
【００７１】
Ｅ１^ij _k＝Ｅ１ⁱⁿ ₁＋Ｅ１ⁱⁿ ₂−Ｅ１^out
これは、物体の外形部や内部から物体と同一距離を持つエッジ点が得られるほど、また、物体の内部からは検査中の物体以外の証拠である距離の異なるエッジ点が得られていないほど高い得点になり、物体らしいとするものである。
【００７２】
続いて、部分外形物体検出処理部６について説明する。本処理では、物体断片Ｐ_iに関して走査により得られた距離を有す外形が一部（左右端のいずれか）からしか得られない場合に、物体の有無を判定し、物体があると判定されたならば、その３次元位置を決定する処理である。処理の詳細は、見え方モデルとの一致度の計算方法が異なることを除いては、先の全体外形物体検出処理部５と同じである。
【００７３】
部分外形での物体検出処理での見え方モデル一致度Ｅ２^ij _kは、全体外形での物体検出処理の時と同様に、与えられたモデルと画像から得られる物体の特徴量がどれだけ符合するかを表す量であれば、その実現方法については特に言及しないが、例えば次のようなものである。
【００７４】
図６に示した外形検出領域Ｒ１、Ｒ２のいずれかで距離を有すエッジ点を含む側での距離を有すエッジ点の個数をＥ２ⁱⁿ ₁、他方の距離が求まらないエッジ点を含む側の外形検出領域内にある距離が求まらないエッジ点の個数から求まる評価値をＥ２ⁱⁿ ₂とし、物体内部検出領域Ｒ３における距離を有すエッジ点の内、外形検出領域Ｒ１、Ｒ２のいずれかで距離を有す側から求まる平均距離との差が閾値以内の点数をＥ２ⁱⁿ ₃、閾値以上の点数をＥ２^outとする時、以下の式でモデル一致度を与える。
【００７５】
Ｅ２^ij _k＝Ｅ２ⁱⁿ ₁＋Ｅ２ⁱⁿ ₂＋Ｅ２ⁱⁿ ₃−Ｅ２^out
ただし、Ｅ２ⁱⁿ ₂＝（外形検出領域内のエッジ点の数）×Ｔ（Ｔは式２と同じ平均対応率）
この式の意味は、先の全体外形物体検出処理部５と同じであり、物体の外形部や内部から物体と同一距離を持つエッジ点が得られるほど、また、物体の内部からは検査中の物体外である証拠である距離の異なるエッジ点が得られていないほど高い得点になり、物体らしいとするものである。ただし、距離が求まるエッジ点数と距離が求まらないエッジ点数の影響を同じにするために、Ｅ２ⁱⁿ ₂の算出で計数Ｔをかけてある。
【００７６】
本発明の第２の実施の形態を図７により他図を参考にして説明する。図７において、他図と同記号は同一部分を示し、１０は物体検出処理部、１１は全体外形物体検出処理部、１２は部分外形物体検出処理部、１３は物体位置決定処理部である。
【００７７】
物体検出処理部１０は、前記図３に示す物体検出処理部３と同様に、ステレオ処理部２から距離情報とエッジ情報を受け取り、物体位置を出力するものではあるが、図３と異なる点は、物体検出処理部１０を構成する全体外形物体検出処理部１１と、部分外形物体検出処理部１２は、前記図３の全体外形物体検出処理部５と、部分外形物体検出処理部６のように、各物体断片Ｐ_iに対して唯一の物体位置を決定するものではなく、複数のＫ個（Ｋ≧２）の物体位置候補Ｕⁱ _k（ｋは物体位置候補の番号を表し、０≦ｋ≦Ｋ）を選定することと、この複数の物体位置候補Ｕⁱ _kを新たに設けた物体位置決定処理部１３により、過去の物体の情報を用いて、複数の物体位置候補Ｕⁱ _kから、それぞれの物体断片Ｐ_iに対応する物体位置を決定することである。
【００７８】
この構成により、画像から得られる情報のみで物体位置を決定せずに、過去の物体の、例えば移動情報等の、情報にもっとも符合する位置を決定することができ、常に安定して正しく物体位置を決定することができる。
【００７９】
以下に、前記図３の構成と異なる部分について詳述する。
【００８０】
まず、全体外形物体検出処理部１１について述べる。前記図３に示す全体外形物体検出処理部５と比較して違う点は、ｉ番目の物体断片Ｐ_iに対してｊ番目の見え方モデルＭＬⁱ _jを走査して得られたｋ番目の物体候補Ｏ^ij _kについて、見え方モデルＭＬⁱ _jを当てはめた時の当てはめ度合いの良し悪しを評価するモデル一致度Ｅ１^ij _kを用いて、物体断片Ｐ_i毎に、用いた見え方モデル全てを通して得られた物体候補Ｏ^ij _k（０≦ｉ≦Ｎ，１≦ｊ≦Ｎｍ）の中から、モデル一致度が大きいものから上位ｋ番目までを物体位置候補Ｕⁱ _k（０≦ｋ≦Ｋ）として出力する点である。
【００８１】
次に、部分外形物体検出処理部１２について述べる。前記図３に示す部分外形物体検出処理部６と比較して違う点は、先ほどと同様に、物体候補Ｏ^ij _kについて、見え方モデルＭＬⁱ _jを当てはめた時の当てはめ度合の良し悪しを評価するモデル一致度Ｅ２^ij _kを用いて、物体断片Ｐ_i毎に、用いた見え方モデル全てを通して得られた物体候補Ｏ^ij _k（０≦ｉ≦Ｎ，１≦ｊ≦Ｎｍ）の中から、モデル一致度が大きいものから上位ｋ番目までを物体位置候補Ｕⁱ _k（０≦ｋ≦Ｋ）として出力する点である。
【００８２】
続いて、物体位置決定処理部１３について述べる。今、既にＮ₀個の物体Ｗ_q（_qは物体の番号を表し、０≦ｑ≦Ｎ₀である）が検出されているとする。それぞれの物体Ｗ_q毎に運動モデルを持ち、前回までの物体位置の履歴から、運動モデルを用いて今回存在し得る物体位置Ｗ^pre _qを予測する。運動モデルの実際については特段規定せず、例えば一時刻前の位置からの線形予測モデルや、カルマンフィルタを用いた予測モデルで良い。ある予測物体位置Ｗ^pre _qに対して、Ｎ個の物体断片Ｐ_iのそれぞれについて求めた物体位置候補Ｕⁱ _k（０≦ｋ≦Ｋ）とを比較して、３次元での距離差が閾値以内なら、予測物体位置Ｗ^pre _qと物体位置候補Ｕⁱ _kから物体位置Ｗ^pre _q＝Ｆ_p（Ｗ^pre _q，Ｕⁱ _k）として、物体位置Ｗ^pre _qを更新する。そしてＷ^pre _qと対応しなかった残りの物体位置候補Ｕⁱ _kは、同時には存在し得ないので、物体位置候補から削除する。
【００８３】
この操作により、物体位置Ｗ^pre _qと対応が求まらなかった物体位置候補Ｕⁱ _k（０≦ｋ≦Ｋ，０≦ｉ≦Ｎ）については各物体断片Ｐ_iから検出された物体位置候補Ｕⁱ _k（０≦ｋ≦Ｋ）毎に、評価値が最も高い候補位置に新たに物体が検出されたとして、物体位置Ｗ^pre _q+1として登録する。この結果、検出された物体数をＮ₀←Ｎ₀＋１とする。
【００８４】
また、物体位置候補Ｕⁱ _k（０≦ｋ≦Ｋ，０≦ｉ≦Ｎ）のいずれとも対応が付かなかった物体位置Ｗ^pre _qがあるならば、その物体位置Ｗ^pre _qを削除する。
この結果、検出された物体数をＮ₀←Ｎ₀−１とする。
【００８５】
このようにして予測した位置のものともっとも近いものを抽出することができるので、背景のエッジなど物体ではない部分のエッジを用いて物体外形と誤認するようなことはなく、過去の物体位置の情報つまり運動の履歴情報等から動きの滑らかさなどを用いて、もっとも物体である可能性の高いものを最終的な物体位置として正確に出力できる。
【００８６】
本発明は、距離情報から物体を検出する方式において、従来からの物体外形の全体で距離情報が求まっている場合だけでなく、物体外形の一部の距離情報が欠けている場合には、予め用意した物体の外形の見え方のモデルを用いて、外形のどこが欠けているか識別し、欠けた部分では再度外形の距離を算出する処理を追加し、この２つの方式を適宜切り替えることで、物体外形の一部が欠けても安定に物体を検出できるようにしたことにより、照明状態の変化などによって映像全体の明るさが増減して、結果として物体の一部の距離情報が欠落する場合においても、安定に物体を検出できる。
【００８７】
【発明の効果】
本発明によれば下記の効果を奏することができる。
【００８８】
（１）物体外形の全体で距離が得られている場合に物体位置を決定する処理部に加えて、物体外形の一部の距離情報が欠けている場合でも、予め用意した物体の外形の見え方のモデルを用いて外形の欠けた部分に対しても距離を算出する処理部を設けたので、物体外形全体で距離が得られている場合は勿論のこと、物体外形の一部が欠けている場合でも、正確に物体を検出することができる。
【００８９】
（２）ステレオ処理で距離が求められない、一部の欠けた外形について、エッジ点などのように距離とは異なる特徴量の塊を使用して外形を形成するので、一部が欠けた外形に対しても外形部分を正確に得ることができる。
【００９０】
（３）過去に得られた物体位置の情報を用いて複数の物体位置候補から正しい物体位置を時系列的に得ることができるので、背景にもエッジ点があるような場合でもそれを誤認することなく正確に物体を検出することができる。
【図面の簡単な説明】
【図１】本発明の概略構成図である。
【図２】本発明における外形の一部が欠けている場合の処理説明図である。
【図３】本発明の一実施の形態である。
【図４】距離画像説明図である。
【図５】走査範囲説明図である。
【図６】物体外形の見え方モデルと外形検出領域の関係説明図である。
【図７】本発明の第２の実施の形態である。
【図８】ステレオ画像による位置ずれ検出説明図である。
【符号の説明】
１ステレオ画像撮影部
２ステレオ処理部
３、１０物体検出処理部
４物体検出処理選択部
５、１１全体外形物体検出処理部
６、１２部分外形物体検出処理部

Claims

ステレオ計測距離情報から物体を検出する物体位置計測装置において、
検出すべき物体の外形の中でステレオ計測で距離が求まらないステレオカメラと水平な成分を除く距離情報が得られているか否かを判断する物体検出処理選択手段と、
前記外形の全体で距離情報が得られているとき、物体位置を決定する全体外形物体検出処理手段と、
前記物体の外形の一部の距離情報が欠けている場合に、予め用意した物体の外形の見え方モデルを使用して外形の欠けている部分を識別し、欠けた部分に対応する位置のエッジ点の如き特徴量の塊に基づき外形を形成し、この塊に基づいてステレオ対応付けを行うことにより、前記欠けた部分の外形の距離を算出する部分外形物体検出処理手段
を具備したことを特徴とする物体位置計測装置。
前記部分外形物体検出処理手段は、前記エッジ点の如き特徴量の塊の平均位置に基づいてステレオ対応付けを行うことを特徴とする請求項１記載の物体位置計測装置。
前記全体外形物体検出処理手段と、前記部分外形物体検出処理手段において、複数の物体位置候補を算出して、これらを物体位置決定処理手段に送出し、物体位置決定処理手段では過去に求められた物体位置の情報を用いて複数の物体位置候補から正しい物体位置を決定可能にしたことを特徴とする請求項１または請求項２記載の物体位置計測装置。