【０００１】
【産業上の利用分野】
この発明は、多眼視覚装置の信号処理方法に関する。多眼視覚装置というのは、３台以上のカメラによって、同一の対象物を観察し、共通の三次元座標に置ける対象物の座標を求める装置である。焦点距離が等しいカメラ群を使う。カメラの軸線（視線）は互いに平行になるようにする。カメラの画面に同じ点Ｐの像点が写る。レンズ中心と画面の距離（焦点距離に設定する）は全てのカメラについて共通である。すると、２台のカメラによる同一点の像から、点Ｐの三次元座標を計算することができる。３台以上のカメラを使い冗長性のある測定をすると精度を高めることができる。原理は三角測量であるが、従来の三角測量よりも測定データが多いので、冗長なデータを利用し、データの真偽、誤差のチェックに利用することができる。
【０００２】
実際には対象は点ではない。三次元的な広がりを持つ。カメラで見ても画面上では二次元的な広がりがある。広がりのある対象物を対象にする場合は、輪郭線上の特徴ある点を抽出し、この点を対象となる点Ｐとして全てのカメラにより、三次元計測する。このような点を特徴点という。
ここで２種類の特徴点を区別する必要がある。一つは物体上の特徴点である。これは物体特徴点、又は物体の特徴的な点と呼ぶ。もう一つは画面上の特徴点である。これは画面特徴点、あるいは単に特徴点と呼ぶ。物体上の多くの特徴点を抽出し、これの三次元座標を求めることにより、輪郭線の三次元座標を決定することができる。
【０００３】
このような計測は瞬時になされる。実時間計測である。実時間であるから、重機と送電線の接近などの監視に用いることができる。その他の用途にも利用することができよう。
このような計測において、最も重要なことは同一の物体特徴点に対応する画面特徴点を、全てのカメラにおいて正しく同定することである。異なる物体特徴点を、同じ画面特徴点というふうに認識すると、計算の誤りを生ずる。一つの物体特徴点に対して、カメラの数ｎだけの画面特徴点が存在する。この画面特徴点を「組」ということにする。結局同一の物体特徴点に対する、画面特徴点の組を正しく判別することが最も重要である。本発明は特徴点の組の同定に関する発明である。
【０００４】
【従来の技術】
例えば特開昭６４−１６９０７号は多眼視覚装置を提案している。これは３台以上のカメラを、画面が同一平面に並び、レンズも同一平面に並ぶように固定する。全てのカメラの画面中心から立てた法線は平行である。画面は電気的に走査するので、走査面と呼ぶこともある。画面が同一平面にあるということを走査面が同一平面にあると言い替えてもよい。この発明は、３台以上のカメラが、同一の点を画面上に写し出した時に、画面上に定義される二次元座標で、どのような関係を満足するべきであるのかを考察している。これは、簡単な幾何学的考察によって決められる。この関係を拘束条件とみなし、積極的に特徴点組の同定に利用している。これが前記特開昭６４−１６９０７号の骨子である。
【０００５】
図３によりこの拘束条件を説明する。カメラは、前にレンズがあり、その背後に画面がある。レンズにより倒立の実像が画面にできる。これでも考察できるが、前記の発明の発明者は、レンズ中心を背後に、画面を全面に持ってきた配置で考えている。こうすると、倒立ではなく、正立の像になって直感的に理解し易いからであろう。
結局全てのカメラのレンズ中心Ｏｊ がＸＹ平面に並ぶ（レンズ平面Ｚ＝０）。それより焦点距離ｆだけ前に全ての画面Ｓｊ が存在する（画面平面Ｚ＝ｆ）。カメラの視線（画面法線）はＺ方向である。
【０００６】
カメラはＸ方向にも、Ｙ方向にも並んでいて良いのである。ここでは、Ｘ軸方向にカメラが並んでいるものとする。ｊ番目のカメラをＣｊ によって表わす。これは画面座標の原点をも表現している。カメラＣｊ の画面Ｓｊ 上での点Ｐの像をＱｊ とする。Ｑｊ のｘ，ｙ座標を、（ｕｊ ，ｖｊ ）とする。全体の三次元座標を定義する。どのカメラでも良いが、ある一つのカメラの中心を共通三次元座標の原点に取る。この三次元座標に関して対象点Ｐの座標を（ｘ，ｙ，ｚ）とする。カメラはｙ軸方向には同じ座標点にあるので、ｙ方向に関しては簡単な比例式
【０００７】
ｖｊ ／ｆ＝ｙ／ｚ （１）
【０００８】
が成り立つ。これは全てのカメラについて、像のｙ座標が同じであるということを意味している。ここではｚが分からないので、ｙを決定できない。ｚを決めるのは三角測量と同じ手法である。カメラのレンズ中心Ｏｊ のｘ座標をＯｊ とすると、
【０００９】
ｕｊ ／ｆ＝（ｘ−Ｏｊ ）／ｚ （２）
【００１０】
この式が全てのカメラの像について成り立つ。ｕｊ はカメラの像のｘ座標であり観測により与えられる。Ｃｊ は既知である。ｘとｙのみが未知数である。カメラが２台以上あればこの式を解くことができる。３台以上のカメラを使うと、（２）式は単に、ｘ、ｙを決めるだけでなく、特徴点対応をチェックするのに用いることができる。（２）式は、カメラｊ，ｋの間で引算する事により、（２）式からｘを除去する事ができる。
【００１１】
（ｕｊ −ｕｋ ）／ｆ＝（Ｏｋ −Ｏｊ ）／ｚ （３）
すると、ｆ／ｚは、
ｆ／ｚ＝（ｕｊ −ｕｋ ）／（Ｏｋ −Ｏｊ ） （４）
【００１２】
となる。ｚはカメラによらない値である。分母の（Ｏｋ −Ｏｊ ）は予め決まっている定数である。ｕｊ とｕｋ が画面上のｘ座標の値で、これは計測する事によって分かる。つまり（ｕｊ −ｕｋ ）／（Ｏｋ −Ｏｊ ）という値は、全てのカメラに共通の値である。これは恒量であるということである。（４）式は、カメラがふたつの場合は、単にｚを決定する方程式にすぎない。しかしカメラが３台以上の場合は、特徴点の同定が正しいか否かを判断する基準になる。（４）により特徴点対応をチェックする事ができる。
【００１３】
カメラの数ｎとする。カメラ対の数はｎ（ｎ−１）／２である。この内一つはＺの決定に使われるから、チェックのために利用できる式の数Ｔはｎ（ｎ−１）／２−１である。ｎ＝３であればＴ＝２、ｎ＝４であればＴ＝５、ｎ＝５であればＴ＝９である。
（４）は、各カメラの像の座標の間の幾何学的な拘束条件を与える。これを簡単に、幾何条件を呼ぶことにする。前記の特願昭６２−１７２８２３号は、これを提案している。幾何条件を満足する場合のみこのパラメータを使って、対象物の三次元座標を計算する。幾何条件により篩がかかっているので計算量が少なく誤りも少ない。
【００１４】
さらに特願平３−９８１９４号はこのような多眼視覚装置において、式（４）が成立する場合のみ、そのデータを用いて、対象点の三次元座標を計算して特徴点からなる対象物の三次元座標を求め、これを時間微分して、動いている対象物のみを抽出するようにしている。これは動くもののみを監視して、クレーンと送電線との相対運動を監視するようになっている。
いま一つ特願平３−９８１９３号は、式（４）によりデータを確かめた後、データの範囲を限定し、計算の基礎になるデータを減らしている。これによって不要なデータを省き、処理の高速化を図っている。
【００１５】
【発明が解決しようとする課題】
特願昭６２−１７２８２３号、特願平３−９８１９４、特願平３−９８１９３号に提案されている手法は、恒量である（４）式によるチェックをするだけであった。孤立した対象物の輪郭にある、特徴点の場合は、これでも良いのであろう。しかし、特徴点が数多くある場合は、隣接する画面特徴点の間隔が狭くなる。このために一つの物体特徴点Ｐに対応する全てのカメラの特徴点の組｛Ｑｊ ｝を正しく同定できない場合がある。ｊ番目のカメラにおいて、Ｑｊ であるべきものが、他の物体特徴点Ｒに対応する画面特徴点Ｕｊ と混同することがある。前述の（４）式による幾何学的チェックによっても、これを正しく弁別できないことがある。
【００１６】
そうなると、計算に誤りが発生し、対象物の三次元座標を正しく決定することができない。監視装置に利用する場合は、誤動作することになる。これは危険である。同一の物体特徴点Ｐに対応する、カメラの全画面特徴点の組｛Ｑｊ ｝を的確に指摘できることが望まれる。異なるカメラにより求められた多くの特徴点を同一物体特徴点に対する画面特徴点にまとめることを、特徴点組の同定、または組分けということにする。
他の特徴点組と混同する事なく、正しく特徴点組｛Ｑｊ ｝を同定するための新規な手段を与えることが本発明の目的である。より厳しい、特徴点組の同定のための基準を用いて、誤りなく、特徴点組｛Ｑｊ ｝を組分けすることが本発明の目指すものである。
【００１７】
【課題を解決するための手段】
本発明は、特徴点の内部的な性質を用いて特徴点を正しく弁別しようとする。特徴点自体の属性の同一性によって、特徴点を組分けする。その属性として本発明者は二つ考えた。一つは相対明度（コントラスト）である。もう一つは明度変化の方向である。このような特徴点自体の属性によって組分けするのが本発明の特徴である。
【００１８】
明度というのはその点の明るさである。相対明度（コントラスト）というのは、その特徴点の周囲に対する明るさである。特徴点というのは他の点に対して、明るさの違いがあるので、抽出されているのである。特徴点は、明るさが著しく変化するとか、明るさが極大、極小であるとかという条件により選ばれる。明度がなめらかに連続的に変化する場所や明度の変化しないところは特徴点として選ばれない。特徴点は何らかの明度の変化のある部分である。
【００１９】
画像処理して画素を単位として処理するので、ここでは特徴点は一つの画素とする。周囲の画素との明度を比較し、ここで明度の大きい相違があるので、特徴点となっている。つまり相対明度のあるところが特徴点になっている。コントラストのある点であるということもできる。コントラストというのは近接する２点の、明度の差があるということである。コントラストは明度の変化を表現している。本発明では、コントラストという言葉よりも明度という言葉を使うことにする。
【００２０】
画素の明度は、画面を走査することにより電圧信号として求められる。これは画像メモリに格納することにより、画素データとなる。明度の比較もこれに基づいて容易に行なわれる。相対明度またはコントラストは特徴点の明度から、周囲画素の明度の平均値を差し引いたものとして定義することができる。
同じ物体特徴点から発生した画面特徴点は、相対明度が殆ど同一であるはずである。強烈に光る物体特徴点は、画面上でも強い輝点になるはずである。反対にぼんやりした物体特徴点は、画面上でもぼんやりした特徴点を作り出すはずである。特徴点組を形成するものは、相対明度においてもほぼ同じ価になるはずである。そこで、本発明は、全てのカメラの特徴点を、相対明度の同一性により組分けする。
【００２１】
もう一つは、明度変化の方向である。明度が同一である画素を結ぶ線を等明度線ということにする。等明度線に直交し、明度が上昇する方向の曲線を明度勾配線ということにする。例えば、ｘ方向に伸びる電線の場合、電線と背景の境界が連続した特徴点になる。等明度線はｘ方向に伸びる。明度勾配線はｙ方向を指す。同じ物体特徴点によって発生した画面特徴点の組は、同じ明度勾配線を持つはずである。そこで、本発明は特徴点の組み分けに、明度変化の方向の同一性を利用する。
つまり、本発明は、特徴点を同定するために、はじめに（４）式の幾何学的条件を用い、これに合格した特徴点組に対して、さらに、相対明度（コントラスト）の同一性の試験をする。これに合格した特徴点組に、更に明度変化の方向の同一性を調べる。これも満足していて初めて、特徴点を同一組に配属する。
【００２２】
相対明度が同一であるべきであるという条件を簡単に明度条件と呼ぶ。明度変化の方向が同一であるべきであるという条件を、方位条件と呼ぶ。
結局、本発明は、同一特徴点に対応する画面特徴点を、幾何条件、明度条件、方位条件によって試験し、全てに合格して初めてこれらをその組に属するものと認めるのである。明度条件、方位条件が本発明により新規に追加された条件である。
【００２３】
【作用】
従来の特徴点の組分け方法は、特徴点の位置にのみ着目していた。特徴点自体の内部属性については全く考慮していなかった。本発明は、特徴点の内部属性に着眼し、内部属性により特徴点を同定するようにした。同じ物体特徴点から共通に派生した画面特徴点であるから内部属性も共通であるはずである。そこで内部属性に同一性があるものを、同じ特徴点組に属するものとして組分けする。内部属性としては、相対明度（コントラスト）と、明度の変化の方位を採用する。
【００２４】
図２により、相対明度や、明度変化方位を説明する。図２において、右上にカメラの画像の例を示す。これにはクレーン車が描かれている。画面は小さい単位である画素に分割される。左には画素が描かれている。３×３の９つの画素である。これにより最も単純な相対明度、明度変化方向を説明する。画素をＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉとする。これらの記号は、画素を表わすと同時に画素の明暗の諧調をも表わすものとする。つまり明度の程度を表わす。明暗の諧調は一般に２のｎ乗によって与えられる。例えば８、１６、３２、６４…である。中心画素がＥである。この点Ｅに関して明度変化ベクトルΔｘ、Δｙを定義する。
【００２５】
Δｘ＝（Ｃ＋２Ｆ＋Ｉ）−（Ａ＋２Ｄ＋Ｇ） （５）
Δｙ＝（Ａ＋２Ｂ＋Ｃ）−（Ｇ＋２Ｈ＋Ｉ） （６）
【００２６】
ΔｘはＥの右の画素の明度の重み付き和と、左の画素の明度の重み付き和の差になっている。Δｘはｘ軸方向に明度の変化がないときに０になる。ｘ軸方向に明度が増大する場合これは正の値になる。Ｅ自体の値を含まない。これは近隣での明度の差（コントラスト）を問題にしているからである。点Ｅからみて、ｘ軸上の点Ｄ、点Ｆは重みが２になっている。左右上下斜めにある画素についての重みは１になっている。重みの２と１の違いにより、正しくｘ軸方向の隣接画素伸方向ＤＦへの明度の差を表現する事になる。
【００２７】
ΔｙはＥの上の画素の明度の重み付き和と、下の画素の明度の重み付き和の差になっている。これはｙ軸方向に明度が増大すると正の値になる。ｙ軸方向の明度の変化がないと、これが０になる。この定義は、ｘとｙについて対称である。ｘとｙに関して非対称にする事もできる。
【００２８】
（５）、（６）の明度変化ベクトルの定義は一例である。これ以外の定義を採用することもできる。（５）、（６）は周囲の１周分の８画素のみを計算に入れているが、周囲の２周目までの２４画素を明度変化ベクトルの計算に入れるようにする事もできる。１周分の８画素によるとしても、軸線上の４画素の重みを２、斜めの画素の重みを１にするとは限らない。軸線上の画素の重みを３にしてもよい。あるいは単純化して、ΔｘをＤ−Ｆに、ΔｙをＢ−Ｈにする事もできる。図４は明度変化ベクトルの第２、第３の定義を示す。図２と同じように近傍８画素のみによってベクトルを定義する。
【００２９】
［第２の定義］
Δｘ＝Ｄ−Ｆ （７）
Δｙ＝Ｂ−Ｈ （８）
最も単純なものである。対象画素の縦横４画素のみを考慮している。
【００３０】
［第３の定義］
Δｘ＝（２１／２ Ａ＋２Ｄ＋２１／２ Ｇ）−（２１／２ Ｃ＋２Ｆ＋２１／２ Ｉ）（９）
Δｙ＝（２１／２ Ａ＋２Ｂ＋２１／２ Ｃ）−（２１／２ Ｇ＋２Ｈ＋２１／２ Ｉ）（１０）
図２と同じく近傍８画素を考慮に入れる。隣接画素に対する斜め画素の重みが少し増えている。
【００３１】
図５は明度変化ベクトルの第４の定義を示す。これは近傍２４画素を計算に含めて明度変化ベクトルを定義している。中心画素をＥとする。第１近傍画素を左上から右回りにＡＢＣＦＩＨＧＤとする。ここまでは図４と同じである。更に第２周目の画素も考える。第２近傍は，左上から右回りにＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹとする。第１近傍には第２近傍の約２倍の重みを付ける。一直線上に並ぶ５つの近傍画素の内、真中のものには係数を最も重くし端のものは軽くする。これらの係数の比は、２の平方程度にする。
【００３２】
Δｘ＝｛（５１／２ Ｊ＋２３／２ Ｙ＋１０１／２ Ｘ＋２３／２ Ｗ＋５１／２ Ｖ）＋（２３／２ Ｋ＋２・５１／２ Ａ＋２・１０１／２ Ｄ＋２・５１／２ Ｇ＋２３／２ Ｕ）｝−｛（５１／２ Ｎ＋２３／２ Ｏ＋１０１／２ Ｐ＋２３／２ Ｑ＋５１／２ Ｒ）＋（２３／２ Ｍ＋２・５１／２ Ｃ＋２・１０１／２ Ｆ＋２・５１／２ Ｉ＋２３／２ Ｓ）｝ （１１）
Δｙ＝｛（５１／２ Ｊ＋２３／２ Ｋ＋１０１／２ Ｌ＋２３／２ Ｍ＋５１／２ Ｎ）＋（２３／２ Ｙ＋２・５１／２ Ａ＋２・１０１／２ Ｂ＋２・５１／２ Ｃ＋２３／２ Ｏ）｝−｛（５１／２ Ｖ＋２３／２ Ｕ＋１０１／２ Ｔ＋２３／２ Ｓ＋５１／２ Ｒ）＋（２３／２ Ｗ＋２・５１／２ Ｇ＋２・１０１／２ Ｈ＋２・５１／２ Ｉ＋２３／２ Ｑ）｝ （１２）
【００３３】
係数の与え方はこれ以外にも可能である。これらは一例に過ぎない。上の定義は正規化をしていないが、係数の２乗の和が１になるようにすることもできる。定義が複雑であるほど特徴点抽出が明確になるが、反面計算速度が遅くなる。目的と要求仕様に応じて、適当な計算式を決定する。
点Ｅでの明度の変化Ｋは、全体として、これら要素によって決まる明度変化ベクトルの長さになるので、
【００３４】
明度変化（コントラスト）Ｋ＝｛Δｘ２ ＋Δｙ２ ｝１／２ （１３）
【００３５】
というふうに定義できる。これも明度変化量の定義の一例にすぎない。２乗の和の平方根が扱い難い場合は、絶対値をとって、｜Δｘ｜＋｜Δｙ｜と言うふうにする事もできる。
変化の方向は、明度変化ベクトルの方向に等しいが、ｘ軸とｙ軸の定義が反対になっているから、上向きにｙ軸を、右向きにｘ軸をとる場合、明度変化のベクトルと、ｘ軸の交角Θは、
【００３６】
変化方向 ｔａｎΘ＝（Δｙ／Δｘ） （１４）
【００３７】
によって定義する。明度変化Ｋと変化方向角Θを新しく定義した。本発明は、これらの二つの新規なパラメータを用いて、特徴点の組分けをより厳密に行なおうとする。
複数のカメラの画面に写った像点が、同一の対象物に由来する特徴点であれば、明度が良く似ている筈である。また相対明度も似ている筈である。更に明度変化の方向も近似している筈である。これらの内在的な特徴点の性質の類似性を用いて、特徴点の組分けをより厳密に行なうのが本発明の骨子である。
【００３８】
一つは、異なるカメラの特徴点が、その明度変化（コントラスト）Ｋを同一にすれば、これらは、同じ特徴点組として分類されるべきである。これはコントラストの同一性を調べるものである。コントラストの値が近似しているかどうかを調べて、同一組あるいは別異の組に属すると言うことを判定する。
明度変化Ｋが同一と言っても完全に同一であることは要求されない。カメラの性能の違い、対象物に対するカメラの傾き、カメラの距離などが違うので、同じ像点に対する画面の特徴点と言っても、明度、明度変化が同一であるとは限らない。そこで適当な幅εを設けて、この範囲内なら同一性があると判定する。カメラの番号をｊ、ｋとして、これらのカメラの特徴点をＱｊ 、Ｑｋ とする。（５）によって定義されるこれらの特徴点の明度をＫｊ 、Ｋｋ とすると、
【００３９】
｜Ｋｊ ーＫｋ ｜＜ε （１５）
【００４０】
であれば、これらの特徴点はこの試験に対しては合格とする。明度変化の同一性を明度条件と簡単に呼ぶ。εはカメラの性能上、対称物の性質、目的などに応じて適当に決めておく。
それに加えて、明度変化の方向についての同一性をも調べる。これは変化方向Ｗの同一性である。同じ物体特徴点に対応する、異なるカメラの画面特徴点は、明度、明度変化、明度変化の方向も同一であるはずである。そこで本発明は、特徴点の組分けに対して、明度変化方向の同一性をも用いる。これは異なるカメラＣｊ 、Ｃｋ 間において、
【００４１】
｜Θｊ −Θｋ ｜＜δ （１６）
【００４２】
とする。δも予め決めておく。明度変化方向の同一性条件を、簡単に方位条件と呼ぶことにする。この条件を満足するなら、同じ組の特徴点であると判定する。これを満足しないなら、異なる組の特徴点であるとするのである。
本発明は、まず幾何条件を用いて異なるカメラ間の特徴点の組分けをする。これに合格した特徴点間で、さらにコントラストの同一性（明度条件）を調べる試験をする。これにも合格した特徴点間で最後に、明度変化の方向についての同一性（方位条件）を調べる。いずれの試験にも合格した特徴点を初めて同一の組に属する特徴点と決定する。簡単に言うと、本発明は、幾何条件、明度条件、方位条件を順に調べて、特徴点が組をなすかどうかを判定するのである。条件が３つもあるので、異なる特徴点組のものを誤って同一組に配属する誤りが少ない。
本発明により、多数の特徴点が画面上に近接して存在した場合でも、各カメラの画面特徴点が、同一の組をなすか否かを容易に決定することができる。
【００４３】
【実施例】
以下に本発明を利用した重機接近監視システムの例を説明する。重機接近監視システムとは、複数のカメラから得られた画像情報より、送電線と重機との空間的な離隔距離を瞬時に計算するものである。送電線と重機が接近して危険である時は、重機のオペレータへ注意を喚起し、送電線と重機との接触事故を未然に防止する。
【００４４】
カメラは、縦横に（ｘ方向）５つ、あるいはそれ以上あっても良い。最も簡単には、横に３つある場合である。これは最もカメラが少ない場合である。ｘ方向にカメラが並ぶと、ｙ方向の測定精度は悪い。そこで、ｙ方向にもカメラを３つ並べる事も有用である。その場合は、中心のカメラがｘ方向、ｙ方向に共通であるから、合計５つのカメラを持つことになる。
ここでは最も簡単な、３つカメラの例を説明する。これらのカメラは同等のカメラである。レンズ面が、共通の平面にある。画面も共通の平面にある。カメラは回転しない。カメラの視線は平行である。図１にこれを示す。
【００４５】
１．対象物を３つのカメラで同時に撮像する。これらのカメラは、同等のカメラである。レンズ面が共通の平面にある。画面も共通の平面にある。カメラは回転せず、視線は平行である。
２．各カメラにおいて画像処理により画像の特徴点（輪郭点など）を抽出する。３．はじめに左カメラの特徴点ＰＬ を決める。これの、左カメラでの三次元座標が計算できる。次いで左のカメラの特徴点ＰＬ に対応可能な右カメラの特徴点ＰＲ を選ぶ。
【００４６】
４．右のカメラでのＰの像点はＰＲ である。中央のカメラでの像点をＰＭ とする。ＰＭ は、ＰＬ とＰＲ の中間にある。ＰＬ とＰＲ が決まるので、幾何条件を課して、中央カメラでの特徴点の座標を計算する。これに適合する特徴点があるかどうかを調べる。これがあれば、像点の二次元座標から、中央カメラの像点ＰＭ の座標を計算する事ができる。３つの特徴点の組が求まる。これらは幾何条件を満足する。
５．３つの特徴点に関して、各カメラにおいて、相対明度（コントラスト）Ｋを計算する。３つの特徴点ＰＬ 、ＰＲ 、ＰＭ が同じコントラスト（相対明度Ｋ）を持つかどうか調べる。
【００４７】
６．コントラストＫの試験を合格したものについて、明度変化方向Θが同一であるかどうかを調べる。
７．４〜６の条件を満足している場合、３つの特徴点ＰＬ 、ＰＲ 、ＰＭ は特徴点の組をなすと判断する。そして、左右の特徴点のＰＬ 、ＰＲ より対象点Ｐの三次元座標を計算する。
【００４８】
このように本発明は、特願昭６２−１７２８２３号による、幾何条件に加えて、明度条件、方位条件を用いている。これにより特徴点の対応をより正確厳密に行なう事ができる。誤った特徴点対応をする恐れがない。画面中に背景の雲が写っている時、特徴点が多数発生する。このような場合、従来法であれば、特徴点の対応に関して誤りを犯す事があった。本発明は、雲がある場合など背景が明度変化を持つ場合でも、誤対応が発生する事がなかった。
【００４９】
【発明の効果】
この発明は画像上に多数の特徴点が存在した場合でも、異なるカメラ間の画面特徴点が、同一の特徴点組の組に属するか否かを、明度の相対変化、変化の方向の同一性を調べる事により正しく判別する事ができる。従来の幾何学的な拘束条件では分からない、特徴点の内在的な性質を使って特徴点を類別するので、数多くの特徴点があっても対応を誤ることがない。優れた発明である。
【図面の簡単な説明】
【図１】本発明の特徴点の判別の手順を示す説明図。
【図２】本発明において、重要な変数である相対明度（コントラスト）、明度変化方向（コントラスト方向）の決定方法の例を示す説明図。
【図３】本発明において用いる多眼視覚装置の概略構成図。
【図４】本発明において重要な変数である相対明度、明度変化方向の定義の第２、第３の例を示すための図。
【図５】本発明において重要な変数である相対明度、明度変化方向の定義の第４の例を示すための図。[0001]
[Industrial applications]
The present invention relates to a signal processing method for a multi-view device. A multi-view device is a device that observes the same target object by three or more cameras and obtains the coordinates of the target object at common three-dimensional coordinates. Use cameras with the same focal length. The axes (lines of sight) of the cameras are parallel to each other. The same point P image point appears on the camera screen. The distance between the lens center and the screen (set to the focal length) is common to all cameras. Then, the three-dimensional coordinates of the point P can be calculated from the image of the same point by the two cameras. Accuracy can be improved by performing redundant measurements using three or more cameras. The principle is triangulation, but since there is more measurement data than conventional triangulation, redundant data can be used and used to check data authenticity and errors.
[0002]
The object is not really a point. It has a three-dimensional spread. There is a two-dimensional spread on the screen even when viewed with a camera. When a wide object is to be targeted, a characteristic point on the contour line is extracted, and this point is three-dimensionally measured as a target point P by all cameras. Such a point is called a feature point.
Here, it is necessary to distinguish two types of feature points. One is a feature point on an object. This is called an object feature point or a feature point of the object. The other is the feature on the screen. This is called a screen feature point or simply a feature point. By extracting many feature points on the object and determining their three-dimensional coordinates, the three-dimensional coordinates of the contour can be determined.
[0003]
Such a measurement is made instantaneously. Real-time measurement. Because it is real time, it can be used to monitor the proximity of heavy equipment and transmission lines. It could be used for other purposes.
In such measurement, the most important thing is to correctly identify a screen feature point corresponding to the same object feature point in all cameras. If different object feature points are recognized as the same screen feature point, a calculation error occurs. For one object feature point, there are as many screen feature points as the number n of cameras. This screen feature point is referred to as a “set”. After all, it is most important to correctly determine a set of screen feature points for the same object feature point. The present invention relates to identification of a set of feature points.
[0004]
[Prior art]
For example, Japanese Patent Application Laid-Open No. 64-16907 proposes a multi-view device. This fixes three or more cameras so that the screens are aligned on the same plane and the lenses are aligned on the same plane. The normals set from the center of the screen of all cameras are parallel. Since the screen is electrically scanned, it is sometimes called a scanning plane. The fact that the screens are on the same plane may be rephrased as the fact that the scanning plane is on the same plane. The present invention considers what relationship should be satisfied by two-dimensional coordinates defined on the screen when three or more cameras project the same point on the screen. This is determined by simple geometric considerations. This relationship is regarded as a constraint condition, and is actively used for identifying a feature point set. This is the gist of JP-A-64-16907.
[0005]
This constraint will be described with reference to FIG. The camera has a lens in front and a screen behind it. The inverted image can be displayed on the screen by the lens. Although this can be considered, the inventor of the present invention considers an arrangement in which the screen is brought to the whole surface behind the lens center. In this case, the image is not an inverted one but an upright one, which is easy to understand intuitively.
After all the lens center O j of all cameras are arranged in XY plane (lens plane Z = 0). All the screens Sj exist before the focal length f (screen plane Z = f). The line of sight (screen normal) of the camera is in the Z direction.
[0006]
The cameras may be arranged in both the X and Y directions. Here, it is assumed that the cameras are arranged in the X-axis direction. The jth camera is denoted by Cj. It also represents the origin of the screen coordinates. The P image of a point on the screen S j of the camera C j and Q j. Let the x, y coordinates of Q j be (u j , v j ). Define the overall 3D coordinates. Any camera may be used, but the center of one camera is taken as the origin of the common three-dimensional coordinates. Regarding the three-dimensional coordinates, let the coordinates of the target point P be (x, y, z). Since the camera is at the same coordinate point in the y-axis direction, a simple proportional expression is used for the y-direction.
v j / f = y / z (1)
[0008]
Holds. This means that the y coordinate of the image is the same for all cameras. Here, y cannot be determined because z is not known. Determining z is the same method as triangulation. Assuming that the x coordinate of the camera lens center O j is O j ,
[0009]
u j / f = (x- O j) / z (2)
[0010]
This equation holds for all camera images. u j is the x coordinate of the camera image and is given by observation. C j is known. Only x and y are unknowns. This equation can be solved if there are two or more cameras. If three or more cameras are used, equation (2) can be used not only to determine x and y, but also to check feature point correspondence. The expression (2) can remove x from the expression (2) by subtracting between the cameras j and k.
[0011]
(U j -u k) / f = (O k -O j) / z (3)
Then, f / z becomes
f / z = (u j -u k) / (O k -O j) (4)
[0012]
It becomes. z is a value independent of the camera. The denominator (O k -O j) is a constant that is determined in advance. u j and u k is the value of x-coordinate on the screen, which is seen by measuring. A value of words (u j -u k) / ( O k -O j) is a value common to all the cameras. This is a constant weight. Equation (4) is merely an equation for determining z when there are two cameras. However, when the number of cameras is three or more, it becomes a criterion for determining whether or not the identification of the feature points is correct. According to (4), correspondence between feature points can be checked.
[0013]
Let n be the number of cameras. The number of camera pairs is n (n-1) / 2. Since one of them is used to determine Z, the number T of equations that can be used for checking is n (n-1) / 2-1. If n = 3, T = 2, if n = 4, T = 5, and if n = 5, T = 9.
(4) gives a geometric constraint between the coordinates of the image of each camera. This is simply called a geometric condition. The above-mentioned Japanese Patent Application No. 62-172823 proposes this. This parameter is used to calculate the three-dimensional coordinates of the object only when the geometric conditions are satisfied. Since the screen is sieved by the geometric condition, the calculation amount is small and the error is small.
[0014]
Further, Japanese Patent Application No. 3-98194 discloses a multi-view visual apparatus which calculates an object consisting of feature points by calculating three-dimensional coordinates of the object point using the data only when equation (4) is satisfied. Is obtained, and only the moving object is extracted by differentiating it with time. It monitors only moving objects and monitors the relative movement between the crane and the power line.
In Japanese Patent Application No. 3-98193, after confirming the data by equation (4), the range of the data is limited, and the data on which the calculation is based is reduced. This eliminates unnecessary data and speeds up the processing.
[0015]
[Problems to be solved by the invention]
The method proposed in Japanese Patent Application No. 62-172823, Japanese Patent Application No. 3-98194, and Japanese Patent Application No. 3-98193 merely checked by the constant (4). In the case of a feature point on the contour of an isolated object, this may be sufficient. However, when there are many feature points, the interval between adjacent screen feature points becomes narrow. For this reason, in some cases, the set {Q j } of feature points of all cameras corresponding to one object feature point P cannot be correctly identified. In the j-th camera, what should be Q j may be confused with screen feature points U j corresponding to other object feature points R. Even in the case of the geometrical check by the above equation (4), it may not be possible to discriminate this correctly.
[0016]
In such a case, an error occurs in the calculation, and the three-dimensional coordinates of the object cannot be determined correctly. If it is used for a monitoring device, it will malfunction. This is dangerous. It is desired that the set {Q j } of full-screen feature points of the camera corresponding to the same object feature point P can be accurately pointed out. Combining many feature points obtained by different cameras into screen feature points for the same object feature point is referred to as feature point set identification or grouping.
It is an object of the present invention to provide a new means for correctly identifying a feature point set {Q j } without being confused with another feature point set. It is an aim of the present invention to classify feature point sets {Q j } without error using stricter criteria for feature point set identification.
[0017]
[Means for Solving the Problems]
The present invention seeks to correctly distinguish feature points using the internal properties of the feature points. The feature points are grouped according to the identity of the attributes of the feature points themselves. The present inventor considered two such attributes. One is relative brightness (contrast). The other is the direction of brightness change. It is a feature of the present invention to classify by such attributes of the feature points themselves.
[0018]
Lightness is the brightness of that point. The relative lightness (contrast) is the brightness of the surroundings of the feature point. The feature points are extracted because there is a difference in brightness from other points. The feature points are selected according to conditions such as a significant change in brightness and a maximum or minimum brightness. Places where the brightness changes smoothly and continuously or where the brightness does not change are not selected as feature points. A feature point is a portion where there is some change in brightness.
[0019]
Since the image processing is performed in units of pixels, the feature point is one pixel here. The brightness is compared with the surrounding pixels. Here, there is a large difference in brightness, so that the feature is a feature point. In other words, a point having relative brightness is a feature point. It can be said that it is a point with contrast. Contrast means that there is a difference in brightness between two adjacent points. Contrast expresses a change in lightness. In the present invention, the term brightness is used rather than the term contrast.
[0020]
The brightness of the pixel is obtained as a voltage signal by scanning the screen. This becomes pixel data when stored in the image memory. The comparison of brightness is also easily performed based on this. Relative brightness or contrast can be defined as the brightness of a feature point minus the average brightness of surrounding pixels.
Screen feature points generated from the same object feature point should have almost the same relative brightness. Intensely shining object feature points should be strong luminescent spots on the screen. Conversely, blurred object feature points should create blurred feature points on the screen. Those forming the feature point set should have almost the same value in relative brightness. Therefore, the present invention classifies feature points of all cameras based on the same relative brightness.
[0021]
The other is the direction of brightness change. A line connecting pixels having the same lightness is referred to as an equal lightness line. A curve that is orthogonal to the lightness line and in the direction in which the lightness increases is referred to as a lightness gradient line. For example, in the case of an electric wire extending in the x direction, the boundary between the electric wire and the background is a continuous feature point. The isoluminance line extends in the x direction. The brightness gradient line points in the y direction. A set of screen feature points generated by the same object feature point should have the same brightness gradient line. Therefore, the present invention uses the sameness in the direction of the brightness change for classifying the feature points.
That is, the present invention first uses the geometric condition of equation (4) to identify the feature points, and further tests the identity of the relative lightness (contrast) with respect to the set of feature points that pass this condition. do. The identity of the direction of the brightness change is further checked for the feature point sets that have passed this. Only if this is satisfied, the feature points belong to the same group.
[0022]
The condition that the relative lightness should be the same is simply called the lightness condition. The condition that the directions of the brightness changes should be the same is called the azimuth condition.
After all, the present invention tests the screen feature points corresponding to the same feature point under the geometric condition, the lightness condition, and the azimuth condition, and recognizes that they belong to the set only when all of them pass. The brightness condition and the azimuth condition are conditions newly added by the present invention.
[0023]
[Action]
The conventional feature point grouping method focuses only on the position of the feature point. The internal attributes of the feature points themselves were not considered at all. The present invention focuses on the internal attributes of feature points, and identifies feature points based on the internal attributes. Since the screen feature points are derived in common from the same object feature points, the internal attributes should be common. Therefore, those having the same internal attribute are classified as belonging to the same feature point set. As the internal attribute, a relative lightness (contrast) and a direction of change in lightness are adopted.
[0024]
With reference to FIG. 2, the relative lightness and the lightness change direction will be described. In FIG. 2, an example of a camera image is shown at the upper right. It depicts a crane truck. The screen is divided into small units of pixels. Pixels are drawn on the left. There are nine 3 × 3 pixels. Thus, the simplest relative lightness and lightness change direction will be described. Let the pixels be A, B, C, D, E, F, G, H, I. It is assumed that these symbols represent the pixels and also represent the light and dark gradations of the pixels. That is, it indicates the degree of lightness. Bright and dark tones are generally given by 2 n. For example, 8, 16, 32, 64... The central pixel is E. With respect to this point E, lightness change vectors Δx and Δy are defined.
[0025]
Δx = (C + 2F + I) − (A + 2D + G) (5)
Δy = (A + 2B + C) − (G + 2H + I) (6)
[0026]
Δx is the difference between the weighted sum of the brightness of the right pixel of E and the weighted sum of the brightness of the left pixel. Δx becomes 0 when there is no change in brightness in the x-axis direction. This becomes a positive value when the brightness increases in the x-axis direction. It does not include the value of E itself. This is because the difference in brightness (contrast) in the neighborhood is a problem. As seen from the point E, the points D and F on the x-axis have a weight of 2. The weights of the pixels that are diagonally left, right, up, and down are set to 1. The difference between the weights 2 and 1 correctly represents the difference in the brightness in the adjacent pixel extension direction DF in the x-axis direction.
[0027]
Δy is the difference between the weighted sum of the brightness of the pixel above E and the weighted sum of the brightness of the pixel below. This becomes a positive value as the brightness increases in the y-axis direction. If there is no change in the brightness in the y-axis direction, this becomes zero. This definition is symmetric about x and y. It can also be asymmetric with respect to x and y.
[0028]
The definition of the brightness change vector in (5) and (6) is an example. Other definitions may be employed. In (5) and (6), only eight pixels for one circumference are included in the calculation, but 24 pixels up to the second circumference may be included in the calculation of the brightness change vector. Even with eight pixels for one round, the weight of four pixels on the axis is not always two and the weight of diagonal pixels is not one. The weight of the pixel on the axis may be set to 3. Alternatively, for simplicity, Δx can be set to DF and Δy can be set to BH. FIG. 4 shows the second and third definitions of the brightness change vector. As in FIG. 2, a vector is defined only by eight neighboring pixels.
[0029]
[Second definition]
Δx = D−F (7)
Δy = B−H (8)
The simplest one. Only the vertical and horizontal four pixels of the target pixel are considered.
[0030]
[Third definition]
Δx = (2 1/2 A + 2D + 2 1/2 G) − (2 1/2 C + 2F + 2 1/2 I) (9)
Δy = (2 1/2 A + 2B + 2 1/2 C) − (2 1/2 G + 2H + 2 1/2 I) (10)
As in FIG. 2, eight neighboring pixels are taken into account. The weight of the oblique pixel with respect to the adjacent pixel is slightly increased.
[0031]
FIG. 5 shows a fourth definition of the brightness change vector. This defines the brightness change vector by including the neighboring 24 pixels in the calculation. Let E be the central pixel. The first neighboring pixel is set to ABCFIHGD clockwise from the upper left. This is the same as FIG. Further, consider the pixels in the second cycle. The second neighborhood is JKLMNOPQRSTUVWXY in a clockwise direction from the upper left. The first neighborhood is weighted approximately twice as much as the second neighborhood. Among the five neighboring pixels arranged on a straight line, the coefficient is the heaviest for the middle one and lighter for the end. The ratio of these coefficients is on the order of 2 squares.
[0032]
Δx = ｛(5 1/2 J + 2 3/2 Y + 10 1/2 X + 2 3/2 W + 5 1/2 V) + (2 3/2 K + 2.5 1/2 A + 2 · 10 1/2 D + 2.5 · 1/2 G + 2 3/2 U)｝-｛(5 1/2 N + 2 3/2 O + 10 1/2 P + 2 3/2 Q + 5 1/2 R) + (2 3/2 M + 2.5 1/2 C + 2 · 10 1/2 F + 2.51 / 2 I + 2 3/2 S) (11)
Δy = ｛(5 1/2 J + 2 3/2 K + 10 1/2 L + 2 3/2 M + 5 1/2 N) + (2 3/2 Y + 2.5 1/2 A + 2 · 10 1/2 B + 2.5 · 1/2 C + 2 3/2 O)｝-｛(5 1/2 V + 2 3/2 U + 10 1/2 T + 2 3/2 S + 5 1/2 R) + (2 3/2 W + 2.5 1/2 G + 2 · 10 1/2 H + 2.5 1/2 I + 2 3/2 Q)｝ (12)
[0033]
Coefficients can be given in other ways. These are only examples. Although the above definition is not normalized, the sum of the squares of the coefficients can be set to 1. The more complex the definition, the clearer the feature point extraction, but the slower the calculation speed. Determine an appropriate formula according to the purpose and required specifications.
Since the brightness change K at the point E is the length of the brightness change vector determined by these elements as a whole,
[0034]
Brightness change (contrast) K = {Δx 2 + Δy 2 } 1/2 (13)
[0035]
It can be defined as follows. This is also an example of the definition of the brightness change amount. If the square root of the sum of the squares is difficult to handle, the absolute value can be taken and expressed as | Δx | + | Δy |.
The direction of the change is equal to the direction of the brightness change vector, but since the definition of the x-axis and the y-axis is reversed, when the y-axis is taken upward and the x-axis is taken right, the vector of the brightness change and x The angle of intersection Θ of the axis is
[0036]
Change direction tanΘ = (Δy / Δx) (14)
[0037]
Defined by The brightness change K and the change direction angle Θ are newly defined. The present invention seeks to more strictly classify feature points using these two new parameters.
If the image points appearing on the screens of a plurality of cameras are feature points derived from the same object, the brightness should be very similar. Also, the relative brightness should be similar. Furthermore, the direction of the brightness change should be similar. The gist of the present invention is to strictly classify feature points by using the similarity of the properties of these intrinsic feature points.
[0038]
First, if the feature points of different cameras have the same brightness change (contrast) K, they should be classified as the same set of feature points. This is to check the identity of the contrast. It is checked whether or not the contrast values are close to each other, and it is determined that they belong to the same set or different sets.
Even if the brightness changes K are the same, it is not required that they are completely the same. Differences in camera performance, camera tilt with respect to an object, camera distance, and the like are different. Therefore, even if they are feature points of a screen with respect to the same image point, brightness and brightness change are not necessarily the same. Therefore, an appropriate width ε is provided, and if the width is within this range, it is determined that there is identity. The camera numbers are j and k, and the feature points of these cameras are Q j and Q k . Assuming that the brightness of these feature points defined by (5) is K j and K k ,
[0039]
| K j -K k | <ε (15)
[0040]
If so, these features pass this test. The identity of the brightness change is simply called the brightness condition. ε is appropriately determined according to the properties of the symmetric object, the purpose, and the like in terms of camera performance.
In addition, the identity of the direction of the brightness change is also examined. This is the identity of the change direction W. The screen feature points of different cameras corresponding to the same object feature point should have the same brightness, brightness change, and direction of brightness change. Therefore, the present invention also uses the identity of the brightness change direction for the grouping of feature points. This is between the different cameras C j , C k
[0041]
| Θ j −Θ k | <δ (16)
[0042]
And δ is also determined in advance. The identity condition of the brightness change direction will be simply referred to as an azimuth condition. If this condition is satisfied, it is determined that the feature points belong to the same set. If this is not the case, then it is a different set of feature points.
The present invention first classifies feature points between different cameras using geometric conditions. A test is conducted to further examine the identity (brightness condition) of the contrast between the feature points that have passed this. Finally, the identity (azimuth condition) in the direction of the brightness change is examined among the feature points that have passed this. Feature points that have passed both tests are determined as feature points belonging to the same group for the first time. In brief, according to the present invention, the geometric condition, the lightness condition, and the azimuth condition are examined in order to determine whether the feature points form a pair. Since there are three conditions, there is little error that different feature point sets are erroneously assigned to the same set.
According to the present invention, even when a large number of feature points are close to each other on a screen, it is possible to easily determine whether or not the screen feature points of each camera form the same set.
[0043]
【Example】
Hereinafter, an example of a heavy equipment approach monitoring system using the present invention will be described. The heavy equipment approach monitoring system instantly calculates the spatial separation distance between the transmission line and the heavy equipment from image information obtained from a plurality of cameras. When the power line and heavy equipment are close to each other and there is danger, call attention to the operator of the heavy equipment to prevent contact accidents between the power line and heavy equipment.
[0044]
There may be five cameras in the vertical and horizontal directions (x direction) or more. The simplest case is when there are three on the side. This is the case with the fewest cameras. If the cameras are arranged in the x direction, the measurement accuracy in the y direction is poor. Therefore, it is also useful to arrange three cameras in the y direction. In this case, since the center camera is common to the x direction and the y direction, the camera has a total of five cameras.
Here, the simplest example of three cameras will be described. These cameras are equivalent cameras. The lens surfaces are in a common plane. The screens are also on a common plane. The camera does not rotate. The eyes of the camera are parallel. This is shown in FIG.
[0045]
1. An object is imaged simultaneously by three cameras. These cameras are equivalent cameras. The lens surfaces are in a common plane. The screens are also on a common plane. The camera does not rotate and the lines of sight are parallel.
2. Each camera extracts image feature points (such as contour points) by image processing. 3. First, determine the feature point P L of the left camera. The three-dimensional coordinates of the left camera can be calculated. Then choose the feature point P R of possible right camera corresponding to the feature point P L of the left camera.
[0046]
4. Image point P on the right camera is the P R. The image point at the center of the camera to P M. P M is in the middle of the P L and P R. Since P L and P R are determined, imposes geometric conditions, calculates the coordinates of the feature points in the center camera. Check if there is a feature point that matches this. If there is this, from the two-dimensional coordinates of the image point, you can compute the coordinates of the image point P M of the center camera. A set of three feature points is obtained. These satisfy the geometric conditions.
5. For each of the three feature points, the relative brightness (contrast) K is calculated for each camera. It is checked whether the three feature points P L , P R , and P M have the same contrast (relative lightness K).
[0047]
6. It is checked whether or not the lightness change direction 同一 is the same for those which passed the contrast K test.
When the conditions of 7.4 to 6 are satisfied, it is determined that the three feature points P L , P R , and P M form a set of feature points. Then, three-dimensional coordinates of the target point P are calculated from P L and P R of the left and right feature points.
[0048]
As described above, the present invention uses the lightness condition and the azimuth condition in addition to the geometric condition according to Japanese Patent Application No. 62-172823. As a result, the correspondence of the feature points can be performed more accurately and strictly. There is no risk of incorrect feature point correspondence. When a background cloud appears on the screen, many feature points are generated. In such a case, if the conventional method is used, an error may be made regarding the correspondence of the feature points. According to the present invention, erroneous correspondence does not occur even when the background has a change in brightness, such as when there is a cloud.
[0049]
【The invention's effect】
The present invention determines whether a screen feature point between different cameras belongs to the same set of feature points, even when a large number of feature points are present on the image, by determining the relative change in brightness and the identity in the direction of change. Can be correctly determined by examining. Since the characteristic points are classified using the intrinsic properties of the characteristic points, which cannot be understood by the conventional geometric constraint conditions, even if there are many characteristic points, there is no mistake in correspondence. This is an excellent invention.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a procedure for determining feature points according to the present invention.
FIG. 2 is an explanatory diagram showing an example of a method of determining relative brightness (contrast) and a brightness change direction (contrast direction) which are important variables in the present invention.
FIG. 3 is a schematic configuration diagram of a multiview device used in the present invention.
FIG. 4 is a diagram illustrating second and third examples of definitions of relative brightness and brightness change direction, which are important variables in the present invention.
FIG. 5 is a diagram showing a fourth example of definitions of relative lightness and lightness change direction, which are important variables in the present invention.