JP2543505B2 - 時空間微分法を用いた信号処理装置および計測装置 - Google Patents
時空間微分法を用いた信号処理装置および計測装置Info
- Publication number
- JP2543505B2 JP2543505B2 JP61170882A JP17088286A JP2543505B2 JP 2543505 B2 JP2543505 B2 JP 2543505B2 JP 61170882 A JP61170882 A JP 61170882A JP 17088286 A JP17088286 A JP 17088286A JP 2543505 B2 JP2543505 B2 JP 2543505B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- self
- measurement
- circuit
- measurement target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の詳細な説明】 A.産業上の利用分野 本発明は、計測対象に関して得られた時間的，空間的
に変化する信号、例えば、画像や音等を時間空間微分法
に基づいて処理した結果から計測対象の立体情報を抽出
する計測装置に関する。
に変化する信号、例えば、画像や音等を時間空間微分法
に基づいて処理した結果から計測対象の立体情報を抽出
する計測装置に関する。
B.従来の技術 連続する画像系列から運動や立体の情報を抽出する手
法が計算機視覚（computer vision）の研究として近
年、種々提案されている。特に、計測対象の運動が画像
面上に投影してできる画像の流れはオプティカルフロー
と呼ばれ、対象と背景の分離，立体構造や配置の決定な
どへ利用されている。このオプティカルフロー決定の問
題は計算機視覚ばかりでなく、純粋にパターン計測の分
野でも広い応用をもつものである。この観点から従来の
手法を考えると大きく分けて２つに分類されている。
法が計算機視覚（computer vision）の研究として近
年、種々提案されている。特に、計測対象の運動が画像
面上に投影してできる画像の流れはオプティカルフロー
と呼ばれ、対象と背景の分離，立体構造や配置の決定な
どへ利用されている。このオプティカルフロー決定の問
題は計算機視覚ばかりでなく、純粋にパターン計測の分
野でも広い応用をもつものである。この観点から従来の
手法を考えると大きく分けて２つに分類されている。
一つは対応探索型の方法で、連続する２枚の画像に関
し、一方の特徴点を他方の特徴点に対応付ける手順を十
分密に繰り返すことにより実行される。これはいわゆる
対応問題と呼ばれる繁雑で不確かな手順であり、画像の
分解能を徐々に向上させる段階的探索法や種々の制約条
件の導入などがいろいろと試みられている。
し、一方の特徴点を他方の特徴点に対応付ける手順を十
分密に繰り返すことにより実行される。これはいわゆる
対応問題と呼ばれる繁雑で不確かな手順であり、画像の
分解能を徐々に向上させる段階的探索法や種々の制約条
件の導入などがいろいろと試みられている。
もうひとつの方法は画像の時間空間微分に基づくもの
である。これは最初TV画像の微少移動の検出に用いら
れ、その後Lagrange微分を用いた定式化や解析がなされ
た。
である。これは最初TV画像の微少移動の検出に用いら
れ、その後Lagrange微分を用いた定式化や解析がなされ
た。
いま平面的に運動する物体を固定撮像体で観測する系
を考え着目点（x,y）付近の速度場を（u,v）と置く。画
像の時間変化要因を運動のみに限定し、微少時間Δｔを
おいて２枚の画像f1（x,y）,f2（x,y）を観察すること
を考えると、これらは局所的に、 f2（x,y）＝f1（ｘ−ｕΔt,y−ｖΔｔ） …（１） の関係を満たしている。ずれ量（ｕΔt,vΔｔ）が小さ
くかつ局所的に一定と近似できる場合、（１）式の右辺
は着目点のまわりでTaylor展開されて、 f1（ｘ−ｕΔt,y−ｖΔｔ） ≒f1（x,y）−ｕΔtf1x（x,y） −ｖΔtf1y（x,y） …（２） のように１次項までで近似できる。ここで、f1x（x,
y）,f1y（x,y）はそれぞれf1（x,y）のx,y偏微分を表
す。すなわち、（１）式と結合して、 f1（x,y）−f2（x,y） ≒ｕΔtf1x（x,y）＋ｖΔtf1y（x,y） …（３） の関係が得られる。両辺を−Δｔで割ったとき左辺は時
間微分f1t（x,y）を示す。f1x（x,y）,f1y（x,y）は場
の微分であるから画像データ上で即座に計算でき、既知
量として扱えるから、（３）式は、これらを係数とし未
知数u,vを含む線形方程式と見ることができる。これが
時空間微分法の原理である。
を考え着目点（x,y）付近の速度場を（u,v）と置く。画
像の時間変化要因を運動のみに限定し、微少時間Δｔを
おいて２枚の画像f1（x,y）,f2（x,y）を観察すること
を考えると、これらは局所的に、 f2（x,y）＝f1（ｘ−ｕΔt,y−ｖΔｔ） …（１） の関係を満たしている。ずれ量（ｕΔt,vΔｔ）が小さ
くかつ局所的に一定と近似できる場合、（１）式の右辺
は着目点のまわりでTaylor展開されて、 f1（ｘ−ｕΔt,y−ｖΔｔ） ≒f1（x,y）−ｕΔtf1x（x,y） −ｖΔtf1y（x,y） …（２） のように１次項までで近似できる。ここで、f1x（x,
y）,f1y（x,y）はそれぞれf1（x,y）のx,y偏微分を表
す。すなわち、（１）式と結合して、 f1（x,y）−f2（x,y） ≒ｕΔtf1x（x,y）＋ｖΔtf1y（x,y） …（３） の関係が得られる。両辺を−Δｔで割ったとき左辺は時
間微分f1t（x,y）を示す。f1x（x,y）,f1y（x,y）は場
の微分であるから画像データ上で即座に計算でき、既知
量として扱えるから、（３）式は、これらを係数とし未
知数u,vを含む線形方程式と見ることができる。これが
時空間微分法の原理である。
この原理を用いて速度場を決定する方法には、 １）１次元運動に限定する、 ２）速度場の滑らかさを仮定して（３）式に矛盾せず粗
さの評価量を最小とする速度場を求める、 などがある。これを計測法として見ると、 １）数値計算のみで速度分布を形成できる明解さと高速
性、 ２）対象の予備知識が不要で汎用性と客観性が有るこ
と、 ３）分解能の高さ、 ４）微少ずれ利用のためのパターン変形の影響を受けに
くく重大な誤りの可能性が少ないこと、 などに利点をもつ。
さの評価量を最小とする速度場を求める、 などがある。これを計測法として見ると、 １）数値計算のみで速度分布を形成できる明解さと高速
性、 ２）対象の予備知識が不要で汎用性と客観性が有るこ
と、 ３）分解能の高さ、 ４）微少ずれ利用のためのパターン変形の影響を受けに
くく重大な誤りの可能性が少ないこと、 などに利点をもつ。
C.発明が解決しようとする問題点 しかしながら、前者の対応探索型の手法は計測法とし
てみると、 １）対応誤りによる重大な誤差が混じる、 ２）処理に非常に時間がかかる、 など不都合な点が多い。特に１）の問題は計算機視覚系
と異なって予備知識の導入を前提としない一般の計測系
においては対策が非常に困難である。
てみると、 １）対応誤りによる重大な誤差が混じる、 ２）処理に非常に時間がかかる、 など不都合な点が多い。特に１）の問題は計算機視覚系
と異なって予備知識の導入を前提としない一般の計測系
においては対策が非常に困難である。
また、後者の時空間微分法は雑音の影響を受けやすい
弱点があり、またずれが微少な場合に応用が限定される
ことから実用化が難しかった。
弱点があり、またずれが微少な場合に応用が限定される
ことから実用化が難しかった。
このような問題は、計測対象が運動している場合に限
らず、静止立体を左右に置いた２つの撮像体で撮影し、
一対の画像から立体像を抽出する場合にもあてはまる。
また、音源からの音を一対のマイクロフォンで集音し、
一対の音響信号の時間差を抽出して音源を定位する場合
にもあてはまる。更には、光像による画像処理以外で
も、超音波,NMR（核磁気共鳴）,X線による画像処理につ
いても広くあてはまり、いずれの分野においても、上述
した問題から非常に多くの利点をもつ時空間微分法によ
る処理が実用化されていないのが実情である。
らず、静止立体を左右に置いた２つの撮像体で撮影し、
一対の画像から立体像を抽出する場合にもあてはまる。
また、音源からの音を一対のマイクロフォンで集音し、
一対の音響信号の時間差を抽出して音源を定位する場合
にもあてはまる。更には、光像による画像処理以外で
も、超音波,NMR（核磁気共鳴）,X線による画像処理につ
いても広くあてはまり、いずれの分野においても、上述
した問題から非常に多くの利点をもつ時空間微分法によ
る処理が実用化されていないのが実情である。
本発明の目的は、計測対象の立体像を精度よく抽出す
ることにある。
ることにある。
D.問題点を解決するための手段 第1A図および1B図は本発明の概念的説明図であり、本
発明は第1A図に示すように、計測対象に関連した信号を
時空間微分法により処理して計測対象の物理量および自
己評価量を演算する演算手段500と、その自己評価量に
基づき、演算された物理量の有効度を判定する判定手段
501を含むものである。さらに具体的に説明すると、本
発明は、第1B図に示すように、計測対象に関連した信号
を検出するセンサ502と、そのセンサ502で得られた検出
信号を時空間微分法により処理して計測対象の物理量お
よび自己評価量を演算する演算手段503と、その自己評
価量に基づき、演算された物理量の有効度を判定する判
定手段504と、有効度の低い物理量があるときに、計測
対象に対するセンサ502の計測条件を変更して再度検出
信号を得るとともに演算手段503および判定手段504を再
起動する制御手段505とを含めることができる。
発明は第1A図に示すように、計測対象に関連した信号を
時空間微分法により処理して計測対象の物理量および自
己評価量を演算する演算手段500と、その自己評価量に
基づき、演算された物理量の有効度を判定する判定手段
501を含むものである。さらに具体的に説明すると、本
発明は、第1B図に示すように、計測対象に関連した信号
を検出するセンサ502と、そのセンサ502で得られた検出
信号を時空間微分法により処理して計測対象の物理量お
よび自己評価量を演算する演算手段503と、その自己評
価量に基づき、演算された物理量の有効度を判定する判
定手段504と、有効度の低い物理量があるときに、計測
対象に対するセンサ502の計測条件を変更して再度検出
信号を得るとともに演算手段503および判定手段504を再
起動する制御手段505とを含めることができる。
本発明はこのような各手段を含むものであり、第４図
に対応づけてさらに詳細に説明すると、一対の撮像装置
11,12の各光軸が計測対象の所定基準面で交叉するよう
に一対の撮像装置11,12の輻輳角を制御して計測対象の
立体像を抽出する時空間微分法を用いた計測装置であっ
て、一対の撮像装置11,12から出力された各画像信号の
和画像信号、差画像信号および該和画像信号の微分信号
に基づいて、計測対象の所定基準面に対する各計測点の
相対的な高さを演算する相対標高演算手段30aと、演算
された相対的な高さの有効度を判定するための基準とな
る自己評価量を演算する自己評価量演算手段30bと、演
算された自己評価量に基づいて、各計測点ごとに相対的
な高さの有効度を判定する判定手段51と、有効度が低い
と判定された計測点に対して、計測対象に対する所定基
準面の位置を変更すべく一対の撮像装置11,12の輻輳角
を制御する輻輳角制御手段20,54と、有効度が高いと判
定された相対的な高さに基づいて計測対象の立体像を抽
出する立体合成手段52,53とを備えることにより、上記
目的は達成される。
に対応づけてさらに詳細に説明すると、一対の撮像装置
11,12の各光軸が計測対象の所定基準面で交叉するよう
に一対の撮像装置11,12の輻輳角を制御して計測対象の
立体像を抽出する時空間微分法を用いた計測装置であっ
て、一対の撮像装置11,12から出力された各画像信号の
和画像信号、差画像信号および該和画像信号の微分信号
に基づいて、計測対象の所定基準面に対する各計測点の
相対的な高さを演算する相対標高演算手段30aと、演算
された相対的な高さの有効度を判定するための基準とな
る自己評価量を演算する自己評価量演算手段30bと、演
算された自己評価量に基づいて、各計測点ごとに相対的
な高さの有効度を判定する判定手段51と、有効度が低い
と判定された計測点に対して、計測対象に対する所定基
準面の位置を変更すべく一対の撮像装置11,12の輻輳角
を制御する輻輳角制御手段20,54と、有効度が高いと判
定された相対的な高さに基づいて計測対象の立体像を抽
出する立体合成手段52,53とを備えることにより、上記
目的は達成される。
E.作用 本発明では、一対の撮像装置11,12から出力された各
画像信号の和画像信号、差画像信号および該和画像信号
の微分信号に基づいて、計測対象の所定基準面に対する
各計測点の相対的な高さを演算し、演算した相対的な高
さの有効度を判定するための基準となる自己基準量を演
算する。そして、演算した自己評価量に基づいて、各計
測点ごとに相対的な高さの有効度を判定し、有効度が低
いと判定された計測点に対して、計測対象に対する所定
基準面の位置を変更すべく一対の撮像装置11,12の輻輳
角を制御し、有効度が高いと判定された相対的な高さに
基づいて計測対象の立体像を抽出する。
画像信号の和画像信号、差画像信号および該和画像信号
の微分信号に基づいて、計測対象の所定基準面に対する
各計測点の相対的な高さを演算し、演算した相対的な高
さの有効度を判定するための基準となる自己基準量を演
算する。そして、演算した自己評価量に基づいて、各計
測点ごとに相対的な高さの有効度を判定し、有効度が低
いと判定された計測点に対して、計測対象に対する所定
基準面の位置を変更すべく一対の撮像装置11,12の輻輳
角を制御し、有効度が高いと判定された相対的な高さに
基づいて計測対象の立体像を抽出する。
F.実施例 以下、図面に従い本発明の態様について説明する。
第2A図および第2B図に示すように、凹凸面OBに正対し
て高さH,間隔Ｄで２個の撮像体ISL,ISRが置かれている
系を考える。左右の撮像体ISL,ISRの像面の原点はそれ
ぞれxy平面の原点を捉えるようにオフセットされてい
る。簡単のため等倍率で正立の撮像を仮定すると、左右
の映像はfL（x,y）,fR（x,y）のように物体側の座標
（x,y）の関数として表せる。対象物体を、xy平面から
の高さが ｚ＝ｈ（x,y） …（1.1） で表されるような単純な凹凸面とし、凹凸面上には固有
の濃淡があり、同じく座標（x,y）の関数としてｆ（x,
y）と表されるとする。
て高さH,間隔Ｄで２個の撮像体ISL,ISRが置かれている
系を考える。左右の撮像体ISL,ISRの像面の原点はそれ
ぞれxy平面の原点を捉えるようにオフセットされてい
る。簡単のため等倍率で正立の撮像を仮定すると、左右
の映像はfL（x,y）,fR（x,y）のように物体側の座標
（x,y）の関数として表せる。対象物体を、xy平面から
の高さが ｚ＝ｈ（x,y） …（1.1） で表されるような単純な凹凸面とし、凹凸面上には固有
の濃淡があり、同じく座標（x,y）の関数としてｆ（x,
y）と表されるとする。
このとき、左右の撮像体ISL,ISRが捉える映像は表面
の濃淡分布をxy平面に投影したものだから、凹凸ｈ（x,
y）の影響でｆ（x,y）に対しずれを生ずる。このずれ
（ΔRx,ΔRy），（ΔLx,ΔLy）は第2A図および第2B図か
ら、 であり、これらを用いて左右映像fR（x,y）,fL（x,y）
は fR（x,y）＝ｆ（ｘ＋ΔRx,y＋ΔRy） …（1.3a） fL（x,y）＝ｆ（ｘ＋ΔLx,y＋ΔLy） …（1.3b） のように表される。（1.2a）〜（1.2c）式を用いると、 であるから、凹凸ｈ（x,y）の係数にも影響を与えてい
る。撮像系の仕組からわかるように、対象がレンズに近
づくと像は拡大される。これらの式のx,yの係数｛Ｈ−
ｈ（x,y）｝/Hはこの像の拡大を表している。凹凸面上
の濃淡を絶対座標（x,y）の関数ではなく、物体の濃淡
分布としてあらかじめこのスケール拡大が含まれたもの
を考えてかまわないから、濃淡ｆ（x,y）を、 と置くと、 fR（x,y）≒ｆ（ｘ＋ΔRLx,y） …（1.6a） fL（x,y）≒ｆ（ｘ−ΔRLx,y） …（1.6b） と書くことができる。いま、凹凸ｈ（x,y）の変化は十
分ゆるやかで、ずれΔRLxの程度では高さの変化は無視
できる、すなわちｈ（x,y）のｘ方向微分が、 hX（x,y）＜＜2H/D …（1.8） であるとするとΔRLxの変化は局所的には無視できる。
一方、濃淡ｆ（x,y）の変化は滑らかではあるがｈ（x,
y）の変化よりは急峻であるとすると、次のように点
（x,y）のまわりのｘ軸方向にTaylor展開されて、 fR（x,y）＝ｆ（ｘ＋ΔRLx,y） ＝ｆ（x,y）＋ΔRLxｆｘ（x,y） …（1.9a） fL（x,y）＝ｆ（ｘ−ΔRLx,y） ＝ｆ（x,y）−ΔRLxｆｘ（x,y） …（1.9b） と近似される。これら２式の和と差をとると、 fR（x,y）＋fL（x,y）＝２ｆ（x,y） fR（x,y）−fL（x,y）＝２ΔRLxｆｘ（x,y） となり、第１式を微分して第２式に代入してｆ（x,y）
を消去すると、 の関係が得られる。微分の定義を考えれば、ΔRLxが無
限に小さいときこの関係が成立するのは明らかである。
この式は画像のほとんどいたるところ成り立っていると
考えられる。
の濃淡分布をxy平面に投影したものだから、凹凸ｈ（x,
y）の影響でｆ（x,y）に対しずれを生ずる。このずれ
（ΔRx,ΔRy），（ΔLx,ΔLy）は第2A図および第2B図か
ら、 であり、これらを用いて左右映像fR（x,y）,fL（x,y）
は fR（x,y）＝ｆ（ｘ＋ΔRx,y＋ΔRy） …（1.3a） fL（x,y）＝ｆ（ｘ＋ΔLx,y＋ΔLy） …（1.3b） のように表される。（1.2a）〜（1.2c）式を用いると、 であるから、凹凸ｈ（x,y）の係数にも影響を与えてい
る。撮像系の仕組からわかるように、対象がレンズに近
づくと像は拡大される。これらの式のx,yの係数｛Ｈ−
ｈ（x,y）｝/Hはこの像の拡大を表している。凹凸面上
の濃淡を絶対座標（x,y）の関数ではなく、物体の濃淡
分布としてあらかじめこのスケール拡大が含まれたもの
を考えてかまわないから、濃淡ｆ（x,y）を、 と置くと、 fR（x,y）≒ｆ（ｘ＋ΔRLx,y） …（1.6a） fL（x,y）≒ｆ（ｘ−ΔRLx,y） …（1.6b） と書くことができる。いま、凹凸ｈ（x,y）の変化は十
分ゆるやかで、ずれΔRLxの程度では高さの変化は無視
できる、すなわちｈ（x,y）のｘ方向微分が、 hX（x,y）＜＜2H/D …（1.8） であるとするとΔRLxの変化は局所的には無視できる。
一方、濃淡ｆ（x,y）の変化は滑らかではあるがｈ（x,
y）の変化よりは急峻であるとすると、次のように点
（x,y）のまわりのｘ軸方向にTaylor展開されて、 fR（x,y）＝ｆ（ｘ＋ΔRLx,y） ＝ｆ（x,y）＋ΔRLxｆｘ（x,y） …（1.9a） fL（x,y）＝ｆ（ｘ−ΔRLx,y） ＝ｆ（x,y）−ΔRLxｆｘ（x,y） …（1.9b） と近似される。これら２式の和と差をとると、 fR（x,y）＋fL（x,y）＝２ｆ（x,y） fR（x,y）−fL（x,y）＝２ΔRLxｆｘ（x,y） となり、第１式を微分して第２式に代入してｆ（x,y）
を消去すると、 の関係が得られる。微分の定義を考えれば、ΔRLxが無
限に小さいときこの関係が成立するのは明らかである。
この式は画像のほとんどいたるところ成り立っていると
考えられる。
ここで、fR（x,y）,fL（x,y）は、対象立体の画像を
撮像体ISL,ISRによって得た量であるから、（1.10）式
は、これらを係数とし、ΔRLxを未知数とする線形方程
式と見ることができる。すなわち和映像fR+L（x,y）と
差映像fR-L（x,y）をそれぞれ、 fR+L（x,y）＝fR（x,y）＋fL（x,y） …（1.11a） fR-L（x,y）＝fR（x,y）−fL（x,y） …（1.11b） とおくと、 と解くことができる。分母のfR+Lx（x,y）は和映像fR+L
（x,y）のｘ方向微分だから、 によって近似的に求められる。なお、Δｘには画像の標
本化間隔を用いればよい。
撮像体ISL,ISRによって得た量であるから、（1.10）式
は、これらを係数とし、ΔRLxを未知数とする線形方程
式と見ることができる。すなわち和映像fR+L（x,y）と
差映像fR-L（x,y）をそれぞれ、 fR+L（x,y）＝fR（x,y）＋fL（x,y） …（1.11a） fR-L（x,y）＝fR（x,y）−fL（x,y） …（1.11b） とおくと、 と解くことができる。分母のfR+Lx（x,y）は和映像fR+L
（x,y）のｘ方向微分だから、 によって近似的に求められる。なお、Δｘには画像の標
本化間隔を用いればよい。
しかし（1.12）式は画像の微分と差分からなる式のた
め明らかに雑音に大きく影響される。またfR+Lx（x,y）
が偶然に零であるような悪条件への対処が十分でない。
め明らかに雑音に大きく影響される。またfR+Lx（x,y）
が偶然に零であるような悪条件への対処が十分でない。
したがって、立体像を時空間微分法に基づいて抽出す
る場合、演算量を少なくして雑音に強くする必要があ
る。そこでまず、 「着目点の近傍（以下、この領域の大きさを近傍サイ
ズと呼ぶ）において、凹凸面の高さはほぼ一定と近似で
きる」 ことを仮定し、近似点の多くのデータから一個の高さを
求める。近傍サイズの大きさは、濃淡ｆ（x,y）の空間
的細かさと凹凸測定の分解能との兼ねあいで決まる（例
えば５×５ないし７×７領域）。この近傍領域をΓと置
く（第３図参照）。Γ内でΔRLxは一致と仮定したか
ら、Γ内のすべての点（x,y）で fR+Lx（x,y）ΔRLx≒fR-L（x,y） …（1.14） が成立する。一方、係数fR+Lx（x,y）,fR-L（x,y）の方
はΓ内で変化すると仮定すると、Γ内の画素数の個数だ
け異なった方程式が立てられる。これらを連立してΔRL
xを解けばよい。
る場合、演算量を少なくして雑音に強くする必要があ
る。そこでまず、 「着目点の近傍（以下、この領域の大きさを近傍サイ
ズと呼ぶ）において、凹凸面の高さはほぼ一定と近似で
きる」 ことを仮定し、近似点の多くのデータから一個の高さを
求める。近傍サイズの大きさは、濃淡ｆ（x,y）の空間
的細かさと凹凸測定の分解能との兼ねあいで決まる（例
えば５×５ないし７×７領域）。この近傍領域をΓと置
く（第３図参照）。Γ内でΔRLxは一致と仮定したか
ら、Γ内のすべての点（x,y）で fR+Lx（x,y）ΔRLx≒fR-L（x,y） …（1.14） が成立する。一方、係数fR+Lx（x,y）,fR-L（x,y）の方
はΓ内で変化すると仮定すると、Γ内の画素数の個数だ
け異なった方程式が立てられる。これらを連立してΔRL
xを解けばよい。
（1.14）式を次のような最小二乗法で解く場合、（1.
14）式の成立の良さを表す左辺−右辺の２乗のΓ内での
総和を最小化する。
14）式の成立の良さを表す左辺−右辺の２乗のΓ内での
総和を最小化する。
これをΔRLxについて微分し零をおくと、 2S(R+LX)(R+LX)ΔRLx−2S(R+LX)(R-L) …（1.16） が得られる。サフィックス付きのＳはそれぞれ、 で計算される微分の積の積分値を表わす。これらの値を
（1.16）式に代入するとΔRLxは、 と表わせる。したがって、ずれの量ΔRLxと凹凸ｈ（x,
y）の関係（1.7）式より、 に代入して凹凸の高さが推定される。
（1.16）式に代入するとΔRLxは、 と表わせる。したがって、ずれの量ΔRLxと凹凸ｈ（x,
y）の関係（1.7）式より、 に代入して凹凸の高さが推定される。
ここで（1.18）式が安定して求まるには、（1.18）式
の分母が零より十分大きい必要がある。すなわち、最小
二乗法が有効なためには（1.16）の正規方程式の良さを
決める が十分大なる必要がある。このS(R+LX)(R+LX)が零とな
るのはfR+Lxすなわち模様のＸ軸方向の変化が近傍領域
Γ内で一様に零の場合であって、局所的に全く模様が無
い場合には、ずれの量を定めることができないので、近
傍領域Γ内での濃淡がなるべく大きく変化するようにΓ
の大きさを選ぶ必要がある。
の分母が零より十分大きい必要がある。すなわち、最小
二乗法が有効なためには（1.16）の正規方程式の良さを
決める が十分大なる必要がある。このS(R+LX)(R+LX)が零とな
るのはfR+Lxすなわち模様のＸ軸方向の変化が近傍領域
Γ内で一様に零の場合であって、局所的に全く模様が無
い場合には、ずれの量を定めることができないので、近
傍領域Γ内での濃淡がなるべく大きく変化するようにΓ
の大きさを選ぶ必要がある。
（1.15）式における評価関数Ｊは最適条件において、 ここで、 S(R-L)(R-L)＝∬ΓfR-L（x,y）2dxdy と書ける。この式の値は残留誤差を表すから、画像に含
まれる雑音の大きさ，近傍領域Γ内での等標高の仮定の
妥当性，視点の違いによる模様の変化（表面に光沢があ
る場合）の可能性，などの判断基準として用いることが
できる。
まれる雑音の大きさ，近傍領域Γ内での等標高の仮定の
妥当性，視点の違いによる模様の変化（表面に光沢があ
る場合）の可能性，などの判断基準として用いることが
できる。
ここではずれが微少なときに成り立つ線形関係（1.1
0）式を根拠とするため、凹凸が大きくなってずれが増
大すると適切に画像処理ができない。このような誤差の
主要部分は、位置ずれを伴った画像をTaylor展開の１次
項までで近似した（1.9a,b）式によって生ずる。この近
似が妥当である範囲を見積もるために（1.9a,b）式を２
次の項まで展開すると、 となる。このとき２次の項の大きさが１次の項に比べて
十分に小さいための条件をそれらの分散を用いて表す
と、 の関係が得られる。この関係は検出可能なずれの量の上
限が対象表面の濃淡の性質により決まることを示してい
る。すなわち濃淡の１階微分の平均エネルギーが２階微
分の平均エネルギーに比べて大きいほど測定範囲は広が
るため、低い空間周波数成分が主要な濃淡パターンがよ
り好ましい。一方、同一の性質をもった対象に対しては
この式より撮像系の満たすべき条件が定まる。（1.19）
式を代入して凹凸の測定範囲を見積もると、 の関係が得られるから、凹凸の測定範囲を増大させるに
は撮像距離Ｈに比べて左右撮像素子間隔Ｄを小さくする
のがよいことがわかる。これは三角測量における要求と
は逆の要求である。ただし雑音に弱くなるため小さくす
るのには実際上限界がある。
0）式を根拠とするため、凹凸が大きくなってずれが増
大すると適切に画像処理ができない。このような誤差の
主要部分は、位置ずれを伴った画像をTaylor展開の１次
項までで近似した（1.9a,b）式によって生ずる。この近
似が妥当である範囲を見積もるために（1.9a,b）式を２
次の項まで展開すると、 となる。このとき２次の項の大きさが１次の項に比べて
十分に小さいための条件をそれらの分散を用いて表す
と、 の関係が得られる。この関係は検出可能なずれの量の上
限が対象表面の濃淡の性質により決まることを示してい
る。すなわち濃淡の１階微分の平均エネルギーが２階微
分の平均エネルギーに比べて大きいほど測定範囲は広が
るため、低い空間周波数成分が主要な濃淡パターンがよ
り好ましい。一方、同一の性質をもった対象に対しては
この式より撮像系の満たすべき条件が定まる。（1.19）
式を代入して凹凸の測定範囲を見積もると、 の関係が得られるから、凹凸の測定範囲を増大させるに
は撮像距離Ｈに比べて左右撮像素子間隔Ｄを小さくする
のがよいことがわかる。これは三角測量における要求と
は逆の要求である。ただし雑音に弱くなるため小さくす
るのには実際上限界がある。
次に、画素の値に雑音が混入していると仮定したとき
に凹凸測定結果に与える誤差について見積もる。左右の
画像の座標（x,y）における画素に加わる雑音をそれぞ
れnL（x,y）,nR（x,y）とすると、（1.11）式の和画像f
R+L（x,y）と差画像fR-L（x,y）はそれぞれ と近似される。したがって計算上得られる和画像の微分
fR+L（x,y）は画素の標本化間隔Δｘを用いて、 と表してよい。画素に加わる雑音が統計的に独立かつ一
様なときはnR+L（x,y）とnR-L（x,y）も無相関かつ定常
であることに注意する。
に凹凸測定結果に与える誤差について見積もる。左右の
画像の座標（x,y）における画素に加わる雑音をそれぞ
れnL（x,y）,nR（x,y）とすると、（1.11）式の和画像f
R+L（x,y）と差画像fR-L（x,y）はそれぞれ と近似される。したがって計算上得られる和画像の微分
fR+L（x,y）は画素の標本化間隔Δｘを用いて、 と表してよい。画素に加わる雑音が統計的に独立かつ一
様なときはnR+L（x,y）とnR-L（x,y）も無相関かつ定常
であることに注意する。
雑音の存在を無視してずれの計算に（1.12）式をその
まま適用したとすると、 であるから、誤差は右辺の第２項、 で与えられる。すなわち雑音による影響は、１）画像の
濃淡勾配ｆ Ｘ（x,y）が大きいほど小さく、２）雑音の
うち左右画像に共通する成分の影響はずれに比例して増
大し、３）その差成分の影響はずれに無関係であること
がわかる。さらに２）で雑音の共通成分は画像の標本化
間隔Δｘで割られるため、４）画素の雑音が独立のとき
は標本化間隔が小さいほど誤差は増大することも示され
る。
まま適用したとすると、 であるから、誤差は右辺の第２項、 で与えられる。すなわち雑音による影響は、１）画像の
濃淡勾配ｆ Ｘ（x,y）が大きいほど小さく、２）雑音の
うち左右画像に共通する成分の影響はずれに比例して増
大し、３）その差成分の影響はずれに無関係であること
がわかる。さらに２）で雑音の共通成分は画像の標本化
間隔Δｘで割られるため、４）画素の雑音が独立のとき
は標本化間隔が小さいほど誤差は増大することも示され
る。
一方、局所最小二乗法においては、同様な計算により
誤差項は、 と求められる。この式における雑音による影響は、１）
画像の濃淡勾配ｆ Ｘ（x,y）の近傍領域Γ内での二乗和
が大きいほど小さく、２）雑音のうち左右画像に共通す
る成分の影響はずれに比例して増大し、３）その差成分
の影響はずれに無関係であることがわかる。このような
性質は（1.24）式の場合と基本的に変わらないが、雑音
の相関が少ないときΓ内で雑音成分の平均化が行われて
相対的に誤差が減少する。さらに２）において雑音の共
通成分は画像の標本化間隔Δｘで割られるため、４）画
素の雑音が独立ならば一般的に標本化間隔が小さいほど
誤差は増大するが、５）画像の濃淡勾配ｆ Ｘ（x,y）の
変化がΓ内でゆるやかならば（画像の平坦さとは異なる
ことに注意）、分子の被積分関数が相殺されるから（1.
24）式の場合より大幅に誤差が小さくなる。
誤差項は、 と求められる。この式における雑音による影響は、１）
画像の濃淡勾配ｆ Ｘ（x,y）の近傍領域Γ内での二乗和
が大きいほど小さく、２）雑音のうち左右画像に共通す
る成分の影響はずれに比例して増大し、３）その差成分
の影響はずれに無関係であることがわかる。このような
性質は（1.24）式の場合と基本的に変わらないが、雑音
の相関が少ないときΓ内で雑音成分の平均化が行われて
相対的に誤差が減少する。さらに２）において雑音の共
通成分は画像の標本化間隔Δｘで割られるため、４）画
素の雑音が独立ならば一般的に標本化間隔が小さいほど
誤差は増大するが、５）画像の濃淡勾配ｆ Ｘ（x,y）の
変化がΓ内でゆるやかならば（画像の平坦さとは異なる
ことに注意）、分子の被積分関数が相殺されるから（1.
24）式の場合より大幅に誤差が小さくなる。
明らかなように（1.24）と（1.25）式は撮像時の配置
のパラメータＤとＨには無関係にずれの量を計測すると
きの誤差を表す。したがって凹凸を計測するときの誤差
は（1.19）式によってずれを高さに変換する際の係数2H
/D倍される。
のパラメータＤとＨには無関係にずれの量を計測すると
きの誤差を表す。したがって凹凸を計測するときの誤差
は（1.19）式によってずれを高さに変換する際の係数2H
/D倍される。
以上に、局所最小二乗法により、凹凸ｈ（x,y）は画
像上の任意の点で求められることを示した。この演算は
画像全体にわたる並列処理の構造を前提とした見ると、
非常に組織立った演算法となっていることがわかる。す
なわち入力画像ｆに対して １）和差および空間微分 fR+Lx,fR-L ２）自身および相互の積 f2 R+Lx,fR+LxfR-L ３）Γによる移動平均 Σf2 R+Lx,ΣfR+LxfR-L ４）相互の比 ΣfR+LxfR-L/Σf2 R+Lx＝ΔRLx を段階的に施し、（1.19）式の係数2H/Dを乗ずることで
凹凸ｈ（x,y）がパターン的に同時に定まることにな
る。個々の段階での処理はいずれも単純であり、原理的
に並列処理はきわめて容易である。
像上の任意の点で求められることを示した。この演算は
画像全体にわたる並列処理の構造を前提とした見ると、
非常に組織立った演算法となっていることがわかる。す
なわち入力画像ｆに対して １）和差および空間微分 fR+Lx,fR-L ２）自身および相互の積 f2 R+Lx,fR+LxfR-L ３）Γによる移動平均 Σf2 R+Lx,ΣfR+LxfR-L ４）相互の比 ΣfR+LxfR-L/Σf2 R+Lx＝ΔRLx を段階的に施し、（1.19）式の係数2H/Dを乗ずることで
凹凸ｈ（x,y）がパターン的に同時に定まることにな
る。個々の段階での処理はいずれも単純であり、原理的
に並列処理はきわめて容易である。
次に以上説明した第１の態様に基づいて立体像を抽出
する実施例について説明する。
する実施例について説明する。
第４図〜第10図には、その実施例を示す。
第４図において、11,12は、対象となる静止立体SOBの
ある基準面RP上で輻輳角θにて各光軸が交差する２つの
固体撮像素子カメラであり、ここでは、128×128画素の
イメージセンサ（RETICON社製MC−9000）を用いてい
る。このカメラ11,12は撮像体駆動回路13からの画素ク
ロックおよび同期信号により制御される。また、カメラ
11、12の光軸は、輻輳角制御装置20により回動され、基
準面RPを前後（図面上では上下）にずらすことができ
る。すなわち、第５図に示すように、両カメラ11,12
は、基台21上に設置され、カメラ11,12のそれぞれは、
連結機構22,23を介してステップモーター24,25に連結さ
れている。これらステップモーター24,25は、駆動回路2
6からの信号により回転される。すなわち、後述の自己
判断／制御論理部54からの輻輳角制御信号が駆動回路26
に供給されてステップモーター24,25が所定ステップ数
づつ回転され、これによりカメラ11,12の光軸を回動さ
せて輻輳角θを変更し両光軸の交差位置を上述した基準
面RPに対して前後に変更可能とされている。
ある基準面RP上で輻輳角θにて各光軸が交差する２つの
固体撮像素子カメラであり、ここでは、128×128画素の
イメージセンサ（RETICON社製MC−9000）を用いてい
る。このカメラ11,12は撮像体駆動回路13からの画素ク
ロックおよび同期信号により制御される。また、カメラ
11、12の光軸は、輻輳角制御装置20により回動され、基
準面RPを前後（図面上では上下）にずらすことができ
る。すなわち、第５図に示すように、両カメラ11,12
は、基台21上に設置され、カメラ11,12のそれぞれは、
連結機構22,23を介してステップモーター24,25に連結さ
れている。これらステップモーター24,25は、駆動回路2
6からの信号により回転される。すなわち、後述の自己
判断／制御論理部54からの輻輳角制御信号が駆動回路26
に供給されてステップモーター24,25が所定ステップ数
づつ回転され、これによりカメラ11,12の光軸を回動さ
せて輻輳角θを変更し両光軸の交差位置を上述した基準
面RPに対して前後に変更可能とされている。
両カメラ11,12からのアナログ画像信号L,Rは、A/D変
換器５で、デジタル信号L,Rに変換され相対標高／自己
評価量演算部30に入力され、ここで後述する相対標高お
よび自己評価量JDET,JERRを演算して立体合成再現部50
に出力する。
換器５で、デジタル信号L,Rに変換され相対標高／自己
評価量演算部30に入力され、ここで後述する相対標高お
よび自己評価量JDET,JERRを演算して立体合成再現部50
に出力する。
この立体合成再現部50は、後述の如き演算を行ない、
標高マップおよび誤差マップを出力する。この標高マッ
プにより対象物体SOBの立体情報が抽出される。
標高マップおよび誤差マップを出力する。この標高マッ
プにより対象物体SOBの立体情報が抽出される。
次に、相対標高／自己評価量演算部30および立体合成
再現部50について詳述する。
再現部50について詳述する。
（１）相対標高／自己評価量演算部30 これは、相対標高演算部30aと自己評価量演算部30bと
からなる。第６図にこの演算部30の一例を示す。
からなる。第６図にこの演算部30の一例を示す。
画像信号L,Rは和差回路31に入力され、和画像信号Ｒ
＋Ｌおよび差画像信号Ｒ−Ｌが演算される。和画像信号
Ｒ＋ＬはＸ微分回路32に入力され微分値fR+Lx（x,y）が
演算され、差画像信号Ｒ−ＬはＸ和分回路33に入力され
隣接する２点の平均値fR-L（x,y）が演算される。この
和分回路33は省略してもよい。Ｘ微分値は、２乗回路34
および乗算回路35に、平均値は、２乗回路36および乗算
回路35に入力される。
＋Ｌおよび差画像信号Ｒ−Ｌが演算される。和画像信号
Ｒ＋ＬはＸ微分回路32に入力され微分値fR+Lx（x,y）が
演算され、差画像信号Ｒ−ＬはＸ和分回路33に入力され
隣接する２点の平均値fR-L（x,y）が演算される。この
和分回路33は省略してもよい。Ｘ微分値は、２乗回路34
および乗算回路35に、平均値は、２乗回路36および乗算
回路35に入力される。
２乗回路34は、和画像信号の微分値fR+Lx（x,y）を２
乗し、その結果が平滑化回路37に入力される。この平滑
化回路37は、入力信号を予め定められた近傍サイズ（例
えば５×５画素）で積分した出力Sxxを自己評価量JDET
として立体合成再現部50および比回路40,43に出力す
る。
乗し、その結果が平滑化回路37に入力される。この平滑
化回路37は、入力信号を予め定められた近傍サイズ（例
えば５×５画素）で積分した出力Sxxを自己評価量JDET
として立体合成再現部50および比回路40,43に出力す
る。
この出力Sxxは上述した（1.18）式のS(R+LX)(R+LX)に
相当し、 Sxx＝∬ΓfR+Lx（x,y）2dxdy＝JDET と表せる。
相当し、 Sxx＝∬ΓfR+Lx（x,y）2dxdy＝JDET と表せる。
乗算回路35は、和画像信号の微分値R+Lx（x,y）と差
画像信号の和分値fR-L（x,y）とを乗算する。その結果
が平滑化回路38に入力される。この平滑化回路38は、入
力信号を上記近傍サイズで積分した出力Sxdを比回路40
および乗算回路41に出力する。
画像信号の和分値fR-L（x,y）とを乗算する。その結果
が平滑化回路38に入力される。この平滑化回路38は、入
力信号を上記近傍サイズで積分した出力Sxdを比回路40
および乗算回路41に出力する。
この出力Sxdは上述した（1.18）式のS(R+LX)(R-L)に
相当し、 Sxd＝∬ΓfR+Lx（x,y）fR-L（x,y）dxdy と表される。
相当し、 Sxd＝∬ΓfR+Lx（x,y）fR-L（x,y）dxdy と表される。
一方、２乗回路36は差画像信号の和分値fR-L（x,y）
を２乗する。その結果が平滑化回路39に入力される。平
滑化回路39は入力信号を近傍サイズで積分した出力Sdd
を減算回路42に出力する。
を２乗する。その結果が平滑化回路39に入力される。平
滑化回路39は入力信号を近傍サイズで積分した出力Sdd
を減算回路42に出力する。
この出力Sddは上述した（1.20）式のS(R-L)(R-L)に相
当し、 Sdd＝∬ΓfR-L（x,y）2dxdy と表される。
当し、 Sdd＝∬ΓfR-L（x,y）2dxdy と表される。
比回路40は入力信号Sxx,Sxdに対して、 の演算を施し、相対標高値ΔRLxを出力する。乗算回路4
1は、比回路40の出力ΔRLxと、平滑化回路38の出力Sxd
とを乗算してその結果ΔRLx×Sxdを得、減算回路42に出
力する。減算回路42は、入力信号ΔRLx×Sxd,Sddに対し
て、 Sdd−ΔRLx×Sxd＝JRES …（1.27） の演算を施し、自己評価量JRESを出力する。この（1.2
7）式は（1.20）式に相当する。比回路43は、入力され
る減算回路42の出力JRESおよび平滑化回路37の出力JDET
（Sxx）に対して、 の演算を施し、自己評価量JERRを出力する。
1は、比回路40の出力ΔRLxと、平滑化回路38の出力Sxd
とを乗算してその結果ΔRLx×Sxdを得、減算回路42に出
力する。減算回路42は、入力信号ΔRLx×Sxd,Sddに対し
て、 Sdd−ΔRLx×Sxd＝JRES …（1.27） の演算を施し、自己評価量JRESを出力する。この（1.2
7）式は（1.20）式に相当する。比回路43は、入力され
る減算回路42の出力JRESおよび平滑化回路37の出力JDET
（Sxx）に対して、 の演算を施し、自己評価量JERRを出力する。
すなわち、相対標高／自己評価量演算部30から、自己
評価量JDET,JERRおよび相対標高値ΔRLxが立体合成再現
部50に出力される。
評価量JDET,JERRおよび相対標高値ΔRLxが立体合成再現
部50に出力される。
（２）立体合成再現部50 第４図に示すとおり、立体合成再現部50は次の各要素
にて構成される。
にて構成される。
相対標高値分類部51 これは、第７図に示す処理手順によるソフトウェアの
形態で実現され、入力される自己評価量JDET,JERRに基
づいて、128×128の各画素について近傍サイズ毎に分類
が行なわれる。
形態で実現され、入力される自己評価量JDET,JERRに基
づいて、128×128の各画素について近傍サイズ毎に分類
が行なわれる。
すなわち、手順P1において相対標高／自己評価量演算
部30からの自己評価量JDETを、予め定められた閾値SS1
と大小比較し、JDET≧閾値SS1であれば、手順P2に進
み、相対標高／自己評価量演算部30からの自己評価量J
ERRを、予め定めた閾値SS2と大小比較する。JERR≦閾値
SS2ならば手順P3において、自己評価量JERRの演算対象
である近傍サイズの中心画素に有効領域のラベルをセッ
トする。
部30からの自己評価量JDETを、予め定められた閾値SS1
と大小比較し、JDET≧閾値SS1であれば、手順P2に進
み、相対標高／自己評価量演算部30からの自己評価量J
ERRを、予め定めた閾値SS2と大小比較する。JERR≦閾値
SS2ならば手順P3において、自己評価量JERRの演算対象
である近傍サイズの中心画素に有効領域のラベルをセッ
トする。
手順P1で否定判定されると、手順P4において、上述の
近傍サイズの中心画素に対して無効領域のラベルをセッ
トする。また、手順P2が否定判定されると、手順P5にお
いて、同様に標高過剰領域のラベルをセットする。
近傍サイズの中心画素に対して無効領域のラベルをセッ
トする。また、手順P2が否定判定されると、手順P5にお
いて、同様に標高過剰領域のラベルをセットする。
すなわち、自己評価量JDETは、最小２乗法が有効なた
めに正規方程式（1.16）の良さを決めるものであり、十
分大きくなくてはならない。また、自己評価量JERRは、
誤差の原因が画素雑音のみと仮定すると、雑音分散Δ２
に比例するから、予め測定誤差がどの程度含まれている
かを予測する量として用いることができ、小さいほどよ
い。
めに正規方程式（1.16）の良さを決めるものであり、十
分大きくなくてはならない。また、自己評価量JERRは、
誤差の原因が画素雑音のみと仮定すると、雑音分散Δ２
に比例するから、予め測定誤差がどの程度含まれている
かを予測する量として用いることができ、小さいほどよ
い。
荷重標高／荷重累積部52 これは、第８図に示す回路の形態で実現され、入力さ
れる相対標高ΔRLxと、自己評価量JERR（荷重として用
いる）と、後述の標高バイアスとに基いて、累積荷重標
高および累積荷重が演算される。
れる相対標高ΔRLxと、自己評価量JERR（荷重として用
いる）と、後述の標高バイアスとに基いて、累積荷重標
高および累積荷重が演算される。
すなわち、有効領域として分類された近傍領域毎に相
対標高と標高バイアスとが和回路521に入力され、両入
力の和が比回路522に入力される。比回路522には、自己
評価量JERRも入力されており、 が演算され、その出力は和回路523に入力される。この
和回路523には、スイッチ528を介して累積メモリ524が
後続し、その累積メモリ524の出力が和回路523に入力さ
れている。したがって、和回路523は、 のように過去の累積データに新しいデータを加算し、そ
の結果を出力することになる。以上の回路構成により累
積メモリ524から各画素の累積荷重標高が出力される。
対標高と標高バイアスとが和回路521に入力され、両入
力の和が比回路522に入力される。比回路522には、自己
評価量JERRも入力されており、 が演算され、その出力は和回路523に入力される。この
和回路523には、スイッチ528を介して累積メモリ524が
後続し、その累積メモリ524の出力が和回路523に入力さ
れている。したがって、和回路523は、 のように過去の累積データに新しいデータを加算し、そ
の結果を出力することになる。以上の回路構成により累
積メモリ524から各画素の累積荷重標高が出力される。
また、自己評価量JERRが逆数回路525に入力され、逆
数回路525から1/JERRが次段の和回路526に出力される。
この和回路526には、スイッチ529を介して累積メモリ52
7が後続し、その累積メモリ527の出力が和回路526に入
力されている。したがって、和回路526は、 のような過去の累積データに新しいデータを加算し、そ
の結果を出力することになる。以上の回路構成により、
累積メモリ527から各画素の累積荷重が出力される。
数回路525から1/JERRが次段の和回路526に出力される。
この和回路526には、スイッチ529を介して累積メモリ52
7が後続し、その累積メモリ527の出力が和回路526に入
力されている。したがって、和回路526は、 のような過去の累積データに新しいデータを加算し、そ
の結果を出力することになる。以上の回路構成により、
累積メモリ527から各画素の累積荷重が出力される。
なお、上述したスイッチ528,529は、後述する自己判
断／制御論理部54からの累積制御信号によりオン・オフ
される。
断／制御論理部54からの累積制御信号によりオン・オフ
される。
標高再現部53 これは、第８図に示す回路の形態で実現され、前段の
荷重標高／荷重累積部52から入力される累積荷重標高と
累積荷重とに基づいて標高マップおよび誤差マップとが
出力される。
荷重標高／荷重累積部52から入力される累積荷重標高と
累積荷重とに基づいて標高マップおよび誤差マップとが
出力される。
すなわち、累積荷重標高と累積荷重とが比回路531に
入力され、 が演算され、後述の自己判断／制御論理部54に出力され
るとともに、最終出力データとして取り出される。
入力され、 が演算され、後述の自己判断／制御論理部54に出力され
るとともに、最終出力データとして取り出される。
一方、累積荷重が逆数回路532に入力されてその逆数
が演算され、 として自己判断／制御論理部54に出力されるとともに、
最終出力データとして取り出される。
が演算され、 として自己判断／制御論理部54に出力されるとともに、
最終出力データとして取り出される。
自己判断／制御論理部54 これは、第９図に示す処理手順によるソフトウェアの
形態で実現される。相対標高値分類部51からの分類マッ
プと、相対標高演算部30aからの相対標高と、標高再現
部53からの標高マップおよび誤差マップとに基づいて、
標高バイアスと、累積制御信号、輻輳角制御信号と、撮
像カメラ起動信号と、相対標高演算部起動信号とを演算
して出力する。
形態で実現される。相対標高値分類部51からの分類マッ
プと、相対標高演算部30aからの相対標高と、標高再現
部53からの標高マップおよび誤差マップとに基づいて、
標高バイアスと、累積制御信号、輻輳角制御信号と、撮
像カメラ起動信号と、相対標高演算部起動信号とを演算
して出力する。
すなわち、第９図において、手順P11で累積領域およ
び輻輳角の初期化を行ない、手順P12では、分類マップ
にしたがって有効領域の抽出を行う。手順P13では、誤
差マップにしたがって、累積確定領域の抽出を行う。こ
れは、予め設定された閾値SS3に対して 誤差マップ≦閾値SS3 となるべき領域を抽出するものである。次いで、手順P1
4において各手順P12,13で抽出された両領域のオーバラ
ップ領域を抽出する。そして、手順P15に進みオーバー
ラップ領域での相対標高の平均値、すなわち標高バイア
ス（平均標高差）を抽出し、第８図の和回路521に入力
する。
び輻輳角の初期化を行ない、手順P12では、分類マップ
にしたがって有効領域の抽出を行う。手順P13では、誤
差マップにしたがって、累積確定領域の抽出を行う。こ
れは、予め設定された閾値SS3に対して 誤差マップ≦閾値SS3 となるべき領域を抽出するものである。次いで、手順P1
4において各手順P12,13で抽出された両領域のオーバラ
ップ領域を抽出する。そして、手順P15に進みオーバー
ラップ領域での相対標高の平均値、すなわち標高バイア
ス（平均標高差）を抽出し、第８図の和回路521に入力
する。
なお、以上の手順P12〜P15に代えて、第10図に示すよ
うに、輻輳角の変化から基準面RPの前後移動量を演算し
て標高バイアスを求めることもできる。
うに、輻輳角の変化から基準面RPの前後移動量を演算し
て標高バイアスを求めることもできる。
次いで、手順P16では累積制御信号を出力して第８図
に示したスイッチ528,529を閉成し、上述したように手
順P15で求められた標高バイアスと近傍領域内の各画素
の相対標高とを加算するとともに、その後、前述したよ
うに累積荷重標高を累積メモリ524に格納し、また、そ
のときの累積荷重を累積メモリ527に格納する。その後
手順P17,P18に順次に進み標高荷重領域および標高不確
定領域をそれぞれ抽出する。ここで、標高不確定領域と
は、先の手順P13において抽出された累積確定領域以外
の領域である。更に手順P19で、これら両領域のオーバ
ラップ領域、すなわち未測定の測定可能領域を残存領域
として抽出する。その後手順P20に進み、残存両胃の有
無を判定し、残存領域があれば手順P21に進んで、両カ
メラ11,12を所定量制御するためステップモーター駆動
回路26に輻輳角制御信号を供給する。例えば、基準面RP
が前側に2cmずれるように輻輳角が制御される。カメラ1
1,12の輻輳角が制御されると、手順P22において、撮像
体駆動回路部13に撮像体起動信号を供給してカメラ11,1
2による対象物体SOBの撮影を指令するとともに、相対標
高演算部30aへその起動信号を供給して起動する。手順P
20において残存領域がなければ、以上の処理を終了す
る。また、図には示していないが、カメラ11,12の輻輳
角が限界値を超えるような場合にもこの処理を終了す
る。
に示したスイッチ528,529を閉成し、上述したように手
順P15で求められた標高バイアスと近傍領域内の各画素
の相対標高とを加算するとともに、その後、前述したよ
うに累積荷重標高を累積メモリ524に格納し、また、そ
のときの累積荷重を累積メモリ527に格納する。その後
手順P17,P18に順次に進み標高荷重領域および標高不確
定領域をそれぞれ抽出する。ここで、標高不確定領域と
は、先の手順P13において抽出された累積確定領域以外
の領域である。更に手順P19で、これら両領域のオーバ
ラップ領域、すなわち未測定の測定可能領域を残存領域
として抽出する。その後手順P20に進み、残存両胃の有
無を判定し、残存領域があれば手順P21に進んで、両カ
メラ11,12を所定量制御するためステップモーター駆動
回路26に輻輳角制御信号を供給する。例えば、基準面RP
が前側に2cmずれるように輻輳角が制御される。カメラ1
1,12の輻輳角が制御されると、手順P22において、撮像
体駆動回路部13に撮像体起動信号を供給してカメラ11,1
2による対象物体SOBの撮影を指令するとともに、相対標
高演算部30aへその起動信号を供給して起動する。手順P
20において残存領域がなければ、以上の処理を終了す
る。また、図には示していないが、カメラ11,12の輻輳
角が限界値を超えるような場合にもこの処理を終了す
る。
第５図に示した表面にランダムドット模様をつけた立
方体を計測対象とした場合の実験結果の例を第11A図〜
第11C図に示す。第11A図および第11B図はそれぞれ輻輳
角θを異にして得た有効データによる標高マップであ
り、第11C図はこのような複数の標高マップを合成して
得た最終結果である。
方体を計測対象とした場合の実験結果の例を第11A図〜
第11C図に示す。第11A図および第11B図はそれぞれ輻輳
角θを異にして得た有効データによる標高マップであ
り、第11C図はこのような複数の標高マップを合成して
得た最終結果である。
また、第11D図に示すようなくさび計測対象とした場
合の実験結果を第11E図〜第11G図に示す。各図は、それ
ぞれ輻輳角θを異にして得た有効データによる標高マッ
プである。
合の実験結果を第11E図〜第11G図に示す。各図は、それ
ぞれ輻輳角θを異にして得た有効データによる標高マッ
プである。
なお、計測にあたりくさびにランダムドット模様をつ
けた。
けた。
以上説明したようにこの態様の実施例による立体抽出
は、所定の基準面RP0に対して得た画像系列から １）空間微分と左右画像差を画素値とする画像（微分画
像，差分画像）２種を形成し、 ２）それらの積を画素値とする画像（積画像）を２種類
形成し、 ３）それらを近傍領域Γのサイズの点拡がり関数で平滑
化し（平滑化積画像）、 ４）それらの積和の比を画像全体で計算する、 ことにより行なわれる。従って、第６図，第９図に示す
ような多段並列演算回路によって実現でき、実時間にて
立体情報の抽出ができる。なお、上記４）のステップは
さらに分解してもよい。
は、所定の基準面RP0に対して得た画像系列から １）空間微分と左右画像差を画素値とする画像（微分画
像，差分画像）２種を形成し、 ２）それらの積を画素値とする画像（積画像）を２種類
形成し、 ３）それらを近傍領域Γのサイズの点拡がり関数で平滑
化し（平滑化積画像）、 ４）それらの積和の比を画像全体で計算する、 ことにより行なわれる。従って、第６図，第９図に示す
ような多段並列演算回路によって実現でき、実時間にて
立体情報の抽出ができる。なお、上記４）のステップは
さらに分解してもよい。
また、立体情報抽出の過程で演算された自己評価量J
DET,JERRにより抽出された立体情報を評価してその有
効，無効の判定を含む有効度の判定を行ない、有効と判
定された領域の立体情報に対して荷重JERRによる重みづ
け（有効度に応じた重みづけ）を行なって対象立体の画
像を再現し、無効と判定された領域に対しては、基準面
RPを前後に、すなわち撮像体と対象立体との距離Ｈを変
更して同様な処理を繰り返して行なう。従って、従来、
雑音に大きく影響され、悪条件下での対処が不十分であ
ることにより実現が難しいと言われていた時空間微分法
による立体像の再現を精度よく行なうことができる。こ
こで、JDETは測定可能性を示す評価量で大きいほど有効
度が高く、JERRは測定誤差の推定値を示す評価量で、J
RESは測定条件の正当性を示す評価量である。
DET,JERRにより抽出された立体情報を評価してその有
効，無効の判定を含む有効度の判定を行ない、有効と判
定された領域の立体情報に対して荷重JERRによる重みづ
け（有効度に応じた重みづけ）を行なって対象立体の画
像を再現し、無効と判定された領域に対しては、基準面
RPを前後に、すなわち撮像体と対象立体との距離Ｈを変
更して同様な処理を繰り返して行なう。従って、従来、
雑音に大きく影響され、悪条件下での対処が不十分であ
ることにより実現が難しいと言われていた時空間微分法
による立体像の再現を精度よく行なうことができる。こ
こで、JDETは測定可能性を示す評価量で大きいほど有効
度が高く、JERRは測定誤差の推定値を示す評価量で、J
RESは測定条件の正当性を示す評価量である。
なお、以上では対象物体にランダムドットパターンを
付したが、ランダムドットパターンをプロジェクトで対
象物体に投影してもよい。また、表面に模様のないもの
に対しては、ランダムドットパターンをプロジェクトに
より投影して表面に濃淡パターンをつける必要がある。
更に、測定毎に輻輳角を変更するとともに、対象物体の
表面の濃淡パターンを変更するために測定の都度プロジ
ェクトがランダムな模様を投影することにより一層精度
が向上する。
付したが、ランダムドットパターンをプロジェクトで対
象物体に投影してもよい。また、表面に模様のないもの
に対しては、ランダムドットパターンをプロジェクトに
より投影して表面に濃淡パターンをつける必要がある。
更に、測定毎に輻輳角を変更するとともに、対象物体の
表面の濃淡パターンを変更するために測定の都度プロジ
ェクトがランダムな模様を投影することにより一層精度
が向上する。
以上の態様について本発明を説明したが、この発明
は、Ｘ線透視画像による背景と個々の物体との分離を時
空間微分法により実現する場合、超音波やNMRによる画
像抽出等、光像によらない画像処理の分野にも十分適用
できる。
は、Ｘ線透視画像による背景と個々の物体との分離を時
空間微分法により実現する場合、超音波やNMRによる画
像抽出等、光像によらない画像処理の分野にも十分適用
できる。
G.発明の効果 本発明によれば、計測対象の相対高さ演算値の有効度
が高くなるように一対の撮像装置の輻輳角を制御するた
め、計測対象の立体像を精度よく抽出できる。
が高くなるように一対の撮像装置の輻輳角を制御するた
め、計測対象の立体像を精度よく抽出できる。
第1A図および第1B図は本発明の概念的説明図、 第2A図〜第11G図は本発明を立体像抽出に適用した態様
を説明する図で、 第2A図は撮影体と対象物体との位置関係を上方から見た
図、 第2B図はその左側面から見た図、 第３図は近傍サイズを説明する図、 第４図は一実施例を示す全体構成図、 第５図は撮像カメラと対象物体とを示す斜視図、 第６図は相対標高／自己評価量演算部の一例を示すブロ
ック図、 第７図は相対標高値分類部の一例を示すフローチャー
ト、 第８図は荷重標高／荷重累積部および標高再現部の一例
を示すブロック図、 第９図は自己判断／制御論理部の一例を示すフローチャ
ート、 第10図は標高バイアスを算出する他の例を示す図、 第11A図〜第11G図は立体像抽出の実験結果を示す図であ
る。 500:演算手段、501:判定手段 502:センサ、503:演算手段 504:判定手段、505:制御手段
を説明する図で、 第2A図は撮影体と対象物体との位置関係を上方から見た
図、 第2B図はその左側面から見た図、 第３図は近傍サイズを説明する図、 第４図は一実施例を示す全体構成図、 第５図は撮像カメラと対象物体とを示す斜視図、 第６図は相対標高／自己評価量演算部の一例を示すブロ
ック図、 第７図は相対標高値分類部の一例を示すフローチャー
ト、 第８図は荷重標高／荷重累積部および標高再現部の一例
を示すブロック図、 第９図は自己判断／制御論理部の一例を示すフローチャ
ート、 第10図は標高バイアスを算出する他の例を示す図、 第11A図〜第11G図は立体像抽出の実験結果を示す図であ
る。 500:演算手段、501:判定手段 502:センサ、503:演算手段 504:判定手段、505:制御手段
Claims (1)
- 【請求項１】一対の撮像装置の各光軸が計測対象の所定
基準面で交叉するように前記一対の撮像装置の輻輳角を
制御して計測対象の立体像を抽出する時空間微分法を用
いた計測装置であって、 前記一対の撮像装置から出力された各画像信号の和画像
信号、差画像信号および該和画像信号の微分信号に基づ
いて、前記計測対象の前記所定基準面に対する各計測点
の相対的な高さを演算する相対標高演算手段と、 前記演算された相対的な高さの有効度を判定するための
基準となる自己評価量を演算する自己評価量演算手段
と、 前記演算された自己評価量に基づいて、前記各計測点ご
とに前記相対的な高さの有効度を判定する判定手段と、 前記有効度が低いと判定された前記計測点に対して、前
記計測対象に対する前記所定基準面の位置を変更すべく
前記一対の撮像装置の輻輳角を制御する輻輳角制御手段
と、 前記有効度が高いと判定された前記相対的な高さに基づ
いて前記計測対象の立体像を抽出する立体合成手段とを
備えることを特徴とする時空間微分法を用いた計測装
置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61170882A JP2543505B2 (ja) | 1986-07-22 | 1986-07-22 | 時空間微分法を用いた信号処理装置および計測装置 |
| US07/076,436 US4839824A (en) | 1986-07-22 | 1987-07-21 | Apparatus for measuring an object based on spatio-temporally derivated image signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61170882A JP2543505B2 (ja) | 1986-07-22 | 1986-07-22 | 時空間微分法を用いた信号処理装置および計測装置 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8114956A Division JP2736320B2 (ja) | 1996-05-09 | 1996-05-09 | 時空間微分法を用いた計測装置 |
| JP8114957A Division JP2641417B2 (ja) | 1996-05-09 | 1996-05-09 | 時空間微分法を用いた計測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS6327981A JPS6327981A (ja) | 1988-02-05 |
| JP2543505B2 true JP2543505B2 (ja) | 1996-10-16 |
Family
ID=15913060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP61170882A Expired - Lifetime JP2543505B2 (ja) | 1986-07-22 | 1986-07-22 | 時空間微分法を用いた信号処理装置および計測装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US4839824A (ja) |
| JP (1) | JP2543505B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03502261A (ja) * | 1988-05-12 | 1991-05-23 | プレツシー オーバーシーズ リミテツド | デジタルデータ処理 |
| JP2591984B2 (ja) * | 1988-06-06 | 1997-03-19 | 日立ソフトウェアエンジニアリング株式会社 | パターン認識装置 |
| EP0360903B1 (en) * | 1988-09-29 | 1994-01-26 | Kabushiki Kaisha Toshiba | Depth information buffer control apparatus |
| US5005147A (en) * | 1988-12-30 | 1991-04-02 | The United States Of America As Represented By The Administrator, The National Aeronautics And Space Administration | Method and apparatus for sensor fusion |
| JP2523369B2 (ja) * | 1989-03-14 | 1996-08-07 | 国際電信電話株式会社 | 動画像の動き検出方法及びその装置 |
| JPH039488A (ja) * | 1989-06-06 | 1991-01-17 | Nec Corp | 移動ベクトル検出方法及び装置 |
| US5265172A (en) * | 1989-10-13 | 1993-11-23 | Texas Instruments Incorporated | Method and apparatus for producing optical flow using multi-spectral images |
| US5633995A (en) * | 1991-06-19 | 1997-05-27 | Martin Marietta Corporation | Camera system and methods for extracting 3D model of viewed object |
| US5577130A (en) * | 1991-08-05 | 1996-11-19 | Philips Electronics North America | Method and apparatus for determining the distance between an image and an object |
| JP3110095B2 (ja) * | 1991-09-20 | 2000-11-20 | 富士通株式会社 | 測距方法及び測距装置 |
| US5471544A (en) * | 1992-05-18 | 1995-11-28 | Markandey; Vishal | Condition number-based smoothins of optical flow fields |
| US5361127A (en) * | 1992-08-07 | 1994-11-01 | Hughes Aircraft Company | Multi-image single sensor depth recovery system |
| US5543965A (en) * | 1994-05-11 | 1996-08-06 | Nvision Grafix, Inc. | Method and apparatus for autostereoscopic lenticular displays utilizing random dot patterns |
| DE69507963T2 (de) * | 1994-11-04 | 1999-10-07 | Telemedia A/S, Aalborg Ost | Verfahren in einem bildaufnahmesystem |
| WO2000002102A1 (en) * | 1998-07-01 | 2000-01-13 | Sportvision System, Llc | System for measuring a jump |
| KR20040050906A (ko) * | 2001-10-08 | 2004-06-17 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 모션 추정을 위한 장치 및 방법 |
| JP3905736B2 (ja) * | 2001-10-12 | 2007-04-18 | ペンタックス株式会社 | ステレオ画像撮像装置及び自動輻輳調整装置 |
| FR2889303B1 (fr) * | 2005-07-26 | 2008-07-11 | Airbus France Sas | Procede de mesure d'une anomalie de forme sur un panneau d'une structure d'aeronef et systeme de mise en oeuvre |
| US7774212B2 (en) * | 2006-08-15 | 2010-08-10 | Palo Alto Research Center Incorporated | Systems and methods for dynamically determining data-identity information |
| CN110383014B (zh) * | 2017-03-07 | 2022-01-04 | Abb瑞士股份有限公司 | 用于测量管道中流体的流速的设备和方法 |
| EP3450930A1 (en) * | 2017-08-29 | 2019-03-06 | Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO | Acoustic measurement of a fluid flow |
| CN114545330B (zh) * | 2022-02-16 | 2025-04-15 | 红相股份有限公司 | 一种基于稀疏成像技术的设备故障声源定位方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4063073A (en) * | 1974-11-29 | 1977-12-13 | Strayer Larry G | Computer system to prevent collision between moving objects such as aircraft moving from one sector to another |
| JPS5212577A (en) * | 1975-07-21 | 1977-01-31 | Nippon Kogaku Kk <Nikon> | Automatic location device |
| US4322716A (en) * | 1976-11-15 | 1982-03-30 | Environmental Research Institute Of Michigan | Method and apparatus for pattern recognition and detection |
| US4320415A (en) * | 1979-06-14 | 1982-03-16 | National Research Development Corporation | Method of and apparatus for measuring electrophoretic mobility of cells |
| US4449144A (en) * | 1981-06-26 | 1984-05-15 | Omron Tateisi Electronics Co. | Apparatus for detecting moving body |
| US4614430A (en) * | 1983-04-28 | 1986-09-30 | Hitachi Ltd. | Method of detecting pattern defect and its apparatus |
| SE438091B (sv) * | 1983-06-08 | 1985-04-01 | Gote Palsgard | Anordning for koordinatregistrering |
| JP2530587B2 (ja) * | 1983-11-26 | 1996-09-04 | 株式会社ニコン | 位置決め装置 |
| US4635292A (en) * | 1983-12-19 | 1987-01-06 | Matsushita Electric Industrial Co., Ltd. | Image processor |
| US4679077A (en) * | 1984-11-10 | 1987-07-07 | Matsushita Electric Works, Ltd. | Visual Image sensor system |
| GB2179155B (en) * | 1985-08-13 | 1989-08-16 | English Electric Valve Co Ltd | Spatial characteristic determination |
-
1986
- 1986-07-22 JP JP61170882A patent/JP2543505B2/ja not_active Expired - Lifetime
-
1987
- 1987-07-21 US US07/076,436 patent/US4839824A/en not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| 安藤・塙「計算機のための両眼視凹凸知覚アルゴリズム」 |
| 計測自動制御学会第２４回学術講演会予稿集（Ｓ６０−７）Ｐ．８５１−８５２ |
Also Published As
| Publication number | Publication date |
|---|---|
| US4839824A (en) | 1989-06-13 |
| JPS6327981A (ja) | 1988-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2543505B2 (ja) | 時空間微分法を用いた信号処理装置および計測装置 | |
| JP3253962B2 (ja) | センサの動きとシーン構造を決定する方法及びイメージ処理システム | |
| US7925051B2 (en) | Method for capturing images comprising a measurement of local motions | |
| CN100547350C (zh) | 移动体高度判别装置 | |
| Heel | Dynamic motion vision | |
| EP0526938A2 (en) | Method and apparatus for determining the distance between an image and an object | |
| JP3054681B2 (ja) | 画像処理方法 | |
| US5598488A (en) | Object movement estimator using one-dimensional optical flow | |
| JP3988574B2 (ja) | 画像処理装置 | |
| JPH0658716A (ja) | 画像上のエッジ検出方法 | |
| JPH07181024A (ja) | ３次元形状計測方法および装置 | |
| CN115343699B (zh) | 多传感器信息融合的目标检测方法、设备、介质及终端 | |
| JP2641417B2 (ja) | 時空間微分法を用いた計測装置 | |
| Bruyelle et al. | Direct range measurement by linear stereovision for real-time obstacle detection in road traffic | |
| JPH05312819A (ja) | 移動物体の速度検出装置 | |
| JP2736320B2 (ja) | 時空間微分法を用いた計測装置 | |
| JPH09145368A (ja) | ステレオ画像による物体の移動追跡方法 | |
| JPH0875454A (ja) | 測距装置 | |
| JP2001183133A (ja) | ３次元形状計測装置および方法、並びに記録媒体 | |
| WO2005088962A1 (ja) | 追尾装置、及びモーションキャプチャ装置 | |
| JP2001319224A (ja) | ３次元物体検出装置と３次元物体検出方法及び記録媒体 | |
| JPH07177425A (ja) | 動きベクトル検出装置 | |
| JPH01315884A (ja) | パターン追跡方法 | |
| JP3055721B2 (ja) | 左，右カメラの撮像画像の対応点検索方法 | |
| JPH0949714A (ja) | ３次元形状抽出装置 |