JPH041282B2 - - Google Patents

Description

【発明の詳細な説明】 本発明は棒状物体の追跡判定方法に関する。

従来、テレビカメラなどの撮像装置を用いて作
業対象物体を検出する方法としては、例えば撮像
装置からの画像データを２値化することにより明
暗度が急変する作業対象物体の輪郭を求め、これ
により適正な作業対象物体を検出するようにした
ものがある。

しかし、この方法は、光学的環境が良く、良質
の２値化画像を得ることが比較的容易であり、か
つ作業対象物体がそれぞれ独立して存在している
場合には実用可能であるが、光学的環境が悪い場
合には、前処理として背景やノイズを除去して良
質な画像にする必要があり、また良質な画像を得
ることができても、第１図に示すように作業対象
物体（丸棒）１がそれぞれ接触したり重なつた状
態では、２値化による丸棒１の輪郭抽出が困難
で、適正な丸棒（この場合、ハンドリングロボツ
トによるハンドリング可能な上部に丸棒が重なつ
ていない丸棒１ａ，１ｂ）の検出ができない。

本発明は上記実情に鑑みてなされたもので、棒
状の作業対象物体を、光学的悪環境下であつて
も、または棒状物体が相互に接触したり重なつて
散在している状態であつても棒状物体を検出し、
適正な棒状物体の存在を判定することができる棒
状物体の追跡判定方法を提供することを目的とす
る。

本発明は、側面が中心軸線に平行な直線のみで
構成され、上記中心軸線がＹ方向に沿いかつ一部
分の重なりおよび上記Ｙ方向に対して最大45度の
傾斜が許容される態様でXY平面にほぼ横たわつ
て配置された所定長の棒状物体の認識に適用され
る方法であつて、 径方向に見た上記棒状物体の側面の光学的反射
度を、Ｘ、Ｙ方向についての単位長が互いに等し
い所定数の画素の明暗度として表した標準パター
ンを予め準備する行程と、 上記棒状物体を上記XY平面に垂直な方向から
撮像手段で撮像する行程と、 上記撮像手段によつて得られる画面上で、Ｘ方
向に連続する上記所定数の画素のブロツクを該Ｘ
方向に１画素分づつシフトしながら、上記所定数
の画素の明暗度からなる明暗パターンを順次抽出
する行程と、 上記抽出される各明暗パターンを上記標準パタ
ーンと順次比較して、上記標準パターンに近似す
る明暗パターンを一本単独にその領域に存在する
上記棒状物体の明暗パターンとして検出する行程
と、 上記検出された明暗パターンの位置を当初基準
位置とし、該基準位置から上記Ｙ方向の正側に１
画素分ずれ、かつＸ方向の位置が上記基準位置よ
りも負側に１画素分ずれた位置、上記基準位置と
同じ位置、および上記基準位置よりも正側に１画
素分ずれた位置にかかわる上記所定数の画素の明
暗度からなる３つの明暗パターンを抽出する行程
と、 抽出された上記３つの明暗パターンのうち、上
記標準パターンに最も近似する明暗パターンを選
択する行程と、 選択した明暗パターンと上記標準パターンとを
比較して、該選択した明暗パターンが上記棒状物
体にかかわる明暗パターンであるか否かを判別す
る行程と、 上記選択した明暗パターンが上記棒状物体にか
かわる明暗パターンである場合には、該明暗パタ
ーンの位置を新たな基準位置とする上記３つの明
暗パターンの抽出と、この抽出された明暗パター
ンに対する上記判別を繰り返し実行する行程と、 上記選択した明暗パターンが上記棒状物体にか
かわる明暗パターンでない場合には、その明暗パ
ターンの位置を記憶手段に記憶させる行程と、 上記当初基準位置から上記Ｙ方向の負側につい
て該Ｙ方向の正側における処理と同様の処理を実
行する行程と、 上記正側と負側の処理において上記記憶手段に
記憶される各位置に基づいて、それらの位置間の
距離を求め、この距離が上記棒状物体の所定区間
長に対応するとき適正な棒状物体が存在すると判
定する行程と が実施される。

以下、本発明を添付図面を参照して詳細に説明
する。

第２図は本発明による棒状物体の追跡判定方法
を実施するための装置の一例を示す概略構成図で
ある。同図において、ITVカメラ１０は、第１
図に示すように工場の床面等に散在する丸棒１を
所定の視野で撮像し、その入力画像の明暗信号を
含むビデオ・コンポジツト信号を同期分離回路１
１およびＡ／Ｄ変換器１２に出力する。同期分離
回路１１は入力するビデオ・コンポジツト信号か
ら同期信号を分離し、この同期信号に基づいてラ
ンダム・アクセス・メモリ・アレイ（RAMアレ
イ）１３のアドレスを指定し、Ａ／Ｄ変換器１２
は入力するビデオ・コンポジツト信号の明暗信号
を明暗状態が16階調の画像データに変換し、これ
を前記指定したアドレス位置に書き込む。このよ
うにしてRAMアレイ１３には、例えば第３図に
示すように256×256の記憶エリアに１画面分のデ
ータが保存される。

いま、第５図の中央に位置する傾き０の丸棒１
Ａを前記カメラ１０で横方向（第３図のＸ方向）
に走査した場合、走査線の横断区域（丸棒１の直
径に相当）に位置するｎ個の画素についての明暗
信号が得られる。そしてこれらの信号に基づい
て、上記丸棒１Ａの下方に例示した凸状の明暗パ
ターンが得られる。

第２図に示したメモリ１４には、上記丸棒１
Ａ、についてのｎ画素の明暗パターンが標準パタ
ーンとして予め記憶されている。

なお、この実施例では上記画素数ｎが１１であ
る。

また、上記画素は、Ｘ，Ｙ方向についての単位
長が互いに等しく設定されている。そして上記ｎ
個の画素の明暗度からなる明暗パターンは、径方
向に見た上記棒状物体の側面の光学的反射度を示
す。

次に、中央処理装置（CPU）１５は、RAMア
レイ１３中の画像データに基づいて画像処理を行
なう。この処理手順を第４図に示すフローチヤー
トに従つて説明する。

まず、第３図に示すようにRAMアレイ１３の
Ｙ方向の或る位置Y_oからＸ方向に連続する11個
のアドレス位置から11個の画素の画像データ群で
ある明暗パターンを抽出する。この明暗パターン
とメモリ１４に予め記憶した標準パターンとの比
較により、該明暗パターンが丸棒１の横断時の明
暗パターンであるか否かを判別する。そして、横
断時の明暗パターンでないときには、Ｘ方向に１
画素分ずれた11個のアドレス位置から再び明暗パ
ターンを抽出し、上記判別を実行する。このよう
にして、Ｘ方向にRAMアレイ１３をスキヤン
し、丸棒１（丸棒１の横断時）を探索する（第４
図の処理２０）。

次に、丸棒１の横断時を検出したときの11個の
アドレス位置の中央位置（X_s，Y_s）を丸棒１の
追跡スタート位置として記憶し、また、この追跡
スタート位置からの追跡方向をFUDに２を記入
することにより下方向（正のＹ方向）に指定し
（準備２１）、このスタート位置X_s，Y_sを基準位
置X_n，Y_oとする（準備２２）。

続いて、基準位置X_n，Y_oをＹ方向の正側に１
画素分ずらし（処理２３）、ずらした基準位置を
中心にしてＸ方向に連続する13個のアドレス位置
X_n-6，Y_o〜X_n+6，Y_oから画像データDAT（−
６）〜DAT（６）を抽出する（処理２４）。そし
て、DAT（−６）〜DAT（４）、DAT（−５）〜
DAT（５）およびDAT（−４）〜DAT（６）の３
つの明暗パターン別に標準パターンとの近似度を
示す評価値Ｈ（−１）、Ｈ（０）、Ｈ（１）を求める
（処理２５）。なお、上記３つの明暗パターンは、
各明暗パターンの中央位置におけるＸ方向のアド
レス位置が、それぞれ前記基準位置よりも負側に
１画素分、０画素分、正側に１画素分ずれたもの
である。

上記評価値は、標準パターンに対する上記３つ
の明暗パターンの相関度（近似度）を意味してい
る。この相関度は、たとえば数学上の公式に基づ
いて相関係数を算出することにより得られる。

もちろん、相関係数以外のパラメータを評価値
として用いることも可能である。すなわち、一般
にｎ個の数値によつて表現されるパターンは、ｎ
次空間における１つの点に相当すると考えられる
から、パターン同志（上記明暗パターンと標準パ
ターン）の近似度は上記ｎ次空間における２点間
の距離によつて表現することができる。そこで、
上記距離を示すパラメータを評価値として用いる
ことも可能である。

つぎに、上記処理２５で求めた３つの評価値Ｈ
（−１）、Ｈ（０）、Ｈ（１）のうちの最大評価値Ｈ，
Ｐを求める（処理２６）。この最大評価値Ｈ，Ｐ
が所定のしきい値以上であれば、該評価値Ｈ，Ｐ
に係る明暗パターンが丸棒１を横断方向に走査し
た場合の明暗パターンであると判断することがで
きる。そこで、つぎの判断２７では、上記判断を
行うべく最大評価値Ｈ，Ｐを所定のしきい値と比
較している。

最大評価値Ｈ，Ｐが上記所定のしきい値以上で
ある場合には、ｍにＸ方向のシフト量Ｐが加算さ
れる（処理２８）。なお、処理２８におけるシフ
ト量Ｐは１画素単位であり、最大評価値Ｈ，Ｐが
Ｈ（−１）、Ｈ（０）およびＨ（１）の場合にそれぞ
れ−１、０および１になる。

ついで、判断２９を介して再び処理２３の内容
が実施され、この処理２３において得られたｎと
処理２８によつて得られたｍとに基づくアドレス
位置X_n，Y_oを新たな基準位置として上記処理２
４，２５，２６の内容を実行する。なお、判断２
９は追跡方向が下方向か否かを判断するもので、
この場合は処理２３へのフローラインを選択す
る。

このように、この実施例によれば、基準位置
X_n，Y_oをＸ方向に（−１画素または０画素ある
いは１画素）分、Ｙ方向に１画素分シフトしなが
ら丸棒１を追跡していくので、丸棒１が最大45度
の角度で傾斜していても上記追跡が可能である。

なお、第５図には傾斜45度の丸棒１Ｂおよび右
傾斜45度の丸棒１Ｃが示されている。これらの丸
棒１Ｂおよび丸棒１Ｃのについては、それら下方
に例示するようなｎ画素の明暗パターンがそれぞ
れ得られる。これらの明暗パターンはメモリ１４
に記憶された標準パターンと類似しているので、
前記最大評価値に対するしきい値等を適宜設定し
ておくことにより上記のような追跡が可能であ
る。

いま、丸棒１の一端まで追跡が完了し、判断２
７において評価値Ｈ，Ｐが丸棒１の横断を示す値
でないと判断されると、判断３０を介して前回の
基準位置X_n，Y_o-1を丸棒１の一端のアドレス位
置X_t，Y_tとして記憶する（処理３１）。

次に、FUDに１を記入することにより丸棒１
の追跡方向を上方向（負のＹ方向）に指定し（準
備３２）、またスタート位置X_s，Y_sを再度基準位
置X_n，Y_oとする（準備３３）。

続いて、基準位置X_n，Y_oをＹ方向の負側に１
画素分ずらし（処理３４）、ずらした基準位置に
基づいて前述した処理２４，２５，２６を実行
し、判断２７によりその最大評価値Ｈ，Ｐが丸棒
１の横断を示す値であるか否かを判断する。

評価値Ｈ，Ｐが丸棒１の横断を示す値の場合に
は、ｍにＸ方向にシフト量Ｐ（＝−１、０、また
は１）を加算し（処理２８）、判断２９を介して
再び処理３４の内容を実行し、このようにして得
たｍ，ｎを有するアドレス位置X_n，Y_oを新たな
基準位置として上記処理２４，２５，２６の内容
を実行する。

ここで、丸棒１の他端まで追跡が完了し、判断
２７において評価値Ｈ，Ｐが丸棒１の横断を示す
値でないと判断されると、判断３０を介して前回
の基準位置X_n，Y_o+1を丸棒１の他端のアドレス
位置X_b，Y_bとして記憶する（処理３５）。なお、
丸棒の追跡軌跡は参考図の写真に示すようにな
る。

このようにして、丸棒１の両端のアドレス位置
X_t，Y_tおよびX_b，Y_bが求められると、この２位
置間の距離を算出し（処理３６）、算出した距離
DSが丸棒１の固有の長さに対応する距離Ｌと一
致するか否かを判別する（判断３７）。

距離DSが距離Ｌと一致したときには、適正な
丸棒１が存在していると判定し、丸棒１の重心位
置X_g，Y_gおよび丸棒１の傾斜角θを算出し（処
理３８）、出力３９から前記算出した重心位置
X_g，Y_gおよび傾斜角θを示すデータを出力して
一連の画像処理が終了する。

一方、距離DSが距離Ｌと一致しないときには、
適正な丸棒１ではないと判定し、出力３９から不
適格を示す信号を出力して一連の画像処理が終了
する。なお、距離DSが距離Ｌと一致しない場合
としては、Ｘ方向にスキヤンして丸棒を探索して
いるときノイズによつて丸棒の横断時を誤検出し
てＹ方向に追跡したとき、丸棒が45度よりも傾斜
しているとき、および丸棒の上に他の丸棒か重な
つているとき等がある。したがつて、不適格を示
す信号が出力されたときには、前述したスタート
位置X_s，Y_sから再度Ｘ方向にスキヤンして丸棒
を探索し、またはIYVカメラ１０を所定角度だ
け回転して入力画像を変更したのち上記と同様の
処理を行なえばよい。

また、出力３９からの丸棒の重心位置X_g，Y_g
および傾斜角θを示すデータは、例えばハンドリ
ングロボツトに加えられる。ハンドリングロボツ
トはこの入力データに基づいて丸棒を的確に把持
することができる。

なお、本実施例では対象物体として丸棒を用い
たが、これに限らず、六角柱のような棒状物体で
もよく、更には棒状物体の一端または両端にピン
ヘツドを有するものでもよい。。要は、所定の長
さの間断面形状が一様な棒状物体であればいかな
るものでもよい。

以上説明したように本発明によれば、棒状物体
の横断位置から該棒状物体の長手方向に棒状物体
を追跡探索することができる。また、この追跡探
索距離が棒状物体の所定区間長に対応するとき適
正な棒状物体が存在すると判定するため、光学的
環境が悪く、または棒状物体が接触したり重なつ
て散在している状態であつても的確な判定ができ
る。

【図面の簡単な説明】

第１図は丸棒の平面図、第２図は本発明による
棒状物体の追跡判定方法を実施するための装置の
一例を示す概略構成図、第３図は第２図のRAM
アレイの記憶エリアと該エリアに記憶される画像
データの一例を示す平面図、第４図は本発明にか
かわる画像処理の一例を説明するために用いたフ
ローチヤート、第５図は傾きの異なる丸棒につい
ての明暗パターンを例示した概念図である。 １……丸棒、１０……ITVカメラ、１１……
同期分離回路、１２……Ａ／Ｄ変換器、１３……
RAMアレイ、１４……メモリ、１５……中央処
理装置（CPU）。

Claims (1)

1. 【特許請求の範囲】 １ 側面が中心軸線に平行な直線のみで構成さ
   れ、上記中心軸線がＹ方向に沿いかつ一部分の重
   なりおよび上記Ｙ方向に対して最大45度の傾斜が
   許容される態様でXY平面にほぼ横たわつて配置
   された所定長の棒状物体の認識に適用される方法
   であつて、 径方向に見た上記棒状物体の側面の光学的反射
   度を、Ｘ、Ｙ方向についての単位長が互いに等し
   い所定数の画素の明暗度として表した標準パター
   ンを予め準備する行程と、 上記棒状物体を上記XY平面に垂直な方向から
   撮像手段で撮像する行程と、 上記撮像手段によつて得られる画面上で、Ｘ方
   向に連続する上記所定数の画素のブロツクを該Ｘ
   方向に１画素分づつシフトしながら、上記所定数
   の画素の明暗度からなる明暗パターンを順次抽出
   する行程と、 上記抽出される各明暗パターンを上記標準パタ
   ーンと順次比較して、上記標準パターンに近似す
   る明暗パターンを一本単独にその領域に存在する
   上記棒状物体の明暗パターンとして検出する行程
   と、 上記検出された明暗パターンの位置を当初基準
   位置とし、該基準位置から上記Ｙ方向の正側に１
   画素分ずれ、かつＸ方向の位置が上記基準位置よ
   りも負側に１画素分ずれた位置、上記基準位置と
   同じ位置、および上記基準位置よりも正側に１画
   素分ずれた位置にかかわる上記所定数の画素の明
   暗度からなる３つの明暗パターンを抽出する行程
   と、 抽出された上記３つの明暗パターンのうち、上
   記標準パターンに最も近似する明暗パターンを選
   択する行程と、 選択した明暗パターンと上記標準パターンとを
   比較して、該選択した明暗パターンが上記棒状物
   体にかかわる明暗パターンであるか否かを判別す
   る行程と、 上記選択した明暗パターンが上記棒状物体にか
   かわる明暗パターンである場合には、該明暗パタ
   ーンの位置を新たな基準位置とする上記３つの明
   暗パターンの抽出と、この抽出された明暗パター
   ンに対する上記判別を繰り返し実行する行程と、 上記選択した明暗パターンが上記棒状物体にか
   かわる明暗パターンでない場合には、その明暗パ
   ターンの位置を記憶手段に記憶させる行程と、 上記当初基準位置から上記Ｙ方向の負側につい
   て該Ｙ方向の正側における処理と同様の処理を実
   行する行程と、 上記正側と負側の処理において上記記憶手段に
   記憶される各位置に基づいて、それらの位置間の
   距離を求め、この距離が上記棒状物体の所定区間
   長に対応するとき適正な棒状物体が存在すると判
   定する行程と を含む棒状物体の追跡判定方法。