JP3237248B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、電子部品実装機・ロボ
ット等をはじめとする、各種の生産設備や自動化機器の
自動位置決めや検査に用いられる画像処理方法及び画像
処理装置に関する。

【０００２】

【従来の技術】近年、電子部品実装機など各種の生産設
備は、生産性の向上を目的として、設備生産タクトの高
速化が進んでいる。その中で特にＣＣＤカメラから画像
を取り込む画像処理装置は、生産設備の高精度化・高速
化・フレキシブル化の鍵として、生産設備への搭載と適
用範囲の拡大が急速に進んでいる。ＣＣＤカメラによる
画像処理装置を前提にした設備の高速化を考えるとき、
画像情報の処理時間の短縮とともに、ＣＣＤカメラで画
像を画像処理装置に取り込む（画像入力）時間の短縮も
重要な要素である。

【０００３】通常のＣＣＤカメラは、画像処理装置やモ
ニタテレビなどの各種外部機器への１画面転送（１フレ
ーム転送）の時間は、１／３０秒と固定であり、この転
送時間以外に、ＣＣＤカメラの光電変換面への電荷の蓄
積をする露光時間が必要である。

【０００４】生産設備において、画像処理装置を用いる
場合、画像処理対象を何らかの手段で移動させるか、カ
メラやレンズ、鏡などの撮像系を移動させて、次々と連
続的に供給される対象物を画像入力する方法が一般的で
ある。いずれにしても、ＣＣＤカメラなどの撮像装置で
対象物を撮像するためには、移動物（移動体）を一定時
間静止させて、これをＣＣＤ上の光電変換面に露光させ
る必要がある。生産設備の高速化において、この移動物
（移動体）の静止時間は生産タクト向上の大きな障害と
なってくる。

【０００５】これに対する従来の技術としては、次の２
つが挙げられる。 １）従来技術１：通常の連続点灯の照明を用いて、ＣＣ
Ｄ上の光電変換面への露光時間を十分に取って、シャッ
タ機能がない通常のＣＣＤカメラで安定した画像を確保
する。 ２）従来技術２：ストロボやシャッタカメラを用いて、
瞬間光で移動体の画像を静止化させる。

【０００６】特に、従来技術２の場合は、基本的に移動
体の停止は必要ないが、ストロボやシャッタカメラとい
った機器が必要になり、コスト的に不利となる。これに
加えて、ストロボやシャッタカメラによる撮像は実用
上、調整段階での自由度が低く、画質の安定性や光量の
確保といった点で課題が残ることが多い。そこで、本願
発明は従来技術１を改良するものとし、従来技術１を、
従来方法として、図５，図６を参照して説明する。

【０００７】図５，図６は従来の動作タイミングを表わ
しており、図５はフィールド蓄積方式の、図６はフレー
ム蓄積方式のＣＣＤカメラを用いたときの動作タイミン
グ図である。

【０００８】ＮＴＳＣ方式などインターレース走査のテ
レビカメラは走査線の奇数番目だけか成る片画面と偶数
番目だけから成る残りの片画面を互い違いのタイミング
で走査させる動作を基本としている。そして、この奇数
番目の走査線から生成される画面を奇数フィールド、偶
数番目の走査線から生成される画面を偶数フィールドと
呼び、両方のフィールドを併せて１枚の完全な画面に成
る。つまりフィールドとは、インターレース走査におけ
る 奇数番目の走査線から生成される画面と偶数番目の
走査線から生成される画面の各々を単独の画面として呼
ぶときの呼称である。これに対して フレームとは、奇
数フィールドと偶数フィールドとを合成 することで、完
全は画像が生成されるが、この画像のことを呼ぶときの
呼称である。

【０００９】また、フィールド蓄積とは、ＣＣＤに１フ
ィールド分だけ被写体の画像を当てて（露光して）出来
る電気信号を、次のフィールドでＣＣＤから出力すると
いう動作を偶数フィールド・奇数フィールド各々につい
て繰り返すことで順次テレビカメラの画像を生成する方
式である。これに対して、フレーム蓄積とは、１フレー
ム分（つまり ２フィールド分）の時間、被写体の画像
をＣＣＤに露光して、その次のフィールドでＣＣＤから
映像を出力する動作を偶数フィールド・奇数フィールド
各々について繰り返すことで順次テレビカメラの画像を
生成するという方式である。

【００１０】上記の動作原理から、 フィールド蓄積方
式では１フレーム（２フィールド）の画像の露光には２
フィールドの露光時間が必要であり、一方 フレーム蓄
積方式では１フレームの画像の露光には３フィールドの
露光時間が必要になる。

【００１１】ここで日本でのテレビカメラ規格であるＮ
ＴＳＣで言うと、１フィールドの走査時間（ これは１
フィールドの露光時間と等しいことになる）は １／６
０秒であり、１フレームの走査時間（１フレームの露光
時間と等しい）は １／３０秒である。

【００１２】従来の方法では、画像取り込みに要する時
間を考慮して、移動体の移動停止（静止）時間を決定し
ており、カメラの走査タイミングを監視するのでなく、
ＣＣＤカメラの静止画露光に要する時間（理論値＋余
裕）だけ、設備の動作を制御する主制御装置が、動作待
ちをしている。

【００１３】ＣＣＤカメラが、フィールド蓄積方式の場
合、図５に示すタイミングが理論値（理想値）である。
撮像対象物の移動停止は、ＣＣＤカメラの走査タイミン
グと同期していないため、移動を停止したタイミングを
含む露光時間のフィールド（露光面での第（ｎ−１）フ
ィールド）は撮像対象が動いている状態の画像もＣＣＤ
に露光されており、画像がぶれる・撮像対象物の画像が
不鮮明になるなど、画像処理する対象の画像としては無
効なものとなる。ここから後の露光が、撮像対象が静止
しており、有効となる。カメラの走査タイミングを主制
御装置は監視・管理していないため、カメラ走査と移動
停止のずれが最悪の場合を考慮して、上記のような画像
ぶれなどの取り込み画像の不具合を避けるために（１フ
ィールド＋１フィールド）の待ち時間を設ける必要があ
る。この待ち時間の後で、画像取り込みを開始し、１フ
レームの期間取り込みを行って、撮像体の移動の開始が
可能となる。

【００１４】１フレームの期間完全に待たないで移動を
開始すると、取り込み画像の一部は露光面での第（ｎ＋
２）フィールドで露光した画像（（ｎ＋２）フィールド
として転送面で転送される画像）で、動いているタイミ
ングで撮像対象の画像をＣＣＤの上に露光する可能性が
あり結果的には画像ぶれを起こす場合がある。

【００１５】したがって、従来の方法での移動停止時間
は、１フィールド（１／６０秒）＋１フィールド（１／
６０秒）＋１フレーム（１／３０秒）の合計で、約６７
ｍｓが最低必要である。

【００１６】また、ＣＣＤカメラが、フレーム蓄積方式
の場合、図６に示すタイミングが理論値（理想値）であ
る。撮像対象物の移動停止は、ＣＣＤカメラの走査タイ
ミングと同期していないため、移動を停止したタイミン
グを含む露光時間のフレーム（露光面での第（ｎ−１）
フレーム）は無効であり、ここから後の露光が、撮像対
象が静止しており、有効となる。カメラの走査タイミン
グを主制御装置は監視・管理していないため、カメラ走
査と移動停止のずれが最悪の場合を考慮して、（１フレ
ーム＋１フィールド）の待ち時間を設ける必要がある。

【００１７】この待ち時間の後で、画像取り込みを開始
し、１フレームの期間取り込みを行って、撮像体の移動
の開始が可能となる。１フレームの期間完全に待たない
で移動を開始すると、取り込み画像の一部は露光面での
第（ｎ＋２）フレームで露光した画像（（ｎ＋２）フィ
ールドとして転送面で転送される画像）で、画像ぶれを
起こす場合がある。したがって、従来の方法での移動停
止時間は、１フレーム（１／３０秒）＋１フィールド
（１／６０秒）＋１フレーム（１／３０秒）の合計で、
約８３ｍｓが最低必要である。

【００１８】

【発明が解決しようとする課題】上記の従来の方法で
は、移動体の停止後、少なくともフィールド蓄積方式Ｃ
ＣＤで約６７ｍｓ、フレーム蓄積方式ＣＣＤでは約８３
ｍｓの移動体の静止時間が必要になり、高速化の障害と
なる。

【００１９】本発明は上記課題を解決するもので、スト
ロボやシャッタカメラなどのコスト的に不利になる機器
を使用しないで、一般に市販されるＣＣＤカメラと少な
くともＣＣＤへの画像の露光時間中は連続点灯する照明
を用いて、安定した画像の撮像ができ、かつ、従来の画
像処理方法（画像入力方法）に対して、撮像対象の静止
（停止）時間の短縮が可能な画像処理方法の提供を目的
とする。

【００２０】

【課題を解決するための手段】本発明は上記目的を達成
するために、請求項１記載の発明は、フィールド蓄積ま
たはフレーム蓄積方式で少なくとも露光時間中は連続点
灯光に照明された撮像対象の画像を撮像するＣＣＤカメ
ラからの画像情報を入力する画像メモリと、前記画像メ
モリの入力を制御し前記ＣＣＤカメラの垂直ブランキン
グのタイミングであることを知り得る画像走査タイミン
グを検知する画像タイミング制御回路と、前記画像タイ
ミング制御回路から前記画像走査タイミングを報知され
且つ画像タイミング制御回路の起動や監視を司る制御部
とを備えた画像処理装置において、実行される画像処理
方法において、前記ＣＣＤカメラの撮像対象が撮像位置
に到達したときに、前記ＣＣＤカメラがフィールド蓄積
方式の場合には前記撮像対象が撮像位置に到達してから
第２回目の前記ＣＣＤカメラの垂直ブランキングを、フ
レーム蓄積方式の場合には第３回目の垂直ブランキング
タイミングから画像 メモリへの画像入力を開始し、前記
画像処理装置への１フレームの画像入力の終了を待たな
いで、ＣＣＤカメラの光電変換面への撮像対象の１フレ
ーム分の露光が終了すると、前記ＣＣＤカメラまたは撮
像対象の移動を開始させる画像処理方法とした。

【００２１】請求項２記載の発明は、請求項１記載の画
像処理方法を実施する画像処理装置とした。

【００２２】

【作用】本発明は以上の構成によって、通常のＣＣＤカ
メラと連続点灯の照明を用いた場合、最短の停止時間
で、移動体を確実に撮像するように作用する。

【００２３】

【実施例】以下、本発明の一実施例の電子部品装着機に
応用されている画像処理装置について、図面を参照しな
がら説明する。図１，図２は本実施例における画像処理
装置の動作タイミングを表わしており、図１はフィール
ド蓄積方式の、図２はフレーム蓄積方式のＣＣＤカメラ
を用いたときの動作タイミング図である。また、図３は
ロータリヘッド方式の電子部品実装機の斜視図であり、
図４は画像処理装置の構成を示すブロック図である。

【００２４】図３において、１は複数のノズルを回転さ
せるロータリヘッド、２は電子部品を部品供給部から吸
着し、プリント基板上に装着するノズルで、３は実装機
に電子部品を供給する部品供給部、４は電子部品を実装
するプリント基板、５は吸着された電子部品の画像を画
像処理装置に取り込むためのＣＣＤカメラ、６はノズル
に吸着された電子部品の画像をＣＣＤカメラの光電変換
面に映す鏡筒ユニットである。

【００２５】また、図４において、７は本発明の画像処
理装置で、８はＣＣＤカメラで撮像する対象物、５はＣ
ＣＤカメラ、１０はＣＣＤカメラからの画像情報を入力
する画像メモリ、１１は画像メモリの入力を制御し、Ｃ
ＣＤカメラ５の画像走査タイミングをプロセッサ（制御
部）に知らせる画像タイミング制御回路、１２は画像タ
イミング制御回路の起動や監視を司るプロセッサ（制御
部）、１３は撮像対象物が所定の撮像位置に到達したこ
とを検知するセンサ、エンコーダなどの位置検出手段、
１４は電子部品実装機全体の動作や通信などを制御、監
視、指令する主設備制御部、１５は撮像対象物を照明す
る照明装置である。

【００２６】以上のような構成要素を備えた電子部品実
装機の画像処理装置について、各構成要素の相互の関係
と動作を図１ないし図４を参照して説明する。

【００２７】図３のロータリヘッド方式の実装機は、間
欠送り動作を基本運動としており、逐次、部品供給部３
で供給された電子部品をノズル２で吸着させ、鏡筒ユニ
ット６を通してＣＣＤカメラ５で撮像対象である電子部
品の画像を画像処理装置７に取り込み、画像処理の結果
をもとに電子部品の位置補正を機械的に行って、プリン
ト基板４上に電子部品を実装するという一連の動作を、
ロータリヘッド１の間欠的な回転運動に合わせて連続的
に行うものである。

【００２８】上記動作のなかで、電子部品の吸着、装
着、画像処理などの動作は、各々が並列（同時）に処理
されるもので、どれか一つの動作でも時間の掛かるもの
があれば、全体のサイクルタイム（各動作位置で各々の
動作を同時に処理する時間）はこれによって決まってし
まうことになる。特に、画像処理の動作に注目すると、
ストロボ、シャッタカメラなどのコスト的に不利になる
機器を使用しないで、画像取り込みを行なう場合、ある
一定時間以上、撮像対象を静止させた状態での、ＣＣＤ
カメラへの露光が必要である。

【００２９】しかしながら、図３のロータリヘッド１の
間欠送り運動では、通常、サイクルタイムの半分以上の
停止（静止）状態を保つことが困難である。したがって
ロータリヘッドの回転運動の高速化（サイクルタイムの
短縮）のためには、静止状態での画像取り込みに要する
時間の短縮が必要となる。

【００３０】例えば、０．１ｓのサイクルタイムを実現
するには、この半分の０．０５ｓ（５０ｍｓ）程度の静
止状態での画像取り込みが必要となる。本発明の画像処
理方法は、これを以下のような方法で可能とする。

【００３１】対象物８（この場合ノズルに吸着された電
子部品）が、画像を取り込む位置（タイミング）に来た
ことを位置検出手段１３で検知し位置検出手段１３から
出力される検出信号を、主設備制御部１４を通してか、
または直接に、画像処理装置７のプロセッサ（制御部）
１２に入力して、プロセッサに画像タイミング制御回路
１１の監視を開始させる。

【００３２】図１または、図２の動作タイミングにした
がって、プロセッサ（制御部）が画像タイミングを（画
像タイミング制御回路を通して）監視して、画像取り込
みを行なう。

【００３３】ＣＣＤカメラ５が、フィールド蓄積方式の
場合、図１のタイミングに従う。基本的に撮像対象物
（電子部品）８の移動停止は、ＣＣＤカメラ５の走査タ
イミングと同期していないため、移動を停止したタイミ
ングを含む露光時間のフィールド（露光面での第（ｎ−
１）フィールド）は無効であり、このフィールドの露光
が終わるのが、移動停止後の第１回目の垂直ブランキン
グ（垂直ブランキングの第（ｋ−１）番）から後の露光
が、撮像対象が静止しており、有効となる。

【００３４】フィールド蓄積の場合には、次の垂直ブラ
ンキング（第ｋ回目の垂直ブランキング）まで、つまり
露光面の第ｎフィールドで、片面（１フィールド）の露
光が終わり、その次のフィールド（露光面の第（ｎ＋
１）フィールド）の先頭からこの有効画像（静止画像）
の外部機器への転送が開始される。残り片面（１フィー
ルド）の露光は、露光面の第（ｎ＋１）フィールドで行
われ、次に露光面の第（ｎ＋２）フィールドで転送され
る。

【００３５】この、転送面での第ｎ（ｎ＋１）フィール
ドの画像（露光面で第ｎ，ｎ＋１フィールドで露光され
た画像）を、画像処理装置に取り込むのが時間的に最も
効率的な方法であり、本発明はこれを実現するために、
撮像対象が移動を停止した後の第２回目の垂直ブランキ
ング（第ｋ垂直ブランキング）を画像タイミング制御回
路１１を監視して検出し、このタイミングから画像取り
込みを開始し、さらに、画像取り込み開始後、１フィー
ルド走査後に撮像対象の移動を開始する。その結果、最
大３フィールド分（１フィールドは１／６０秒で走査す
る） 約５０ｍＳの移動停止で、対象物が撮像できる。

【００３６】ＣＣＤカメラ５が、フレーム蓄積方式の場
合、図２のタイミングに従う。フィールド蓄積方式と同
様に、撮像対象物（電子部品）の移動停止は、ＣＣＤカ
メラの走査タイミングと同期していないため、移動を停
止したタイミングを含む露光時間のフレーム（露光面で
の第（ｎ−１）フレーム）は無効であり、このフレーム
の露光が終わるのが、移動停止後の第１回目の垂直ブラ
ンキング（垂直ブランキングの第（ｋ−１）番）。ここ
から後の露光が、撮像対象が静止しており、有効であ
る。

【００３７】フレーム蓄積の場合には、次の次の垂直ブ
ランキング（第（ｋ＋１）回目の垂直ブランキング）ま
で、つまり露光面の第ｎフレームで、片面（１フィール
ド）の露光が終わり、その次のフレーム（露光面の第
（ｎ＋２）フレーム）の先頭からこの有効画像（静止画
像）の外部機器への転送が開始される。残り片面（１フ
ィールド）の露光は、露光面の第（ｎ＋１）フレームで
行われ、次の次の露光面の第（ｎ＋３）フィールドの先
頭から転送される。

【００３８】この、転送面での第ｎ、（ｎ＋１）フィー
ルドの画像（露光面で第ｎ，ｎ＋１フレームで露光され
た画像）を、画像処理装置に取り込むのが時間的に最も
効率的な方法であり、本発明はこれを実現するために、
撮像対象が移動を停止した後の第３回目の垂直ブランキ
ング（第（ｋ＋１）垂直ブランキング）を画像タイミン
グ制御回路１１を監視して検出し、このタイミングから
画像取り込みを開始し、さらに、画像取り込み開始後、
１フィールド走査後に撮像対象の移動を開始する。

【００３９】その結果、最大４フィールド分（１フィー
ルドは１／６０秒で走査する）の約６８ｍｓの移動停止
で、対象物が撮像できる。

【００４０】このように本実施例によると、画像タイミ
ング制御回路によって、画像のメモリへの蓄積を撮像対
象停止後、第２回目の垂直ブランキングから（フィール
ド蓄積カメラの場合）、また第３回目の垂直ブランキン
グから（フレーム蓄積カメラの場合）行うので、撮像対
象部品の停止時間を短縮できる。

【００４１】

【発明の効果】以上の実施例から明らかなように本発明
によると、通常のＣＣＤカメラと連続点灯の照明を用い
て、撮像対象が撮像位置に到達したときに、フィールド
蓄積方式の場合には外部信号を受けてから第２回目のＣ
ＣＤカメラの垂直ブランキングを、フレーム蓄積方式の
場合には第３回目の垂直ブランキングタイミングから画
像メモリへの画像入力を開始させ、画像処理装置への１
フレームの画像入力の終了を待たないで、ＣＣＤに撮像
対象画像の露光が終了するため、ＣＣＤカメラまたは撮
像対象の移動を開始させ得るので、最短の静止（移動停
止）時間で、移動体の画像を入力できる。

【図面の簡単な説明】

【図１】本発明の一実施例における画像処理方法のフィ
ールド蓄積方式のＣＣＤカメラを用いたときの動作タイ
ミング図

【図２】同方法のフレーム蓄積方式のＣＣＤカメラを用
いたときの動作タイミング図

【図３】ロータリヘッド方式の電子部品実装機の斜視図

【図４】同方法による画像処理装置の構成を示すブロッ
ク図

【図５】フィールド蓄積方式のＣＣＤカメラを用いたと
きの従来方法の動作タイミング図

【図６】フレーム蓄積方式のＣＣＤカメラを用いたとき
の従来方法の動作タイミング図

【符号の説明】

５ ＣＣＤカメラ ７ 画像処理装置８ 撮像対象物 １０ 画像メモリ １１ 画像タイミング制御回路 １２ プロセッサ（制御部） １３ 位置検出手段

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 - 11/30102 G06T 1/00 G06T 1/60 H04N 5/335 H04N 7/18

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 フィールド蓄積またはフレーム蓄積方式
   で少なくとも露光時間中は連続点灯光に照明された撮像
   対象の画像を撮像するＣＣＤカメラからの画像情報を入
   力する画像メモリと、前記画像メモリの入力を制御し前
   記ＣＣＤカメラの垂直ブランキングのタイミングである
   ことを知り得る画像走査タイミングを検知する画像タイ
   ミング制御回路と、前記画像タイミング制御回路から前
   記画像走査タイミングを報知され且つ画像タイミング制
   御回路の起動や監視を司る制御部とを備えた画像処理装
   置において、実行される画像処理方法において、前記Ｃ
   ＣＤカメラの撮像対象が撮像位置に到達したときに、前
   記ＣＣＤカメラがフィールド蓄積方式の場合には前記撮
   像対象が撮像位置に到達してから第２回目の前記ＣＣＤ
   カメラの垂直ブランキングを、フレーム蓄積方式の場合
   には第３回目の垂直ブランキングタイミングから画像メ
   モリへの画像入力を開始し、前記画像処理装置への１フ
   レームの画像入力の終了を待たないで、ＣＣＤカメラの
   光電変換面への撮像対象の１フレーム分の露光が終了す
   ると、前記ＣＣＤカメラまたは撮像対象の移動を開始さ
   せる画像処理方法。
2. 【請求項２】 フィールド蓄積またはフレーム蓄積方式
   で少なくとも露光時間中は連続点灯光に照明された撮像
   対象の画像を撮像するＣＣＤカメラからの画像情報を入
   力する画像メモリと、前記画像メモリの入力を制御し前
   記ＣＣＤカメラの垂直ブランキングのタイミングである
   ことを知り得る画像走査タイミングを検知できる画像タ
   イミング制御回路と、前記画像タイミング制御回路から
   前記画像走査タイミングを報知され且つ画像タイミング
   制御回路の起動や監視を司る制御部とを備えた画像処理
   装置において、 前記ＣＣＤカメラの撮像対象が撮像位置に到達したとき
   に前記制御部が、前記のタイミング制御回路の画像走査
   タイミングを監視して、前記ＣＣＤカメラがフィールド
   蓄積方式の場合には、前記信号を受けてから第２回目の
   前記ＣＣＤカメラの垂直ブランキングを、フレーム蓄積
   方式の場合には、第３回目の垂直ブランキングタイミン
   グから画像メモリへの画像入力を開始させ、画像処理装
   置への１フレームの画像入力の終了を待たないで、ＣＣ
   Ｄカメラの光電変換面への撮像対象の１フレーム分の露
   光が終了すると、前記ＣＣＤカメラまたは撮像対象の移
   動を開始させる画像処理装置。