JP4094435B2 - 光学系の環境を自動調整することを特徴とする画像処理方法および画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理の対象とされる被写体を撮影する条件である光学系の環境設定を行なう画像処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
従来、工場の生産ラインでは、製品や部品等を対象に固体識別、検査、位置計測などを行なう場合、たとえばカメラなどの撮像手段を用いて前記製品や部品等の被写体の画像を入力し、入力された画像を処理することによって、前述の固体識別、検査、位置計測などの目的を達成する画像処理装置が用いられている。
【０００３】
前述の被写体の固体識別、検査、位置計測などのために必要とされる被写体の画像を入力する際の撮影条件、すなわち画像処理装置に備わる光学系の環境設定の項目には、撮像手段であるカメラのレンズの焦点合わせ（以後、フォーカスと呼ぶ）および絞り、カメラのシャッタ速度、照明手段の照射光量がある。レンズのフォーカスや絞りの設定は、被写体の形状や被写体に対する照射光量によってそれぞれ異なる。カメラのシャッタ速度の設定は、被写体が移動しているか静止しているかによって異なり、移動している場合にはシャッタ速度を余り遅くすることができないという制約がある。照明手段の照射光量は、被写体の形状、材質および画像入力の対象とする部分によって適正量が異なる。
【０００４】
従来、被写体の状態に応じて照射光量ならびにフォーカス、絞りおよびシャッタ速度を組合せるという複雑な光学系の環境設定は、操作者がモニタ画面を目視することによって行なわれるので、経験と熟練とが必要とされている。したがって、照明手段の経年劣化や外乱光の影響などの外的要因によって、一旦設定された光学系の環境の変更を余儀なくされるとき、経験が浅くまた練度の低い操作者では対応することが不可能であり、熟練者が現場で調整して再設定しなければならないのが実情である。また操作者が経験の深い熟練者であっても、適切と判断される光学系の環境設定が操作者毎に異なるので、同一の被写体であっても、設定される光学系の環境が操作者毎に異なるという問題もある。
【０００５】
光学系の環境設定項目のうち、撮像手段に備わるレンズのフォーカスおよび絞りは、一度設定するとたとえばねじロック機構などによって固定される場合が多いので、自動調整（設定）の対象とするには困難がある。一方光学系の環境設定項目のうち、撮像手段のシャッタ速度と照明手段の照射光量とは、設定した状態で固定されることがないので、自動調整（設定）の対象として扱い易い。
【０００６】
このようなことから、従来技術では、カメラで今回撮像された画像の濃度平均値と前回撮像された画像の濃度平均値との差、すなわち濃度の変化量を求め、その変化量が予め設定されている閾値を超える場合、その変化量に基づいてシャッタ速度を決定するというカメラのシャッタ速度の自動設定方法が提案されている（特許文献１参照）。
【０００７】
またもう一つの従来技術では、カメラで撮影された画像の濃度のヒストグラムを作成し、被写体から切り出すべき画像の形成画素数を基に得られる２値化閾値と、暗部の山と明部の山との間部分の度数分布が最も小さい部分の濃度値である２値化閾値とが一致するように、外部調光機能を有する照明装置の照射光量を自動調整する方法が提案されている（特許文献２参照）。
【０００８】
【特許文献１】
特開２００１−２３０９６７号公報
【特許文献２】
特開平６−１３９３４１号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示される方法では、濃度変化量に対応するシャッタ速度の設定するべき値は自動で求められるけれども、求められた値にシャッタ速度を実際に設定するには、操作者が求められた値を入力しなければならない。また撮像手段の仕様として準備されているシャッタ速度のすべてに対応する濃度変化量のデータを予め作成しておかなければならないという問題がある。
【００１０】
また特許文献２に開示される方法は、その適用が画像情報を２値化処理できる被写体に限定され、たとえばフラットパネルのような被写体と背景との区別が無い場合や被写体の照度と背景の照度とが分離できない場合などには、適用できないという問題がある。
【００１１】
本発明の目的は、光学系の環境設定項目のうちシャッタ速度および照射光量から選択される光学系調整変数と画像濃度とが線形関係にあることに基づいて、操作者の操作によることなく光学系調整変数すなわち光学系の環境を自動調整することを特徴とする画像処理方法および画像処理装置を提供することである。
【００１２】
【課題を解決するための手段】
本発明は、撮像されるべき被写体を撮影し、撮影された被写体の画像処理を行なうに際し、撮影条件である光学系の環境設定を行なう画像処理方法であって、
被写体を撮影することによって得られる撮像画面全域のうち監視するべき部位に監視ウインドウを１または２以上設定し、
前記監視ウインドウ毎に画像濃度の平均値である平均濃度ｄａｖを求め、
前記監視ウインドウ毎の前記平均濃度ｄａｖが予め定める監視濃度範囲内であるか否かを判断し、
前記監視ウインドウ毎の前記平均濃度ｄａｖが予め定める監視濃度範囲外である前記監視ウインドウが少なくとも１つ存在するとき、前記被写体を撮影する撮像手段のシャッタ速度または前記被写体を光照射する照明手段の照射光量の少なくともいずれか一方を光学系調整変数として選択し、
選択された光学系調整変数を変動させ、光学系調整変数の変動に伴って変動する前記監視ウインドウの画像の濃度を求めて、光学系調整変数と監視ウインドウの画像の濃度との関係として与えられる線形変換式を前記監視ウインドウ毎に作成し、
線形変換式に基づいて、前記平均濃度ｄａｖに対応して定められる光学系調整変数の値を求め、求められた光学系調整変数の値になるように、光学系調整変数として選択されたシャッタ速度または照射光量を設定することによって光学系の環境を自動調整することを特徴とする画像処理方法である。
【００１３】
本発明に従えば、被写体を撮影することによって得られる撮像画面全域のうち監視するべき部位に監視ウインドウを１または２以上設定し、監視ウインドウ毎に画像濃度の平均値である平均濃度ｄａｖが予め定める監視濃度範囲内であるか否かを判断し、平均濃度ｄａｖが予め定める監視濃度範囲外である前記監視ウインドウが少なくとも１つ存在するときには、シャッタ速度または照射光量の少なくともいずれか一方を光学系調整変数として選択し、選択された光学系調整変数と監視ウインドウの画像の濃度との関係として与えられる線形変換式を前記監視ウインドウ毎に作成し、この線形変換式に基づいて、平均濃度ｄａｖに対応して定められる光学系調整変数の値になるように、光学系調整変数として選択されたシャッタ速度または照射光量を自動で調整設定する。このように、光学系の環境であるシャッタ速度または照射光量が、線形変換式という定量化手段によって定量的かつ自動的に適正な値に設定されるので、操作者の操作によることなく、したがって操作者の技能に熟練を必要とせず、再現性よく光学系の環境設定を行なうことが可能になる。
【００１４】
また本発明は、撮像されるべき被写体を撮影し、撮影された被写体の画像処理を行なうに際し、撮影条件である光学系の環境設定を行なう画像処理方法であって、
前記被写体を撮影する撮像手段のシャッタ速度と、前記被写体を光照射する照明手段の照射光量とを予め定める値に仮設定した状態で、前記撮像手段に備わるレンズのフォーカスと絞りとを設定し、
設定されたレンズのフォーカスおよび絞りの環境で、前記撮像手段のシャッタ速度と前記照明手段の照射光量とを所望の値に設定し、
前記撮像手段による撮像画面全域のうち監視するべき部位に監視ウインドウを１または２以上設定し、監視ウインドウ毎に画像濃度の平均値である平均濃度ｄａｖを求め、
前記監視ウインドウ毎の前記平均濃度ｄａｖが予め定める監視濃度範囲内であるか否かを判断し、
前記監視ウインドウ毎の前記平均濃度ｄａｖが前記監視濃度範囲外である前記監視ウインドウが少なくとも１つ存在するとき、シャッタ速度または照射光量の少なくともいずれか一方を光学系調整変数として選択し、
選択された光学系調整変数を変動させ、光学系調整変数の変動に伴って変動する前記監視ウインドウの画像の濃度を求めて、光学系調整変数と監視ウインドウの画像の濃度との関係として与えられる線形変換式を前記監視ウインドウ毎に作成し、
線形変換式に基づいて、前記平均濃度ｄａｖに対応して定められる光学系調整変数の値を求め、求められた光学系調整変数の値になるように、光学系調整変数として選択されたシャッタ速度または照射光量を設定することによって光学系の環境を自動調整することを特徴とする画像処理方法である。
【００１５】
本発明に従えば、撮像手段による撮像画面全域のうち監視するべき部位に監視ウインドウを１または２以上設定し、監視ウインドウ毎の画像濃度の平均値である平均濃度ｄａｖが、光学系の環境の適否を判別するための基準となる監視濃度範囲内であるか否かによって、光学系の環境の適否を診断することができる。さらに診断結果が不適であるときには、シャッタ速度または照射光量の少なくともいずれか一方を光学系調整変数として選択し、選択された光学系調整変数と監視ウインドウの画像の濃度との関係として与えられる線形変換式を監視ウインドウ毎に作成し、この線形変換式に基づいて、平均濃度ｄａｖに対応して定められる光学系調整変数の値になるように、光学系調整変数として選択されたシャッタ速度または照射光量を自動で調整設定する。このように、光学系の環境であるシャッタ速度または照射光量が、線形変換式という定量化手段によって定量的かつ自動的に適正な値に設定されるので、操作者の操作によることなく、したがって操作者の技能に熟練を必要とせず、再現性よく光学系の環境設定を行なうことが可能になる。
【００１６】
また、光学系の環境の適否を診断することによって、画像処理によるたとえば固体識別や検査における検出不良の原因が、光学系環境の不適に起因するものか、被写体の不良に起因するものかを明らかにすることができる。したがって、前述の固体識別や検査における検出不良原因の解析に要する時間を短縮することが可能になる。
【００１７】
また本発明は、撮像されるべき被写体を撮影し、撮影された被写体の画像処理を行なうに際し、撮影条件である光学系の環境設定をすることのできる画像処理装置において、
前記被写体を光量可変に照射することのできる照明手段と、
被写体を撮影する撮像手段であって、シャッタ速度、絞りおよびフォーカス調整の可能な撮像手段と、
前記撮像手段によって撮影される画像全域のうち監視するべき部位に監視ウインドウを１または２以上設定し、前記監視ウインドウの画像の濃度を求める画像処理を行ない、前記監視ウインドウ毎に画像濃度の平均値である平均濃度ｄａｖを演算するとともに、前記監視ウインドウ毎に平均濃度ｄａｖに基づいて監視濃度範囲を設定する画像処理手段と、
前記平均濃度ｄａｖおよび前記監視濃度範囲がストアされる記憶手段と、
前記監視濃度範囲を記憶手段から読出し、前記撮像手段によって撮影される前記監視ウインドウの画像の濃度が、前記監視濃度範囲内であるか否かを判断する判断手段と、
前記シャッタ速度または前記照射光量の少なくともいずれか一方を光学系調整変数として選択する選択手段と、
選択手段によって選択される光学系調整変数を変動させ、光学系調整変数の変動に伴って変動する画像の濃度を求めて、光学系調整変数と画像の濃度との関係として与えられる線形変換式を前記監視ウインドウ毎に作成する線形変換式作成手段と、
線形変換式に基づいて、前記平均濃度ｄａｖに対応して定められる光学系調整変数の値を求め、求められた光学系調整変数の値になるように、光学系調整変数として選択されたシャッタ速度または照射光量を制御する制御手段とを含み、光学系の環境を自動調整することを特徴とする画像処理装置である。
【００１８】
本発明に従えば、画像処理装置は、撮像手段によって撮影される画像全域のうち監視するべき部位に設定される監視ウインドウの画像の濃度が、たとえば画像の濃度の平均値である平均濃度ｄａｖに基づいて設定される監視濃度範囲内にあるか否かによって、光学系の環境の適否を診断することができる。さらに光学系の環境診断の結果が不適であるとき、画像処理装置は、光学系の環境設定項目であるシャッタ速度または照射光量の少なくともいずれか一方を光学系調整変数として選択し、選択される光学系調整変数と画像の濃度との関係として与えられる線形変換式を監視ウインドウ毎に作成し、この線形変換式に基づいて、画像の平均濃度ｄａｖに対応して定められる光学系調整変数の値になるように、シャッタ速度または照射光量を制御手段によって自動で設定することができる。このようにして、操作者の操作によることなく、したがって操作者の技能に熟練を必要とせず、再現性よく光学系の環境を自動調整することの可能な画像処理装置が実現される。
【００１９】
【発明の実施の形態】
図１は、本発明の実施の一形態である画像処理装置１の構成を簡略化して示すブロック図である。本実施の形態の画像処理装置１は、撮像されるべき被写体２を撮影し、撮影された被写体２の画像処理を行なうに際し、撮影条件である光学系の環境設定をすることが可能であり、工場の生産ラインなどに設けられて製品や部品等を対象に固体識別、検査、位置計測等に用いられる。
【００２０】
画像処理装置１は、被写体２を光量可変に照射することのできる照明手段３と、被写体２を撮影する撮像手段４であって、シャッタ速度、絞りおよびフォーカス調整の可能な撮像手段４と、操作者が、撮像手段４のシャッタ速度および照明手段３の照射光量を仮設定する場合、設定値を入力するために用いられる入力手段５と、撮像手段４によって撮影される画像の濃度を求める画像処理を行ない、画像濃度の平均値である平均濃度ｄａｖを演算するとともに、平均濃度ｄａｖに基づいて監視濃度範囲を設定する画像処理手段６と、画像処理手段６による平均濃度ｄａｖおよび監視濃度範囲がストアされる記憶手段であるRandom Access Memory７（略称ＲＡＭ）と、監視濃度範囲をＲＡＭ７から読出し、撮像手段４によって撮影される画像の濃度が監視濃度範囲内であるか否かを判断する判断手段８と、シャッタ速度または照射光量の少なくともいずれか一方を光学系調整変数として選択する選択手段９と、選択手段９によって選択される光学系調整変数を変動させ、光学系調整変数の変動に伴って変動する画像の濃度を求めて、光学系調整変数と画像の濃度との関係として与えられる線形変換式を作成する線形変換式作成手段１０と、線形変換式作成手段１０によって作成される線形変換式に基づいて、前述の平均濃度ｄａｖに対応して定められる光学系調整変数の値を求め、求められた光学系調整変数の値になるように、光学系調整変数として選択されたシャッタ速度または照射光量を制御する制御手段１１とを含む。
【００２１】
被写体２は、前述のように固体識別、検査、位置計測などの対象とされる製品または部品等であり、半導体チップその他種々の物が挙げられる。照明手段３は、光の出射源である光源１２と、光源１２に対して電力量を可変に供給できる電源１３とを含む。光源１２には、たとえば発光ダイオード（略称ＬＥＤ）やタングステンランプが好適に用いられ、電源１３から供給される電力量に応じて、被写体２を照射する光が光量可変に出射される。
【００２２】
撮像手段４は、Charge Coupled Device（略称ＣＣＤ）素子を備えるＣＣＤカメラ１４と、ＣＣＤカメラ１４に対する入出力信号をアナログ／デジタルに相互変換するアナログ／デジタル（略称Ａ／Ｄ）変換器１５と、ＣＣＤカメラ１４からの画像情報を信号処理して後述の処理回路２０へ出力するとともに、処理回路２０からの出力に応答してＣＣＤカメラ１４の動作制御を行なう信号を出力する撮像表示制御器１６と、撮像表示制御器１６に接続されてＣＣＤカメラ１４による画像情報の随時書込み／読出しが可能な記憶手段であるフレームメモリ１７とを含む。
【００２３】
ＣＣＤカメラ１４には、図示を省くけれども、レンズが備えられ、レンズまわりには、レンズの焦点を調整するためのフォーカス機構、露出調整のための絞り機構および速度を可変に設定できるシャッタ機構が設けられる。これらの各機構は、撮像表示制御器１６を介して処理回路２０からの制御信号によって調整可能であり、また手動で調整することも可能なように構成される。また撮像手段４には、モニタ１８が含まれてもよい。モニタ１８は、液晶や陰極線管などによって構成され、本実施の形態では、デジタル／アナログ（略称Ｄ／Ａ）変換器１９を介して撮像表示制御器１６に接続されて、ＣＣＤカメラ１４による画像情報を可視像として表示する。
【００２４】
処理回路２０は、Central Processing Unit（略称ＣＰＵ）を搭載するたとえばマイクロコンピュータなどによって実現される。この処理回路２０が、前述の画像処理手段６、判断手段８、選択手段９、線形変換式作成手段１０および制御手段１１を含む構成である。処理回路２０は、Read Only Memory２１（略称ＲＯＭ）に予めストアされてあるプログラムに従って動作し、前述の各手段として機能するとともに画像処理装置１全体の動作を制御する。
【００２５】
入力手段５は、リモート設定キーである。入力手段はキーボードなどであってもよく、キーボードから各種の設定値を入力するように構成されてもよい。しかしながら、キーボードから各種の設定値をすべて数値入力すると操作が繁雑になり入力所要時間も長くなるので、本実施の形態では、入力手段５をリモート設定キーとし、前述のＲＡＭ７に、たとえばテーブルデータとして予めストアされる各種の設定値を処理回路２０によって読出し、読出された設定値をモニタ１８に表示し、表示された設定値からキー操作により選択して入力する構成とした。入力手段５は、入出力（Ｉ／Ｏ）インターフェイス２２を介して、処理回路２０を初めとする装置の各手段に接続される。なお入出力インターフェイス２２には、前述の照明手段３の電源１３が接続される。
【００２６】
以下処理回路２０に含まれる画像処理手段６、判断手段８、選択手段９、線形変換式作成手段１０および制御手段１１の動作について説明する。
【００２７】
画像処理手段６は、撮像手段４による撮像画面に形成または撮像画面を区分することによって形成される領域である監視ウインドウを設定し、各監視ウインドウについて画像濃度の平均値である平均濃度ｄａｖを求め、光学系の環境の適否を判別するための基準となる監視濃度範囲を平均濃度ｄａｖに基づいて定める。監視濃度範囲を定める方法は、特に限定されることはないけれども、たとえば平均濃度ｄａｖのプラスマイナス（±）１０％を初期値として定められることが好ましい。また画像処理手段６は、監視ウインドウ内の画像にとどまらず、撮像画面全域および撮像画面内において任意に定められる領域の画像濃度および平均濃度ｄａｖを求めることができる。画像処理手段６によって求められた各監視ウインドウについての平均濃度ｄａｖと監視濃度範囲とは、前述のようにＲＡＭ７にストアされる。
【００２８】
判断手段８は、設定された光学系環境において、画像処理手段６によって求められる各監視ウインドウの画像濃度を、ＲＡＭ７から読出される各監視ウインドウ毎に定められた監視濃度範囲と比較して監視濃度範囲内にあるか否かを判断、すなわち光学系の環境を診断し、判断結果を選択手段９、モニタ１８、出力手段２４に出力する。出力手段２４には、たとえば警報ブザーが用いられる。
【００２９】
選択手段９は、判断手段８の判断結果に応答し、画像濃度が監視濃度範囲外である監視ウインドウが１つでも存在、すなわち光学系の環境が不適であると診断されるとき、シャッタ速度または照射光量のいずれか一方を光学系調整変数として選択する。この選択は、シャッタ速度と照射光量とに優先順位を付けておくことなどによって実行することができる。
【００３０】
図２は、監視ウインドウ設定の状態と線形変換式とを例示する図である。図２を参照して線形変換式作成手段１０の動作について説明する。図２では、被写体に金属端子２５の出ているコネクタ２６をとりあげた場合について示す。本実施の形態では、監視濃度範囲を設定して画像濃度を監視するとともに、線形変換式を作成するべき監視ウインドウが４つ設定される。第１監視ウインドウ２７は、金属端子２５を含んで設定され、第２および第３監視ウインドウ２８，２９は、コネクタ２６の白色樹脂部分にそれぞれ設定され、第４監視ウインドウ３０は、コネクタ２６が載置される搬送台の表面に対して設定され、この搬送台の表面を背景と呼ぶことがある。
【００３１】
それぞれ設定された各監視ウインドウに対し、光学系調整変数がたとえば照明手段３による照射光量の場合、入力手段５からの入力操作によって最小から最大まで（たとえば８ビット調光の場合零（０）から２５５まで）変化させる。変化の各段階における各照射光量に対する監視ウインドウの濃度を画像処理手段６によって求める。線形変換式作成手段１０は、照射光量のボリュウム値と濃度との関係を、第１〜第４監視ウインドウ２７，２８，２９，３０のそれぞれについて求める。照射光量のボリュウム値と濃度との関係は、ほぼ線形式として得られる。この線形式および線形式をグラフ化したものを含めて、ここでは線形変換式と呼ぶ。
【００３２】
光学系調整変数がたとえば撮像手段４のシャッタ速度の場合、入力手段５からの入力操作によって最小から最大まで（たとえば１／１００００から１／３０まで）変化させる。変化の各段階における各シャッタ速度に対する監視ウインドウの濃度を画像処理手段６によって求める。線形変換式作成手段１０は、シャッタ速度値と濃度との関係を、第１〜第４監視ウインドウ２７，２８，２９，３０のそれぞれについて求める。前述と同様シャッタ速度値と濃度との関係は、ほぼ線形式として得られる。
【００３３】
図２（ｂ）には、光学系調整変数が照射光量の場合についての線形変換式を示す。図２（ｂ）に示すライン３１が、第１監視ウインドウ２７すなわち金属端子部の画像の線形変換式であり、ライン３２およびライン３３が、第２および第３監視ウインドウ２８，２９すなわち白色樹脂部の画像の線形変換式であり、ライン３４が、第４監視ウインドウ３０すなわち背景画像の線形変換式である。ライン３２およびライン３３には、高濃度側において、照射光量ボリュウム値が変化しているにも関らず濃度の変化しない部分があり、この部分を便宜上「平坦部」と呼ぶ。一方、ライン３２およびライン３３の前記「平坦部」を除く部分、ならびにライン３１およびライン３４は、１次の線形関係にあり、照射光量ボリュウム値と濃度とを互いに変換できるので、この部分を便宜上「変換部」と呼ぶ。線形変換式作成手段１０によって、各環境ウインドウ２７，２８，２９，３０について得られる線形変換式は、ＲＡＭ７にストアされる。
【００３４】
制御手段１１は、設定されている光学系の環境下で画像処理手段６によって求められる各監視ウインドウの画像の平均濃度ｄａｖを用い、平均濃度ｄａｖに対応して線形変換式から定められる光学系調整変数の値を求める。次に、求められた光学系調整変数の値になるように、光学系調整変数として選択されたシャッタ速度または照射光量を制御する。このように、制御手段１１は、線形変換式と監視ウインドウの画像について得られる平均濃度ｄａｖとを用いて、光学系の環境である光学系調整変数を自動調整することができる。
【００３５】
前述のように光学系の環境のうち、光学系調整変数として選択されるシャッタ速度と照射光量とは自動調整される。次に光学系の環境のうち、残るレンズのフォーカスおよび絞りの設定について説明する。レンズのフォーカスおよび絞りは、被写体２を撮像手段４で撮影して得られる画像をモニタ１８に表示し、操作者が、モニタ１８画面を目視しながらフォーカスつまみおよび絞りつまみをそれぞれ調整することによって、設定される。レンズのフォーカスおよび絞りは、操作者の目視判断によることなく、以下に述べるような定量化された指標に基づいて設定されてもよい。
【００３６】
レンズのフォーカスは、前述の画像処理手段６に以下のような機能を持たせることによって、定量化して設定することができる。画像処理手段６によって、撮像手段４で撮影された画像の濃度を１次微分し、１次微分によって得られる濃度の差分の和である差分和を演算する画像処理を行なう。画像濃度の１次微分による差分和は、フォーカスつまみを回して所定範囲内の各値に設定した状態で求められる。フォーカスつまみの各設定値毎に求められる差分和のうち、最大差分和を示したフォーカスつまみの位置をフォーカスの最適値として選択し設定する。
【００３７】
レンズの絞りは、画像処理手段６にさらに以下の機能を持たせることによって、定量化して設定することができる。画像処理手段６は、撮像手段４によって撮影された画像の濃度分布を求め、さらに濃度分布に基づいて濃度の最大値Ｄｍａｘと最小値Ｄｍｉｎとの絶対値差分である濃度幅Ｄｗを求める演算を行なう。図３は、画像処理手段６によって画像の濃度分布を求めた例を示す図である。図３では、濃度を横軸に、当該濃度の頻度を画素数で縦軸に示す。濃度幅Ｄｗは、濃度分布を示すライン３５によって与えられる濃度最大値Ｄｍａｘと濃度最小値Ｄｍｉｎとの絶対値差分（｜Ｄｍａｘ−Ｄｍｉｎ｜）で与えられる。画像濃度分布における濃度幅Ｄｗは、ＣＣＤカメラ１４に備わるレンズの絞りつまみを回して所定範囲内の各値に設定した状態で求められる。絞りつまみの各設定値毎に求められる濃度幅Ｄｗのうち、最大濃度幅を示した絞りつまみの位置を絞りの最適値として選択する。
【００３８】
前述のように本実施の形態では、フォーカスつまみおよび絞りつまみを操作者が人手によって調整するけれども、フォーカスつまみおよび絞りつまみ値をテーブルデータとしてモニタ１８に表示し、入力手段５でそれぞれの値を選択して入力することによって、処理回路２０および撮像表示制御器１６を介して調整するように構成されてもよい。
【００３９】
図４は、本発明の実施の態様である画像処理方法を説明するフローチャートである。図４を参照し、図１に示す画像処理装置１を用いた画像処理方法について説明する。ステップｓ０では、図１に示す画像処理装置１と、被写体２とを準備し、被写体２の撮像を開始できる状態にある。ステップｓ１では、固定環境を設定する。ここで固定環境とは、撮像手段４に備わるレンズのフォーカスと絞りとを意味する。本実施の態様では、レンズのフォーカスと絞りとは、操作者によって一旦設定された後、画像処理装置１において自動調整されることなく、設定された条件に固定されたまま用いられるので、固定環境と呼ぶ。
【００４０】
図５は、固定環境設定動作を説明するフローチャートである。図５を参照して先の図４に示すステップｓ１の固定環境設定動作を説明する。ステップｓ１１では、ＣＣＤカメラ１４のシャッタ速度を仮設定する。シャッタ速度は、被写体２が静止状態であれば、たとえば６０分の１（１／６０）秒または１００分の１（１／１００）秒に設定され、被写体２が移動状態であれば、移動速度に応じた値に設定される。ステップｓ１２では、照明手段３の照射光量が仮設定される。本実施の態様では、操作者が、モニタ１８に表示される被写体２の画像を観察しながら照射光量を仮設定する。
【００４１】
ステップｓ１３では、固定環境の一つであるレンズのフォーカスが設定される。本実施の態様では、レンズのフォーカス設定、すなわちピント調整は、操作者が、モニタ１８に表示される被写体２の画像を観察しながらフォーカスつまみを回して好適なピントになるように行なわれる。なおピント調整は、操作者がモニタ１８を観察しながら行なう方法に限定されることなく、前述のように被写体２を含む画像を画像処理手段６によって１次微分して濃度の差分和を算出し、差分和が最大になるフォーカスつまみ値を最適フォーカスとして設定する方法によってもよい。
【００４２】
ステップｓ１４では、固定環境の一つであるレンズの絞りが設定される。本実施の態様では、レンズの絞り設定、すなわち画像の明るさおよびコントラストの調整は、操作者が、モニタ１８に表示される被写体２の画像を観察しながら絞りつまみを回して好適な画像の明るさとコントラストとになるように行なわれる。なお絞り調整は、操作者がモニタ１８を観察しながら行なう方法に限定されることなく、前述のように被写体２を含む画像を画像処理手段６によって濃度分布および濃度幅Ｄｗを求める演算を行い、濃度幅Ｄｗが最大になる絞りつまみ値を最適絞りとして設定する方法によってもよい。
【００４３】
図４に戻って、ステップｓ２では、調整環境を設定する。ここで調整環境とは、撮像手段４に備わるＣＣＤカメラ１４のシャッタ速度と照明手段３による照射光量とを意味する。シャッタ速度と照射光量とは、設定した環境下において画像濃度が監視濃度範囲外であるとき、前述の線形変換式作成手段１０による線形変換式に基づいて、画像処理装置１において自動調整されるので、調整環境と呼ぶ。しかしながら、このステップｓ２では、シャッタ速度と照射光量とは、まだ自動調整によることなく操作者によって設定される。
【００４４】
図６は、調整環境設定動作を説明するフローチャートである。図６を参照して図４に示すステップｓ２の調整環境設定動作を説明する。ステップｓ２１では、固定環境が設定された状態で、先のステップｓ１において仮設定されたシャッタ速度を、操作者が微調整して再設定する。このとき、被写体２が移動状態であれば、画像がぶれることを防止するために、被写体２の移動速度に対してシャッタ速度の遅い方の限界を超えないように留意する必要がある。ステップｓ２２では、固定環境が設定された状態で、先のステップｓ１において仮設定された照射光量を、操作者がモニタ１８に表示される画像を観察しながら再調整して設定する。
【００４５】
図４に戻って、ステップｓ３では、環境監視設定を行なう。本ステップでは、ステップｓ１およびｓ２において設定した光学系の環境を、固体識別や検査などの実稼働時に監視するために監視ウインドウと監視濃度とを設定する。図７は、環境監視設定動作を説明するフローチャートである。図７を参照して図４に示すステップｓ３の環境監視設定動作を説明する。
【００４６】
ステップｓ３１では、被写体２を含んで得られる撮像画面内において、光学系の環境を監視するべき部位に前述の図２（ａ）に例示するような監視ウインドウを設ける。ステップｓ３２では、画像処理手段６によって、設定した監視ウインドウの平均濃度ｄａｖを求める。ステップｓ３３では、監視ウインドウについて得られた平均濃度ｄａｖに基づいて監視濃度範囲を設定する。本実施の態様では、監視濃度範囲を、監視ウインドウについて得られた平均濃度ｄａｖの±１０％、すなわち０．９０ｄａｖ以上、１．１０ｄａｖ以下の範囲に設定した。
【００４７】
ステップｓ３４では、被写体２の種類によって予め定められる数の監視ウインドウを設定したか否かが判断される。この判断は、被写体２の種類毎に設定するべき監視ウインドウの数を、テーブルデータとしてＲＡＭ７にストアしておくとともに、初期値「０」として設定し、前述の監視ウインドウを１つ設けるごとに、初期値に「１」を加算するようにし、画像処理手段６が、この加算結果と前述のＲＡＭ７から読出した監視ウインドウの数と比較することによって、行なうことができる。判断結果が否定で、設定した監視ウインドウの数が、ＲＡＭ７から読出した値未満であるとき、ステップｓ３１へ戻り、監視ウインドウの設定以降のステップを繰返す。判断結果が肯定で、設定した監視ウインドウの数が、ＲＡＭ７から読出した値に一致するとき、メインのフローへ進む。
【００４８】
図４へ戻って、ステップｓ４では、光学系環境の自動調整および設定を行う。このステップにおいて自動調整の対象とされる光学系の環境は、前述のステップｓ２において述べた調整環境であるシャッタ速度と照射光量とである。本ステップでは、シャッタ速度または照射光量のうちからいずれかを光学系調整変数として選択し、選択した光学系調整変数と画像濃度との線形変換式を作成するとともに、監視ウインドウの画像濃度を監視し、画像濃度が監視濃度範囲外である監視ウインドウが存在する場合、光学系調整変数として選択されたシャッタ速度または照射光量を、線形変換式に基づいて自動調整して設定する。
【００４９】
図８は、線形変換式を作成する動作を説明するフローチャートである。図８を参照して図４のステップｓ４における光学系環境の自動調整設定動作のうち、線形変換式作成動作を説明する。ステップｓ４１１では、選択手段９が、光学系の環境因子のうち、調整環境であるシャッタ速度または照射光量のいずれかを光学系調整変数として選択する。
【００５０】
なお照明手段３に、照射光量を手動調整する機能しか備えられていない場合、光学系調整変数は、必然的にシャッタ速度が選択される。また被写体の移動速度が速い場合、シャッタ速度は移動速度に応じた短い時間に設定され、調整範囲をほとんど設定することができないので、光学系調整変数には、必然的に照射光量が選択される。
【００５１】
ステップｓ４１２では、選択された光学系調整変数がシャッタ速度であるか否かが判断される。判断結果が肯定でシャッタ速度が選択されているとき、ステップｓ４１３へ進み、判断結果が否定で照射光量が選択されているとき、ステップｓ４１４へスキップする。ステップｓ４１３では、被写体が移動状態である場合、シャッタ速度に下限値（遅い方の限界値）を設定する。これにより処理時間オーバーと映像ぶれとを防止する。撮像手段４の仕様として定められるシャッタ速度の下限値以上の範囲内で調整できず、処理時間や画像ぶれを考慮した移動状態で調整する場合は、「調整無」を選択する。静止させて調整変数を求める場合は、「調整有」を選択する。
【００５２】
ステップｓ４１４では、再度光学系調整変数がシャッタ速度であるか否かが判断される。判断結果が肯定で、光学系調整変数がシャッタ速度であるとき、ステップｓ４１５へ進み、判断結果が否定で、光学系調整変数が照射光量であるとき、ステップｓ４１６へ進む。ステップｓ４１５では、シャッタ速度を予め定める変動範囲内の全シャッタ速度に変動させ、各シャッタ速度における監視ウインドウ内の画像濃度を求める。一方ステップｓ４１６では、照射光量を予め定める変動範囲内の全照射光量に変動させ、各照射光量における監視ウインドウ内の画像濃度を求める。
【００５３】
ステップｓ４１７では、シャッタ速度と画像濃度、または照射光量と画像濃度との関係から、線形変換式を作成する。ステップｓ４１８では、作成された線形変換式における「平坦部」と「変換部」との境界値を求めて、線形変換式とともに境界値もＲＡＭ７へストアする。なお線形変換式に「平坦部」が生じない場合には、境界値がなくてもよい。ステップｓ４１９では、被写体２の種類によって予め定められる数の監視ウインドウについて、線形変換式を作成したか否かが判断される。判断結果が否定であるとき、ステップｓ４１４へ戻り以降のステップを行なう。判断結果が肯定であるとき、メインのフローへ進む。
【００５４】
図９は、線形変換式に基づいて光学系調整変数を自動調整して設定する動作を説明するフローチャートである。ステップｓ４２０のスタートでは、メインのフローにおけるステップｓ０と重複する形でスタートステップが設けられる。監視ウインドウ内の画像濃度を監視して診断し、診断結果に応答して光学系調整変数を自動調整する動作は、ラインの生産稼働中に常時実行されてもよいけれども、その実行中、ラインは生産稼働ではなく調整稼働の状態におかれるので、生産効率の観点からは好ましくない。光学系環境の診断および自動調整は、ラインを長時間停止した後に立上げ稼働させるとき、また画像処理装置を用いた固体識別不良や検査不良などが発生し、ラインの稼働条件を調整した後に立上げ稼働させるときなどに限定して実行されることが好ましい。したがって、実行開始を指示するためのステップを設けることとした。ステップｓ４２０では、入力手段５に予め定めるキーを操作することによって、光学系環境の監視および自動調整動作開始を指示する信号が入力された状態である。
【００５５】
ステップｓ４２１では、撮像手段４によって被写体を含む画像を取込む。ステップｓ４２２では、監視ウインドウ内の画像の濃度（監視用画像濃度）を求める。この監視用画像濃度は、監視ウインドウ内の画像の平均濃度ｄａｖである。ステップｓ４２３では、判断手段８は、監視用画像濃度とＲＡＭ７から読出された監視濃度範囲とを比較すなわち画像濃度を診断し、診断結果をＲＡＭ７にストアする。ステップｓ４２４では、被写体の種類によって予め定められる数の監視ウインドウについて画像濃度診断を行なったか否かが判断される。判断結果が否定で、診断した監視ウインドウの数が、予め定められる数未満であるとき、ステップｓ４２２へ戻り以降のステップを行なう。判断結果が肯定で、診断した監視ウインドウの数が、予め定められる数に一致するとき、ステップｓ４２５へ進む。
【００５６】
ステップｓ４２５では、判断手段８は、予め定められる数の監視ウインドウすべてについての診断結果をＲＡＭ７から読出し、監視用画像濃度が監視濃度範囲外である監視ウインドウが存在するか否かを判断する。判断結果が否定で、すべての監視ウインドウの監視用画像濃度が、監視濃度範囲内であるとき、光学系環境は適正であるのでステップｓ４３１へ進む。ステップｓ４３１では、判断手段８は、「監視ＯＫ」をモニタ１８に表示させるとともに出力手段２４に出力させ、ステップｓ４３２（ｓ５）へ進み光学系環境の自動調整動作が終了する。
【００５７】
一方判断結果が肯定で、監視用画像濃度が監視濃度範囲外である監視ウインドウが、１つでも存在するとき、判断手段８からの出力信号によって、「監視ＮＧ（Ｎｏ Ｇｏｏｄ）」をモニタ１８に表示させるとともに出力手段２４に出力する。なお、このとき監視用画像濃度の監視濃度範囲外であった監視ウインドウの数が同時に表示される。
【００５８】
ステップｓ４２７では、制御手段１１が、ＲＡＭ７にストアされている当該監視ウインドウに対応する線形変換式を読出し、線形変換式に基づいて監視用画像濃度である平均濃度ｄａｖに対応する光学系調整変数の値を求める。ステップｓ４２８では、制御手段１１は、さらに前ステップで求めた光学系調整変数の値になるように、選択された光学系調整変数を自動調整し設定する。
【００５９】
ステップｓ４２９では、光学系調整変数すなわち照射光量とシャッタ速度との両方について、監視用画像濃度が監視濃度範囲外であった監視ウインドウに対する光学系調整変数の調整が完了したか否かが判断される。なお照射光量が手動調整である場合、また被写体の移動速度が速くシャッタ速度の設定可能な範囲が狭い場合などのように、光学系調整変数として用いることのできるものが、照射光量またはシャッタ速度のいずれか一方しか無いとき、このステップｓ４２９は実行されることなく次のステップへ進む。
【００６０】
判断結果が否定であるとき、ステップｓ４２１へ戻り以降のステップを繰返す。判断結果が肯定であるとき、すなわち監視用画像濃度が監視濃度範囲外である監視ウインドウについて調整が完了したけれども、「監視ＯＫ」の出力が得られなかったとき、ステップｓ４３０へ進む。ステップｓ４３０では、判断手段８が、「光学系環境異常」をモニタ１８に表示するとともに出力手段２４に出力して、ステップｓ４３２（ｓ５）へ進み、光学系環境の自動調整動作を完了する。
【００６１】
なお「光学系環境異常」が出力された場合、「監視ＮＧ」である監視ウインドウの数によって、撮像画面の全エリアが異常であるのか、または特定エリアが異常であるのかを判別し、光源１２の玉切れ、シャッタ速度異常、その他外部環境の異常などの項目順に従って点検を行なう。点検の結果、たとえば光源１２の玉切れが異常原因であれば、玉を交換した後、光学系の環境を再構築して診断および自動調整動作を実行する。
【００６２】
【発明の効果】
本発明によれば、光学系の環境設定項目のうち、シャッタ速度または照射光量が、線形変換式という定量化手段によって定量的かつ自動的に適正な値に設定されるので、操作者の操作によることなく、したがって操作者の技能に熟練を必要とせず、再現性よく光学系の環境設定を行なうことが可能になる。
【００６３】
また、光学系の環境の適否を診断することによって、画像処理によるたとえば固体識別や検査における検出不良の原因が、光学系環境の不適に起因するものか、被写体の不良に起因するものかを明らかにすることができる。したがって、前述の固体識別や検査における検出不良原因の解析に要する時間を短縮することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の一形態である画像処理装置１の構成を簡略化して示すブロック図である。
【図２】監視ウインドウ設定の状態と線形変換式とを例示する図である。
【図３】画像処理手段６によって画像の濃度分布を求めた例を示す図である。
【図４】本発明の実施の態様である画像処理方法を説明するフローチャートである。
【図５】固定環境設定動作を説明するフローチャートである。
【図６】調整環境設定動作を説明するフローチャートである。
【図７】環境監視設定動作を説明するフローチャートである。
【図８】線形変換式を作成する動作を説明するフローチャートである。
【図９】線形変換式に基づいて光学系調整変数を自動調整して設定する動作を説明するフローチャートである。
【符号の説明】
１ 画像処理装置
２ 被写体
３ 照明手段
４ 撮像手段
５ 入力手段
６ 画像処理手段
７ ＲＡＭ
８ 判断手段
９ 選択手段
１０ 線形変換式作成手段
１１ 制御手段
１２ 光源
１３ 電源
１４ ＣＣＤカメラ
１５ Ａ／Ｄ変換器
１６ 撮像表示制御器
１７ フレームメモリ
１８ モニタ
１９ Ｄ／Ａ変換器
２０ 処理回路
２１ ＲＯＭ
２２ Ｉ／Ｏインターフェイス

Claims (3)

1. 撮像されるべき被写体を撮影し、撮影された被写体の画像処理を行なうに際し、撮影条件である光学系の環境設定を行なう画像処理方法であって、
   被写体を撮影することによって得られる撮像画面全域のうち監視するべき部位に監視ウインドウを１または２以上設定し、
   前記監視ウインドウ毎に画像濃度の平均値である平均濃度ｄａｖを求め、
   前記監視ウインドウ毎の前記平均濃度ｄａｖが予め定める監視濃度範囲内であるか否かを判断し、
   前記監視ウインドウ毎の前記平均濃度ｄａｖが予め定める監視濃度範囲外である前記監視ウインドウが少なくとも１つ存在するとき、前記被写体を撮影する撮像手段のシャッタ速度または前記被写体を光照射する照明手段の照射光量の少なくともいずれか一方を光学系調整変数として選択し、
   選択された光学系調整変数を変動させ、光学系調整変数の変動に伴って変動する前記監視ウインドウの画像の濃度を求めて、光学系調整変数と監視ウインドウの画像の濃度との関係として与えられる線形変換式を前記監視ウインドウ毎に作成し、
   線形変換式に基づいて、前記平均濃度ｄａｖに対応して定められる光学系調整変数の値を求め、求められた光学系調整変数の値になるように、光学系調整変数として選択されたシャッタ速度または照射光量を設定することによって光学系の環境を自動調整することを特徴とする画像処理方法。
2. 撮像されるべき被写体を撮影し、撮影された被写体の画像処理を行なうに際し、撮影条件である光学系の環境設定を行なう画像処理方法であって、
   前記被写体を撮影する撮像手段のシャッタ速度と、前記被写体を光照射する照明手段の照射光量とを予め定める値に仮設定した状態で、前記撮像手段に備わるレンズのフォーカスと絞りとを設定し、
   設定されたレンズのフォーカスおよび絞りの環境で、前記撮像手段のシャッタ速度と前記照明手段の照射光量とを所望の値に設定し、
   前記撮像手段による撮像画面全域のうち監視するべき部位に監視ウインドウを１または２以上設定し、監視ウインドウ毎に画像濃度の平均値である平均濃度ｄａｖを求め、
   前記監視ウインドウ毎の前記平均濃度ｄａｖが予め定める監視濃度範囲内であるか否かを判断し、
   前記監視ウインドウ毎の前記平均濃度ｄａｖが前記監視濃度範囲外である前記監視ウインドウが少なくとも１つ存在するとき、シャッタ速度または照射光量の少なくともいずれか一方を光学系調整変数として選択し、
   選択された光学系調整変数を変動させ、光学系調整変数の変動に伴って変動する前記監視ウインドウの画像の濃度を求めて、光学系調整変数と監視ウインドウの画像の濃度との関係として与えられる線形変換式を前記監視ウインドウ毎に作成し、
   線形変換式に基づいて、前記平均濃度ｄａｖに対応して定められる光学系調整変数の値を求め、求められた光学系調整変数の値になるように、光学系調整変数として選択されたシャッタ速度または照射光量を設定することによって光学系の環境を自動調整することを特徴とする画像処理方法。
3. 撮像されるべき被写体を撮影し、撮影された被写体の画像処理を行なうに際し、撮影条件である光学系の環境設定をすることのできる画像処理装置において、
   前記被写体を光量可変に照射することのできる照明手段と、
   被写体を撮影する撮像手段であって、シャッタ速度、絞りおよびフォーカス調整の可能な撮像手段と、
   前記撮像手段によって撮影される画像全域のうち監視するべき部位に監視ウインドウを１または２以上設定し、前記監視ウインドウの画像の濃度を求める画像処理を行ない、前記監視ウインドウ毎に画像濃度の平均値である平均濃度ｄａｖを演算するとともに、前記監視ウインドウ毎に平均濃度ｄａｖに基づいて監視濃度範囲を設定する画像処理手段と、
   前記平均濃度ｄａｖおよび前記監視濃度範囲がストアされる記憶手段と、
   前記監視濃度範囲を記憶手段から読出し、前記撮像手段によって撮影される前記監視ウインドウの画像の濃度が、前記監視濃度範囲内であるか否かを判断する判断手段と、
   前記シャッタ速度または前記照射光量の少なくともいずれか一方を光学系調整変数として選択する選択手段と、
   選択手段によって選択される光学系調整変数を変動させ、光学系調整変数の変動に伴って変動する画像の濃度を求めて、光学系調整変数と画像の濃度との関係として与えられる線形変換式を前記監視ウインドウ毎に作成する線形変換式作成手段と、
   線形変換式に基づいて、前記平均濃度ｄａｖに対応して定められる光学系調整変数の値を求め、求められた光学系調整変数の値になるように、光学系調整変数として選択されたシャッタ速度または照射光量を制御する制御手段とを含み、光学系の環境を自動調整することを特徴とする画像処理装置。

Images