JP6794737B2

JP6794737B2 - 情報処理装置、情報処理方法、プログラムおよび検査システム

Info

Publication number: JP6794737B2
Application number: JP2016185440A
Authority: JP
Inventors: 拓哉田中; 亮介笠原
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-12-01
Filing date: 2016-09-23
Publication date: 2020-12-02
Anticipated expiration: 2036-09-23
Also published as: CN106934794A; JP2017107541A

Description

本発明は、情報処理装置、情報処理方法、プログラムおよび検査システムに関する。

製品の外観検査工程や監視カメラでの異常検出など、画像中の特徴的な点（画素）および領域を検出する技術はすでに知られている。画像中の特徴的な画素や領域を検出する従来技術では、予め正常な参照画像群を用意しておく。そして、検査対象画像中の参照画像での対応画素の輝度値などの特徴量を用いてその差を計算することで画像の変化を識別することが多く用いられている。

例えば、特開２００５−２６５６６１号公報（特許文献１）では、製品の外観検査において、検査対象画像の輝度値の正常範囲を統計的に決定することで、検査する作業者に依存しない画像検査を提案する。また、特開２０１３−１６０６２９号公報（特許文献２）では、参照画像について画素ごとの輝度値の平均と標準偏差とを予め決定する。そして検査時には、検査対象画像の輝度値について、平均値を減算した値を標準偏差で除算した偏差値を計算し、画素ごとの偏差値が設定したしきい値よりも大きい画素を異常画素として識別する方法を提案する。

しかしながら、従来方法では、検査対象の位置決めに誤差がある場合や、検査対象の形状がわずかに変化する場合、充分に異常を検出することができないという問題点があった。さらに、画像全体の平均を使用して偏差値を得る方法では、局所的に存在する異常が、画像全体にわたり逆にノイズ成分として作用し、局所異常を検出できない場合もあるという問題点があった。

本発明は、上記従来技術の問題点に鑑みてなされたものであり、効率的に画像中の異常を検出することを可能とする技術を提供することを目的とする。

すなわち、本発明によれば、検査対象の画像を含む対象画像を検査するための情報処理装置であって、
前記対象画像を参照画像と対比するための前処理を行う手段と、
前記対象画像に注目領域および前記注目領域を取り囲む周辺領域を規定し、各領域について前記注目領域および前記周辺領域の特徴量をそれぞれ計算する手段と、
前記各領域について、複数の前記参照画像の対応する領域との比較から前記注目領域における画像の特異性を数値的に示す外れ値を計算する手段と、
前記外れ値に基づき検査に使用する指標を与える手段と
を含む情報処理装置が提供される。

本発明によれば、効率的に画像中の異常を検出することを可能とする、情報処理装置、情報処理方法、プログラムおよび検査システムを提供することが可能となる。

本実施形態および従来方法の良否判定方法を説明する概念図。本実施形態における良否判定方法を説明する概念図。本実施形態の処理方法が実装される検査システム３００の実施形態を示す図。本実施形態の、AutoEncoderの処理の概念図。本実施形態の処理方法が実装される検査システム５００の実施形態を示す図。本実施形態の制御部３０１のハードウェア・ブロック６００の実施形態を示す図。本実施形態の制御部３０１のソフトウェア・ブロック７００の実施形態を示す図。本実施形態の処理方法を説明するフローチャート。本実施形態の欠陥量を得る他の実施形態の概念図。本実施形態の他の実施形態を示す図。外れ値に設定するべき閾値に対して、判定性能（ＡＵＣ：Area Under Curve）をプロットしたグラフ。実際の検査対象に対して画像評価を行った場合の欠陥量と、検査対象の良品、不良品を対応付けた実験例を示す図。閾値＝２２σとした場合の、図８に示したと同一の実験例に対する欠陥量を示す図。参照する周辺領域の大きさ（近傍数）に対する認識性能（ＡＵＣ）の変化を示す図。

以下、本発明について実施形態を以て説明するが本発明は、後述する実施形態に限定されるものではない。図１は、本実施形態および比較例として挙げる従来技術の検査方法における良否判断の概念図を示す。

本実施形態では、図１（ａ）に示すように、検査領域１１０内に検査対象１１１が写り込んだ対象画像を使用して検査を行う。なお、本実施形態では、対象画像に写った検査対象の良否の検査を、良品として判定された際の対象画像または対象画像の群と比較して行う。以下、良品として判定された対象画像または対象画像群を、本開示においては参照画像として参照する。この参照画像を図１（ｂ）に示す。図１（ｂ）と比較すると、図１（ａ）で示した実施形態の対象画像中の検査対象１１１は、検査領域１１０内で、紙面右手側に許容範囲Δだけ変位または変形しているのが示されている。許容範囲Δは、ロボットアームによる位置決め精度や、製品に許容される精度以下となっている。このため、検査対象１１１は、本来であれば、良品として判定されるべき検査対象である。

図１（ａ）、（ｂ）に示すように、本実施形態では、検査領域１１０を構成する画像領域に注目領域１１３ａを設定する。図１（ｂ）の参照画像の注目領域１１３ａには、検査対象１１１の画像は含まれていないことを示す。ところが、図１（ａ）に示す実施形態では、注目領域１１３ａは、検査対象１１１の画像を含むことになる。従来方法では、注目領域１１３ａの特徴量の差分から検査対象１１１の良否を決定する。これを図１（ｃ）に示す。

図１（ｃ）は、対象画像中の注目領域１１３ａの特徴量を、特徴量が２次元で表現できるものとしてプロットした図である。図１（ｃ）中、対象画像中で、検査対象１１１を含む画素をハッチングした「●」で示し、検査対象１１１の画像を含まない画素をハッチングしない「○」で示す。一方、図１（ｂ）で示す参照画像には、検査対象１１１の画像は含まれないので、図１（ｃ）には、●は存在しないことになる。

●の画像は、その特徴量が参照画像の特徴量とは差分が大きく、特異的な存在となっている。このため、従来技術では、現在の対象画像中の検査対象１１１は不良であるものとして処理される。ところが、検査対象１１１は、本来、そのずれが許容範囲Δ内で、良品として判定されるべきものである。このような誤判断は、製品歩留まりを低下させ、生産性を低下させることとなる。

そこで、本実施形態では、検査領域１１０に、注目領域１１３ａと、注目領域１１３ａに隣接する周辺領域１１３ｂとを定義し、注目領域１１３ａおよび周辺領域１１３ｂを含んだ、注目部分１１３を形成する。そして、この注目部分１１３を使用して、注目領域１１３ａの特異性を判断するものである。図１（ｂ）には、当該注目部分１１３、注目部分１１３を構成する注目領域１１３ａおよび１１３ｂを示す。図１（ｂ）では、本実施形態の注目部分１１３を、注目領域１１３ａと、注目領域１１３ａに隣接して設定された周辺領域１１３ｂとを含んだ正方形の領域として構成するものとして例示している。

本実施形態において、注目部分１１３内に写り込んだ検査対象１１１の特徴量を、図１（ｃ）と同様に、特徴量空間にそれぞれプロットしたものを、図１（ｄ）に示す。なお、図１（ｄ）中、参照画像中で、検査対象１１１を含む画素をハッチングした●で示し、検査対象１１１の画像を含まない画素をハッチングしない○で示すことは図１（ｃ）と同様である。また、一部に検査対象１１１の画像を含む周辺領域１１３ｂを、ハーフトーンでハッチングして示す。注目領域１１３ａには、検査対象が写り込んでいるので、注目領域１１３ａの特徴量は、参照画像との比較において図１（ｃ）と同様の特徴量の差分がある。

一方、本実施形態では、図１（ｄ）に示すように、注目部分１１３を複数の画素から構成することで、注目領域１１３ａの特徴量の周辺に参照用画像の特徴量を有する周辺領域１１３ｂの特徴量が追加される。このため注目領域１１３ａの特徴量を、周辺領域１１３ｂの画像情報を考慮して判定することが可能となる。このため、注目領域１１３ａの特異性だけに依存する従来の良品判定が改善される。すなわち、本実施形態は、注目部分１１３全体の特徴量を使用して注目領域１１３ａの特徴量の検査を行うことを可能とするものである。

ここで、図２を使用して、注目部分１１３を規定することが、不良品の判定に対する影響を説明する。図２に示す検査対象１１１は、製品の一部にバリ１１４を有している。図２（ａ）に示すように、このバリ１１４に対応する注目領域１１３ａは、検査対象１１１の画像を含むことになる。そこで、バリ１１４近傍の領域の特徴量を図１と同様に特徴量空間にプロットしたものが図２（ｂ）である。

ここで、図２（ｂ）に示す特徴量空間の特徴量における差分は、図１（ｂ）と同様であるものとする。一方、図２（ｃ）には、良品として判定された参照画像と、本実施形態における注目部分１１３とを示す。図２（ｃ）に示すように、参照画像の対応する注目部分１１３には、対象画像の注目部分１１３ａの特徴量に近い特徴量が存在しない。

このため、図２（ａ）に示したバリ１１４を検出した場合には、従来と同様、図２（ｂ）の判定方法を使用することで、良否判定が可能となる。

なお、注目領域１１３ａおよび周辺領域１１３ｂは、検査対象１１１のサイズおよび要求精度に応じて、画素単位で定義することができる。また、他の実施形態では、複数の画素からなる、平面を充填できる多角形の領域として定義することができる。また、注目部分１１３、注目領域１１３ａ、周辺領域１１３ｂのサイズ、構成画素数、形状については、特定の用途に応じて適宜設定することができる。

また、注目部分は統計情報などから自動的に決定することも可能である。例えば、事前に参照画像群から画素ごとの分散を求め、注目部分の分散の合計を設定する。この態様によれば、分散が低い領域では注目部分が大きく、分散が高い領域では注目部分が小さくなるように決定することができる。また、事前に参照画像群や対象画像について画素ごとに勾配方向を求めておき、その勾配方向を優先的に見るように注目部分の縦横比を変える態様も用いることができる。

以上説明したように、本実施形態では、不良に関しては検出感度を低下させることなく、正常な範囲内の変化に対しては検出感度を低下させることで検査のロバスト性を向上させることで良否判定精度を改善することができる。

以下、説明の便宜上、特に説明のない限り、注目領域１１３ａおよび周辺領域１１３ｂは、画素単位であるものとして説明する。本実施形態においては、画像の特徴量としては、輝度値、色値といった色に関連する特徴量を使用することができる。色に関する特徴量は、輝度値または色値など画像上識別でき、定量化できる限り、Ｌ^＊ａ^＊ｂ^＊、Ｌ^＊ｕｖ、ＨＳＶなど、いかなる種類および定式化のものでも使用することができる。

色値など対象が３次元となる場合は各次元について処理したものを最終的にマージすることで欠陥検出を実現することができる。例えばＲＧＢ画像を対象とする場合、ＲＧＢそれぞれについて下記に示す外れ値計算を行った後，平均値や最大値を求めることで1つの画像としてマージし、欠陥検出を行ってもよい。

その他、より具体的には、本実施形態では、画像特徴量として、形状情報を表すエッジ情報、空間周波数情報を使用することができる。この他、局所的な画像特徴量としては、ＨＬＡＣ、ＳＨＩＦＴ、ＳＵＲＦなどを挙げることができる。この他にも、画像テクスチャを画像特徴量として使用するため、濃度共起行列を使用する方法、ディープラーニング使用するＡｕｔｏ−Ｅｎｃｏｒｄｅｒｓなどにより自動取得された特徴量を使用することができる。これらの画像特徴づけ方法により定量化される値は、すべて本実施形態における特徴量として使用することができる。以下、上述した色に関する特徴量の他に利用できる特徴量について詳細に説明する。

（１）エッジ特徴量
エッジ特徴量としては、例えば勾配強度と、勾配方向とを使用することができ、画素位置（ｕ、ｖ）での勾配強度ｓ（ｕ、ｖ）は、例えば下記式（１）により得ることができる（非特許文献１）。

また、画像Ｌにおける画素位置（ｕ、ｖ）における勾配方向は、下記式（２）で得ることができる。

（２）空間周波数情報
空間周波数情報としてはパワースペクトルを使用して数値化することができ、当該パワースペクトルを、特徴量として使用することもできる（非特許文献２）。

（３）テクスチャ特徴量
空間周波数情報を使用し、当該特徴量からテクスチャ特徴量を下記式（４）で得ることができる。

上記式（４）で定義したテクスチャ特徴量を、本実施形態における特徴量として使用することができる。なお、ｐ（ｒ）は、パワースペクトル空間において原点を中心としたドーナツ型の領域内のエネルギーの和である。ｑ（θ）は、扇形領域内のエネルギーの和である。テクスチャ情報は、ｐ（ｒ）、ｑ（θ）のヒストグラムの位置、高さ、ｐ（ｒ）、ｑ(θ）の平均および／または分散などを使用して特徴量とすることができる。

上述したｐ（ｒ）およびやｑ（θ）は、単一画素に対して求めることはできないものの、対象画素を中心とする局所的な領域に対して求めたｐ（ｒ）およびｑ(θ）を、対象画素の画像特徴量とすることで色の特徴量同様に外れ値を計算することが可能である。

（４）局所的特徴量
局所的特徴量は、ＨＡＬＣ値（高次局所自己相関特徴Higher-order Local Auto Correlation）ｘ（ａ_１，ａ_２，．．．，ａ_ｎ）は、下記式（５）によって決定される（非特許文献３、４）。

２次以上のＨＡＬＣ特徴量は、単一画素に対して求めることは出来ないものの、対象画素を中心とする領域に対して求めたＨＬＡＣ特徴量を、対象画素のＨＬＡＣ特徴量とすることで色の特徴量同様、外れ値を定義し、計算することが可能となる。なお、ＳＩＦＴ（非特許文献１、非特許文献５）およびＳＵＲＦ（非特許文献６）についても同様に本実施形態における特徴量として使用することができる。

（５）ランレングス行列を使用する特徴量
テクスチャを特徴づける手法として、ランレングス行列を使用する方法が提案されている（非特許文献２）。本実施形態では、図３に示したランレングス行列を使用して、各画素の特徴量を計算する。なお、図３に示したランレングス行列は、行方向にランの長さが対応付けられ、列方向に濃度が対応付けられている。

図３に示したランレングス行列を使用し、下記式（６）で与えられる５次元の特徴量のいずれか１つ、または任意の組み合わせを、本実施形態の特徴量として使用することができる。

ランレングス行列による方法を含め、テクスチャ特徴量はいずれも単一画素に対して求めることはできない。しかしながら、対象画素を中心とする領域に対して求めたテクスチャ特徴量を対象画素の特徴量とすることで色の特徴量同様、外れ値を計算することができ、本実施形態の特徴量とすることができる。

（６）ディープラーニングによる特徴量
ディープラーニングによる特徴量として、例えばAutoencoder（オートエンコーダ）（非特許文献７、８）による特徴量抽出法を使用することができる。Autoencoderとは、入力を一旦低次元に写像した後入力の再構成を行うニューラルネットワークであり、入力の低次元でノイズに影響されにくい表現を自動的に獲得することができる。

図４に、AutoEncoderの例を示す。Input（入力、この場合はベクトル化された画像）より低次元なhidden（隠れ層）を介してoutput＝inputとなるように学習し対象画像の低次元な表現が獲得できる。本実施形態では、図４に示した値のうち、hiddenの値を、本実施形態における特徴量として利用することができる。ここで学習は参照用画像を用いて行うことができる。

図４では、入力層を、x、hiddenへの入力をy、outputへの入力をzとする。また、encodeおよびdecodeは、図４に定義した式を使用して計算できる．Ｗは、重み、bは、バイアスと呼ばれるパラメータである。AutoEncoderを用いる実施形態は、画素の色情報（ＲＧＢの３次元）を入力として特徴量を求めることができる。なお、図４におけるinputおよびoutputを３次元とし、hiddenを１または２次元として設定することができる。また、対象画素を含む領域について求めたhiddenの値を、対象画素の特徴量とすれば、色の特徴量と同様に外れ値計算が可能となる。

図１〜図４を使用して説明したように、本実施形態では、注目領域１１３ａの画像上の特異性を、周辺領域の状態を考慮して決定することで、検査対象１１１の縁部１１１ａ近傍の特異性をより効率的に数値的に決定することを可能としている。

図５は、本実施形態の処理方法が実装される検査システム５００の実施形態を示す。図３に示す検査システム５００は、制御部５０１と、制御部５０１に対して指令を行うための操作部５０２と、出力Ｉ／Ｏ５０３とを含んでいる。

制御部５０１は、コンピュータといった情報処理装置と含んで構成することができ、本実施形態における制御手段に相当する。また、操作部５０２は、液晶ディスプレイ装置、キーボード、マウス、タッチパネルなどを含んで構成され、制御部５０１と作業者との間のインタフェースを提供する。操作部５０２が本実施形態のおける操作手段に相当する。出力Ｉ／Ｏ５０３は、制御部５０１の計算結果に基づいて検査対象５０６を移動させるための出力を生成し、搬送アーム５０５の位置制御を行うものであり、本実施形態における出力手段に相当する。

検査対象５０６は、搬送部５０７に載置されて、搬送アーム５０５に保持された後、検査位置にまで搬送され、デジタルカメラといった撮像装置５０８によりその画像が取得される。搬送部５０７は、本実施形態における搬送手段に相当する。撮像装置５０８が本実施形態における撮像手段に相当する。取得された画像は、制御部５０１に送られて、被検査対象１１１の特異性が画像的に検査される。制御部５０１は、当該検査の結果に応じて、搬送アーム５０５の運動を制御し、検査対象を、良品、および不良品に分類して収容する収容部５０４へと移動させている。

図６は、本実施形態の制御部５０１のハードウェア・ブロック６００の実施形態を示す。制御部３０１は、システムバス６０６により相互接続されたＣＰＵ６０１、ＲＡＭ６０２、必要に応じて画像ＲＡＭ、ＲＯＭ６０３、表示装置６０４および通信装置６０５を含んで構成することができる。さらに、システムバス６０６には、ＰＣＩ、ＰＣＩＥｘｐｒｅｓｓなどのバスブリッジを介してＩ／Ｏバス６０７が接続されている。また、Ｉ／Ｏバス６０７には、適切なプロトコルを介して、外付けドライブおよびＤＶＤドライブなどの外付ドライブ６１０が接続されている。さらに、制御部５０１は、デジタルカメラといった撮像装置６０８、記憶装置６０９および外付ドライブ６１０と接続されて、画像取得を可能とするとともに、本実施形態の処理を可能とするプログラム、データの格納を可能としている。

制御部５０１が使用するＣＰＵとしては、より具体的には、例えば、ＰＥＮＴＩＵＭ（登録商標）〜ＰＥＮＴＩＵＭＩＶ（登録商標）、ＣＯＲＥｉ（登録商標）シリーズ、ＡＴＯＭ（登録商標）、ＰＥＮＴＩＵＭ（登録商標）互換ＣＰＵ、ＰＯＷＥＲＰＣ（登録商標）、ＭＩＰＳなどを挙げることができるが、これらに限定されるものではない。

使用するオペレーティング・システム（ＯＳ）としては、ＭａｃＯＳ（商標）、ｉＯＳ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）、ＣＨＲＯＭＥ（登録商標）、ＡＮＤＲＯＩＤ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）２００ＸＳｅｒｖｅｒ、ＵＮＩＸ（登録商標）、ＡＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）またはそれ以外の適切なＯＳを挙げることができる。さらに、制御部３０１は、上述したＯＳ上で動作する、Ｃ、Ｃ＋＋、ＶｉｓｕａｌＣ＋＋、ＶｉｓｕａｌＢａｓｉｃ、Ｊａｖａ（登録商標）、Ｐｅｒｌ、Ｒｕｂｙなどのプログラミング言語により記述されたアプリケーション・プログラムを格納し、実行することができる。

図７は、本実施形態の制御部５０１のソフトウェア・ブロック７００の実施形態を示す。制御部５０１は、ＵＳＢ（universal serial bus)、ＨＤＭＩ（登録商標）、他の実施形態では、イーサネット（登録商標）といった適切な転送方式を使用して検査対象画像を撮像装置３０８から受け取る。制御部５０１は、入力Ｉ／Ｏ７０１と、前処理部７０２と、演算部７０３とを含む入力Ｉ／Ｏ７０１は、本実施形態における入力手段に相当する。入力Ｉ／Ｏ７０１は、適切なバスインタフェース、ＮＩＣなどを含んで構成することができる。入力Ｉ／Ｏ７０１は、受領した検査対象画像を、適切な記憶手段である、例えば画像ＲＡＭ６０２に格納することを可能とする。

前処理部７０２は、撮像装置６０８が取得した、現在検査するべき対象画像を、検査領域１１０に対して位置決めすることにより、以後の処理を可能とする。その他、前処理部７０２は、ノイズ低減のフィルタ処理やマスキング処理を行う。前処理部７０２は、本実施形態における前処理手段に相当する。例えば、前処理部７０２は、取得した検査対象画像の少なくとも１つの画素または領域を、検査領域１１０の所定の位置座標に対応付ける処理を行うことで位置合わせを行うことができる。

演算部７０３は、本実施形態に従い外れ値を計算する機能を提供し、本実施形態における色に関する特徴量を計算する手段および外れ値を計算する手段に相当する。なお、演算部７０３は、その処理を行うため、参照画像を格納した記憶部７０６、および設定パラメータを記憶した第２記憶部７０７にアクセスし、参照画像の画素との間の外れ値を、取得したパラメータを使用して演算する。このときのパラメータとしては、例えば周辺領域の範囲指定の値、取得するべき参照画像の識別値、参照画像について予め計算しておいた標準偏差（σの値）、参照画像について予め計算しておいた特徴量の平均値、ｓｔｄ（ｉ、ｊ）の値などを挙げることができるが、これらに限定されるものではない。これらの値、パラメータについてはより詳細に後述する。

制御部５０１は、さらに判定部７０４と、出力部７０５とを含んでいる。判定部７０４は、本実施形態における判定する手段に相当し、演算部７０３が生成した外れ値を受領して、設定した閾値を適用し、検査対象が不良であるか、否かを判断する。出力部７０５は、当該判断に応答して、搬送アーム５０５を制御するための制御情報を計算し、出力Ｉ／Ｏ５０３に出力し、搬送アーム５０５の制御を可能とする。

本実施形態の制御部５０１は、さらにユーザ・インタフェース部７０８を備えている。ユーザ・インタフェース部７０８は、ユーザによる制御部５０１への各種設定の入力を可能としたり、制御部５０１の結果をユーザに対して通知したりする機能を備える。具体的には、例えば、ユーザが注目部分１１３の設定を行うことを可能とする機能、注目部分１１３を構成する領域の数を設定することを可能とする機能を有することができる。さらに、ユーザ・インタフェース部７０８は、外れ値を計算させるべき周辺領域の範囲を変更・設定可能とする機能、検査画像を拡大縮小する機能および拡大・縮小された検査画像に基づいて外れ値の計算を実行させる機能を有する。さらに、ユーザは、ユーザ・インタフェース部７０８を介して新たな参照画像の追加または参照画像の交換を行うことができる。

以下、図８を参照して、本実施形態の処理方法を説明する。処理はステップＳ８００から開始し、ステップＳ８０１で検査対象の画像を取得する。その後、検査領域１１０に対して検査対象画像に対して前処理を適用する。前処理には、例えば、画像相互の位置合わせを含むことができる。当該位置合わせは、記憶部７０６から検査対象に対応する適切な参照画像を読み出し、これをテンプレートとして設定する。なお参照画像は、適宜処理の必要性に応じてユーザが追加・削除することができる。

そして、検査するべき対象画像と、テンプレートとの間で特徴量の一致判断を行ない、特徴量の一致が最も高い領域を同一領域として決定し、検査領域１１０に対応付ける処理によって行われる。テンプレート・マッチングの方法は、いわゆるＺＮＣＣ（正規化相互相関法）を用いて行うことができる。この他、前処理には、用途に応じて、画像の拡大・縮小や１画素または１領域が有する情報量の制御を含むことができる。

その後、ステップＳ８０２で、演算部７０３は、検査領域に割り当てられた画素、面積、形状などで領域を規定し、当該領域ごとに特徴量を計算する。当該処理部が本実施形態における特徴量を計算する手段に相当する。特徴量は、上述した通り、輝度値、色値、その他、どのような尺度であっても画像から抽出できる限り種類および定式化には制限はない。以下、より具体的な説明のため、特徴量として輝度値を使用するものとして説明するが、本実施形態は、輝度値を使用する処理に限定されるものではない。

ステップＳ８０３で、さらに演算部７０３は、取得した特徴量と、参照画像の対応領域、周辺領域の特徴量とを比較し、外れ値を計算する。外れ値の計算方法には、特に制限はなく、本実施形態のように偏差値を使用することもできるし、箱ひげ図、grubbs検定、マハラノビス距離、ＬＯＦ（ＬＯＣＡＬＯＵＴＬＩＥＲＦＡＣＴＯＲ)などを使用することができる。当該処理部が本実施形態における外れ値を計算する手段に相当する。以下、演算部７０３が実行する外れ値の計算処理を、詳細に説明する。以下の説明において、注目領域の位置を、位置（ｉ，ｊ）とし、注目領域を取り囲む周辺領域を位置（ｉ±1，ｊ±1）とした場合について説明する。当該実施形態は、周辺領域１１３ｂを、注目領域１１３ａに隣接して取り囲む領域として規定する実施形態に相当する。ｉおよびｊの値は、０を含む正の整数から任意に選択することができる。

まず、演算部７０３は、参照用画像群（例えば良品の画像を５０枚程度）を読み出し、全領域の輝度値の平均値ｎ（ｉ，ｊ）および標準偏差ｓｔｄ（ｉ、ｊ）を計算し、適切な記憶手段に格納させる。なお、参照画像の特徴量は、上述した通り、事前に計算されている。このとき参照画像群によっては、ｓｔｄ（ｉ，ｊ）が極めて０に近くなることもあり、計算がオーバーフロー例外を発生させる場合も想定できる。このため、他の実施形態では、ｓｔｄ（ｉ，ｊ）に対して閾値ｓｔｄ＿ｍｉｎを設定し、それ以下のｓｔｄ（ｉ，ｊ）をｓｔｄ＿ｍｉｎの値に置換することも可能である。また、用途に応じてｓｔｄ＿ｍｉｎを外部から設定可能とすることもできる。

外れ値の計算は、注目領域１１３ａの画素位置（ｉ，ｊ）の輝度値ｖ（ｉ，ｊ）から、参照画像群の対応する画素位置（ｉ，ｊ）と、現在判断している検査対象の情報は含めずに計算した参照画像の輝度値の平均値ｍ（ｉ，ｊ）との残差絶対値を計算する。必要に応じて残差２乗を計算することもできる。なお、参照画像は、予め取得および登録された検査対象１１１が良品であると判断された検査画像またはそのセットとして定義される。そして、この残差絶対値を、当該注目領域１１３ａの参照画像での標準偏差ｓｔｄ（ｉ，ｊ）で除算する。その除算結果を外れ値として数値化する。なお、当該処理は、統計的な標準化手法であり、いわゆる外れ値とは、注目領域１１３ａの参照画像群における偏差値に相当する値である。

同様の操作を、周辺領域１１３ｂ、すなわち、画素位置（ｉ±1，ｊ±1）の全ての平均値および標準偏差を用いて計算し、特定の実施形態では、計算した外れ値のうちの最小値を、注目領域１１３ａの外れ値として設定する。なお、特定の実施態様によっては、最大値をもって注目領域１１３ａの外れ値として数値化することができることは言うまでもないことである。以上の処理を下記式（１２）に示す。

この計算を検査画像の全領域に渡って行うことにより、画像全体に対して上記式（１）で外れ値を数値化する。なお、注目部分１１３は、（ｉ，ｊ）およびｋ、ｌの値を使用してユーザ指定によって設定され、また変更される。さらに、外れ値を計算させるための画像範囲に相当する（ｉ，ｊ）の範囲についてもユーザ指定によって適宜変更することができる。

ステップＳ８０３で外れ値を計算した後、判定部７０４において判定処理を行う。判定処理は、本実施形態では、具体的に以下のように行う。領域の位置ごとの外れ値を使用し、さらに検査画像が良品か否かを判定するための指標である欠陥量を計算する。当該指標を、本開示においては、以下欠陥量として参照する。

本実施形態においては、画像特異性が顕著ではない尺度として、画像全体の外れ値の標準偏差（以下、σとして参照する。）を使用して、所定の閾値を設定する。例えば３σ以下の外れ値を、数値＝０として、カットオフし、画像全体について外れ値を積算する。この結果、良品の画像は、さらに低い欠陥量を与え、不良品画像との相違を改善することが可能となる。値σは、画像全体について取得された注目領域の外れ値の分布を、正規分布するものとして取得した標準偏差であり、上述したｓｔｄ（ｉ，ｊ）とは異なる点を留意されたい。なお、これらの計算に使用される値、パラメータは、処理の進行に応じて、新たな値、パラメータとして更新し、学習させることができる。

上述した積算処理は、好ましい実施形態では、精度を向上させる目的で、設定した閾値以下の外れ値、すなわち画像の特異性の顕著性が少ないと判断できる画像領域の外れ値を０として積算することができる。この理由は、上記式（１）により求められる外れ値は、処理対象の画像領域が正常な場合でも種々のノイズ成分などの影響により、非ゼロの値を有するので、そのまま積算すると、蓄積したノイズ成分が不良品の画像特異性のＳ／Ｎを低下させてしまい検出性を低下させる恐れがあるためである。

本実施形態における欠陥量は、さらに種々の方法で決定することができる。例えば、例示的な実施形態では、下記式（８）で示されるように、画像中の対象領域に渡り、上述した外れ値を積算した値として定義される。

本実施形態において欠陥量は、さらに他の方法によっても得ることができる。以下、さらに欠陥量を計算する実施形態について説明する。欠陥量は、他の実施形態では外れ値の最大値として、下記式（９）を使用して決定することもできる。

さらに他の実施形態では、欠陥量を、図９（ａ）に示すように、行って一以上の外れ値が存在する面積を求め、当該面積を当該面積が含むPixel数として、下記式（１０）を使用して決定することができる。

この他、欠陥量とするべき面積を、図９（ｂ）に示すように、外接矩形座標を使用して下記式（１１）で決定し、当該面積が含むPixel数を欠陥量として使用することができる。なお、下記式（１１）中、ｋは、画像中の外れ値が一定値以上ある領域の画素識別値である。

なお、閾値として設定するべき値は、対象の形状や位置合わせの精度などから用途に応じて設定することができる。さらに、例えば、高い外れ値が密集している箇所があることを以て、特異的と判断することもできる。

ステップＳ８０４では、上述した外れ値から得た欠陥量を使用して検査対象の不良を判断し、判断結果を出力して搬送アーム５０５の動作制御を行い、ステップＳ８０５で処理を終了する。

上述した実施形態では、対象画素の近傍を使用して欠陥量などを計算するものとして説明した。この他、他の例示的な実施形態では、制御部５０１が図１０に示すように、検査画像内に同一モジュール１０１１、１０１２が複数ある場合、ユーザによる検査領域の設定を可能とすることで、モジュール1０１１の注目領域１０１６を参照して、モジュール１０１２の注目領域の欠陥量を計算することができる。この実施形態では，参照画像群を都度読み出すことなく、外れ値計算が可能になるので、メモリの節約、参照データのロード時間の短縮が可能となる。

さらに制御部５０１は、検査画像中に検査したくない領域（製造番号が印字されている、ゴミや汚れが付着していても構わない領域、検査対象部品を把持しているロボットアーム等）が存在する場合には、ユーザにより、該当する領域を除外する、いわゆるマスク処理を使用することができる。さらにユーザにより画像を拡大・縮小する処理を可能とし、前処理で画像を拡大・縮小することで、１画素または１領域が有する情報量を制御しても良い。

この理由は、参照領域を少なくすると計算コストを削減することが可能となる。このため，精度に問題が出ない範囲で低解像度化を行うことができる。この目的のため、１画素または１領域が有する情報量を高めることができ、この結果として計算コストを削減でき、高速な検査が可能となる。

また、小さな特異領域については低解像度すると特異領域も小さくなり判定精度が低下する可能性がある。このため、他の例示的な実施形態では、制御部５０１は、ユーザ指定により、特定の領域のみ縮小しないことにより、判定の高速化しつつ判定精度を低下させないように制御することが期待できる。電子基板の検査を例にすると、細かな部品が密集している領域のみ低解像度化をせず、その他の領域については低解像度して外れ値計算を行うことで、検査に精度が要求される場合でも計算コストを削減することが可能となる。

さらに他の例示的な実施形態では、制御部５０１は、ユーザが参照画像を追加または交換することで更新ができるようにされていても良い。この理由は、例えば、参照画像に製造ロットの影響や、照明の経年劣化によるデータ変化、製品の型修正による正常・異常の定義の変化などがあることが想定される。この場合、その時点でのパラメータでは充分な精度での検査が期待できない場合もある。このような場合、参照画像を追加または変更することでパラメータの更新を行ない、更新後のパラメータを使用してユーザの意図する判定が可能となる。

図１１は、外れ値に設定するべき閾値に対して、判定精能（ＡＵＣ：Area Under Curve）をプロットしたグラフである。なお、ＡＵＣは、誤判断がない場合に１を与える、検査精度の尺度を与える指標値である。閾値を０σから増加させてゆくにつれて、５σ付近までは、概ね線型的にＡＵＣが改善されるのが示されている。一方、閾値が６〜７σに達すると、ＡＵＣの改善効果は飽和する。これは、閾値以下の外れ値を０σにすることで正常な画素が持つ小さな外れ値を無視して欠陥量を計算するため、よほど大きな欠陥量がない限り、ＡＵＣに影響を与えないためである。

図１２は、実際の検査対象に対して画像評価を行った場合の欠陥量と、検査対象の良品、不良品を対応付けた実験例を示す。図１２（ａ）が外れ値に対する閾値＝０σ、図１２（ｂ）が閾値＝６σ、図１２（ｃ）が閾値＝９σの場合の欠陥量を、約７０の検査画像について評価した結果である。図１２に示すように、外れ値に適用する閾値を０σとした場合、ノイズの蓄積により、良品サンプルと不良品サンプルの欠陥量の違いは顕著とは言えない。

しなしながら、閾値＝６σとした実験例では、良品サンプルの欠陥量が、ノイズの蓄積の影響から解放され、顕著に減少していることが認定される。さらに閾値＝９σの場合では、ほとんどの良品サンプルの欠陥量が数値＝０となり、不良品との差がより明確なものとして認識されることが理解できる。

図１３は、閾値＝２２σとした場合の、図１２に示したと同一の実験例に対する欠陥量を示す。図１３では、良品サンプルについての欠陥量は数＝０まで改善されていることは図１２と同様である。しかしながら、不良品サンプルについても、欠陥量が数値＝０となっているものが存在する。これは閾値を高くした結果、特異性の比較的低い不良品サンプルについての欠陥量も低下したためと考えられる。

本実施形態の検査システムにおいては、良品／不良品の選別を制御部５０１の判断により行うことを前提とするため、不良品を良品として誤認識する可能性を排除することが好ましい。この観点から、図１１の結果に基づき、外れ値に適用する閾値は、５σ〜２０σの間とすることが好ましい。

図１４は、参照する周辺領域の大きさ（近傍数）に対する認識性能（ＡＵＣ）の変化を示す。図１４について示す結果は、注目領域を画素単位とした場合の結果を、異なる５サンプル１４０１、１４０２、１４０３、１４０４、１００５について折れ線グラフとして示し、それらの平均値を棒グラフ１４１０として示したものである。

近傍数＝０とは、周辺領域を参照しないことを示す。近傍数＝１の場合は、図１に示す注目画素の最近傍周辺画素を参照していることを示す。最近周辺画素を参照する近傍数＝１の場合、周辺領域を参照しない場合に比較し、認識性能を示すＡＵＣの平均値（青の棒グラフ）が高まってことが示される。また近傍数＝２の場合も、参照しない場合に比較して高まっていることが示される。

なお、近傍数＝３の場合は，近傍数＝２の場合に比べＡＵＣが低下していることが確認された。この理由として、参照する領域が増えると、不良と近い値を持っている場所が統計的に含まれる確率が上がるので不良に対する感度が下がることも原因の一つとして考えられる。近傍数＝４の時では、さらにＡＵＣの低下が確認された。

個別のサンプルでみれば、サンプル１４０１、サンプル１４０３で近傍数＝０でＡＵＣ＝１となっている（最高性能）ものもある。これらのサンプルでも、近傍数＝１、近傍数＝２でもＡＵＣは、低下せず、高い値を維持している傾向にある。このため、本実施形態において参照する近傍数は、１〜２とすることが好ましい。

以上の通り、本実施形態においては、検査対象の位置決め、形状、および異常の分布に関わらず、効率的に画像中の特異性を検出することを可能とする、情報処理装置、情報処理方法、プログラムおよび検査システムを提供することが可能となる。

これまで本発明を、実施形態をもって説明してきたが、本発明は、実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１１０：検査領域
１１１：検査対象
１１３：注目部分
１１３ａ：注目領域
１１３ｂ：周辺領域
１１３ｃ：周辺領域
３０１：制御部
３０８：撮像装置
５００：検査システム
５０１：制御部
５０２：操作部
５０３：出力Ｉ／Ｏ
５０４：収容部
５０５：搬送アーム
５０６：検査対象
５０７：搬送部
５０８：撮像装置
６００：ブロック
６０１：ＣＰＵ
６０２：ＲＡＭ
６０２：画像ＲＡＭ
６０３：ＲＯＭ
６０４：表示装置
６０５：通信装置
６０６：システムバス
６０７：Ｉ／Ｏバス
６０８：撮像装置
６０９：記憶装置
６１０：外付ドライブ
７００：ブロック
７０１：入力Ｉ／Ｏ
７０２：前処理部
７０３：演算部
７０４：判定部
７０５：出力部
７０６：記憶部
７０７：第２記憶部

特開２００５−２６５６６１号公報特開２０１３−１６０６２９号公報

画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ - 藤吉研究室中部大学工学部情報工学科 http:／／www.vision.cs.chubu.ac.jp／cvtutorial／PDF／02SIFTandMore.pdfの平成２７年１１月２４日ダウンロード・ファイル種々のテクスチャ特徴による画像解析 http:／／www.design.kyushu-u.ac.jp／lib／doctor／1999／k032／k032-05.pdfの平成２７年１１月２４日ダウンロード・ファイル産総研、http:／／www.isi.imi.i.u-tokyo.ac.jp／en／pattern／hlac.htmlの平成２７年１１月２４日ダウンロード・ファイル顔特徴の抽出とその特徴移動量による人の表情識別、HLAC 特徴と k-Nearest-Neighbor 法を用いた表情識別 http:／／www.cst.nihon-u.ac.jp／research／gakujutu／53／pdf／G-1.pdfの平成２７年１１月２４日ダウンロード・ファイル Gradient ベースの特徴抽出 -SIFT と HOG-，藤吉弘亘， http:／／www.hci.iis.u-tokyo.ac.jp／~ysato／class14／supplements／sift_tutorial-Fujiyoshi.pdfの平成２７年１１月２４日ダウンロード・ファイル Bay, H., A. Ess, T. Tuytelaars, and L. Van Gool. "SURF:Speeded Up Robust Features." Computer Vision and Image Understanding (CVIU).Vol. 110, No. 3, pp. 346-359, 2008. Geoffrey E. Hinton; R. R. Salakhutdinov (2006-07-28). "Reducing the Dimensionality of Data with Neural Networks". Science 313 (5786): 504-507. AutoEncoderで特徴抽出、 http:／／www.slideshare.net／lewuathe／auto-encoder-v2の平成２７年１１月２４日ダウンロード・ファイル

Claims

検査対象の画像を含む対象画像を検査するための情報処理装置であって、
前記対象画像を参照画像と対比するための前処理を行う手段と、
前記対象画像に注目領域および前記注目領域に隣接する周辺領域を規定し、前記注目領域の特徴量を計算する手段と、
複数の前記参照画像中の前記注目領域および前記周辺領域に対応する画像の特徴量と、前記注目領域における画像の特徴量との比較によって、前記注目領域における画像の特異性を数値的に示す外れ値を計算する手段と、
前記外れ値に基づき検査に使用する指標を与える手段と
を含む情報処理装置。
前記情報処理装置は、さらに前記外れ値を得る場合に前記外れ値が含むノイズ成分を減少させる手段を含み、前記指標を与える手段は、ノイズ成分をカットした後の外れ値を使用して前記指標を生成する、請求項１に記載の情報処理装置。
前記特徴量は、輝度値、色値、エッジ情報、空間周波数情報、テクスチャ情報、またはニューラルネットワークを使用して生成した値である、請求項１または２に記載の情報処理装置。
前記画像の特異性を、前記複数の参照画像の対応領域に関する偏差値として数値化する手段を含む、請求項１〜３のいずれか１項に記載の情報処理装置。
前記情報処理装置は、前記周辺領域の広がりの変更を許容する手段を含む、請求項１に記載の情報処理装置。
前記情報処理装置は、前記対象画像の１部または全部を拡大または縮小する手段を含む、請求項１に記載の情報処理装置。
前記外れ値を計算する手段は、拡大または縮小された前記対象画像を使用して外れ値を計算する、請求項１に記載の情報処理装置。
前記情報処理装置は、前記参照画像の追加を可能とし、前記情報処理装置は、追加された参照画像を含めて前記外れ値を計算するためのパラメータを更新し、更新後、更新された前記パラメータを使用して前記外れ値を計算する手段、および前記外れ値に対する閾値を外部設定することを可能とする手段を含む、請求項１に記載の情報処理装置。
検査対象の画像を含む対象画像を数値化する装置実行可能な方法であって、情報処理装置が、
前記対象画像を参照画像と対比するための前処理を行うこと、
前記対象画像に注目領域および前記注目領域に隣接する周辺領域を規定し、前記注目領域の特徴量を計算すること、
複数の前記参照画像中の前記注目領域および前記周辺領域に対応する画像の特徴量と、前記注目領域における画像の特徴量との比較によって、前記注目領域における画像の特異性を数値的に示す外れ値を計算すること、
前記外れ値に基づき検査に使用する指標を与えること
を実行する、方法。
さらに前記外れ値を得る場合に前記外れ値が含むノイズ成分を減少させること、および
前記ノイズ成分をカットした後の外れ値を使用して前記指標を生成することを含む、請求項９に記載の方法。
前記特徴量は、輝度値、色値、エッジ情報、空間周波数情報、テクスチャ情報、またはニューラルネットワークを使用して生成した値である請求項９または１０に記載の方法。
さらに、前記画像の特異性を、前記複数の参照画像の対応領域に関する偏差値として数値化することを含む、請求項９〜１１のいずれか１項に記載の方法。
情報処理装置を、請求項１〜８のいずれか１項に記載の手段として機能させる、装置実行可能なプログラム。
検査対象を検査するための検査システムであって、
前記検査対象の画像を含む対象画像を取得する撮像手段と、
前記対象画像を参照画像と対比するための前処理を行う手段と、
前記対象画像に注目領域および前記注目領域に隣接する周辺領域を規定し、前記注目領域の特徴量を計算する手段と、
複数の前記参照画像中の前記注目領域および前記周辺領域に対応する画像の特徴量と、前記注目領域における画像の特徴量との比較によって、前記注目領域における画像の特異性を数値的に示す外れ値を計算する手段と、
前記外れ値に基づき検査に使用する指標を与える手段と、
前記外れ値を得る場合に前記外れ値が含むノイズ成分を減少させる手段と、
前記ノイズ成分をカットした後の前記外れ値を使用して前記指標を与える手段と
前記指標を使用して前記対象画像から前記検査対象の欠陥を判定する手段と
を含む検査システム。