JP7637343B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来、画像処理装置として、特徴量空間上に分布する複数の画像について、類似度がしきい値以上の画像同士の集まりとなるように、画像の特徴量を用いて複数の画像群に分類するものが知られている（特許文献１参照）。特許文献１の画像処理装置は、算出された第１の特徴量及び第２の特徴量を横軸及び縦軸とする座標系に、複数の画像のそれぞれの点をプロットしている。

特開２０２０－４６９０２号公報

一方、検査対象物を撮影した計測画像において、検査対象物の種類、例えば、欠陥なし又は欠陥あり、及び欠陥ありであるときのその欠陥の種類の分類を求められることがある。

そのために、例えば特徴量を座標軸とする座標系において、計測画像の点とあらかじめその分類が分かっている学習画像の点とをプロットしたグラフを作成し、これらの点の分布から計測画像を分類する方法が提案されている。

しかしながら、例えば特徴量ごとに単位が異なる場合、このような特徴量をそのまま座標軸とする座標系のグラフを作成しようとすると、複数の学習画像のそれぞれの点が密集してプロットされて計測画像の分類が困難になったり、計測画像の点が学習画像の点から大きく離れた位置にプロットされてグラフ内に表示できなかったりすることがあった。その結果、操作者（ユーザ）は、各点の密集やグラフ内に表示できない点の発生を回避するために、座標軸ごとにスケールを調整する必要があり、操作が煩雑になっていた。

本発明は、このような事情に鑑みてなされたものであり、座標軸のスケール調整を行うことなく、適切なグラフを出力することのできる、画像処理装置及び画像処理方法を提供することを目的の１つとする。

本開示の一態様に係る画像処理装置は、検査対象物の計測画像を分類するための画像処理装置であって、計測画像の特徴量と学習画像の特徴量とに対し、複数の学習画像の特徴量に基づいて標準化及び正規化の少なくとも一方を行って変換後特徴量にそれぞれ変換する変換部と、変換後特徴量を座標軸とする座標系に計測画像の点と学習画像の点とをプロットしたグラフを作成する作成部と、グラフを出力する出力部と、を備える。

この態様によれば、計測画像の特徴量と学習画像の特徴量とに対し、複数の学習画像の特徴量に基づいて標準化及び正規化の少なくとも一方を行って変換後特徴量にそれぞれ変換され、変換後特徴量を座標軸とする座標系に計測画像の点と学習画像の点とをプロットしたグラフが作成され、当該グラフが出力される。これにより、各座標軸のスケーリングが自動的に行われるので、複数の学習画像のそれぞれの点を適切な密度で分布させることができ、計測画像を分類することが容易になる。また、計測画像の特徴量が学習画像の特徴量から大きく外れた値を有する場合でも、当該座標系内に計測画像の点をプロットすることが可能になる。従って、座標軸のスケール調整を行うことなく、適切なグラフを出力することができる。

前述した態様において、変換部は、計測画像の特徴量と学習画像の特徴量とに対し、複数の学習画像の特徴量に基づいて算出された平均及び標準偏差を用いて標準化を行ってもよい。

この態様によれば、計測画像の特徴量と学習画像の特徴量とに対し、複数の学習画像の特徴量に基づいて算出された平均及び標準偏差を用いて標準化が行なわれる。これにより、平均が“０”になり、標準偏差が“１”になるので、異なる特徴量との間であっても、変換後特徴量の値の比較が容易になる。

前述した態様において、変換部は、計測画像の特徴量と学習画像の特徴量とに対し、複数の学習画像の特徴量における最大値と最小値とを用いて正規化を行ってもよい。

この態様によれば、計測画像の特徴量と学習画像の特徴量とに対し、複数の学習画像の特徴量における最大値と最小値とを用いて正規化が行われる。これにより、変換後特徴量の値がある範囲に収まるので、異なる特徴量との間であっても、変換後特徴量の値の比較が容易になる。

前述した態様において、標準化及び正規化の少なくとも一方は、計測画像の特徴量にさらに基づいて行われてもよい。

この態様によれば、標準化及び正規化の少なくとも一方が、計測画像の特徴量にさらに基づいて行われる。これにより、標準化及び正規化の少なくとも一方を更に適切に行うことが可能になる。

前述した態様において、学習画像と該学習画像に付与された分類とに基づいて、計測画像を分類する分類部をさらに備えてもよい。

この態様によれば、学習画像と該学習画像に付与された分類とに基づいて、計測画像が分類される。これにより、作成されたグラフにおける視覚的な分布に基づいて推定される計測画像の分類と、分類部による計測画像の分類とを比較することができる。

前述した態様において、計測画像及び学習画像は、それぞれ、欠陥を含み得る検査対象物の画像であり、分類は、欠陥がないことを示すクラスと、欠陥があるときの該欠陥の種類を示すクラスとを含み、出力部は、分類に含まれるクラスごとにグラフにプロットされる点の表示形式を変更してもよい。

この態様によれば、計測画像及び学習画像は、それぞれ、欠陥を含み得る検査対象物の画像であり、分類は、欠陥がないことを示すクラスと、欠陥があるときの当該欠陥の種類を示すクラスとを含む。これにより、計測画像の欠陥の有無及びその種類を分類することが可能となる。また、分類に含まれるクラスに基づいて、グラフにプロットされる点の表示形式を変更する。これにより、クラスに応じて異なる表示形式の点でプロットされたグラフを出力することができる。

前述した態様において、分類部は、学習画像の特徴量と分類とを用いて学習させた学習済みモデルに計測画像の特徴量を入力し、該学習済みモデルから計測画像の分類を出力させてもよい。

この態様によれば、学習画像の特徴量と分類とを用いて学習させた学習済みモデルに計測画像の特徴量を入力し、当該学習済みモデルから計測画像の分類が出力される。これにより、さらに高精度な計測画像の分類を簡単かつ容易に得ることができる。

前述した態様において、学習画像の特徴量を入力とし、該学習画像の分類をラベルデータとして学習モデルを学習させ、学習済みモデルを生成する学習部をさらに備えてもよい。

この態様によれば、学習画像の特徴量を入力とし、学習画像の分類をラベルデータとして学習モデルを学習させ、学習済みモデルが生成される。これにより、学習済みモデル生成装置がなくても、学習済みモデルを得ることができる。

前述した態様において、複数の特徴量のそれぞれの指標に基づいて、複数の特徴量から少なくとも１つを選択する選択部をさらに備え、学習部は、学習画像における選択された特徴量を入力とし、該学習画像の分類をラベルデータとして学習モデルを学習させ、学習済みモデルを生成し、分類部は、学習済みモデルに計測画像における選択された特徴量を入力し、該学習済みモデルから前記計測画像の前記分類を出力させてもよい。

この態様によれば、学習画像における選択された特徴量を入力とし、該学習画像の分類をラベルデータとして学習モデルを学習させ、学習済みモデルを生成し、この学習済みモデルに計測画像における選択された特徴量を入力し、当該学習済みモデルから計測画像の分類を出力させる。これにより、学習時間を短縮することができるともに、学習済みモデルの過学習と計測画像の分類精度の低下とを抑制することができる。

前述した態様において、複数の特徴量のそれぞれの指標に基づいて、複数の特徴量から少なくとも１つを選択する選択部をさらに備え、作成部は、選択された特徴量の変換後特徴量を座標軸とする座標系に、計測画像の点と学習画像の点とをプロットしたグラフを作成してもよい。

この態様によれば、選択された特徴量の変換後特徴量を座標軸とする座標系に、計測画像の点と学習画像の点とをプロットしたグラフが作成される。これにより、特徴量の数（次元）を削減することができ、選択された特徴量の変換後特徴量を座標軸とする座標系において、計測画像の点と学習画像の点とを更に適切に分布させることができる。

本開示の他の態様に係る画像処理方法は、検査対象物の計測画像を分類するための画像処理方法であって、計測画像の特徴量と学習画像の特徴量とに対し、複数の学習画像の特徴量に基づいて標準化及び正規化の少なくとも一方を行って変換後特徴量にそれぞれ変換するステップと、変換後特徴量を座標軸とする座標系に計測画像の点と学習画像の点とをプロットしたグラフを作成するステップと、グラフを出力するステップと、を含む。

この態様によれば、計測画像の特徴量と学習画像の特徴量とに対し、複数の学習画像の特徴量に基づいて標準化及び正規化の少なくとも一方を行って変換後特徴量にそれぞれ変換され、変換後特徴量を座標軸とする座標系に計測画像の点と学習画像の点とをプロットしたグラフが作成され、当該グラフが出力される。これにより、各座標軸のスケーリングが自動的に行われるので、複数の学習画像のそれぞれの点を適切な密度で分布させることができ、計測画像を分類することが容易になる。また、計測画像の特徴量が学習画像の特徴量から大きく外れた値を有する場合でも、当該座標系内に計測画像の点をプロットすることが可能になる。従って、座標軸のスケール調整を行うことなく、適切なグラフを出力することができる。

本発明によれば、座標軸のスケール調整を行うことなく、適切なグラフを出力することができる。

図１は、一実施形態における画像検査システムの概略構成を例示する構成図である。 図２は、一実施形態における学習済みモデル生成装置、画像検査装置、及び画像処理装置の物理的構成を示す構成図である。 図３は、一実施形態における画像処理装置の機能ブロックの構成を示す構成図である。 図４は、学習データの一例を示す図である。 図５は、計測画像の特徴量及び学習画像の特徴量の一例を示す図である。 図６は、計測画像の特徴量に対する変換後特徴量及び学習画像の特徴量に対する変換後特徴量の一例を示す図である。 図７は、作成部によって作成されるグラフの一例を示す図である。 図８は、特徴量選択画面の一例を示す図である。 図９は、一実施形態における画像処理装置が行う画像処理の一例を説明するためのフローチャートである。

以下に本発明の実施形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号で表している。但し、図面は模式的なものである。従って、具体的な寸法等は以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。さらに、本発明の技術的範囲は、当該実施形態に限定して解するべきではない。

まず、図１を参照しつつ、一実施形態に従う画像検査システムの構成について説明する。図１は、一実施形態における画像検査システム１の概略構成を例示する構成図である。

図１に示すように、画像検査システム１は、学習済みモデル生成装置１０と、画像検査装置２０と、画像処理装置３０と、照明ＩＬとを含んでいる。学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０は、通信ネットワークＮＷを介して、互いに通信可能に接続されている。照明ＩＬは、検査対象物ＴＡに光Ｌを照射する。画像検査装置２０は、反射光Ｒを撮影し、検査対象物ＴＡを計測した画像（以下、「計測画像」ともいう）に基づいて、検査対象物ＴＡの検査を行う。より詳細には、画像検査装置２０は、計測画像に基づいて、検査対象物ＴＡが良品であるか不良品であるかを判定したり、検査対象物ＴＡが欠陥を含むか否かを判定したりする。

学習済みモデル生成装置１０は、画像処理装置３０が計測画像を分類するために用いる学習済みモデルを生成する。また、学習済みモデル生成装置１０は、画像検査装置２０が検査を行うために用いる学習済みモデルを生成してもよい。

画像処理装置３０は、検査対象物ＴＡの計測画像を分類するためのものである。計測画像は検査対象物ＴＡの画像であり、検査対象物ＴＡには、例えば製造工程において欠陥が生じることがある。欠陥は、特に限定されるものではないが、例えば、欠け、傷、薄い汚れ、濃い汚れ、クラック、バリ、付着物、異物、打痕、色等のムラ、印字のかすれ、印字等の位置ずれ等の視認可能なものを含む。よって、計測画像は、このような欠陥の部分画像（以下、単に「欠陥」ともいう）を含み得る。

前述したように、画像検査装置２０は、計測画像に基づいて検査対象物ＴＡが欠陥を含むか否かを判定することが可能である。一方、画像処理装置３０は、計測画像に基づいて、当該計測画像における欠陥の有無、及び、欠陥があるときの当該欠陥の種類を分類することが可能である。そのため、画像処理装置３０は、例えば、計測画像の分析や解析、計測画像に含まれ得る欠陥の原因の推定及び／又は絞り込みに有用である。

次に、図２を参照しつつ、一実施形態に従う学習済みモデル生成装置、画像検査装置、及び画像処理装置の物理的構成について説明する。図２は、一実施形態における学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０の物理的構成を示す構成図である。

図２に示すように、学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０は、それぞれ、プロセッサ３１と、メモリ３２と、記憶装置３３と、通信装置３４と、入力装置３５と、出力装置３６と、を備える。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。

プロセッサ３１は、学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０の各部の動作を制御するように構成されている。プロセッサ３１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））、ＳｏＣ（Ｓｙｓｍｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等の集積回路を含んで構成される。

メモリ３２及び記憶装置３３は、それぞれ、プログラムやデータ等を記憶するように構成されている。メモリ３２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）及び／又はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。記憶装置３３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及び／又はｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）等のストレージから構成される。

通信装置３４は、有線及び無線の少なくとも一方のネットワークを介して通信を行うように構成されている。通信装置３４は、例えば、ネットワークカード、通信モジュール、他の機器に接続するインターフェース等を含んで構成される。

入力装置３５は、ユーザの操作により情報を入力できるように構成されている。入力装置３５は、例えば、キーボード、タッチパネル、マウス、ポインティングデバイス、及び／又はマイク等を含んで構成される。

出力装置３６は、情報を出力するように構成されている。出力装置３６は、例えば液晶ディスプレイ、ＥＬ(Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ)ディスプレイ、プラズマディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置、及び／又はスピーカ等を含んで構成される。

なお、図２に示す例では、学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０が、それぞれ、一台のコンピュータで構成される場合について説明するが、これに限定されるものではない。学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０は、それぞれ、複数のコンピュータが組み合わされて実現されてもよい。また、図２で示す構成は一例であり、学習済みモデル生成装置１０、画像検査装置２０、及び画像処理装置３０は、それぞれ、これら以外の構成を備えてもよいし、これらの構成のうち一部を備えなくてもよい。

次に、図３から図８を参照しつつ、一実施形態に従う画像処理装置の機能ブロックについて説明する。図３は、一実施形態における画像処理装置３０の機能ブロックの構成を示す構成図である。図４は、学習用データ３２１の一例を示す図である。図５は、計測画像３２７の特徴量及び学習画像３２１ａの特徴量の一例を示す図である。図６は、計測画像３２７の特徴量に対する変換後特徴量３２８及び学習画像３２１ａの特徴量に対する変換後特徴量３２２の一例を示す図である。図７は、作成部３５０によって作成されるグラフの一例を示す図である。図８は、特徴量選択画面ＳＳの一例を示す図である。

図３に示すように、画像処理装置３０は、通信部３１０と、記憶部３２０と、学習部３３０と、変換部３４０と、作成部３５０と、分類部３６０と、選択部３７０と、出力部３８０と、を備える。

通信部３１０は、各種の情報を送信及び受信可能に構成されている。通信部３１０は、例えば、通信ネットワークＮＷを介して、学習済みモデル生成装置１０又は他の装置から複数の学習用データ３２１を受信する。また、通信部３１０は、例えば、通信ネットワークＮＷを介して、画像検査装置２０又は他の装置から計測画像３２７を受信する。さらに、通信部３１０は、例えば、通信ネットワークＮＷを介して、学習済みモデル生成装置１０から学習済みモデル３２５を受信する。受信した複数の学習用データ３２１及び学習済みモデル３２５は、記憶部３２０に書き込まれて記憶される。なお、通信部３１０は、複数の学習用データ３２１及び計測画像３２７のみを受信してもよい。通信部３１０が複数の学習用データ３２１及び計測画像３２７のみを受信する場合、後述する学習部３３０は、複数の学習用データ３２１を用いて学習済みモデル３２５を生成する。

記憶部３２０は、各種の情報を記憶するように構成されている。記憶部３２０は、例えば、複数の学習用データ３２１と、学習済みモデル３２５と、計測画像３２７とを記憶する。このように、学習済みモデル３２５を記憶する記憶部３２０を備えることにより、学習済みモデルを容易に読み出すことができる。

学習部３３０は、記憶部３２０に記憶された複数の学習用データ３２１を用い、学習モデルの機械学習を実行し、学習済みモデル３２５を生成するように構成されている。生成した学習済みモデル３２５は、記憶部３２０に書き込まれて記憶される。

より詳細には、学習部３３０は、学習用データ３２１に含まれる学習画像の特徴量を入力とし、当該学習画像の分類をラベルデータとして学習モデルを学習させ、学習済みモデル３２５を生成するように構成されている。

図４に示すように、複数の学習用データ３２１は、それぞれ、学習画像３２１ａ及びラベルデータ３２１ｂを含んでいる。すなわち、各学習用データ３２１は、学習画像３２１ａとラベルデータ３２１ｂとの組合せで構成されている。学習画像３２１ａは、前述した計測画像と同様に、欠陥を含み得る検査対象物ＴＡの画像である。

一般的に、ラベルデータは、学習モデルの機械学習の際に、当該学習モデルに入力される入力データの性質を表すデータである。別の言い方をすれば、ラベルデータは、当該学習モデルが出力すべきデータであり、学習の目標とされるデータである。本実施形態では、ラベルデータ３２１ｂは、対応する学習画像３２１ａの分類、厳密には、対応する学習画像３２１ａの特徴量に基づく分類である。このように、学習用データ３２１において、学習画像３２１ａには分類が付与されている。この分類は、学習画像３２１ａに欠陥を含まない（以下、「欠陥がない」又は「欠陥なし」ともいう）ことを示すクラスと、学習画像３２１ａに欠陥を含む（以下、「欠陥がある」又は「欠陥あり」ともいう）ときの当該欠陥の種類を示すクラスとを含んでいる。

より詳細には、ラベルデータ３２１ｂに、対応する学習画像３２１ａの分類を示すクラスが設定されており、当該クラスはＩＤで表されている。例えば、ラベルデータ３２１ｂが“０”（ＩＤ：０）である場合、対応する学習画像３２１ａは“欠陥なし”であることを示すクラスに分類される。また、ラベルデータ３２１ｂが“１”（ＩＤ：１）である場合、対応する学習画像３２１ａは“欠陥あり”であって、その欠陥の種類が“欠け”であることを示すクラスに分類される。また、ラベルデータ３２１ｂが“２”（ＩＤ：２）である場合、対応する学習画像３２１ａは“欠陥あり”であって、その欠陥の種類が“傷”であることを示すクラスに分類される。また、ラベルデータ３２１ｂが“３”（ＩＤ：３）である場合、対応する学習画像３２１ａは“欠陥あり”であって、その欠陥の種類が“濃い汚れ”であることを示すクラスに分類される。さらに、ラベルデータ３２１ｂが“４”（ＩＤ：４）である場合、対応する学習画像３２１ａは“欠陥あり”であって、その欠陥の種類が“薄い汚れ”であることを示すクラスに分類される。

このように、計測画像３２７及び学習画像３２１ａは、それぞれ、欠陥を含み得る検査対象物ＴＡの画像であり、分類は、欠陥がないことを示すクラスと、欠陥があるときの当該欠陥の種類を示すクラスとを含むことにより、計測画像３２７の欠陥の有無及びその種類を分類することが可能となる。

ここで、特徴量は、求めたい事物の特徴を定量的に表した変数である。学習モデルの機械学習の際に、当該学習モデルに入力される学習画像３２１ａの特徴量は、例えば、欠陥を含み得る検査対象物ＴＡの画像であることを特徴づけるものである。具体的には、学習画像３２１ａの特徴量は、面積、重心位置のｘ座標、重心位置のｙ座標、扁平率、画像の濃度平均等で表される濃淡値等が挙げられる。一般的に、学習画像３２１ａは、１種類の特徴量だけで検査対象物ＴＡの画像であることを認識可能である場合は少なく、複数種類の特徴量を用いて検査対象物ＴＡの画像であることを認識できる場合が多い。

学習部３３０は、学習部３３０は、学習画像３２１ａから１つ又は複数の特徴量を算出し、算出した特徴量を学習モデルに入力する。なお、学習モデルに入力される特徴量は、学習画像３２１ａに基づいてあらかじめ算出され、学習用データ３２１に含まれていてもよい。また、学習モデルに入力する特徴量は、後述する変換後特徴量であってもよい。さらに、学習画像３２１ａについて複数の特徴量が使用される場合、後述するように、当該複数の特徴量から選択された少なくとも１つの特徴量を学習モデルに入力してもよい。

学習済みモデル３２５の生成には、例えば、Ｋ近傍法、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、決定木、回帰モデル、ニューラルネットワーク等の学習モデルが使用可能である。例えば、学習モデルがニューラルネットワークである場合、学習画像３２１ａの特徴量を入力し、その出力とラベルデータとの差に基づいて、誤差逆伝播法にニューラルネットワークの重みを更新する。このプロセスを複数の学習用データ３２１のそれぞれについて行うことで、学習済みモデル３２５が生成される。なお、学習モデルは、前述したものに限定されず、学習部３３０は、その他のアルゴリズムを用いて学習済みモデル３２５を生成してもよい。

このように、学習画像３２１ａの特徴量を入力とし、学習画像３２１ａの分類をラベルデータとして学習モデルを学習させ、学習済みモデル３２５を生成することにより、学習済みモデル生成装置１０がなくても、学習済みモデル３２５を得ることができる。

なお、通信部３１０が、通信ネットワークＮＷを介して、学習済みモデル生成装置１０から学習済みモデル３２５を受信する場合、学習済みモデル生成装置１０は、学習部３３０と同様の機能を有する。すなわち、学習済みモデル生成装置１０は、学習部３３０についての説明と同様の方法で、学習モデルを学習させて学習済みモデル３２５を生成する。そのため、学習済みモデル生成装置１０については、その詳細な説明を省略する。

変換部３４０は、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに対し、複数の学習画像３２１ａの特徴量に基づいて標準化及び正規化の少なくとも一方を行って変換後特徴量３２８及び変換後特徴量３２２にそれぞれ変換するように構成されている。計測画像３２７及び学習画像３２１ａについて複数の特徴量が使用される場合、変換部３４０は、特徴量ごとに、計測画像３２７の変換後特徴量３２８及び学習画像３２１ａの変換後特徴量３２２のそれぞれに変換する。また、複数の学習画像３２１ａが存在する場合、変換部３４０は、複数の学習画像３２１ａのそれぞれについて、学習画像３２１ａの変換後特徴量３２２に変換する。計測画像３２７の特徴量に対する変換後特徴量３２８と学習画像３２１ａの特徴量に対する変換後特徴量３２２とは、記憶部３２０に書き込まれて記憶される。また、変換後特徴量３２８及び変換後特徴量３２２は、作成部３５０に出力される。

ここで、図５に示すように、計測画像３２７と複数の学習画像３２１ａとは、それぞれ、例えば第１特徴量から第５特徴量の５つの特徴量で特徴付けられる。第１特徴量は、例えば画像の面積であり、単位はピクセルである。第２特徴量は、例えば画像の重心のｘ座標であり、単位はピクセルである。第３特徴量は、例えば画像の重心のｙ座標であり、単位はピクセルである。第４特徴量は、例えば画像の扁平率であり、ゼロから１の値であって単位なし（無次元）である。第５特徴量は、例えば画像の濃淡値であり、ゼロから２５５の明度であって単位なし（無次元）である。

従来、特徴量ごとの単位等が異なる場合、このような特徴量をそのまま座標軸とする座標系のグラフを作成しようとすると、複数の学習画像３２１ａのそれぞれの点が密集してプロットされて計測画像３２７の分類が困難になることや、計測画像３２７の点が学習画像３２１ａの点から大きく離れた位置にプロットされてグラフ内に表示できないことがあった。その結果、操作者（ユーザ）は、各点の密集やグラフ内に表示できない点の発生を回避するために、座標軸ごとにスケールを調整する必要があり、操作が煩雑になっていた。

これに対し、本実施形態の画像処理装置３０は、変換部３４０が、図５に示す計測画像３２７の特徴量と学習画像３２１ａの特徴量とに対し、図６に示すように、例えば、複数の学習画像３２１ａの特徴量に基づいて標準化を行い、変換後特徴量３２８及び変換後特徴量３２２にそれぞれ変換する。

より詳細には、変換部３４０は、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに対し、複数の学習画像３２１ａの特徴量に基づいて算出された平均及び標準偏差を用いて標準化を行うように構成されている。

具体的には、計測画像３２７の各変換後特徴量Ｙｉ（ｉ＝１，２，３，４，５）は、計測画像３２７の変換前の第ｉ特徴量Ｘｉ（ｉ＝１，２，３，４，５）と、各学習画像３２１ａの第ｉ特徴量に基づいて算出された平均μｉと、各学習画像３２１ａにおいて対応する第ｉ特徴量に基づいて算出された標準偏差ρｉと、を用い、以下の式（１）で算出することができる。
Ｙｉ＝（Ｘｉ－μｉ）／ρｉ …（１）

同様に、学習画像３２１ａの各変換後特徴量Ｍｉ（ｉ＝１，２，３，４，５）は、学習画像３２１ａの変換前の第ｉ特徴量Ｌｉ（ｉ＝１，２，３，４，５）と、前述の平均μｉ及び標準偏差ρｉと、を用い、以下の式（２）で算出することができる。
Ｍｉ＝（Ｌｉ－μｉ）／ρｉ …（２）

このように、計測画像３２７の第ｉ特徴量と学習画像３２１ａの第ｉ特徴量とに対し、複数の学習画像３２１ａの第ｉ特徴量に基づいて算出された平均μｉ及び標準偏差ρｉを用いて標準化を行うことにより、平均μｉが“０”になり、標準偏差ρｉが“１”になるので、異なる特徴量との間であっても、変換後特徴量３２８及び変換後特徴量３２２の値の比較が容易になる。

また、変換部３４０は、前述した標準化に代えて、又は、前述した標準化に加えて、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに対し、複数の学習画像３２１ａの特徴量における最大値と最小値とを用いて正規化を行うように構成されている。

具体的には、計測画像３２７の各変換後特徴量Ｔｉ（ｉ＝１，２，３，４，５）は、計測画像３２７の変換前の第ｉ特徴量Ｓｉ（ｉ＝１，２，３，４，５）と、各学習画像３２１ａの第ｉ特徴量における最大値ＭＡＸｉと、各学習画像３２１ａの第ｉ特徴量における最小値ＭＩＮｉと、を用い、以下の式（３）で算出することができる。
Ｔｉ＝（Ｓｉ－ＭＩＮｉ）／（ＭＡＸｉ－ＭＩＮｉ） …（３）

同様に、学習画像３２１ａの各変換後特徴量Ｑｉ（ｉ＝１，２，３，４，５）は、学習画像３２１ａの変換前の第ｉ特徴量Ｐｉ（ｉ＝１，２，３，４，５）と、前述の最大値ＭＡＸｉ及び最小値ＭＩＮｉと、を用い、以下の式（４）で算出することができる。
Ｑｉ＝（Ｐｉ－ＭＩＮｉ）／（ＭＡＸｉ－ＭＩＮｉ） …（４）

このように、計測画像３２７の第ｉ特徴量と学習画像３２１ａの第ｉ特徴量とに対し、複数の学習画像３２１ａの第ｉ特徴量における最大値ＭＡＸｉと最小値ＭＩＮｉとを用いて正規化を行うことにより、変換後特徴量３２８及び変換後特徴量３２２の値がある範囲に収まるので、異なる特徴量との間であっても、変換後特徴量３２８及び変換後特徴量３２２の値の比較が容易になる。

前述した標準化及び正規化では、複数の学習画像３２１ａの特徴量のみに基づいて行われる例を示したが、これに限定されるものではない。例えば、変換部３４０は、標準化及び正規化の少なくとも一方を、計測画像３２７の特徴量にさらに基づいて行ってもよい。具体的には、前述の平均μｉは、各学習画像３２１ａの第ｉ特徴量と計測画像３２７の第ｉ特徴量とから算出され、前述の標準偏差ρｉは、各学習画像３２１ａの第ｉ特徴量と計測画像３２７の第ｉ特徴量とから算出されてもよい。同様に、例えば、前述の最大値ＭＡＸｉは、各学習画像３２１ａの第ｉ特徴量と計測画像３２７の第ｉ特徴量とにおける最大値であり、前述の最小値ＭＩＮｉは、各学習画像３２１ａの第ｉ特徴量と計測画像３２７の第ｉ特徴量とにおける最小値であってもよい。

このように、前述した標準化及び正規化の少なくとも一方が、計測画像３２７の第ｉ特徴量にさらに基づいて行われることにより、標準化及び正規化の少なくとも一方を更に適切に行うことが可能になる。

図３の説明に戻り、作成部３５０は、変換部３４０によって変換された変換後特徴量を座標軸とする座標系に計測画像３２７の点と学習画像３２１ａの点とをプロットしたグラフを作成するように構成されている。作成部３５０は、作成したグラフを出力部３８０に出力する。

また、作成部３５０は、作成するグラフに関して、例えば、拡大率、縮小率、回転角、仰角等のパラメータを変更可能に構成されている。よって、操作者（ユーザ）は、前述の入力装置３５を介した入力操作によって、これらのパラメータを任意に変更することができる。

出力部３８０は、作成部３５０によって作成されたグラフを出力するように構成されている。具体的には、出力部３８０は、作成部３５０から入力されたグラフを前述した出力装置３６に出力し、当該グラフは表示装置等に表示される。なお、グラフの出力は、出力装置３６に限定されるものではない。例えば、出力部３８０は、当該グラフを外部の装置に出力してもよい。

図７に示すように、グラフは、例えば３次元（３Ｄ）の座標系で表される。Ｘ軸に平行な方向の第１座標軸は、例えば画像の面積である前述の第１特徴量の変換後特徴量であり、Ｙ軸に平行な方向の第２座標軸は、例えば画像の重心のｘ座標である前述の第２特徴量の変換後特徴量であり、Ｚ軸に平行な方向の第３座標軸は、例えば画像の重心のｙ座標である前述の第３特徴量の変換後特徴量である。

図７に示す例では、丸で示される計測画像３２７の点は、第１座標軸正方向側かつ第２座標軸負方向側に配置される、それぞれ十字で示される、複数の学習画像３２１ａの各点のグループ内に配置されている。そのため、計測画像３２７の分類は、当該複数の学習画像３２１ａに付与された分類と同じであると視覚的に推定することができる。

なお、作成部３５０が作成するグラフは、３次元の座標系にプロットする場合に限定されるものではない。作成部３５０は、３次元以外の次元数、例えば２次元又は４次元以上の座標系に、計測画像３２７の点と学習画像３２１ａの点とをプロットしたグラフを作成してもよい。

このように、変換後特徴量を座標軸とする座標系に計測画像３２７の点と学習画像３２１ａの点とをプロットしたグラフを作成し、当該グラフを出力することにより、各座標軸のスケーリングが自動的に行われるので、複数の学習画像３２１ａのそれぞれの点を適切な密度で分布させることができ、計測画像３２７を分類することが容易になる。また、計測画像３２７の特徴量が学習画像の特徴量から大きく外れた値を有する場合でも、当該座標系内に計測画像３２７の点をプロットすることが可能になる。従って、座標軸のスケール調整を行うことなく、適切なグラフを出力することができる。

図３の説明に戻り、分類部３６０は、学習画像３２１ａと該学習画像３２１ａに付与された分類とに基づいて、計測画像３２７を分類するように構成されている。これにより、作成されたグラフにおける視覚的な分布に基づいて推定される計測画像３２７の分類と、分類部３６０による計測画像３２７の分類とを比較することができる。

より詳細には、分類部３６０は、学習画像３２１ａの特徴量と分類とを用いて学習させた学習済みモデル３２５に計測画像３２７の特徴量を入力し、当該学習済みモデル３２５から計測画像３２７の分類を出力させるように構成されている。学習済みモデル３２５が、学習モデルの機械学習の際に、当該学習モデルに学習画像３２１ａの変換後特徴量３２２を入力して生成された場合、学習済みモデル３２５に計測画像３２７の変換後特徴量３２８を入力する。

具体的には、分類部３６０は、記憶部３２０に記憶された学習済みモデル３２５及び計測画像３２７の変換後特徴量３２８をそれぞれ読み出し、学習済みモデル３２５に変換後特徴量３２８を入力して計測画像３２７の分類を出力させる。学習済みモデル３２５から出力された計測画像３２７の分類は、記憶部３２０に書き込まれて記憶される。また、分類部３６０は、学習済みモデル３２５から出力された計測画像３２７の分類を出力部３８０に出力するとともに、記憶部３２０から複数の学習用データ３２１のそれぞれを読み出し、複数の学習画像３２１ａに付与されたそれぞれの分類を出力部３８０に出力する。なお、分類部３６０は、学習済みモデル３２５の出力をそのまま計測画像３２７の分類として用いなくてもよく、任意の後処理を行ってよい。

このように、学習画像３２１ａの特徴量と分類とを用いて学習させた学習済みモデル３２５に計測画像３２７の特徴量を入力し、当該学習済みモデル３２５から計測画像３２７の分類を出力させることにより、さらに高精度な計測画像３２７の分類を簡単かつ容易に得ることができる。

前述した出力部３８０は、計測画像３２７及び学習画像３２１ａの分類に含まれるクラスに基づいて、グラフにプロットされる点の表示形式を変更するように構成されていてもよい。表示形式の変更は、計測画像３２７の分類が、どのクラス集合に近いかを確認するために、例えば、指定されたＩＤのクラスに属する点について、（Ａ）他のＩＤのクラスに属する点の色、例えば白色に対して異なる色、例えば緑色に変えること、（Ｂ）他のＩＤのクラスに属する点の形状、例えば三角に対して異なる形状、例えば十字に変えること、等が挙げられる。あるいは、出力部３８０は、ＩＤが示すクラスごとに、プロットする点の色や形状を変え、プロットする点とクラスとが紐づくようにしてもよい。これにより、クラスに応じて異なる表示形式の点でプロットされたグラフを出力することができる。

本実施形態では、分類部３６０が学習済みモデル３２５を用いて計測画像３２７の分類を得る例を示したが、これに限定されるものではない。例えば、分類部３６０は、マハラノビス距離に基づいて計測画像３２７を分類してもよい。この場合、分類部３６０は、所定の座標系において、複数の学習画像３２１ａの分類ごとに形成される複数の点群（グループ）に対し、計測画像３２７の点とそれぞれの点群との間のマハラノビス距離を算出する。そして、分類部３６０は、マハラノビス距離が最小となるような点群のクラスに属するものとして、計測画像３２７の分類を決定する。

また、分類部３６０は、１つの分類手法によって計測画像３２７を分類する場合に限定されず、複数の分類手法から選択した１つ以上の分類手法を用いて、計測画像３２７を分類してもよい。この場合、分類手法ごとに、当該分類手法に従う計測画像３２７の分類が得られる。また、記憶部３２０は、各分類手法に従ってそれぞれ学習させた複数の学習済みモデルを記憶していてもよい。

選択部３７０は、複数の特徴量のそれぞれの指標に基づいて、複数の特徴量から少なくとも１つを選択するように構成されている。選択された特徴量は、記憶部３２０に書き込まれて記憶される。

図８に示すように、例えば、複数の特徴量から少なくとも１つの特徴量を選択可能な特徴量選択画面ＳＳが表示される。選択部３７０は、特徴量選択画面ＳＳの表示に必要なデータを生成し、生成したデータを前述した出力装置３６に出力することで、特徴量選択画面ＳＳを表示装置等に表示することができる。特徴量選択画面ＳＳは、例えば、第１領域Ｒ１と、確認ボタンＢ１と、第２領域Ｒ２と、第３領域Ｒ３とを含んでいる。

第１領域Ｒ１は、複数の特徴量の中から少なくとも１つの特徴量を選択するためのものである。図８に示す例では、第１領域Ｒ１は、第１特徴量から第１５特徴量のチェックボックスを含んでおり、そのうち、選択対象外となる第６特徴量から第１５特徴量のチェックボックスはグレーアウトされ、選択不能となっている。一方、第１特徴量から第５特徴量のチェックボックスは、“オン”になっている。操作者（ユーザ）は、入力操作によってこれらのチェックボックスを“オン”又は“オフ”に変更することで、当該特徴量の選択状態又は非選択状態を設定することができる。

第２領域Ｒ２は、選択された特徴量に基づく学習画像３２１ａの分類の正解率を表示するためのものである。複数の分類手法が存在する場合、分類手法ごとに、選択された特徴量に基づく学習画像３２１ａの分類の正解率が表示される。具体的には、第１領域Ｒ１のチェックボックスのうちの少なくとも１つが“オン”になっているときに、操作者（ユーザ）が確認ボタンＢ１を押下すると、第２領域Ｒ２に、分類手法ごとの分類の正解率が算出され、表示される。

分類の正解率は、例えば、複数の学習画像３２１ａのそれぞれについて、選択された特徴量に基づいて、当該分類手法を用いて取得される分類と、当該学習画像３２１ａに対応するラベルデータ３２１ｂの分類とを比較し、一致するか否かを判定する。そして、全ての学習画像３２１ａについて、取得された分類と対応するラベルデータ３２１ｂの分類とが一致した個数の割合（％）を算出する。図８に示す例では、第１特徴量から第５特徴量までの全ての特徴量が選択されているので、第１分類手法から第４分類手法までのそれぞれにおいて、正解率は“１００．０”（％）となっている。

第３領域Ｒ３は、特徴量ごとの指標を表示するためのものである。複数の分類手法が存在する場合、分類手法ごと、且つ、特徴量ごとに、当該特徴量の指標が表示される。

特徴量の指標は、例えば、複数の学習画像３２１ａのそれぞれについて、その特徴量を使用しないときに当該分類手法を用いて取得される分類と、当該学習画像３２１ａに対応するラベルデータ３２１ｂの分類とを比較し、一致するか否かを判定する。そして、全ての学習画像３２１ａについて、取得された分類と対応するラベルデータ３２１ｂの分類とが一致しない個数を指標として算出する。この場合、指標が“０”であるとき、その特徴量は分類のために不要であり、指標が“０”以外であるとき、その特徴量は分類のために必要である蓋然性が高い。図８に示す例では、例えば、第１分類方法において、第１特徴量、第２特徴量、及び第３特徴量の指標は全て“０”であるのに対し、第４特徴量及び第５特徴量の指標は、それぞれ、“２”である。よって、第１分類方法では、第４特徴量及び第５特徴量を選択すればよいことが推定される。

なお、特徴量の指標は、前述した例に限定されるものではなく、多種多様な方法で算出することができる。例えば、特徴量を選択するための方法として知られている、複数の特徴量を１つずつ独立に評価してランク付けを行うフィルタ法、複数の特徴量を組み合わせて評価するラッパー法、又は、学習モデルの学習と特徴量の評価とを同時に行う組み込み法等を使用し、特徴量の指標を算出することができる。また、特徴量の指標は、数値又は算出可能なものに限定されず、特徴量を選択するための基準、程度、又は目安等になるものであれば、例えば、レベル、ランク、クラス、級（等級）等であってもよい。

本実施形態では、選択部３７０が、特徴量選択画面ＳＳを表示させ、操作者（ユーザ）の入力操作に従って特徴量を選択する例を示したが、これに限定されるものではない。例えば、選択部３７０は、複数の特徴量のそれぞれの指標に基づいて複数の特徴量から少なくとも１つの特徴量を自動的に選択してもよい。図８を用いて説明した前述の例では、第１分類方法において、第４特徴量及び第５特徴量の指標は、それぞれ、“０”以外であるから、選択部３７０は、第１特徴量から第５特徴量のうちの第４特徴量及び第５特徴量を自動的に選択する。

また、作成部３５０は、選択部３７０により選択された特徴量に基づいてグラフを作成してもよい。すなわち、作成部３５０は、選択された特徴量の変換後特徴量を座標軸とする座標系に、計測画像３２７の点と学習画像３２１ａの点とをプロットしたグラフを作成する。これにより、特徴量の数（次元）を削減することができ、選択された特徴量の変換後特徴量を座標軸とする座標系において、計測画像３２７の点と学習画像３２１ａの点とを更に適切に分布させることができる。

さらに、学習部３３０は、選択部３７０により選択された特徴量を学習モデルに入力して機械学習を行い、分類部３６０は、学習済みモデル３２５に選択部３７０により選択された特徴量を入力して計測画像３２７の分類を出力させてもよい。すなわち、学習部３３０は、学習画像３２１ａにおける選択された特徴量を入力とし、該学習画像３２１ａの分類をラベルデータとして学習モデルを学習させ、学習済みモデル３２５を生成する。そして、分類部３６０は、この学習済みモデル３２５に計測画像３２７における選択された特徴量を入力し、当該学習済みモデル３２５から計測画像３２７の分類を出力させる。これにより、学習時間を短縮することができるともに、学習済みモデル３２５の過学習と計測画像３２７の分類精度の低下とを抑制することができる。

なお、学習部３３０、変換部３４０、作成部３５０、分類部３６０、選択部３７０、及び出力部３８０のうちの少なくとも１つは、プロセッサ３１が、記憶装置３３に記憶されたプログラムを実行することにより実現されてもよい。プログラムを実行する場合、当該プログラムは、記憶媒体に格納されていてもよい。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）であってもよい。非一時的な記憶媒体は、特に限定されないが、例えば、ＵＳＢメモリ、又はＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＲＯＭ）等の記憶媒体であってもよい。

次に、図９を参照しつつ、一実施形態に従う画像処理装置が行う処理手順について説明する。図９は、一実施形態における画像処理装置３０が行う画像処理Ｓ１００の一例を説明するためのフローチャートである。

なお、以下の例では、記憶部３２０に複数の学習用データ３２１、学習済みモデル３２５、及び計測画像３２７が記憶されているものとして、説明する。

図９に示すように、まず、変換部３４０は、記憶部３２０に記憶された計測画像３２７及び複数の学習用データ３２１を読み出し、当該計測画像３２７の特徴量に対し、複数の学習用データ３２１の学習画像３２１ａの特徴量に基づいて標準化及び正規化の少なくとも一方を行い、変換後特徴量３２８に変換する（ステップＳ１０１）。変換された変換後特徴量３２８は、記憶部３２０に記憶される。

次に、変換部３４０は、記憶部３２０に記憶された複数の学習用データ３２１を読み出し、当該複数の学習用データ３２１の学習画像３２１ａのそれぞれの特徴量に対し、複数の学習用データ３２１の学習画像３２１ａの特徴量に基づいて標準化及び正規化の少なくとも一方を行い、変換後特徴量３２２に変換する（ステップＳ１０２）。変換された変換後特徴量３２２は、記憶部３２０に記憶される。

次に、作成部３５０は、図示しないパラメータ設定画面における入力に基づいて、パラメータの入力があるか否かを判定する（Ｓ１０３）。操作者（ユーザ）は、パラメータ設定画面において、拡大率、縮小率、回転角、仰角等のパラメータの値を変更することができる。

ステップＳ１０３の判定の結果、パラメータの入力がある場合、作成部３５０は、入力に応じたデータを生成し、当該パラメータに設定する（Ｓ１０４）。一方、ステップＳ１０３の判定の結果、パラメータの入力がない場合、作成部３５０はステップＳ１０４を行わない。このとき、作成部３５０は、例えばデフォルトに応じたデータをパラメータに設定する。

次に、選択部３７０は、図８に示す特徴量選択画面ＳＳにおける入力に基づいて、特徴量の選択があるか否かを判定する（Ｓ１０５）。操作者（ユーザ）は、特徴量選択画面ＳＳの第１領域Ｒ１において、各特徴量のチェックボックスを“オン”又は“オフ”に変更することができる。

ステップＳ１０５の判定の結果、特徴量の選択がある場合、選択部３７０は、複数の特徴量から当該選択に従って１つ又は複数の特徴量を選択し、作成部３５０は、選択された特徴量の変換後特徴量を座標軸に設定する（Ｓ１０６）。一方、ステップＳ１０５の判定の結果、特徴量の選択がない場合、選択部３７０及び作成部３５０はステップＳ１０６を行わない。このとき、作成部３５０は、例えばデフォルトに従った特徴量の変換後特徴量を座標軸に設定する。

次に、作成部３５０は、記憶部３２０に記憶された計測画像３２７及び複数の学習用データ３２１を読み出し、設定された特徴量の変換後特徴量を座標軸とする座標系に、計測画像３２７の点と、複数の学習画像３２１ａのそれぞれの点とをプロットしたグラフを作成する（Ｓ１０７）。そして、出力部３８０は、ステップＳ１０７で作成されたグラフを表示装置等に出力する（Ｓ１０８）。

ステップＳ１０８の後、画像処理装置３０は、通信部３１０が別の計測画像３２７を受信するまで、又は、操作者（ユーザ）の操作によって別の計測画像３２７が選択されるまで、ステップＳ１０３からステップＳ１０８までを繰り返す。

なお、本実施形態で説明したシーケンス及びフローチャートは、処理に矛盾が生じない限り、順序を入れ替えてもよい。

以上、本発明の例示的な実施形態について説明した。本実施形態における画像処理装置３０及び画像処理方法によれば、計測画像３２７の特徴量と学習画像３２１ａの特徴量とに対し、複数の学習画像３２１ａの特徴量に基づいて標準化及び正規化の少なくとも一方を行って変換後特徴量３２８及び変換後特徴量３２２にそれぞれ変換され、変換後特徴量を座標軸とする座標系に計測画像３２７の点と学習画像３２１ａの点とをプロットしたグラフが作成され、当該グラフが出力される。これにより、各座標軸のスケーリングが自動的に行われるので、複数の学習画像３２１ａのそれぞれの点を適切な密度で分布させることができ、計測画像３２７を分類することが容易になる。また、計測画像３２７の特徴量が学習画像の特徴量から大きく外れた値を有する場合でも、当該座標系内に計測画像３２７の点をプロットすることが可能になる。従って、座標軸のスケール調整を行うことなく、適切なグラフを出力することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るとともに、本発明にはその等価物も含まれる。すなわち、実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。例えば、実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、実施形態は例示であり、異なる実施形態で示した構成の部分的な置換又は組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。

［付記１］
検査対象物（ＴＡ）の計測画像（３２７）を分類するための画像処理装置（３０）であって、
計測画像（３２７）の特徴量と学習画像（３２１ａ）の特徴量とに対し、複数の学習画像（３２１ａ）の特徴量に基づいて標準化及び正規化の少なくとも一方を行って変換後特徴量（３２２，３２８）にそれぞれ変換する変換部（３４０）と、
変換後特徴量を座標軸とする座標系に計測画像（３２７）の点と学習画像（３２１ａ）の点とをプロットしたグラフを作成する作成部（３５０）と、
グラフを出力する出力部（３８０）と、を備える、
画像処理装置（３０）。
［付記１１］
検査対象物（ＴＡ）の計測画像（３２７）を分類するための画像処理方法であって、
計測画像（３２７）の特徴量と学習画像（３２１ａ）の特徴量とに対し、複数の学習画像（３２１ａ）の特徴量に基づいて標準化及び正規化の少なくとも一方を行って変換後特徴量（３２２，３２８）にそれぞれ変換するステップと、
変換後特徴量を座標軸とする座標系に計測画像（３２７）の点と学習画像（３２１ａ）の点とをプロットしたグラフを作成するステップと、
グラフを出力するステップと、を含む、
画像処理方法。

１…画像検査システム、１０…モデル生成装置、２０…画像検査装置、３０…画像処理装置、３１…プロセッサ、３２…メモリ、３３…記憶装置、３４…通信装置、３５…入力装置、３６…出力装置、３１０…通信部、３２０…記憶部、３２１…学習用データ、３２１ａ…学習画像、３２１ｂ…ラベルデータ、３２２…変換後特徴量、３２５…学習済みモデル、３２７…計測画像、３２８…変換後特徴量、３３０…学習部、３４０…変換部、３５０…作成部、３６０…選択部、３６０…分類部、３７０…選択部、３８０…出力部、Ｂ１…確認ボタン、ＩＬ…照明、Ｌ…光、ＭＡＸｉ…最大値、ＭＩＮｉ…最小値、ＮＷ…通信ネットワーク、Ｒ…反射光、Ｒ１…第１領域、Ｒ２…第２領域、Ｒ３…第３領域、Ｓ１００…画像処理、ＳＳ…特徴量選択画面、ＴＡ…検査対象物、μｉ…平均、ρｉ…標準偏差。

Claims (10)

1. 検査対象物の計測画像を分類するための画像処理装置であって、
   前記計測画像の特徴量と学習画像の特徴量とに対し、複数の前記学習画像の特徴量に基づいて標準化及び正規化の少なくとも一方を行って変換後特徴量にそれぞれ変換する変換部と、
   前記変換後特徴量を座標軸とする座標系に前記計測画像の点と前記学習画像の点とをプロットしたグラフを作成する作成部と、
   前記グラフを出力する出力部と、を備え、
   前記変換部は、前記計測画像の特徴量と前記学習画像の特徴量とに対し、前記複数の学習画像の特徴量に基づいて算出された平均及び標準偏差を用いて前記標準化を行う、
   画像処理装置。
2. 前記変換部は、前記計測画像の特徴量と前記学習画像の特徴量とに対し、前記複数の学習画像の特徴量における最大値と最小値とを用いて前記正規化を行う、
   請求項１に記載の画像処理装置。
3. 前記標準化及び前記正規化の少なくとも一方は、前記計測画像の特徴量にさらに基づいて行われる、
   請求項１又は２に記載の画像処理装置。
4. 前記学習画像と該学習画像に付与された分類とに基づいて、前記計測画像を分類する分類部をさらに備える、
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記計測画像及び前記学習画像は、それぞれ、欠陥を含み得る前記検査対象物の画像であり、
   前記分類は、前記欠陥がないことを示すクラスと、前記欠陥があるときの該欠陥の種類を示すクラスとを含み、
   前記出力部は、前記分類に含まれるクラスに基づいて、前記グラフにプロットされる点の表示形式を変更する、
   請求項４に記載の画像処理装置。
6. 前記分類部は、前記学習画像の前記特徴量と前記分類とを用いて学習させた学習済みモデルに前記計測画像の前記特徴量を入力し、該学習済みモデルから前記計測画像の前記分類を出力させる、
   請求項４又は５に記載の画像処理装置。
7. 前記学習画像の前記特徴量を入力とし、該学習画像の前記分類をラベルデータとして学習モデルを学習させ、前記学習済みモデルを生成する学習部をさらに備える、
   請求項６に記載の画像処理装置。
8. 複数の前記特徴量のそれぞれの指標に基づいて、前記複数の特徴量から少なくとも１つを選択する選択部をさらに備え、
   前記学習部は、前記学習画像における前記選択された特徴量を入力とし、該学習画像の前記分類をラベルデータとして学習モデルを学習させ、前記学習済みモデルを生成し、
   前記分類部は、前記学習済みモデルに前記計測画像における前記選択された特徴量を入力し、該学習済みモデルから前記計測画像の前記分類を出力させる、
   請求項７に記載の画像処理装置。
9. 複数の前記特徴量のそれぞれの指標に基づいて、前記複数の特徴量から少なくとも１つを選択する選択部をさらに備え、
   前記作成部は、前記選択された特徴量の前記変換後特徴量を座標軸とする座標系に、前記計測画像の点と前記学習画像の点とをプロットしたグラフを作成する、
   請求項１から７のいずれか一項に記載の画像処理装置。
10. 検査対象物の計測画像を分類するための画像処理方法であって、
    前記計測画像の特徴量と学習画像の特徴量とに対し、複数の前記学習画像の特徴量に基づいて標準化及び正規化の少なくとも一方を行って変換後特徴量にそれぞれ変換するステップと、
    前記変換後特徴量を座標軸とする座標系に前記計測画像の点と前記学習画像の点とをプロットしたグラフを作成するステップと、
    前記グラフを出力するステップと、を含み、
    前記変換するステップは、前記計測画像の特徴量と前記学習画像の特徴量とに対し、前記複数の学習画像の特徴量に基づいて算出された平均及び標準偏差を用いて前記標準化を行うことを含む、
    画像処理方法。

Images