JP6681082B2 - 情報処理装置、情報システム、情報処理方法、およびプログラム - Google Patents

Description

本発明は、例えば、ＩＲカットフィルタ等の製品を撮影した画像または当該画像から取得した２以上の特徴量を学習情報に適用し、製品が不良であるか否かの判断を行う情報処理装置等に関するものである。

従来、極めて簡易且つ安価な構成で、製品の検査を高精度に行うことができる製品検査装置があった（例えば、特許文献１参照）。

また、従来、ＩＲカットフィルタの外観検査は、通常、人手により行われていた。

特開２０１１−１２３０５６号公報

しかしながら、従来技術において、外部の端末装置を経由して受信した画像関連情報を用いて、当該製品の外観検査を行うことができなかった。そのため、一つの情報処理装置で、遠隔の１または２以上の拠点での製品の製造に対応できなかった。なお、画像関連情報とは、製品を撮影した画像または画像から取得した２以上の特徴量である。

また、上述したように、ＩＲカットフィルタ等の製品の外観検査は目視で行われており、判断のばらつき、不良製品の流出があり得た。また、製品の外観検査を行う熟練検査員の減少、要員不足等の課題があった。

本第一の発明の情報処理装置は、製品の外観検査における不良であった２以上の正例データであり、製品を撮影した画像を用いて取得された２以上の正例データを用いて取得された学習情報が格納される学習情報格納部と、外観検査の対象の製品を撮影した画像または画像から取得した２以上の特徴量である画像関連情報を、画像関連情報を取得した１または２以上の端末装置を経由して受信する受信部と、受信部が受信した画像関連情報を学習情報に適用し、製品が不良であるか否かを判断し、判断結果を取得する判断部と、判断部が取得した判断結果を出力する判断結果出力部とを具備する情報処理装置である。

かかる構成により、一つの情報処理装置で、遠隔の１または２以上の拠点での製品の製造に対応した外観検査が行える。また、熟練検査員の検査結果から取得される学習情報を用いることにより、効率の良い、ばらつきを押さえた外観検査が可能となる。

また、本第二の発明の情報処理装置は、第一の発明に対して、正例データは、画像または画像から取得された２以上の特徴量、および画像から取得される情報では無い外部情報を含み、受信部は、製品の画像関連情報と製品に対応する外部情報とを受信し、判断部は、受信部が受信した画像関連情報と外部情報とを学習情報に適用し、製品が不良であるか否かを判断する情報処理装置である。

かかる構成により、外部情報をも用いることにより、さらに精度の高い外観検査が可能となる。

また、本第三の発明の情報処理装置は、第二の発明に対して、外部情報は、製品が製造された環境に関する環境情報、製品を製造した製造機械に関する製造機械情報、製品の外観以外の情報である製品情報のうち１または２種類以上の情報を含む情報処理装置である。

かかる構成により、環境情報、製造機械情報、製品情報のうちの１種類以上の情報である外部情報をも用いることにより、さらに精度の高い外観検査が可能となる。

また、本第四の発明の情報処理装置は、第一から第三いずれか１つの発明に対して、正例データは、不良の種類を特定する不良種類情報をも含み、判断部は、製品が不良であるか否かを判断した場合に、不良の種類を特定する不良種類情報を有する判断結果を取得する情報処理装置である。

かかる構成により、不良の種類をも判断可能となる。

また、本第五の発明の情報処理装置は、第一から第四いずれか１つの発明に対して、受信部は、２以上の製品を撮影した画像または画像関連情報を受信し、判断部は、２以上の判断結果を取得し、２以上の判断結果を統計処理し、統計処理結果を取得する統計処理部をさらに具備し、判断結果出力部は、判断結果と共に、または判断結果に代えて統計処理結果を出力する情報処理装置である。

かかる構成により、不良に関する統計処理結果を得ることができる。

また、本第六の発明の情報処理装置は、第五の発明に対して、受信部は、画像関連情報と検査の種類を特定する検査種類情報とを受信し、統計処理部は、検査種類情報ごとの判断結果を用いて、検査の順序に関する順序情報を含む統計処理結果を取得する情報処理装置である。

かかる構成により、自動的な判断結果を用いて、検査手順を変更するための情報を得ることができる。

また、本第七の発明の情報処理装置は、第五または第六の発明に対して、受信部は、画像関連情報を２以上の端末装置を経由して受信し、統計処理部は、２以上の各端末装置ごとに、統計処理結果を取得し、判断結果出力部は、２以上の各端末装置に対応付けて、統計処理結果を出力する情報処理装置である。

かかる構成により、２以上の端末装置から受信された画像関連情報を用いて、端末装置ごとの統計処理結果を得ることができる。

また、本第八の発明の情報処理装置は、第一から第七いずれか１つの発明に対して、判断部が取得した判断結果が、予め決められた条件を満たす場合に、人手により検査を受けるための処理である人手検査処理を行う人手検査処理部をさらに具備する情報処理装置である。

かかる構成により、人手による判断を適切に仰ぐことができる。

また、本第九の発明の情報処理装置は、第一から第八いずれか１つの発明に対して、画像関連情報に対応付けて、人手による判断結果を受け付ける判断結果受付部と、画像関連情報と判断結果とを用いて、学習情報を構成し、学習情報を学習情報格納部に蓄積する学習部とをさらに具備する情報処理装置である。

かかる構成により、学習情報を自動的に取得できる。

また、本第十の発明の情報処理装置は、第八の発明に対して、学習部は、判断結果受付部が受け付けた判断結果が予め決められた条件を満たす場合に学習情報を構成し、学習情報を学習情報格納部に蓄積する情報処理装置である。

かかる構成により、判断結果が予め決められた条件を満たすような適切な場合に、学習情報を自動的に取得できる。

かかる構成により、ＩＲカットフィルタの外観検査において、熟練検査員の検査結果を用いることにより、効率の良い、ばらつきを押さえた外観検査が可能となる。

また、本第十二の発明の端末装置は、製品の外観検査における不良であった２以上の正例データであり、製品を撮影した画像を用いて取得された２以上の正例データを用いて取得された端末学習情報が格納される端末格納部と、製品を撮影した画像または画像から取得した２以上の特徴量である画像関連情報を受け付ける端末受付部と、端末受付部が受け付けた画像関連情報を学習情報に適用し、製品が不良であるか否かを判断し、判断結果を取得する端末処理部と、端末処理部が取得した判断結果が予め決められた条件を満たす場合に、端末受付部が受け付けた画像関連情報を情報処理装置に送信する端末送信部とを具備する端末装置である。

かかる構成により、端末装置での検査、および情報処理装置での検査の２段階で、適切な外観検査が可能となる。

本発明による情報処理装置によれば、一つの情報処理装置で、遠隔の１または２以上の拠点での製品の製造に対応した外観検査が行える。また、本発明による情報処理装置によれば、熟練検査員の検査結果を用いることにより、効率の良い、ばらつきを押さえた外観検査が可能となる。

実施の形態１における情報システムＡの概念図 同情報システムＡのブロック図 同情報システムＡを構成する情報処理装置１のブロック図 同情報処理装置１の動作について説明するフローチャート 同判断処理の例について説明するフローチャート 同判断処理の他の例について説明するフローチャート 同統計処理の例について説明するフローチャート 同端末装置２の動作について説明するフローチャート 同本実施の形態における情報システムＡの概念図 同正例データの例を示す図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図

以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）
本実施の形態において、検査対象の製品を撮影した画像または当該画像から取得した２以上の特徴量を取得した端末装置を経由して、当該情報を受信し、当該情報と格納している学習情報とを用いて、不良か否かの判断結果を取得し、判断結果を出力する情報処理装置を含む情報システムについて説明する。なお、本実施の形態において、検査対象の製品は、例えば、ガラス精密加工製品である。検査対象の製品は、検査情報エッジ処理で取得した製品であることは好適である。ガラス精密加工製品は、例えば、ＩＲカットフィルタ、反射防止フィルタ、レンズ、プリズムである。また、検査情報エッジ処理とは、「良品」または「不良品」を判断する為に必要な処理の一部であると言える。検査情報エッジ処理の例には、判断を行うために必要な画像の前処理（画像フィルタなどでノイズ成分を除去したり、不良となり得る特徴量を強調したり）がある。なお、端末装置２でどこまでの処理を行うかは問わない。例えば、既知の不良モード（例えば、キズ、異物、カケ、シミ等）については、端末装置２で判断し、未知の不良や不良か良品かの判断ができない場合（例えば、端末装置２での検査の結果、不良か否かを示すスコアが第一閾値から第二閾値の間である場合）は、端末装置２から情報処理装置１に送信しても良い。

また、本実施の形態において、外部情報と２以上の特徴量を学習情報に適用し、判断結果を取得する情報処理装置を含む情報システムについて説明する。

また、本実施の形態において、判断結果が、不良の種類を特定する不良種類情報を含む場合についても説明する。

また、本実施の形態において、判断結果を統計処理し、取得された統計処理結果を出力する情報処理装置を含む情報システムについて説明する。

また、本実施の形態において、自動取得された判断結果が予め決められた条件を満たす場合に、人手による判断結果を受け付ける情報処理装置を含む情報システムについて説明する。

また、本実施の形態において、判断結果が予め決められた条件を満たす場合に、学習情報を作成する情報処理装置を含む情報システムについて説明する。

また、本実施の形態において、自動的に外観検査を行い、当該検査結果が予め決められた条件を満たす場合のみ、画像または２以上の特徴量を情報処理装置に送信する端末装置を含む情報システムについて説明する。

図１は、本実施の形態における情報システムＡの概念図である。情報システムＡは、情報処理装置１、１または２以上の端末装置２、１または２以上の第二端末装置３、および１または２以上の検査装置４を備える。

情報処理装置１は、例えば、いわゆるサーバ装置である。サーバ装置とは、例えば、クラウドサーバ、ＡＳＰサーバ等であるが、その種類は問わない。

端末装置２は、例えば、検査情報エッジ処理を行う装置である。端末装置２は、検査を行う装置でも良い。

第二端末装置３は、例えば、いわゆるパーソナルコンピュータ、タブレット端末、スマートフォン等であり、その種類は問わない。

検査装置４は、製品の検査を行う装置である。製品の検査とは、例えば、製品の外観検査である。また、ＩＲカットフィルタにおいて、検査装置４は、例えば、ピッカーという装置である。検査装置４において、製品の画像を取得する撮影機能、温度等の環境情報を取得する環境情報取得機能、製造の位置を取得する位置取得機能、画像、温度、位置等のうちの１以上の情報を端末装置２に渡す送付機能を有することは好適である。

さらに、情報処理装置１と１以上の各端末装置２、情報処理装置１と１以上の各第二端末装置３は、インターネット、または専用回線等のネットワークにより通信可能である。また、端末装置２と検査装置４とは、通常、通信可能である。なお、検査装置４も含めて、端末装置２が構成される、と考えても良い。

図２は、本実施の形態における情報システムＡのブロック図である。また、図３は、情報システムＡを構成する情報処理装置１のブロック図である。

情報処理装置１は、格納部１１、受付部１２、受信部１３、処理部１４、および出力部１５を備える。格納部１１は、学習情報格納部１１１を備える。受付部１２は、判断結果受付部１２１を備える。処理部１４は、判断部１４１、統計処理部１４２、および学習部１４３を備える。出力部１５は、判断結果出力部１５１、および人手検査処理部１５２を備える。

端末装置２は、端末格納部２１、端末受付部２２、端末処理部２３、端末送信部２４、端末受信部２５、および端末出力部２６を備える。

第二端末装置３は、第二格納部３１、第二受付部３２、第二処理部３３、第二送信部３４、第二受信部３５、および第二出力部３６を備える。

情報処理装置１を構成する格納部１１には、各種の情報が格納される。各種の情報は、例えば、後述する学習情報、後述する画像関連情報と判断結果の組等である。各種の情報は、例えば、後述する１以上の正例データ、１以上の負例データを含んでも良い。

学習情報格納部１１１は、１または２以上の学習情報が格納される。学習情報とは、２以上の正例データを用いて取得される情報である。

正例データは、検査対象の製品の外観検査において不良であった場合の情報である。

正例データは、ここでは、不良の製品を撮影した画像を用いて取得された情報である。正例データは、例えば、不良の製品を撮影した１または２以上の画像を含む。正例データは、例えば、人手により不良と判断された製品の画像から取得された２以上の特徴量を含む。特徴量は、例えば、画素値、輝度、アクティビティ、時空間相関、動きベクトル、周波数分布、第一種地図部分の画素値分布、複数の画素値（例えば、周辺の隣接する複数の画素の画素値、隣接しない予め決められた位置関係にある複数の画素の画素値）の演算値（例えば、平均値、差、和など）等である。また、アクティビティとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ（ＤＲ）、複数の画素の間の差分値などである。複数の画素の間の差分値は、例えば、空間内の複数画素間の差分値である。また、２以上の特徴量を特徴量集合と言っても良い。

正例データは、画像または画像から取得された２以上の特徴量、および外部情報を含んでも良い。外部情報とは、製品を撮影した画像から取得される情報では無い情報である。外部情報は、環境情報、製造機械情報、製品情報のうち１または２種類以上の情報である。

環境情報とは、製品が製造された環境に関する情報である。環境情報は、例えば、製品が製造された時の気象に関する気象情報、製品が製造された時の気圧に関する気圧情報、製品が製造された時の温度に関する温度情報、製品が製造された時の湿度に関する湿度情報、製品が製造された時に取得された振動に関する振動情報等である。製造機械情報は、製品を製造した製造機械に関する情報である。製造機械情報は、例えば、製造機械を識別する製造機械識別子、製造機械の種類を識別する製造機械種類識別子、製造機械の属性値（例えば、品番、使用年数）、部品の属性値（例えば、部品の使用回数、部品の使用時間）等である。製品情報は、製品の外観以外の情報である。製品情報は、例えば、製品の作成時に使用した部材に関する部材情報等である。

正例データは、例えば、不良の製品の画像または画像から取得された２以上の特徴量、および不良種類情報を含んでも良い。不良種類情報とは、不良の種類を特定する情報である。不良種類情報は、例えば、ＩＲカットフィルタの外観検査において検出されるエラーであり、例えば、透過検査エラー、反射検査エラーなどである。不良種類情報は、例えば、透過検査で見つかるＡＲ面カケ、面取り面カケ、ＩＲ面カケ、汚れ、異物、インク飛びガラスパーティクル、ボツ、コート抜け、トビ、自損カケ、チッピング、フィルムチッピング、クラック、キズ、ヤケ、色見などである。また、不良種類情報は、例えば、反射検査の中で見つかるＡＲ面水シミ、ＩＲ面水シミなどである。また、不良種類情報は階層化されていても良い。階層化とは、例えば、不良種類情報が「透過検査エラー−ＡＲ面カケ」「反射検査エラー−ＩＲ面水シミ」等である。なお、透過検査エラーとは、透過検査により検出される不良であり、透過検査不良と言っても良い。また、反射検査エラーとは、反射検査により検出される不良であり、反射検査不良と言っても良い。

正例データは、例えば、検査種類情報を含んでも良い。検査種類情報は、検査の種類を示す情報である。検査種類情報は、例えば、透過検査、反射検査等である。検査種類情報は、不良種類情報と同じでも良い。

学習情報は、正例データに加えて、負例データをも用いて取得される情報でも良い。負例データは、ここでは、不良ではない（正常な）製品を撮影した画像を用いて取得された情報である。負例データは、不良ではない製品を撮影した１または２以上の画像でも良い。負例データは、例えば、人手により正常と判断された製品の画像から取得された２以上の特徴量を含む。

学習情報は、例えば、２以上の正例データを機械学習のアルゴリズムにより学習し、得られた情報である。かかる場合、学習情報は、分類器と言っても良い。また、学習情報は、例えば、２以上の正例データ、および１以上の負例データを機械学習のアルゴリズムにより学習し、得られた情報である。なお、機械学習の種類は問わない。機械学習は、例えば、深層学習、ＳＶＭ、決定木、ランダムフォレスト等である。機械学習については、公知技術であるので詳細な説明を省略する。

学習情報は、例えば、不良種類情報ごと、または検査種類情報ごとに存在していても良い。不良種類情報ごとの学習情報は、例えば、各不良種類情報に対応する２以上の正例データを用いて、機械学習のアルゴリズムにより学習し、得られた情報である。一の不良種類情報と対になる学習情報は、例えば、当該一の不良種類情報に対応する２以上の正例データと、当該一の不良種類情報に対応しないデータ（負例データ）とを、機械学習のアルゴリズムにより学習し、得られた情報である。また、検査種類情報ごとの学習情報は、例えば、各検査種類情報に対応する２以上の正例データを用いて、機械学習のアルゴリズムにより学習し、得られた情報である。一の検査種類情報と対になる学習情報は、例えば、当該一の検査種類情報に対応する２以上の正例データと、当該一の検査種類情報に対応しないデータ（負例データ）とを、機械学習のアルゴリズムにより学習し、得られた情報である。

学習情報は、例えば、２以上の各画像の特徴量集合でも良い。また、学習情報は、例えば、特徴量集合と１以上の外部情報を含んでも良い。特徴量集合は、例えば、不良種類情報または検査種類情報に対応付いていても良い。なお、特徴量集合は、例えば、ベクトルである。特徴量集合は、例えば、判断結果（例えば、「不良」または「良」）に対応付いていても良い。なお、「不良」とは製品が不良である旨を示す情報であり、「良」とは製品が良品である旨を示す情報である。

学習情報格納部１１１は、２以上の学習情報が格納されていても良い。学習情報は、不良の種類ごとに存在していても良い。つまり、２以上の各学習情報は、不良種類情報に対応付けられていても良い。

学習情報格納部１１１の学習情報は、後述する学習部１４３が取得した情報であることは好適である。

受付部１２は、各種の情報や指示等を受け付ける。各種の情報や指示等は、例えば、後述する判断結果である。判断結果は、画像関連情報に対応付いている。また、各種の情報や指示等は、例えば、画像関連情報と判断結果との組の情報である。画像関連情報と判断結果との組の情報は、学習のために使用される。画像関連情報と判断結果との組の情報は、不良である製品の画像関連情報のみでも良い。

ここで、受け付けとは、通常、有線もしくは無線の通信回線を介して送信された情報の受信であるが、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念であると考えても良い。

判断結果受付部１２１は、画像関連情報に対応付けて、判断結果を受け付ける。判断結果とは、製品が不良であるか否かの、人手による判断の結果である。判断結果受付部１２１は、例えば、第二端末装置３から判断結果を受信する。

受信部１３は、画像関連情報を１以上の端末装置２を経由して受信する。画像関連情報は、外観検査の対象の製品を撮影した画像または当該画像から取得した２以上の特徴量である。また、端末装置２は、通常、画像関連情報を取得した装置である。

受信部１３は、製品の画像関連情報と製品に対応する外部情報とを受信することは好適である。なお、画像関連情報の送信元の装置と、外部情報の送信元の装置とは、同一でも異なっていても良い。

受信部１３は、２以上の各製品を撮影した画像に関する画像関連情報を受信することは好適である。受信部１３は、１の製品に対して、２以上の画像関連情報を受信しても良い。

受信部１３は、画像関連情報と検査種類情報とを対応付けて受信することは好適である。

受信部１３は、２以上の各画像関連情報を異なる端末装置２を経由して受信しても良い。かかる場合、情報処理システムＡは、２以上の端末装置２を含む。

処理部１４は、各種の処理を行う。各種の処理とは、例えば、判断部１４１、統計処理部１４２、学習部１４３が行う処理である。各種の処理とは、例えば、受信された判断結果を、画像関連情報に対応付けて格納部１１に蓄積する処理である。

判断部１４１は、受信部１３が受信した画像関連情報を学習情報に適用し、製品が不良であるか否かを判断し、判断結果を取得する。

判断部１４１は、受信部１３が受信した画像関連情報と外部情報とを学習情報に適用し、製品が不良であるか否かを判断する。

画像関連情報または画像関連情報と外部情報を学習情報に適用することは、例えば、画像関連情報または画像関連情報と外部情報を、機械学習のプログラムに与えて、学習情報を用いて、機械学習のアルゴリズムにより判断結果を取得することである。機械学習のアルゴリズムは、上述したように、深層学習、ＳＶＭ、決定木、ランダムフォレスト等、問わない。なお、判断部１４１が機械学習のアルゴリズムにより判断結果を取得する場合、当該判断結果は、「不良」または「良」を特定する情報だけではなく、不良種類情報、検査種類情報のうちの１以上の情報を含んでも良い。また、判断部１４１が機械学習のアルゴリズムにより判断結果を取得する場合、スコアを有しても良い。スコアは、判断結果の確からしさを示す確信度と言っても良い。

また、画像関連情報または画像関連情報と外部情報を学習情報に適用することは、例えば、画像関連情報または画像関連情報と外部情報から構成されるベクトルと、１以上の各学習情報であるベクトルとの距離を算出し、距離が予め決められた条件を満たすほど近い学習情報が存在するか否かを判断することである。なお、判断部１４１は、距離が予め決められた条件を満たすほど近い学習情報が存在する場合、例えば、「不良」という判断結果を取得する。また、判断部１４１は、距離が予め決められた条件を満たすほど近い学習情報が存在する場合、例えば、当該学習情報と対になる不良種類情報を取得する。また、ベクトル間の距離は、例えば、２つのベクトルのコサイン値で算出されるが、他の算出方法でも良い。ベクトル間の距離の算出方法は公知技術であるので、詳細な説明を省略する。

判断部１４１は、距離が最も近い学習情報と対になる判断結果（例えば、「不良」または「良」）を取得する。

判断部１４１は、製品が不良であると判断した場合に、不良の種類を特定する不良種類情報を有する判断結果を取得することは好適である。判断部１４１は、製品が不良であると判断した場合に、例えば、当該判断に用いた学習情報に対応する不良種類情報を格納部１１から取得する。

判断部１４１は、製品が不良であると判断した場合に、検査の種類を特定する検査種類情報を有する判断結果を取得することは好適である。判断部１４１は、製品が不良であると判断した場合に、例えば、当該判断に用いた学習情報に対応する検査種類情報を格納部１１から取得する。

外観検査の対象がＩＲカットフィルタの場合、判断部１４１は、当該ＩＲカットフィルタの画像から取得された２以上の特徴量を学習情報に適用し、製品が不良であるか否かを判断し、判断結果を取得する。

統計処理部１４２は、２以上の判断結果を統計処理し、統計処理結果を取得する。２以上の各判断結果は、異なる製品に対する判断結果である。統計処理の種類は問わない。統計処理は、例えば、「不良」の率、「良」の率、「不良」の数、「良」の数のうちの１以上を算出することである。統計処理は、例えば、画像関連情報を送信してくる端末装置２ごとの「不良」の率、「良」の率、「不良」の数、「良」の数のうちの１以上を算出することである。統計処理は、例えば、不良種類情報ごとに、「不良」の率、「良」の率、「不良」の数、「良」の数のうちの１以上を算出することである。統計処理は、例えば、検査種類情報ごとに、「不良」の率、「良」の率、「不良」の数、「良」の数のうちの１以上を算出することである。統計処理は、例えば、画像関連情報を送信してくる端末装置２ごとに、かつ不良種類情報ごとに、「不良」の率、「良」の率、「不良」の数、「良」の数のうちの１以上を算出することである。統計処理は、例えば、画像関連情報を送信してくる端末装置２ごとに、かつ検査種類情報ごとに、「不良」の率、「良」の率、「不良」の数、「良」の数のうちの１以上を算出することである。

統計処理部１４２は、検査種類情報ごとの判断結果を用いて、順序情報を含む統計処理結果を取得することは好適である。順序情報とは、検査の順序に関する情報である。順序情報とは、検査の順序を特定する情報でも良い。順序情報は、例えば、不良の多い検査が不良の少ない検査より前に行われるような、検査の順序を示す情報である。例えば、透過検査エラーが反射検査エラーより多いとの統計処理結果が得られた場合、順序情報は、透過検査の後に反射検査を行うことを指示する情報となる。

また、述したように、統計処理部１４２は、２以上の各端末装置ごとに、統計処理結果を取得することは好適である。

学習部１４３は、画像関連情報と判断結果とを用いて、学習情報を構成し、学習情報を学習情報格納部１１１に蓄積する。

学習部１４３は、例えば、受付部１２が受け付けた２以上の各画像から２以上の特徴量を画像処理により抽出し、当該２以上の特徴量と「不良」を示す判断結果との組を２以上構成し、当該２以上の組を正例データとして、機械学習のアルゴリズムにより学習し、学習情報を構成する。

学習部１４３は、例えば、受付部１２が受け付けた画像と判断結果（例えば、「不良」または「良」）との２以上の組を、機械学習のアルゴリズムにより学習し、学習情報を構成する。つまり、学習部１４３は、例えば、受付部１２が受け付けた２以上の各画像から２以上の特徴量を画像処理により抽出し、当該２以上の特徴量と各画像に対応する判断結果との組を２以上構成し、当該２以上の組を用いて、機械学習のアルゴリズムにより学習し、学習情報を構成する。なお、かかる場合、判断結果が「不良」の組は正例データ、「良」の組は負例データとなる。

学習部１４３は、判断結果受付部１２１が受け付けた判断結果が予め決められた条件を満たす場合に学習情報を構成し、学習情報を学習情報格納部１１１に蓄積する。

予め決められた条件は、「不良」であるとの判断結果が閾値以上または閾値より多い数になったこと、「良」であるとの判断結果が閾値以上または閾値より多い数になったこと、閾値以上または閾値より多い数の判断結果を受け付けたこと、「不良」であると判断された割合が閾値以上または閾値より大きい場合、「良」であると判断された割合が閾値以上または閾値より大きい場合等である。

出力部１５は、各種の情報を出力する。各種の情報は、例えば、判断結果、判断結果と不良種類情報、判断結果と検査種類情報、判断結果と不良種類情報と検査種類情報である。ここで、出力とは、通常、外部の装置（例えば、端末装置２）への送信であるが、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念であると考えても良い。

判断結果出力部１５１は、判断部１４１が取得した判断結果を出力する。判断結果出力部１５１は、判断部１４１が取得した判断結果を、例えば、端末装置２に送信する。２以上の端末装置２が存在する場合、判断結果出力部１５１は、判断部１４１が取得した判断結果を、判断結果の基になった画像関連情報を送信してきた端末装置２に送信する。

判断結果出力部１５１は、判断結果と共に、または判断結果に代えて統計処理結果を出力しても良い。

判断結果出力部１５１は、２以上の各端末装置２に対応付けて、統計処理結果を出力することは好適である。各端末装置２に対応付けて、統計処理結果を出力することは、例えば、各端末装置２に、対応する統計処理結果を送信することである。また、各端末装置２に対応付けて、統計処理結果を出力することは、例えば、端末装置２を識別する識別子と統計処理結果とを対応付けて出力することである。

人手検査処理部１５２は、判断部１４１が取得した判断結果が、予め決められた条件を満たす場合に、人手により検査を受けるための処理である人手検査処理を行う。ここで、予め決められた条件を満たす場合とは、例えば、判断結果が有する確信度が閾値以下または閾値未満である場合、複数の判断結果についてエラー数が閾値以上または閾値より多い場合などである。また、人手検査処理とは、例えば、人に判断してもらうために、第二端末装置３に画像を送信することである。また、人手検査処理とは、例えば、人に判断してもらうために、画像を表示することである。なお、ここでの画像は、検査対象の製品を撮影した画像である。

端末装置２を構成する端末格納部２１には、各種の情報が格納される。各種の情報とは、例えば、端末学習情報、画像関連情報等である。端末学習情報は、２以上の正例データを用いて取得された情報である。正例データは、製品の外観検査における不良であったデータであり、製品を撮影した画像を用いて取得されたデータである。端末学習情報は、上述した学習情報と同じ情報でも良い。ただし、端末学習情報は、上述した学習情報と比較して、判断の精度が低くなる学習情報であることは好適である。端末学習情報は、上述した学習情報と比較して、例えば、学習された正例データ、負例データが少ない。端末学習情報は、上述した学習情報と比較して、例えば、より最近の正例データ、負例データを使用していない。

端末受付部２２は、画像関連情報を受け付ける。画像関連情報は、上述したように、製品を撮影した画像または画像から取得した２以上の特徴量である。ここで、受け付けとは、例えば、検査装置４からの受信である。

端末処理部２３は、端末受付部２２が受け付けた画像関連情報を端末学習情報に適用し、製品が不良であるか否かを判断し、判断結果を取得する。かかる処理は、上述した判断部１４１の処理と同様でも良い。ただし、端末処理部２３の判断処理のアルゴリズムは、上述した判断部１４１の判断処理のアルゴリズムと異なっていても良い。

端末送信部２４は、情報処理装置１に画像関連情報を送信する。端末送信部２４は、予め決められた条件を満たす場合のみに、情報処理装置１に画像関連情報を送信することは好適である。予め決められた条件とは、例えば、端末処理部２３が機械学習を用いた判断処理を行った場合に、スコアが閾値以下または閾値未満であることである。

端末受信部２５は、情報処理装置１から各種の情報を受信する。各種の情報とは、例えば、判断結果、画像関連情報、判断対象の製品または画像関連情報を特定する識別子等である。

端末出力部２６は、各種の情報を出力する。各種の情報とは、例えば、判断結果、画像関連情報、判断対象の製品または画像関連情報を特定する識別子等である。

ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置（例えば、第二端末装置３）への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

第二端末装置３を構成する第二格納部３１には、各種の情報が格納される。各種の情報とは、例えば、画像関連情報等である。

第二受付部３２は、各種の指示や情報等を受け付ける。各種の指示や情報等とは、例えば、判断結果である。なお、判断結果の受け付けは、通常、人による判断結果の入力の受け付けである。

各種の指示や情報等の入力手段は、キーボードやマウスやタッチパネルやメニュー画面によるもの等、何でも良い。第二受付部３２は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

第二処理部３３は、各種の処理を行う。各種の処理とは、第二受付部３２で受け付けられた情報から、第二送信部３４が送信する情報を構成する処理である。第二処理部３３は、例えば、第二受付部３２が受け付けた判断結果を用いて、第二送信部３４が送信する判断結果と画像関連情報または判断結果と画像関連情報を特定する識別子を構成する。

第二送信部３４は、各種の情報を送信する。各種の情報とは、例えば、判断結果を含む。第二送信部３４は、例えば、判断結果と画像関連情報、または判断結果と画像関連情報を特定する識別子を、情報処理装置１に送信する。

第二受信部３５は、各種の情報を受信する。各種の情報とは、画像関連情報または画像関連情報を特定する識別子である。

第二出力部３６は、各種の情報を出力する。各種の情報とは、検査対象の製品の画像である。

ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

格納部１１、学習情報格納部１１１、端末格納部２１、および第二格納部３１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

格納部１１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１等で記憶されるようになってもよい。

受付部１２、判断結果受付部１２１、受信部１３、出力部１５、判断結果出力部１５１、人手検査処理部１５２、端末送信部２４、端末受信部２５、および第二受信部３５は、例えば、無線または有線の通信手段で実現される。

処理部１４、判断部１４１、統計処理部１４２、学習部１４３、端末処理部２３、および第二処理部３３は、通常、ＭＰＵやメモリ等から実現され得る。処理部１４等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

端末出力部２６、および第二出力部３６は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。端末出力部２６等は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

次に、情報システムＡの動作について説明する。まず、情報処理装置１の動作について、図４のフローチャートを用いて説明する。

（ステップＳ４０１）受信部１３は、検査対象の製品の画像関連情報等を受信したか否かを判断する。画像関連情報等を受信した場合はステップＳ４０２に行き、画像関連情報等を受信しなかった場合はステップＳ４１１に行く。なお、画像関連情報等とは、例えば、画像関連情報、または画像関連情報と１以上の外部情報である。

（ステップＳ４０２）判断部１４１は、ステップＳ４０１で受信された画像関連情報等を用いて、学習情報に適用する情報（例えば、ベクトル）を構成する。

（ステップＳ４０３）判断部１４１は、ステップＳ４０２で構成した情報を、学習情報格納部１１１の学習情報に適用し、判断結果を取得する。なお、かかる判断処理の例について、図５、図６のフローチャートを用いて説明する。なお、判断部１４１は、ステップＳ４０２で構成した情報を、学習情報格納部１１１の一の学習情報に適用し、深層学習等の機械学習のアルゴリズムにより、判断結果を取得しても良い。

（ステップＳ４０４）人手検査処理部１５２は、判断部１４１が取得した判断結果が、予め決められた条件を満たすか否かを判断する。なお、予め決められた条件を満たすか否かの判断は、人手による検査が必要か否かの判断である。また、予め決められた条件は、例えば、ステップＳ４０３で得られたスコアが閾値以下または閾値より小さいことである。また、スコアは、例えば、確信度を示す情報である。

（ステップＳ４０５）統計処理部１４２は、ステップＳ４０３で取得された判断結果を用いた統計処理を行うか否かを判断する。統計処理を行う場合はステップＳ４０６に行き、統計処理を行わない場合はステップＳ４０８に行く。なお、統計処理を行う場合は、例えば、判断結果が閾値以上または閾値より多く蓄積された場合、特定のグループ（例えば、特定の端末装置２、特定の不良の不良種類情報など）の判断結果が閾値以上または閾値より多く蓄積された場合、統計処理を行うタイミングになった場合等である。

（ステップＳ４０６）統計処理部１４２は、ステップＳ４０３で取得された判断結果と、蓄積されている判断結果とを用いて、統計処理を行い、統計処理結果を取得する。統計処理の例について、図７のフローチャートを用いて説明する。

（ステップＳ４０７）判断結果出力部１５１は、ステップＳ４０３で取得された判断結果とステップＳ４０６で取得された統計処理結果とを用いて、出力する情報を構成する。ステップＳ４０９に行く。なお、出力する情報は、統計処理結果のみでも良い。

（ステップＳ４０８）判断結果出力部１５１は、ステップＳ４０３で取得された判断結果を用いて、出力する情報を構成する。

（ステップＳ４０９）判断結果出力部１５１は、ステップＳ４０７またはステップＳ４０８で構成した情報を出力する。ステップＳ４０１に戻る。なお、ここでの出力は、例えば、端末装置２への送信である。

（ステップＳ４１０）人手検査処理部１５２は、人手により検査を受けるための処理である人手検査処理を行う。ステップＳ４０１に戻る。なお、ここでの人手検査処理は、例えば、第二端末装置３への画像の送信である。また、この画像は、検査対象の製品の画像である。

（ステップＳ４１１）判断結果受付部１２１は、画像関連情報に対応付けて、人手による判断結果を第二端末装置３から受信したか否かを判断する。判断結果を受信した場合はステップＳ４１２に行き、判断結果を受信しなかった場合はステップＳ４１３に行く。

（ステップＳ４１２）処理部１４は、ステップＳ４１１で受信された判断結果を、画像関連情報に対応付けて格納部１１に蓄積する。

（ステップＳ４１３）学習部１４３は、学習処理を行うか否かを判断する。学習処理を行う場合はステップＳ４１４に行き、学習処理を行わない場合はステップＳ４０１に戻る。なお、例えば、格納部１１に閾値以上または閾値より多い判断結果が存在する場合、またはステップＳ４１２で閾値以上または閾値より多い判断結果が蓄積された場合に、学習部１４３は、学習処理を行うと判断する。

（ステップＳ４１４）学習部１４３は、学習対象の情報を格納部１１から取得する。学習対象の情報は、通常、判断結果と画像関連情報を含む。また、学習対象の情報は、１以上の外部情報を含んでも良い。また、学習対象の情報は、格納部１１に格納されているすべての正例データ、負例データであることは好適である。

（ステップＳ４１５）学習部１４３は、ステップＳ４１４で取得した情報を用いて、学習するためのデータを構成する。学習するためのデータは、例えば、ベクトルである。

（ステップＳ４１６）学習部１４３は、ステップＳ４１５で構成されたデータを用いて、学習処理を行い、学習情報を取得する。ステップＳ４０１に戻る。なお、かかる学習処理は、例えば、上述した機械学習を用いた学習処理である。

なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、ステップＳ４０３の判断処理の例について、図５のフローチャートを用いて説明する。

（ステップＳ５０１）判断部１４１は、カウンタｉに１を代入する。

（ステップＳ５０２）判断部１４１は、ｉ番目の学習情報が学習情報格納部１１１に存在するか否かを判断する。ｉ番目の学習情報が存在する場合はステップＳ５０３に行き、存在しない場合はステップＳ５０５に行く。なお、ここでの学習情報は、いわゆる分類器である。

（ステップＳ５０３）判断部１４１は、ステップＳ４０２で構成した情報を、ｉ番目の学習情報に適用し、スコアを取得する。そして、判断部１４１は、ｉ目の学習情報に対応付けて、スコアを図示しないバッファに一時蓄積する。

（ステップＳ５０４）判断部１４１は、カウンタｉを１、インクリメントする。ステップＳ５０２に戻る。

（ステップＳ５０５）判断部１４１は、最大のスコアに対応する学習情報を決定する。

（ステップＳ５０６）判断部１４１は、最大のスコアが第一閾値以下または第一閾値より小さいか否かを判断する。かかる条件を満たす場合はステップＳ５０７に行き、満たさない場合はステップＳ５０８に行く。

（ステップＳ５０７）判断部１４１は、変数「判断結果」に「良」を代入する。上位処理にリターンする。

（ステップＳ５０８）判断部１４１は、最大のスコアが第二閾値以下または第二閾値より小さいか否かを判断する。かかる条件を満たす場合はステップＳ５０９に行き、満たさない場合はステップＳ５１０に行く。なお、「第二閾値＞第一閾値」である。

（ステップＳ５０９）判断部１４１は、変数「判断結果」に「人手による判断が必要である旨」を代入する。上位処理にリターンする。

（ステップＳ５１０）判断部１４１は、ｉ目の学習情報に対応付けられている情報を取得する。かかる情報は、例えば、不良種類情報、検査種類情報のうちの１以上の情報である。

（ステップＳ５１１）判断部１４１は、変数「判断結果」に「不良」を代入する。上位処理にリターンする。

なお、図５のフローチャートにおいて、例えば、一つの学習情報のみを用いて、機械学習のアルゴリズムを用いた、一度の判断処理で、「不良」または「良」の結果を取得しても良い。

次に、ステップＳ４０３における判断処理の他の例について、図６のフローチャートを用いて説明する。

（ステップＳ６０１）判断部１４１は、カウンタｉに１を代入する。

（ステップＳ６０２）判断部１４１は、ｉ番目の学習情報が学習情報格納部１１１に存在するか否かを判断する。ｉ番目の学習情報が存在する場合はステップＳ６０３に行き、存在しない場合はステップＳ６０５に行く。なお、ここでの学習情報は、通常、ベクトルである。

（ステップＳ６０３）判断部１４１は、ステップＳ４０２で構成した情報（ベクトル）と、ｉ番目の学習情報（ベクトル）との距離を算出する。そして、判断部１４１は、ｉ目の学習情報に対応付けて、距離を図示しないバッファに一時蓄積する。なお、ベクトル間の距離は、コサイン値等であり、距離算出方法は公知技術であるので詳細な説明は省略する。

（ステップＳ６０４）判断部１４１は、カウンタｉを１、インクリメントする。ステップＳ６０２に戻る。

（ステップＳ６０５）判断部１４１は、最小の距離に対応する学習情報を決定する。

（ステップＳ６０６）判断部１４１は、ステップＳ６０５で決定した学習情報と対になる判断結果等を取得する。なお、判断結果等とは、例えば、判断結果のみ、または判断結果および不良種類情報、検査種類情報のうちの１以上の情報である。また、判断結果は、通常、「不良」または「良」を含む。

（ステップＳ６０７）判断部１４１は、算出した距離が閾値以上または閾値より大きいか否かを判断する。かかることを満たす場合はステップＳ６０８に行き、満たさない場合は上位処理にリターンする。

（ステップＳ６０８）判断部１４１は、変数「判断結果」に「人手による判断が必要である旨」を代入する。上位処理にリターンする。

次に、ステップＳ４０６の統計処理の例について、図７のフローチャートを用いて説明する。

（ステップＳ７０１）統計処理部１４２は、カウンタｉに１を代入する。

（ステップＳ７０２）統計処理部１４２は、統計処理の対象の判断結果の集合におけるｉ番目のグループが存在するか否かを判断する。ｉ番目のグループが存在する場合はステップＳ７０２に行き、ｉ番目のグループが存在しない場合は上位処理にリターンする。なお、グループは、例えば、画像関連情報等を送信してきた端末装置２ごと、または画像関連情報等を送信してきた端末装置２および不良種類情報ごと、または画像関連情報等を送信してきた端末装置２および検査種類情報ごと、または画像関連情報等を送信してきた端末装置２および不良種類情報および検査種類情報ごと、または不良種類情報ごと、または検査種類情報ごと、または不良種類情報および検査種類情報ごとに構成される。

（ステップＳ７０３）統計処理部１４２は、ｉ番目のグループに対応する判断結果を格納部１１から取得する。

（ステップＳ７０４）統計処理部１４２は、ステップＳ７０３で取得した判断結果を統計処理し、統計処理結果を取得する。統計処理の内容は種々あり得ることは上述した通りである。

（ステップＳ７０５）統計処理部１４２は、ｉ番目のグループに対応付けて、ステップＳ７０４で取得した統計処理結果を蓄積する。なお、ｉ番目のグループに対応付けることは、ｉ番目のグループ識別子、またはｉ番目のグループを特定する情報（例えば、端末装置２の識別子、不良種類情報、検査種類情報のうちの１以上の情報）に対応付けることである。

（ステップＳ７０６）統計処理部１４２は、カウンタｉを１、インクリメントする。ステップＳ７０２に戻る。

次に、端末装置２の動作について、図８のフローチャートを用いて説明する。

（ステップＳ８０１）端末受付部２２は、画像関連情報等を受け付けたか否かを判断する。画像関連情報等を受け付けた場合はステップＳ８０２に行き、画像関連情報等を受け付けなかった場合はステップＳ８０１に戻る。なお、画像関連情報等とは、例えば、画像関連情報、または画像関連情報と１以上の外部情報である。

（ステップＳ８０２）端末処理部２３は、端末受付部２２が受け付けた画像関連情報を端末格納部２１の端末学習情報に適用し、製品が不良であるか否かを判断し、判断結果を取得する。なお、ここでは、判断結果は、例えば、スコアを含む、とする。

（ステップＳ８０３）端末処理部２３は、ステップＳ８０２で取得した判断結果が予め決められた条件を満たすか否かを判断する。予め決められた条件を満たす場合はステップＳ８０４に行き、予め決められた条件を満たさない場合はステップＳ８０６に行く。なお、予め決められた条件は、例えば、スコアが閾値以下または閾値未満であることである。

（ステップＳ８０４）端末送信部２４は、情報処理装置１に画像関連情報等を送信する。画像関連情報等とは、例えば、画像関連情報、または画像関連情報と１以上の外部情報である。

（ステップＳ８０５）端末受信部２５は、情報処理装置１から判断結果を受信したか否かを判断する。判断結果を受信した場合はステップＳ８０６に行き、判断結果を受信しなかった場合はステップＳ８０５に戻る。

（ステップＳ８０６）端末出力部２６は、判断結果を出力する。ステップＳ８０１に戻る。ここでの判断結果は、ステップＳ８０５で受信された判断結果、またはステップＳ８０２で得られた判断結果である。

以下、本実施の形態における情報システムＡの概念図を図９に示す。図９において、外部情報も図示しない端末により、情報処理装置１に送信され、蓄積される、とする。各検査装置４と端末装置２との組は、それぞれ異なる工場で動作している、とする。そして、各工場の外部情報（例えば、温度、湿度）が図示しない端末により、情報処理装置１に送信され、蓄積されている、とする。

図９において、端末装置２は、例えば、検査情報エッジ処理を行う検査情報エッジ処理デバイス（ＩＤＥＰＤ［Inspection Data Edge Process Device］）である。ＩＤＥＰＤは、１または２以上の検査機４から送出された複数のセンサデータ（映像情報、その他センシング情報（例：振動、温度、等等））を入力として受け付け、それをあらかじめ設定された検査設定ファイル（ＩＰＳＦ［Inspection Process Setup File］）に基づき検査データを翻訳・フォーマット化し、検査結果データ（ＩＤＦ［Inspection Data Format］）として、クラウドへ送出する。ＩＰＳＦの設定によっては、即時性を持ってＩＤＥＰＤで判断するべき不良対象物はその場で特定を行う。それ以外のデータはクラウドへ送出後、情報処理装置１が、例えば、ディープラーニングを用いた分析により、不良検知の特定が行われ、その学習によって最適化されたＩＰＳＦは適宜（動的・静的）にＩＤＥＰＤの検査プロファイルとしてリロードされる。
なお、検査結果データ（ＩＤＦ）は、例えば、「識別子」「ＩＰＳＦ情報」「対象物・外部環境情報」「センサ情報」「検査区分」「分析結果」を有する。「識別子」は、１以上の識別情報であり、例えば、時間、検査機のＩＤ、検査機メーカのＩＤ、アングルを特定するＩＤ、ロケーションを特定するＩＤ、工場を特定するＩＤ等である。「ＩＰＳＦ情報」は、検査設定ファイルの種類等である。「対象物・外部環境情報」は、対象物（位置等）、部材に関するデータ（例えば、部材のロットを特定する情報）、外部環境情報（気象、気温等）等である。「センサ情報」は、センシングされた情報であり、例えば、温度、振動量、画像ＲＡＷデータ（例えば、ＪｐｅｇやＭｐｅｇのデータ）、フレームレート等である。「検査区分」は、検査の種類を示す情報であり、例えば、透過検査、反射検査等である。「分析結果」は、分析の結果を特定する情報であり、例えば、トビ、カケ、シミ、汚れ、キズ、離れ等である。

また、ＩＤＦは、上記の構造を有することにより、複数の拠点、複数の検査機、複数の対象物から得られた情報に基づいて、良品、不良品の判断を行う事が出来る。

ＩＤＥＰＤで生成された検査結果データは、対象物のデータ（例えば、部品ロット・前処理の内容）や外部情報（例えば、気象条件、工場の環境パラメータ等）との状況と結合して利用されることで、機械学習等のアルゴリズムを用いて行われる不良判断の精度がさらに向上されることが期待される。情報システムＡでは検査情報のみのデータを分析するだけでなく、その検査に付随する外部情報も付与し結合することで分析の精度が向上出来る。

また、情報処理装置１の格納部１１に蓄積されている正例データ（不良である製品の画像）を図１０に示す。図１０において、「ＩＤ」「画像」「検査種類情報」「不良種類情報」「外部情報」を有する。なお、外部情報は、ここでは、温度、湿度であるが、他の外部情報を有しても良いことは言うまでもない。また、正例データは、熟練の検査員が検知した不良の製品の画像等である。

かかる場合に、図１０の正例データを学習部１４３が、不良種類情報ごとに学習情報を構成し、学習情報格納部１１１に蓄積した、とする。

かかる状況において、情報システムＡの動作の概要について説明する。各工場において、検査装置４が製品に対する検査を行い、検査の結果および製品の画像を端末装置２に送付する。端末装置２は、検査の結果および製品の画像を受け付ける。そして、検査の結果が予め決められた条件を満たす場合（例えば、正常であるとの結果の場合）、受け付けた製品の画像から２以上の特徴量を取得する。そして、２以上の特徴量を含む画像関連情報を情報処理装置１に送信する。

次に、情報処理装置１は、端末装置２から受信した画像関連情報と、当該端末装置２が設置されている工場の外部情報とを用いて、ベクトルを構成し、当該ベクトルを学習情報格納部１１１の学習情報に適用し、判断結果を得る。なお、かかる判断処理の詳細は、上述した通りである。

次に、情報処理装置１は、当該判断結果を端末装置２に送信する。

次に、端末装置２は、当該判断結果を受信し、出力する。そして、「不良」であった判断結果に対応する製品は、販売されないように、ラインから除かれる。

以上、本実施の形態によれば、一つの情報処理装置で、遠隔の１または２以上の拠点での製品の製造に対応した外観検査が行える。また、本実施の形態によれば、熟練検査員の検査結果から取得される学習情報を用いることにより、効率の良い、ばらつきを押さえた外観検査が可能となる。

また、本実施の形態によれば、外部情報をも用いることにより、さらに精度の高い外観検査が可能となる。

また、本実施の形態によれば、不良の種類または検査の種類をも判断可能となる。

また、本実施の形態によれば、不良に関する統計処理結果を得ることができる。

また、本実施の形態によれば、自動的な判断結果を用いて、検査手順を変更するための情報を得ることができる。

また、本実施の形態によれば、２以上の端末装置から受信された画像関連情報を用いて、端末装置ごとの統計処理結果を得ることができる。

また、本実施の形態によれば、判断結果が条件に合致する場合に、人手による判断を適切に仰ぐことができる。

さらに、本実施の形態によれば、判断結果が予め決められた条件を満たすような適切な場合に、学習情報を自動的に取得できる。

なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、製品の外観検査における不良であった２以上の正例データであり、前記製品を撮影した画像を用いて取得された２以上の正例データを用いて取得された学習情報が格納される学習情報格納部にアクセス可能なコンピュータを、外観検査の対象の製品を撮影した画像または当該画像から取得した２以上の特徴量である画像関連情報を、当該画像関連情報を取得した１以上の端末装置を経由して受信する受信部と、前記受信部が受信した画像関連情報を学習情報に適用し、前記製品が不良であるか否かを判断し、判断結果を取得する判断部と、前記判断部が取得した判断結果を出力する判断結果出力部として機能させるためのプログラムである。

また、端末装置２を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、製品の外観検査における不良であった２以上の正例データであり、前記製品を撮影した画像を用いて取得された２以上の正例データを用いて取得された端末学習情報が格納される端末格納部にアクセス可能なコンピュータを、製品を撮影した画像または当該画像から取得した２以上の特徴量である画像関連情報を受け付ける端末受付部と、前記端末受付部が受け付けた画像関連情報を学習情報に適用し、前記製品が不良であるか否かを判断し、判断結果を取得する端末処理部と、前記端末処理部が取得した判断結果が予め決められた条件を満たす場合に、前記端末受付部が受け付けた画像関連情報を情報処理装置に送信する端末送信部として機能させるためのプログラムである。

また、図１１は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の情報処理装置１等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１１は、このコンピュータシステム３００の概観図であり、図１２は、システム３００のブロック図である。なお、図１１、図１２は、エンゲージメントシステムを実現するコンピュータの外観等を示す図である。

図１１において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。

図１２において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ−ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。なお、ＭＰＵ３０１３に代えて、ＧＰＵ等を用いても良いことは言うまでもない。また、また、ＣＤ−ＲＯＭ３１０１に代えて、ＵＳＢメモリ等の他の記録媒体を用いても良いことは言うまでもない。

コンピュータシステム３００に、上述した実施の形態の情報処理装置１等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ３０１に、上述した実施の形態の情報処理装置１等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。

なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。

また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。つまり、情報処理装置１は、スタンドアロンで動作しても良い。情報処理装置１がスタンドアロンで動作する場合、受付部１２は、ユーザ等から指示や情報等を受け付ける。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる情報処理装置は、熟練検査員の検査結果を用いることにより、効率の良い、ばらつきを押さえた外観検査が可能となるという効果を有し、情報処理装置等として有用である。

１ 情報処理装置
２ 端末装置
３ 第二端末装置
４ 検査装置
１１ 格納部
１２ 受付部
１３ 受信部
１４ 処理部
１５ 出力部
２１ 端末格納部
２２ 端末受付部
２３ 端末処理部
２４ 端末送信部
２５ 端末受信部
２６ 端末出力部
３１ 第二格納部
３２ 第二受付部
３３ 第二処理部
３４ 第二送信部
３５ 第二受信部
３６ 第二出力部
１１１ 学習情報格納部
１２１ 判断結果受付部
１４１ 判断部
１４２ 統計処理部
１４３ 学習部
１５１ 判断結果出力部
１５２ 人手検査処理部

Claims (11)

1. 製品の外観検査における不良であった２以上の正例データであり、前記製品を撮影した画像を用いて取得された２以上の正例データを用いて取得された学習情報が格納される学習情報格納部と、
   外観検査の対象の２以上の各製品を撮影した画像または当該各画像から取得した２以上の特徴量である２以上の画像関連情報と検査種類情報とを、当該画像関連情報を取得した１以上の端末装置を経由して受信する受信部と、
   前記２以上の各画像関連情報を前記学習情報に適用し、前記製品が不良であるか否かを判断し、２以上の判断結果を取得する判断部と、
   前記検査種類情報ごとの判断結果を用いて、検査の順序に関する順序情報を含む統計処理結果を取得する統計処理部と、
   前記統計処理結果、または前記統計処理結果と前記判断結果とを出力する判断結果出力部とを具備する情報処理装置。
2. 前記正例データは、
   前記画像または前記画像から取得された２以上の特徴量、および前記画像から取得される情報では無い外部情報を含み、
   前記受信部は、
   前記製品の画像関連情報と当該製品に対応する外部情報とを受信し、
   前記判断部は、
   前記受信部が受信した画像関連情報と外部情報とを学習情報に適用し、前記製品が不良であるか否かを判断する請求項１記載の情報処理装置。
3. 前記外部情報は、
   前記製品が製造された環境に関する環境情報、前記製品を製造した製造機械に関する製造機械情報、前記製品の外観以外の情報である製品情報のうち１または２種類以上の情報を含む請求項２記載の情報処理装置。
4. 前記正例データは、
   不良の種類を特定する不良種類情報をも含み、
   前記判断部は、
   前記製品が不良であるか否かを判断した場合に、当該不良の種類を特定する不良種類情報を有する判断結果を取得する請求項１から請求項３いずれか一項に記載の情報処理装置。
5. 前記受信部は、
   前記画像関連情報を２以上の端末装置を経由して受信し、
   前記統計処理部は、
   前記２以上の各端末装置ごとに、統計処理結果を取得し、
   前記判断結果出力部は、
   前記２以上の各端末装置に対応付けて、統計処理結果を出力する請求項１から請求項４いずれか一項に６記載の情報処理装置。
6. 前記判断部が取得した判断結果が、予め決められた条件を満たす場合に、人手により検査を受けるための処理である人手検査処理を行う人手検査処理部をさらに具備する請求項１から請求項５いずれか一項に記載の情報処理装置。
7. 画像関連情報に対応付けて、人手による判断結果を受け付ける判断結果受付部と、
   前記画像関連情報と判断結果とを用いて、学習情報を構成し、当該学習情報を前記学習情報格納部に蓄積する学習部とをさらに具備する請求項１から請求項６いずれか一項に記載の情報処理装置。
8. 前記学習部は、
   前記判断結果受付部が受け付けた判断結果が予め決められた条件を満たす場合に学習情報を構成し、当該学習情報を前記学習情報格納部に蓄積する請求項７記載の情報処理装置。
9. 請求項１から請求項８いずれか一項に記載の情報処理装置と１以上の端末装置とを具備する情報システムであって、
   前記端末装置は、
   製品の外観検査における不良であった２以上の正例データであり、前記製品を撮影した画像を用いて取得された２以上の正例データを用いて取得された端末学習情報が格納される端末格納部と、
   製品を撮影した画像または当該画像から取得した２以上の特徴量である画像関連情報を受け付ける端末受付部と、
   前記端末受付部が受け付けた画像関連情報を学習情報に適用し、前記製品が不良であるか否かを判断し、判断結果を取得する端末処理部と、
   前記端末処理部が取得した判断結果が予め決められた条件を満たす場合に、前記端末受付部が受け付けた画像関連情報を請求項１から請求項８いずれか一項に記載の情報処理装置に送信する端末送信部とを具備する、情報システム。
10. 製品の外観検査における不良であった２以上の正例データであり、前記製品を撮影した画像を用いて取得された２以上の正例データを用いて取得された学習情報が格納される学習情報格納部と、受信部と、判断部と、統計処理部と、判断結果出力部とにより実現される情報処理方法であって、
    前記受信部が、外観検査の対象の２以上の各製品を撮影した画像または当該画像から取得した２以上の特徴量である２以上の画像関連情報と検査種類情報とを、当該画像関連情報を取得した１以上の端末装置を経由して受信する受信ステップと、
    前記判断部が、前記２以上の各画像関連情報を前記学習情報に適用し、前記製品が不良であるか否かを判断し、２以上の判断結果を取得する判断ステップと、
    前記統計処理部が、前記検査種類情報ごとの判断結果を用いて、検査の順序に関する順序情報を含む統計処理結果を取得する統計処理ステップと、
    前記判断結果出力部が、前記統計処理結果、または前記統計処理結果と前記判断結果とを具備する情報処理方法。
11. 製品の外観検査における不良であった２以上の正例データであり、前記製品を撮影した画像を用いて取得された２以上の正例データを用いて取得された学習情報が格納される学習情報格納部にアクセス可能なコンピュータを、
    外観検査の対象の２以上の各製品を撮影した画像または当該画像から取得した２以上の特徴量である２以上の画像関連情報と検査種類情報とを、当該画像関連情報を取得した１以上の端末装置を経由して受信する受信部と、
    前記２以上の各画像関連情報を前記学習情報に適用し、前記製品が不良であるか否かを判断し、２以上の判断結果を取得する判断部と、
    前記検査種類情報ごとの判断結果を用いて、検査の順序に関する順序情報を含む統計処理結果を取得する統計処理部と、
    前記統計処理結果、または前記統計処理結果と前記判断結果とを出力する判断結果出力部として機能させるためのプログラム。