JP7396160B2 - 検査装置、検査プログラム及び検査方法 - Google Patents

Description

本発明は、検査装置、検査プログラム及び検査方法に関する。

従来より、特定の物品（例えば、果物、野菜、パン、花等の物品）を出荷する際の外観検査においては、当該物品の外観の色に着目して、合否の判定が行われている。このため、当該物品の外観検査を行う検査装置では、例えば、当該物品を撮影した対象画像を、所定のモデル画像（合格と判定される物品を予め撮影した画像）とマッチングさせることで、合否の判定を行っている。

特開２００５－４６１２号公報 特表２００４－５０２２５０号公報

しかしながら、上記のような物品の場合、外観検査において合格と判定される物品であっても、外観の色は均一ではない。例えば、パンの焼きムラや、花の模様などのように外観の色には一定程度の個体差があり、完全に同じ色が再現されることがないからである。このため、所定のモデル画像とマッチングさせる検査方法では、検査精度に限界がある。加えて、上記のような物品の場合、物品全体の外観を比較しても、局所的な異常が物品の個体差に埋もれ、検出されにくいといった問題もある。

一つの側面では、物品の外観検査において、検査精度の向上を図ることを目的としている。

一態様によれば、検査装置は、
検査対象の物品を撮影した対象画像より抽出された、該物品の外接矩形領域を、複数の領域画像に分割する分割部と、
前記複数の領域画像を、前記外接矩形領域の基準位置からの距離に応じて、複数のグループに分類する分類部と、
各グループに分類された領域画像に含まれる画素を、色ごとに集計することで、グループごとに各色の画素数の割合を算出する算出部と、
合格と判定される物品を撮影したモデル画像について予め算出された、各グループの各色の画素数の割合と、前記算出部により算出された各グループの各色の画素数の割合と比較し、前記検査対象の物品の合否を判定する比較部とを有する。

物品の外観検査において、検査精度の向上を図ることができる。

検査システムのシステム構成の一例を示す図である。 検査装置のハードウェア構成の一例を示す図である。 検査装置の生成部の機能構成の一例を示す図である。 画像データ取得部、圧縮部、ＲＧＢ値変換部の処理の具体例を示す図である。 領域分割部の処理の具体例を示す図である。 グループ生成部の処理の具体例を示す第１の図である。 色彩割合算出部の処理の具体例を示す図である。 登録部の処理の具体例を示す図である。 検査装置の判定部の機能構成の一例を示す図である。 比較部の処理の具体例を示す図である。 比較結果の一例を示す図である。 基準データ生成処理の流れを示すフローチャートである。 判定処理の流れを示すフローチャートである。 グループ生成部の処理の具体例を示す第２の図である。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜検査システムのシステム構成＞
はじめに、第１の実施形態に係る検査装置を含む検査システムのシステム構成について説明する。図１は、検査システムのシステム構成の一例を示す図である。

図１に示すように、検査システム１００は、撮像装置１１０と、検査装置１２０とを有する。撮像装置１１０と検査装置１２０とは、有線または無線を介して接続される。

撮像装置１１０は、合格と判定される物品を予め撮影したモデル画像を含む画像データを、検査装置１２０に送信する。また、撮像装置１１０は、検査対象の物品１４１、１４２、１４３、・・・等を撮影した対象画像を含む画像データを、検査装置１２０に送信する。なお、第１の実施形態において、検査対象の物品１４１、１４２、１４３、・・・等は、"果物"であり、搬送装置１３０により、撮像装置１１０の撮影範囲まで搬送されるものとする。

検査装置１２０は、撮像装置１１０より送信される画像データを処理する。検査装置１２０には、生成プログラムと判定プログラムとを含む検査プログラムがインストールされており、当該プログラムが実行されることで、検査装置１２０は、生成部１２１、判定部１２２として機能する。

生成部１２１は、画像データに含まれるモデル画像に基づいて、基準データを生成する。また、生成部１２１は、生成した基準データを、基準データ格納部１２３に格納する。

判定部１２２は、画像データに含まれる対象画像に基づいて、検査対象の物品の合否を判定する。なお、判定部１２２は、検査対象の物品の合否を判定する際、基準データ格納部１２３に格納された基準データを参照する。

＜検査装置のハードウェア構成＞
次に、検査装置１２０のハードウェア構成について説明する。図２は、検査装置のハードウェア構成の一例を示す図である。図２に示すように、検査装置１２０は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。

また、検査装置１２０は、補助記憶装置２０４、操作装置２０５、表示装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、検査装置１２０の各ハードウェアは、バス２０９を介して相互に接続されている。

ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、生成プログラムと判定プログラムとを含む検査プログラム等）を実行する演算デバイスである。

ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する、主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置２０４は、各種プログラムや、各種プログラムが実行されることで生成されるデータ等を格納する補助記憶デバイスである。例えば、基準データ格納部１２３は、補助記憶装置２０４において実現される。

操作装置２０５は、検査装置１２０の管理者が検査装置１２０に対して各種指示を入力するための入力デバイスである。表示装置２０６は、検査装置１２０の内部状態等を表示する表示デバイスである。Ｉ／Ｆ装置２０７は、撮像装置１１０と接続するための接続デバイスである。

ドライブ装置２０８は、記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、ドライブ装置２０８は、補助記憶装置２０４に各種プログラムをインストールする際に用いられてもよい。具体的には、検査装置１２０の管理者が、配布された記録媒体２１０をドライブ装置２０８にセットし、該記録媒体２１０に記録された各種プログラムをドライブ装置２０８が読み出すことで、補助記憶装置２０４に各種プログラムがインストールされてもよい。

＜検査装置の生成部の機能構成＞
次に、検査装置１２０の生成部１２１の機能構成について説明する。図３は、検査装置の生成部の機能構成の一例を示す図である。図３に示すように、生成部１２１は、画像データ取得部３０１、圧縮部３０２、ＲＧＢ値変換部３０３、領域分割部３０４、グループ生成部３０５、色彩割合算出部３０６、登録部３０７を有する。

画像データ取得部３０１は、撮像装置１１０より送信された画像データのうち、モデル画像を取得し、取得したモデル画像より、合格と判定される物品の外接矩形領域を抽出することで、矩形画像を出力する。

圧縮部３０２は、矩形画像を所定の画素数の部分画像に分割し、各部分画像に含まれる所定数の画素をまとめて１画素とする。このとき、圧縮部３０２は、各部分画像について、各部分画像に含まれる所定数の画素の画素値を用いて１の画素値（ＲＧＢ値）を算出する。これにより、圧縮部３０２は、矩形画像を、各部分画像を１画素とする画像に圧縮し、圧縮済みの矩形画像を生成する。

ＲＧＢ値変換部３０３は、圧縮済みの矩形画像について、各部分画像の画素値（ＲＧＢ値）を変換し、色変換済みの矩形画像を生成する。また、ＲＧＢ値変換部３０３は、色変換済みの矩形画像を、領域分割部３０４に通知する。

領域分割部３０４は、色変換済みの矩形画像を複数の領域画像（所定数の部分画像を含む）に領域分割する。また、領域分割部３０４は、矩形画像を領域分割することで得た複数の領域画像を、グループ生成部３０５に通知する。

グループ生成部３０５は、領域分割部３０４より通知された複数の領域画像を、矩形画像の基準位置からの距離に応じて、複数のグループに分類する。また、グループ生成部３０５は、各グループに分類した各領域画像を、色彩割合算出部３０６に通知する。

色彩割合算出部３０６は、各グループに分類された領域画像に含まれる複数の画素（部分画像）を、色ごとに集計する（グループごとに各色の画素数（部分画像数）を算出する）。これにより、色彩割合算出部３０６では、各グループの各色の画素数（部分画像数）の割合（色彩割合）を算出する。

登録部３０７は、各グループの色彩割合を、基準データとして、基準データ格納部１２３に格納する。

＜検査装置の生成部の各部の処理の具体例＞
次に、検査装置１２０の生成部１２１の各部（画像データ取得部３０１～登録部３０７の各部）の処理の具体例について説明する。

（１）画像データ取得部、圧縮部、ＲＧＢ値変換部の処理の具体例
はじめに、生成部１２１の画像データ取得部３０１、圧縮部３０２、ＲＧＢ値変換部３０３の処理の具体例について説明する。図４は、画像データ取得部、圧縮部、ＲＧＢ値変換部の処理の具体例を示す図である。

図４に示すように、画像データ取得部３０１では、撮像装置１１０より送信されたモデル画像４１０を取得し、取得したモデル画像４１０から、合格と判定される物品４１１の外接矩形領域を抽出することで、矩形画像４２０を出力する。

また、図４に示すように、圧縮部３０２では、矩形画像４２０を所定数の画素（図４の例は９画素）の部分画像（例えば、部分画像４２１）に分割し、部分画像に含まれる所定数の画素（図４の例では９画素）をまとめて１画素とする。

なお、圧縮部３０２では、部分画像（例えば、部分画像４２１）に含まれる所定数の画素（図４の例では９画素）をまとめて１画素とする際、所定数の画素の画素値の平均値を算出する。これにより、圧縮部３０２では、１つの画素値（図４の例では、Ｒ値＝"２１０"）を有する部分画像４２２を生成する（以降は、部分画像４２２が１画素となる）。

なお、圧縮部３０２では、Ｇ値、Ｂ値についても同様に所定数の画素の画素値の平均値を算出するとともに、矩形画像４２０に含まれる全ての部分画像について同様の処理を行う。これにより、圧縮部３０２では、矩形画像４２０を、各部分画像を１画素とする画像に圧縮し、圧縮済みの矩形画像を生成する。

また、図４に示すように、ＲＧＢ値変換部３０３では、圧縮済みの矩形画像について、各部分画像の画素値（ＲＧＢ値）を変換する。本実施形態では、例えば、０～２５５の２５６階調のＲ値を、１１の階調範囲に分け、それぞれの階調範囲に属するＲ値を、それぞれの階調範囲の代表値に色変換する。図４の例は、
・階調範囲＝０～２４に属するＲ値を、代表値＝０に色変換すること、
・階調範囲＝２５～４９に属するＲ値を、代表値＝２５に色変換すること、
・階調範囲＝５０～７４に属するＲ値を、代表値＝５０に色変換すること、
・階調範囲＝７５～９９に属するＲ値を、代表値＝７５に色変換すること、
・階調範囲＝１００～１２４に属するＲ値を、代表値＝１００に色変換すること、
・階調範囲＝１２５～１４９に属するＲ値を、代表値＝１２５に色変換すること、
等を示している。これにより、２５６階調のＲ値は、１１の代表値に色変換されることになる。

同様に、ＲＧＢ値変換部３０３は、例えば、０～２５５の２５６階調のＧ値を、１１の階調範囲に分け、それぞれの階調範囲に属するＧ値を、それぞれの階調範囲の代表値に色変換する。これにより、２５６階調のＧ値は、１１の代表値に色変換されることになる。

同様に、ＲＧＢ値変換部３０３は、例えば、０～２５５の２５６階調のＢ値を、１１の階調範囲に分け、それぞれの階調範囲に属するＢ値を、それぞれの階調範囲の代表値に色変換する。これにより、２５６階調のＢ値は、１１の代表値に色変換されることになる。

なお、ＲＧＢ値変換部３０３によれば、２５６×２５６×２５６＝１６，７７７，２１６パターンの色情報が、１１×１１×１１＝１，３３１パターンの色情報に変換されることになる。

図４において、色変換済みの矩形画像４３０に含まれる、合格と判定される物品４１２は、ＲＧＢ値変換部３０３により色変換が行われた後の画像を示している。

（２）領域分割部の処理の具体例
次に、生成部１２１の領域分割部３０４の処理の具体例について説明する。図５は、領域分割部の処理の具体例を示す図である。図５に示すように、領域分割部３０４では、色変換済みの矩形画像４３０を取得すると、複数の領域画像に領域分割する。図５の例は、色変換済みの矩形画像４３０を、縦方向に６分割、横方向に６分割することで、３６個の領域画像に領域分割した様子を示している。

また、領域分割部３０４では、色変換済みの矩形画像４３０を領域分割することで得られる複数の領域画像（図５の例では、３６個の領域画像）を、グループ生成部３０５に通知する。

（３）グループ生成部の処理の具体例
次に、生成部１２１のグループ生成部３０５の処理の具体例について説明する。図６は、グループ生成部の処理の具体例を示す第１の図である。図６に示すように、グループ生成部３０５では、色変換済みの矩形画像４３０を領域分割することで得られる複数の領域画像を、複数のグループ（図６の例では、３個のグループ）に分類する。

図６の例は、グループ生成部３０５が、色変換済みの矩形画像４３０の中心位置を基準位置として、基準位置からの距離に応じて、複数の領域画像を３個のグループに分類した様子を示している。

具体的には、グループ生成部３０５では、色変換済みの矩形画像４３０の中心位置を囲む領域画像群をグループ１に分類する。図６の例は、矢印６０１に沿って位置する４個の領域画像群がグループ１に分類された様子を示している。

続いて、グループ生成部３０５では、色変換済みの矩形画像４３０の中心位置を囲む領域画像群であって、グループ１に分類された領域画像群よりも１列外側に位置する領域画像群をグループ２に分類する。図６の例は、矢印６０２に沿って位置する１２個の領域画像群がグループ２に分類された様子を示している。

続いて、グループ生成部３０５では、色変換済みの矩形画像４３０の中心位置を囲む領域画像群であって、グループ２に分類された領域画像群よりも１列外側に位置する領域画像群をグループ３に分類する。図６の例は、矢印６０３に沿って位置する２０個の領域画像群がグループ３に分類された様子を示している。

（４）色彩割合算出部の処理の具体例
次に、生成部１２１の色彩割合算出部３０６の処理の具体例について説明する。図７は、色彩割合算出部の処理の具体例を示す図である。

図７に示すように、色彩割合算出部３０６では、各グループに分類された領域画像（グループ１に分類された４個の領域画像、グループ２に分類された１２個の領域画像、グループ３に分類された２０個の領域画像）を取得する。

続いて、色彩割合算出部３０６では、各グループに分類された領域画像に含まれる複数の画素（部分画像）を、色ごとに集計することで、グループごとに各色の画素数（部分画像数）の割合（色彩割合）を算出する。

図７において、円グラフ７０１は、グループ１に分類された４個の領域画像に含まれる複数の部分画像を色ごとに集計し、各色の画素数（部分画像数）の割合（色彩割合）を示したグラフである。

同様に、円グラフ７０２は、グループ２に分類された１２個の領域画像に含まれる複数の部分画像を色ごとに集計し、各色の画素数（部分画像数）の割合（色彩割合）を示したグラフである。

同様に、円グラフ７０３は、グループ３に分類された２０個の領域画像に含まれる複数の部分画像を色ごとに集計し、各色の画素数（部分画像数）の割合（色彩割合）を示したグラフである。

（５）登録部の処理の具体例
次に、生成部１２１の登録部３０７の処理の具体例について説明する。図８は、登録部の処理の具体例を示す図である。

図８に示すように、登録部３０７では、合格と判定される複数の物品（合格物品）について、各グループの色彩割合を取得する。図８の例は、合格物品１、２、３、・・・等について、各グループの色彩割合を取得した様子を示したものである。

図８の例によれば、合格物品１について取得した、各グループの色彩割合は、基準データとして、テーブル８０１に登録され、基準データ格納部１２３に格納される。図８に示すように、テーブル８０１は、情報の項目として、横方向に"色情報１"～"色情報Ｎ"が配列され、縦方向に、"グループ１"～"グループ３"が配列される。なお、上述した図４の例によれば、色変換済みの矩形画像に含まれる色情報は、１，３３１パターンであることから、Ｎ＝１３３１となる。

また、図８の例によれば、合格物品１のグレード（"グレード１"）もあわせてテーブル８０１に登録される。

同様に、図８の例によれば、合格物品２について取得した、各グループの色彩割合は、基準データとして、テーブル８０２に登録され、基準データ格納部１２３に格納される。また、図８の例によれば、合格物品２のグレード（"グレード２"）もあわせてテーブル８０２に登録される。

同様に、図８の例によれば、合格物品３について取得した、各グループの色彩割合は、基準データとして、テーブル８０３に登録され、基準データ格納部１２３に格納される。また、図８の例によれば、合格物品３のグレード（"グレード３"）もあわせてテーブル８０３に登録される。

＜検査装置の判定部の機能構成＞
次に、検査装置１２０の判定部１２２の機能構成について説明する。図９は、検査装置の判定部の機能構成の一例を示す図である。図９に示すように、判定部１２２は、画像データ取得部９０１、圧縮部９０２、ＲＧＢ値変換部９０３（変換部の一例）を有する。また、判定部１２２は、領域分割部９０４（分割部の一例）、グループ生成部９０５（分類部の一例）、色彩割合算出部９０６（算出部の一例）、比較部９０７を有する。

なお、画像データ取得部９０１から色彩割合算出部９０６までの各部の機能は、図３を用いて説明した画像データ取得部３０１から色彩割合算出部３０６までの各部の機能と同様であるため、ここでは説明を省略し、比較部９０７についてのみ説明する。

比較部９０７は、色彩割合算出部９０６より、検査対象の物品について、各グループの色彩割合を取得すると、基準データ格納部１２３より、基準データ（テーブル８０１、８０２、８０３、・・・等）を読み出す。また、比較部９０７は、検査対象の物品について取得した各グループの色彩割合と、テーブル８０１、８０２、８０３、・・・等に登録された、各合格物品についての各グループの色彩割合とを比較する。更に、比較部９０７は、比較結果に基づいて、検査対象の物品の合否を判定するとともに、合格と判定した場合にあっては、検査対象の物品のグレードを判定する。

＜検査装置の判定部の各部の処理の具体例＞
次に、検査装置１２０の判定部１２２の各部（ここでは、比較部９０７）の処理の具体例について説明する。

図１０は、比較部の処理の具体例を示す図である。図１０に示すように、比較部９０７は、検査対象の物品について取得した、各グループの色彩割合と、テーブル８０１に登録された各グループの色彩割合とを比較する。同様に、比較部９０７は、検査対象の物品について取得した、各グループの色彩割合と、テーブル８０２に登録された各グループの色彩割合とを比較する。同様に、比較部９０７は、検査対象の物品について取得した、各グループの色彩割合と、テーブル８０３に登録された各グループの色彩割合とを比較する。

このように、比較部９０７では、基準データ格納部１２３に基準データとして格納されたすべてのテーブルとの間で、テーブル単位で比較を行う。また、比較部９０７では、テーブル単位での比較結果に基づいて、検査対象の物品の合否を判定するとともに、合格と判定した場合にあっては、検査対象の物品のグレードを判定する。

図１１は、比較結果の一例を示す図であり、合格物品１（符号１１００）についての各グループの色彩割合と、検査対象の物品（符号１１１０）についての各グループの色彩割合とを比較した様子を示している。

図１１において、円グラフ１１０１～１１０３は、合格物品１についての各グループの色彩割合を示している。また、円グラフ１１１１～１１１３は、検査対象の物品についての各グループの色彩割合を示している。

また、図１１において、比較結果１１２１は、グループ１の色彩割合の比較結果を、比較結果１１２２は、グループ２の色彩割合の比較結果を、比較結果１１２３は、グループ３の色彩割合の比較結果を、それぞれ表している。

比較結果１１２１～１１２３に示すように、比較部９０７は、テーブルごとに色彩割合を比較する際、グループごとにわけて色彩割合を比較する。また、比較結果１１２１～１１２３に示すように、比較部９０７は、各グループにおいて色彩割合を比較する際、色ごとにわけて比較を行い、差の絶対値を算出する。更に、比較結果１１２１～１１２３に示すように、比較部９０７は、色ごとに算出した差の絶対値を加算し、グループごとに、差の絶対値の合計を算出する。

このように、グループごとにわけたうえで、各色の色彩割合を比較することで、検査対象の物品における局所的な異常が物品の個体差に埋もれるといった事態を回避することができる。この結果、物品全体の外観を色ごとにわけて比較を行う場合よりも、局所的な異常を含む物品と合格物品との差異をより明確にすることができる。

なお、比較部９０７では、いずれかのグループにおいて、差の絶対値の合計が大きい場合には（例えば、差の絶対値の合計が所定の閾値以上の場合には）、検査対象の物品が不合格の候補であると判定する。また、比較部９０７では、いずれのグループについても差の絶対値の合計が小さい場合には（例えば、差の絶対値の合計が所定の閾値未満の場合には）、検査対象の物品が合格であると判定する。

なお、基準データ格納部１２３に基準データとして格納されたすべてのテーブルとの比較において、検査対象の物品が不合格の候補であると判定した場合、比較部９０７は、当該検査対象の物品が不合格であると判定する。

一方、基準データ格納部１２３に基準データとして格納されたテーブルのうち、いずれか１つ以上のテーブルとの比較において、検査対象の物品が合格であると判定した場合、比較部９０７は、検査対象の物品が合格であると判定する。

また、検査対象の物品が合格である判定したテーブルが複数ある場合、比較部９０７では、差の絶対値の合計が最小となるテーブルを特定し（つまり、最も類似するテーブルを特定し）、特定したテーブルに対応付けられたグレードを判定する。これにより、比較部９０７では、検査対象の物品のグレードを判定する。

＜基準データ生成処理の流れ＞
次に、検査装置１２０の生成部１２１による基準データ生成処理の流れについて説明する。図１２は、基準データ生成処理の流れを示すフローチャートである。

ステップＳ１２０１において、生成部１２１の画像データ取得部３０１は、合格と判定される物品をカウントするカウンタｎに、"１"を入力する。

ステップＳ１２０２において、生成部１２１の画像データ取得部３０１は、合格物品ｎの画像データをモデル画像として取得し、取得したモデル画像より、合格物品ｎの外接矩形領域を抽出し、矩形画像を出力する。

ステップＳ１２０３において、生成部１２１の圧縮部３０２は、矩形画像を所定の画素数の部分画像に分割し、各部分画像に含まれる所定数の画素を１画素にまとめることで、矩形画像を、各部分画像を１画素とする画像に圧縮する。

ステップＳ１２０４において、生成部１２１のＲＧＢ値変換部３０３は、圧縮済みの矩形画像について、各部分画像の画素値（ＲＧＢ値）を変換することで、圧縮済みの矩形画像を色変換する。

ステップＳ１２０５において、生成部１２１の領域分割部３０４は、色変換済みの矩形画像を複数の領域画像に領域分割する。

ステップＳ１２０６において、生成部１２１のグループ生成部３０５は、領域分割することで得られる各領域画像を、矩形画像の基準位置からの距離に応じて、複数のグループに分類する。

ステップＳ１２０７において、生成部１２１の色彩割合算出部３０６は、複数のグループに分類された各領域画像に含まれる複数の部分画像を、色ごとに集計し、各グループの色彩割合を算出する。

ステップＳ１２０８において、生成部１２１の登録部３０７は、各グループの色彩割合をテーブルに登録し、基準データとして、基準データ格納部１２３に格納する。

ステップＳ１２０９において、生成部１２１の画像データ取得部３０１は、合格と判定されるすべての物品（全ての合格物品）について、各グループの色彩割合をテーブルに登録したか否かを判定する。ステップＳ１２０９において、各グループの色彩割合をテーブルに登録していない合格物品があると判定した場合には（ステップＳ１２０９においてＮｏの場合には）、ステップＳ１２１０に進む。

ステップＳ１２１０において、生成部１２１の画像データ取得部３０１は、カウンタｎをインクリメントした後、ステップＳ１２０２に戻る。

一方、ステップＳ１２０９において、全ての合格物品について、各グループの色彩割合をテーブルに登録したと判定した場合には（ステップＳ１２０９においてＹｅｓの場合には）、基準データ生成処理を終了する。

＜判定処理の流れ＞
次に、検査装置１２０の判定部１２２による判定処理の流れについて説明する。図１３は、判定処理の流れを示すフローチャートである。

ステップＳ１３０１において、判定部１２２の比較部９０７は、基準データ格納部１２３より基準データを読み出す。

ステップＳ１３０２において、判定部１２２の画像データ取得部９０１は、検査対象の物品を撮影した対象画像を取得し、取得した対象画像より、検査対象の物品の外接矩形領域を抽出することで、矩形画像を出力する。

ステップＳ１３０３において、判定部１２２の圧縮部９０２は、矩形画像を所定の画素数の部分画像に分割し、各部分画像に含まれる所定数の画素を１画素にまとめることで、矩形画像を、各部分画像を１画素とする画像に圧縮する。

ステップＳ１３０４において、判定部１２２のＲＧＢ値変換部９０３は、圧縮済みの矩形画像について、各部分画像の画素値（ＲＧＢ値）を変換することで、圧縮済みの矩形画像を色変換する。

ステップＳ１３０５において、判定部１２２の領域分割部９０４は、色変換済みの矩形画像を複数の領域画像に領域分割する。

ステップＳ１３０６において、判定部１２２のグループ生成部９０５は、領域分割することで得られる各領域画像を、矩形画像の基準位置からの距離に応じて、複数のグループに分類する。

ステップＳ１３０７において、判定部１２２の色彩割合算出部９０６は、複数のグループに分類された各領域画像に含まれる複数の部分画像を、色ごとに集計し、各グループの色彩割合を算出する。

ステップＳ１３０８において、判定部１２２の比較部９０７は、検査対象の物品についての色彩割合と、基準データに含まれる各テーブルの色彩割合とをグループごと、色ごとに比較し、グループごとに差の絶対値の合計を算出する。

ステップＳ１３０９において、判定部１２２の比較部９０７は、基準データに含まれる各テーブルについて、色彩割合の差の絶対値の合計が大きいグループが含まれているか否かを判定する。ステップＳ１３０９において、基準データに含まれるいずれのテーブルについても、色彩割合の差の絶対値の合計が大きいグループが含まれていると判定した場合には（ステップＳ１３０９においてＹｅｓの場合には）、ステップＳ１３１０に進む。

ステップＳ１３１０において、判定部１２２の比較部９０７は、検査対象の物品が不合格であると判定する。

一方、ステップＳ１３０９において、基準データに含まれるテーブルの中に、色彩割合の差の絶対値の合計が大きいグループが含まれていないテーブルがあると判定した場合には（ステップＳ１３０９においてＮｏの場合には）、ステップＳ１３１１に進む。

ステップＳ１３１１において、判定部１２２の比較部９０７は、検査対象の物品が合格であると判定する。

ステップＳ１３１２において、判定部１２２の比較部９０７は、色彩割合の差の絶対値の合計が大きいグループが含まれていないテーブルを特定する。また、判定部１２２の比較部９０７は、特定したテーブルに対応付けられたグレードを識別することで、検査対象の物品のグレードを判定する。

なお、色彩割合の差の絶対値の合計が大きいグループが含まれていないテーブルが複数ある場合、判定部１２２の比較部９０７は、各グループの色彩割合の差の絶対値の合計が最も小さいテーブルを特定する。そして、判定部１２２の比較部９０７は、特定したテーブルに対応付けられたグレードを識別することで、検査対象の物品のグレードを判定する。

ステップＳ１３１３において、判定部１２２の画像データ取得部９０１は、判定処理を終了するか否かを判定する。ステップＳ１３１３において、判定処理を継続すると判定した場合には（ステップＳ１３１３においてＮｏの場合には）、ステップＳ１３０２に戻る。一方、ステップＳ１３１３において、判定処理を終了すると判定した場合には（ステップＳ１３１３においてＹｅｓの場合には）、判定処理を終了する。

以上の説明から明らかなように、第１の実施形態に係る検査装置１２０は、検査対象の物品を撮影した対象画像より抽出された、該物品の外接矩形領域を、複数の領域画像に領域分割する。また、第１の実施形態に係る検査装置１２０は、複数の領域画像を、外接矩形領域の基準位置からの距離に応じて、複数のグループに分類する。また、第１の実施形態に係る検査装置１２０は、各グループに分類された領域画像に含まれる各部分画像を、色ごとに集計することで、グループごとに色彩割合を算出する。更に、第１の実施形態に係る検査装置１２０は、合格と判定される物品を撮影したモデル画像について予め算出された、各グループの色彩割合と、検査対象の物品について算出された各グループの色彩割合とを比較し、検査対象の物品の合否を判定する。

このように、第１の実施形態に係る検査装置１２０では、検査対象の物品についての色彩割合と、合格物品についての色彩割合とを、グループごとにわけて比較する。これにより、第１の実施形態に係る検査装置１２０によれば、検査対象の物品における局所的な異常が物品の個体差に埋もれるといった事態を回避することができる。

この結果、第１の実施形態によれば、物品全体の外観を色ごとにわけて比較を行う場合よりも、局所的な異常を含む物品と合格物品との差異をより明確にすることができる。つまり、第１の実施形態によれば、物品の外観検査において、検査精度の向上を図ることができる。

［第２の実施形態］
上記第１の実施形態では、基準データ生成処理及び判定処理の際に、物品の固有の特性について、特に考慮しなかった。しかしながら、物品によっては、外観検査の際に考慮すべき固有の特性が含まれる場合がある。

例えば、物品が果物の場合、ヘタの部分は、ヘタ以外の部分とは色が大きく異なるとともに、果物ごとに特定の色を有している。一方で、外観検査の際の果物の載置のしかたによっては、果物のヘタの位置は、画像データごとに異なる位置となる。このため、領域画像をグループ分けした場合には、いずれのグループに分類されることもあり得、分類されたグループでは、色彩割合が大きく変動することになる。

そこで、第２の実施形態では、領域画像をグループ分けする際、果物のヘタを含む領域画像（特定の色を有する領域画像）については、グループ分けの対象（分類対象）から除外する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

＜グループ生成部の処理の具体例＞
図１４は、グループ生成部の処理の具体例を示す第２の図である。なお、図１４において、グループ生成部１４００は、生成部１２１が有するグループ生成部であるとして説明するが、判定部１２２が有するグループ生成部も同様の機能を有しているものとする。

図１４に示すように、グループ生成部１４００では、色変換済みの矩形画像１４３０を複数の領域画像に領域分割し、複数のグループに分類する。

ここで、図１４の例では、色変換済みの矩形画像１４３０に含まれる複数の領域画像のうち、領域画像１４３１に、検査対象の果物のヘタの部分が含まれている。この場合、グループ生成部１４００では、グループ２に分類する１２個の領域画像群から、領域画像１４３１を除外し、１１個の領域画像群をグループ２に分類する。図１４において、符号１４０１は、領域画像１４３１が、グループ２に分類する領域画像群から除外された様子を示している。

このように、物品の固有の特性を考慮して、領域画像を分類することで、各グループの色彩割合として、適切な色彩割合を算出することができる。この結果、第２の実施形態によれば、物品の外観検査において、更なる検査精度の向上を図ることができる。

［その他の実施形態］
上記第１及び第２の実施形態では、領域画像をグループ分けする際、矩形画像の中心位置を基準位置とした。しかしながら、基準位置は、矩形画像の中心位置に限定されず、例えば、矩形画像の上端位置や下端位置であってもよい。あるいは、矩形画像の左端位置や右端位置であってもよい。

また、上記第１及び第２の実施形態では、圧縮部３０２、９０２がそれぞれ、部分画像に含まれる３画素×３画素（９画素）をまとめて１画素とすることで、矩形画像を圧縮する場合について説明したが、圧縮部３０２、９０２による圧縮方法はこれに限定されない。

また、上記第１及び第２の実施形態では、生成部１２１、判定部１２２が、それぞれ、圧縮部３０２、９０２を有するものとして説明した。しかしながら、生成部１２１、判定部１２２は、圧縮部３０２、９０２を有していなくてもよい。この場合、色彩割合算出部３０６、９０６では、各色の画素数の割合として、圧縮後の画素数の割合（つまり、部分画像数の割合）に代えて、非圧縮の画素数の割合を、色彩割合として算出することになる。

また、上記第１及び第２の実施形態では、ＲＧＢ値変換部３０３、９０３がそれぞれ、２５階調を１階調に色変換する場合について説明したが、ＲＧＢ値変換部３０３、９０３による色変換方法はこれに限定されない。

また、上記第１及び第２の実施形態では、生成部１２１、判定部１２２が、それぞれ、ＲＧＢ値変換部３０３、９０３を有するものとして説明した。しかしながら、生成部１２１、判定部１２２は、ＲＧＢ値変換部３０３、９０３を有していなくてもよい。この場合、色彩割合算出部３０６、９０６では、各色の画素数の割合として、１，３３１パターンの各色の画素数の割合に代えて、１６，７７７，２１６パターンの各色の画素数の割合を、色彩割合として算出することになる。

また、上記第１及び第２の実施形態では、領域分割部３０４、９０４がそれぞれ、矩形画像を縦方向に６分割、横方向に６分割する場合について説明したが、分割数は、６個に限定されない。

また、上記第１及び第２の実施形態では、比較部９０７が、グループごとに各色の差の絶対値の合計を算出し、算出した合計値に基づいて比較を行うものとして説明した。しかしながら、比較部９０７の比較方法はこれに限定されず、例えば、グループごとに各色の差の絶対値の合計を正規化し、正規化した合計値に基づいて比較を行ってもよい。

また、上記第１の実施形態では、検査対象の物品＝果物の場合について説明したが、検査対象の物品はこれに限定されず、野菜、パン、花等のように、外観の色に基づいて、合否の判定が行われる物品であれば、他の物品であってもよい。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
検査対象の物品を撮影した対象画像より抽出された、該物品の外接矩形領域を、複数の領域画像に分割する分割部と、
前記複数の領域画像を、前記外接矩形領域の基準位置からの距離に応じて、複数のグループに分類する分類部と、
各グループに分類された領域画像に含まれる画素を、色ごとに集計することで、グループごとに各色の画素数の割合を算出する算出部と、
合格と判定される物品を撮影したモデル画像について予め算出された、各グループの各色の画素数の割合と、前記算出部により算出された各グループの各色の画素数の割合と比較し、前記検査対象の物品の合否を判定する比較部と
を有する検査装置。
（付記２）
前記比較部は、
グループごとに比較した結果、いずれかのグループにおいて、各色の画素数の割合の差が所定の閾値以上であると判定した場合、前記検査対象の物品が不合格であると判定する、付記１に記載の検査装置。
（付記３）
前記比較部は、
グループごとに比較した結果、全てのグループにおいて、各色の画素数の割合の差が所定の閾値未満であると判定した場合、前記検査対象の物品が合格であると判定する、付記１に記載の検査装置。
（付記４）
前記比較部は、
複数のモデル画像について予め算出された、各グループの各色の画素数の割合に対して、前記検査対象の物品が合格であると判定した場合、各グループの各色の画素数の割合の差が最小となるモデル画像を特定することで、前記検査対象の物品のグレードを判定する、付記３に記載の検査装置。
（付記５）
前記検査対象の物品を撮影した対象画像より抽出された、該物品の外接矩形領域を、所定の画素数ごとの部分画像に分割し、各部分画像に含まれる所定数の画素の画素値をまとめて１の画素値を算出することで、前記物品の外接矩形領域を圧縮する圧縮部を更に有し、
前記算出部は、
前記部分画像を１画素として、前記画素数の割合を算出する、付記１に記載の検査装置。
（付記６）
前記圧縮部により圧縮された物品の外接矩形領域に含まれる各部分画像の画素値を、該画素値が属する階調範囲において予め定められた代表値に変換する変換部を更に有し、
前記算出部は、
前記代表値に変換された色ごとに集計することで、前記各色の画素数の割合を算出する、付記５に記載の検査装置。
（付記７）
前記分類部は、前記領域画像を複数のグループに分類する際、予め定められた色が含まれる領域画像を、分類対象から除外する、付記１に記載の検査装置。
（付記８）
前記外接矩形領域の基準位置には、前記外接矩形領域の中心位置、上端位置、下端位置、左端位置、右端位置のいずれかが含まれる、付記１に記載の検査装置。
（付記９）
検査対象の物品を撮影した対象画像より抽出された、該物品の外接矩形領域を、複数の領域画像に分割し、
前記複数の領域画像を、前記外接矩形領域の基準位置からの距離に応じて、複数のグループに分類し、
各グループに分類された領域画像に含まれる画素を、色ごとに集計することで、グループごとに各色の画素数の割合を算出し、
合格と判定される物品を撮影したモデル画像について予め算出された、各グループの各色の画素数の割合と、前記算出された各グループの各色の画素数の割合と比較し、前記検査対象の物品の合否を判定する、
処理をコンピュータに実行させるための検査プログラム。
（付記１０）
検査対象の物品を撮影した対象画像より抽出された、該物品の外接矩形領域を、複数の領域画像に分割し、
前記複数の領域画像を、前記外接矩形領域の基準位置からの距離に応じて、複数のグループに分類し、
各グループに分類された領域画像に含まれる画素を、色ごとに集計することで、グループごとに各色の画素数の割合を算出し、
合格と判定される物品を撮影したモデル画像について予め算出された、各グループの各色の画素数の割合と、前記算出された各グループの各色の画素数の割合と比較し、前記検査対象の物品の合否を判定する、
処理をコンピュータが実行する検査方法。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：検査システム
１１０ ：撮像装置
１２０ ：検査装置
１２１ ：生成部
１２２ ：判定部
３０１ ：画像データ取得部
３０２ ：圧縮部
３０３ ：ＲＧＢ値変換部
３０４ ：領域分割部
３０５ ：グループ生成部
３０６ ：色彩割合算出部
３０７ ：登録部
４３０ ：矩形画像
８０１～８０３ ：テーブル
９０１ ：画像データ取得部
９０２ ：圧縮部
９０３ ：ＲＧＢ値変換部
９０４ ：領域分割部
９０５ ：グループ生成部
９０６ ：色彩割合算出部
９０７ ：比較部
１１２１～１１２３ ：比較結果
１４００ ：グループ生成部

Claims (8)

1. 検査対象の物品を撮影した対象画像より抽出された、該物品の外接矩形領域を、複数の領域画像に分割する分割部と、
   前記複数の領域画像を、前記外接矩形領域の基準位置からの距離に応じて、複数のグループに分類する分類部と、
   各グループに分類された領域画像に含まれる画素を、色ごとに集計することで、グループごとに各色の画素数の割合を算出する算出部と、
   合格と判定される物品を撮影したモデル画像について予め算出された、各グループの各色の画素数の割合と、前記算出部により算出された各グループの各色の画素数の割合と比較し、前記検査対象の物品の合否を判定する比較部と
   を有する検査装置。
2. 前記比較部は、
   グループごとに比較した結果、いずれかのグループにおいて、各色の画素数の割合の差が所定の閾値以上であると判定した場合、前記検査対象の物品が不合格であると判定する、請求項１に記載の検査装置。
3. 前記比較部は、
   グループごとに比較した結果、全てのグループにおいて、各色の画素数の割合の差が所定の閾値未満であると判定した場合、前記検査対象の物品が合格であると判定する、請求項１に記載の検査装置。
4. 前記比較部は、
   複数のモデル画像について予め算出された、各グループの各色の画素数の割合に対して、前記検査対象の物品が合格であると判定した場合、各グループの各色の画素数の割合の差が最小となるモデル画像を特定することで、前記検査対象の物品のグレードを判定する、請求項３に記載の検査装置。
5. 前記検査対象の物品を撮影した対象画像より抽出された、該物品の外接矩形領域を、所定の画素数ごとの部分画像に分割し、各部分画像に含まれる所定数の画素の画素値をまとめて１の画素値を算出することで、前記物品の外接矩形領域を圧縮する圧縮部を更に有し、
   前記算出部は、
   前記部分画像を１画素として、前記画素数の割合を算出する、請求項１に記載の検査装置。
6. 前記圧縮部により圧縮された物品の外接矩形領域に含まれる各部分画像の画素値を、該画素値が属する階調範囲において予め定められた代表値に変換する変換部を更に有し、
   前記算出部は、前記代表値に変換された色ごとに集計することで、前記各色の画素数の割合を算出する、請求項５に記載の検査装置。
7. 検査対象の物品を撮影した対象画像より抽出された、該物品の外接矩形領域を、複数の領域画像に分割し、
   前記複数の領域画像を、前記外接矩形領域の基準位置からの距離に応じて、複数のグループに分類し、
   各グループに分類された領域画像に含まれる画素を、色ごとに集計することで、グループごとに各色の画素数の割合を算出し、
   合格と判定される物品を撮影したモデル画像について予め算出された、各グループの各色の画素数の割合と、前記算出された各グループの各色の画素数の割合と比較し、前記検査対象の物品の合否を判定する、
   処理をコンピュータに実行させるための検査プログラム。
8. 検査対象の物品を撮影した対象画像より抽出された、該物品の外接矩形領域を、複数の領域画像に分割し、
   前記複数の領域画像を、前記外接矩形領域の基準位置からの距離に応じて、複数のグループに分類し、
   各グループに分類された領域画像に含まれる画素を、色ごとに集計することで、グループごとに各色の画素数の割合を算出し、
   合格と判定される物品を撮影したモデル画像について予め算出された、各グループの各色の画素数の割合と、前記算出された各グループの各色の画素数の割合と比較し、前記検査対象の物品の合否を判定する、
   処理をコンピュータが実行する検査方法。

Images