JP7729147B2 - 検査装置及びプログラム - Google Patents

Description

本発明は、検査装置及びプログラムに関する。

印刷の後工程として、印刷物の欠陥を検査する工程を備える印刷システムがある。
この種の印刷システムでは、検査の基準に使用する画像（以下「参照画像」という）を、印刷物に対応する印刷データから生成することがある。この種の印刷システムは、印刷物から光学的に読み取った画像（以下「検査画像」という）を参照画像と比較し、相違する部分の画素値が判定用の閾値を超える箇所を欠陥と判定する。欠陥には、例えば汚れ、白抜けがある。

特開２０１８－４２７６号公報

ところで、同じ汚れ等であっても、人による欠陥の評価は総合的であり、参照画像と検査画像から生成される差分画像に現れる特徴を数値化しても、人の評価と一致しないことがある。例えば差分画像に現れる特徴から算出される数値の大きさが同じでも、官能評価では欠陥となる場合と欠陥とならない場合がある。

本発明は、差分画像に現れる特徴を数値化して欠陥を検査する場合に比して、欠陥の検査の精度を向上させることを目的とする。

請求項１に記載の発明は、プロセッサを有し、前記プロセッサは、検査の基準に使用する参照画像の第１の色情報と印刷物から読み取った検査画像の第２の色情報との組み合わせに、目視の官能評価から求めた欠陥の度合いを表す官能値を紐付けた関係に基づいて、印刷物の欠陥を検査する、検査装置である。
請求項２に記載の発明は、前記プロセッサは、検査の対象領域に対応する前記第１の色情報と前記第２の色情報とに基づいて、当該対象領域の官能値を求める、請求項１に記載の検査装置である。
請求項３に記載の発明は、前記プロセッサは、前記参照画像と前記検査画像との差分画像から前記対象領域を抽出する、請求項２に記載の検査装置である。
請求項４に記載の発明は、前記関係は、前記第１の色情報と、前記第２の色情報と、検査の対象領域の特徴と、前記官能値との紐付けを与える、請求項１に記載の検査装置である。
請求項５に記載の発明は、前記特徴は、前記対象領域の大きさと当該対象領域の分散情報の両方又は一方を含む、請求項４に記載の検査装置である。
請求項６に記載の発明は、前記関係は、印刷ジョブの内容に応じて複数用意される、請求項１に記載の検査装置である。
請求項７に記載の発明は、前記プロセッサは、印刷ジョブの内容に応じ、検査に使用する前記関係を選択する、請求項６に記載の検査装置である。
請求項８に記載の発明は、前記プロセッサは、前記検査画像について取得された前記官能値の大きさに応じ、後処理の内容を決定する、請求項１に記載の検査装置である。
請求項９に記載の発明は、前記プロセッサは、前記検査画像の複数の対象領域毎に決定された複数の後処理の内容に基づいて、印刷物に対する後処理の内容を決定する、請求項８に記載の検査装置である。
請求項１０に記載の発明は、前記プロセッサは、前記参照画像の複数の対象領域について求められた複数の官能値に基づいて、印刷物に対する後処理の内容を決定する、請求項８に記載の検査装置である。
請求項１１に記載の発明は、コンピュータに、検査の基準に使用する参照画像の第１の色情報と印刷物から読み取った検査画像の第２の色情報との組み合わせに、目視の官能評価から求めた欠陥の度合いを表す官能値を紐付けた関係に基づいて、印刷物の欠陥を検査する機能、を実現させるためのプログラムである。

請求項１記載の発明によれば、差分画像に現れる特徴を数値化して欠陥を検査する場合に比して、欠陥の検査の精度を向上できる。
請求項２記載の発明によれば、特定の領域部分について官能評価を得ることができる。
請求項３記載の発明によれば、欠陥の可能性がある対象領域毎に官能評価を得ることができる。
請求項４記載の発明によれば、人の官能評価に近づけることができる。
請求項５記載の発明によれば、人の官能評価に近づけることができる。
請求項６記載の発明によれば、印刷ジョブの内容に応じた欠陥の検査を実現できる。
請求項７記載の発明によれば、印刷ジョブの内容に応じた欠陥の検査を実現できる。
請求項８記載の発明によれば、検査の結果に応じた後処理を実行できる。
請求項９記載の発明によれば、印刷物に対する後処理の内容を総合的に決定できる。
請求項１０記載の発明によれば、印刷物に対する後処理の内容を総合的に決定できる。
請求項１１記載の発明によれば、差分画像に現れる特徴を数値化して欠陥を検査する場合に比して、欠陥の検査の精度を向上できる。

実施の形態１で使用する画像印刷システムの構成例を説明する図である。 検査装置のハードウェア構成の一例を説明する図である。 閾値テーブルのデータ例を説明する図である。 官能値ＬＵＴの構成例を説明する図表である。 実施の形態１で使用する検査装置の機能構成の一例を説明する図である。 実施の形態１で使用する検査装置による欠陥の検査動作例の一部を説明するフローチャートである。 実施の形態１で使用する検査装置による欠陥の検査動作例の残りの部分を説明するフローチャートである。 実施の形態２で使用する検査装置による欠陥の検査動作例のうち実施の形態１との相違点を説明するフローチャートである。 実施の形態３で使用する検査装置による欠陥の検査動作例のうち実施の形態１との相違点を説明するフローチャートである。 欠陥の候補として抽出された画素の色情報と特徴との組合せと、目視による官能評価から求めた官能値との関係を学習する機械学習装置を説明する図である。 実施の形態４で使用する検査装置の機能構成の一例を説明する図である。 欠陥を検査する領域をユーザが指定する例を説明する図である。（Ａ）は欠陥の候補として抽出された画素で構成されるグループの位置の表示例を示し、（Ｂ）はユーザによるグループの指定例を示す。 ユーザが指定した任意の領域部分の欠陥を検査する例を説明する図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システム構成＞
図１は、実施の形態１で使用する画像印刷システム１の構成例を説明する図である。
図１に示す画像印刷システム１は、ネットワーク１０に接続された印刷データ生成装置２０と印刷システム３０とで構成されている。
ネットワーク１０には、例えば有線ＬＡＮ（＝Local Area Network）や無線ＬＡＮを使用する。もっとも、ネットワーク１０として、インターネットや５Ｇ等の移動体通信システムを使用してもよい。

印刷データ生成装置２０は、文書データを印刷データに変換する処理装置である。印刷データ生成装置２０は、例えばＤＦＥ（＝Digital Front End）ともＲＩＰ（＝Raster Image Processor）とも呼ばれる。
本実施の形態における印刷データは、ラスター形式のデータ（以下「ラスターデータ」という）として出力される。なお、文書データは、文字や画像であり、ユーザが操作するコンピュータから与えられる。

印刷システム３０は、印刷データに対応する画像を用紙の表面に印刷する印刷装置３１０と、印刷装置３１０から印刷済みの用紙（以下「印刷物」ともいう）を受け取って印刷の欠陥を検査する検査装置３２０と、予め指定された出力の形態に応じて印刷物を処理する後処理装置３３０とで構成される。
印刷装置３１０は、印刷データを処理する処理部と、用紙に画像を印刷する印刷部とを有している。印刷装置３１０は、例えば電子写真方式やインクジェット方式により、用紙の表面に画像を印刷する。本実施の形態の場合、用紙は、カット紙を想定する。もっとも、用紙は、ロール紙でもよい。

検査装置３２０は、印刷装置３１０から排出される印刷物を光学的に読み取って検査画像を取得し、印刷物に生じている欠陥をリアルタイムで検査する。
検出の対象とする欠陥には、例えば汚れや白抜けがある。
本実施の形態における検査装置３２０は、印刷の欠陥の検査の際に、基準として使用する参照画像を印刷データから生成する。
後処理装置３３０は、いわゆるフィニッシャーであり、例えばソート、ステイプル、折り畳み、テープ製本を実行する。

＜検査装置の構成＞
図２は、検査装置３２０のハードウェア構成の一例を説明する図である。
図２に示す検査装置３２０は、装置全体の動作を制御するプロセッサ３２１と、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（＝Read Only Memory）３２２と、プロセッサ３２１のワークエリアとして用いられるＲＡＭ（＝Random Access Memory）３２３と、検査に関連する情報が表示されるディスプレイ３２４と、ユーザの操作を受け付ける操作受付装置３２５と、印刷物から検査画像を読み取るスキャナ３２６と、参照画像や検査画像を記憶するハードディスク装置３２７と、外部との通信に用いられる通信モジュール３２８と、を有している。なお、プロセッサ３２１と各部は、バス等の信号線３２９を通じて接続されている。

プロセッサ３２１と、ＲＯＭ３２２と、ＲＡＭ３２３は、いわゆるコンピュータとして機能する。プロセッサ３２１は、プログラムの実行を通じて各種の機能を実現する。例えばプロセッサ３２１は、印刷物から欠陥を検出する処理等を実行する。
ディスプレイ３２４は、例えば液晶ディスプレイや有機ＥＬディスプレイである。本実施の形態の場合、ディスプレイ３２４は、装置本体に一体的に設けられているが、検査装置３２０に接続されるモニタでもよい。

操作受付装置３２５は、ディスプレイ３２４の表面に配置される静電容量式のフィルムセンサや筐体に配置されるスイッチ、ボタン等で構成される。
ディスプレイ３２４と操作受付装置３２５を一体化したデバイスは、タッチパネルと呼ばれる。タッチパネルは、ソフトウェア的に表示されたキー（以下「ソフトキー」とも呼ぶ）に対するユーザの操作の受け付けに使用される。
スキャナ３２６は、搬送される印刷物の表面に線状の照明光を照射する光源と、印刷物の表面で反射された反射光を受光するラインセンサと、反射光をラインセンサに結像する光学系とを有している。本実施の形態では、検査の対象とする印刷物の全体を撮像した画像を「検査画像」と呼ぶ。検査画像は、例えばＲＡＭ３２３に記憶される。

ハードディスク装置３２７は、検査用の閾値テーブル３２７Ａ、官能値ＬＵＴ３２７Ｂ、検査ログ３２７Ｃ等を記憶する。
検査用の閾値テーブル３２７Ａは、画像の特徴に応じた閾値を記憶するテーブルである。例えば汚れが目立ち易い明るい画像部分と白抜けが目立ち易い暗い画像部分とでは、異なる閾値が用意される。この他、エッジ領域と非エッジ領域では、それぞれ異なる閾値が用意される。

閾値は、印刷データが白地の用紙に印刷される場合、すなわち検査画像の下地の色が白色の場合を想定して定められている。閾値で想定する白色は、例えば白色度が１００％であることをいう。以下では、白色度が１００％の用紙を白色用紙ともいう。閾値は、検査画像に対応する印刷物の用紙の色に応じて変更することが望ましい。

図３は、閾値テーブル３２７Ａのデータ例を説明する図である。
図３に示す閾値テーブル３２７Ａでは、参照画像と検査画像のエッジの有無の組み合わせに応じて閾値が設定されている。本実施の形態の場合、閾値テーブル３２７Ａは、参照画像の明るさの違い別に複数用意されている。

例えば参照画像と検査画像の両方でエッジが存在しない領域の閾値として「１００」が設定され、参照画像と検査画像の両方でエッジが存在する領域の閾値として「１５０」が設定されている。
また、参照画像にはエッジが存在しないが検査画像にはエッジが存在する領域の閾値として「５０」が設定され、参照画像にはエッジが存在するが検査画像にはエッジが存在しない領域の閾値として「１５０」が設定されている。前者の領域はいわゆる汚れであり、後者の領域はいわゆる白抜けである。

図２の説明に戻る。
官能値ＬＵＴ（＝Lookup table）３２７Ｂは、欠陥の候補として検出された部位の参照画像の色情報と、検査画像の色情報との組み合わせに、対象とする領域を目視する人が欠陥と感じる度合いを表す官能値を紐付けた対応表である。
参照画像の色情報は、「第１の色情報」の一例であり、検査画像の色情報は、「第２の色情報」の一例である。官能値は、官能評価の結果を表す数値である。本実施の形態の場合、官能値の数値が大きいほど、人が欠陥として認識することを意味する。

図４は、官能値ＬＵＴ３２７Ｂの構成例を説明する図表である。図４では、参照画像と検査画像の色情報を、Ｌａｂ色空間の座標値で表している。例えば明るさＬは、「０」～「１００」の値で与えられ、補色次元ａ及びｂは、「０」～「１２８」の値で与えられる。
官能値ＬＵＴ３２７Ｂでは、参照画像のＬａｂ値と検査画像のＬａｂ値の交点位置に、対応する官能値が記憶されている。例えば参照画像の（Ｌ，ａ，ｂ）＝（９０，９６，５０）と、検査画像の（Ｌ，ａ，ｂ）＝（３０，１５，１０）の組み合わせに対応する官能値は「５５」である。

本実施の形態の場合、官能値ＬＵＴ３２７Ｂにおける官能値は、欠陥の候補に対応する領域部分の色情報の違いを目視する場合に欠陥として判断するかを官能評価した結果である。すなわち、参照画像のＬａｂ値と検査画像のＬａｂ値の交差点には、Ｌａｂ値の違いを官能評価した結果が紐付けられている。
換言すると、参照画像のＬａｂ値が検査画像のＬａｂ値に置き換わった場合に人の目に欠陥として認識される度合いを数値で表した値が官能値として紐付けられている。
この意味で、本実施の形態における官能値は、色差の大きさから計算される評価値とは異なる。

図２の説明に戻る。
検査ログ３２７Ｃには、印刷物毎に実行された検査の結果が記録される。
この他、ハードディスク装置３２７には、印刷データから生成された参照画像を記憶してもよい。
前述したように、本実施の形態における参照画像は、プロセッサ３２１により、印刷データからデジタル的に生成される。
この他、ハードディスク装置３２７には、ファームウェアや欠陥の検査に使用するアプリケーションプログラムも記憶される。以下では、ファームウェアやアプリケーションプログラムを総称して「プログラム」という。

本実施の形態では、補助記憶装置としてハードディスク装置３２７を想定するが、半導体メモリを使用してもよい。
通信モジュール３２８は、有線や無線による通信規格に準拠した通信用のモジュールで構成される。通信モジュール３２８には、例えばイーサネット（登録商標）モジュール、ＵＳＢ（＝Universal Serial Bus）モジュール、無線ＬＡＮモジュールを使用する。

図５は、実施の形態１で使用する検査装置３２０の機能構成の一例を説明する図である。図５には、欠陥の検査に関連する機能を表している。図５に示す機能は、プロセッサ３２１（図２参照）によるプログラムの実行を通じて実現される。
図５に示す検査装置３２０は、検査に関連する機能として、参照画像生成部３５１と、検査画像生成部３５２と、画像内エッジ抽出部３５３と、差分画像生成部３５４と、閾値設定部３５５と、欠陥候補抽出部３５６と、官能値決定部３５７と、後処理制御部３５８とを有している。

参照画像生成部３５１は、印刷データ生成装置２０（図１参照）から印刷装置３１０に与えられる印刷データに基づいて参照画像を生成する機能部である。本実施の形態における参照画像は、白色用紙に画像を印刷する場合を想定して生成される。
参照画像は、画像内エッジ抽出部３５３と、差分画像生成部３５４と、閾値設定部３５５と、官能値決定部３５７に与えられる。

検査画像生成部３５２は、スキャナ３２６からライン状に読み取られる画像から検査画像をリアルタイムで生成する機能部である。
検査画像も、画像内エッジ抽出部３５３と、差分画像生成部３５４と、閾値設定部３５５と、官能値決定部３５７に与えられる。
なお、スキャナ３２６を通過した印刷物は、後段の後処理装置３３０（図１参照）に排出される。

画像内エッジ抽出部３５３は、参照画像と検査画像のそれぞれからエッジを抽出する機能部である。エッジは、例えば被写体の輪郭や特徴であり、輝度値の不連続性を用いて抽出が可能である。参照画像から抽出されたエッジ画像と検査画像から抽出されたエッジ画像は、差分画像生成部３５４と、閾値設定部３５５に与えられる。
差分画像生成部３５４は、サブ機能としての位置合せ部３５４Ａを有し、位置合わせ後の参照画像と検査画像との差分画像を生成する機能部である。
位置合せ部３５４Ａは、例えば参照画像のエッジ画像と検査画像のエッジ画像とを照合し、参照画像と検査画像を位置合せする。差分画像生成部３５４は、生成した差分画像を欠陥候補抽出部３５６に出力する。

閾値設定部３５５は、欠陥の検査に使用する閾値を設定する機能部である。本実施の形態における閾値設定部３５５は、参照画像の明るさ、参照画像のエッジの情報及び検査画像のエッジの情報等の組み合わせに対応する閾値を閾値テーブル３２７Ａ（図３参照）から読み出し、欠陥候補抽出部３５６に出力する。

欠陥候補抽出部３５６は、差分画像生成部３５４から与えられる差分画像の画素値と閾値とを比較し、検査画像に含まれる欠陥の候補を抽出する機能部である。欠陥候補抽出部３５６は、画素値が閾値未満の画素は正常と判定し、画素値が閾値以上の画素を欠陥の候補とする。
閾値を超える画素であっても、人が欠陥として評価する場合としない場合があるので、本実施の形態では、「欠陥の候補」という。
欠陥候補抽出部３５６は、抽出された欠陥の候補を、官能値決定部３５７に出力する。

官能値決定部３５７は、欠陥候補抽出部３５６により抽出された画素をグループ化し、グループ単位で、欠陥か否かを判定する。グループ化された画素の集りは、対象領域の一例である。
本実施の形態の場合、官能値決定部３５７は、例えば候補として抽出された画素のうち互いに隣り合う画素をグループ化する。１つのグループが、１つの画素だけで構成される場合もある。

もっとも、候補として抽出された画素が、他の候補の画素やグループと隣り合っていない場合でも、画素間の距離や画素とグループを構成する画素との最短の距離が予め定めた閾値以下の場合には同じグループに含めてもよい。因みに、候補として抽出された画素に対し、画素の距離が閾値以下となるグループが複数存在する場合には、距離がより短い方のグループに含める。

グループ化が終了すると、官能値決定部３５７は、同じグループに属する色情報の代表値を参照画像と検査画像のそれぞれについて決定する。代表値は、例えば同じグループに属する各画素の色情報の平均値として算出する。
処理の対象とするグループについて代表値が決定されると、官能値決定部３５７は、決定された代表値の組み合わせに対応する官能値を、官能値ＬＵＴ３２７Ｂから読み出す。読み出された官能値は、対応するグループの官能値として、官能値決定部３５７から後処理制御部３５８に出力される。

同じ印刷物に紐付けられている欠陥の候補の全てのグループについて官能値が決定されると、官能値決定部３５７は、その旨を後処理制御部３５８に通知する。
もっとも、官能値決定部３５７は、処理対象とする印刷物の切り替わりを、官能値と共に、後処理制御部３５８に通知してもよい。

なお、官能値決定部３５７から与えられる官能値が同じ印刷物に紐付けられているか別の印刷物に紐付けられているかの識別が後処理制御部３５８の側で可能であれば、前述した印刷物単位における官能値を決定する処理が終了した旨を示す通知は不要である。例えば個々の官能値に検査の対象である印刷物を識別する情報が付されていれば、後処理制御部３５８は、官能値に付されている情報から同じ印刷物に紐付けられている官能値の識別が可能である。

後処理制御部３５８は、検査の対象である印刷物単位で、後処理を決定する機能部である。本実施の形態における後処理制御部３５８は、検査の対象である印刷物毎に決定された１つ又は複数の官能値の大きさに基づいて、印刷物単位による後処理の内容を決定する。本実施の形態では、印刷物はページ単位で印刷される。このため、後処理の制御は、ページ単位で実行されるともいう。

本実施の形態の場合、後処理制御部３５８は、同じ印刷物に紐付けられている複数の官能値のうち最大値に基づいて、対応する印刷物に対する後処理の内容を決定する。同じ印刷物から抽出された欠陥の候補が３つある場合に、グループＡの官能値が「７０」、「グループＢの官能値が「５０」、グループＣの官能値が「３０」の場合、これらの中で最も大きい「７０」を、官能値の代表値とする。

本実施の形態の場合、後処理制御部３５８は、後処理の内容として、「印刷の停止」、「ログの記録」、「無視」の３種類を用意する。
「印刷の停止」は、欠陥の重症度が高い印刷物を想定した後処理である。「ログの記録」は、欠陥の重症度が中程度の印刷物を想定した後処理である。「無視」は、欠陥の重症度が低い印刷物を想定した後処理である。

これら３種類に対応する後処理の決定には２種類の閾値Ａ及びＢを使用する。例えば官能値が閾値Ａより大きい場合には、後処理に「印刷の停止」を決定し、官能値が閾値Ａ以下であるが閾値Ｂより大きい場合には、後処理に「ログの記録」を決定し、官能値が閾値Ｂ以下の場合、後処理に「ログの記録」を決定する。

これらの他、後処理の内容には、例えば「印刷物の排出先の変更」、「スタンプや穴あけ等の指示」を含めてもよい。
「印刷物の排出先の変更」は、例えば欠陥としての重症度が高い印刷物を、軽度や中程度の欠陥が検出された印刷物と区別するために用意される。
「スタンプや穴あけ等の指示」は、欠陥としての重症度が高い印刷物を排除する目的で用意される。

＜検査動作＞
以下では、図６及び図７を使用して欠陥の検査動作を説明する。
図６は、実施の形態１で使用する検査装置３２０（図１参照）による欠陥の検査動作例の一部を説明するフローチャートである。
図７は、実施の形態１で使用する検査装置３２０による欠陥の検査動作例の残りの部分を説明するフローチャートである。
前述したように、図６及び図７に示す処理動作は、プロセッサ３２１（図２参照）によるプログラムの実行を通じて実現される。

プロセッサ３２１は、印刷装置３１０（図１参照）から新たな印刷物を受け付けると、図６に示す処理動作を開始する。
まず、プロセッサ３２１は、参照画像を取得し（ステップ１）、続いて、検査画像を取得する（ステップ２）。同じ画像を連続して印刷する場合には、参照画像の取得は一度だけでもよい。

次に、プロセッサ３２１は、参照画像のエッジを抽出し（ステップ３）、続いて、検査画像のエッジを抽出する（ステップ４）。
この後、プロセッサ３２１は、２つのエッジ画像を用いて、参照画像と検査画像を位置合わせする（ステップ５）。もっとも、参照画像と検査画像の位置合わせは、エッジ画像を抽出する前に実行してもよい。

次に、プロセッサ３２１は、処理対象とする画素について、参照画像の明るさを判定し（ステップ６）、続いて、参照画像の明るさとエッジ画像の情報を用いて閾値を決定する（ステップ７）。例えばプロセッサ３２１は、エッジの有無等に応じて欠陥の判定に使用する閾値を決定する。
さらに、プロセッサ３２１は、処理対象とする画素について、参照画像と検査画像の画素値の差分を算出し（ステップ８）、算出された差分が閾値を超えるか否かを判定する（ステップ９）。この処理は、欠陥の候補である画素を抽出する処理に対応する。

この後、プロセッサ３２１は、全ての画素の判定が終了したか否かを判定する（ステップ１０）。
ステップ１０で否定結果が得られた場合、プロセッサ３２１は、ステップ６に戻り、検査が済んでいない残りの画素を対象に、前述したステップ６～ステップ９の処理を繰り返す。
ステップ１０で肯定結果が得られた場合、プロセッサ３２１は、欠陥の候補をグループ化し（ステップ１１）、続いて、グループに対応する位置の参照画像と検査画像の各色情報の組み合わせに対応する官能値を取得する（ステップ１２）。

官能値を取得すると、プロセッサ３２１は、全てのグループの処理が終了したか否かを判定する（ステップ１３）。
未処理のグループが残っている場合、プロセッサ３２１は、ステップ１３で否定結果を得る。ステップ１３で否定結果が得られた場合、プロセッサ３２１は、ステップ１２に戻り、未処理のグループのうちの１つについて、ステップ１２の処理を実行する。
未処理のグループがなくなると、プロセッサ３２１は、ステップ１３で肯定結果を得る。

ステップ１３で肯定結果が得られると、プロセッサ３２１は、ページ全体としての後処理の内容を決定する（ステップ１４）。換言すると、検査の対象である印刷物に対する後処理の内容が決定される。
この後、プロセッサ３２１は、検査の結果を出力する（ステップ１５）。また、プロセッサ３２１は、決定された内容の後処理も実行する。

＜まとめ＞
本実施の形態の場合、欠陥の候補として抽出された領域部分に対応する参照画像と検査画像の色情報の組み合わせに対して、色の違いが欠陥として人にどのように評価されるかの結果を表す官能値の関係に基づいて印刷物の欠陥を検査する。
このため、検査装置３２０（図１参照）により実行される欠陥の検査を、色差で定義される一般式により算出する場合よりも、人の感性に近づけることが可能になる。

＜実施の形態２＞
本実施の形態では、検査動作の他の例を説明する。従って、検査動作以外は、実施の形態１と同様である。すなわち、本実施の形態の場合も、画像印刷システム１（図１参照）の構成、検査装置３２０（図１参照）のハードウェア構成や機能構成は実施の形態１と共通である。
図８は、実施の形態２で使用する検査装置３２０による欠陥の検査動作例のうち実施の形態１との相違点を説明するフローチャートである。図８には、図７との対応部分に対応する符号を付して示している。

本実施の形態の場合、ステップ１２においてグループ毎の官能値が取得されると、プロセッサ３２１（図２参照）は、処理対象とするグループの後処理の内容を決定する（ステップ２１）。例えばプロセッサ３２１は、グループ毎に、「印刷の停止」、「ログの記録」、「無視」のいずれかの処理を決定する。
ステップ２１の実行後、プロセッサ３２１は、全てのグループの処理が終了したか否かを判定する（ステップ１３）。

本実施の形態の場合、ステップ１３で肯定結果が得られた場合、プロセッサ３２１は、ステップ２１で決定されたグループ別の後処理の内容に基づいて、印刷物であるページ全体としての後処理の内容を決定する（ステップ１４Ａ）。
例えば「印刷の停止」と決定されたグループが１つ存在し、「ログの記録」と決定されたグループと「無視」と決定されたグループが複数存在する場合、プロセッサ３２１は、最も重症度が大きい欠陥に対する後処理である「印刷の停止」をページ全体に対する後処理の内容に決定する。すなわち、プロセッサ３２１は、ページ全体としての後処理の内容として、より上位の後処理の内容を優先する。
本実施の形態による検査動作の場合にも、実施の形態１と同じ検査の結果を得ることが可能である。

＜実施の形態３＞
引き続き、検査動作の他の例を説明する。従って、検査動作以外は、実施の形態１と同様である。すなわち、本実施の形態の場合も、画像印刷システム１（図１参照）の構成、検査装置３２０（図１参照）のハードウェア構成や機能構成は実施の形態１と共通である。
図９は、実施の形態３で使用する検査装置３２０による欠陥の検査動作例のうち実施の形態１との相違点を説明するフローチャートである。図９には、図７との対応部分に対応する符号を付して示している。

本実施の形態の場合、ステップ１１において欠陥の候補がグループ化されると、プロセッサ３２１（図２参照）は、グループに対応する位置の参照画像と検査画像の各色情報と各特徴の組み合わせに対応する官能値を取得する（ステップ３１）。
ここでの特徴には、例えばグループを構成する欠陥の候補の画素の数、グループを構成する欠陥の候補の画素の散らばり具合が含まれる。因みに、特徴には、グループを構成する画素の集合が形成する形状を含めてもよい。形状には、例えば線状、楕円状がある。

グループを構成する欠陥の候補の画素の数は、欠陥の候補の大きさに影響する。グループを構成する欠陥の候補の画素の数が多ければ、欠陥として認識される可能性も高くなる。
ただし、グループを構成する欠陥の候補の画素の数が多くても、色情報の違いが認識され難い場合には、人が欠陥として認識するとは限らない。また、グループを構成する欠陥の候補の画素の数が少なくても、色情報の違いが認識され易い場合には、人が欠陥として認識する可能性は高くなる。

グループを構成する欠陥の候補の画素の散らばり具合は、１つのグループとみなす画素の範囲を与える基準である。散らばり具合が大きい場合、１つのグループに含まれる候補の画素の範囲が広くなる。一方、散らばり具合が小さい場合、１つのグループに含まれる候補の画素の範囲が狭くなる。
本実施の形態の場合、官能値ＬＵＴ３２７Ｂには、グループを構成する欠陥の候補の画素の数と、グループを構成する欠陥の候補の画素の散らばり具合と、参照画像の色情報と、検査画像の色情報の組み合わせで分類された欠陥の候補を目視で官能評価した場合における官能値を紐付けた関係が記憶されている。ここでの散らばり具合は、いわゆる「分散情報」である。

このため、ステップ３１で取得される官能値は、実施の形態１の場合とは異なり、一体的に認識される欠陥の候補としての画素の集まりである各グループの特徴も含めた人の官能評価として与えられる。
その他の処理動作は、実施の形態１と同じである。すなわち、ステップ３１で各グループに対する官能値を取得すると、プロセッサ３２１は、全てのグループに対する判定が終了したか否かを判定し（ステップ１３）、全てのグループに対する判定が終了すると、ページ全体としての後処理の内容を決定する（ステップ１４）。

＜まとめ＞
本実施の形態の場合、一体的に認識される欠陥の候補としての画素の集まりであるグループ単位の官能値として、色情報と特徴との組み合わせで分類された欠陥の候補を目視で官能評価した結果である官能値が与えられる。
人による欠陥の評価は、欠陥の候補の大きさやばらつきも含めた総合的な評価である。しかも、本実施の形態の場合には、実際の欠陥に近いサンプルを目視で官能評価した結果である官能値が、色情報と特徴の組み合わせに対して紐付けられているので、人の感性により近い欠陥の検査が実現される。

＜実施の形態４＞
本実施の形態では、欠陥の候補として抽出された画素の色情報と特徴との組合せと、目視による官能評価から求めた官能値との関係を学習した学習モデルに基づいて欠陥の検査を実行する例を説明する。
本実施の形態における画像印刷システム１（図１参照）の構成、検査装置３２０（図１参照）のハードウェア構成は、実施の形態１と共通である。
図１０は、欠陥の候補として抽出された画素の色情報と特徴との組合せと、目視による官能評価から求めた官能値との関係を学習する機械学習装置４００を説明する図である。

機械学習装置４００には、欠陥の候補のグループに対応する位置の参照画像の色情報と、欠陥の候補のグループに対応する位置の検査画像の色情報と、欠陥の候補のグループを構成する画素数と、グループを構成する欠陥の候補の画素の散らばり具合との組み合わせを入力とし、対応する官能値を出力とする関係が教師データとして与えられる。
ここでの機械学習には、例えば畳み込みニューラルネットワークを使用する。

畳み込みニューラルネットワークは、教師あり学習の一例である。
畳み込みニューラルネットワークは、局所的な特徴を抽出する畳み込み層と、畳み込み層の出力の空間的な特徴をより強調するプーリング層と、プーリング層の出力を入力とする畳み込み層とその出力を入力とするプーリング層を何度か繰り返した結果を結合する全結合層とで構成される。

畳み込みニューラルネットワークによる学習により、欠陥の候補のグループに対応する位置の参照画像の色情報と、欠陥の候補のグループに対応する位置の検査画像の色情報と、欠陥の候補のグループを構成する画素数と、グループを構成する欠陥の候補の画素の散らばり具合との組み合わせを入力として与えると、対応する官能値が出力される学習モデル４１０が生成される。

図１１は、実施の形態４で使用する検査装置３２０の機能構成の一例を説明する図である。図１１には、図５との対応部分に対応する符号を付して示している。
図１１に示す検査装置３２０における官能値決定部３５７は、官能値ＬＵＴ３２７Ｂ（図５参照）に代えて学習モデル４１０を有している。
官能値決定部３５７は、欠陥の候補のグループに対応する位置の参照画像の色情報と、欠陥の候補のグループに対応する位置の検査画像の色情報と、欠陥の候補のグループを構成する画素数と、グループを構成する欠陥の候補の画素の散らばり具合とを学習モデル４１０に与え、対応する官能値を学習モデル４１０から取得する点で実施の形態１と相違する。

＜まとめ＞
本実施の形態による手法の場合にも、実施の形態１と同じく、検査装置３２０（図１参照）により実行される欠陥の検査を、色差で定義される一般式により算出する場合よりも、人の感性に近づけることが可能になる。

＜実施の形態５＞
前述の実施の形態の場合には、欠陥の候補として抽出された画素のグループ化により得られた全てのグループを対象として欠陥を検査しているが、検査画像のうち検査したい領域をユーザが画面上で指定してもよい。
図１２は、欠陥を検査する領域をユーザが指定する例を説明する図である。（Ａ）は欠陥の候補として抽出された画素で構成されるグループＧ１～Ｇ４の位置の表示例を示し、（Ｂ）はユーザによるグループＧの指定例を示す。

図１２（Ａ）に示す操作画面５００Ａ及び図１２（Ｂ）に示す操作画面５００Ｂは、例えばディスプレイ３２４（図２参照）に表示される。
図１２（Ａ）に示す操作画面５００Ａには、「欠陥の候補が見つかりました。」、「検査したい候補を指定しますか？」とのユーザに操作を促す文５１０と、検査画像５２０と、候補をユーザが指定したい場合に操作するボタン５３０と、候補をユーザが指定しない場合に操作するボタン５４０が表示されている。
検査画像５２０では、４つのグループＧ１～Ｇ４の位置が破線で囲んで示されている。操作画面５００Ａの場合、ボタン５３０の上にマウスカーソルが位置している。

図１２（Ｂ）に示す操作画面５００Ｂは、操作画面５００Ａにおいてボタン５３０がクリック操作されることで表示される。
操作画面５００Ｂには、「検査したい候補を指定してください」との文５５０と、候補が指定された状態で検査の実行を指示する場合に操作するボタン５６０と、検査の実行をキャンセルする場合に操作するボタン５７０と、「検査しますか」とのユーザに操作を促す文５８０とが表示されている。
図１２（Ｂ）に示す操作画面５００Ｂでは、グループＧ１がマウスカーソルで選択された状態を表している。この状態でボタン５６０がクリックされると、欠陥の検査が実行される。

＜実施の形態６＞
実施の形態５の場合には、検査装置３２０（図１参照）が欠陥の候補として抽出したグループに対応する領域のうち検査したいグループをユーザが指定しているが、本実施の形態では、任意の領域をユーザが指定する場合について説明する。
図１３は、ユーザが指定した任意の領域部分の欠陥を検査する例を説明する図である。
図１３に示す操作画面６００も、例えばディスプレイ３２４（図２参照）に表示される。

操作画面６００には、「検査したい範囲を指定してください」との文６１０と、参照画像６２０と、マウスカーソルにより指定された領域部分６３０が表示されている。
欠陥の検査に使用する任意の領域部分をユーザが指定する場合、指定された領域部分を特定する情報が官能値決定部３５７に直接与えられる。
この場合、官能値決定部３５７は、ユーザが指定した領域部分について、前述した実施の形態１等で説明した手法により官能値を出力する。

＜他の実施の形態＞
（１）以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

（２）前述の実施の形態においては、印刷データから生成した画像を参照画像として使用しているが、光学的に読み取った画像を参照画像として使用してもよい。

（３）前述の実施の形態においては、参照画像の色情報と、検査画像の色情報と、目視の官能評価から求めた官能値とを紐付けた関係を、Ｌａｂ色空間の座標値の組み合わせと官能値とを紐付けた関係として説明したが、他の色空間を使用してもよい。他の色空間には、例えばＬ^＊ａ^＊ｂ^＊色空間、ＨＳＶ色空間、ＨＳＬ色空間を使用してもよい。

（４）前述の実施の形態における官能値ＬＵＴ３２７Ｂは、検査の対象領域の色情報の組み合わせと官能値との関係を規定する場合や検査の対象領域の色情報と特徴の組み合わせと官能値との関係を記憶する場合について説明したが、検査に使用する関係は、印刷ジョブの内容に応じて選択してもよい。例えば黒に塗り潰される領域では白抜けが目立ちやすく、帳票印刷では小数点と間違える可能性がある汚れを検知する必要性が高い。このため、印刷ジョブの内容に応じて欠陥の検査に使用する官能値ＬＵＴ３２７Ｂを選択してもよい。
また、学習モデル４１０（図１０参照）の学習に際しても、印刷ジョブの内容別に複数の学習モデル４１０を学習してもよい。

（５）前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順番は、前述した各実施の形態に記載した順番のみに限定されるものでなく、個別に変更してもよい。

１…画像印刷システム、１０…ネットワーク、２０…印刷データ生成装置、３０…印刷システム、３１０…印刷装置、３２０…検査装置、３２７Ａ…閾値テーブル、３２７Ｂ…官能値ＬＵＴ、３２７Ｃ…検査ログ、３３０…後処理装置、３５１…参照画像生成部、３５２…検査画像生成部、３５３…画像内エッジ抽出部、３５４…差分画像生成部、３５４Ａ…位置合せ部、３５５…閾値設定部、３５６…欠陥候補抽出部、３５７…官能値決定部、３５８…後処理制御部、４００…機械学習装置、４１０…学習モデル

Claims (11)

1. プロセッサを有し、
   前記プロセッサは、
   検査の基準に使用する参照画像の第１の色情報と印刷物から読み取った検査画像の第２の色情報との組み合わせに、目視の官能評価から求めた欠陥の度合いを表す官能値を紐付けた関係に基づいて、印刷物の欠陥を検査する、
   検査装置。
2. 前記プロセッサは、
   検査の対象領域に対応する前記第１の色情報と前記第２の色情報とに基づいて、当該対象領域の官能値を求める、
   請求項１に記載の検査装置。
3. 前記プロセッサは、
   前記参照画像と前記検査画像との差分画像から前記対象領域を抽出する、
   請求項２に記載の検査装置。
4. 前記関係は、前記第１の色情報と、前記第２の色情報と、検査の対象領域の特徴と、前記官能値との紐付けを与える、
   請求項１に記載の検査装置。
5. 前記特徴は、前記対象領域の大きさと当該対象領域の分散情報の両方又は一方を含む、
   請求項４に記載の検査装置。
6. 前記関係は、印刷ジョブの内容に応じて複数用意される、
   請求項１に記載の検査装置。
7. 前記プロセッサは、印刷ジョブの内容に応じ、検査に使用する前記関係を選択する、
   請求項６に記載の検査装置。
8. 前記プロセッサは、
   前記検査画像について取得された前記官能値の大きさに応じ、後処理の内容を決定する、
   請求項１に記載の検査装置。
9. 前記プロセッサは、
   前記検査画像の複数の対象領域毎に決定された複数の後処理の内容に基づいて、印刷物に対する後処理の内容を決定する、
   請求項８に記載の検査装置。
10. 前記プロセッサは、
    前記参照画像の複数の対象領域について求められた複数の官能値に基づいて、印刷物に対する後処理の内容を決定する、
    請求項８に記載の検査装置。
11. コンピュータに、
    検査の基準に使用する参照画像の第１の色情報と印刷物から読み取った検査画像の第２の色情報との組み合わせに、目視の官能評価から求めた欠陥の度合いを表す官能値を紐付けた関係に基づいて、印刷物の欠陥を検査する機能、
    を実現させるためのプログラム。