JP7036082B2 - 画像処理装置、機械学習装置、画像処理方法 - Google Patents

Description

本発明は、画像処理装置、機械学習装置、画像処理方法に関する。

従来、装置の故障時期を予測するための様々な方法が提案されている。例えば特許文献１には、搬送されたシートがシート検知センサーに到達するタイミングを監視し、このタイミングの遅延率の変遷を近似する関数（予測関数）を用いて、ローラーの寿命時期を予測することが記載されている（段落００１８～００２３等）。

特開２００３－２６１２３７号公報

しかし、装置の異常は、様々な事象が複雑に相関して起きる可能性がある。従って、装置における異常の発生を推論するための判断基準や予測関数の策定は容易ではない。
本発明は、装置における異常の発生を推論することを目的とする。

上記目的を達成するための画像処理装置は、画像読取装置が原稿を読み取ることで生成された画像データと、画像読取装置の異常に関する装置異常情報とを対応付けた教師データを用いて機械学習した学習済モデルを記憶する記憶部と、画像読取装置が原稿を読み取ると、生成された画像データと学習済モデルとに基づいて装置異常情報を取得する制御部と、を備える。
本構成によれば、画像読取装置が原稿を読み取ることで生成された画像データに基づいて画像読取装置の装置異常情報を取得することができ、装置異常情報に基づいて装置における異常の発生を推論することができる。装置異常情報は、画像読取装置において発生している異常に関する情報である。当該異常は、現状で顕在化している異常、現状では顕在化していないが将来顕在化する可能性がある異常、人間による対処を必要とする異常、装置内部で対処可能な異常を含みうる。また、本構成によれば、機械学習モデルを用いて装置における異常の発生を推論する構成であるため、装置における異常の発生を推論するための判断基準を人間が定める必要がない。

さらに、教師データにおいては、画像読取装置の使用履歴、原稿の読み取り解像度、原稿の媒体の種類、の少なくともいずれかが、装置異常情報に対応付けられている構成であってもよい。
画像データに加えてさらに、使用履歴、読み取り解像度、媒体の種類の情報を教師データに含めることにより、画像読取装置における異常の発生を精度良く推論できる可能性を高めることができる。

さらに、使用履歴には、原稿搬送ローラーの交換履歴が含まれ、装置異常情報は、次に原稿搬送ローラーの交換が必要となる時期を含む構成であってもよい。
本構成によれば、原稿搬送ローラーの交換履歴を含む画像読取装置の使用履歴に基づいて、次に原稿搬送ローラーの交換が必要となる時期を推論することができる。

さらに、装置異常情報は、異常に対する対処方法を含み、対処方法は、原稿搬送ローラーの交換、原稿搬送ローラーの清掃、読み取りによって生成された画像データの画像補正、の少なくともいずれかを含む構成であってもよい。
本構成によれば、学習済モデルを用いて、原稿搬送ローラーの交換、原稿搬送ローラーの清掃、画像データの画像補正、の少なくともいずれかを含む対処方法（異常に対する対処方法）を推論することができる。

さらに、装置異常情報が、原稿搬送ローラーの交換に関する情報である場合、制御部は、原稿搬送ローラーの発注を促す報知を行うか、または、自動的に発注を行う構成であってもよい。
画像読取装置の利用者に交換用の原稿搬送ローラーの発注を促す報知を行う構成の場合、当該報知を行わない場合と比較して、故障の際（搬送不能となった際）に交換用のローラーが準備できている可能性を高めることができる。また、原稿搬送ローラーを自動的に発注する構成の場合、利用者の手間を軽減できる。

さらに、装置異常情報は、画像読取装置の異常箇所を含む構成であってもよい。
本構成によれば、学習済モデルを用いて、画像読取装置の異常箇所を推論することができる。

上記目的を達成するための機械学習装置は、画像読取装置が原稿を読み取ることで生成された画像データと、画像読取装置の異常に関する装置異常情報とを対応付けた教師データを取得し、画像データを入力し装置異常情報を出力するモデルを教師データに基づいて機械学習する制御部を備える。
本構成によれば、画像読取装置が原稿を読み取ることで生成された画像データに基づいて画像読取装置の装置異常情報を推論するための機械学習モデルを生産することができる。

上記目的を達成するための画像処理方法は、画像読取装置が原稿を読み取ることで生成された画像データと、画像読取装置の異常に関する装置異常情報とを対応付けた教師データを用いて機械学習した学習済モデルを記憶し、画像読取装置が原稿を読み取ると、生成された画像データと学習済モデルとに基づいて装置異常情報を取得する。
この方法によれば、画像読取装置が原稿を読み取ることで生成された画像データに基づいて画像読取装置の装置異常情報を取得することができ、装置異常情報に基づいて装置における異常の発生を推論することができる。また、この方法の場合、機械学習モデルを用いて装置における異常の発生を推論するため、装置における異常の発生を推論するための判断基準を人間が定める必要がない。

画像読取処理と機械学習装置の構成を示すブロック図。 読取部の構成の一例を示す模式図。 原稿の読み取りにより生成された画像の例を示す図。 原稿の読み取りにより生成された画像の例を示す図。 原稿読取処理のフローチャート。 教師データ生成処理のフローチャート。 機械学習処理のフローチャート。 機械学習モデルの入出力を示す図。 原稿読取処理のフローチャート。 第２実施形態にかかる画像読取装置と機械学習装置の構成を示すブロック図。 原稿の読み取りにより生成された画像の例を示す図。 原稿の読み取りにより生成された画像の例を示す図。 第２実施形態にかかる機械学習モデルの入出力を示す図。 第２実施形態にかかる原稿読取処理のフローチャート。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）第１実施形態：
（１－１）画像読取装置と機械学習装置の構成：
（１－２）教師データの生成：
（１－３）機械学習：
（１－４）交換時期の推論：
（２）第２実施形態：
（３）他の実施形態：

（１）第１実施形態：
（１－１）画像読取装置と機械学習装置の構成：
図１は、本発明の実施形態にかかる画像読取装置１０と機械学習装置１００の構成を示すブロック図である。本実施形態において画像読取装置１０は、画像処理装置としても機能する。画像読取装置１０は、プロセッサー２０（画像処理装置の制御部に相当する）と、不揮発性メモリー３０（記憶部に相当する）とを備えている。画像読取装置１０は、不揮発性メモリー３０に記録された種々のプログラムをプロセッサー２０で実行することができる。

また、画像読取装置１０は、読取部４０と、通信部５０と、搬送装置６０と、ＵＩ（User Interface）部７０と、図示しない計時部を備えている。プロセッサー２０は、計時部から現在日時を取得することができる。

通信部５０は、画像読取装置１０に装着された各種のリムーバブルメモリーや、画像読取装置１０と有線または無線で接続された他の装置と各種の通信プロトコルに従って通信するための通信インターフェース回路を含む。プロセッサー２０は、通信部５０を介して接続された後述する機械学習装置１００や図示しない他の装置等と通信可能である。プロセッサー２０は、通信部５０を介して接続されたリムーバブルメモリーや機械学習装置１００や他の装置に、読み取った原稿を示す画像データ（原稿の読み取りによって生成された画像データ）を出力することができる。

ＵＩ部７０は、タッチパネル式のディスプレイや、各種のキーやスイッチ等を含む。プロセッサー２０は、ＵＩ部７０を介して利用者の操作内容を取得することができる。また、プロセッサー２０は、ＵＩ部７０のディスプレイに各種の情報を表示紙利用者に報知することができる。

本実施形態にかかる画像読取装置１０は、ＡＤＦ（Auto Document Feeder）と原稿台を備えており、選択されたいずれかの方式によって原稿が読み取られる。読取部４０は、センサー４１、光源４２、副走査装置４３、光学部４４を備えている。図２は、読取部４０の構成を模式的に示す図である。副走査装置４３は、センサー４１、光源４２、光学部４４を収容したキャリッジ４３ａを副走査方向に往復移動させることが可能な装置である。ＡＤＦで搬送される原稿を読み取る場合、副走査装置４３は、ＡＤＦ原稿を読み取る際の既定の位置（ＡＤＦ原稿読取位置、図２を参照）にキャリッジ４３ａを配置する。そしてＡＤＦ原稿読取位置にてキャリッジ４３ａが停止した状態で原稿台Ｔ上を搬送装置６０によって搬送される原稿が読み取られる。なお原稿台Ｔ上に載置された原稿は、キャリッジ４３ａが副走査方向に移動する過程で読み取られる。

センサー４１は、ラインセンサーを備えている。ラインセンサーは、１方向に延びるセンサーであり、当該１方向に複数の光電変換素子が並べられたセンサーである。本実施形態においては、当該ラインセンサーが延びる方向が副走査方向（ＡＤＦの場合の原稿の搬送方向）に垂直になるように配置される。ラインセンサーが延びる方向を主走査方向と呼ぶ。光電変換素子は、受光した光の強さに応じた信号を出力する素子である。

光源４２は、原稿に光を照射するランプを備えている。照射位置に存在する原稿にて反射した光が、センサー４１が備えるラインセンサーで受光され、ラインセンサーは各光電変換素子での光の受光量に応じた信号を生成する。センサー４１は、図示しないアナログフロントエンドを備えている。アナログフロントエンドは、受光量に応じて光電変換素子が出力した信号にゲインを作用させて出力する回路やＡ／Ｄ変換する回路を含む。

光学部４４は、光源４２の光が原稿に照射されることで生じる原稿からの光をラインセンサーに導く光路を形成する光学部材を備える。光路は種々の構造によって提供されて良く、光学部材も種々の部材によって構成可能である。

搬送装置６０は、原稿を搬送する機構である。搬送装置６０は、原稿トレイ６０ａにセットされた原稿を、ＡＤＦ原稿読取位置に搬送し、さらに、原稿を排出トレイ６０ｂに搬送する機構である。搬送経路は、図示しない樹脂製の部材によって原稿の経路が形成されることによって構成され、経路の複数の位置で原稿が原稿搬送ローラーと接触しその回転によって当該経路を移動する。図２においては、破線によって搬送経路を示している。

本実施形態においては、原稿搬送ローラーとして、搬送経路における上流側から下流側に向かって順に、給送ローラー６１、分離ローラー６２、反転ローラー６３、排出ローラー対６４ａ，６４ｂが配置されている。これらの原稿搬送ローラーは、図示しないモーターからの動力を受けて回転するように構成されている。モーターから各ローラーへは図示しない動力伝達機構を介して動力が伝達される。

ローラーの表面は、ゴム等の高摩擦材で形成されている。ゴムが摩耗すると、ローラーの外径が小さくなる。そのため、ローラーを同じ回転数で回転させても、摩耗して外径が小さくなったローラーは、摩耗する前と比較して、原稿を搬送できる距離が短い。原稿の読み取り条件の１つとして、原稿サイズを自動的に検出して読み取りを行う原稿サイズ自動読み取りと、原稿サイズを定型サイズのいずれかから利用者が選択して選択されたサイズの読み取りを行う定型サイズ読み取りがある。原稿サイズ自動読み取りの場合、プロセッサー２０は、副走査方向および主走査方向の原稿の各端部を検出し当該端部でトリミングを行って原稿を示す画像データを、原稿サイズ自動読み取りの画像データ（ａ）および後述する機械学習用の画像データ（ｂ）として生成する。一方、定型サイズ読み取りの場合、プロセッサー２０は、副走査方向における原稿の始端を検知してから、定型サイズに相当する副走査方向の画素数分（読み取り解像度に依存する）の読み取りが完了すると、定型サイズに相当する画素数の画像データを定型サイズ読み取りの画像データ（ａ）として生成する。なお、原稿が定型サイズ読み取りで読み取られる場合、本実施形態においては、後述する長さ変動値を算出するために、定型サイズの副走査方向の画素数分（読み取り解像度に依存する）の読み取りが完了しても、原稿の副走査方向の終端が未検知の場合は終端を検知するまで読み取りを継続する。そして、プロセッサー２０は、原稿の副走査方向の終端を検知すると、副走査方向の原稿の始端から終端までが含まれる画像データを後述する機械学習用の画像データ（ｂ）として生成する。（ａ）は読み取り結果として利用者に提供される画像データであり、（ｂ）は機械学習に用いられる画像データである。原稿サイズ自動読み取りの場合は（ａ）と（ｂ）は同じデータである。定型サイズ読み取りの場合は、後述するように間延びしていない場合は（ａ）と（ｂ）は同じデータであり、後述するように間延びしている場合は（ｂ）は（ａ）とは異なる。

原稿搬送ローラーの少なくともいずれかが摩耗した状態において、原稿の読み取りが行われた場合、原稿を示す画像データのアスペクト比が、原稿搬送ローラーが正常な状態で読み取られたと仮定した場合と比較して変化する。すなわち、主走査方向の画素数はローラーの状態には影響を受けないが、副走査方向の画素数はローラーが正常な場合と比較して増加することによって、アスペクト比が変化する。

ローラーが摩耗していくに従って、すなわち外径が小さくなるに従って、副走査方向の画素数は増加する。ローラーが摩耗した状態で読み取られた原稿の画像データは、全体的に搬送方向に間延びした画像となる。また、ローラーの摩耗が進むと、やがてローラーが完全に空回りして原稿を搬送できない状態となる。このような状態になると、ローラーを交換する必要がある。なお、ローラーの一部に付着した紙粉の影響により一時的にローラーがスリップし、その結果、画像データのうち副走査方向における一部が間延びすることがある。この場合も副走査方向における画素数はスリップしなかった場合と比較すると増加する。しかし一時的にスリップした場合は、ローラーを交換しなくても、ローラーを清掃すれば問題が解消する可能性がある。

本実施形態においては、プロセッサー２０は、原稿を読み取ると、読み取りの結果生成された画像データ（機械学習用（ｂ））を含む様々な情報を、通信部５０を介して機械学習装置１００に送信するように構成されている。また、プロセッサー２０は、機械学習装置１００における機械学習の結果生成された学習済モデル１３０ａを機械学習装置１００から通信部５０を介して取得すると不揮発性メモリー３０に記憶し、それ以降に原稿を読み取る際には、学習済モデル１３０ａを用いて、次に原稿搬送ローラーの交換が必要となる時期（交換時期）を推論する。本実施形態において装置異常情報は、原稿搬送ローラーの次の交換時期である。本実施形態において交換時期は、基準とする日時から交換が必要になる日時までの時間の長さ（日数）で表現される。本実施形態においては、交換時期が閾値より小さくなった場合に、交換用の原稿搬送ローラーの発注を促すように構成されている。

機械学習装置１００は、画像読取装置１０から取得した情報に基づいて教師データを生成して蓄積し、蓄積した教師データに基づいて機械学習を行い、その結果得られた学習済モデル１３０ａを画像読取装置１０に出力するコンピューターである。なお、機械学習装置１００は、例えば、同じ型式の複数の画像読取装置から取得した情報に基づいて教師データを生成し、当該教師データを用いて機械学習した結果生成された学習済モデル１３０ａを当該型式の複数の画像読取装置に配布する構成であってもよい。

機械学習装置１００は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部１２０、記憶媒体１３０、通信部１５０を備えている。むろん、ＧＰＵや機械学習用に設計された各種のプロセッサーが機械学習に利用されても良い。制御部１２０は、記憶媒体１３０に記録された図示しない機械学習プログラムを実行することにより、機械学習に関連した機能を実行することができる。

本実施形態においては、画像読取装置１０の原稿搬送ローラーの交換時期を推論するための機械学習モデルを機械学習装置１００において生成するにあたり、画像読取装置１０では、原稿を読み取ると、今回の読み取りから過去に遡った画像読取装置１０の使用履歴３０ａと、画像読取装置１０において読み取られた原稿を示す画像データ（機械学習用）と、今回の原稿の読み取りパラメーターとを含む原稿画像データセットと、今回の原稿の読取日時と、画像読取装置１０の装置ＩＤを、機械学習装置１００に送信するように構成されている。機械学習装置１００では、原稿画像データセットと装置ＩＤと読取日時に基づいて、教師データを生成し、蓄積する（教師データ１３０ｂ）。

（１－２）教師データの生成：
本実施形態においては、原稿搬送ローラーの次の交換時期を、機械学習モデルを用いて推論する。副走査方向における画素数が正常に読み取られた場合よりも増加するのは、ローラーが摩耗して外径が小さくなった場合、紙粉等により一時的にスリップした場合、またはその両方の場合が考えられる。本実施形態においては、ローラーが摩耗して外形が小さくなった場合に原稿を示す画像データに現れる特徴、ローラーの交換に至るまでの画像読取装置の使用履歴の特徴等を学習するように構成される。原稿搬送ローラーの交換時期を推論するための機械学習モデルを後述する機械学習装置１００にて生成するために、本実施形態においては、画像読取装置１０で原稿が１頁読み取られる毎に、原稿を読み取った画像読取装置１０の装置ＩＤ、原稿の読取日時、読み取った原稿を示す画像データ（機械学習用）、当該原稿の読み取りパラメーター、画像読取装置１０の使用履歴が機械学習装置１００に送信される。画像データ、読み取りパラメーター、使用履歴を、原稿画像データセットと呼ぶ。

画像読取装置１０のプロセッサー２０は、原稿を読み取った際の現在日時を計時部から取得し読取日時とする。原稿の読み取りパラメーターには、読み取り解像度、カラー／モノクロ、原稿サイズ自動読み取り／定型サイズ読み取り（原稿の向きの指定を含む）、長さ変動値、原稿の媒体の種類、片面読取／両面読取のうちのおもて面／両面読取のうちの裏面、等の情報が含まれる。

本実施形態においては、後述する機械学習モデルは、カラー／モノクロ設定や、読み取り解像度別に構成される。従って、カラー／モノクロ設定値や読み取り解像度は、対象とする機械学習モデルの選択に用いられる。原稿サイズ自動読み取りは、原稿の端部を検知し当該端部で画像をトリミングして原稿を示す画像データを生成する読み取り方法である。定型サイズ読み取りは、Ａ４縦向き、Ａ４横向き等のように、原稿のサイズと原稿の向きを利用者が指定し、利用者の指定内容に応じたサイズおよび向きで原稿を読み取り、原稿を示す画像データを生成する読み取り方法である。なお利用者が設定したサイズや向きと予め決められた基準より大きく異なる原稿であることが検知された場合には、サイズや向きの再確認を利用者に促すように構成されていてもよい。

長さ変動値は、原稿搬送ローラーが正常な状態で読み取ったと仮定した場合の原稿の副走査方向の長さ（画素数Ｒ）を基準とした、原稿の副走査方向の実際に読み取られた長さ（画素数Ｒ１）の変動（相違）を表していればよい。例えば長さ変動値は、Ｒ１－Ｒ、Ｒ１／Ｒ、（Ｒ１－Ｒ）／Ｒ等のように定義されてよい。

定型サイズ読み取りの場合、本実施形態においては、利用者が選択した読み取り解像度および定型サイズ（原稿の向きも含む）に応じた副走査方向の画素数（Ｒ）と、原稿の副走査方向の実際の画素数（Ｒ１）に基づいて、長さ変動値が算出される。図３の画像Ｉ１は、ローラーが摩耗していない場合に読み取られた原稿（本例では請求書）の画像例を示しており、図４の画像Ｉ２は、ローラーが摩耗している場合に読み取られた原稿の画像例を示している。図４の画像Ｉ２に示すように、ローラーが摩耗している場合、副走査方向の画素数は利用者の選択に応じた値Ｒよりも大きい値Ｒ１となる。

原稿サイズ自動読み取りの場合、本実施形態においては、原稿が既知のフォーマットと同じフォーマットであるかどうかを判定し、既知のフォーマットと同じフォーマットである場合は、読み取り解像度に応じた既知のフォーマットにおける副走査方向に相当する方向の画素数（Ｒ）と、原稿の副走査方向の実際の画素数（Ｒ１）とに基づいて、長さ変動値が算出される。ローラーが摩耗している場合、図３の画像Ｉ２に示すように、副走査方向の画素数は既知のフォーマット等に基づく値Ｒより大きい値Ｒ１となる。

既知のフォーマットとは例えば、特定の企業の請求書、特定の店舗のレシート、特定の構成や文言やロゴを有する文書、等を想定してよい。既知のフォーマットか否かは、例えば、既知フォーマット判別用の機械学習モデルを用いて判定されてもよい。画像データを入力すると、既知のフォーマットＦ１～Ｆｎのいずれかに相当する場合にはそのいずれかを出力するように機械学習された学習済モデルを用いてもよい。当該学習済モデルは定期的に再学習され、既知とするフォーマットの種類が増加してもよい。入力された画像データがいずれかのフォーマットに該当することが出力されると、当該フォーマットに対応する読み取り解像度および原稿の向きに応じた、ローラーが正常な場合の副走査方向の画素数（Ｒ）を取得できる。なお、原稿サイズ自動読み取りの場合であって、原稿を示す画像データが既知のフォーマットに該当しない場合、本実施形態においては、副走査方向の長さの変動の有無が不明であるとして扱う。

原稿の媒体の種類は、例えば、利用者によって入力される構成を採用してよい。具体的には例えば、プロセッサー２０は、原稿を原稿トレイ６０ａにセットした後、画像読み取りの開始指示を行う前にＵＩ部７０を介して利用者が入力した原稿の種類を取得する。媒体の種類は、剛性や坪量（単位面積当たりの重さ）の異なる紙、例えば、普通紙、薄紙、厚紙のうちから選択されてよい。また例えば、媒体の種類は、表面の光沢や平滑性が異なる紙、例えば、塗工紙、非塗工紙、エンボス紙等のうちから選択されてよい。媒体の種類に応じて、ローラーへの紙粉の付着しやすさ、ローラーの摩耗しやすさ等が異なりうる。

なお、媒体の種類に応じて異なる特徴をセンサーで検知して原稿の媒体の種類を判別する構成を採用してもよい。例えば、原稿の表面をセンサーで読み取った画像データに基づいて紙の繊維の凹凸の像を取得し、繊維の配列の粗さ等に基づいて、原稿の媒体の種類を自動的に判別する構成であってもよい。当該センサーはセンサー４１によって実現されてもよいし、センサー４１以外の他のセンサーによって実現されてもよい。また、搬送経路において、原稿の透過率を取得する構成を備えても良く、透過率に基づいて媒体の種類が判別されてもよい。透過率は坪量が大きいと低下する傾向にある。また例えば超音波センサー等を用いて原稿の坪量を検知する構成であってもよい。

片面読取／両面読取は、利用者によって指定される。両面読取が指定された場合、プロセッサー２０は原稿が両面読取のうちのおもて面に相当するか裏面に相当するかを対応付けて読み取りパラメーターのうちの１つのデータとする。なお、両面読取の場合、給送ローラー６１，分離ローラー６２，反転ローラー６３，排出ローラー対６４ａ，６４ｂを経て排出トレイ６０ｂに一部が排出された原稿は、排出ローラー対６４ａ，６４ｂの逆回転等により引き戻される。引き戻された原稿は反転ローラー６３で反転されて裏面が読み取られ、排出ローラー対６４ａ，６４ｂの順回転により排出トレイ６０ｂに排出される。すなわち、原稿搬送ローラーのうちの一部は回転方向が順回転であるが、原稿搬送ローラーのうちの一部は順回転と逆回転の両方の回転が可能である。

画像読取装置１０の使用履歴３０ａには、原稿搬送ローラーの交換履歴が含まれる。原稿搬送ローラーの交換履歴には、現在取り付けられている原稿搬送ローラーの使用開始日時を示す情報が含まれる。また、原稿搬送ローラーの交換履歴には、画像読取装置１０の使用を開始してから原稿搬送ローラーを交換した日時や頻度等が含まれてもよい。

また、画像読取装置１０の使用履歴３０ａには、現在取り付けられている原稿搬送ローラーの使用開始日時以降に発生した紙ジャム等の搬送エラーの履歴（エラー内容と発生回数、あるいは、エラー内容と発生日時）と、搬送エラーを解消するためのローラー清掃等のメンテナンスの履歴（メンテナンス内容と実施回数、あるいは、メンテナンス内容と実施日時）が含まれる。また、使用履歴３０ａには、現在取り付けられている原稿搬送ローラーの使用開始日時からの搬送距離の累計値が含まれる。搬送距離は、各ローラーにおける回転数に基づいて算出される。順回転、逆回転の両方が可能なローラーについては、順方向の搬送距離、逆方向の搬送距離が算出されてもよい。

また、使用履歴３０ａには、現在取り付けられている原稿搬送ローラーの使用開始日時以降に行われた原稿読み取りであって直近の最大既定頁数分（例えば１万頁）の、読み取りパラメーターの履歴（読取日時と読み取りパラメーター）が含まれる。従って使用履歴３０ａには、直近の長さ変動値の推移を示す情報（長さ変動値の推移情報）が含まれることとなる。そのため一時的なスリップによる間延びか、ローラーの摩耗の進行に応じた間延びかを判別できる可能性がある。また、使用履歴３０ａには、画像読取装置１０における原稿の読み取り頻度や稼働率と相関する情報が含まれることとなる。

図５は、画像読取装置１０のプロセッサー２０が実行する原稿読取処理であって、教師データを生成する場合の原稿読取処理を示すフローチャートである。図５の原稿読取処理は、利用者が原稿トレイ６０ａに原稿をセットし、ＵＩ部７０を介して読み取り条件（読み取り解像度、カラー／モノクロ、原稿サイズ自動／定型サイズ（向きの指定を含む）、媒体の種類、片面読取／両面読取等）を指定してから読み取り開始指示を入力した場合に、原稿１頁毎に実行される。

図５の原稿読取処理が開始されると、プロセッサー２０は、原稿を読み取り、原稿を示す画像データを生成する（ステップＳ１００）。すなわち、プロセッサー２０は、ＡＤＦ原稿読取位置にキャリッジ４３ａを配置した状態で搬送装置６０を制御して原稿搬送ローラーの回転によって原稿を搬送し、光源４２を点灯させセンサー４１によって原稿を読み取り、画像データを生成する。またこの際に、プロセッサー２０は読取日時を計時部から取得する。また、プロセッサー２０は、使用履歴３０ａを更新する。

続いてプロセッサー２０は、原稿搬送ローラーが交換要状態であるか否かを判定する（ステップＳ１０５）。原稿搬送ローラーの交換が必要であると判断する条件が予め決められており、その条件を満たすか否かが判定される。例えば、ローラーの清掃等のメンテナンスを行っても紙ジャム等の搬送エラーが予め決められた回数繰り返し発生している状態が、原稿搬送ローラーの交換要状態として扱われてよい。なおステップＳ１００の読み取りの過程で、紙ジャム等の搬送エラーが発生した場合、Ｓ１００の搬送や読み取りは完了していない状態である。

ステップＳ１０５において、交換要状態と判定されなかった場合、プロセッサー２０は、原稿サイズ自動で読み取られたか否かを判定する（ステップＳ１１０）。すなわち読み取り条件の１つとして、原稿サイズを自動で検出して読み取る「原稿サイズ自動読み取り」か定型サイズで読み取る「定型サイズ読み取り」のいずれを利用者が指定したかを判定する。

ステップＳ１１０において、原稿サイズ自動で読み取られたと判定された場合、プロセッサー２０は、原稿は既知のフォーマットに該当するか否かを判定する（ステップＳ１１５）。プロセッサー２０は、上述した既知のフォーマットに該当するか否かを推定するためのモデルにステップＳ１００で生成した画像データを入力し、出力を得る。既知のフォーマットに該当する場合は、当該既知のフォーマットの原稿を今回と同じ読み取り解像度で、かつ、同じ向き（原稿の上下方向が副走査方向、または、原稿の左右方向が副走査方向）で読み取った場合の、主走査方向における紙端から紙端の画素数と副走査方向における紙端から紙端の画素数を取得する。

ステップＳ１１５において原稿は既知のフォーマットに該当すると判定された場合、プロセッサー２０は、既知フォーマットを基準とした、原稿の副走査方向の長さ変動値を算出する（ステップＳ１２０）。プロセッサー２０は、上述したように｛（Ｒ１－Ｒ）／Ｒ｝等を長さ変動値として取得する。なお長さ変動値は、読み取りパラメーターの情報の１つとして扱われる。

ステップＳ１１５において原稿は既知のフォーマットに該当すると判定されなかった場合、プロセッサー２０は、今回読み取った原稿の長さ変動値を不明とする（ステップＳ１３０）。ステップＳ１１０において原稿サイズ自動でないと判定された場合、すなわち、定型サイズ読み取りの場合、プロセッサー２０は、定型サイズを基準とした、原稿の副走査方向の長さ変動値（例えば（Ｒ１－Ｒ）／Ｒ）を算出する（ステップＳ１３５）。なお、利用者が指定したサイズや向きと今回読み取った原稿が予め決められた基準以上に大きく相違している場合、ステップＳ１３５において、今回読み取った原稿の長さ変動値は不明であると扱われても良い。

ステップＳ１２０またはステップＳ１３０またはステップＳ１３５を実行後、プロセッサー２０は、原稿画像データセットを、読取日時および画像読取装置１０の装置ＩＤと対応付けて、通信部５０を介して機械学習装置１００に送信し（ステップＳ１２５）、原稿読取処理を終了する。

ステップＳ１０５において、交換要状態と判定された場合、プロセッサー２０は、交換要状態であることを利用者に報知し、さらに、交換要状態であることと交換要状態になった日時と画像読取装置１０の装置ＩＤを機械学習装置１００に送信して（ステップＳ１４０）、原稿読取処理を終了する。例えば、プロセッサー２０は、ＵＩ部７０のディスプレイに原稿搬送ローラーの交換手順を表示する。なお、搬送エラーが発生した場合や、メンテナンスが実施された場合には、プロセッサー２０は使用履歴３０ａの該当データを更新する。

以上説明したように、プロセッサー２０は、１頁分の原稿を読み取ると、原稿画像データセット（画像データ、読み取りパラメーター、使用履歴）を、装置ＩＤと、読取日時の組み合わせを対応付けて、機械学習装置１００に送信する。すなわち、画像読取装置１０において原稿搬送ローラーの交換が必要な状態になるまでの間、原稿読み取りに応じて逐次、原稿画像データセット、読取日時、装置ＩＤが機械学習装置１００に送信される。また画像読取装置１０において原稿搬送ローラーの交換が必要な状態になった場合に、プロセッサー２０は、その旨とその日時と装置ＩＤが機械学習装置１００に送信される。

図６は、機械学習装置１００の制御部１２０によって実行される教師データ生成処理であり、図５の原稿読取処理に対応する機械学習装置１００側の処理である。教師データ生成処理は、画像読取装置１０からデータを受信した場合に実行される。教師データ生成処理が開始されると、制御部１２０は、交換要状態を受信したか否かを判定する（ステップＳ２００）。ステップＳ２００において交換要状態を受信したと判定されなかった場合、制御部１２０は、原稿画像データセットを受信したか否かを判定する（ステップＳ２０５）。ステップＳ２０５において受信したと判定されなかった場合、制御部１２０は教師データ生成処理を終了する。ステップＳ２０５において受信したと判定された場合、制御部１２０は受信した原稿画像データセットを記憶媒体１３０に蓄積する（ステップＳ２１０）。すなわち、画像読取装置１０での原稿の読み取りに応じて画像読取装置１０から送信されてきた原稿画像データセットが読取日時および装置ＩＤと対応付けて蓄積される。

ステップＳ２００において交換要状態を受信したと判定された場合、制御部１２０は、原稿画像データセットと原稿搬送ローラーの交換時期とを対応付けた教師データを構成する（ステップＳ２１５）。すなわち機械学習装置１００の制御部１２０は、画像読取装置１０から原稿搬送ローラーの交換が必要な状態になったこととその日時と装置ＩＤを受信すると、それまで記憶媒体１３０に蓄積してきた原稿画像データセットの中から、交換要状態を送信してきた画像読取装置１０の装置ＩＤと同じ装置ＩＤの原稿画像データセットで、かつ、現在取り付けられている原稿搬送ローラーの使用開始日以降の読取日時が対応付けられた原稿画像データセットを抽出する。制御部１２０は、抽出した各原稿画像データセットにそれぞれ対応付けられている読取日時と、交換要状態となった日時との差分を算出する。本実施形態において、原稿搬送ローラーの交換が必要となる時期は、この差分によって表現される。すなわち、原稿が読み取られた日時を基準として原稿搬送ローラーが次に交換が必要になるまでの残時間として交換時期が表現される。従って例えば、１週間後～２週間未満等のように表現される。制御部１２０は、原稿画像データセットと、交換時期とを対応付けた教師データを生成し、教師データ１３０ｂに追加する。

（１－３）機械学習：
このようにして教師データが既定量蓄積されると、制御部１２０は、教師データを用いて機械学習処理を実行する。図７は、機械学習処理を示すフローチャートである。機械学習処理は、既定量の教師データ１３０ｂが蓄積された後、任意のタイミングで実行されてよい。機械学習処理が開始されると、制御部１２０は、訓練モデル１３０ｄを取得する（ステップＳ３００）。ここで、モデルとは、推定対象のデータと推定結果のデータとの対応関係を導出する式を示す情報である。本実施形態においては推定対象のデータが、画像データ，原稿の読み取りパラメーター，原稿を読み取った画像読取装置の使用履歴であり、画像読取装置において次に原稿搬送ローラーの交換が必要となる時期が推定結果のデータであるモデルを例にして説明する。

入力データを出力データに変換する限りにおいて、モデルは種々の定義が可能である。図８は本実施形態において利用されるモデルの一例を模式的に示した図である。本実施形態においては、原稿を読み取って生成された画像データについては、ＣＮＮ（Convolutional Neural Network）を用いる。同図においては、ＣＮＮによるデータフォーマットの変化を直方体で示しており、通常のニューラルネットワークのノードを白丸で示している。

図８に示すモデルは、原稿を示す画像データを既定のサイズとなるように画素を付加して生成した入力画像データをＣＮＮの入力層Ｌ_ｉ１への入力データとし、層Ｌ_ｎ１から画像データに関する中間出力データを出力する。ＣＮＮに入力する画像データは縦Ｈピクセル、横Ｗピクセルであり、各ピクセルについてＲ：赤、Ｇ：緑、Ｂ：青の３チャンネルの階調値が規定されている。従って、図８において入力層Ｌ_ｉ１の画像は縦Ｈ，横Ｗ，奥行き３の直方体で模式的に示されている。図８においては、画像が入力層に入力された後、ＣＮＮを経て、すなわち、所定の大きさおよび数のフィルターによる畳み込み演算、活性化関数による演算およびプーリング層の演算を経てＨ_１１×Ｗ_１１×Ｄ_１１個の出力値に変換される例を示している。図８においては、この後、複数の層（図示省略）を経てＨ_ｍ１×Ｗ_ｍ１×Ｄ_ｍ１個の出力値に変換される例を示している。ＣＮＮによってＨ_ｍ１×Ｗ_ｍ１×Ｄ_ｍ１個の出力値が得られた後、全結合によって層Ｌ_ｎ１に画像データに関する中間出力データを示す出力値が得られる。

なお、本実施形態においては、原稿の読み取り解像度や、カラー／モノクロの設定値毎に機械学習モデルが構成され、読み取り解像度やカラー／モノクロ設定値等に応じて対象とするモデルが選択される。これらの機械学習モデルは、ＣＮＮの構成が異なる。例えば、原稿がカラーで読み取られる場合は、図８に示すように入力される画像データはＲＧＢ３チャンネルの階調値で表現されるが、モノクロの場合は入力される画像データは１チャンネルの階調値で表現される。また、読み取り解像度に応じて入力する画像データの縦横の画素数Ｈ，Ｗは異なる。なお、本実施形態においては、原稿の副走査方向がＣＮＮの入力画像データの例えば高さ（Ｈ）方向と平行であって、原稿の副走査方向における始端側がＣＮＮの入力画像データの例えば上辺側となるように入力される。また、ＣＮＮの入力画像データの幅（Ｗ）の画素数は、画像読取装置１０においてＡＤＦで読み取り可能な原稿における主走査方向の最大値に相当する値を想定してよい。ＣＮＮの入力画像データの高さ（Ｈ）の画素数は、画像読取装置１０においてＡＤＦで読み取り可能な原稿における副走査方向の最大値に、さらにローラー摩耗による長さ変動想定最大値を加算した値を想定してよい。また、本実施形態においては、制御部１２０は、原稿を示す画像データを、例えば図８に示すように、ＣＮＮの入力画像データの基準位置Ｏに原稿を示す画像データＩａの主走査方向のいずれかの端部および副走査方向の始端が重なるように配置し、原稿を示す画像データＩａ以外の残りの部分ＩｂをＮＵＬＬ値等でパディングしてＨ×Ｗピクセルの入力画像データを生成する。

また、本実施形態のモデルには、読み取りパラメーターを入力するノードと、使用履歴を入力するノードが設けられている。本実施形態においては、読み取りパラメーターを構成する各データおよび使用履歴を構成する各データを入力層Ｌ_ｉ２の各ノードへの入力データとし、層Ｌ_ｎ２から読み取りパラメーターおよび使用履歴に関する中間出力データを出力する。

すなわち、図８に示すモデルには、日時ｔｎに読み取られた原稿を示す画像データから生成されたＨ×Ｗピクセルの入力画像データを入力するノードと、日時ｔｎに読み取られた当該原稿の読み取りパラメーターを示す各データをそれぞれ入力するノードと、日時ｔｎより過去に画像読取装置が使用された履歴（使用履歴）を示す各データをそれぞれ入力するノードが設けられている。

出力層Ｌ_ｏの各ノードは、層Ｌ_ｎ１、Ｌ_ｎ２の各ノードの出力値を入力とする。出力層Ｌ_ｏの各ノードは、推論される故障時期（Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５）に対応している。Ｎ１～Ｎ５は順に、故障時期として、１週間未満、１週間以降～２週間未満、２週間以降～３週間未満、３週間以降～４週間未満、４週間以降に対応する。出力層Ｌ_ｏの各ノードＮ１～Ｎ５の出力値の和は１になるように規格化される。なお、層Ｌ_ｎ１、Ｌ_ｎ２と出力層Ｌ_ｏとの間は多階層であってもよい。出力層Ｌ_ｏにおいて出力値が最も大きいノードに対応する故障時期が、入力層Ｌ_ｉ１に入力された画像データが生成された日時（原稿の読取日時）を基準として画像読取装置１０の原稿搬送ローラーの交換が必要になる可能性が高い時期であると推定可能である。

図７に示すフローチャートにおけるステップＳ３００では、訓練モデルを取得する。ここで、訓練とは、学習対象であることを示す。すなわち、訓練モデルにおいては、画像データ，読み取りパラメーター，使用履歴を入力し、画像読取装置１０の原稿搬送ローラーの予測される交換時期を出力するが、画像データ・読み取りパラメーター・使用履歴の組み合わせと、交換時期との対応関係は初期において正確ではない。すなわち、訓練モデルにおいては、ノードが構成する層の数やノードの数は決められるが、入出力の関係を規定するパラメーター（重みやバイアス等）は最適化されていない。これらのパラメーターは、機械学習の過程で最適化される（すなわち、訓練される）。

訓練モデルは、予め決定されていても良いし、機械学習装置１００を操作するオペレーターが、機械学習装置１００に接続された図示しないＵＩ部を操作して入力することによって取得されても良い。いずれにしても、制御部１２０は、図８に示す例のように、画像読取装置１０において取得された画像データ・読み取りパラメーター・使用履歴に基づいて、画像読取装置１０の原稿搬送ローラーの交換時期を出力するニューラルネットワークのパラメーターを訓練モデルとして取得する。

次に、制御部１２０は、教師データを取得する（ステップＳ３０５）。本実施形態においては、図５の原稿読取処理および図６の教師データ生成処理で説明したように教師データが構成され、記憶媒体１３０に蓄積されている。制御部１２０は、記憶媒体１３０を参照して教師データ１３０ｂを取得する。次に、制御部１２０は、テストデータ１３０ｃを取得する（ステップＳ３１０）。本実施形態においては、教師データ１３０ｂから、その一部が抽出されてテストデータになる。テストデータは訓練に利用されない。

次に、制御部１２０は、初期値を決定する（ステップＳ３１５）。すなわち、制御部１２０は、ステップＳ３００で取得した訓練モデルのうち、可変のパラメーターに対して初期値を与える。初期値は、種々の手法で決定されて良い。例えば、ランダム値や０等を初期値とすることができ、重みとバイアスとで異なる思想で初期値が決定されても良い。むろん、学習の過程でパラメーターが最適化されるように初期値が調整されても良い。

次に、制御部１２０は、学習を行う（ステップＳ３２０）。すなわち、制御部１２０は、ステップＳ３００で取得した訓練モデルにステップＳ３０５で取得した教師データ１３０ｂにおける画像データ，読み取りパラメーター，使用履歴を入力し、出力層Ｌ_ｏの出力値を計算する。また、制御部１２０は、出力された交換時期と教師データ１３０ｂが示す交換時期との誤差を示す損失関数によって誤差を特定する。そして、制御部１２０は、損失関数のパラメーターによる微分に基づいてパラメーターを更新する処理を既定回数繰り返す。例えば、日時ｔｎにおける原稿画像データセット（ＤＳｎ）と、交換時期として「１８０日後」と、が対応付けられた教師データがある場合について考える。「１８０日後」は本実施形態のモデルにおいては出力層Ｌ_ｏのノードＮ５の「４週間以降」に該当する。従ってこの場合、原稿画像データセット（ＤＳｎ）の画像データ，読み取りパラメーター，使用履歴をモデルに入力して得られる出力（Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５）が（０，０，０，０，１）に近づくようにパラメーターが更新される。

むろん、損失関数は、種々の関数を採用可能であり、例えば、交差エントロピー誤差などを採用可能である。以上のような損失関数を算出する処理は、教師データ１３０ｂに含まれる画像の全てまたは一部について実施され、その平均や総和によって１回の学習における損失関数が表現される。１回の学習における損失関数が得られたら、制御部１２０は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメーターを更新する。

以上のようにして、既定回数のパラメーターの更新が行われると、制御部１２０は、訓練モデルの汎化が完了したか否かを判定する（ステップＳ３２５）。すなわち、制御部１２０は、ステップＳ３１０で取得したテストデータが示す画像データを訓練モデルに入力して設定を示す出力を取得する。そして、制御部１２０は、出力された設定と、テストデータに対応づけられた設定とが一致している度合いを取得する。本実施形態において、制御部１２０は、当該一致している度合いが閾値以上である場合に汎化が完了したと判定する。

なお、汎化性能の評価に加え、ハイパーパラメーターの妥当性の検証が行われてもよい。すなわち、重みとバイアス以外の可変量であるハイパーパラメーター、例えば、ノードの数等がチューニングされる構成において、制御部１２０は、検証データに基づいてハイパーパラメーターの妥当性を検証しても良い。検証データは、ステップＳ３１０と同様の処理により、教師データから抽出されても良い。むろん、検証データもテストデータと同様に、訓練には使用されない。

ステップＳ３２５において、訓練モデルの汎化が完了したと判定されない場合、制御部１２０は、ステップＳ３２０を繰り返す。すなわち、さらに重みおよびバイアスを更新する。一方、ステップＳ１２５において、訓練モデルの汎化が完了したと判定された場合、制御部１２０は、学習済モデルを記録する（ステップＳ３３０）。すなわち、制御部１２０は、訓練モデルを学習済モデル１３０ａとして記憶媒体１３０に記録する。

以上の構成によれば、画像読取装置１０のローラー交換時期を推論するためのモデル（学習済モデル１３０ａ）を生産することができる。制御部１２０は、通信部１５０を介して学習済モデル１３０ａを画像読取装置１０に送信する。画像読取装置１０のプロセッサー２０は、通信部５０を介して学習済モデル１３０ａを受信すると、不揮発性メモリー３０に記憶させる。

（１－４）交換時期の推論：
画像読取装置１０のプロセッサー２０は、学習済モデル１３０ａを不揮発性メモリー３０に記憶して以降に原稿を読み取ると、原稿を示す画像データ，読み取りパラメーター，使用履歴を取得し、これらのデータを学習済モデル１３０ａに入力する。プロセッサー２０は、学習済モデル１３０ａの出力層Ｌ_ｏの各ノードの出力値を取得し、各ノードの出力値に基づいて交換時期を推論することができる。

図９は、学習済モデル１３０ａを機械学習装置１００から取得後に画像読取装置１０において原稿が読み取られる場合に実行される原稿読取処理である。図５の画像読取処理と共通の処理については図５のステップと同じステップ番号を付し説明を省略する。図９において灰色に着色された処理は、図５の原稿読取処理と相違する箇所である。図９の原稿読取処理において、ステップＳ１２０またはステップＳ１３０またはステップＳ１３５のいずれかの処理を実行した後、プロセッサー２０は、原稿画像データを学習済モデル１３０ａに入力して出力を得る（ステップＳ１２５０）。すなわち制御部１２０は、読み取り条件に応じたモデルを選択し、選択したモデルに、画像データを含む入力画像データと、読み取りパラメーターと、使用履歴の各データを入力し、出力を得る。

続いて、プロセッサー２０は、交換時期が近いか否かを判定し（ステップＳ１２６０）、近いと判定された場合に原稿搬送ローラーの発注を促す報知を行う（ステップＳ１２７０）。すなわち、プロセッサー２０は、学習済モデル１３０ａの出力に基づいて交換時期が予め決められた閾値より短いか否かを判定し、短ければ利用者に交換用のローラーの発注を促す。

例えば、学習済モデル１３０ａからの出力（Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５）が（０．０７，０．９，０．０２，０．００７，０．００３）である場合、プロセッサー２０は、出力値が最も大きいＮ２を選択する。Ｎ２には、１週間以降～２週間未満が対応付けられている。プロセッサー２０は、交換時期を、現在（今回の原稿の読取日時）を基準として１週間以降から２週間未満の時期であると推論する。

本実施形態においては、プロセッサー２０は、推論される交換時期が予め決められた閾値未満となった場合に、交換用のローラーの発注をＵＩ部７０のディスプレイを介して画像読取装置１０の利用者に報知するように構成されている。原稿搬送ローラーの発注を促す内容に加えて、保守作業（交換作業）を行うサービスマンの手配を促す内容が報知されてもよい。

例えば閾値が１４日である場合、推論される故障時期が２週間未満であれば、通知が行われる。なお、例えば１回通知を行った場合、一定期間は再び通知を行わないようにしてもよい。このようにすることで、同様の内容を頻繁に通知しないようにすることができ、通知が形骸化することを防止できる。また例えば、推論される交換時期が２週間未満の場合と、１週間未満の場合とで、通知内容が異なっても良いし、通知先が異なっても良い。

なお通知先は、ＵＩ部７０に限らず、画像読取装置１０とインターネット等を介して通信可能なサポートセンターのサーバーコンピューターであってもよい。サポートセンターに通知される場合、交換用の原稿搬送ローラーが自動的に発注されるように構成されていてもよい。この場合、画像読取装置１０の利用者は交換用の原稿搬送ローラーの発注を能動的に行う必要がなく、利用者の手間を軽減することが可能である。

ステップＳ１２６０において交換時期が近いと判定されない場合、または、ステップＳ１２７０を実行した後、プロセッサー２０は原稿読取処理を終了する。なお、ステップＳ１０５において、交換要状態であると判定された場合、プロセッサー２０は、ＵＩ部７０のディスプレイを介して原稿搬送ローラーの交換が必要であることを報知する（ステップＳ１４００）。具体的には例えば、プロセッサー２０は、交換手順をディスプレイに表示する。利用者はこの交換手順を確認しながら原稿搬送ローラーの交換を行うことができる。

以上のように、本実施形態によれば、実際に交換が必要な状態になってから交換用の搬送ローラーを手配する構成と比較して、画像読取装置１０のダウンタイムを短縮できる可能性を高めることができる。また、従来から、予め決められた枚数の原稿を読み取った場合にローラーの交換を促す方法が知られているが、画像読取装置の使用状況（どのような種類の原稿を読み取ることが多かったか等）に応じて原稿搬送ローラーの摩耗の進行状況は異なり得る。そのため、まだ使用可能なローラーを早々に交換してしまう可能性があった。本実施形態によれば、原稿搬送ローラーの交換に関するコスト増を抑制することができる。

（２）第２実施形態：
画像読取装置の異常は、原稿搬送ローラーの摩耗の他にも、センサー４１の汚れ、センサー４１の劣化、光源４２の劣化、原稿搬送ローラーの汚れ等、様々な種類の異常が発生しうる。第２実施形態では、原稿を示す画像データに基づいて、画像読取装置の現状において発生している異常の箇所や異常の内容に応じた対処方法（装置異常情報）を推論する。

図１０は、第２実施形態における画像読取装置や機械学習装置の構成例を示す図である。本実施形態においては、異常箇所および異常内容解析用に動作させる画像読取装置（テスト機１０ａとも呼ぶ）と、テスト機１０ａにおける異常に対する対処方法と画像データとを対応付けた教師データを蓄積するとともに教師データに基づいて機械学習し学習済モデルを生成する機械学習装置１００と、学習済モデルを用いて装置において発生した異常への対処方法を推論する画像読取装置（通常機１０ｂとも呼ぶ）とを想定している。テスト機１０ａ，通常機１０ｂはそれぞれ複数存在していることを想定している。

テスト機１０ａの型式は通常機１０ｂの型式と同一である。また、テスト機１０ａおよび通常機１０ｂは図１の画像読取装置１０と同様の構成を備えている。各テスト機１０ａでは、様々な使用状況での様々な種類の原稿読み取りが繰り返し実施される。テスト機１０ａにおいて原稿トレイ６０ａに原稿がセットされ読み取りが開始されると、テスト機１０ａのプロセッサー２０は、原稿を搬送して読み取り画像データを生成し、生成した画像データを機械学習装置１００に送信する。機械学習装置１００の制御部１２０は、画像データを受信すると、対処方法を対応付けて蓄積する。具体的には、本実施形態における機械学習装置１００の制御部１２０は、テスト機１０ａから受信した画像データを解析し、異常の有無、異常の箇所、異常の内容を診断するための診断プログラムを実行可能である。診断プログラムの機能により、制御部１２０はテスト機１０ａにおける異常の有無、異常の箇所、異常の内容を特定し、異常に対する対処方法と画像データとを対応付けた教師データを生成し記憶媒体１３０に蓄積する。

例えば、原稿を読み取ることで生成された画像データに副走査方向に延びる筋が現れた場合、筋が生じた理由として様々な要因が考えられる。例えば、センサーに微細な粉塵が付着した場合、副走査方向に延びる筋が原稿を示す画像データに現れうる。センサーを清掃して粉塵を除去することができれば、筋は解消しうる。また例えば、センサーを清掃しても筋が解消できなければ、センサーの一部の光電変換素子が故障したことが考えられ、この場合も副走査方向に延びる筋が原稿を示す画像データに現れる。この場合は、劣化した素子の主走査方向の周囲に位置する劣化してない素子の出力に基づいて筋部分（劣化した素子に対応する画素）の画素値を補正することで、筋は解消しうる。また例えば、筋の本数が予め決められた基準以上に多い場合等は、センサーを交換することで筋を解消できうる。

また例えば、光源の劣化により、主走査方向の特定の位置に副走査方向に延びる筋（輝度低下部）が画像データに現れうる。この場合、画像読取装置においてキャリブレーションを実施することで、光源の劣化による画質低下（部分的な輝度低下）を抑制することができうる。キャリブレーションを実施しても部分的な輝度低下を解消できない場合、光源を交換することで問題を解消できうる。

また、原稿搬送ローラーに、原稿のトナーやインク等が付着すると、ローラーの表面が汚れる。汚れた状態のローラーに搬送された原稿にローラーの汚れが付着すると、図１２の画像Ｉ４に示すように、原稿を示す画像データにローラー痕（副走査方向に延びる筋）が現れることとなる（図１１の画像Ｉ３はローラーが汚れていない場合の読み取り画像）。ローラー痕は主走査方向におけるローラーと接触する位置において副走査方向と平行な痕として画像データに現れる。ローラーが汚れている場合、ローラーを清掃することでローラー痕が画像データに現れるという状況を解消することができる。

また、第１実施形態でも述べたように、原稿搬送ローラーの摩耗や紙粉等による一時的なスリップ等により、原稿読み取りによる画像データは副走査方向に間延びして生成される。摩耗によってローラーの外径が小さくなったことによって画像データに現れる特徴と、一時的なスリップによって画像に現れる特徴とは相違しうる。一時的なスリップの場合は、例えばローラーを清掃することでスリップによる間延びが解消しうる。ローラーが摩耗しても例えば外径（あるいは外周でもよい）が第１閾値より大きければ使用を継続でき、第２閾値未満（第１閾値＞第２閾値）となれば完全にスリップして原稿が搬送できなくなることが予め分かっている場合、ローラーの外径が第１閾値以下かつ第２閾値以上の場合に交換すれば、必要以上に高頻度にローラーを交換することを抑制しつつ搬送不能になる前に交換することができる。

診断プログラムを実行することにより、機械学習装置１００の制御部１２０は、例えば、読み取りにより生成された画像データに副走査方向に延びる筋を検知すると、テスト機１０ａに対する検査作業の内容を検査作業者に通知する。具体的には例えば、機械学習装置１００からテスト機１０ａに検査作業の内容が送信され、テスト機１０ａのプロセッサー２０がテスト機１０ａのＵＩ部７０を介して検査作業者に通知する。検査作業者が通知された内容に従って検査作業を行い、ＵＩ部７０を介して作業終了やその結果を入力すると、機械学習装置１００はテスト機１０ａにおける検査作業が終了したことを取得する。

検査作業は、例えば、「センサー清掃」、「キャリブレーション（キャリブレーションシートを読み取らせキャリブレーション処理を開始させる）」、「ローラー清掃」等である。制御部１２０はこれらの検査作業を例えば画像データの特徴に応じた順序で１つずつ検査作業者に実施させる。検査作業後に読み取らせた原稿の画像データにおいて筋が解消した場合、制御部１２０は、検査作業実施前の画像データと実施した検査作業とを対応付けて教師データの１つとして蓄積する。

これらの検査作業を実施しても筋が解消しなかった場合は、画像データに含まれる筋の態様（位置、個数、幅等）に基づいて、筋解消のための対処方法として「画像補正」、「センサー交換」、「光源交換」、「その他の対処」、のいずれかを選択し、選択した対処方法と画像データ（筋が解消していない画像データ）とを対応付けて教師データの１つとして蓄積する。

また、診断プログラムを実行することにより、機械学習装置１００の制御部１２０は、例えば、原稿読み取りにより生成された画像データが副走査方向に間延びしていることを検知した場合（例えば図５のＳ１１０～Ｓ１３５と方法を採用してよい）、検査作業者に「ローラー清掃」を促す。ローラー清掃後に読み取った原稿の画像データにおいて間延びが解消していれば、制御部１２０はローラー清掃前の画像データ（間延びしている画像データ）と「ローラー清掃」とを対応付けて教師データの１つとして蓄積する。

また、検査作業には、原稿搬送ローラーの外径（外周でもよい）の計測も含まれる。制御部１２０は、定期的に（例えば原稿読み取り１万枚に１回等）テスト機１０ａの原稿搬送ローラーの外径の計測を検査作業者に促し、計測結果を取得する。計測結果が第１閾値より大きい場合であって筋等の異常が直前に読み取られた原稿の画像データに現れていない場合、制御部１２０は、計測直前に読み取られた原稿の画像データと、「現状は対処不要」であることを対応付けて教師データの１つとして蓄積する。計測結果が第１閾値以下かつ第２閾値以上である場合、制御部１２０は、計測直前に読み取られた原稿の画像データと、「ローラー交換」を対応付けて教師データの１つとして蓄積する。なお、上述の閾値は、原稿搬送ローラーのローラー毎に設定され各ローラーについて外径を計測する構成であってもよいし、摩耗による画質低下（間延び）に最も影響するローラーについて設けられ外径の計測は当該ローラーについて行われる構成であってもよい。

図１３は、第２実施形態におけるモデルの入出力の例を示す図である。図１３に示すモデルでは、原稿を示す画像データを入力とし、入力された画像データが読み取られた場合の対処方法を出力とする。出力層Ｌ_ｏの各ノードは、各対処方法に対応付けられている。具体的には各ノードは、上述した対処方法が１つずつ対応付けられている。すなわち、「センサー清掃」、「画像補正」、「センサー交換」、「キャリブレーション」、「光源交換」、「ローラー清掃」、「ローラー交換」、「その他の対処」、「現状は対処不要」が対応付けられている。機械学習装置１００の制御部１２０は、記憶媒体１３０に蓄積された教師データを用いて、機械学習処理を実行し学習済モデルを生成する。機械学習装置１００の制御部１２０は、生成した学習済モデルを通常機１０ｂ（図１０を参照）に送信する。

通常機１０ｂのプロセッサー２０は、学習済モデルを機械学習装置１００から取得すると、不揮発性メモリー３０に記憶させる。図１４は、通常機１０ｂのプロセッサー２０によって実行される原稿読取処理のフローチャートである。原稿トレイ６０ａに原稿がセットされ読み取りが開始されると、プロセッサー２０は原稿を読み取り、原稿を示す画像データを生成する（ステップＳ４００）。続いてプロセッサー２０は、原稿を示す画像データを学習済モデルに入力して出力を得る（ステップＳ４０５）。

続いてプロセッサー２０は、モデルからの出力を判定し（ステップＳ４１０）、モデルからの出力に応じて次の各処理（Ｓ４１５～Ｓ４３５）を行う。モデルからの出力が「センサー交換」「光源交換」「ローラー交換」のいずれかである場合、プロセッサー２０は、センサーまたは光源またはローラーの交換手順を、ＵＩ部７０を介して利用者に案内する（ステップＳ４１５）。モデルからの出力が「センサー清掃」「ローラー清掃」のいずれかである場合、プロセッサー２０は、センサーまたはローラーの清掃手順を、ＵＩ部７０を介して利用者に案内する（ステップＳ４２０）。

モデルからの出力が「画像補正」である場合、プロセッサー２０は、ステップＳ４００で生成した画像データの補正処理を実行する（ステップＳ４２５）。具体的には例えば、プロセッサー２０は、筋の部分の画素の階調値を主走査方向に隣接する画素の階調値に基づいて補正し、補正後の画像データを読み取り結果とする。

モデルからの出力が「キャリブレーション」である場合、プロセッサー２０は、キャリブレーションの実施手順を、ＵＩ部７０を介して利用者に案内する（ステップＳ４３０）。モデルからの出力が「その他の対処」である場合、プロセッサー２０はその他の対処方法を、ＵＩ部７０を介して案内する（ステップＳ４３５）。その他の対処とは例えば、原稿搬送ローラーを駆動するモーター等その他の部品の交換、サービスマンの派遣要請等を想定してよい。なおモデルからの出力が「現状は対処不要」の場合、プロセッサー２０は、対処方法に対応する処理は行わずに原稿読取処理を終了する。

なお、原稿を読み取った際の画像読取装置の各部品（ローラー、センサー、光源等）の状態の検出は、検査作業者にかわって検査ロボットによって実施されてもよい。また、検査方法は上述の内容や手順であることに限定されないし、異常箇所や異常内容を特定するためのアルゴリズムも上述の内容に限定されない。

（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、画像読取装置が原稿を読み取ることで生成された画像データと、画像読取装置の異常に関する装置異常情報とを対応付けた教師データを用いて機械学習した学習済モデルを記憶し、画像読取装置が原稿を読み取ると、生成された画像データと学習済モデルとに基づいて記装置異常情報を取得する限りにおいて、他にも種々の実施形態を採用可能である。例えば、画像処理装置は、画像読取機能に加えて、ＦＡＸ通信機能、印刷機能を備えた複合機であってもよい。また、上記実施形態においては、ＡＤＦで原稿を読み取る場合を例に挙げていたが、原稿台に載置された原稿を読み取る場合にも本発明を適用可能である。例えば、原稿台の汚れや傷、センサーの汚れや劣化、光源の劣化、キャリッジを副走査方向に移動させる副走査装置の劣化等に応じた対処方法を推論するように構成されてもよい。

装置異常情報は、画像読取装置の異常に関する情報である。装置異常情報は、画像読取装置の異常箇所を含んでもよい。すなわち、読み取られた原稿を示す画像データ等に基づいて、画像読取装置において異常が生じている箇所（部品）を推論し出力する構成であってもよい。

第１実施形態においては、次に原稿搬送ローラーの交換が必要になる時期を、時間の長さで表していたが、時間以外の尺度で表現されてもよい。例えば、「あとＡ４原稿の片面読み取りをＸ枚分程度行うとローラーの交換が必要になることが予想されるため、交換要のローラーを発注しますか？」のように利用者に案内されてもよい。

なお、画像読取装置の部品の交換時期の推論は、原稿搬送ローラーに限定されない。例えば、使用によりあるいは経年劣化により、徐々に性能が悪化していくような部品にも本発明は適用可能である。

第２実施形態では、光源に関連する異常の対処方法として、キャリブレーションや光源の交換を挙げていたが、光源の清掃が対処方法として含まれてもよい。例えばＬＥＤと導光板によって原稿を照射する構成の場合、導光板の一部に粉塵が付着するとその部分の輝度が低下し副走査方向に延びる輝度低下部が画像に現れうる。導光板を清掃することで部分的な輝度低下が解消した場合は、清掃前の輝度低下部を含む画像データと、導光板の清掃とを対応付けて教師データとして蓄積する構成であってもよい。

機械学習の手法は、種々の手法であって良い。すなわち、原稿読取装置が原稿を読み取ることで生成された画像データを入力し、画像読取装置の異常に関する装置異常情報を出力するモデルを構築し、当該モデルによる出力と教師データにおける装置異常情報との差分を極小化する学習を行うことができればよい。従って、例えばニューラルネットワークによる機械学習が行われる場合、モデルを構成する層の数やノードの数、活性化関数の種類、損失関数の種類、勾配降下法の種類、勾配降下法の最適化アルゴリズムの種類、ミニバッチ学習の有無やバッチの数、学習率、初期値、過学習抑制手法の種類や有無、畳み込み層の有無、畳み込み演算におけるフィルターのサイズ、フィルターの種類、パディングやストライドの種類、プーリング層の種類や有無、全結合層の有無、再帰的な構造の有無など、種々の要素を適宜選択して機械学習が行われればよい。むろん、他の機械学習、例えば、サポートベクターマシンやクラスタリング、強化学習等によって学習が行われてもよい。さらに、モデルの構造（例えば、層の数や層毎のノードの数等）が自動的に最適化される機械学習が行われてもよい。さらに、学習は複数段階に分割されて実行されてもよい。

さらに、本発明のように、画像読取装置が原稿を読み取ることで生成された画像データと、画像読取装置の異常に関する装置異常情報とを対応付けた教師データを用いて機械学習した学習済モデルを記憶し、画像読取装置が原稿を読み取ると、生成された画像データと学習済モデルとに基づいて記装置異常情報を取得する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、複数の装置が備える部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのプログラムの記録媒体は、磁気記録媒体であってもよいし半導体メモリーであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

１０…画像読取装置、１０ａ…テスト機、１０ｂ…通常機、２０…プロセッサー、３０…不揮発性メモリー、３０ａ…使用履歴、４０…読取部、４１…センサー、４２…光源、４３…副走査装置、４３ａ…キャリッジ、４４…光学部、５０…通信部、６０…搬送装置、６０ａ…原稿トレイ、６０ｂ…排出トレイ、６１…給送ローラー、６２…分離ローラー、６３…反転ローラー、６４ａ，６４ｂ…排出ローラー対、７０…ＵＩ部、１００…機械学習装置、１２０…制御部、１３０…記憶媒体、１３０ａ…学習済モデル、１３０ｂ…教師データ、１３０ｃ…テストデータ、１３０ｄ…訓練モデル、１５０…通信部、Ｔ…原稿台

Claims (8)

1. 画像読取装置が原稿を読み取ることで生成された画像データと、少なくとも原稿搬送ローラーの交換履歴を含む前記画像読取装置の使用履歴と、原稿の媒体の種類の少なくともいずれかと、さらに原稿の読み取り解像度と、前記画像読取装置の異常に関する第1の装置異常情報とを対応付けた教師データを用いて機械学習した学習済モデルを記憶する記憶部と、
   前記画像読取装置が原稿を読み取ると、生成された画像データと前記学習済モデルとに基づいて原稿搬送ローラーの交換が必要となる交換時期を前記画像読取装置の異常に関する第2の装置異常情報として出力する制御部と、
   を備え、
   前記制御部は、前記記憶部から前記教師データを取得し、前記教師データに含まれる前記画像データと、前記画像読取装置の使用履歴と、原稿の媒体の種類の少なくともいずれかと、さらに原稿の読み取り解像度を含むパラメーターを訓練モデルに入力し、出力された前記交換時期と前記教師データが示す前記交換時期との誤差を特定し、前記パラメーターの重みおよびバイアスを更新することで前記訓練モデルの汎化を完了させた前記学習済モデルを、前記記憶部に記憶させる、
   画像処理装置。
2. 前記使用履歴には、原稿の搬送エラーの履歴、読み取り解像度に対応する原稿の副走査方向の画素数と生成された画像データにおける前記副走査方向の画素数との相違を表す長さ変動値の推移情報、の少なくともいずれかが含まれる、
   請求項１に記載の画像処理装置。
3. 前記制御部は、前記第２の装置異常情報として、異常に対する対処方法を出力し、
   前記対処方法は、原稿搬送ローラーの交換、原稿搬送ローラーの清掃、読み取りによって生成された画像データの画像補正、の少なくともいずれかを含む、
   請求項１～請求項２のいずれかに記載の画像処理装置。
4. 前記制御部は、原稿搬送ローラーの発注を促す報知を行うか、または、自動的に発注を行う、
   請求項１～請求項３のいずれかに記載の画像処理装置。
5. 前記学習済モデルは、原稿の読み取り解像度毎、またはカラーかモノクロの設定値毎に構成され、
   前記制御部は、原稿の読み取り解像度、またはカラーかモノクロの設定値に応じて、原稿搬送ローラーの交換が必要となる交換時期を出力する前記学習済モデルを選択する、
   請求項１～請求項４のいずれかに記載の画像処理装置。
6. 前記第２の装置異常情報は、前記画像読取装置の異常箇所を含む、
   請求項１～請求項５のいずれかに記載の画像処理装置。
7. 画像読取装置が原稿を読み取ることで生成された画像データと、前記画像読取装置の使用履歴と、原稿の媒体の種類の少なくともいずれかと、さらに原稿の読み取り解像度と、原稿搬送ローラーの交換が必要となる交換時期とを対応付けた教師データを記憶する記憶
   部と、
   前記記憶部から前記教師データを取得し、前記教師データに含まれる前記画像データと、前記画像読取装置の使用履歴と、原稿の媒体の種類の少なくともいずれかと、さらに原稿の読み取り解像度を含むパラメーターを訓練モデルに入力し、出力された前記交換時期と前記教師データが示す前記交換時期との誤差を特定し、前記パラメーターの重みおよびバイアスを更新することで機械学習する制御部と、を備える機械学習装置。
8. 画像読取装置が原稿を読み取ることで生成された画像データと、前記画像読取装置の使用履歴と、原稿の媒体の種類の少なくともいずれかと、さらに原稿の読み取り解像度を含むパラメーターを教師データとして訓練モデルに入力し、原稿搬送ローラーの交換が必要となる交換時期と前記教師データが示す前記交換時期との誤差を特定し、前記パラメーターの重みおよびバイアスを更新することで前記訓練モデルの汎化を完了させた学習済モデルを記憶し、
   前記画像読取装置が原稿を読み取ると、生成された画像データと前記学習済モデルとに基づいて前記交換時期を出力する、
   画像処理方法。

Images