JP7385449B2 - システムおよびその制御方法、並びにプログラム - Google Patents

Description

本発明は、システムおよびその制御方法、並びにプログラムに関する。

従来、プリンタへの印刷指示は、プリンタが備えるタッチパネルや、スマートフォンなどの携帯端末或いはＰＣといった装置（以下、指示装置と称する）から行われる。指示装置は、例えば特許文献１に記載されているように、指示に関する設定画面を表示する。プリンタは、設定画面に入力された印刷設定に基づき印刷動作を行う。

特開２０１０－２４５８７５号公報

指示装置を用いた印刷指示を行う場合に、ユーザの所望の記録が行われない場合がある。例えば、ユーザが２ｉｎ１での印刷を所望していた場合でも、入力された指示が１ｉｎ１であれば、当然ながら１ｉｎ１での印刷が行われる。このような状況は、ユーザが２ｉｎ１と入力すべきところを１ｉｎ１と誤入力した場合にも発生するし、デフォルトの設定画面で１ｉｎ１の指示となっており、ユーザがその指示を変更し忘れた場合にも発生する。ユーザが所望していない記録が行われると、再度の記録を行う必要が生じる。その結果、記録材（例えばインクやトナー）や記録媒体（例えば紙）の無駄な消費につながる。また、記録時間も無駄に費やすことになってしまう。

本発明は、上記課題を鑑み、ユーザが所望していない記録が行われてしまうことを抑制することを目的とする。

上記課題を解決するために、本発明は以下の構成を有する。すなわち、複数の設定項目に対する設定値を含む印刷設定情報を取得する取得手段と、
前記取得手段にて取得した印刷設定情報のうちの着目する設定項目のデータを教師データとし、当該印刷設定情報のうちの着目する設定項目以外のデータを入力データとした学習用データを生成する生成手段と、
前記学習用データを用いて、前記着目する設定項目の推奨値を出力データとして出力する学習済モデルを生成するための学習を行う学習手段と
を有し、
前記印刷設定情報は、対応する印刷処理がユーザ指示により中断されたか否かのステータス情報を含み、
前記生成手段は、前記ステータス情報に基づいて、学習用データを生成するシステム。

本発明により、ユーザが所望していない記録が行われてしまうことを抑制することが可能となる。

本発明に係る処理システムの構成例を示す図。 本発明の一実施形態に係る各サーバーのハードウェア構成の例を示す図。 本発明の一実施形態に係るスマートフォンのハードウェア構成の例を示す図。 本発明の一実施形態に係るプリンタのハードウェア構成の例を示す図。 本発明の一実施形態に係る各装置のソフトウェア構成の例を示す図。 本発明の一実施形態に係る学習モデルおよび学習済モデルの入出力の構造を示す概念図。 本発明の一実施形態に係る処理の流れを説明するための図。 本発明の一実施形態に係る画面の構成例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
以下、本発明の第１の実施形態について詳細に説明する。

［システム構成］
図１は、本実施形態に係る処理システム１００の構成例を示す図である。処理システム１００は、ローカルエリアネットワーク（ＬＡＮ）１０２およびインターネット１０４で接続された、クラウドサーバー２００、エッジサーバー３００、プリンタ４００、およびスマートフォン５００を含んで構成される。エッジサーバー３００、プリンタ４００、およびスマートフォン５００は、ローカルエリアネットワーク（ＬＡＮ）１０２で相互に接続され、ＬＡＮ１０２に設置されているルータ１０３を介してインターネット１０４と接続することが可能である。

ルータ１０３は、ＬＡＮ１０２とインターネット１０４を接続する機器として図示されているが、ＬＡＮ１０２を構成する無線ＬＡＮアクセスポイント機能を持たせることも可能である。この場合、各デバイスは有線ＬＡＮでルータ１０３と接続する以外に、無線ＬＡＮでアクセスと接続してＬＡＮ１０２に参加するように構成することができる。例えば、プリンタ４００は有線ＬＡＮで接続し、スマートフォン５００は無線ＬＡＮで接続するように構成することも可能である。各デバイスおよびエッジサーバー３００は、ルータ１０３を介して接続されたインターネット１０４を経由してクラウドサーバー２００と相互に通信することが可能である。

エッジサーバー３００と各デバイスは、ＬＡＮ１０２を経由して相互に通信することが可能である。また、スマートフォン５００とプリンタ４００は近距離無線通信１０１によって通信可能である。近距離無線通信１０１としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格やＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）規格に則った無線通信を利用されてよい。また、スマートフォン５００は、携帯電話回線網１０５とも接続されており、携帯電話回線網１０５を介してクラウドサーバー２００と通信することもできる。

なお、上記の構成は一例を示すものであり、これに限定するものではない。例えば、ルータ１０３がアクセスポイント機能を備えている例を示したが、アクセスポイントはルータ１０３と異なる装置で構成してもよい。また、エッジサーバー３００と各デバイスの間の接続はＬＡＮ１０２以外の接続手段を用いるものであってもよい。例えば、無線ＬＡＮ以外のＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、ＺｉｇＢｅｅ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信などの無線通信や、ＵＳＢなどの有線接続や赤外線通信などを用いるものであってもよい。

また、図１においては、デバイスであるプリンタ４００やスマートフォン５００がそれぞれ１台のみ示されているが、複数台のプリンタ４００やスマートフォン５００が設けられてよい。この場合、複数のプリンタ４００に対してエッジサーバー３００が管理を行うような構成であってもよい。また、複数のスマートフォン５００それぞれが、プリンタ４００に対する指示装置として動作してよい。

［ハードウェア構成］
（サーバー装置）
図２は、本実施形態に係るクラウドサーバー２００、およびエッジサーバー３００として動作可能な情報処理装置のハードウェア構成の例を示すブロック図である。ここでは、クラウドサーバー２００、エッジサーバー３００のハードウェア構成は共通であるものとして説明する。サーバーは、装置全体の制御を行うメインボード２１０、ネットワーク接続ユニット２０１、およびハードディスクユニット２０２を含んで構成される。メインボード２１０において、ＣＰＵ２１１は、内部バス２１２を介して接続されているプログラムメモリ２１３に格納されている制御プログラムと、データメモリ２１４の内容とに従って動作する。ＣＰＵ２１１は、ネットワーク制御回路２１５を介してネットワーク接続ユニット２０１を制御することで、インターネット１０４やＬＡＮ１０２などのネットワークと接続し、他の装置との通信を行う。ＣＰＵ２１１は、ハードディスク制御回路２１６を経由して接続されたハードディスクユニット２０２に対して、データの読み書きを実行することができる。

ハードディスクユニット２０２には、プログラムメモリ２１３にロードして使用されるオペレーティングシステム（ＯＳ）や各種制御ソフトウェアが格納されるほか、各種のデータも格納される。メインボード２１０にはＧＰＵ２１７が接続されており、各種演算処理をＣＰＵ２１１の代わりに実行させることが可能である。ＧＰＵ２１７はデータをより多く並列処理することで効率的な演算を行うことができる。そのため、ディープラーニングのような機械学習による、学習モデルを用いた複数回に渡る学習を行う場合には、ＧＰＵ２１７で処理を行うことが有効である。

本実施形態では、後述の学習部２５１による処理にはＣＰＵ２１１に加えてＧＰＵ２１７を用いるものとする。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ２１１とＧＰＵ２１７が協働して演算を行うことで学習を行う。なお、学習部２５１の処理はＣＰＵ２１１またはＧＰＵ２１７のみにより演算が行われても良い。また、推定部３５１も学習部２５１と同様にＣＰＵ２１１またはＧＰＵ２１７を用いても良い。また、本実施形態では、クラウドサーバー２００がエッジサーバー３００と共通の構成を使用するものとして説明したが、この構成に限られるものではない。例えば、クラウドサーバー２００にはＧＰＵ２１７を搭載するがエッジサーバー３００では搭載しない構成を取ってもよいし、異なる性能のＧＰＵ２１７を用いるものとして構成してもよい。

（スマートフォン）
図３は、本実施形態に係るスマートフォン５００のハードウェア構成の例を示すブロック図である。スマートフォン５００は、装置全体の制御を行うメインボード５１０、無線ＬＡＮユニット５０２、近距離無線通信ユニット５０１、回線接続ユニット５０３、およびタッチパネルディスプレイ５０４を含んで構成される。メインボード５１０において、ＣＰＵ５１１は、内部バス５１２を介して接続されているＲＯＭ形態のプログラムメモリ５１３に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ５１４の内容とに従って動作する。ＣＰＵ５１１は、無線ＬＡＮ制御回路５１５を介して無線ＬＡＮユニット５０２を制御することで、他の通信端末装置と無線ＬＡＮ通信を行う。

ＣＰＵ５１１は、近距離無線通信制御回路５１６を介して近距離無線通信ユニット５０１を制御することによって、他の近距離無線通信端末との接続を検知したり、他の近距離無線通信端末との間でデータの送受信を行ったりすることができる。また、ＣＰＵ５１１は、回線制御回路５１７を介して回線接続ユニット５０３を制御することで、携帯電話回線網１０５に接続し、通話やデータ送受信を行うことができる。ＣＰＵ５１１は、操作部制御回路５１８を制御することによってタッチパネルディスプレイ５０４に所望の表示を行ったり、ユーザからの操作を受け付けたりすることが可能である。ＣＰＵ５１１はカメラ部５１９を制御して画像を撮影することができ、撮影した画像をデータメモリ５１４中の画像メモリ５２０に格納する。また、撮影した画像以外にも、携帯電話回線やＬＡＮ１０２や近距離無線通信１０１を通じて外部から取得した画像を画像メモリ５２０に格納したり、逆に外部に送信したりすることも可能である。

不揮発性メモリ５２１はフラッシュメモリ等で構成され、電源をオフされた後でも保存しておきたいデータを格納する。例えば、電話帳データや、各種通信接続情報や過去に接続したデバイス情報などの他、保存しておきたい画像データ、あるいはスマートフォン５００に各種機能を実現するアプリケーションソフトウェアなどが不揮発性メモリ５２１に格納される。

（プリンタ）
図４は、本実施形態に係る画像処理装置であるプリンタ４００のハードウェア構成の例を示すブロック図である。プリンタ４００は、装置全体の制御を行うメインボード４１０、無線ＬＡＮユニット４２０、近距離無線通信ユニット４２１、および操作パネル４２２を含んで構成される。メインボード４１０において、ＣＰＵ４１１は、内部バス４１９を介して接続されているＲＯＭ形態のプログラムメモリ４１２に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ４１３の内容とに従って動作する。ＣＰＵ４１１はスキャナ部４１４を制御して紙等の原稿を読み取り、データメモリ４１３中の画像メモリ４２３に格納する。また、ＣＰＵ４１１は、印刷部４１５を制御してデータメモリ４１３中の画像メモリ４２３の画像を記録媒体に印刷することで印刷処理を行う。

ＣＰＵ４１１は、無線ＬＡＮ通信制御回路４１６を通じて無線ＬＡＮユニット４２０を制御することで、他の通信端末装置と無線ＬＡＮ通信を行う。また、ＣＰＵ４１１は、近距離無線通信制御回路４１７を介して近距離無線通信ユニット４２１を制御することによって、他の近距離無線通信端末との接続を検知したり、他の近距離無線通信端末との間でデータの送受信を行ったりすることができる。ＣＰＵ４１１は、操作部制御回路４１８を制御することによって、操作パネル４２２にプリンタ４００の状態の表示や機能選択メニューの表示を行ったり、ユーザからの操作を受け付けたりすることが可能である。

［ソフトウェア構成］
図５は、本実施形態に係る処理システム１００を構成する各装置のソフトウェア構成の例を示す図である。ここでは、ソフトウェア構成のうち、本実施形態に係る学習および推定の処理に関わるものについてのみ記載しており、その他のソフトウェアモジュールについては不図示としている。例えば、各デバイスやサーバー上で動作するＯＳや各種ミドルウェア、メンテナンスのためのアプリケーション等については図示を省略している。

クラウドサーバー２００は、学習用データ生成部２５０、学習部２５１、および学習モデル２５２を備える。学習用データ生成部２５０は、外部から受信したデータから、学習部２５１が処理可能な学習用データを生成するモジュールである。学習用データは、学習部２５１の入力データＸと、学習の結果の正解を示す教師データＴの組である。学習部２５１は、学習用データ生成部２５０から受け取った学習用データを学習モデル２５２に対する学習を実行するプログラムモジュールである。学習モデル２５２は、学習部２５１で行った学習の結果を蓄積する。ここでは学習モデル２５２をニューラルネットワークとして実現する例を説明する。ニューラルネットワークの各ノード間の重み付けパラメータを最適化することにより、入力データを分類したり、評価値を決定したりすることができる。学習の結果として蓄積された学習モデル２５２は、エッジサーバー３００に学習済モデルとして配信され、エッジサーバー３００における推定処理に用いられる。

エッジサーバー３００は、データ収集・提供部３５０、推定部３５１、および学習済モデル３５２を備える。データ収集・提供部３５０は、外部装置（例えば、プリンタ４００）から受信したデータや、エッジサーバー３００が自ら収集したデータを、クラウドサーバー２００に学習に用いるためのデータ群として送信するモジュールである。推定部３５１は、プリンタ４００から送られるデータを基に、学習済モデル３５２を用いて推定を実行し、その結果をプリンタ４００に返送するプログラムモジュールである。プリンタ４００から送られるデータは、推定部３５１の入力データＸとして利用可能なデータである。学習済モデル３５２は、エッジサーバー３００で行う推定に用いられる。学習済モデル３５２も学習モデル２５２と同様にニューラルネットワークとして実現されるものとする。学習済モデル３５２は、クラウドサーバー２００で蓄積して配信された学習モデル２５２を格納する。学習済モデル３５２は、学習モデル２５２の全部を配信するものであってもよいし、学習モデル２５２のうち、エッジサーバー３００での推定に必要な一部分だけを抜き出して配信するものであってもよい。

プリンタ４００は、アプリケーション部４５０、およびデータ送受信部４５１を備える。アプリケーション部４５０は、プリンタ４００で実行する各種の機能を実現するモジュールであり、機械学習による学習・推定の仕組みを利用するモジュールである。データ送受信部４５１は、エッジサーバー３００に学習または推定を依頼するモジュールである。学習時には、アプリケーション部４５０からの依頼により学習に用いるデータをエッジサーバー３００のデータ収集・提供部３５０に送信する。また、推定時には、アプリケーション部４５０からの依頼により、推定に用いるデータをエッジサーバー３００に送信し、その結果を受信してアプリケーション部４５０に返す。

スマートフォン５００は、アプリケーション部５３０を備える。アプリケーション部５３０は、プリンタ４００が提供する各機能を利用するためのアプリケーションである。例えば、アプリケーション部５３０は、プリンタ４００を用いて印刷を行う際の印刷設定画面を提供したり、プリンタ４００への印刷指示（印刷ジョブ）の送信を行ったりする。

なお、本実施形態では、クラウドサーバー２００による学習処理の結果をエッジサーバー３００に学習済モデル３５２として配信し、推定に利用する形態を示したが、この形態に限定されるものではない。学習、推定をそれぞれ、クラウドサーバー２００、エッジサーバー３００、もしくはプリンタ４００のどこで実行するかは、ハードウェア資源の配分や計算量、データ通信量の大小に応じて構成を決定すればよい。あるいはこれら資源の配分や計算量、データ通信量の増減に応じて動的に変えるように構成してもよい。学習と推定を行う主体が異なる場合、推定側は推定のみで使用するロジックや学習済モデル３５２の容量を削減したり、より高速で実行できるように構成したりすることが可能である。

［学習モデル］
図６は、学習モデル２５２、および学習済モデル３５２を利用する際の入出力の構造を説明するための概念図である。本実施形態に係る学習モデル２５２および学習済モデル３５２は、ニューラルネットワークにて構成され、入力層、隠れ層、出力層を含んで構成される。

図６（ａ）は、学習時における、学習モデル２５２とその入出力データの関係を示す。入力データＸ６０１は、学習モデル２５２の入力層に入力されるデータである。本実施形態に係る入力データＸの詳細は後述する。学習時には、入力データＸ６０１に対する推定結果の正解データとして教師データＴ６０３が与えられるため、出力データＹ６０２と教師データＴ６０３を損失関数６０４に与えることにより、認識結果の正解からのずれ量Ｌ６０５が得られる。多数の学習用データに対してずれ量Ｌ６０５が小さくなるように、学習モデル２５２中のニューラルネットワークのノード間の結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。学習モデルである学習モデル２５２を用いて認識した結果として、出力データＹ６０２が出力される。本実施形態では、印刷設定の設定項目に対するパラメータ推定を扱う。したがって、入力データＸ６０１として入力された各種情報に基づき、印刷設定の設定値の確率を推定する。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、最尤推定法やベイズ推定法などが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。学習方法やアルゴリズムは特に限定するものではなく、適宜、機械学習アルゴリズムのうち利用できるものを用いて本実施形態に適用してよい。

図６（ｂ）は、推定時における、学習済モデル３５２とその入出力データの関係を示す。入力データＸ６１１は、学習済モデル３５２の入力層のデータである。本実施形態に係る入力データＸの詳細は後述する。入力データＸ６１１を機械学習モデルである学習済モデル３５２を用いて認識した結果として出力データＹ６１２が出力される。推定時には、この出力データＹ６１２が、推定結果として利用される。なお、推定時の学習済モデル３５２は、学習時の学習モデル２５２と同等のニューラルネットワークを備えるものとして説明したが、推定で必要な部分のみを抽出したものを学習済モデル３５２として用意することもできる。これによって学習済モデル３５２のデータ量を削減したり、推定時のニューラルネットワーク処理時間を短縮したりすることが可能である。

［データ構成］
本実施形態にて用いるデータについて説明する。本実施形態に係る処理システム１００において、エッジサーバー３００は、接続されたプリンタ４００から印刷に用いられた印刷設定を収集する。ここで収集される印刷設定の各項目やその設定値は、プリンタ４００の機能に応じて様々なものが含まれてよい。また、印刷が行われた際の時刻情報や印刷対象となった画像データの情報が併せて収集されてよい。また、プリンタ４００の操作パネル４２２を介して印刷指示を行ったか、外部の指示装置（例えば、スマートフォン５００）を介して印刷指示を行ったかの情報を含めてもよい。クラウドサーバー２００の学習用データ生成部２５０は、エッジサーバー３００が収集したデータの中から学習処理に用いられる学習用データを生成する。

本実施形態に係る学習モデル２５２は、学習用データとして、印刷設定項目およびその設定値、画像データの種類（データ形式）などを用いる。また、出力データＹ６０２として、着目する設定項目の設定値を出力する。具体的には、例えば、プリンタ４００から提供される情報のうち設定項目「カラーモード」に着目する。この場合に、設定項目「カラーモード」に設定された設定値を教師データＴ６０３とし、その着目した設定項目以外のデータを入力データＸ６０１とした対のデータを学習用データとして生成する。そして、この学習用データを用いて学習を繰り返す。従って、プリンタ４００から提供された１の印刷設定情報から、複数の設定項目それぞれに着目した複数の学習用データが生成されてよい。

一方、推定時には、学習結果として得られた学習済モデル３５２に、入力データＸ６１１として印刷設定項目およびその設定値、画像データの種類（データ形式）などを入力することで、着目する設定項目の設定値が推定されることとなる。このとき、着目する設定項目ごとに別個の学習済モデルが用いられてもよい。

［全体動作］
図７は、本実施形態に係る処理システム１００全体の動きを説明するための図である。ここでは、スマートフォン５００から印刷指示を行う場合を例に挙げて説明するが、プリンタ４００の操作パネル４２２に表示される操作画面（不図示）や、他の指示装置を介して印刷指示を行う場合も同様の処理が行われるものとする。また、以下の説明では、学習フェーズと推定フェーズを分けて説明するが、これらの処理は、それぞれ別個に実行されてもよいし、並行して実行されてもよい。

（学習フェーズ）
図７（ａ）は、学習時の処理システム１００全体の動きを示す。各装置の処理は、各装置のＣＰＵやＧＰＵが記憶部に記憶されたプログラムを読み出して実行することにより実現される。

Ｓ７０１にて、スマートフォン５００は、アプリケーション部５３０を介して印刷設定を受け付け、印刷指示をプリンタ４００に送信する。ここでの印刷指示には印刷設定や印刷対象となる画像データなどの情報が含まれる。

Ｓ７０２にて、プリンタ４００は、スマートフォン５００から受け付けた印刷指示に含まれる各種情報をエッジサーバー３００に送信する。ここでの送信タイミングは、プリンタ４００の印刷が完了した時点でもよいし、印刷が完了する前に送信してもよい。印刷が完了した場合には、その印刷結果もエッジサーバー３００に送信してよい。

Ｓ７０３にて、エッジサーバー３００は、学習依頼と共に、プリンタ４００から受信した各種情報をクラウドサーバー２００に送信する。ここでの送信タイミングは、一定量のデータが蓄積されたタイミングでもよいし、定期的に送信してもよい。

Ｓ７０４にて、クラウドサーバー２００は、エッジサーバー３００から受信した各種データを用いて学習用データを生成する。上述したように、本実施形態では、入力データＸ６０１と教師データＴ６０３との対からなる学習用データが生成される。また、学習用データは、着目する設定項目ごとに生成されてよい。そして、クラウドサーバー２００は、生成した学習用データを用いて学習処理を行うことで、学習モデル２５２を更新する。

Ｓ７０５にて、クラウドサーバー２００は、学習処理の結果として得られた学習済モデル３５２をエッジサーバー３００に配信する。上述したように、ここで配信される学習済モデル３５２は、学習モデル２５２の全部であってもよいし、学習モデル２５２の一部から生成されてもよい。また、複数の学習済モデル３５２が生成されてもよい。エッジサーバー３００は、配信された学習済モデル３５２を用いて以降の推定処理を行う。

なお、ここでは学習依頼を行う場合、プリンタ４００からエッジサーバー３００を経由してクラウドサーバー２００に学習依頼が送信される場合を説明したが、これに限るものではない。例えば、プリンタ４００からクラウドサーバー２００へ直接送信するように構成してもよい。また、クラウドサーバー２００で学習が行われる毎にエッジサーバー３００への学習済モデル３５２の配信が行われるように説明したが、大量の学習がクラウドサーバー２００で行われる場合には都度配信しなくてもよい。例えば、定期的に学習済モデル３５２の配信を行ってもよいし、エッジサーバー３００から必要に応じて配信要求を出し、その応答として学習済モデル３５２の配信を行うように構成してもよい。

学習フェーズについて、具体例を用いて説明する。図８（ａ）は、スマートフォン５００のタッチパネルディスプレイ５０４上に表示される印刷設定画面８００の構成例を示す。印刷設定画面８００には、印刷対象として選択された画像データのプレビュー画像８０１が表示される。また、ボタン８０２が押下されることで、印刷対象を変更する画面（不図示）に遷移可能である。領域８０３には、印刷を行うプリンタの情報が表示され、領域８０３を選択することで、他のプリンタを選択可能に構成される。また、領域８０４を選択することで、印刷設定を変更する画面（不図示）に遷移可能である。領域８０５には、現時点で選択されている印刷設定の情報が表示されている。ボタン８０６が押下された際には、印刷指示がプリンタ４００に送信される。ここでは、印刷設定画面８００において、画像ファイルを印刷対象とし、以下の印刷設定が行われている。

プリンタ：ＸＸＸ ＹＴ８０００ ｓｅｒｉｅｓ
部数設定：１部
用紙サイズ：Ａ４
両面印刷：なし
用紙の種類：普通紙
フチ設定：なし
カラーモード：カラー

このような印刷指示がプリンタ４００に対して行われた場合、この情報が、プリンタ４００からエッジサーバー３００を介してクラウドサーバー２００に提供される。ここでの印刷設定情報としては、学習処理で用いられる上記の各種情報を含むものとし、ここでは、ユーザ情報、印刷対象の情報、印刷設定項目およびその設定値などが含まれる。

（推定フェーズ）
図７（ｂ）は、推定時の処理システム１００全体の動きを示す。各装置の処理は、各装置のＣＰＵやＧＰＵが記憶部に記憶されたプログラムを読み出して実行することにより実現される。

Ｓ７１１にて、スマートフォン５００は、アプリケーション部５３０を介して印刷設定を受け付ける。スマートフォン５００は、プリンタ４００に受け付けた印刷設定を送信する。この時点では、印刷指示は行われていないものとする。ここでの印刷設定には、推定フェーズのＳ７０１にて送信した印刷指示と同等の情報が含まれているものとする。

Ｓ７１２にて、プリンタ４００は、スマートフォン５００から受信した印刷設定と共に推定依頼をエッジサーバー３００に送信する。

Ｓ７１３にて、エッジサーバー３００は、プリンタ４００から受信した推定依頼に基づき、学習済モデル３５２の入力データＸ６１１を生成する。そして、エッジサーバー３００は、生成した入力データＸ６１１を学習済モデル３５２に入力することで、推定結果となる出力データＹ６１２を得る。ここでは、着目する設定項目ごとに推定処理が行われてよい。

Ｓ７１４にて、エッジサーバー３００は、推定結果をプリンタ４００に送信する。このとき、現在設定されている設定値と、推定された設定値との間に差異がある設定項目に対しては、推定された値（推奨値）を併せて送信してよい。

Ｓ７１５にて、プリンタ４００は、エッジサーバー３００から受信した推定結果に基づき、スマートフォン５００に対し通知を行う。本実施形態では、現在の設定値と推定された設定値との差異がある場合には、その設定値で良いかの確認画面をスマートフォン５００に表示させるように制御を行う。

Ｓ７１６にて、スマートフォン５００は、プリンタ４００から受信した通知に基づき、推定結果の表示を行う。本実施形態では、本実施形態では、現在の設定値と推定された設定値との差異がある場合には、その設定値で良いかの確認画面を表示し、無い場合には確認画面の表示を行わないものとする。

推定フェーズについて、具体例を用いて説明する。図８（ａ）に示したように、スマートフォン５００のタッチパネルディスプレイ５０４において、以下の設定が入力されたものとする。
プリンタ：ＸＸＸ ＹＴ８０００ ｓｅｒｉｅｓ
部数設定：１部
用紙サイズ：Ａ４
両面印刷：なし
用紙の種類：普通紙
フチ設定：なし
カラーモード：カラー

このような設定が選択された場合、この設定情報と併せて推定依頼が、プリンタ４００からエッジサーバー３００に送信される。そして、エッジサーバー３００による推定処理の結果、設定項目「カラーモード」の設定値「モノクロ」が推奨値として推定されたとする。この場合に、図８（ｂ）に示す確認画面８１０がスマートフォン５００により表示される。

確認画面８１０において、上述したような推奨値とは異なる設定値の情報と併せて、確認メッセージ８１１が表示される。上記の例では、確認メッセージ８１１として、「カラーでの印刷設定になっていますが、この印刷設定のまま印刷をしてよろしいですか？」と表示されている。ボタン８１２が押下された場合には、設定されている印刷設定に基づき、印刷指示がプリンタ４００に送信される。ボタン８１３が押下された場合には、印刷設定を変更するための画面（不図示）に遷移し、設定変更を受け付ける。

以上、本実施形態により、ユーザが所望していない記録が行われてしまうことを抑制することが可能となる。

なお、図７（ｂ）の例では、Ｓ７１１の印刷送信のタイミングは、印刷設定を受け付けたタイミングとしたが、これに限定するものではない。例えば、ユーザが印刷設定を指定し、ボタン８０６を押下したタイミングであってもよい。この場合、プリンタ４００は、印刷動作を行う前に推定処理を行い、その結果に基づいて、印刷を実行するか、スマートフォン５００に確認画面８１０を表示させるかを切り替えてもよい。

また、図８（ｂ）の例では、１つの設定項目についてのみ確認メッセージを表示する例を示したが、複数の設定項目について確認メッセージを表示するような構成であってもよい。

また、図８（ｂ）の例では、確認画面８１０を印刷設定画面８００に重畳して表示したが、これに限定するものではない。例えば、画面遷移により確認画面を表示してもよい。もしくは、対象となる印刷設定項目や設定値に対し、点滅したり色が変わったりするなどして、確認の必要性がある箇所を強調させてもよい。

また、上記の例では、設定項目の確認を促すメッセージのみを表示したが、これに限定するものではない、例えば、推奨値を併せて推定するような構成であってもよい。この場合、確認画面８１０において、推奨する設定値を併せて通知してもよい。例えば、上記の例だと、「カラーでの印刷設定になっておりますが、他の印刷設定を考慮し、インク消費量が多くなりそうです。この点からモノクロ印刷をおすすめしますが、このままカラー印刷をしてよろしいでしょうか。」など、理由と併せて推奨内容を表示してもよい。

また、上記の例では、推定結果に基づき、確認画面８１０を表示する例を示した。しかしこの構成に限定するものではなく、他の方法であってもよい。例えば、推定結果に基づき、設定項目の値をその推定した推奨値に自動で切り替えるような構成であってもよい。具体的には、設定項目「カラーモード」に対して設定値「カラー」が設定されている場合に、推定結果として設定値「モノクロ」が推奨値として得られたとする。この場合、設定項目「カラーモード」に対して設定値「モノクロ」を自動で設定する。この場合、変更した旨を画面上で表示してもよいし、変更した設定項目を強調表示するなどしてもよい。これにより、学習により得られた内容を印刷設定に自動で反映でき、ユーザの利便性を向上させることができる。なお、推定結果に基づいて確認画面８１０を表示するか、自動で設定値を変更するかは、ユーザが予め設定可能であってよい。

また、上記の実施形態では、学習フェーズにおいて、プリンタ４００が印刷設定をエッジサーバー３００に送信している（図７（ａ）のＳ７０２）。この時、プリンタ４００は、対応する印刷ジョブの実行のステータス情報を併せて送信してもよい。ここでのステータス情報としては、正常終了、中断、異常終了などが挙げられる。特に、ユーザからの指示に基づいて印刷を中断した場合には、印刷設定が間違っていた可能性がある。更に、その後、設定を変更した上で再度の印刷が行われた場合には、変更後の印刷設定がより適していたものと想定される。そのため、ユーザ指示により中断が行われた後に印刷設定を変更した上で、再度印刷指示を行った場合には、その情報を学習に用いるデータとして含めてよい。例えば、中断されて設定値が変更された場合、変更前の設定値に基づく印刷設定情報は、学習用データから除去するような構成であってもよい。このような情報を考慮して学習を行うことで、更に推定結果の精度を向上させることが可能となる。

上記の実施形態では、クラウドサーバー２００がネットワークに接続されたエッジサーバー３００やプリンタ４００からデータを収集した上で、学習を行っていた。この場合、多くのユーザによるプリンタ４００の利用の傾向に基づいて学習が行われ、その結果、多くのユーザに対応可能な汎用的な学習済モデルが生成されることとなる。これに対し、特定のユーザに適応した学習済モデルを生成するような構成であってもよい。この場合、例えば、学習用データとして、ユーザを一意に識別するための識別情報を含めてもよい。これにより、ユーザに応じた推定結果を得ることが可能となる。なお、ここでの識別情報は、ユーザが入力するような構成であってもよいし、スマートフォン５００などの指示装置に対応付けられた情報を用いてもよい。この構成では、クラウドサーバー２００を利用する必要はない。そのため、例えば、ＬＡＮ１０２に閉じた構成において、エッジサーバー３００は、収集したデータを用いて学習を行い、その限られたネットワークを利用するユーザに適した学習済モデルを生成するような構成であってもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１または複数のプロセッサーまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサーまたは回路のネットワークを含みうる。

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

記憶媒体は、非一時的なコンピュータ可読媒体とも称することができる。また、記憶媒体は、１または複数のハードディスク（ＨＤ）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、分散コンピューティングシステムの記憶装置を含みうる。また、記憶媒体は、光ディスク（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、またはブルーレイディスク（ＢＤ、登録商標））、フラッシュメモリデバイス、及びメモリカードを含みうる。

１００…処理システム、２００…クラウドサーバー、３００…エッジサーバー、４００…プリンタ、５００…スマートフォン

Claims (4)

1. 複数の設定項目に対する設定値を含む印刷設定情報を取得する取得手段と、
   前記取得手段にて取得した印刷設定情報のうちの着目する設定項目のデータを教師データとし、当該印刷設定情報のうちの着目する設定項目以外のデータを入力データとした学習用データを生成する生成手段と、
   前記学習用データを用いて、前記着目する設定項目の推奨値を出力データとして出力する学習済モデルを生成するための学習を行う学習手段と
   を有し、
   前記印刷設定情報は、対応する印刷処理がユーザ指示により中断されたか否かのステータス情報を含み、
   前記生成手段は、前記ステータス情報に基づいて、学習用データを生成するシステム。
2. 前記印刷設定情報は、ユーザを識別するための識別情報を含み、
   前記生成手段は、前記識別情報を前記学習用データの入力データに含める請求項１に記載のシステム。
3. 複数の設定項目に対する設定値を含む印刷設定情報を取得する取得工程と、
   前記取得工程にて取得した印刷設定情報のうちの着目する設定項目のデータを教師データとし、当該印刷設定情報のうちの着目する設定項目以外のデータを入力データとした学習用データを生成する生成工程と、
   前記学習用データを用いて、前記着目する設定項目の推奨値を出力データとして出力する学習済モデルを生成するための学習を行う学習工程と
   を有し、
   前記印刷設定情報は、対応する印刷処理がユーザ指示により中断されたか否かのステータス情報を含み、
   前記生成工程では、前記ステータス情報に基づいて、学習用データを生成することを特徴とするシステムの制御方法。
4. コンピュータを、
   複数の設定項目に対する設定値を含む印刷設定情報を取得する取得手段、
   前記取得手段にて取得した印刷設定情報のうちの着目する設定項目のデータを教師データとし、当該印刷設定情報のうちの着目する設定項目以外のデータを入力データとした学習用データを生成する生成手段、
   前記学習用データを用いて、前記着目する設定項目の推奨値を出力データとして出力する学習済モデルを生成するための学習を行う学習手段
   として機能させるためのプログラムであって、
   前記印刷設定情報は、対応する印刷処理がユーザ指示により中断されたか否かのステータス情報を含み、
   前記生成手段は、前記ステータス情報に基づいて、学習用データを生成することを特徴とするプログラム。

Images