JP7516160B2 - 残留物検出システム、残留物検出装置及び残留物検出方法 - Google Patents

Description

本発明は、例えば運搬用容器内の残留物を検出する残留物検出システム、残留物検出装置及び残留物検出方法に関する。

運搬用容器は、物流拠点間を行き来して商品、部品、材料、製品、書類等を運搬する箱状の容器であり、通い箱等と呼ばれている。例えば運搬用容器は、倉庫から店舗に商品を出荷する際に使用される。すなわち出荷の際は、運搬用容器に商品が詰め込まれて倉庫から店舗へと搬出される。出荷を終えると、空になった運搬用容器が店舗から倉庫へと戻される。そして、この空の運搬用容器に別の商品が再び詰め込まれて、倉庫から店舗へと搬出される。

このような運搬用容器の用途において、店舗で容器から商品を取り出す際に取り残しが発生すると、その商品が残留物となって倉庫へと戻される。ここで、作業者が残留物に気付かずに次の商品を容器に詰め込んでしまうと、店舗に不適切な商品が出荷されてしまうこととなる。このような不具合を避けるためには、物流経路の少なくとも１か所において、容器内の残留物有無をチェックする仕組みが必要となる。そのためには、容器内の残留物を安価で且つ高精度に検出できるシステムが望まれている。

特開２０１２－２５１９００号公報

本発明の実施形態が解決しようとする課題は、容器内の残留物を安価で且つ高精度に検出できる残留物検出システムを提供しようとするものである。

一実施形態において、残留物検出システムは、第１検出部と、第２検出部と、学習部と、を備える。第１検出部は、容器内の残留物を、残留物検査に使用される学習モデルを用いて検出する。第２検出部は、容器内の残留物を、第１検出部よりも高精度な手法で検出する。学習部は、第２検出部による検出結果を正解として学習モデルを学習させる。

一実施形態に係る残留物検出システムの全体構成を示すブロック図。 第１検出装置の機能構成を示すブロック図。 第１検出装置の制御部が実行する主要な制御手順を示す流れ図。 第１検出装置の収束判定部が実行する主要な処理手順を示す流れ図。

以下、実施形態について、図面を用いて説明する。
本実施形態は、倉庫から店舗に商品を出荷する際に使用される運搬用容器を、残留物検出対象の容器とする。そして、倉庫において出荷対象の商品を運搬用容器に詰め込む前に、その容器内の残留物を検出することが可能な残留物検出システムを例示する。

図１は、本実施形態に係る残留物検出システム１００の全体構成を示すブロック図である。残留物検出システム１００は、運搬用容器１の内部に残った商品等の残留物を検出するために、少なくとも容器センサ２、二次元カメラ（２Ｄカメラ）３、三次元カメラ（３Ｄカメラ）４、第１検出装置５、第２検出装置６、報知装置７及びスイッチ８を備えている。

容器センサ２は、残留物検出対象の運搬用容器１が所定の検査スペース１０に存在するか否かを検出するためのセンサである。容器センサ２は、空いていた検査スペース１０に運搬用容器１が載置されたことを検知する毎に、第１検出装置５及び第２検出装置６に検知信号を出力する。

検査スペース１０は、運搬用容器１の底面が載置される載置面１１を有する。載置面１１には、１つの運搬用容器１を載置することができる。載置面１１に２以上の運搬用容器１を並べて載置することはできない。

運搬用容器１は、底面を矩形とし、その四辺にそれぞれ側面を直立させて、上面を開口させた直方体状の容器とする。なお、運搬用容器１の形状は、特に限定されるものではない。少なくとも一面が開口した容器であればよい。

また、残留物検出対象の運搬用容器１を検査スペース１０まで移送する方法についても特に限定されない。コンベア等を利用して自動的に運搬用容器１が検査スペース１０の載置面１１に載置されるようにしてもよいし、作業者が人手を介して運搬用容器１を検査スペース１０の載置面１１に位置してもよい。

二次元カメラ３及び三次元カメラ４は、いずれも検査スペース１０の上方に取り付けられている。具体的には、二次元カメラ３及び三次元カメラ４は、検査スペース１０の載置面１１に載置された運搬用容器１の内底面全域が少なくとも撮影可能な位置に取り付けられている。二次元カメラ３は、例えばエリアスキャンカメラ、ラインスキャンカメラ等である。三次元カメラ４は、例えばステレオカメラ、ＴｏＦ（Time-of-Flight）カメラ等である。

第１検出装置５は、容器センサ２から検知信号を受信する毎に起動する。その起動により、第１検出装置５は、二次元カメラ３で撮影された二次元画像データから、運搬用容器１の内部に残された残留物を検出する。第１検出装置５は、残留物の検出結果を示す情報を報知装置７へと出力する機能を有している。また第１検出装置５は、スイッチ８の切替を制御する機能を有している。

第２検出装置６は、容器センサ２から検知信号を受信する毎に起動する。その起動により、第２検出装置６は、三次元カメラ４で撮影された三次元画像データから、運搬用容器１の内部に残された残留物を検出する。第２検出装置６は、残留物の検出結果を示す情報を報知装置７へと出力する機能を有している。また第２検出装置６は、残留物の検出結果を示す情報を第１検出装置５へと出力する機能を有している。

報知装置７は、第１検出装置５又は第２検出装置６からの情報を基に、作業者に残留物の検出結果を報知する。報知装置７は、例えば残留物が検出された場合に点灯又は点滅するランプである。報知装置７は、例えば残留物が検出された場合に警告音を発するブザーである。報知装置７は、ランプとブザーとを併用してもよい。あるいは報知装置７は、他の報知器と組み合わせてもよい。報知装置７は、残留物が検出されなかった場合に報知動作を行うものであってもよい。作業者は、例えば倉庫において出荷すべき商品を運搬用容器１に詰め込む作業を担当する従業員である。作業者は、報知装置７の報知状態により運搬用容器１内に残留物がないことを知り得たならば、その運搬用容器１に出荷対象の商品を詰め込むこととなる。

スイッチ８は、第１検出装置５からの残留物検出結果を有効とするか示す情報を報知装置７に与えるか、第２検出装置６からの残留物検出結果を示す情報を報知装置７に与えるかを切り替えるためのスイッチである。スイッチ８は、第１検出装置５からの情報を報知装置７に与える状態を第１状態とする。スイッチ８は、第２検出装置６からの情報を報知装置７に与える状態を第２状態とする。スイッチ８は、デフォルトを第２状態とする。そして、第２状態にあるとき、第１検出装置５から切替制御信号を受信すると、第１状態に切り替わる。

さて、第２検出装置６は、三次元画像データから運搬用容器１の残留物を検出する。例えば第２検出装置６は、三次元画像データから運搬用容器１の内底面を写し出した画像を切出し、その画像が起伏のない平面画像であるか否かを確認する。内底面の画像が平面画像である場合、第２検出装置６は、運搬用容器１に残留物が無いと判定する。第２検出装置６は、残留物無しの検出結果を示す情報を、報知装置７及び第１検出装置５へと出力する。これに対し、内底面の画像が起伏のある非平面画像である場合には、第２検出装置６は、運搬用容器１に残留物が有ると判定する。第２検出装置６は、残留物有りの検出結果を示す情報を、報知装置７及び第１検出装置５へと出力する。

このように第２検出装置６は、高さ方向の情報を含む三次元画像データから運搬用容器１の残留物を検出する。したがって、第２検出装置６は、高精度に残留物を検出することができる。ただし、高額な三次元カメラ４が必要となるため、残留物検出システム１００の全体コストは高くなる。

なお、三次元画像データから運搬用容器１の残留物を検出するための画像処理の手順は、これに限定されない。他の周知の手順によって、三次元画像データから運搬用容器１の残留物を検出することは可能である。

一方、第１検出装置５は、二次元画像データから運搬用容器１の残留物を検出する。第１検出装置５は、高さ方向の情報を持たない二次元画像データから運搬用容器１の残留物を検出するために、学習モデルを利用する。

近年、ＡＩ（Artificial Intelligence）技術の進歩により、学習モデルの作成が容易化されている。学習モデルは、機械学習アルゴリズムに従い教師データを用いて学習を行い、適切な推測が行えるように構築したものである。機械学習アルゴリズムとしては、例えばニューラルネットワークを用いた深層学習のアルゴリズムを用いることができる。すなわち、二次元カメラ３で撮影された運搬用容器１の二次元画像データと、その運搬用容器１に対する残留物有無の解とを教師データとして深層学習を行うことにより、残留物検査に使用される学習モデルを作成できる。第１検出装置５は、残留物検査に使用される学習モデルを備える。第１検出装置５は、この学習モデルを用いて運搬用容器１の残留物を検出する。第１検出装置５は、学習モデルを用いて運搬用容器１の残留物を推定すると言ってもよい。

学習モデルを用いた残留物検出の精度は、学習モデルの学習習熟度に依存する。学習習熟度が高まれば高まるほど、精度は向上する。そして、学習習熟度が収束することによって、精度は、三次元カメラ４を用いた場合と同程度の極めて信頼性の高い結果が得られる段階まで向上する。

逆を言えば、学習モデルの学習習熟度が低いと、残留物検出の精度も悪い。ただし、二次元カメラ３は、三次元カメラ４と比較すると低価格である。したがって、残留物検出システム１００から三次元カメラ４を除外することによって、システム全体のコストを低く抑えることができる。すなわち、学習習熟度が収束した学習モデルを第１検出装置５が用いて残留物を検出するシステムを構築することで、三次元カメラ４を備えたシステムと同程度の精度が得られる残留物検出システムを、低コストで実現できるようになる。そのためには、第１検出装置５が備える学習モデルを習熟度が収束するまで学習させる必要がある。第１検出装置５は、学習モデルを習熟度が収束するまで学習させる機能を有する。

図２は、第１検出装置５の機能構成を示すブロック図である。第１検出装置５は、少なくとも制御部５０、記憶部５１、入力部５２、処理部５３、出力部５４、取得部５５、生成部５６、学習部５７、収束判定部５８及び通知部５９を含む。

制御部５０は、容器センサ２から検知信号を受信すると、起動する。そして制御部５０は、予め設定された制御プログラムに従い、記憶部５１、入力部５２、処理部５３、出力部５４、取得部５５、生成部５６、学習部５７、収束判定部５８及び通知部５９を制御する。この制御により、第１検出装置５は、二次元カメラ３で撮影された二次元画像データから運搬用容器１の残留物を検出する。また制御部５０は、必要に応じて、スイッチ８に切替制御信号を出力する。制御部５０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサと、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）のメインメモリと、を主体に構成される。

記憶部５１は、残留物検出のための学習モデル６０を含む種々のデータを記憶するための領域である。記憶部５１は、例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等の周知の記憶デバイスを単独で、あるいは複数組み合わせて構成される。

入力部５２は、二次元カメラ３で撮像された二次元画像データを入力する。そして入力部５２は、その二次元画像データを処理部５３と生成部５６とに出力する。入力部５２は、例えば、ＵＳＢ（Universal Serial Bus）インターフェース等のように、二次元カメラ３との間で所定の通信プロトコルに従いデータ通信を行うことが可能なインターフェースを含む。

処理部５３は、二次元画像データと学習モデル６０とを用いて、運搬用容器１の残留物を検出するための処理を実行する。処理部５３は、残留物を検出できた場合には、残留物有りの情報を出力部５４と収束判定部５８とに出力する。処理部５３は、残留物を検出できなかった場合には、残留物無しの情報を出力部５４と収束判定部５８とに出力する。

出力部５４は、処理部５３から得た残留物有り又は残留物無しの検出結果を示す情報を報知装置７へと出力する。出力部５４から出力された情報は、スイッチ８が第１状態にあるとき、報知装置７に与えられる。すなわち、検出結果を示す情報が有効となる。スイッチ８が第２状態にあるときには、報知装置７に与えられない。すなわち、検出結果を示す情報が無効となる。なお、以下では、処理部５３から得た残留物有り又は残留物無しの検出結果、すなわち二次元画像データによる残留物有り又は残留物無しの検出結果を、検出結果Ａと称する。

取得部５５は、第２検出装置６からの情報、つまりは三次元画像データによる残留物有り又は残留物無しの検出結果を示す情報を取得する。取得部５５は、この情報を生成部５６と収束判定部５８とに出力する。なお、以下では、取得部５５が得た残留物有り又は残留物無しの検出結果、すなわち三次元画像データによる残留物有り又は残留物無しの検出結果を、検出結果Ｂと称する。

生成部５６は、入力部５２から供給される二次元画像データと、取得部５５から供給される検出結果Ｂを示す情報とにより、学習モデル６０の教師データを生成する。すなわち生成部５６は、二次元画像データを学習モデル６０への入力データとし、検出結果Ｂを示す情報をその入力データに対する正解データとして、入力データと正解データとの組からなる教師データを生成する。生成部５６は、教師データを学習部５７へと出力する。教師データは、訓練データ、学習データ等とも称される。

学習部５７は、生成部５６で生成された教師データを用いて、記憶部５１に記憶される学習モデル６０の深層学習を実行することにより、学習モデル６０を更新する。深層学習は、例えばニューラルネットワークを深層学習のアルゴリズムとして用いることが可能である。深層学習は、他のアルゴリズムを用いて実行してもよい。

収束判定部５８は、処理部５３から供給される検出結果Ａを示す情報と、取得部５５から供給される検出結果Ｂを示す情報とから、学習モデル６０の学習習熟度が収束したか否かを判定する。

学習モデル６０は、一般に、深層学習を重ねることによって学習習熟度が高まる。学習習熟度が高まることによって、学習モデル６０を用いて残量物を検出する処理部５３の検出結果Ａの正解率が上がる。一方、検出結果Ｂは、三次元画像データから残留物を検出する第２検出装置６の検出結果である。第２検出装置６の検出結果Ｂは、略正解であると言ってよい。したがって、学習モデル６０の学習習熟度が高まるに従い、検出結果Ａと検出結果Ｂとが一致する確率が高くなる。収束判定部５８は、検出結果Ａと検出結果Ｂとが一致する確率が１００％に近い、好ましくは１００％となった場合に、学習習熟度が収束したと判定する。収束判定部５８は、学習習熟度が収束したと判定すると、その判定結果を示す情報を通知部５９へと出力する。

通知部５９は、収束判定部５８から供給された情報を報知装置７へと出力する。このとき、制御部５０の制御により、スイッチ８が第２状態から第１状態に切り替わっていると、報知装置７に学習習熟度が収束したことを示す情報が通知される。報知装置７は、この通知を受けると、学習モデル６０の学習習熟度が収束したことを報知する。例えば報知装置７は、学習モデル６０の学習習熟度が収束したことを表すランプを点灯することによって報知する。あるいは報知装置７は、学習モデル６０の学習習熟度が収束したことを告げるブザーを鳴動することによって報知する。

図３は、第１検出装置５の制御部５０が実行する主要な制御手順を示す流れ図である。図４は、第１検出装置５の収束判定部５８が実行する主要な処理手順を示す流れ図である。以下、これらの流れ図を用いて、残留物検出システム１００の動作を説明する。なお、以下に説明する動作は一例である。同様な作用効果が得られるのであれば、その動作手順は適宜変更することができる。

検査スペース１０に運搬用容器１が載置されると、容器センサ２から第１検出装置５及び第２検出装置６に検知信号が出力される。この検知信号を受けて、第２検出装置６では、三次元カメラ４で撮影された三次元画像データから、運搬用容器１の残留物が検出される。そして、残留物の検出結果Ｂを示す情報が、報知装置７及び第１検出装置５へと出力される。

一方、同じく検知信号を受けて、第１検出装置５の制御部５０は、図３の流れ図に示す手順の制御を開始する。なお、この制御は、ＲＯＭ又は記憶部５１等に記憶したプログラムに従ったものである。

先ず制御部５０は、ＡＣＴ１として収束フラグＦをＲＡＭから読み込む。そして制御部５０は、ＡＣＴ２として収束フラグＦの状態を調べる。収束フラグＦは、学習モデル６０の学習習熟度が収束していない場合は“０”であり、収束すると“１”となる１ビットデータである。

収束フラグＦが“０”、すなわち学習モデル６０の学習習熟度が収束していない場合には、制御部５０は、ＡＣＴ２においてＮＯと判定し、ＡＣＴ３へと進む。制御部５０は、ＡＣＴ３としてＲＡＭから第１カウンタＣａ、第２カウンタＣｂ及び第３カウンタＣｃを読込む。そして制御部５０は、ＡＣＴ４として第１カウンタＣａを“１”だけカウントアップする。

次いで、制御部５０は、ＡＣＴ５として入力部５２を制御して、二次元カメラ３で撮影された二次元画像データを処理部５３へと与える。また制御部５０は、ＡＣＴ６として記憶部５１に保存されている学習モデル６０を取得し、処理部５３へと与える。そして制御部５０は、処理部５３を制御して、残留物検出処理を実行させる。

この制御により、処理部５３は、学習モデル６０に二次元画像データを入力して、運搬用容器１の内部に残留物が有るか否かを学習モデル６０に推定させる。そして処理部５３は、残留物有り又は残留物無しの検出結果Ａを示す情報を出力部５４及び収束判定部５８へと出力する。

制御部５０は、ＡＣＴ８として取得部５５を制御して、第２検出装置６での検出結果Ｂを取得させる。この制御により、取得部５５は、入力部５２を介して入力された二次元画像データに写し出されている運搬用容器１に対する第２検出装置６での残留物検出結果Ｂを取得する。そして取得部５５は、検出結果Ｂを示す情報を生成部５６と収束判定部５８とに出力する。

制御部５０は、ＡＣＴ９として生成部５６を制御して、教師データを生成させる。この制御により、生成部５６は、入力部５２から与えられた二次元画像データと取得部５５から与えられた検出結果Ｂを示す情報とから教師データを生成する。そして生成部５６は、教師データを学習部５７へと出力する。

制御部５０は、ＡＣＴ１０として学習部５７を制御して、追加学習を実行させる。この制御により、学習部５７は、生成部５６で生成された教師データを用いて、記憶部５１に保存されている学習モデル６０に対して深層学習を実行する。この深層学習により学習モデル６０に教師データが追加されて、学習モデル６０が更新される。

追加学習を終えると、制御部５０は、第１カウンタＣａ、第２カウンタＣｂ及び第３カウンタＣｃのカウント値を収束判定部５８に提供する。そして制御部５０は、ＡＣＴ１１として収束判定部５８を制御して、図７に示された収束判定処理を実行させる。

すなわち収束判定部５８は、ＡＣＴ３１として検出結果Ａと検出結果Ｂとが一致しているか否かを判定する。検出結果Ａと検出結果Ｂとが一致している場合、収束判定部５８は、ＡＣＴ３１においてＹＥＳと判定し、ＡＣＴ３２へと進む。収束判定部５８は、ＡＣＴ３２として第２カウンタＣｂを“１”だけカウントアップする。検出結果Ａと検出結果Ｂとが一致していない場合には、収束判定部５８は、ＡＣＴ３１においてＮＯと判定し、ＡＣＴ３２の処理をスキップする。

ＡＣＴ３２の処理を実行するかスキップした収束判定部５８は、ＡＣＴ３３として第１カウンタＣａのカウント値が規定値Ｐに達したか否を確認する。第１カウンタＣａは、ＡＣＴ４において“１”ずつ加算されるカウンタである。すなわち第１カウンタＣａは、運搬用容器１の残留物有無検査回数をカウントするためのカウンタである。収束判定部５８は、検査回数が所定の回数、例えば１００回に達するまでは、学習モデル６０の学習習熟度を判定しない。つまり規定値Ｐは、学習習熟度を判定するか否かの閾値となる検査回数の値である。

第１カウンタＣａが規定値Ｐに達していない場合、収束判定部５８は、学習習熟度を判定しない。収束判定部５８は、ＡＣＴ３３においてＮＯと判定し、ＡＣＴ３８の処理へと進む。収束判定部５８は、ＡＣＴ３８として未収束応答信号を制御部５０に通知する。以上で、収束判定部５８は、収束判定処理を終了する。

第１カウンタＣａが規定値Ｐに達した場合には、収束判定部５８は、ＡＣＴ３３においてＹＥＳと判定し、ＡＣＴ３４へと進む。収束判定部５８は、ＡＣＴ３４として、第１カウンタＣａ及び第２カウンタＣｂのカウント値を用いた下記（１）式により、検出結果Ａの正解率Ｄ（％）を算出する。

Ｄ＝（Ｃｂ／Ｃａ）＊１００ …（１）
第１カウンタＣａは、前述したように運搬用容器１の残留物有無検査回数である。一方、第２カウンタＣｂは、ＡＣＴ３２において“１”ずつ加算されるカウンタである。すなわち第２カウンタＣｂは、検出結果Ａが検出結果Ｂと等しい回数をカウントするためのカウンタである。検出結果Ｂは、第２検出装置６の検出結果であるので、略正解である。つまり、（１）式によって得られる解Ｄは、第１カウンタＣａのカウント値をサンプル数とした検出結果Ａの正解率と言ってよい。

収束判定部５８は、ＡＣＴ３５として正解率Ｄが規定値Ｑに達したか否かを確認する。規定値Ｑは、学習モデル６０の学習習熟度が収束した可能性があると認定される正解率である。規定値Ｑは、「１００」に限りなく近い値である。規定値Ｑは、「１００」であることが好ましい。

正解率Ｄが規定値Ｑに達していない場合、学習モデル６０の学習習熟度は収束していない。収束判定部５８は、ＡＣＴ３５においてＮＯと判定し、ＡＣＴ３６へと進む。収束判定部５８は、ＡＣＴ３６として第３カウンタＣｃを“０”にリセットする。また収束判定部５８は、ＡＣＴ３７として第１カウンタＣａ及び第２カウンタＣｂも“０”にリセットする。さらに収束判定部５８は、ＡＣＴ３８として未収束応答信号を制御部５０に通知する。以上で、収束判定部５８は、収束判定処理を終了する。

正解率Ｄが規定値Ｑに達していた場合には、学習モデル６０の学習習熟度が収束している可能性がある。収束判定部５８は、ＡＣＴ３５においてＹＥＳと判定し、ＡＣＴ３９へと進む。収束判定部５８は、ＡＣＴ３９として第３カウンタＣｃを“１”だけ加算する。そして収束判定部５８は、ＡＣＴ４０として第３カウンタＣｃが規定値Ｒに達したか否かを確認する。

第３カウンタＣｃは、正解率Ｄが規定値Ｑに達した回数をカウントする。例えば、正解率Ｄが３回連続して規定値Ｑに達した場合、学習モデル６０の学習習熟度が収束したと確定できると考えた場合、規定値Ｑは「３」となる。

第３カウンタＣｃが規定値Ｒに達していない場合、学習モデル６０の学習習熟度が収束しているとは確定できない。収束判定部５８は、ＡＣＴ４０においてＮＯと判定し、ＡＣＴ３７へと進む。制御部５０は、ＡＣＴ３７として第１カウンタＣａ及び第２カウンタＣｂを“０”にリセットする。第３カウンタＣｃはリセットしない。その後、収束判定部５８は、ＡＣＴ３８として未収束応答信号を制御部５０に通知する。以上で、収束判定部５８は、収束判定処理を終了する。

第３カウンタＣｃが規定値Ｒに達すると、学習モデル６０の学習習熟度が収束していると確定できる。収束判定部５８は、ＡＣＴ４０においてＹＥＳと判定し、ＡＣＴ４１へと進む。収束判定部５８は、ＡＣＴ４１として第１カウンタＣａ、第２カウンタＣｂ及び第３カウンタＣｃをいずれも”０”にリセットする。また収束判定部５８は、ＡＣＴ４２として収束応答信号を制御部５０及び通知部５９に通知する。以上で、収束判定部５８は、収束判定処理を終了する。

図３の説明に戻る。
収束判定部５８に対して収束判定処理を実行させた制御部５０は、ＡＣＴ１２として収束判定部５８からの応答信号を待ち受ける。ここで、未収束応答信号を受信した場合には、制御部５０は、ＡＣＴ１２においてＮＯと判定し、ＡＣＴ１５へと進む。制御部５０は、ＡＣＴ１５として第１カウンタＣａ、第２カウンタＣｂ及び第３カウンタＣｃをＲＡＭに保存する。また制御部５０は、ＡＣＴ１６として収束フラグＦをＲＡＭに保存する。以上で、制御部５０は、図３の流れ図に示す手順の制御を終了する。

制御部５０は、収束判定部５８から収束応答信号を受信した場合には、ＡＣＴ１２においてＹＥＳと判定し、ＡＣＴ１３へと進む。制御部５０は、ＡＣＴ１３として収束フラグＦを“０”から“１”に変更する。また制御部５０は、ＡＣＴ１４として通知部５９を制御して、学習モデル６０の学習習熟度が収束したことを通知させる。この制御により、通知部５９は、学習モデル６０の学習習熟度が収束したことを示す情報を報知装置７へと出力する。

その後、制御部５０は、ＡＣＴ１５として第１カウンタＣａ、第２カウンタＣｂ及び第３カウンタＣｃをＲＡＭに保存する。また制御部５０は、ＡＣＴ１６として収束フラグＦをＲＡＭに保存する。以上で、制御部５０は、図３の流れ図に示す手順の制御を終了する。

一方、ＡＣＴ１の処理でＲＡＭから読み込んだ収束フラグＦが“１”にセットされていた場合には、制御部５０は、ＡＣＴ２においてＹＥＳと判定し、ＡＣＴ２１へと進む。制御部５０は、ＡＣＴ２１としてスイッチ８の状態を調べる。

スイッチ８が第２状態である場合、制御部５０は、ＡＣＴ２１においてＹＥＳと判定し、ＡＣＴ２２へと進む。制御部５０は、ＡＣＴ２２としてスイッチ８に対して切替制御信号を出力する。これにより、スイッチ８は、第２状態から第１状態に切り替わる。これに対し、スイッチ８が第１状態である場合には、制御部５０は、ＡＣＴ２１においてＮＯと判定し、ＡＣＴ２２の処理をスキップする。したがって、収束フラグＦが“１”にセットされていた場合には、スイッチ８が第１状態になる。

ＡＣＴ２２の処理を終えるかスキップすると、制御部５０は、ＡＣＴ２３として入力部５２を制御して、二次元カメラ３で撮影された二次元画像データを処理部５３へと与える。また制御部５０は、ＡＣＴ２４として記憶部５１に保存されている学習モデル６０を取得し、処理部５３へと与える。そして制御部５０は、ＡＣＴ２５として処理部５３を制御して、残留物検出処理を実行させる。

この制御により、処理部５３は、学習モデル６０に二次元画像データを入力して、運搬用容器１の内部に残留物が有るか否かを学習モデル６０に推定させる。そして処理部５３は、残留物有り又は残留物無しの検出結果Ａを示す情報を出力部５４へと出力する。

処理部５３での残留物検出処理が終わると、制御部５０は、ＡＣＴ２６として出力部５４を制御して、検出結果Ａを示す情報を報知装置７へと出力させる。この制御により、出力部５４から第１状態にあるスイッチ８を経て、検出結果Ａを示す情報が報知装置７へと出力される。その結果、報知装置７では、検出結果Ａが報知される。

出力部５４を制御した制御部５０は、ＡＣＴ２７として収束フラグＦをＲＡＭに保存する。以上で、制御部５０は、図３の流れ図に示す手順の制御を終了する。

このように本実施形態における残留物検出システム１００は、第１検出装置５と第２検出装置６とを備えている。第１検出装置５は、運搬用容器１の残留物を、残留物検査に使用される学習モデル６０を用いて検出する第１検出部として機能する。第２検出装置６は、運搬用容器１を、第１検出装置５よりも高精度な手法で検出する第２検出部として機能する。さらに残留物検出システム１００は、第２検出装置６による検出結果Ｂを正解として学習モデル６０を学習させる学習部５７を備えている。

したがって、残留物検出システム１００は、運搬用容器１の残留物検出処理を繰り返すことによって、学習モデル６０の学習習熟度が高まる。そして第１検出装置５は、学習モデル６０の学習が繰り返されることによって、第２検出装置６と同程度の精度で運搬用容器１の残留物を検出できるようになる。

この点に関して、残留物検出システム１００は、学習モデル６０の学習習熟度が収束したか否かを判定する収束判定部５８を備えている。また残留物検出システム１００は、報知装置７を備えている。報知装置７は、収束判定部５８による判定結果を報知する報知部として機能する。

したがって、残留物検出システム１００のユーザは、報知装置７の報知動作により、学習モデル６０の学習習熟度が収束したという判定結果を容易に知ることができる。

その上、残留物検出システム１００は、スイッチ８を備えている。スイッチ８は、切替部として機能する。すなわちスイッチ８は、学習モデル６０の学習習熟度が収束するまでは、第２検出装置６による検出結果Ｂを有効として報知装置７に出力する。スイッチ８は、学習モデル６０の学習習熟度が収束すると、第１検出装置５による検出結果Ａを有効として報知装置７に出力する。

つまり、学習モデル６０の学習習熟度が収束するまでは、第２検出装置６による検出結果Ｂが報知される。学習モデル６０の学習習熟度が収束すると、第１検出装置５による検出結果Ａが報知される。第２検出装置６による検出結果Ｂは三次元画像データを用いているので、きわめて精度が高い。一方、二次元画像データを用いる第１検出装置５の検出結果Ａも、学習モデル６０の学習習熟度が収束した後は、第１検出装置５と同程度の精度が得られる。したがって、報知装置７から報知される残留物有無の判定結果は、きわめて信頼性の高いものとなる。

そこで、学習モデル６０の学習習熟度が収束したならば、残留物検出システム１００のユーザは、残留物検出システム１００から三次元カメラ４を除外する。ユーザは、三次元カメラ４とともに第２検出装置６を除外してもよい。このように、残留物検出システム１００から高コストの三次元カメラ４を除外することによって、それ以後は、残留物検出システム１００の全体コストを低く抑えることができる。

また、学習習熟度が収束した学習モデル６０を他の第１検出装置５に適用する。そして、この第１検出装置５と二次元カメラ３とによって残留物検出システムを構築する。こうすることによって、三次元画像データを用いた残留物検出システムと同程度の高精度な残留物検出が可能な残留物検出システムを低価格で提供することができる。

以上、残留物検出システム１００の実施形態について説明したが、かかる実施形態はこれに限定されるものではない。

第１検出装置５は、必ずしも二次元画像データから学習モデル６０を用いて運搬用容器１の残留物を検出する装置に限定されない。同様に、第２検出装置６は、必ずしも三次元画像データから運搬用容器１の残留物を検出する装置に限定されない。要は、第１検出装置５は、学習モデル６０を用いて運搬用容器１の残留物を検出する装置であればよい。第２検出装置６は、第１検出装置５よりも高精度な手法で運搬用容器１の残留物を検出する装置であればよい。学習部５７は、第２検出装置６による検出結果を正解として学習モデル６０を学習させる。そうすることにより、前記実施形態と同様の効果を奏することができる。

前記実施形態は、第１検出装置５が収束判定部５８を内包するものとして説明した。収束判定部５８は、必ずしも第１検出装置５に内包されていなくてもよい。第１検出装置５による検出結果Ａと第２検出装置６による検出結果Ｂとを入力とし、両判定結果の照合結果を基に学習モデル６０の学習習熟度が収束したか否かを判定する専用装置を残留物検出システム１００に組み入れてもよい。

スイッチ８は、必ずしも必要ではない。すなわち、第１検出装置５による検出結果Ａを示す情報と、第２検出装置６による検出結果Ｂを示す情報とを、報知装置７に出力するようにしてもよい。この場合、報知装置７が両方の判定結果をそれぞれ報知し、その報知結果を見て作業者が運搬用容器１内に残留物が有るか否かを判断してもよい。

また、スイッチ８を不要とした場合、通知部５９は、学習モデル６０の学習習熟度が収束したか否かを報知装置７に通知してもよい。この場合、報知装置７が、学習習熟度が収束したか否かを報知してもよいし、報知装置７が、学習習熟度が収束するまでは第２検出装置６による検出結果Ｂを報知し、学習習熟度が収束した後は第１検出装置５による検出結果Ａを報知する運用も可能である。

収束判定処理で用いる規定値Ｐ、Ｑ、Ｒの値は一例である。本実施形態の作用効果が得られると推定される値であればよい。
また、前記実施形態では、制御部５０が、ＡＣＴ８乃至ＡＣＴ１１として検出結果Ｂを取得する毎に教師データを生成し、追加学習を行って、収束判定処理を実行した。通常、追加学習には、残留物検査よりも相当の時間を要する。そこで、他の実施形態としては、教師データを所定数作成するまでは追加学習を行わない。所定数の教師データを作成したならば、制御部５０が、それらの教師データで追加学習を行って、収束判定処理を実行する。そうすることにより、制御部５０の処理効率を高めることができる。

残留物検出システム１００は、運搬用容器１の残留物を検出するシステムとして説明したが、残留物検出対象の容器の運搬用容器１には限定されない。本実施形態は、残留物が有ることで用途の妨げとなる容器全般の残留物検出システム１００として適用できるものである。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］容器内の残留物を、残留物検査に使用される学習モデルを用いて検出する第１検出部と、前記容器内の残留物を、前記第１検出部よりも高精度な手法で検出する第２検出部と、前記第２検出部による検出結果を正解として前記学習モデルを学習させる学習部と、を具備する残留物検出システム。
［２］前記学習モデルの学習習熟度が収束したか否かを判定する収束判定部と、前記収束判定部による判定結果を報知する報知部と、をさらに具備する付記［１］記載の残留物検出システム。
［３］前記学習モデルの学習習熟度が収束するまでは前記第２検出部による検出結果を有効とし、前記学習モデルの学習習熟度が収束すると前記第１検出部による検出結果を有効とする切替部、をさらに具備する付記［２］記載の残留物検出システム。
［４］前記第１検出部は、前記容器内を二次元カメラで撮影した二次元画像データで当該容器内の残留物を検出する、付記［１］乃至［３］のうちいずれか１項記載の残留物検出システム。
［５］前記第２検出部は、前記容器内を三次元カメラで撮影した三次元画像データで当該容器内の残留物を検出する、付記［１］乃至［４］のうちいずれか１項記載の残留物検出システム。
［６］容器内の残留物を、残留物検査に使用される学習モデルを用いて検出する第１検出部と、前記学習モデルを、前記容器内の残留物を前記第１検出部よりも高精度な手法で検出する第２検出部による検出結果を正解として学習させる学習部と、を具備する残留物検出装置。
［７］前記学習モデルの学習習熟度が収束したか否かを判定する収束判定部と、前記収束判定部による判定結果を報知する報知部と、をさらに具備する付記［６］記載の残留物検出装置。
［８］第１検出部が、容器内の残留物を、残留物検査に使用される学習モデルを用いて検出する工程と、第２検出部が、前記容器内の残留物を、前記第１検出部よりも高精度な手法で検出する工程と、学習部が、前記第２検出部による検出結果を正解として前記学習モデルを学習させる工程と、を有する残留物検出方法。

１…運搬用容器、２…容器センサ、３…二次元カメラ（２Ｄカメラ）、４…三次元カメラ（３Ｄカメラ）、５…第１検出装置、６…第２検出装置、７…報知装置、８…スイッチ、５０…制御部、５１…記憶部、５２…入力部、５３…処理部、５４…出力部、５５…取得部、５６…生成部、５７…学習部、５８…収束判定部、５９…通知部、１００…残留物検出システム

Claims (6)

1. 容器内の残留物を、残留物検査に使用される学習モデルを用いて検出する第１検出部と、
   前記容器内の残留物を、前記第１検出部よりも高精度な手法で検出する第２検出部と、
   前記第２検出部による検出結果を正解として前記学習モデルを学習させる学習部と、
   を具備し、
   前記第１検出部は、前記容器内を二次元カメラで撮影した二次元画像データで当該容器内の残留物を検出し、前記第２検出部は、前記容器内を三次元カメラで撮影した三次元画像データで当該容器内の残留物を検出する残留物検出システム。
2. 前記学習モデルの学習習熟度が収束したか否かを判定する収束判定部と、
   前記収束判定部による判定結果を報知する報知部と、
   をさらに具備する請求項１記載の残留物検出システム。
3. 前記学習モデルの学習習熟度が収束するまでは前記第２検出部による検出結果を有効とし、前記学習モデルの学習習熟度が収束すると前記第１検出部による検出結果を有効とする切替部、
   をさらに具備する請求項２記載の残留物検出システム。
4. 容器内の残留物を、残留物検査に使用される学習モデルを用いて検出する第１検出部と、
   前記学習モデルを、前記容器内の残留物を前記第１検出部よりも高精度な手法で検出する第２検出部による検出結果を正解として学習させる学習部と、
   を具備し、
   前記第１検出部は、前記容器内を二次元カメラで撮影した二次元画像データで当該容器内の残留物を検出し、前記第２検出部は、前記容器内を三次元カメラで撮影した三次元画像データで当該容器内の残留物を検出する残留物検出装置。
5. 前記学習モデルの学習習熟度が収束したか否かを判定する収束判定部と、
   前記収束判定部による判定結果を報知する報知部と、
   をさらに具備する請求項４記載の残留物検出装置。
6. 第１検出部が、容器内の残留物を、残留物検査に使用される学習モデルを用いて検出する工程と、
   第２検出部が、前記容器内の残留物を、前記第１検出部よりも高精度な手法で検出する工程と、
   学習部が、前記第２検出部による検出結果を正解として前記学習モデルを学習させる工程と、
   を有し、
   前記第１検出部は、前記容器内を二次元カメラで撮影した二次元画像データで当該容器内の残留物を検出し、前記第２検出部は、前記容器内を三次元カメラで撮影した三次元画像データで当該容器内の残留物を検出する残留物検出方法。