以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明は省略する。
図1に示されるように、計量機1は、計量装置2と、制御装置3と、表示装置4と、カメラ(撮像部)5と、を備えている。計量装置2と制御装置3とは、互いに通信可能に接続されている。制御装置3とカメラ5とは、通信可能に接続されている。計量装置2と表示装置4とは、通信可能に接続されている。
計量装置2は、電子秤である。計量装置2は、商品S(図3参照)の重量を計量すると共に、計量した商品Sに貼り付けるラベルLCを発行する機能を有している。本実施形態では、商品Sは、容器Pに食品等の物品Gが入れられたものである。ここで、容器Pは、透明な蓋部を有する。蓋部は、有色又は無色であり、光を透過する材料で形成されている。カメラ5は、容器Pの蓋部を透過した光を撮像することにより、容器P中の物品Gを撮像する。
図2に示されるように、本実施形態では、計量装置2は、筐体10に収容されている。筐体10は、収容部11と、保持部12と、連結部13と、を有している。収容部11は、計量装置2を収容する。収容部11は、箱状を呈している。収容部11には、計量装置2の計量部21の計量台21aを露出させる第1開口部11a、及び、計量装置2の操作部22を露出させる第2開口部11bが設けられている。
保持部12には、制御装置3、カメラ5、第1照明部6及び第2照明部7が配置されている。保持部12は、収容部11上に配置されている。制御装置3は、保持部12上に配置されている。連結部13は、収容部11と保持部12とを連結している。連結部13は、上下方向に沿って延在している。連結部13の背面には、表示装置4が配置されている。表示装置4は、例えば、液晶ディスプレイである。表示装置4は、客に対する表示を行う。
カメラ5は、計量装置2の計量台21a(後述)の上方において、計量台21aに対向する位置に配置されている。カメラ5は、撮像した画像データを制御装置3に出力する。
第1照明部6及び第2照明部7は、例えば、LED照明である。図3に示されるように、第1照明部6及び第2照明部7は、計量装置2の計量台21aの上方において、計量台21aに対向する位置に配置されている。第1照明部6及び第2照明部7は、照射した光の光軸が計量台21aに対して傾斜して入射するように配置されている。また、第1照明部6及び第2照明部7は、照射した光の光軸が互いに交差するように配置されている。第1照明部6と第2照明部7とは、筐体10の幅方向において、所定の間隔をあけて配置されている。具体的には、第1照明部6と第2照明部7とは、筐体10の幅方向において、カメラ5を間に挟む位置に配置されている。
図4に示されるように、計量装置2は、制御ユニット20と、計量部21と、操作部22と、ラベル発行部23と、を有している。
制御ユニット20は、計量装置2における各種動作を制御する部分であり、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を含んで構成されている。制御ユニット20は、後述するタッチパネルディスプレイ22aの表示を制御する。
計量部21は、計量台(載置部)21aと、図示しないロードセル、信号処理回路、及び送信モジュールと、を含んで構成されている。計量台21aは、商品Sが載置される。ロードセルは、計量台21aの下方に設けられている。ロードセルは、計量台21aに被計量物が載置されることにより発生する機械的歪を電気信号に変換する。信号処理回路は、ロードセルから出力される電気信号を増幅してデジタル信号に変換する。送信モジュールは、デジタル信号を制御ユニット20に出力する。
操作部22は、タッチパネルディスプレイ22aと、固定キー22bと、を含んでいる。タッチパネルディスプレイ22aには、制御ユニット20の制御により、計量装置2において計量される商品Sに係る情報、計量装置2の操作に必要な基本的な情報等が表示される。固定キー22bには、料金秤として必要な「単価」キー、「定額」キー、「風袋」キー、「印字」キー、及び「呼出」キー等があり、これらが数字キーと共に適宜配置されている。
ラベル発行部23は、ラベルLCを発行する。ラベル発行部23は、後述する出力部29から出力された印字情報に基づいて、商品情報を印字して、ラベルLCを発行する。本実施形態では、ラベル発行部23は、いわゆる台紙レスラベルを発行する。
制御ユニット20は、入力部25と、記憶部26と、算出部27と、制御部28と、出力部29と、を有している。
入力部25は、制御装置3から出力された番号情報を入力する。入力部25は、入力した番号情報を算出部27に出力する。
記憶部26は、商品マスタを記憶している。商品マスタには、商品Sに係る商品関連情報を商品S毎に記憶している。商品マスタは、商品番号と、商品名、単価、定額等とが対応付けられたテーブルである。商品マスタは、更新(変更)可能である。
算出部27は、商品Sの価格を算出する。算出部27は、入力部25から出力された番号情報を受け取ると、番号情報に含まれる商品番号に基づいて商品マスタを参照する。算出部27は、商品番号に対応する商品Sの単価を商品マスタから取得する。算出部27は、計量部21から出力された計量値と、商品の単価とに基づいて、商品Sの価格(値段)を算出する。算出部27は、制御部28から確定情報を受け取ると、価格を確定して、印字情報をラベル発行部23に出力する。印字情報には、少なくとも商品名、重量、価格を示す情報が含まれている。また、算出部27は、算出した価格をタッチパネルディスプレイ22aに表示させる表示情報を、タッチパネルディスプレイ22aに出力する。
制御部28は、商品Sが計量台21aから取り除かれた場合、算出部27によって算出された価格を確定させる。制御部28は、計量台21aから商品Sが取り除かれたか否かを判断する。制御部28は、計量部21における商品Sの計量値に基づいて、計量台21aから商品Sが取り除かれたか否かを判断する。具体的には、制御部28は、計量部21から出力される計量値が安定した後、計量が安定したときの(0(ゼロ)ではない)安定計量値から計量値が「0(ゼロ)」に変化した場合、計量台21aから商品Sが取り除かれたと判断する。制御部28は、計量値が一瞬でも「0」になった場合に計量台21aから商品Sが取り除かれたと判断してもよいし、計量値が所定時間「0」になった場合に計量台21aから商品Sが取り除かれたと判断してもよい。制御部28は、計量台21aから商品Sが取り除かれたと判断した場合には、出力部29に確定情報を出力する。確定情報は、算出部27において価格の確定を指示する情報である。出力部29は、確定情報を算出部27に出力する。
図5に示されるように、制御装置3は、制御ユニット30と、タッチパネルディスプレイ31と、を備えている。制御ユニット30は、タッチパネルディスプレイ31の表示を制御する。制御装置3は、制御ユニット30とタッチパネルディスプレイ31とが一体化されたタブレット端末等であってもよし、コンピュータであってもよい。
制御ユニット30は、制御装置3における各種動作を制御する部分であり、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を含んで構成されている。制御ユニット30は、入力部32と、推定部33と、制御部34と、記憶部35と、出力部36と、を有している。
入力部32は、カメラ5から出力された画像データを入力する。入力部32は、入力した画像データを推定部33に出力する。この際、推定部33に出力されるデータは、カメラ5から出力された画像データのうち、商品Sに相当する領域(商品S、又は、商品Sとその周辺と)のみが切り出されたものであってもよい。また、入力部32は、図示しないサーバ装置から送信された学習済モデルを入力して記憶部35に記憶させる。学習済みモデルは、機械学習によって生成されたモデルである。
推定部33は、カメラ5によって撮像された画像データ(画像データ中の物品G)に基づいて、計量装置2に載置された商品S(物品G)の種類を推定する。推定部33は、入力部32から出力された画像データに基づいて、計量装置2の計量台21aに商品Sが載置されたことを検出する。具体的には、推定部33は、入力部32から出力された画像データと、予め記憶されているベース画像(背景画像)との差分(背景差分)に基づいて、商品Sが載置されたことを検出する。詳細には、推定部33は、画像データにおいてベース画像からの変化度合が閾値以上である場合には、商品Sが載置されたと判断する。
推定部33は、商品Sが載置されたと判断した場合、商品Sの載置が安定したか否かを判断する。すなわち、推定部33は、商品Sの位置が定まったか否かを判断する。推定部33は、例えば、連続する画像データのフレーム間差分法によって、商品Sの載置が安定したか否かを判断する。具体的には、推定部33は、連続する画像データにおいて、フレーム間の差分(例えば、一定以上の画素値の変化が生じた画素の個数)が閾値以下になった場合には、商品Sの載置が安定したと判断する。推定部33は、商品Sの載置が安定したと判断した場合、安定したと判断した画像データにおける画像(一の画像)に基づいて、商品Sを推定する。
本実施形態では、推定部33は、学習済みモデルによって商品Sを推定する。学習済モデルは、画像データに基づく画像が示す商品をクラスタリングによって予測して出力する。学習済モデルは、クラスタリングに使用するニューラルネットワークNWを含む。学習済モデルは、畳み込みニューラルネットワークを含むものであってもよい。更に、学習済モデルは、複数の階層(例えば、8層以上)のニューラルネットワークを含むものであってもよい。すなわち、ディープラーニングによって学習済モデルが生成されてもよい。
図6に示されるように、ニューラルネットワークNWは、例えば、入力層である第1層と、中間層(隠れ層)である第2層、第3層、及び第4層と、出力層である第5層とで構成される。第1層は、p個のパラメータを要素とする入力値x=(x0,x1,x2,…xp)をそのまま第2層に出力する。第2層、第3層、及び第4層のそれぞれは、活性化関数により総入力を出力に変換してその出力を次の層に渡す。第5層も活性化関数により総入力を出力に変換し、この出力は、q個のパラメータを要素とするニューラルネットワークの出力ベクトルy=(y0,y1,…,yq)である。
本実施形態では、ニューラルネットワークNWは、画像の各画素の画素値を入力して、商品Sの推定結果を示す情報を出力する。ニューラルネットワークNWの入力層には、画像の画素数分のニューロンが設けられる。ニューラルネットワークNWの出力層には、商品Sの推定結果に係る情報を出力するためのニューロンが設けられる。出力層のニューロンの出力値に基づいて、商品Sを推定することができる。ニューロンの出力値は、例えば、0~1の値である。この場合、ニューロンの値が大きい程(値が1に近い程)、画像の商品である可能性が高く、ニューロンの値が小さい程(値が0に近い程)、画像の商品である可能性が低いことを示している。すなわち、ニューロン値が大きい場合、商品Sである確率が高く、ニューロン値が低い場合、商品Sである確率が低いことを示している。
推定部33は、画像データに基づく画像を、学習済モデルに入力する。推定部33は、入力させる画像を正規化してもよい。画像の正規化は、例えば、画像の縮小、拡大、トリミング等を行うことで行われる。また、推定部33は、入力させる画像に対して、コントラストの調整、色の変更、及びフォーマットの変更等の各種の処理を行ってもよい。推定部33は、学習済みモデルのニューラルネットワークNWに画像を入力したことに応じて、ニューラルネットワークNWから出力された出力値を含む推定結果を取得する。推定結果には、商品マスタに登録されている全ての種類の商品が含まれる。
推定部33は、推定結果に基づいて、候補の商品に対して順位を付ける。具体的には、推定部33は、ニューロン値が最も大きい商品から順に順位を付ける。推定部33は、全ての種類の商品について、商品番号と順位とを対応付けた推定情報を生成する。推定部33は、推定処理に使用した画像の画像情報及び推定情報を制御部34に出力する。
制御部34は、推定部33から画像情報及び推定情報が出力されると、画像情報及び推定情報をタッチパネルディスプレイ31に表示させる。制御部34は、タッチパネルディスプレイ31において受け付けた入力に基づいて、タッチパネルディスプレイ31の表示を制御する。具体的には、制御部34は、タッチパネルディスプレイ31に表示される一の画面において、画像情報に基づく商品Sの画像を表示させる。制御部34は、一の画面において、推定情報における商品の候補のうち、順位が上位の商品の商品名を表示させる。制御部34におけるタッチパネルディスプレイ31の制御の詳細については、後述する。制御部34は、推定情報又はタッチパネルディスプレイ31において受け付けた入力に基づいて、商品番号を示す番号情報を出力部36に出力する。出力部36は、番号情報を計量装置2に出力する。
記憶部35は、商品マスタを記憶する。この商品マスタは、計量装置2の記憶部26に記憶されている商品マスタと同じ内容を含んで構成されている。記憶部35は、学習済みモデルを記憶する。記憶部35は、記憶媒体、ネットワーク等を介して取得された学習済みモデルを記憶する。
続いて、計量機1の動作について説明する。以下の説明では、店の店員が作業者として計量機1を操作する形態を一例に説明する。
図7に示されるように、制御装置3は、計量装置2に商品Sが載置されていない場合には、タッチパネルディスプレイ31に、商品Sの載置を促す画面D1を表示させる。このとき、計量装置2のタッチパネルディスプレイ22aには、例えば、「商品を載置してください」等のテキストが表示される。制御装置3は、作業者によって計量装置2の計量台21aに商品Sが載置されると、商品Sの推定処理を実施する。
制御装置3は、商品Sの推定処理を実施すると、図8に示されるように、タッチパネルディスプレイ31に画面D2を表示させる。制御装置3は、推定情報に基づいて、画面D2において、商品Sの画像G1と、複数(本実施形態では5個)の選択ボタンB3と、を表示させる。選択ボタンB3には、商品Sの候補の商品名が表示される。選択ボタンB3の商品名は、推定結果の順位に基づいて表示される。具体的には、上から、順位が高い順に選択ボタンB3に商品名が表示される。図8に示される例では、商品名「AAAAA」が最も順位が高く、商品名「CCCCC」が最も順位が低い。すなわち、計量装置2に載置された商品Sとして最も可能性が高いと推定されるものが「AAAAA」であり、5番目に可能性が高いと推定されるものが「CCCCC」であることを示している。制御装置3は、初期設定(画面D2を最初に表示した状態)では、最も順位が高い商品の選択ボタンB3を選択している。選択ボタンB3は、選択されている場合、他の選択ボタンB3と区別可能に表示される。例えば、選択ボタンB3は、選択されている場合、他の選択ボタンB3とは異なる色で表示される。図8では、「AAAAA」の選択ボタンB3が選択されている状態を示している。制御装置3は、選択されている選択ボタンB3に基づく番号情報を、計量装置2に出力する。
画面D2において選択ボタンB3が選択されている場合、計量装置2は、図9に示されるように、タッチパネルディスプレイ22aに画面D4を表示させる。画面D4には、少なくとも、商品名(AAAAA)と、商品Sの重さ(325g)と、商品Sの100g当たりの単価「200円」と、商品Sの値段「650円」が表示されている。また、表示装置4においても、商品名と、商品Sの重さと、商品Sの100g当たりの単価と、商品Sの値段と、が表示される。
制御装置3は、画面D2において、ボタンB1と、ボタンB2とを、表示させる。ボタンB1には、「戻る」が表示されている。ボタンB2には、「一覧」が表示されている。
作業者は、画面D2において、画像G1に表示されている商品Sと、選択されている選択ボタンB3の商品名(例えば、「AAAAA」)とが一致している場合には、計量装置2の計量台21aから商品Sを取り除く。作業者は、画像G1に表示されている商品Sと、選択されている選択ボタンB3の商品名とが一致していない場合には、他の選択ボタンB3を押下して商品を指定した後、計量装置2の計量台21aから商品Sを取り除く。計量装置2は、計量台21aから商品Sが取り除かれたと判断した場合には、ラベルLCを発行する。作業者は、発行されたラベルLCを商品Sに貼り付ける。
作業者は、画面D2において、画像G1に表示されている商品Sに不具合等がある場合には、ボタンB1を押下する。制御装置3は、ボタンB1が押下されると、カメラ5で撮像された新たな画像データを取得する。制御装置3は、取得した画像データに基づいて、商品Sを推定する処理を再度行い、処理結果を画面D2に表示させる。
作業者は、画面D2において、商品Sに対応する商品名が選択ボタンB3に表示されていない場合には、ボタンB2を押下する。制御装置3は、ボタンB2が押下されると、図10に示されるように、画面D3を表示させる。画面D3には、複数(本実施形態では10個)の選択ボタンB4が表示される。選択ボタンB4には、商品名が表示される。選択ボタンB4の商品名は、商品番号に基づいて表示される。一覧の画面D3には、商品マスタに登録されている商品数に応じた数の選択ボタンB4が表示される。一覧の画面D4は、複数の画面にわたって表示されてもよい。選択ボタンB4は、選択されている場合、他の選択ボタンB4と区別可能に表示される。なお、一覧の画面D3には、確率が低い商品を表示させないようにしてもよい。すなわち、ニューロン値が閾値以下の商品を表示させないようにしてもよい。
作業者は、画面D3において選択ボタンB4を選択した後、計量装置2の計量台21aから商品Sを取り除く。計量装置2は、計量台21aから商品Sが取り除かれたと判断した場合には、ラベルLCを発行する。制御装置3は、計量装置2においてラベルLCが発行されると、図7に示される画面D1をタッチパネルディスプレイ31に表示させる。
以上説明したように、本実施形態に係る計量機1では、商品Sが計量台21aから取り除かれた場合、計量装置2の算出部27によって算出された価格を確定して、価格が印字されたラベルLCをラベル発行部23に発行させる。これにより、計量機1では、ラベルLCを発行させるための操作を行わなくても、ラベル発行部23においてラベルLCを発行させることができる。したがって、計量機1では、ラベルLCを発生させるための操作が不要となるため、操作性の向上が図れる。
本実施形態に係る計量機1では、計量装置2の制御部28は、計量部21における商品の計量値の変化に基づいて、商品Sが計量台21aから取り除かれたか否かを判断してする。具体的には、制御部28は、計量部21において計量値がゼロになった場合に、商品Sが計量台21aから取り除かれたと判断する。この構成では、振動等に起因する計量値の多少の変化では、商品Sが取り除かれたと判断しない。したがって、計量機1では、計量台21aから商品Sが取り除かれたことをより確実に判断できる。また、計量台21aから商品Sが持ち上げられた場合に、商品Sが計量台21aから取り除かれたと判断するため、計量台21aに商品Sを載置させた状態で、商品Sを増量させることが可能となる。
本実施形態に係る計量機1は、計量台21aに載置された商品Sを撮像するカメラ5を備える。制御装置3は、カメラ5によって撮像された画像に基づいて、商品Sの種類を推定する推定部33を備える。計量装置2の算出部27は、推定部33によって推定された商品Sの価格を算出する。この構成では、作業者が商品Sを指定(選択)する操作を行わなくても、商品Sが推定されて価格が算出される。したがって、計量機1では、商品Sを指定するための操作が不要となるため、操作性の向上がより一層図れる。
本実施形態に係る計量機1では、推定部33は、カメラ5によって撮像された複数の画像に基づいて、計量台21aにおいて商品Sの位置が定まったか否かを判断し、商品Sの位置が定まったと判断した場合、位置が定まったと判断した一の画像に基づいて、商品Sの種類を推定する。この構成では、商品Sの位置が定まったときの画像、すなわち計量台21aに安定的に配置された商品の画像に基づいて商品Sの種類を推定するため、商品Sの種類を精度良く推定することができる。
本実施形態に係る計量機1では、制御装置3は、カメラ5によって撮像された画像を表示するタッチパネルディスプレイ31を備える。タッチパネルディスプレイ31は、商品Sの画像を表示する。この構成では、商品Sの推定に使用された画像をタッチパネルディスプレイ31表示する。そのため、例えば、画像に作業者の手が映り込んでいる等の不具合を確認できる。
本実施形態に計量機1では、タッチパネルディスプレイ31は、商品Sの画像を表示した後、推定部33による商品Sの再度の推定を指示する入力を受け付ける。推定部33は、タッチパネルディスプレイ31が指示の入力を受け付けた場合、カメラ5によって新たに撮像された画像に基づいて、商品Sの種類を推定する。タッチパネルディスプレイ31において表示された画像において、商品Sの位置がずれていたり、作業者の手が映り込んでいたりしていた場合には、商品Sの種類の推定が正確に行われていない可能性がある。計量機1では、推定部33は、タッチパネルディスプレイ31が指示の入力を受け付けた場合、カメラ5によって新たに撮像された画像に基づいて商品Sの種類を推定する。これにより、計量機1では、商品Sの種類の推定を精度良く行うことができる。
本実施形態に係る計量機1では、推定部33は、複数の商品の候補を推定する。タッチパネルディスプレイ31は、複数の商品の候補を表示すると共に、複数の商品の候補の中から、一の商品を指定する入力を受け付ける。算出部27は、タッチパネルディスプレイ31によって指定された商品の価格を算出する。この構成では、作業者が、商品の種類を選択することができる。そのため、計量機1では、実際の商品Sとは異なる商品によって価格が算出されることを確実に回避できる。
本実施形態に係る計量機1では、推定部33は、複数の商品の候補において、計量台32aに載置された商品Sである確率が高い順に順位を設定する。タッチパネルディスプレイ31は、推定部33が設定した順位に基づいて、複数の商品の候補を表示する。この構成では、タッチパネルディスプレイ31において確率が高い順に商品の候補が表示されため、作業者が商品の指定を容易に行うことができる。
本実施形態に係る計量機1は、計量台21aに対して光を照射する少なくとも第1照明部6及び第2照明部7を備える。カメラ5は、計量台21aの上方に配置されている。第1照明部6及び第2照明部7は、計量台21aの上方においてカメラ5を間に挟む位置であり、且つ、計量台21aに対して光の光軸が傾斜して入射するように配置されている。この構成では、例えば、商品Sに対して光が照射されたときに、商品Sで反射した光がカメラ5で撮像される画像に写り込むことを抑制できる。
以上、本発明の実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。
上記実施形態では、店員が作業者として計量機1を操作する形態を一例に説明した。しかし、計量機1は、客が操作してもよい。客が計量機1を操作するときの計量機1の動作について説明する。
図7に示されるように、制御装置3は、計量装置2に商品Sが載置されていない場合には、タッチパネルディスプレイ31に、商品Sの載置を促す画面D1を表示させる。制御装置3は、作業者によって計量装置2の計量台21aに商品Sが載置されると、商品Sの推定処理を実施する。
制御装置3は、商品Sの推定処理を実施すると、図11に示されるように、タッチパネルディスプレイ31に画面D5を表示させる。制御装置3は、推定処理の処理結果に基づいて、画面D5において、商品Sの商品名を表示するテキスト表示部T1と、商品Sの画像G2と、ボタンB5と、ボタンB6とを、表示させる。ボタンB5には、「戻る」が表示されている。ボタンB6には、「一覧」が表示されている。
作業者は、画面D5において、画像G2に表示されている商品Sと、表示されている商品名とが一致している場合には、計量装置2の計量台21aから商品Sを取り除く。計量装置2は、計量台21aから商品Sが取り除かれたと判断した場合には、ラベルLCを発行する。作業者は、発行されたラベルLCを商品Sに貼り付ける。
作業者は、画面D5において、画像G2に表示されている商品Sに不具合等がある場合には、ボタンB1を押下する。制御装置3は、ボタンB1が押下されると、カメラ5で撮像された画像データを再度取得する。制御装置3は、取得した画像データに基づいて、商品Sを推定する処理を行い、処理結果を画面D5に表示させる。
作業者は、画面D2において、画像G2に表示されている商品Sと、表示されている商品名とが一致していない場合には、ボタンB6を押下する。制御装置3は、ボタンB6が押下されると、図12に示されるように、画面D6を表示させる。画面D6には、複数(本実施形態では6個)のアイコンAが表示される。アイコンAには、商品名を表示するテキスト表示部T2と、テキスト表示部T2に表示されている商品名に対応する商品Sを示す画像G3と、が表示される。アイコンAは、商品番号に基づいて表示される。一覧の画面D6には、商品マスタに登録されている商品数に応じた数のアイコンAが表示される。一覧の画面D6は、複数の画面にわたって表示されてもよい。
作業者は、画面D6において、計量対象の商品Sに対応するアイコンAを選択する。制御装置3は、アイコンAが選択されると、図13に示されるように、画面D7を表示させる。画面D7には、選択されたアイコンAが拡大して表示される。作業者は、画面D7においてアイコンAが表示された後、計量装置2の計量台21aから商品Sを取り除く。計量装置2は、計量台21aから商品Sが取り除かれたと判断した場合には、ラベルLCを発行する。制御装置3は、計量装置2においてラベルLCが発行されると、図7に示される画面D1をタッチパネルディスプレイ31に表示させる。
上記実施形態では、制御装置3は、商品Sの推定処理を実施すると、タッチパネルディスプレイ31に画面D5を表示させ、画面D5においてボタンB6が押下されると、画面D6を表示させる形態を一例に説明した。しかし、制御装置3は、商品Sの推定処理の処理結果に基づいて、タッチパネルディスプレイ31の表示を切り替えてもよい。具体的には、制御装置3は、推定処理の処理結果において、ニューロンの出力値が閾値以上である場合には画面D5を表示させ、出力値が閾値よりも低い場合には画面D6を表示させてもよい。
上記実施形態では、制御部28が、計量部21から出力される計量値が安定した後、計量値が「0」になった場合に、計量台21aから商品Sが取り除かれたと判断する形態を一例に説明した。しかし、制御部28は、計量部21において、計量が安定したときの安定計量値よりも計量値が閾値以上小さくなった場合、安定計量値からの計量値の変化量が閾値以上である場合、及び、計量値が安定計量値から減少した場合、うちの少なくとも一つを満たした場合に、計量台21aから商品Sが取り除かれたと判断してもよい。安定計量値からの計量値の変化量が閾値以上である場合とは、計量値が大きくなる場合及び計量値が小さくなる場合を含む。
制御部28は、安定計量値からの計量値の変化量に基づいて計量台21aから商品Sが取り除かれた否かを判断するときには、以下の処理を行う。制御部28は、計量台21aから商品Sが取り除かれたと判断してラベルLCが発行をラベル発行部23に実行させた後、計量値が「0」になるまでは、算出部27に確定情報を出力しない。すなわち、制御部28は、計量値が「0」になるまでは、次のラベルLCの発行を許可しない。これにより、同じ商品Sに対して複数のラベルLCが発行されることを回避できる。
上記実施形態では、推定部33が、入力部32から出力された画像データに基づいて、計量装置2の計量台21aに商品Sが載置されたことを検出する形態を一例に説明した。しかし、推定部33は、計量装置2の計量部21の計量値に基づいて、計量装置2の計量台21aに商品Sが載置されたことを検出してもよい。また、推定部33は、入力部32から出力された画像データ、及び、計量装置2の計量部21の計量値に基づいて、計量装置2の計量台21aに商品Sが載置されたことを検出してもよい。
上記実施形態では、制御装置3の推定部33が、連続する画像データのフレーム間差分法によって、商品Sの載置が安定したか否かを判断する形態を一例に説明した。しかし、推定部33は、計量装置2の計量部21の計量値に基づいて、商品Sの載置が安定したか否かを判断してもよい。また、推定部33は、連続する画像データのフレーム間差分法、及び、計量装置2の計量部21の計量値に基づいて、商品Sの載置が安定したか否かを判断してもよい。
上記実施形態では、計量台21aに載置された商品Sを、カメラ5によって撮像された画像データに基づいて推定する形態を一例に説明した。しかし、商品Sは、計量装置2の操作部22において選択されてもよい。すなわち、計量機1は、制御装置3及びカメラ5を備えていなくてもよい。この構成では、計量装置2は、操作部22のタッチパネルディスプレイ22aにおいて商品Sが選択された後、計量台21aから商品Sが取り除かれたと判断した場合に、ラベルLCを発行する。使用場面として、例えば、対面での計り売り販売において、作業者が容器内の商品を所望の重量に増減する場面を想定することができる。作業者(店員又は顧客自身)は、操作部22により商品の種類を選択する(入力操作する)と共に、計量台21aの上に容器(商品)を載置する。そして、作業者は、容器内の商品の重量を客の要望等に応じて増減調整し、所望の重量になったと認識した時点で、容器(商品)を計量台21aから取り除く。この場合、制御部28は、計量値に基づいて(具体的には、計量値が安定計量値から0に変化した、又は、計量値が安定計量値から所定の閾値以上限定した場合に)商品が取り除かれたことを判断して、ラベル発行部23にラベルLCを発行させる(又は、価格情報をサーバに送信する)よう構成することができる。これにより、ラベル発行(又は、価格情報送信)を開始させるための別途の入力操作を作業者が行う必要がなくなるため、作業者がラベルLCを発行させるための操作を行う必要がなくなる。
上記実施形態では、計量台21aから商品Sが取り除かれたことを、計量部21の計量値に基づいて判断する形態を一例に説明した。しかし、計量台21aから商品Sが取り除かれたことは、カメラ5によって撮像された画像に基づいて判断してもよい。この構成では、制御装置3は、ベース画像(背景画像)と、カメラ5から出力される画像データとに基づいて、計量台21aから商品Sが取り除かれたか否かを判断する。
具体的には、制御装置3は、ベース画像との類似度(差分)に基づいて判断する。商品Sが計量台21aに載置されている場合には、画像データの画像とベース画像との類似度は低くなり、商品Sが計量台21aに載置されていない場合には、画像データの画像とベース画像との類似度は高くなる。制御装置3は、類似度が閾値以下である場合には、商品Sが計量台21aに載置されていると判断する。制御装置3は、類似度が閾値よりも高い場合には、商品Sが計量台21aから取り除かれたと判断する。制御装置3は、計量台21aから商品Sが取り除かれたと判断した場合には、その旨を示す情報を計量装置2に出力する。計量装置2は、制御装置3から出力された当該情報を受け取ると、ラベルLCを発行する。なお、制御装置3は、計量台21aに商品Sが載置されて商品Sを推定された後、商品Sを推定した画像から変化が生じた場合(例えば、直前の画像に対して、類似度に閾値以上の変化が生じた場合)に、計量台21aから商品Sが取り除かれたと判断してもよい。また、ベース画像(又は、直前の画像)と現在の画像との類似度を比較する場合、各画像を、撮像された画像から適宜縮小してから比較してもよい。この場合、類似度の算出処理にかかる負荷が軽減されると共に、画像内での被撮像物の僅かな位置ずれによる誤判断が低減される。また、ベース画像(又は、直前の画像)と現在の画像との類似度を比較する場合、比較する範囲を、撮像された範囲全体ではなく、商品として認識された領域(及びその周辺)に限定してもよい。
上記実施形態では、推定部33が、連続する画像データのフレーム間差分法に基づいて、商品Sの位置が定まったか否かを判断する形態を一例に説明した。しかし、商品Sの位置が定まったか否かを判断する手法はこれに限定されない。例えば、推定部33は、計量部21の計量値が一定時間以上安定した際に、商品Sの位置が定まったと判断してもよい。
上記実施形態では、計量装置2が、計量台21aから商品Sが取り除かれた場合、ラベルLCを発行する形態を一例に説明した。しかし、計量装置2は、計量台21aから商品Sが取り除かれた場合、少なくとも商品の価格を含む価格情報を、所定のサーバ装置に送信してもよい。具体的には、計量装置2の制御部28は、商品Sが計量台21aから取り除かれると、価格を含む情報を出力部29から出力させる。
この構成では、例えば、店舗が管理する所定のサーバ装置に価格情報を送信することにより、予め顧客が登録しているクレジットカード等での決済が可能となる。これにより、店舗での支払いを省略することができる。また、出力部29が店舗に設置されている精算機に対して価格を出力することにより、レジを介さずに精算機での支払いが可能となったり、他の商品の請求金額に自動的に加算したりすることができる。
上記実施形態では、制御装置3のタッチパネルディスプレイ31が、筐体10の保持部12上に配置されている形態を一例に説明した。しかし、タッチパネルディスプレイ31は、保持部12以外の位置に配置されていてもよい。タッチパネルディスプレイ31は、計量装置2の近くに配置されていることが好ましい。
上記実施形態では、推定部33が学習済みモデルによって商品Sの種類を推定する形態を一例に説明した。しかし、推定部33は、例えば、サンプル画像とのマッチングによって商品Sの種類を推定してもよい。
上記実施形態では、計量機1が表示装置4を備えている形態を一例に説明した。しかし、例えば、客が計量機1を操作する場合には、表示装置4を備えていなくてもよい。
上記実施形態では、計量装置2において商品Sを計量し、制御装置3において商品Sを推定する形態を一例に説明した。しかし、計量装置2及び制御装置3の機能を1台の装置が有していてもよい。
上記実施形態では、計量装置2及び制御装置3が筐体10に設けられている形態を一例に説明した。しかし、計量機1の形態はこれに限定されない。計量装置2(計量台21a)と、制御装置3とが別体に設けられる、いわゆる分離秤の形態であってもよい。
上記実施形態では、2つの第1照明部6及び第2照明部7を備える形態を一例に説明した。しかし、照明部は、一(例えば、2つの第1照明部6及び第2照明部7の内の一方、又は、作業者が載置を行う際に、計量台21aから見て作業者が立つ位置とは反対側となる、計量台21aを作業者と挟む位置の上方等)又は複数(3以上)備えられていてもよい。
上記実施形態では、容器Pに物品Gが収納された商品Sに対して重量を計量する例を説明した。しかし、商品Sは、容器に収容されない青果等であってもよい。また、カメラ5が、容器Pの透明の蓋部を透過した光を撮像することにより、容器P中の物品Gを撮像する例を説明したが、中の物品Gが撮像できない不透明な容器(パッケージ)の商品を撮像してもよい。この場合、推定部33は、商品Sの外観(不透明なパッケージの印刷等)に基づいて、商品の種類を推定してもよい。
上記実施形態では、カメラ5、第1照明部6及び第2照明部7が筐体10に配置されており、計量部21が計量装置2と一体に設けられている形態を一例に説明した。しかし、図14、図15、図16、図17又は図18に示されるように、カメラ5A、照明部45及び計量部21は、支持体40に配置されていてもよい。
支持体40は、基台部41と、支持部42と、保持部43と、を有している。基台部41は、板状部材である。基台部41は、例えば、矩形状を呈している。基台部41の底部には、支持脚41aが設けられている。支持脚41aは、基台部41に複数(例えば、4箇所に)設けられている。支持脚41aは、基台部41の高さ位置を調整可能な機構を有している。支持脚41aを操作することによって、基台部41の高さ位置を調整する(基台部41を水平となるように調整する)ことができる。
支持部42は、柱状部材である。支持部42は、基台部41に立設されており、上下方向に沿って延在している。支持部42は、基台部41の後部で且つ基台部41の幅方向の中央に配置されている。支持部42は、中空構造を有している。これにより、支持部42内にケーブル等を通すことができる。図14及び図15に示す例では、1本の支持部42を示しているが、支持部42は、複数本であってもよい。
また、支持部42は、伸縮できるように構成されていてもよい。この場合、支持部42は、例えば、段階的に高さ(長さ)が調整できる調整機構を有していることが好ましい。これにより、後述するカメラ5A及び照明部45と計量部21(計量台21a)との間の距離を調整することができる。例えば、計量台21aを相対的に大きな面積のものに交換する場合や、比較的大きな(大面積の)商品を撮像する必要がある場合、カメラ5A及び照明部45は、撮像範囲に計量台21aや商品が納まるように支持部42を長く伸ばして、計量台21aからより離すのが望ましい。一方、計量台21aを相対的に小さな面積のものに交換する場合や、比較的小さな(小面積の)商品を撮像する場合、カメラ5A及び照明部45は、撮像範囲に収まる商品の占める領域が大きくなるように、又は照明の光が可能な限り商品に強く当たるように、支持部42を短く縮めて、計量台21aにより近づけるのが望ましい。
保持部43は、支持部42の上端部に設けられている。保持部43は、箱状を呈している。保持部43の前面及び後面(側面)は、支持部42に対して、例えば、30°程度傾斜している。保持部43は、支持部42に揺動可能に設けられていてもよい。これにより、保持部43は、基台部41及び支持部42に対する傾斜角度を調整することが可能である。保持部43は、基台部41側の端部が開口している。保持部43の開口は、基台部41を臨む位置に配置されている。
図14及び図15に示されるように、計量部21は、基台部41に配置されている。計量部21は、基台部41において、前部側に配置されている。計量部21の計量台21aは、例えば、青色等に着色されていてもよい。これより、カメラ5Aによって撮像される画像において、商品Sと計量台21a(背景)とを適切に切り分けることが可能となる。計量部21の底部には、アジャスター21bが設けられていてもよい。アジャスター21bは、例えば、計量部21の底部の4つの角部に配置されている。アジャスター21bは、計量部21の高さ位置を調整可能な機構を有している。アジャスター21bを操作することによって、計量部21(計量台21a)の高さ位置を調整する(計量部21(計量台21a)を水平となるように調整する)ことができる。
図16~図18に示されるように、カメラ5A及び照明部45は、保持部43に配置されている。これにより、カメラ5A及び照明部45は、計量部21(計量台21a)よりも上方に位置する。また、カメラ5A及び照明部45は、基台部41(計量部21)の後部側に位置する。図15に示されるように、例えば、カメラ5A及び照明部45は、側面視において、計量台21aの中央よりも後部側に位置する。具体的には、図16に示されるように、カメラ5A及び照明部45は、計量台21aの載置面21sに直交する方向から見て、載置面21sの中央部Cを通る第1直線L1で区画される載置面21sの2つの領域A1,A2のうち、一方の領域A1側に配置されている。カメラ5A及び照明部45は、第1直線L1に直交する第2直線L2上に配置されている。本実施形態では、載置面21sは、略矩形状を呈している。第1直線L1は、載置面21sの一の辺に平行に延在し、第2直線L2は、載置面21sの他の辺に平行に延在する。図17に示されるように、カメラ5Aは、撮影方向の軸が計量台21aに対して傾斜するように配置されている。撮影方向の軸とは、例えば、レンズ44のレンズ面の中央部に直交する直線の延在方向に沿った軸である。照明部45は、照射した光の光軸が計量台21aに対して傾斜して入射するように配置されている。本実施形態では、カメラ5A及び照明部45は、撮影方向の軸と光軸とが互いに交差しないように配置されている。また、カメラ5Aは、撮像範囲と計量部21(計量台21a)の全体がほぼ一致するように角度及び高さが調整されている。
保持部43及び内部のカメラ5A及び照明部45は、支持部42に対する傾斜角度を変更することができるように構成されていてもよい。保持部43及び内部のカメラ5A及び照明部45の傾斜角度は、商品の大きさ(面積)や高さに応じて、商品が適切に撮像範囲に納まるように変更される。
図18に示されるように、カメラ5Aのレンズ44は、保持部43を開口側から見て、保持部43の略中央に配置されている。照明部45は、例えば、LED照明である。照明部45は、保持部43の幅方向(図18の左右方向)に沿って延在している。照明部45では、複数のLED素子が、二次元的に所定の間隔で配置されている。これにより、照明部45から均一に光が照射される。そのため、撮像される画像に写り込む商品は、どの位置でもほぼ同じ明るさで写り込むことになる。これにより、商品の認識処理を精度良く行うことができる。なお、照明部45は、複数に分割されていてもよい。
照明部45は、カメラ5Aのレンズ44よりも前方に配置されている。これにより、図17に示されるように、照明部45は、計量台21aに対する高さ位置が、カメラ5Aよりも高くなる。言い換えれば、カメラ5Aは、計量台21aに対する高さ位置が、照明部45よりも低くなる。これにより、カメラ5A(レンズ44)に照明部45の光が直接当たることを回避できる。そのため、カメラ5Aに直接当たる光によって(例えば、撮像された画像において、直接光が撮像された箇所に白飛びが生じる等して)商品を適切に撮像できないといった不具合を回避できる。
また、照明部45は、カメラ5Aと比較して、計量台21a(さらには、計量台21aとほぼ一致するように調整されたカメラ5Aの撮像領域)の中心の鉛直上方に近い位置に配置されることになる。そのため、照明部45から照射される光は、計量台21aの載置面に対して、より垂直に近くなる。その結果、照明部45をカメラ5Aのレンズ44よりも後方に配置した場合と比較して、照明部45から照射され商品で拡散された光がカメラ5Aに多く入射することになる。したがって、カメラ5Aにより撮像される画像に写り込んだ商品がより鮮明になる。
保持部43は、透明板46を有している。透明板46は、保持部43の開口を塞ぐように配置されている。透明板46は、照明部45に直接手が触れないように、照明部45の全領域を覆っている。透明板46には、レンズ穴46aと、通気穴46bと、が設けられている。レンズ穴46aは、例えば、円形状を呈している。レンズ穴46aには、カメラ5Aのレンズ44が位置する。レンズ44は、レンズ穴46aにおいて、透明板46よりも突出して配置されている。そのため、透明板46は、カメラ5Aによる撮像を妨げない。また、通気穴46bは、例えば、円形状を呈している。通気穴46bは、複数設けられている。通気穴46bは、保持部43内の熱を逃し、保持部43内に熱がこもることを抑制する。通気穴46bは、照明部45と対向する位置には設けられていない。そのため、通気穴46bは、照明部45による照射光に直接干渉することがなく、照射光の強さに影響(例えば、照射強度のむらを発生させる等)を与えることはない。
上記構成では、計量部21、カメラ5A及び照明部45が支持体40に一体に保持されている。このように、計量部21、カメラ5A及び照明部45を計量装置2とは別体に設けることにより、計量部21の移動性を高めることができるため、店舗におけるレイアウトの自由度を高めることができる。また、計量部21、カメラ5A及び照明部45が支持体40に一体に保持されるため、計量部21とは別にカメラ5A及び照明部45を移動させる必要がない。そのため、操作性の向上を図ることができる。さらには、コンパクト化を図ることも可能となる。
カメラ5Aは、支持体40において、計量台21aの上方に位置すると共に、計量台21aに対して撮影方向の軸が傾斜するように配置されている。照明部45は、支持体40において、計量台21aの上方に位置すると共に、計量台21aに対して光軸が傾斜して入射するように配置されている。この構成では、商品に対して光が照射されたときに、商品で反射した光(特に、容器に入った商品の場合、計量台21aの載置面とほぼ水平となる容器の蓋部で反射した光)がカメラ5Aで撮像される画像に写り込むことを抑制できる。また、カメラ5A及び照明部45は、カメラ5Aの撮影方向の軸と照明部45の光の光軸とが交わらないように配置されている。この構成では、商品で反射した光がカメラ5Aで撮像される画像に写り込むことをより一層抑制できる。
照明部45は、前後方向において、カメラ5Aよりも計量台21aの中央部に近い位置に配置されている。これにより、商品に対して光を適切に当てることができる。そのため、商品をより鮮明に撮像することができる。その結果、商品の推定精度を高めることができる。
支持体40は、計量機1に1台備えられていてもよいし、複数台備えられていてもよい。すなわち、複数の計量部21を備えていてもよい。支持体40を複数備える構成では、例えば、作業者が使用する計量部21を切り替えて使用する。