JP7697587B2 - 商品数特定装置、商品数特定方法、及びプログラム - Google Patents

Description

本発明は、商品数特定装置、商品数特定方法、及びプログラムに関する。

近年は、商品を精算する際に、商品の画像を取得して処理し、この処理結果を利用することが検討されている。例えば特許文献１には、画像処理を用いて対象物品を認識する認識システムが記載されている。この認識システムは、第１検出手段、抽出手段、算出手段、認識手段、及び選択手段を備える。第１検出手段は、撮像部が撮像した画像データに含まれる物品を検出する。抽出手段は、第１検出手段が検出した物品の特徴量を画像データから抽出する。算出手段は、識別情報が付された物品と当該識別情報が付されていない物品との各物品について予め記憶された照合用の特徴量と、抽出手段が抽出した特徴量との類似度を算出する。認識手段は、この類似度に基づいて、第１検出手段が検出した物品を認識する。選択手段は、認識手段が認識した物品が、識別情報が付されていない物品であることを条件に、当該物品を撮像部が撮像した物品として選択する。

なお、特許文献２には、手や腕などの汎用的な除外物品の特徴量を辞書ファイルに登録しておくことにより、手を商品と認識してしまう誤認識の発生を低減することが記載されている。

特開２０２０－１７８７６号公報 特開２０１８－１０１２９２号公報

本発明者は、商品登録装置で登録された商品の個数と、商品登録装置を含む領域を撮影した画像に含まれる商品の個数とを比較することにより、商品が正確に登録されていない可能性の有無を判断することを検討した。しかし、この処理を行う場合、画像に含まれる商品の個数を精度よく検出する必要がある。しかし、上述した特許文献１に記載の認識システムでは、商品の個数を精度よく検出できない可能性がある。

本発明の目的の一例は、上述した課題を鑑み、画像に含まれる商品の個数を精度よく検出できる商品数特定装置、商品数特定方法、及びプログラムを提供することにある。

本発明の一態様によれば、商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得手段と、
前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理手段と、
前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出手段と、
を備える商品数特定装置が提供される。

本発明の一態様によれば、コンピュータが、
商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得し、
前記複数の画像のそれぞれに対して商品の検出処理を行い、
前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする、商品数特定方法が提供される。

本発明の一態様によれば、コンピュータに
商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得機能と、
前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理機能と、
前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出機能と、
を持たせるプログラムが提供される。

本発明の一態様によれば、画像に含まれる商品の個数を精度よく検出できる商品数特定装置、商品数特定方法、及びプログラムを提供できる。

実施形態に係る商品数特定装置の概要を示す図である。 商品数特定装置の使用環境を説明するための図である。 撮影装置による撮影範囲の第１例を説明するための図である。 図３の変形例を示す図である。 撮影装置による撮影範囲の第２例を説明するための図である。 商品数特定装置の機能構成の一例を示す図である。 商品数特定装置のハードウェア構成例を示す図である。 商品数特定装置が行う処理の第１例を示すフローチャートである。 商品数特定装置が行う処理の第２例を示すフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

図１は、実施形態に係る商品数特定装置１０の概要を示す図である。商品数特定装置１０は、取得部１１０、画像処理部１２０、及び算出部１３０を備える。取得部１１０は複数の画像を取得する。これらの画像は、商品が配置され得る領域である対象領域を撮影範囲に含んでいる。画像処理部１２０は、複数の画像のそれぞれに対して商品の検出処理を行う。算出部１３０は、検出処理において所定の数以上の画像から検出された商品である第１物体を特定し、検出処理によって検出された商品のうち第１物体を除いた数を、精算対象の商品の数にする。以下、この商品の数を、第１商品数と記載する。

第１物体は、所定の数以上の画像から検出された商品であるため、人の手や商品数特定装置１０の付属機器など、精算対象となる商品ではない可能性が高い。そこで算出部１３０は、検出処理によって検出された商品のうち第１物体を除いた数を、精算対象の商品の数にする。従って、商品数特定装置１０によれば、画像に含まれる商品の個数を精度よく検出できる。

以下、商品数特定装置１０の詳細例について説明する。

図２は、商品数特定装置１０の使用環境を説明するための図である。本図に示す例において、商品数特定装置１０は商品の登録及び精算を行う装置として使用されている。ただし、後述するように、商品数特定装置１０は、商品の登録及び精算を行う装置とは別の装置、例えばクラウドサーバであってもよい。

商品数特定装置１０は、店舗又はオフィスに設置されている。商品数特定装置１０が店舗に設置されている場合、店舗に入った顧客は、商品を購入する際に商品数特定装置１０を操作する。一方、商品数特定装置１０がオフィスに設置されている場合、オフィスの一角には商品が陳列されている。そしてオフィスに勤務している人は、この商品を購入する際に、商品数特定装置１０を操作する。

商品数特定装置１０は、読取装置２０、撮影装置３０、及び記憶部４０と共に使用される。本図に示す例において商品数特定装置１０は、顧客が商品を購入するときに使用され、商品登録機能及び精算機能を有している。すなわち商品数特定装置１０は、商品登録装置としても機能する。なお、商品数特定装置１０は、精算機能を有していなくてもよい。この場合、商品数特定装置１０は、登録した商品を示す情報を精算装置に送信する。

読取装置２０は、顧客が購入しようとしている商品すなわち精算対象となる商品から、商品識別情報を取得する。読取装置２０は、商品に付与されたコード、例えばバーコードや２次元コードを読み取ることにより、商品識別情報を取得してもよいし、商品に付与された無線通信タグ、例えばＲＦＩＤタグから商品識別情報を取得してもよい。読取装置２０は、取得した商品識別情報を商品数特定装置１０に送信する。この際、読取装置２０は、商品識別情報の取得タイミングを示す情報、例えば取得日時情報も商品数特定装置１０に送信する。以下、この情報を、第１のタイミング情報と記載する。第１のタイミング情報は商品数特定装置１０が生成してもよい。この場合、商品数特定装置１０は、読取装置２０から商品識別情報を取得したタイミングを示すように、第１のタイミング情報を生成する。

なお、読取装置２０は商品数特定装置１０と一体になっていてもよい。

撮影装置３０は、読取装置２０が商品から商品識別情報を取得しているときに、当該商品を撮影し、第１画像を生成する。撮影装置３０は、常に画像を生成していてもよいし、読取装置２０が商品識別情報を取得したことをトリガーとして画像を生成してもよい。前者の場合の撮影装置３０のフレームレートは、例えば１ｐｆｓ以上３０ｐｆｓ以下であるが、これに限定されない。

なお、撮影装置３０は商品数特定装置１０に取り付けられていてもよいし、商品数特定装置１０の上方、例えば天井に取り付けられていてもよい。

撮影装置３０の撮影範囲は、読取装置２０が商品識別情報を取得するときに商品が配置され得る領域、すなわち商品読取領域を含んでいる。撮影装置３０の撮影範囲は、読取装置２０を含んでいてもよい。また撮影範囲は、商品読取領域の周囲の領域を含んでいてもよい。この場合、撮影範囲は、商品読取領域に向けて商品が移動するときにその商品が通る領域、及び、商品が商品読取領域の外に移動するときにその商品が通る領域、の少なくとも一方を含んでいるのが好ましい。そして撮影装置３０は、生成した画像を商品数特定装置１０に送信する。この際、撮影装置３０は、その画像の生成タイミングを示す情報、例えば生成日時情報も商品数特定装置１０に送信する。以下、この情報を、第２のタイミング情報と記載する。

記憶部４０は、複数の商品別に、商品識別情報及び価格を記憶している。商品数特定装置１０は、商品の精算処理を行う際に、記憶部４０に記憶されている情報を用いる。記憶部４０は、例えば商品数特定装置１０が配置されている店舗に設置されたサーバであってもよい。

上記した説明において、商品数特定装置１０は商品が購入される際に使用されている。ただし、商品数特定装置１０は、店員が商品を商品棚に陳列する際に使用されてもよい。

なお、商品数特定装置１０は対象商品の登録処理及び精算処理を行わなくてもよい。この場合、商品数特定装置１０は、例えばクラウドサーバなど、登録処理及び精算処理を行う端末、例えばＰＯＳ端末とは別の装置になる。そして読取装置２０は、この端末と通信する。商品数特定装置１０は、この端末から、当該端末に登録された商品の数を示す情報、すなわち後述する第２商品数を取得する。

図３は、撮影装置３０による撮影範囲の第１例を説明するための図である。本図に示す例において、商品数特定装置１０は、商品が購入される際に使用され、台５０の上に載置されている。台５０は、商品数特定装置１０よりも十分大きく、その一部は商品陳列領域５１０となっている。

図２を用いて説明したように、撮影装置３０の撮影範囲は、商品が配置され得る領域を含んでいる。商品が配置され得る領域は、一時的に商品が配置される領域、及び、商品の商品識別情報が商品数特定装置１０に登録される際に当該商品が配置される領域、の少なくとも一方を含んでいる。前者の例は台５０のうち商品が一時的に載せられる領域である。後者の例は、商品識別情報を商品から読み取る読取装置２０が、商品識別情報を読み取ることができる領域（空間）である。

本図に示す例において、撮影装置３０の撮影範囲は、さらに、商品数特定装置１０及び商品陳列領域５１０を含んでいてもよい。なお、商品数特定装置１０に登録され得る商品は、商品陳列領域５１０以外の場所に陳列されていることもある。

台５０の上には、商品数特定装置１０の付属機器６０、例えば図２に示した読取装置２０、携帯端末と通信する近距離無線通信装置、及びレシート印刷装置の少なくとも一つが配置されていることが多い。また、台５０の周囲には、ごみ箱などの物体７０が配置されていることがある。撮影範囲は、読取装置２０が商品識別情報を読み取る際に商品が配置される領域、例えば読取装置２０の前面を含んでいる。このため、読取装置２０に商品識別情報が読み取られた商品は、撮影装置３０が生成した画像に含まれている。

撮影装置３０の撮影範囲は付属機器６０及び物体７０を含んでいることもある。この場合、これら付属機器６０及び物体７０は、精算対象の商品として誤認識される可能性がある。ただし、付属機器６０及び物体７０はほとんど移動しないため、撮影装置３０が生成する複数の画像に含まれる。このため、商品数特定装置１０において、付属機器６０及び物体７０は、上記した第１物体として認識される。

図４は、図３の変形例を示す図である。本図に示す例において、撮影範囲は、商品陳列領域５１０及び付属機器６０を含んでいるが、商品数特定装置１０を含んでいない。このように、撮影装置３０の撮影範囲は、商品が配置され得る領域を含んでいればよい。

図５は、撮影装置３０による撮影範囲の第２例を説明するための図である。本図に示す例において、商品数特定装置１０は、店員が商品９２を容器９０、例えば折り畳み式のコンテナや段ボール箱から取り出して陳列棚８０に陳列する際に使用される。この場合、商品数特定装置１０は、店員が陳列棚８０に陳列した商品の数を特定する。この例において、読取装置２０は、店員によって操作される携帯型の装置である。ただし、読取装置２０は使用されない場合もある。

この例において、撮影装置３０による撮影範囲は、陳列棚８０と、陳列棚８０の手前の領域すなわち容器９０が配置される場所と、の少なくとも一方、好ましくは双方を含んでいる。このため、陳列棚８０に陳列された商品９２は、撮影装置３０が生成した画像に含まれている。撮影装置３０は、店内に配置された監視カメラであるが、それ以外のカメラであってもよい。

図６は、商品数特定装置１０の機能構成の一例を示す図である。商品数特定装置１０は、図１を用いて説明したように、取得部１１０、画像処理部１２０、及び算出部１３０を有している。本図に示す例において、商品数特定装置１０は、さらに、実行部１４０、商品登録部１５０、及び精算部１６０を有している。なお、商品数特定装置１０が図５に示した例に対応する場合、商品数特定装置１０は、商品登録部１５０及び精算部１６０を有していない。

取得部１１０は、撮影装置３０が生成した画像を取得する。この際、取得部１１０は、第２のタイミング情報も取得する。

画像処理部１２０は、撮影装置３０が生成した複数の画像のそれぞれに対して、商品の検出処理を行う。画像処理部１２０は、機械学習によって生成されたモデルを用いて商品の検出処理を行ってもよいし、特徴量マッチングにより商品の検出処理を行ってもよい。画像処理部１２０が商品の検出処理を行う際に必要な情報は、例えば記憶部４０に記憶されている。

そして画像処理部１２０は、これらの検出処理の結果を用いて、精算対象となる商品の総数を算出する。以下、この商品の総数を第１総数と記載する。この際、画像処理部１２０は、複数の画像間で商品を追跡し、この追跡結果を用いて第１総数を特定してもよい。また、画像処理部１２０は、商品の種類別に当該商品の数を特定してもよい。以下、これら種類別の数を、第１個体数と記載する。

読取装置２０が商品識別情報を取得したことをトリガーとして撮影装置３０が画像を生成する場合、取得部１１０が取得する画像は、読取装置２０が商品識別情報を読み取る際に生成された画像になる。そして画像処理部１２０は、取得部１１０が取得した複数のすべてに対して、商品の検出処理を行うのが好ましい。

一方、撮影装置３０が常に動作している場合、画像処理部１２０は、すべての画像に対して商品の検出処理を行ってもよいし、予め定められた条件を満たした画像を検出処理の対象として選択してもよい。「予め定められた条件」の例は、例えば以下の（１）～（４）の少なくとも一つである。

（１）第１のタイミング情報に最も近い第２のタイミング情報を有している画像であること。
この例は、図３又は図４に示した状態に対応している。ここで選択された画像は、取得部１１０が取得した商品識別情報に対応する商品を含んでいる。ここで、第１のタイミング情報と第２のタイミング情報は、同一のタイミングを示している場合、第１のタイミング情報のほうが早い場合、及び、第２のタイミング情報のほうが早い場合、の３通りが考えられる。いずれの場合においても、第１のタイミング情報と第２のタイミング情報の差は、例えば１秒以下である。読取装置２０が複数の商品のそれぞれから商品識別情報を読み取っていた場合、取得部１１０は、各商品識別情報について、上記した画像の選択処理を行う。

（２）画像に写っている人が読取装置２０を使用していること
この例も、図３又は図４に示した状態に対応している。画像処理部１２０は、画像に対して人の検出処理を行う。そして画像処理部１２０は、人が検出でき、かつその人が読取装置２０に商品識別情報を読み取らせていると判断した場合、その画像に対して商品検出処理を行う。

（３）商品数特定装置１０に商品が登録されている間に生成された画像であること
この例も、図３又は図４に示した状態に対応している。そして、商品数特定装置１０に商品が登録されている間とは、例えば、商品数特定装置１０において、商品の登録開始を示す情報が商品数特定装置１０に入力された後、精算処理に進む旨の情報が商品数特定装置１０に入力されるまでの間である。画像処理部１２０は、第２のタイミング情報を用いて、商品が登録されている間に生成された画像を特定する。

なお、この（３）において、画像処理部１２０は、さらに、商品数特定装置１０に商品が登録される前に生成された画像の少なくとも一つを、処理対象の画像に加えてもよい。例えば画像処理部１２０は、商品の登録が開始した時刻を特定する。そして、この時刻から当該時刻より所定時間前までの間、例えば１０秒前までの間に生成された画像を、処理対象の画像に加える。この理由は、これらの画像には第１物体が写っている可能性が高いためである。

（４）商品を陳列棚に配置するための作業を店員が行っているときに生成された画像であること
この例は、図５に示した状態に対応している。画像処理部１２０は、画像に対して店員の検出処理を行う。そして画像処理部１２０は、店員が検出でき、かつその店員が商品９２を陳列棚８０に陳列していると判断した場合、その画像に対して商品検出処理を行う。

商品登録部１５０は、読取装置２０から商品識別情報を取得する。この際、商品登録部１５０は、第１のタイミング情報も取得する。商品登録部１５０により、精算対象となる商品を示す登録情報が生成される。登録情報は、精算対象となる商品の商品識別情報のリスト、精算対象となる商品の総数を示す情報、及び商品別の当該商品の数を示す情報を含んでいる。以下、登録情報に基づいた商品の総数を第２商品数と記載する。また、登録情報に基づいた商品別の当該商品の数を、第２個体数と記載する。

算出部１３０は、図１を用いて説明したように、第１物体すなわち検出処理において所定の数以上の画像から検出された商品を特定する。所定の数は、例えば３以上、好ましくは５以上であるが、これらの値に限定されない。そして算出部１３０は、画像処理部１２０が算出した第１総数から第１物体の数を除いた数を、第１商品数すなわち精算対象の商品の数にする。

ここで算出部１３０は、少なくとも一つの画像から複数の商品が検出された場合に、当該複数の商品のそれぞれが他の画像から検出されたか否かを判断することにより、第１物体を特定してもよい。一つの画像から複数の商品が検出された場合、これら複数の商品の少なくとも一つは、商品以外の物体である可能性がある。特に、撮影装置３０による撮像範囲がある程度狭く、読取装置２０による商品読取領域より少し大きい程度、例えば１倍以上２倍以下であった場合、この可能性は高い。そこで算出部１３０は、検出された複数の商品それぞれの特徴量を記憶部４０に記憶させ、これらの特徴量を有する商品のそれぞれを、第１物体の候補にする。そして算出部１３０は、これら第１物体の候補を含む他の画像の数を特定し、この数を用いて、第１物体の候補が実際に第１物体であるか否かを判断する。

例えばこの数が多い場合、当該候補は、頻繁に撮影装置３０の撮像範囲に入り込んでいることになる。この場合、この候補は、実際には、顧客が購入しようとしている商品ではない、例えば、周囲に据え置いてある商品や装置の可能性が高い。そこで、算出部１３０は、上記した数すなわち第１物体の候補を含む他の画像の数が基準値以上の場合、この候補を商品以外の物体すなわち第１物体と判断する。なお、基準値は、例えば２であるが、３以上であってもよいし、１であってもよい。

なお、画像処理部１２０は、複数の画像別に、当該画像から検出された商品の特徴量を記憶部４０に記憶させることがある。この場合、算出部１３０は、第１物体の候補に相当する特徴量に、その旨を示すフラグをつける。

また画像処理部１２０が商品の種類別にその商品の数すなわち第１個体数を算出している場合、算出部１３０は、以下の（Ａ）及び（Ｂ）に示した処理の少なくとも一つを行ってもよい。

（Ａ）算出部１３０は、第２個体数の最大値より大きい第１個体数を有する商品を、第１物体として扱い、第１商品数を算出する。
第２個体数は、上記したように、商品登録部１５０に登録された商品識別情報に基づいて算出されており、商品別に当該商品の数を示している。ここで、第２個体数の最大値より大きい第１個体数を有する商品があった場合、その商品は、実際には商品ではない可能性が高い。具体的には、その第１個体数を有する商品は、人の手であったり、図３に示した付属機器６０や物体７０である可能性が高い。そこで、算出部１３０は、商品数を算出する際、この第１個体数を有する商品を第１物体すなわち商品とは異なる物体として扱う。

例えば画像処理部１２０によって、「商品Ａは２個」、「商品Ｂは３個」、「商品Ｃは１個」と判断され、また、商品登録部１５０が生成した登録情報において、「おにぎりは２個」、「ペットボトルのお茶は１個」であったと仮定する。この場合、第２個体数の最大値は、おにぎりの数である「２」である。一方、画像処理部１２０において検出された「商品Ｂ」は３個であり、第２個体数の最大値よりも大きい。この場合、算出部１３０は、「商品Ｂ」を商品とは異なる物体として扱い、第１総数から「商品Ｂ」の数である「３」を引く。

（Ｂ）いずれかの第２個体数において、当該第２個体数を有する第１の商品の種類が、第１個体数が当該第２個体数と同一である第２の商品の種類より少ない場合、算出部１３０は、第１の商品の種類と第２の商品の種類の数の差に第２個体数を乗じた値を、検出処理によって検出された商品の数すなわち第１総数から引く。
例えば画像処理部１２０によって、「商品Ａは２個」、「商品Ｂは２個」、「商品Ｃは１個」、「商品Ｄは１つ」と判断され、また、商品登録部１５０が生成した登録情報において、「おにぎりは２個」、「パンは１個」、「ペットボトルのお茶は１個」であったと仮定する。この場合、個数が２つの商品は１種類であるにもかかわらず、画像処理部１２０の処理結果において個数が２つの商品は２種類となっている。この場合、これら２種類の商品の一方は、実際には商品でない可能性が高い。そこで、算出部１３０は、「第１の商品の種類と第２の商品の種類の数の差」である「１」に第２個体数である「２」を乗じた値、すなわち「２」を、第１総数から引く。

実行部１４０は、商品登録部１５０によって登録された商品の総数である第２商品数と、算出部１３０が算出した第１商品数の差が基準値以上であるときに、所定の処理を実行する。この基準値は、例えば１であるが、２以上であってもよい。この差が基準値以上であることは、商品登録部１５０に登録された商品の総数と、顧客やオフィスに勤務している人が購入しようとしている商品の総数と、が異なっている可能性があることを示している。そして、所定の処理の一例は、警告情報の出力処理である。実行部１４０は、商品数特定装置１０が有するディスプレイやスピーカに警告情報を出力してもよいし、商品の販売を管理している管理者が操作する端末、例えば店舗の店員が操作する端末に、警告情報を出力してもよい。

精算部１６０は、実行部１４０が所定の処理を行わなかった場合、すなわち商品登録部１５０に登録された商品の総数と、顧客やオフィスに勤務している人が購入しようとしている商品の総数とが一致している可能性が高い場合に、商品登録部１５０が生成した登録情報、すなわち精算対象となる商品の商品識別情報のリストを用いて、精算処理を行う。この際、精算部１６０は、記憶部４０が記憶している情報を用いる。

なお、商品数特定装置１０がクラウドサーバなど、商品の登録や精算を行う装置とは別の装置として用いられる場合、商品数特定装置１０は、商品登録部１５０及び精算部１６０を有していない。この場合、商品数特定装置１０とは別に、商品登録部１５０及び精算部１６０を有する装置、例えばＰＯＳ端末が、例えば図３又は図４の商品数特定装置１０の位置に配置される。以下、この装置を登録精算装置と記載する。そして商品数特定装置１０は、この登録精算装置から、第２個体数及び第２商品数を示す情報を取得する。商品数特定装置１０の実行部１４０は、第２商品数と第１商品数の差が基準値以上であるか否かを示す情報を、登録精算装置に送信する。登録精算装置は、第２商品数と第１商品数の差が基準値以上であるときに、所定の情報を、当該装置のディスプレイに表示させたり、当該装置のスピーカから出力させる。

図７は、商品数特定装置１０のハードウェア構成例を示す図である。商品数特定装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどのリムーバブルメディア、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置であり、記録媒体を有している。ストレージデバイス１０４０の記録媒体は商品数特定装置１０の各機能（例えば取得部１１０、画像処理部１２０、算出部１３０、実行部１４０、商品登録部１５０、及び精算部１６０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は記憶部４０としても機能してもよい。

入出力インタフェース１０５０は、商品数特定装置１０と各種入出力機器とを接続するためのインタフェースである。例えば商品数特定装置１０は、入出力インタフェース１０５０を介して読取装置２０、撮影装置３０、及び記憶部４０の少なくとも一つと通信する。

ネットワークインタフェース１０６０は、商品数特定装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。商品数特定装置１０は、ネットワークインタフェース１０６０を介して撮影装置３０及び記憶部４０の少なくとも一方と通信してもよい。

図８は、商品数特定装置１０が行う処理の第１例を示すフローチャートである。本図は、図３に示した例に対応している。

顧客やオフィスに勤務している人は、商品を購入する場合、その商品の商品識別情報を読取装置２０に読み取らせる。商品数特定装置１０の商品登録部１５０は、この商品識別情報を取得する。購入対象の商品が複数ある場合、商品登録部１５０は、複数の商品それぞれの商品識別情報を取得する。そして商品登録部１５０は、第２商品数を算出する（ステップＳ１０）。

また取得部１１０は、撮影装置３０が生成した複数の画像を取得する。そして画像処理部１２０は、これら複数の画像を処理することにより、複数の画像それぞれに含まれる商品を検出する（ステップＳ２０）。ここで行われる処理の具体例は、図６を用いて説明した通りである。

そして算出部１３０は、画像処理部１２０の処理結果を用いて、第１商品数を算出する（ステップＳ３０）。ここで行われる処理の具体例は、図６を用いて説明した通りである。

そして実行部１４０は、第２商品数と第１商品数の差が基準値以上であるとき（ステップＳ４０：Ｙｅｓ）に、所定の処理を実行する（ステップＳ５０）。所定の処理の一例は、警告処理である。その後、商品数特定装置１０は、ステップＳ１０に戻る。

一方、第２商品数と第１商品数の差が基準値未満であるとき（ステップＳ４０：Ｎｏ）、精算部１６０は精算処理を行う（ステップＳ６０）。

図９は、商品数特定装置１０が行う処理の第２例を示すフローチャートである。本図は、図５に示した例に対応している。

店舗の店員は、容器９０を陳列棚８０の近くまで移動させ、品出しを開始する（ステップＳ１２）。具体的には、店員は、容器９０から商品９２を取り出して陳列棚８０に陳列する。撮影装置３０は、店員が品出しを行っている間、画像を繰り返し生成する。取得部１１０は、これらの画像を取得する。

品出しが終了する（ステップＳ２２）と、画像処理部１２０は、取得部１１０が取得した画像を処理し、複数の画像それぞれに含まれる商品を検出する（ステップＳ３０）。ここで行われる処理の具体例は、図６を用いて説明した通りである。

そして算出部１３０は、画像処理部１２０の処理結果を用いて、第１商品数を算出する（ステップＳ４０）。ここで行われる処理の具体例は、図６を用いて説明した通りである。

以上、本実施形態によれば、画像処理部１２０は画像を処理することにより商品を検出する。そして算出部１３０は、画像処理部１２０が行った検出処理において所定の数以上の画像から検出された商品すなわち第１物体を特定する。この第１物体は、人の手や付属機器６０など、商品ではない可能性が高い。そこで算出部１３０は検出処理によって検出された商品のうち第１物体を除いた数を、精算対象の商品の数である第１商品数にする。従って、商品数特定装置１０を用いると、画像に含まれる商品の個数を精度よく検出できる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、少なくとも一つの工程は、他の動作主体、例えば他の装置や人によって行われてもよい。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得手段と、
前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理手段と、
前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出手段と、
を備える商品数特定装置。
２．上記１に記載の商品数特定装置において、
前記画像処理手段は、予め定められた条件を満たした前記画像に対して前記検出処理を行う、商品数特定装置。
３．上記２に記載の商品数特定装置において、
前記予め定められた条件は、前記画像に写っている人が商品識別情報を読み取る読取装置を使用していること、である商品数特定装置。
４．上記２に記載の商品数特定装置において、
前記予め定められた条件は、前記商品を陳列棚に配置するための作業を店員が行っているときに前記画像が生成されたこと、である商品数特定装置。
５．上記１～４のいずれか一項に記載の商品数特定装置において、
前記撮影範囲は、商品の陳列棚と、当該陳列棚の手前の領域と、の少なくとも一方を含む商品数特定装置。
６．上記１～４のいずれか一項に記載の商品数特定装置において、
前記撮影範囲は、商品登録装置に商品を登録する際に当該商品が配置される領域を含む、商品数特定装置。
７．上記６に記載の商品数特定装置において、
前記画像処理手段は、前記商品登録装置に前記商品が登録されている間に生成された前記複数の画像に対して前記検出処理を行う、商品数特定装置。
８．上記７に記載の商品数特定装置において、
前記画像処理手段は、さらに、前記商品登録装置に前記商品が登録される前に生成された少なくとも一つの前記画像に対して前記検出処理を行う、商品数特定装置。
９．上記７又は８に記載の商品数特定装置において、
前記商品登録装置に登録された前記商品の数である第２商品数と前記第１商品数との差が基準値以上であるときに、所定の処理を実行する実行手段を備える、商品数特定装置。
１０．上記７～９のいずれか一項に記載の商品数特定装置において、
前記画像処理手段は、前記商品の種類別に、当該商品の数である第１個体数を算出し、
前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
前記算出手段は、前記第２個体数の最大値より大きい前記第１個体数を有する前記商品を前記第１物体として、前記第１商品数を算出する商品数特定装置。
１１．上記７～９のいずれか一項に記載の商品数特定装置において、
前記画像処理手段は、前記商品の種類別に、当該商品の数である第１個体数を算出し、
前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
前記算出手段は、前記第１商品数を算出する際に、
いずれかの前記第２個体数において、当該第２個体数を有する第１の前記商品の種類が、前記第１個体数が当該第２個体数と同一である第２の前記商品の種類より少ない場合、前記第１の商品の種類と前記第２の商品の種類の数の差に前記第２個体数を乗じた値を、前記検出処理によって検出された商品の数から引く、商品数特定装置。
１２．上記１～１１のいずれか一項に記載の商品数特定装置において、
前記算出手段は、少なくとも一つの前記画像から複数の商品が検出された場合に、当該複数の商品のそれぞれが他の前記画像から検出されたか否かを判断することにより、前記第１物体を特定する、商品数特定装置。
１３．コンピュータが、
商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得し、
前記複数の画像のそれぞれに対して商品の検出処理を行い、
前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする、商品数特定方法。
１４．上記１３に記載の商品数特定方法において、
前記コンピュータは、予め定められた条件を満たした前記画像に対して前記検出処理を行う、商品数特定方法。
１５．上記１４に記載の商品数特定方法において、
前記予め定められた条件は、前記画像に写っている人が商品識別情報を読み取る読取装置を使用していること、である商品数特定方法。
１６．上記１４に記載の商品数特定方法において、
前記予め定められた条件は、前記商品を陳列棚に配置するための作業を店員が行っているときに前記画像が生成されたこと、である商品数特定方法。
１７．上記１３～１６のいずれか一項に記載の商品数特定方法において、
前記撮影範囲は、商品の陳列棚と、当該陳列棚の手前の領域と、の少なくとも一方を含む商品数特定方法。
１８．上記１３～１６のいずれか一項に記載の商品数特定方法において、
前記撮影範囲は、商品登録装置に商品を登録する際に当該商品が配置される領域を含む、商品数特定方法。
１９．上記１８に記載の商品数特定方法において、
前記コンピュータは、前記商品登録装置に前記商品が登録されている間に生成された前記複数の画像に対して前記検出処理を行う、商品数特定方法。
２０．上記１９に記載の商品数特定方法において、
前記コンピュータは、さらに、前記商品登録装置に前記商品が登録される前に生成された少なくとも一つの前記画像に対して前記検出処理を行う、商品数特定方法。
２１．上記１９又は２０に記載の商品数特定方法において、
前記コンピュータは、前記商品登録装置に登録された前記商品の数である第２商品数と前記第１商品数との差が基準値以上であるときに、所定の処理を実行する、商品数特定方法。
２２．上記１９～２１のいずれか一項に記載の商品数特定方法において、
前記コンピュータは、前記商品の種類別に、当該商品の数である第１個体数を算出し、
前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
前記コンピュータは、前記第２個体数の最大値より大きい前記第１個体数を有する前記商品を前記第１物体として、前記第１商品数を算出する商品数特定方法。
２３．上記１９～２１のいずれか一項に記載の商品数特定方法において、
前記コンピュータは、前記商品の種類別に、当該商品の数である第１個体数を算出し、
前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
前記コンピュータは、前記第１商品数を算出する際に、
いずれかの前記第２個体数において、当該第２個体数を有する第１の前記商品の種類が、前記第１個体数が当該第２個体数と同一である第２の前記商品の種類より少ない場合、前記第１の商品の種類と前記第２の商品の種類の数の差に前記第２個体数を乗じた値を、前記検出処理によって検出された商品の数から引く、商品数特定方法。
２４．上記１３～２３のいずれか一項に記載の商品数特定方法において、
前記コンピュータは、少なくとも一つの前記画像から複数の商品が検出された場合に、当該複数の商品のそれぞれが他の前記画像から検出されたか否かを判断することにより、前記第１物体を特定する、商品数特定方法。
２５．コンピュータに
商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得機能と、
前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理機能と、
前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出機能と、
を持たせるプログラムを記憶した、コンピュータによって読み取り可能な記録媒体。
２６．上記２５に記載の記録媒体において、
前記画像処理機能は、予め定められた条件を満たした前記画像に対して前記検出処理を行う、記録媒体。
２７．上記２６に記載の記録媒体において、
前記予め定められた条件は、前記画像に写っている人が商品識別情報を読み取る読取装置を使用していること、である記録媒体。
２８．上記２６に記載の記録媒体において、
前記予め定められた条件は、前記商品を陳列棚に配置するための作業を店員が行っているときに前記画像が生成されたこと、である記録媒体。
２９．上記２５～２８のいずれか一項に記載の記録媒体において、
前記撮影範囲は、商品の陳列棚と、当該陳列棚の手前の領域と、の少なくとも一方を含む記録媒体。
３０．上記２５～２８のいずれか一項に記載の記録媒体において、
前記撮影範囲は、商品登録装置に商品を登録する際に当該商品が配置される領域を含む、記録媒体。
３１．上記３０に記載の記録媒体において、
前記画像処理機能は、前記商品登録装置に前記商品が登録されている間に生成された前記複数の画像に対して前記検出処理を行う、記録媒体。
３２．上記３１に記載の記録媒体において、
前記画像処理機能は、さらに、前記商品登録装置に前記商品が登録される前に生成された少なくとも一つの前記画像に対して前記検出処理を行う、記録媒体。
３３．上記３１又は３２に記載の記録媒体において、
前記プログラムは、前記コンピュータに、
前記商品登録装置に登録された前記商品の数である第２商品数と前記第１商品数との差が基準値以上であるときに、所定の処理を実行する実行機能を持たせる、記録媒体。
３４．上記３１～３３のいずれか一項に記載の記録媒体において、
前記画像処理機能は、前記商品の種類別に、当該商品の数である第１個体数を算出し、
前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
前記算出機能は、前記第２個体数の最大値より大きい前記第１個体数を有する前記商品を前記第１物体として、前記第１商品数を算出する記録媒体。
３５．上記３１～３３のいずれか一項に記載の記録媒体において、
前記画像処理機能は、前記商品の種類別に、当該商品の数である第１個体数を算出し、
前記商品登録装置は、前記商品の種類別に、当該商品の数である第２個体数を算出し、
前記算出機能は、前記第１商品数を算出する際に、
いずれかの前記第２個体数において、当該第２個体数を有する第１の前記商品の種類が、前記第１個体数が当該第２個体数と同一である第２の前記商品の種類より少ない場合、前記第１の商品の種類と前記第２の商品の種類の数の差に前記第２個体数を乗じた値を、前記検出処理によって検出された商品の数から引く、記録媒体。
３６．上記２５～３５のいずれか一項に記載の記録媒体において、
前記算出機能は、少なくとも一つの前記画像から複数の商品が検出された場合に、当該複数の商品のそれぞれが他の前記画像から検出されたか否かを判断することにより、前記第１物体を特定する、記録媒体。
３７．上記２５～３６のいずれか一項に記載のプログラム。

１０ 商品数特定装置
２０ 読取装置
３０ 撮影装置
４０ 記憶部
１１０ 取得部
１２０ 画像処理部
１３０ 算出部
１４０ 実行部
１５０ 商品登録部
１６０ 精算部

Claims (10)

1. 商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得手段と、
   前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理手段と、
   前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出手段と、
   を備える商品数特定装置。
2. 請求項１に記載の商品数特定装置において、
   前記画像処理手段は、予め定められた条件を満たした前記画像に対して前記検出処理を行う、商品数特定装置。
3. 請求項２に記載の商品数特定装置において、
   前記予め定められた条件は、前記画像に写っている人が商品識別情報を読み取る読取装置を使用していること、である商品数特定装置。
4. 請求項２に記載の商品数特定装置において、
   前記予め定められた条件は、前記商品を陳列棚に配置するための作業を店員が行っているときに前記画像が生成されたこと、である商品数特定装置。
5. 請求項１～４のいずれか一項に記載の商品数特定装置において、
   前記撮影範囲は、商品の陳列棚と、当該陳列棚の手前の領域と、の少なくとも一方を含む商品数特定装置。
6. 請求項１～４のいずれか一項に記載の商品数特定装置において、
   前記撮影範囲は、商品登録装置に商品を登録する際に当該商品が配置される領域を含む、商品数特定装置。
7. 請求項６に記載の商品数特定装置において、
   前記画像処理手段は、前記商品登録装置に前記商品が登録されている間に生成された前記複数の画像に対して前記検出処理を行う、商品数特定装置。
8. 請求項７に記載の商品数特定装置において、
   前記画像処理手段は、さらに、前記商品登録装置に前記商品が登録される前に生成された少なくとも一つの前記画像に対して前記検出処理を行う、商品数特定装置。
9. コンピュータが、
   商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得し、
   前記複数の画像のそれぞれに対して商品の検出処理を行い、
   前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする、商品数特定方法。
10. コンピュータに、
    商品が配置され得る領域である対象領域を撮影範囲に含んだ複数の画像を取得する取得機能と、
    前記複数の画像のそれぞれに対して商品の検出処理を行う画像処理機能と、
    前記検出処理において所定の数以上の前記画像から検出された商品である第１物体を特定し、前記検出処理によって検出された商品のうち前記第１物体を除いた数を、精算対象の商品の数である第１商品数にする算出機能と、
    を持たせるプログラム。

Images