JP7464129B2 - 商品検知装置、商品検知システム、商品検知方法および商品検知プログラム - Google Patents

Description

本開示は、商品検知装置、商品検知システム、商品検知方法および商品検知プログラムに関する。

現在、人手不足による店舗従業員の確保の問題は深刻さを増している。そのような環境の中で、商品の在庫管理、陳列棚の商品補充作業などを省力化し、従業員の負担を軽減するための技術の開発が望まれている。

店舗において、陳列された商品の画像を学習させた学習済モデル（以下、モデルとも記載）を用いて、商品棚等に陳列された商品の欠品および陳列乱れを検知する手法が知られている。

特許文献１には、商品棚の状況を撮像し、陳列不足状態が分かるように、陳列状態に応じて色分けされた画像を重畳表示する技術が開示されている。特許文献２には、商品棚に商品が少ないときに補充するように通知して、在庫保管のための再注文を行う技術が記載されている。

特開２０１６－５８１０５号公報 特表２０１０－５１７１４８号公報

しかしながら、特許文献１および特許文献２は、店舗毎において商品の欠品や陳列乱れの検知精度を向上させるための技術を開示しない。商品棚に陳列された商品の欠品および陳列乱れを検知するとき、店舗毎に検知条件を設定する必要がある。例えば、店舗毎に、使用する棚が異なる、または棚は同じでも陳列位置、商品の陳列の向き、商品の陳列の態様が異なることがある。よって、一か所で学習されたモデルを使用すると、各店舗における商品の検知において、誤認識が発生しやすく、検知精度が落ちる。

本開示の目的の１つは、上記の課題を解決し、店舗の陳列状態に適したモデルを使用して、検知精度を向上させる技術を提供することである。

本開示の一態様における商品検知装置は、
商品を陳列する棚の画像を取得する画像取得部と、
前記画像から、前記棚の形状、前記商品の形状または前記陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断する判断部と、
判断された前記商品陳列情報に基づき、前記画像の検知に使用すべきモデルを選択する選択部と、
選択された前記モデルを用いて、前記画像から前記棚に陳列された前記商品の陳列の状態を検知する検知部と
を備える。

本開示の一態様における商品検知システムは、
上記に記載の商品検知装置と、
前記画像を撮影し、前記商品検知装置に向けて送信するカメラと、
前記商品検知装置から前記検知に関する通知を受信する端末と、
を備える。

本開示の一態様における商品検知方法は、
商品を陳列する棚の画像を取得し、
前記画像から、前記棚の形状、前記商品の形状または前記陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断し、
判断された前記商品陳列情報に基づき、前記画像の検知に使用すべきモデルを選択し、
選択された前記モデルを用いて、前記画像から前記棚に陳列された前記商品の陳列の状態を検知する。

本開示の一態様における商品検知プログラムを格納する記録媒体は、
商品を陳列する棚の画像を取得し、
前記画像から、前記棚の形状、前記商品の形状または前記陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断し、
判断された前記商品陳列情報に基づき、前記画像の検知に使用すべきモデルを選択し、
選択された前記モデルを用いて、前記画像から前記棚に陳列された前記商品の陳列の状態を検知する
ことをコンピュータに実現させる。

プログラムは非一時的なコンピュータ読み取り可能な記録媒体に格納されていてもよい。

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

また、本開示の各種の構成要素は、必ずしも個々に独立した存在である必要はない。複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本開示の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本開示の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

さらに、本開示の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生してもよい。ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複してもよい。

本開示の効果は、店舗の陳列状態に適したモデルを使用して、検知精度を向上させる技術を提供することである。

本開示の第１実施形態に係る商品検知システムの構成例を概念的に示す図である。 本開示の第１実施形態に係る商品検知装置の内部構成例を示す図である。 画像情報のデータ構造例を示す図である。 棚情報のデータ構造例を示す図である。 商品情報のデータ構造例を示す図である。 商品棚における棚画像の一例を示す図である。 商品棚における棚画像の一例を示す図である。 店舗端末の内部構成例を示す図である。 本開示の第１実施形態に係る商品検知装置の動作例を表すフローチャートである。 本開示の第２実施形態に係る商品検知システムの構成例を示す図である。 商品情報のデータ構造例を示す図である。 置き方の異なる棚画像と変換表の例を示す図である。 積み重ね方の異なる棚画像と変換表の例を示す図である。 本開示の第２実施形態に係る商品検知装置の動作例を表すフローチャートである。 本開示の第３実施形態に係る商品検知装置の構成例を示す図である。 商品検知システムの各装置を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、本開示の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。以下の各図において、本開示の本質に関わらない部分の構成については省略してあり、図示されていない。

実施形態において「取得」とは、自装置が他の装置や記録媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報を入力されること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記録媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。

＜第１実施形態＞
（商品検知システム）
図１は、本開示の第１実施形態に係る商品検知システム１００の構成例を概念的に示すブロック図である。商品検知システム１００は、商品検知装置１と、店舗端末２と、カメラ３と、を含む。カメラ３および店舗端末２と商品検知装置１との間はインターネット、イントラネット等の通信ネットワーク４を介して接続されている。尚、店舗内に商品検知装置１を備えさせ、有線ケーブル等でカメラ３と接続させてもよい。

カメラ３は、店舗毎に備えられる、商品棚を撮影するためのカメラである。カメラ３は魚眼レンズを備えた広域を撮影するためのカメラであってもよい。カメラ３は店舗内を移動する機構（例えば、天井に設置されたレール上を移動する機構）を備えたカメラでもよい。カメラ３は複数存在してもよく、各々のカメラ３は商品棚の一区画である棚画像を撮影する。

カメラが撮影した商品棚の画像は商品検知装置１に送信され、商品検知装置１は商品の欠品や陳列乱れを検知する。商品検知装置１は商品の欠品や陳列乱れが検知された場合、店舗端末２に検知結果を通知する。店舗端末２は、店員に対し商品の欠品や陳列乱れを是正するための情報を提示する。

（商品検知装置）
次に、図２を参照して商品検知装置１の内部構造の例について説明する。

商品検知装置１は、画像取得部１１、画像記憶部１２、棚情報記憶部１３、商品情報記憶部１４、モデル記憶部１５、判断部１６、選択部１７、検知部１８および通知部１９を備えている。

画像取得部１１は、カメラ３にて撮影された、商品を陳列する商品棚の一区画である棚画像を取得する。当該画像には商品および背景（棚など）が写っている。画像取得部１１は取得した画像を、当該画像に関する情報（以下、画像情報とも記載）と共に、画像記憶部１２に格納する。

画像記憶部１２は、画像取得部１１から取得する画像および画像情報を格納する。

画像情報について図３を参照して説明する。画像情報とは、例えば、画像ＩＤ（Identifier）、撮影日時、店舗ＩＤ、棚位置ＩＤおよび商品ＩＤを含む。

画像ＩＤとは、画像をユニークに識別するための識別子である。例えば、撮影順の連番であってもよい。カメラ３が複数存在する場合、画像ＩＤにカメラをユニークに識別するためのカメラＩＤを付与してもよい。例えば、カメラＡが撮影した１００番目の画像であれば、「画像ＩＤ：Ａ－１００」とする。

撮影日時とは、カメラ３が当該棚画像を撮影した日時である。これはカメラ３に備えられるタイムスタンプ機能を使用してもよい。画像の撮影日時が判断できることにより、最新の撮影日時の棚画像を選択したり、特定の日時や期間に撮影された棚画像を抽出したりすることができる。

店舗ＩＤは、画像が撮影された店舗をユニークに識別可能な識別子である。

棚位置ＩＤとは、店舗内における画像の位置を特定するための識別子である。例えば、ある店舗Ａに、１０個の棚（棚番号１－１０）があり、当該棚は区画１－５に分類されているとする。このような場合、画像が棚番号５の区画３の画像を示す店舗ＩＤおよび棚位置ＩＤは、一例として、「Ａ（店舗）－５（棚）－３（区画）」となる。

商品ＩＤとは画像に写っている商品を識別するための識別子である。ある棚画像に写っている商品の商品ＩＤの取得は、予め該当する棚位置に何の商品が陳列されるかを情報として与えておいてもよいし、画像内の棚前面に付与される商品タグの情報（例えば商品コードなど）を画像取得部１１に読み取らせて自動入力してもよい。または、カメラ３または商品検知装置１に画像認識エンジンを搭載し画像認識処理によって商品とその商品ＩＤを特定してもよい。尚、一つの画像には複数の商品が写っていてもよい。例えば缶ジュースＡ（商品ＩＤ：ＫＡ）と缶ジュースＢ（商品ＩＤ：ＫＢ）とがある画像に写っている場合、商品ＩＤとしてＫＡとＫＢとの二つが付与される。

棚情報記憶部１３は、棚情報を格納する。棚情報とは、カメラ３から予め取得された商品棚の画像と、当該商品棚に関する情報とを紐づけたものである。棚情報は、例えば図４に示すように、店舗ＩＤ、棚ＩＤ、棚種類、位置ＩＤ、仕切り有無、撮影日時、棚画像を含む。

店舗ＩＤとは、店舗をユニークに識別するための識別子である。店舗名であってもよい。

棚ＩＤは棚をユニークに識別するための識別子である。

位置ＩＤとは、店舗内における棚画像の位置を特定するための識別子である。例えば、ある店舗に、１０個の棚（棚番号１-１０）があり、各棚は５個の区画（区画１-５）に分けられているとする。棚番号１の区画３の棚画像である場合、位置ＩＤは１（棚番号）－３（位置番号）となる。

棚種類とは、棚の種類を示す情報である。例えば、ホットショーケース、常温陳列棚、冷蔵棚などである。

仕切りの有無とは、商品を仕切るための仕切り機構（例えば、仕切り、レールなど）があるか、仕切り機構が無い（平らな面のみ）かを示す情報である。具体例としては、仕切りの有無には、仕切りがあれば「１」、仕切りが無ければ「０」と入力される。

撮影日時とは、カメラ３が当該棚画像を撮影した日時である。撮影日時はカメラ３のタイムスタンプ機能を使用して取得してよい。

棚画像は、陳列棚の画像である。

商品情報記憶部１４は、ある商品画像と商品画像情報とが紐づけられた商品情報を格納する。商品画像情報は、例えば図５に示すように、商品名、商品ＩＤ、向き、商品画像を含む。

商品名は、商品の名称（例えば、ハッシュドポテト）である。商品ＩＤは、商品をユニークに識別するための識別子である。向きは、複数の角度から撮影された商品の配置形状（例えば、平置き、縦置き、斜め置き）である。配置形状は多種類存在してよい。

モデル記憶部１５は、商品棚の形状、商品の形状および陳列の体様毎に学習されたモデルを格納する。モデルは、画像から商品の数を推定し、画像から陳列乱れを推定する。モデルは、第１モデルと第２モデルを含む。第１モデルは、第１時刻に撮影された第１画像に含まれる棚台の商品を陳列することができる陳列可能領域と、第１時刻後の第２時刻に撮影された第２画像に含まれる棚台の陳列可能領域との差分（第１差分）を学習済みのモデルである。例えば、図６および図７は商品ペットボトルの商品棚における棚画像を示している。図６に示す第１時刻に撮影された棚画像には陳列可能領域は無いが、所定期間経過後の第２時刻に撮影された棚画像（図７参照）には陳列可能領域が発生している。これは商品の在庫減少が発生している陳列の状態である。第１モデルはこの第１差分となる領域（図７の陳列可能領域における面積、位置など）を検知する。第２モデルは、商品ペットボトルにおける、図６の棚画像の撮影日時における在庫数と図７の棚画像の撮影日時における在庫数との差分（第２差分）をこれらの画像情報を基に算出する。例えば図６の在庫数が５０、図７の在庫数が４５であった場合、商品ペットボトルにおける、第１差分（領域）に対応する第２差分（個数）は５と検知する。尚、商品の陳列の乱れの場合は、モデルは、図７の陳列可能領域の形によって陳列乱れを判断することができる。図７では陳列可能領域は棚の奥側の上辺と棚の手前側の下辺が平行な領域であり陳列の乱れは発生していない。しかし例えば、陳列可能領域の形状が不規則に円や楕円である場合や、陳列可能領域の枠線が不規則な曲線である場合は、モデルは陳列乱れが発生していると判断する。

判断部１６は、カメラ３が検知用に撮影した画像から、棚の形状、商品の形状または陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断する。判断には例えば、機械学習による画像認識エンジン（サポートベクターマシン等のパタン認識モデル）を使用する。

棚の形状とは、例えば、商品棚の種類や商品棚の形状（陳列段の数、陳列段の形状など）である。判断部１６は、画像内の棚の画像と、棚情報記憶部１３に格納される棚情報（図４参照）とを比較して、棚の形状を判断する。

商品の形状とは、例えば、商品の向き別の形状（平置き形状、縦置き形状、斜め置き形状）である。判断部１６は、画像内の商品の画像と、商品情報記憶部１４に格納される商品情報（図５参照）とを比較して、商品の形状を判断する。

陳列の体様とは、例えば、陳列台上において、商品が仕切りに沿って列状に配列される体様、商品がランダムに配置される体様である。陳列の体様は、商品陳列のための仕切りの有無によって判断してもよい。判断部１６は、棚の形状で一致すると判断された棚の棚情報（図４参照）に仕切りが有るか否かを基に、当該体様を判断してもよい。尚、判断部１６は画像認識エンジンを用いて陳列の体様を判断してもよい。

選択部１７は、判断部１６に判断された商品陳列情報（棚の形状、商品の形状または陳列の体様の少なくとも一つを含む情報）に基づき、画像の検知に使用すべきモデルを選択する。例えば、商品棚の形状が３パタン、商品の形状が３パタン、陳列の体様が２パタンであるとすると、１８のモデルがモデル記憶部１５に格納されている。選択部１７は、モデル記憶部１５から、判断部１６の判断結果に合致するモデルを選択する。選択部１７は選択されたモデルを検知部１８に通知する。

検知部１８は、選択部１７に選択されたモデルを用いて、当該画像から棚に陳列された商品の陳列の状態（例えば、正常状態、欠品状態、陳列乱れ状態）を検知する。上述のように、第１モデルが、ある商品における、商品を陳列する棚の第１の画像における商品を陳列することができる陳列可能領域と第１の画像取得後に取得された第２の画像における陳列可能領域との第１差分を検出する。次に第２モデルが、当該商品における、第１差分と、第１画像に写る商品の数と第２画像に写る商品の数と差である第２差分とを算出し、算出結果を用いて、商品の欠品や商品の陳列の乱れを検出する。検知部１８は、モデルを用いて、商品の陳列の状態の異常（例えば、商品欠品、陳列乱れ）を検知する。検知部１８には、各商品の欠品については異常（商品の補充必要）と判断する値（例えば、商品ペットボトルだと「５」）が設定されている。検知部１８は、商品の陳列の状態の異常を検知すると、検知結果を通知部１９に通知する。例えば、商品棚から商品ペットボトルが６つ無くなる（購入される）と、検知結果を通知部１９に通知する。

通知部１９は、検知部１８から商品の陳列の状態の異常（例えば、商品欠品、陳列乱れ）が検知された旨の通知を受けると、当該検知の結果を店舗端末２に通知する。

（店舗端末）
次に、店舗端末２について図８を用いて説明する。店舗端末２は、店員が商品管理などのために使用する端末である。店舗端末２は、例えば、読み取り部２１、通信部２２、出力部２３、入力部２４および制御部２５を備える。

読み取り部２１は、商品の情報（バーコードなど）を読み取る。通信部２２は、店舗端末２と外部装置（例えば、商品検知装置１、ＰＯＳ端末（不図示））との通信を行う。

出力部２３は、読み取り部２１が読み取った情報や外部装置（商品検知装置１の通知部１９）から受信した情報（例えば、検知結果）を、ディスプレイ（不図示）に表示する。

入力部２４は、店員が店舗端末２に情報を入力するためのキーボード、タッチパネル等である。

制御部２５は、読み取り部２１、通信部２２、出力部２３および入力部２４と接続され、これらの部の動作を制御する。

（商品検知装置の動作）
商品検知システム１００における商品検知装置１の動作を図９に示すフローチャートを参照して説明する。尚、前提として、棚情報記憶部１３には棚情報が格納され、商品情報記憶部１４には商品情報が格納され、モデル記憶部１５にはモデルが格納されているものとする。

まずステップＳ１０１において、画像取得部１１はカメラ３が撮影した商品棚の一区画である棚画像を取得し、画像記憶部１２に格納する。具体的に、画像取得部１１は、当該棚画像に関する画像情報を生成し、棚画像と生成した画像情報とを紐づけて画像記憶部１２に格納する。

ステップＳ１０２において、判断部１６は、棚画像から、棚の形状、商品の形状または陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断する。具体的に、判断部１６は、画像記憶部１２から棚画像を取得し、当該棚画像に含まれる棚の形状、当該棚画像に含まれる商品の形状および商品の陳列の体様を判断する。判断部１６は判断した情報を選択部１７に送信する。

ステップＳ１０３において、選択部１７は、判断部１６において判断された商品陳列情報に基づき、棚画像の検知に使用すべきモデルを選択する。具体的に、選択部１７は、判断部１６において判断された商品陳列情報に基づき、棚画像の検知に使用すべきモデルをモデル記憶部１５に含まれる複数のモデルから選択する。選択部１７は選択したモデルを検知部１８に通知する。

ステップＳ１０４において、検知部１８は、選択部１７に選択されたモデルを用いて、棚画像から棚上の商品の陳列の状態を検知する。具体的に、検知部１８は、当該モデルを用いて、棚画像に含まれる商品の陳列の異常（例えば、商品欠品、陳列乱れ）を検知する。異常が検知されると（ステップＳ１０５においてＹＥＳ）、検知部１８は検知結果（例えば、商品欠品発生の旨、陳列乱れ発生の旨）を通知部１９に送信し、処理はステップＳ１０６へ進められる。異常が検知されなければ（ステップＳ１０５においてＮＯ）、本処理を終了する。

ステップＳ１０６において、通知部１９は、検知結果を店舗端末２に向けて送信する。

ステップＳ１０７において、通知部１９は、画像記憶部１２内の該当棚画像にフラグを付ける。これは異常が検知された棚画像を、後に抽出可能とするためである。通知部１９は、画像記憶部１２内の該当棚画像にインデックスを付してもよい。フラグ付けされた該当棚画像は、モデルに再学習（フィードバック）させるための教師データとして使用される。

以上により、商品検知システム１００における商品検知装置１の動作を終了する。

（第１実施形態の効果）
本開示の第１実施形態によると、店舗における商品の陳列状態に適したモデルを使用して、検知精度を向上させることができる。これは、画像取得部１１が商品を陳列する棚の画像を取得し、判断部１６が、棚の形状、商品の形状または陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断し、選択部１７が判断された商品陳列情報に基づき画像の検知に使用すべきモデルを選択し、検知部１８が選択されたモデルを用いて、当該画像から、棚に陳列された商品の陳列の状態を検知するからである。

＜第２実施形態＞
本開示の第１実施形態においては、商品は棚台上に平置き（重ね置き無し）されることを前提としていた。しかしながら、店舗においてはスペースを有効活用するために商品を重ね置きすることがある。よって第２実施形態においては、商品の形状に一段に置かれた商品の形状および複数段に重ねて置かれた商品の形状を含め、積み重ね状態も考慮に入れて商品の異常を検知するための手法について説明する。

（商品検知システム）
図１０は、本開示の第２実施形態に係る商品検知システム２００の構成例を概念的に示すブロック図である。商品検知システム２００は、商品検知装置１ａと、店舗端末２と、カメラ３と、を含む。

商品検知装置１ａは、画像取得部１１、画像記憶部１２、棚情報記憶部１３、商品情報記憶部３４、モデル記憶部３５、判断部３６、選択部３７、検知部１８および通知部１９を備えている。

商品情報記憶部３４は商品情報を格納する。第２実施形態の商品情報について図１１を参照して説明する。第２実施形態の商品情報は、例えば、商品名、商品ＩＤ、向き、積み重ね有無および商品画像を含む。

商品名は、商品の名称（例えば、フランクフルト）である。商品ＩＤは、商品をユニークに識別するための識別子である。向きは、複数の角度から撮影された商品の配置形状（例えば、斜め置き）である。

積み重ね有無は、積み重ねの状態（商品の形状に一段に置かれた商品の形状および複数段に重ねて置かれた商品の形状）を判定するための情報である。具体的に、積み重ね有無は、複数段に積み重ねて陳列されるか否かを示す情報であり、例えば、積み重ね無し「０」、積み重ね有り「１」と表す。尚、複数段に積み重ねられる場合、例えば３段に積み重ねられる場合、積み重ね有り「２」のように表示してもよい。商品画像は図１１に示すような商品の画像である。

モデル記憶部３５は、商品棚の形状、商品の形状、商品の積み重ね状態および陳列の体様毎に学習されたモデルを格納する。モデル記憶部３５は、第１モデル記憶部３５ａと第２モデル記憶部３５ｂとを備える。

第１モデル記憶部３５ａは、ある商品における、第１時刻に撮影された第１画像に含まれる棚台の商品を陳列することができる陳列可能領域と、第１時刻後の第２時刻に撮影された第２画像に含まれる棚台の陳列可能領域との差分（第１差分）を学習済みのモデル（第１モデル）を格納する。

第２モデル記憶部３５ｂは、第２モデルおよび変換表を格納する。第２モデルは、ある商品における、第１差分と、第１の画像に写る商品の数と第２の画像に写る商品の数との第２差分と、の関連付けを学習済みのモデルである。具体的に、第２モデルは、ある商品における、上記の第１差分と、第１画像に写る商品の数と第２画像に写る商品の数との差である第２差分とを基に、陳列可能領域と商品の数とを推測するモデルである。第２モデルは、陳列可能領域と商品の数とを推測した結果、変換表を出力する。変換表とは、ある商品の面積の変化と個数の変化とを対応付けた表である。当該変換表は第２モデルの検知精度の向上に伴い更新されてもよい。このように変換表を作成し更新していくことにより、第２モデルの計算スピードを上げることができる。

変換表の例について図１２および図１３を参照して説明する。図１２および図１３の変換表１～４において、左カラムは面積率、右カラムは個数を示す。面積率とは、棚画像のうち商品画像が占める面積の割合である。個数とは、当該棚画像に含まれている商品数を示す数である。例えば変換表１（図１２参照）の上から一行目の「面積率１５％、個数１～３」の場合、棚画像のうち商品画像が占める面積割合が１５％であり、当該棚画像に写っている商品の数は１～３個と検知（推測）される。変換表は第２モデルの検知精度の向上と共に更新される。

図１２左図は、商品棚（ホットショーケース）内に、商品コロッケが縦置きされた棚画像１と横置きされた棚画像２を示す。図１２右図は第１および第２モデルにより棚画像１から商品および商品数が検知された結果である変換表１、第１および第２モデルにより棚画像２から商品および商品数が検知された結果である変換表２を示す。

図１３左図は、商品棚（ホットショーケース）内に、商品フランクフルトが積み重ねなく平置きされた棚画像３と積み重ねて置かれた棚画像４を示す。図１３右図は第１および第２モデルにより棚画像３から商品および商品数が検知された結果である変換表３、第１および第２モデルにより棚画像４から商品および商品数が検知された結果である変換表４を示す。

判断部３６は、カメラ３が検知用に撮影した画像から、棚の形状、商品の形状（商品の積み重ね状態を含む）または陳列の体様を少なくとも一つ含む商品陳列情報を判断する。判断には例えば、機械学習による画像認識エンジン（サポートベクターマシン等のパタン認識モデル）を使用する。

判断部３６は、画像内の商品の画像と、商品情報記憶部３４に格納される商品情報（図１１参照）とを比較して、商品の形状を判断する。

選択部３７は、判断部３６に判断された商品陳列情報（棚の形状、商品の形状（商品の積み重ね状態を含む）または陳列の体様の少なくともいずれか一つを含む情報）に基づき、画像の検知に使用すべきモデルを選択する。例えば、商品棚の形状が３パタン、商品の形状が３パタン、商品の積み重ね状態が２パタン、陳列の体様が２パタンであるとすると、３６種類の領域推定モデルおよび変換表がモデル記憶部３５に格納されている。

選択部３７は、第１モデル選択部３７ａおよび第２モデル選択部３７ｂを備えている。第１モデル選択部３７ａは第１モデル記憶部３５ａから、判断部３６の判断結果に合致する第１モデルを選択する。第２モデル選択部３７ｂは、第２モデル記憶部３５ｂから、判断部３６の判断結果に合致する第２モデルを選択する。第１モデル選択部３７ａおよび第２モデル選択部３７ｂは、選択した第１モデルおよび第２モデルを検知部１８に通知する。

（商品検知装置の動作）
商品検知システム２００における商品検知装置１ａの動作を図１４に示すフローチャートを参照して説明する。尚、前提として、棚情報記憶部１３には棚情報が格納され、商品情報記憶部３４には商品情報が格納され、モデル記憶部３５にはモデルが格納されているものとする。

まずステップＳ２０１において、画像取得部１１はカメラ３が撮影した商品棚の一区画である棚画像を取得し、画像記憶部１２に格納する。具体的に、画像取得部１１は、当該棚画像に関する画像情報を生成し、棚画像と生成した画像情報とを紐づけて画像記憶部１２に格納する。

ステップＳ２０２において、判断部３６は、棚画像から、棚の形状、商品の形状（商品の積み重ね状態を含む）または陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断する。具体的に、判断部３６は、画像記憶部１２から棚画像を取得し、当該棚画像に含まれる棚の形状、当該棚画像に含まれる商品の形状、商品の積み重ね状態および商品の陳列の体様を判断する。判断部３６は判断した情報を選択部３７に送信する。

ステップＳ２０３において、選択部３７は、判断部３６において判断された商品陳列情報に基づき、棚画像の検知に使用すべきモデルを選択する。具体的に、第１モデル選択部３７ａは第１モデル記憶部３５ａから、判断部３６の判断結果に合致する第１モデルを選択する。ステップＳ２０４において、第２モデル選択部３７ｂは、第２モデル記憶部３５ｂから、判断部３６の判断結果に合致する第２モデルを選択する。第１モデル選択部３７ａおよび第２モデル選択部３７ｂは、選択した第１モデルおよび第２モデルを検知部１８に通知する。

ステップＳ２０５において、検知部１８は、選択部３７に選択されたモデル（第１モデル、第２モデル）を用いて、棚画像から棚上の商品の陳列の状態を検知する。具体的に、検知部１８は、当該モデルを用いて、棚画像に含まれる商品の陳列の異常（例えば、商品欠品、陳列乱れ）を検知する。異常が検知されると（ステップＳ２０６においてＹＥＳ）、検知部１８は検知結果（例えば、商品欠品発生の旨、陳列乱れ発生の旨）を通知部１９に送信し、処理はステップＳ２０７へ進められる。異常が検知されなければ（ステップＳ２０６においてＮＯ）、本処理を終了する。

ステップＳ２０７において、通知部１９は、検知結果を店舗端末２に向けて送信する。

ステップＳ２０８において、通知部１９は、画像記憶部１２内の該当棚画像にフラグを付ける。これは異常が検知された棚画像を、後に抽出可能とするためである。通知部１９は、画像記憶部１２内の該当棚画像にインデックスを付してもよい。フラグ付けされた該当棚画像は、モデルに再学習（フィードバック）させるための教師データとして使用される。

以上により、商品検知システム２００における商品検知装置１ａの動作を終了する。

（第２実施形態の効果）
本開示の第２実施形態によると、店舗の陳列状態に適したモデルを使用して、第１実施形態よりもさらに検知精度を向上させることができる。これは、画像取得部１１が商品を陳列する棚の画像を取得し、判断部３６が、棚の形状、商品の形状（商品の積み重ね状態を含む）または陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断し、選択部１７が判断された商品陳列情報に基づき、画像の検知に使用すべきモデルを選択し、検知部１８が選択されたモデルを用いて、当該画像から、棚に陳列された商品の陳列の状態を検知するからである。具体的には、判断部３６が、商品の積み重ね状態（一段に置かれた商品の形状か複数段に重ねて置かれた商品の形状か）を含めた情報を基に商品の形状を判断するからである。

＜第３実施形態＞
本開示の第３実施形態に係る商品検知装置４０について図１５を参照して説明する。商品検知装置４０は、第１実施形態および第２実施形態の最小構成態様である。商品検知装置４０は、画像取得部４１、判断部４２、選択部４３および検知部４４を備える。

画像取得部４１は、商品を陳列する棚の画像を取得する。判断部４２は、画像から、棚の形状、商品の形状または陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断する。選択部４３は、判断された商品陳列情報に基づき、画像の検知に使用すべきモデルを選択する。検知部４４は、選択されたモデルを用いて、画像から棚に陳列された商品の陳列の状態を検知する。

本開示の第３の実施形態によると、店舗の陳列状態に適したモデルを使用して、検知精度を向上させることができる。これは、画像取得部４１が商品を陳列する棚の画像を取得し、判断部４２が、棚の形状、商品の形状または陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断し、選択部４３が判断された商品陳列情報に基づき、画像の検知に使用すべきモデルを選択し、検知部４４が選択されたモデルを用いて、当該画像から、棚に陳列された商品の陳列の状態を検知するからである。

＜ハードウェア構成＞
本開示の各実施形態において、商品検知システム１００、２００に含まれる各装置（商品検知装置１、１ａ、４０など）の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図１６に示すような情報処理装置（コンピュータ）５００とプログラムとの任意の組み合わせにより実現される。情報処理装置５００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３
・ＲＡＭ５０３にロードされるプログラム５０４
・プログラム５０４を格納する記憶装置５０５
・記録媒体５０６の読み書きを行うドライブ装置５０７
・通信ネットワーク５０９と接続する通信インターフェース５０８
・データの入出力を行う入出力インターフェース５１０
・各構成要素を接続するバス５１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。

各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。

また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
商品を陳列する棚の画像を取得する画像取得部と、
前記画像から、前記棚の形状、前記商品の形状または前記陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断する判断部と、
判断された前記商品陳列情報に基づき、前記画像の検知に使用すべきモデルを選択する選択部と、
選択された前記モデルを用いて、前記画像から前記棚に陳列された前記商品の陳列の状態を検知する検知部と
を備える商品検知装置。
［付記２］
前記商品陳列情報に対応する、前記画像から前記商品を検知するために学習された前記モデルを一つ以上記憶するモデル記憶部を更に備え、
前記選択部は、前記商品陳列情報に合致する前記モデルを前記モデル記憶部から選択する
付記１に記載の商品検知装置。
［付記３］
前記商品の形状は、複数の角度から撮影された当該商品の形状を含む
付記１または付記２に記載の商品検知装置。
［付記４］
前記商品の形状は、一段に置かれた当該商品の形状および複数段に重ねて置かれた当該商品の形状を含む
付記１乃至付記３のいずれかに記載の商品検知装置。
［付記５］
前記モデルは、
ある商品における、前記商品を陳列する棚の第１の画像における前記商品を陳列することができる陳列可能領域と前記第１の画像取得後に取得された第２の画像における前記陳列可能領域との第１差分が学習された第１モデルを含む
付記１または付記２に記載の商品検知装置。
［付記６］
前記モデルは、
前記ある商品における、前記第１差分と、前記第１の画像に写る前記商品の数と前記第２の画像に写る前記商品の数との第２差分と、の関連付けが学習された第２モデルを含む
付記５に記載の商品検知装置。
［付記７］
前記検知部から前記商品の陳列の状態の異常が検知されると、当該検知の結果を外部の端末に通知する通知部
を更に備える付記１に記載の商品検知装置。
［付記８］
付記１乃至付記７のいずれかに記載の商品検知装置と、
前記画像を撮影し、前記商品検知装置に向けて送信するカメラと、
前記商品検知装置から前記検知に関する通知を受信する端末と、
を備える商品検知システム。
［付記９］
商品を陳列する棚の画像を取得し、
前記画像から、前記棚の形状、前記商品の形状または前記陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断し、
判断された前記商品陳列情報に基づき、前記画像の検知に使用すべきモデルを選択し、
選択された前記モデルを用いて、前記画像から前記棚に陳列された前記商品の陳列の状態を検知する
ことを備える商品検知方法。
［付記１０］
前記選択においては、前記商品陳列情報に対応する、前記画像から前記商品を検知するために学習された前記モデルを一つ以上記憶するモデル記憶手段から前記商品陳列情報に合致する前記モデルを選択する
付記９に記載の商品検知方法。
［付記１１］
前記商品の形状は、複数の角度から撮影された当該商品の形状を含む
付記９または付記１０に記載の商品検知方法。
［付記１２］
前記商品の形状は、一段に置かれた当該商品の形状および複数段に重ねて置かれた当該商品の形状を含む
付記９乃至付記１１のいずれかに記載の商品検知方法。
［付記１３］
前記モデルは、
ある商品における、前記商品を陳列する棚の第１の画像における前記商品を陳列することができる陳列可能領域と前記第１の画像取得後に取得された第２の画像における前記陳列可能領域との第１差分が学習された第１モデルを含む
付記９または付記１０に記載の商品検知方法。
［付記１４］
前記モデルは、
前記ある商品における、前記第１差分と、前記第１の画像に写る前記商品の数と前記第２の画像に写る前記商品の数との第２差分と、の関連付けが学習された第２モデルを含む
付記１３に記載の商品検知方法。
［付記１５］
前記検知することにおいて、前記商品の陳列の状態の異常が検知されると、当該検知の結果を外部の端末に通知すること
を更に備える付記９に記載の商品検知方法。
［付記１６］
商品を陳列する棚の画像を取得し、
前記画像から、前記棚の形状、前記商品の形状または前記陳列の体様の少なくともいずれか一つを含む商品陳列情報を判断し、
判断された前記商品陳列情報に基づき、前記画像の検知に使用すべきモデルを選択し、
選択された前記モデルを用いて、前記画像から前記棚に陳列された前記商品の陳列の状態を検知する
ことをコンピュータに実現させる商品検知プログラムを格納する記録媒体。
［付記１７］
前記選択においては、前記商品陳列情報に対応する、前記画像から前記商品を検知するために学習された前記モデルを一つ以上記憶するモデル記憶手段から前記商品陳列情報に合致する前記モデルを選択する
付記１６に記載の記録媒体。
［付記１８］
前記商品の形状は、複数の角度から撮影された当該商品の形状を含む
付記１６または付記１７に記載の記録媒体。
［付記１９］
前記商品の形状は、一段に置かれた当該商品の形状および複数段に重ねて置かれた当該商品の形状を含む
付記１６乃至付記１８のいずれかに記載の記録媒体。
［付記２０］
前記モデルは、
ある商品における、前記商品を陳列する棚の第１の画像における前記商品を陳列することができる陳列可能領域と前記第１の画像取得後に取得された第２の画像における前記陳列可能領域との第１差分が学習された第１モデルを含む
付記１６または付記１７に記載の記録媒体。
［付記２１］
前記モデルは、
前記ある商品における、前記第１差分と、前記第１の画像に写る前記商品の数と前記第２の画像に写る前記商品の数との第２差分と、の関連付けが学習された第２モデルを含む
付記２０に記載の記録媒体。
［付記２２］
前記検知することにおいて、前記商品の陳列の状態の異常が検知されると、当該検知の結果を外部の端末に通知すること
を更に備える付記１６に記載の記録媒体。

以上、実施形態および実施例を参照して本発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 商品検知装置
１ａ 商品検知装置
２ 店舗端末
３ カメラ
４ 通信ネットワーク
１１ 画像取得部
１２ 画像記憶部
１３ 棚情報記憶部
１４ 商品情報記憶部
１５ モデル記憶部
１６ 判断部
１７ 選択部
１８ 検知部
１９ 通知部
２１ 読み取り部
２２ 通信部
２３ 出力部
２４ 入力部
２５ 制御部
３４ 商品情報記憶部
３５ モデル記憶部
３５ａ 第１モデル記憶部
３５ｂ 第２モデル記憶部
３６ 判断部
３７ 選択部
３７ａ 第１モデル選択部
３７ｂ 第２モデル選択部
４０ 商品検知装置
４１ 画像取得部
４２ 判断部
４３ 選択部
４４ 検知部
１００ 商品検知システム
２００ 商品検知システム
５００ 情報処理装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム
５０５ 記憶装置
５０６ 記録媒体
５０７ ドライブ装置
５０８ 通信インターフェース
５０９ 通信ネットワーク
５１０ 入出力インターフェース
５１１ バス

Claims (10)

1. 商品を陳列する棚の画像を取得する画像取得手段と、
   前記画像を画像認識することにより、前記棚の形状、前記商品の形状および前記陳列の体様のうち少なくともいずれか一つを含む商品陳列情報を判断する判断手段と、
   判断された前記商品陳列情報に含まれる前記棚の形状、前記商品の形状および前記陳列の体様の組み合わせに合致するモデルを、前記画像の検知に使用すべきモデルとして選択する選択手段と、
   選択された前記モデルを用いて、前記画像から前記棚に陳列された前記商品の陳列の状態を検知する検知手段とを備える商品検知装置。
2. 前記商品陳列情報に対応する、前記画像から前記商品を検知するために学習された前記モデルを一つ以上記憶するモデル記憶手段を更に備え、
   前記選択手段は、前記商品陳列情報に合致する前記モデルを前記モデル記憶手段から選択する請求項１に記載の商品検知装置。
3. 前記商品の形状は、複数の角度から撮影された当該商品の形状を含む請求項１または請求項２に記載の商品検知装置。
4. 前記商品の形状は、一段に置かれた当該商品の形状および複数段に重ねて置かれた当該商品の形状を含む請求項１乃至請求項３のいずれかに記載の商品検知装置。
5. 前記モデルは、
   ある商品における、前記商品を陳列する棚の第１の画像における前記商品を陳列することができる陳列可能領域と前記第１の画像取得後に取得された第２の画像における前記陳列可能領域との第１差分が学習された第１モデルを含む請求項１または請求項２に記載の商品検知装置。
6. 前記モデルは、
   前記ある商品における、前記第１差分と、前記第１の画像に写る前記商品の数と前記第２の画像に写る前記商品の数との第２差分と、の関連付けが学習された第２モデルを含む請求項５に記載の商品検知装置。
7. 前記検知手段から前記商品の陳列の状態の異常が検知されると、当該検知の結果を外部の端末に通知する通知手段を更に備える請求項１に記載の商品検知装置。
8. 請求項１乃至請求項７のいずれかに記載の商品検知装置と、
   前記画像を撮影し、前記商品検知装置に向けて送信するカメラと、
   前記商品検知装置から前記検知に関する通知を受信する端末と、を備える商品検知システム。
9. コンピュータが、
   商品を陳列する棚の画像を取得し、
   前記画像を画像認識することにより、前記棚の形状、前記商品の形状および前記陳列の体様のうち少なくともいずれか一つを含む商品陳列情報を判断し、
   判断された前記商品陳列情報に含まれる前記棚の形状、前記商品の形状および前記陳列の体様の組み合わせに合致するモデルを、前記画像の検知に使用すべきモデルとして選択し、
   選択された前記モデルを用いて、前記画像から前記棚に陳列された前記商品の陳列の状態を検知することを備える商品検知方法。
10. 商品を陳列する棚の画像を取得し、
    前記画像を画像認識することにより、前記棚の形状、前記商品の形状および前記陳列の体様のうち少なくともいずれか一つを含む商品陳列情報を判断し、
    判断された前記商品陳列情報に含まれる前記棚の形状、前記商品の形状および前記陳列の体様の組み合わせに合致するモデルを、前記画像の検知に使用すべきモデルとして選択し、
    選択された前記モデルを用いて、前記画像から前記棚に陳列された前記商品の陳列の状態を検知することをコンピュータに実現させる商品検知プログラム。

Images