JP7367846B2 - 商品検出装置、商品検出方法、及びプログラム - Google Patents

Description

本発明は、商品検出装置、商品検出方法、及びプログラムに関する。

店舗における顧客の行動の一つに、手に取った商品を商品棚に戻すことがある。この行動を検出することを目的とした文献として、例えば特許文献１及び２がある。

特許文献１には、画像を処理することにより顧客の手の位置及び商品の位置を特定し、これらの位置を用いて、顧客が手を伸ばした回数を商品ごとに集計することが記載されている。特許文献１では、顧客が商品を手に取ってから当該商品を戻すまでの時間を表示部に表示することも記載されている。

特許文献２には、画像を処理することにより、顧客の姿勢を推定するとともに商品の陳列状態を解析し、これにより、商品を陳列場所に戻す行動があったと判定することが記載されている。

特開２０１９－１０９９１６号公報 特開２０１９－２１１８９１号公報

上記した２つの特許文献では、顧客が商品を商品載置領域に戻したことを検知するためには、画像処理により顧客を検出する必要がある。本発明の目的の一つは、顧客を検出しなくても、顧客が商品を商品載置領域に戻したことを検知できるようにすることにある。

本発明によれば、商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得する取得手段と、
前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知する画像処理手段と、
前記第１状態が検知された場合に第１出力を行う出力手段と、
を備える商品検出装置が提供される。

本発明によれば、コンピュータが、
商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得し、
前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知し、
前記第１状態が検知された場合に第１出力を行う商品検出方法が提供される。

本発明によれば、コンピュータに、
商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得する機能と、
前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知する機能と、
前記第１状態が検知された場合に第１出力を行う機能と、
を行わせるプログラムが提供される。

本発明によれば、顧客を検出しなくても、顧客が商品を商品載置領域に戻したことを検知できるようにすることができる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

第１実施形態に係る商品検出装置の使用環境を説明するための図である。 商品検出装置の機能構成の一例を示す図である。 検出結果記憶部が記憶している情報の一例を示す図である。 商品検出装置のハードウェア構成例を示す図である。 商品検出装置が行う処理の第１例を示す図である。 商品検出装置が行う処理の第２例を示す図である。 第２実施形態に係る撮像部を示す図である。 撮像部の使用方法を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

［第１実施形態］
図１は、本実施形態に係る商品検出装置１０の使用環境を説明するための図である。商品検出装置１０は、撮像部２０（第１撮像部の一例）と共に使用される。撮像部２０は、商品載置領域、例えば商品棚４０を繰り返し撮像する。以下、商品載置領域が商品棚４０の少なくとも一部であるとして説明を行う。撮像部２０のフレームレートは任意であるが、例えば１０フレーム／秒以上である。

商品棚４０には商品５０が載置されている。商品検出装置１０は、撮像部２０が生成した画像を処理することにより、顧客によって商品棚４０から商品５０が取り出された後に、その商品５０が商品棚４０に戻されたことを検知する。撮像部２０及び商品棚４０が配置されている店舗は、コンビニエンスストアやスーパーマーケットなどの一般的な店舗であってもよいし、オフィスなど、一般的な店舗以外の場所の一角（例えばいわゆるマイクロ店舗）であってもよい。

なお、一つの商品棚４０について複数の撮像部２０が設けられていてもよい。この場合、複数の撮像部２０のそれぞれは、商品棚４０のうち互いに異なる領域を撮像してもよい。また、一つの商品載置領域に対して複数の撮像部２０が設けられていてもよい。いずれの場合においても、撮像部２０は、その撮像部２０が生成した画像を、その撮像部２０に割り振られた撮像部識別情報及びその画像の生成日時に対応付けて商品検出装置１０に送信する。

なお、商品検出装置１０による検知結果は、情報処理装置３０に出力される。情報処理装置３０のユーザは、情報処理装置３０を用いて商品検出装置１０による検知結果を統計的に処理することにより、商品棚４０に配置する商品を決定したり、商品５０及び／または商品５０のパッケージを決定する。

図２は、商品検出装置１０の機能構成の一例を示す図である。本図に示す例において、商品検出装置１０は、取得部１１０、画像処理部１２０、及び出力部１３０を備えている。

取得部１１０は、撮像部２０が生成した複数の画像（第１画像の一例）を、当該画像の生成日時に対応付けて取得する。上記したように、これら複数の画像は、互いに異なるタイミングで生成されている。

画像処理部１２０は、複数の画像を処理することにより、新たな商品が基準時間以上連続して商品棚４０に存在している状態（以下、第１状態と記載）になったことを検知する。ここで用いられる基準時間は、例えば０．５秒以上であるのが好ましい。なお、基準時間はフレーム数でカウントされてもよい。

出力部１３０は、第１状態が検知された場合に第１出力を行う。第１出力は、顧客によって商品棚４０から商品５０が取り出された後に、その商品５０が商品棚４０に戻されたことを示している。

ここで、出力部１３０は、店員が商品棚４０に商品を補充していないタイミングで前記第１状態が検知された時に、第１出力を行うようにするのが好ましい。例えば画像処理部１２０は、店員が商品を補充する日時を記憶しておき、この時刻以外のタイミングで撮影された画像を用いるようにしてもよい。また画像処理部１２０は、商品５０が複数（例えば２個以上または３個以上）連続して商品棚４０に載置された場合、店員が商品棚４０に商品５０を補充していると判断し、第１状態の対象から除いてもよい。この際、画像処理部１２０は、連続して商品棚４０に載置された商品５０が互いに同一の品名であることを、第１状態の対象から除くための条件にしてもよい。

また、画像処理部１２０は、撮像部２０が生成した画像を処理することにより、商品棚４０に戻された商品５０の品名を特定する。この特定は、例えば特徴量マッチングにより行われる。

画像処理部１２０による画像の処理結果は、検出結果記憶部１２２に記憶される。検出結果記憶部１２２が記憶している情報の一例については、図３を用いて後述する。

図３は、検出結果記憶部１２２が記憶している情報の一例を示している。本図に示す例において、検出結果記憶部１２２は、商品別に、その商品の品名を示す情報（例えば商品コード：以下、品名と記載）、商品棚４０におけるその商品の配置位置、及びその商品を検知した回数、及びすでに設置されていた商品であるか否かを示す情報（図３では「設置済み」と記載）を記憶している。ここで、商品の検知回数が基準を満たしたとき、「設置済み」は「true」になり、検知回数が基準を満たしていないとき、「設置済み」は「false」になる。

なお、商品検出装置１０が複数の撮像部２０と通信する場合、検出結果記憶部１２２は、複数の撮像部２０別に、上記した情報を、その撮像部２０の撮像部識別情報に対応付けて記憶している。

図４は、商品検出装置１０のハードウェア構成例を示す図である。商品検出装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は商品検出装置１０の各機能（例えば取得部１１０、画像処理部１２０、及び出力部１３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は検出結果記憶部１２２としても機能する。

入出力インタフェース１０５０は、商品検出装置１０と各種入出力機器とを接続するためのインタフェースである。

ネットワークインタフェース１０６０は、商品検出装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。商品検出装置１０は、例えばネットワークインタフェース１０６０を介して撮像部２０及び情報処理装置３０と通信する。

図５は、商品検出装置１０が行う処理の第１例を示す図である。商品検出装置１０は、撮像部２０が生成した複数の画像別に本図に示す処理を行う。なお、この処理は、取得部１１０が画像を取得するたびに行われてもよいし、バッチ式で行われてもよい。

まず商品検出装置１０の画像処理部１２０は、処理対象となっている画像を処理し、商品棚４０に載置されている商品５０毎に、その商品の品名（商品特定情報の一例）及びその位置を認識する（ステップＳ１０）。そして画像処理部１２０は、ステップＳ１０の処理結果と、検出結果記憶部１２２に記憶されている情報を用いて、新たな商品５０が商品棚４０に載置されたか否かを判断する（ステップＳ２０）。

例えば画像処理部１２０は、ステップＳ１０で生成した商品５０の品名及び位置の組み合わせのうち、当該組み合わせが検出結果記憶部１２２に記憶されていない組み合わせがあったとき、その組み合わせに対応する商品５０を、新たに商品棚４０に載置された商品と判断する。そして、画像処理部１２０は、当該組み合わせを検出結果記憶部１２２に記憶させる（ステップＳ３０）。この際、その組み合わせにおいて、商品検出回数は「１」となり、「設置済み」は「false」となる（ステップＳ３０）。

また画像処理部１２０は、ステップＳ１０で生成した商品５０の品名及び位置の組み合わせのうち、当該組み合わせが検出結果記憶部１２２に記憶されていたとき、画像処理部１２０は、検出結果記憶部１２２のうち当該商品の検出回数を一つ増やす。ここで、画像処理部１２０は、「設置済み」が「true」になっている商品については、検出回数を増やさなくてもよい。そして画像処理部１２０は、変更後の検出回数が基準以上となった商品５０はそれ以前から商品棚４０の上に載置されていたと判断し、検出結果記憶部１２２のうち当該商品の「設置済み」を「false」から「true」に変更する（ステップＳ３０）。

なお、上記した処理において、例えば画像のうち当該商品に該当する領域は、矩形で特定される。そして、「同じ位置であるか否か」は、この矩形の重複率で判断される。例えば重複率が基準値以上の場合、同じ位置であると判断される。

そして画像処理部１２０は、「設置済み」欄が「false」から「true」に変更された商品５０があったとき、その商品５０は、基準時間連続して検出されていることになる（ステップＳ４０：Ｙｅｓ）。そしてこの商品５０は、上記した第１状態すなわち顧客によって商品棚４０に戻されたことになる。そこで、出力部１３０は、第１出力を情報処理装置３０に出力する（ステップＳ５０）。ここで出力部１３０は、経過時間が基準時間以上になった商品５０を特定する情報、例えばその商品５０の品名を示す情報を、第１出力に含める。

なお、画像処理部１２０は、検出結果記憶部１２２に記憶されている商品５０に関する情報のうち、「設置済み」が「true」である商品５０、新規に登録された商品５０、及び検出回数が一つ増やされた商品５０以外の情報を消去してもよい。このようにすると、検出結果記憶部１２２からノイズとなる情報が消去される。

また、商品棚４０が複数の商品載置領域に区分けされており、かつこの商品載置領域別に撮像部２０が設けられている場合、商品検出装置１０は、図５に示した処理を、撮像部２０別、すなわち商品載置領域別に行う。この場合、ステップＳ５０において、出力部１３０は、第１出力に、第１状態が検知された商品載置領域を特定する情報を含めるのが好ましい。

図６は、商品検出装置１０が行う処理の第２例を示す図である。本図に示す例において、一つの商品載置領域に対して２つの撮像部２０が設置されている。これら２つの撮像部２０は、いずれも繰り返し商品載置領域を撮像している。そして本図に示す例においても、商品検出装置１０は、商品載置領域別に本図に示す処理を行う。なお、この処理は、取得部１１０が画像を取得するたびに行われてもよいし、バッチ式で行われてもよい。

まず、取得部１１０は、一方の撮像部２０が生成した画像（以下、第１画像と記載）、及び、他方の撮像部２０が生成した画像（以下、第２画像）を取得し、第１画像を用いて図５のステップＳ１０～Ｓ４０に示した処理を行うとともに、第２画像を用いて図５のステップＳ１０～Ｓ４０に示した処理を行う（ステップＳ１１０）。ここで、第１画像の生成タイミングは、第２画像の生成タイミングと同じである。ここで、２つの生成タイミングに多少の差、例えば１フレームレートに相当する時間以下の差があったとしても、これら２つの生成タイミングは同一であるとする。言い換えると、画像処理部１２０は、第１画像を用いて、上記した第１状態になったか否かを判断するとともに、第２画像を用いて、上記した第１状態になったか否かを判断する。

そして出力部１３０は、第１画像を用いた処理結果と、第２画像を用いた処理結果が一致していた場合（ステップＳ１２０：Ｙｅｓ）、図５のステップＳ５０と同様に、第１出力を行う（ステップＳ１３０）。一方、出力部１３０は、第１画像を用いた処理結果と、第２画像を用いた処理結果が一致しなかった場合（ステップＳ１２０：Ｎｏ）、何らかの異常が生じている可能性が高いため、第１出力とは異なる出力（以下、第２出力と記載）を行う（ステップＳ１４０）。

ここで、処理結果が一致しない第１例としては、第１画像を用いた処理結果が第１状態を示しているが、第２画像を用いた処理結果が第１状態を示していなかった場合である。また、処理結果が一致しない第２例としては、第１画像を用いて認識された商品５０の品名が、第２画像を用いて認識された商品５０の品名と異なっていた場合である。

なお、第２出力は、例えば何らかの異常が生じていることを示す情報を含んでいる。また、第２出力は、第１画像及び第２画像を含んでいてもよい。このようにすると、情報処理装置３０の使用者は、第１画像及び第２画像を視認することにより、異常の内容を判断することができる。

その後、画像処理部１２０は検出結果記憶部１２２を更新する（ステップＳ１７０）。ここで行われる処理の詳細は、図５のステップＳ５０と同様である。

以上、本実施形態によれば、商品５０が商品棚４０に載置されてからの経過時間を用いて、その商品５０が顧客によって商品棚４０に戻されたか否かを判断する。このため、顧客を検出しなくても、顧客が商品を商品載置領域に戻したことを検知できる。

［第２実施形態］
図７は、第２実施形態に係る撮像部２０を示す図である。図８は、この撮像部２０の使用方法を示す図である。本実施形態において、商品検出装置１０と共に使用される撮像部２０は、撮像装置２００の一部となっている。

詳細には、撮像装置２００は２つの撮像ユニット２１０を有している。２つの撮像ユニット２１０は、いずれも照明部２２０及び撮像部２０を有している。

照明部２２０の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明部２２０は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明部２２０が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。

そして撮像部２０は、照明部２２０の一端側に設けられており、照明部２２０の光が放射される方向を撮像範囲としている。例えば図７の左側の撮像ユニット２１０において、撮像部２０は下方及び右斜め下を撮像範囲としている。また、図７の右側の撮像ユニット２１０において、撮像部２０は上方及び左斜め上を撮像範囲としている。

図８に示すように、２つの撮像ユニット２１０は、商品棚４０の前面フレーム（又は両側の側壁の前面）４２に取り付けられる。この際、第１の撮像ユニット２１０は、一方の前面フレーム４２に、撮像部２０が下方に位置する向きに取り付けられ、第２の撮像ユニット２１０は、第１の撮像ユニット２１０とは逆側の前面フレーム４２に、撮像部２０が上方に位置する向きに取り付けられる。そして第１の撮像ユニット２１０の撮像部２０は、商品棚４０の開口部を撮像範囲に含むように、上方及び斜め上方を撮像する。一方、第２の撮像ユニット２１０の撮像部２０は、商品棚４０の開口部を撮像範囲に含むように、下方及び斜め下方を撮像する。このように２つの撮像ユニット２１０を用いることで、商品棚４０の開口部の全範囲を撮影することができる。

そして商品検出装置１０は、２つの撮像ユニット２１０それぞれの撮像部２０が撮像した画像、すなわち２つの撮像部２０が撮像した画像を処理することにより、上記実施形態に示した各種の情報を生成する。

本実施形態によっても、第１実施形態と同様の効果が得られる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得する取得手段と、
前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知する画像処理手段と、
前記第１状態が検知された場合に第１出力を行う出力手段と、
を備える商品検出装置。
２．上記１に記載の商品検出装置において、
前記出力手段は、店員が前記商品載置領域に商品を補充していないタイミングで前記第１状態が検知された時に、前記第１出力を行う商品検出装置。
３．上記１又は２に記載の商品検出装置において、
複数の前記商品載置領域別に前記第１撮像手段は設けられており、
前記画像処理手段は、前記商品載置領域別に、当該商品載置領域に対応している前記第１撮像手段が生成した前記複数の第１画像を処理することにより前記第１状態を検知し、
前記出力手段は、前記第１出力に、前記第１状態が検知された前記商品載置領域を特定する情報を含める商品検出装置。
４．上記１～３のいずれか一項に記載の商品検出装置において、
前記画像処理手段は、前記新たな商品の品名を特定する商品特定情報を生成し、
前記出力手段は、前記第１出力に前記商品特定情報を含める商品検出装置。
５．上記４に記載の商品検出装置において、
前記取得手段は、前記第１撮像手段と同一の前記商品載置領域を撮影する第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得し、
前記画像処理手段は、さらに前記第２画像を処理することにより、前記新たな商品の前記商品特定情報を生成し、
前記出力手段は、前記第１画像を用いて生成された前記商品特定情報が、前記第２画像を用いて生成された前記商品特定情報と異なっていた時に、前記第１出力とは異なる第２出力を行う商品検出装置。
６．上記１～４のいずれか一項に記載の商品検出装置において、
前記取得手段は、前記第１撮像手段と同一の前記商品載置領域を撮影する第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得し、
前記画像処理手段は、さらに前記複数の第２画像を処理することにより前記第１状態を検知し、
前記出力手段は、
前記複数の第１画像の処理結果である第１結果が前記第１状態を示しており、かつ当該第１状態を検知したときに用いられた前記複数の第１画像と同じ時刻に生成された前記複数の第２画像の処理結果である第２結果が前記第１状態を示していたときに、前記第１出力を行い、
前記第１結果が前記第１状態を示しており、かつ前記第２結果が前記第１状態を示していなかったときに、前記第１出力とは異なる第２出力を行う商品検出装置。

７．コンピュータが、
商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得し、
前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知し、
前記第１状態が検知された場合に第１出力を行う商品検出方法。
８．上記７に記載の商品検出方法において、
前記コンピュータは、店員が前記商品載置領域に商品を補充していないタイミングで前記第１状態が検知された時に、前記第１出力を行う商品検出方法。
９．上記７又は８に記載の商品検出方法において、
複数の前記商品載置領域別に前記第１撮像手段は設けられており、
前記コンピュータは、
前記商品載置領域別に、当該商品載置領域に対応している前記第１撮像手段が生成した前記複数の第１画像を処理することにより前記第１状態を検知し、
前記第１出力に、前記第１状態が検知された前記商品載置領域を特定する情報を含める商品検出方法。
１０．上記７～９のいずれか一項に記載の商品検出方法において、
前記コンピュータは、
前記新たな商品の品名を特定する商品特定情報を生成し、
前記第１出力に前記商品特定情報を含める商品検出方法。
１１．上記１０に記載の商品検出方法において、
前記コンピュータは、
前記第１撮像手段と同一の前記商品載置領域を撮影する第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得し、
さらに前記第２画像を処理することにより、前記新たな商品の前記商品特定情報を生成し、
前記第１画像を用いて生成された前記商品特定情報が、前記第２画像を用いて生成された前記商品特定情報と異なっていた時に、前記第１出力とは異なる第２出力を行う商品検出方法。
１２．上記７～１０のいずれか一項に記載の商品検出方法において、
前記コンピュータは、
前記第１撮像手段と同一の前記商品載置領域を撮影する第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得し、
さらに前記複数の第２画像を処理することにより前記第１状態を検知し、
前記複数の第１画像の処理結果である第１結果が前記第１状態を示しており、かつ当該第１状態を検知したときに用いられた前記複数の第１画像と同じ時刻に生成された前記複数の第２画像の処理結果である第２結果が前記第１状態を示していたときに、前記第１出力を行い、
前記第１結果が前記第１状態を示しており、かつ前記第２結果が前記第１状態を示していなかったときに、前記第１出力とは異なる第２出力を行う商品検出方法。
１３．コンピュータに、
商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得する取得機能と、
前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知する検知機能と、
前記第１状態が検知された場合に第１出力を行う出力機能と、
を行わせるプログラム。
１４．上記１３に記載のプログラムにおいて、
前記出力機能は、店員が前記商品載置領域に商品を補充していないタイミングで前記第１状態が検知された時に、前記第１出力を行うプログラム。
１５．上記１３又は１４に記載のプログラムにおいて、
複数の前記商品載置領域別に前記第１撮像手段は設けられており、
前記画像処理機能は、前記商品載置領域別に、当該商品載置領域に対応している前記第１撮像手段が生成した前記複数の第１画像を処理することにより前記第１状態を検知し、
前記出力機能は、前記第１出力に、前記第１状態が検知された前記商品載置領域を特定する情報を含めるプログラム。
１６．上記１３～１５のいずれか一項に記載のプログラムにおいて、
前記画像処理機能は、前記新たな商品の品名を特定する商品特定情報を生成し、
前記出力機能は、前記第１出力に前記商品特定情報を含めるプログラム。
１７．上記１６に記載のプログラムにおいて、
前記取得機能は、前記第１撮像手段と同一の前記商品載置領域を撮影する第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得し、
前記画像処理機能は、さらに前記第２画像を処理することにより、前記新たな商品の前記商品特定情報を生成し、
前記出力機能は、前記第１画像を用いて生成された前記商品特定情報が、前記第２画像を用いて生成された前記商品特定情報と異なっていた時に、前記第１出力とは異なる第２出力を行うプログラム。
１８．上記１３～１６のいずれか一項に記載のプログラムにおいて、
前記取得機能は、前記第１撮像手段と同一の前記商品載置領域を撮影する第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得し、
前記画像処理機能は、さらに前記複数の第２画像を処理することにより前記第１状態を検知し、
前記出力機能は、
前記複数の第１画像の処理結果である第１結果が前記第１状態を示しており、かつ当該第１状態を検知したときに用いられた前記複数の第１画像と同じ時刻に生成された前記複数の第２画像の処理結果である第２結果が前記第１状態を示していたときに、前記第１出力を行い、
前記第１結果が前記第１状態を示しており、かつ前記第２結果が前記第１状態を示していなかったときに、前記第１出力とは異なる第２出力を行うプログラム。

１０ 商品検出装置
２０ 撮像部
３０ 情報処理装置
４０ 商品棚
４２ 前面フレーム
５０ 商品
１１０ 取得部
１２０ 画像処理部
１２２ 検出結果記憶部
１３０ 出力部
２００ 撮像装置
２１０ 撮像ユニット
２１０ 第１の撮像ユニット
２１０ 第２の撮像ユニット
２２０ 照明部

Claims (9)

1. 商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得する取得手段と、
   前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知する画像処理手段と、
   前記第１状態が検知された場合に第１出力を行う出力手段と、
   を備え、
   前記画像処理手段は、前記新たな商品の品名を特定する商品特定情報を生成し、
   前記取得手段は、第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得し、
   前記画像処理手段は、さらに前記第２画像を処理することにより、前記新たな商品の前記商品特定情報を生成し、
   前記出力手段は、前記第１画像を用いて生成された前記商品特定情報が、前記第２画像を用いて生成された前記商品特定情報と異なっていた時に、前記第１出力とは異なる第２出力を行い、
   前記第２撮像手段は前記第１撮像手段と同一の前記商品載置領域を撮影する撮像手段である
   商品検出装置。
2. 商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得する取得手段と、
   前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知する画像処理手段と、
   前記第１状態が検知された場合に第１出力を行う出力手段と、
   を備え、
   前記取得手段は、第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得し、
   前記画像処理手段は、さらに前記複数の第２画像を処理することにより前記第１状態を検知し、
   前記出力手段は、
   前記複数の第１画像の処理結果である第１結果が前記第１状態を示しており、かつ当該第１状態を検知したときに用いられた前記複数の第１画像と同じ時刻に生成された前記複数の第２画像の処理結果である第２結果が前記第１状態を示していたときに、前記第１出力を行い、
   前記第１結果が前記第１状態を示しており、かつ前記第２結果が前記第１状態を示していなかったときに、前記第１出力とは異なる第２出力を行い、
   前記第２撮像手段は前記第１撮像手段と同一の前記商品載置領域を撮影する撮像手段である
   商品検出装置。
3. 請求項１に記載の商品検出装置において、
   前記出力手段は、前記第１出力に前記商品特定情報を含める商品検出装置。
4. 請求項１～３のいずれか一項に記載の商品検出装置において、
   前記出力手段は、店員が前記商品載置領域に商品を補充していないタイミングで前記第１状態が検知された時に、前記第１出力を行う商品検出装置。
5. 請求項１～４のいずれか一項に記載の商品検出装置において、
   複数の前記商品載置領域別に前記第１撮像手段は設けられており、
   前記画像処理手段は、前記商品載置領域別に、当該商品載置領域に対応している前記第１撮像手段が生成した前記複数の第１画像を処理することにより前記第１状態を検知し、
   前記出力手段は、前記第１出力に、前記第１状態が検知された前記商品載置領域を特定する情報を含める商品検出装置。
6. コンピュータが、
   商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得し、
   前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知し、前記新たな商品の品名を特定する商品特定情報を生成し、
   前記第１状態が検知された場合に第１出力を行い、
   第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得し、
   前記第２画像を処理することにより、前記新たな商品の前記商品特定情報を生成し、
   前記第１画像を用いて生成された前記商品特定情報が、前記第２画像を用いて生成された前記商品特定情報と異なっていた時に、前記第１出力とは異なる第２出力を行い、
   前記第２撮像手段は前記第１撮像手段と同一の前記商品載置領域を撮影する撮像手段である
   商品検出方法。
7. コンピュータが、
   商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得し、
   前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知し、
   第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得し、
   さらに前記複数の第２画像を処理することにより前記第１状態を検知し、
   前記複数の第１画像の処理結果である第１結果が前記第１状態を示しており、かつ当該第１状態を検知したときに用いられた前記複数の第１画像と同じ時刻に生成された前記複数の第２画像の処理結果である第２結果が前記第１状態を示していたときに、第１出力を行い、
   前記第１結果が前記第１状態を示しており、かつ前記第２結果が前記第１状態を示していなかったときに、前記第１出力とは異なる第２出力を行い、
   前記第２撮像手段は前記第１撮像手段と同一の前記商品載置領域を撮影する撮像手段である
   商品検出方法。
8. コンピュータに、
   商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得する機能と、
   前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知し、前記新たな商品の品名を特定する商品特定情報を生成する機能と、
   前記第１状態が検知された場合に第１出力を行う機能と、
   第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得する機能と、
   前記第２画像を処理することにより、前記新たな商品の前記商品特定情報を生成する機能と、
   前記第１画像を用いて生成された前記商品特定情報が、前記第２画像を用いて生成された前記商品特定情報と異なっていた時に、前記第１出力とは異なる第２出力を行う機能と、
   を行わせ、
   前記第２撮像手段は前記第１撮像手段と同一の前記商品載置領域を撮影する撮像手段である
   プログラム。
9. コンピュータに、
   商品載置領域を撮影する第１撮像手段が互いに異なるタイミングで生成した複数の第１画像を取得する機能と、
   前記複数の第１画像を処理することにより、新たな商品が基準時間以上連続して前記商品載置領域に存在している状態である第１状態を検知する機能と、
   第２撮像手段が互いに異なるタイミングで生成した複数の第２画像を取得する機能と、
   さらに前記複数の第２画像を処理することにより前記第１状態を検知する機能と、
   前記複数の第１画像の処理結果である第１結果が前記第１状態を示しており、かつ当該第１状態を検知したときに用いられた前記複数の第１画像と同じ時刻に生成された前記複数の第２画像の処理結果である第２結果が前記第１状態を示していたときに、第１出力を行う機能と、
   前記第１結果が前記第１状態を示しており、かつ前記第２結果が前記第１状態を示していなかったときに、前記第１出力とは異なる第２出力を行う機能と、
   を行わせ、
   前記第２撮像手段は前記第１撮像手段と同一の前記商品載置領域を撮影する撮像手段である
   プログラム。

Images