JP7700611B2 - 通知プログラム、通知方法および情報処理装置 - Google Patents

Description

本発明は、通知プログラム等に関する。

スーパーマーケットやコンビニエンスストア等の店舗において、セルフレジが普及している。セルフレジは、商品を購入するユーザ自身が、商品のバーコードの読み取りから精算までを行うＰＯＳ（Point Of Sale）レジシステムである。たとえば、セルフレジを導入することで、人件費の抑制、店員による精算ミスを防止することができる。

一方、セルフレジでは、バーコードの読み取りを行わない等のユーザの不正を検出することが求められる。この課題に対して、たとえば、カメラの画像データを解析して、店舗内の人物を追跡し、追跡中の人物が商品を手に取ったり、移動させたりするタイミングを特定する従来技術がある。かかる従来技術を用いることで、ユーザが、バーコードの読み取り動作を行ったか否かを自動的に判定することが可能となる。

図１７は、従来技術を説明するための図である。図１７に示す例では、画像データ１０が入力されると、セルフレジの領域１０ａを検出し、セルフレジのスキャン領域１０ｂを検出する。従来技術では、ユーザの把持した商品の領域１０ｃを検出し、検出した商品の領域１０ｃがスキャン領域１０ｂに入った場合に、ユーザがバーコードの読み取り動作を行ったと判定する。

特開２０２０－５３０１９号公報

しかしながら、上述した従来技術では、商品の会計漏れを検出することができないという問題がある。

図１７において、購入対象の商品を、セルフレジのスキャン領域１０ｂに移動させたものの、バーコードの読み取りの失敗に気づかないユーザや、スキャン領域１０ｂにおいて、バーコードを読み込ませるふりをするユーザが存在する。たとえば、ユーザが、バーコードをスキャン領域１０ｂに移動させた後、バーコードを読み込ませるふりをした場合、従来技術では、バーコードの読み取り動作を行ったと判定してしまう。

１つの側面では、本発明は、商品の会計漏れを検出することができる通知プログラム、通知方法および情報処理装置を提供することを目的とする。

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、会計機が商品のコードを読み込むことで生成された商品情報を取得する。コンピュータは、取得した商品情報に基づいて、商品の購入数を示す第一の回数を計数する。コンピュータは、会計機の前のユーザを撮影した画像から、ユーザが会計機に商品を登録する動作を特定する。コンピュータは、動作を行った回数を示す第二の回数を計数する。コンピュータは、第一の回数と、第二の回数とを基にして、アラートを通知する。

商品の会計漏れを検出することができる。

図１は、本実施例に係るシステムの一例を示す図である。 図２は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。 図３は、商品情報のデータ構造の一例を示す図である。 図４は、モデル情報を説明するための図である。 図５は、データテーブルのデータ構造の一例を示す図である。 図６は、判定テーブルのデータ構造の一例を示す図である。 図７は、追跡部の処理を説明するための図である。 図８は、計数部の処理を説明するための図である。 図９は、追跡処理の処理手順を示すフローチャート（１）である。 図１０は、追跡処理の処理手順を示すフローチャート（２）である。 図１１は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。 図１２は、登録動作回数計数処理の処理手順を示すフローチャートである。 図１３は、その他の処理（１）を説明するための図である。 図１４は、その他の処理（２）を説明するための図である。 図１５は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図１６は、セルフレジのハードウェア構成例を説明する図である。 図１７は、従来技術を説明するための図である。

以下に、本願の開示する通知プログラム、通知方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係るシステムの一例を示す図である。図１に示すように、このシステム５は、カメラ３０と、セルフレジ５０と、管理者端末６０と、情報処理装置１００とを有する。

情報処理装置１００は、カメラ３０およびセルフレジ５０に接続される。情報処理装置１００は、ネットワーク３を介して、管理者端末６０に接続される。カメラ３０およびセルフレジ５０は、ネットワーク３を介して、情報処理装置１００に接続されてもよい。

カメラ３０は、セルフレジ５０を含む領域の映像を撮影するカメラである。カメラ３０は、映像のデータを、情報処理装置１００に送信する。以下の説明では、映像のデータを「映像データ」と表記する。

映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラ３０があるタイミングで撮影した静止画像である。

セルフレジ５０は、商品を購入するユーザ２が、商品のバーコードの読み取りから精算までを行うＰＯＳレジシステムである。たとえば、ユーザ２が、購入対象の商品を、セルフレジ５０のスキャン領域に移動させると、セルフレジ５０は、商品のバーコードをスキャンする。

ユーザ２は、上記の動作を繰り返し実行し、商品のスキャンが完了すると、セルフレジ５０のタッチパネル等を操作し、精算要求を行う。セルフレジ５０は、精算要求を受け付けると、購入対象の商品の数、購入金額等を提示し、精算処理を実行する。セルフレジ５０は、ユーザ２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を、記憶部に格納しておき、商品情報として、情報処理装置１００に送信する。

管理者端末６０は、店舗の管理者が利用する端末装置である。管理者端末６０は、情報処理装置１００から、アラートの通知等を受け付ける。

情報処理装置１００は、カメラ３０から取得した映像データから特定されるユーザ２が商品をセルフレジ５０に登録する動作を行った回数と、商品情報から特定される商品の購入数とを基にして、アラートを管理者端末６０に通知する装置である。以下の説明では、ユーザ２が、商品をセルフレジ５０に登録する動作を行った回数を「登録動作回数」と表記する。

たとえば、登録動作回数と、購入数とが異なる場合には、商品の会計漏れが発生しているといえる。このため、情報処理装置１００が、登録動作回数と、購入数とを基にして、アラートを通知することで、商品の会計漏れを検出することができる。

次に、図１に示した情報処理装置１００の構成の一例について説明する。図２は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図２に示すように、情報処理装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

通信部１１０は、カメラ３０、セルフレジ５０、管理者端末６０等の間で、データ通信を実行する。たとえば、通信部１１０は、カメラ３０から映像データを受信する。通信部１１０は、セルフレジ５０から商品情報を受信する。

入力部１２０は、各種の情報を、情報処理装置１００に入力する入力装置である。入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、タッチパネル等に対応する。

記憶部１４０は、映像バッファ１４１、商品情報１４２、モデル情報１４３、データテーブル１４４、判定テーブル１４５、登録動作回数情報１４６を有する。記憶部１４０は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

映像バッファ１４１は、カメラ３０に撮影された映像データを格納する。映像データには、時系列の複数の画像フレームが含まれる。

商品情報１４２は、セルフレジ５０から取得する情報であって、ユーザ２がスキャンを開始してから、精算要求を行うまでの間にスキャンした商品の情報を有する。図３は、商品情報のデータ構造の一例を示す図である。図３に示すように、商品情報１４２は、日時情報と、商品識別情報とを対応付ける。

日時情報は、セルフレジ５０が商品のバーコードを読み取った日時を示す。商品識別情報は、商品を一意に識別する情報である。たとえば、図３の１行目では、日時「２０２１年９月１０日１０時１３分３０秒」において、商品識別情報「item１０１」の商品のバーコードをスキャンした旨が示される。

モデル情報１４３は、画像フレームが入力された場合に、ユーザ（ヒト）と商品（モノ）との相互作用に関する情報を出力するＮＮ（Neural Network）である。たとえば、モデル情報１４３は、ＨＯＩＤ（Human Object Interaction Detection）に対応する。

図４は、モデル情報を説明するための図である。図４に示すように、画像フレーム３１をモデル情報１４３に入力することで、検出情報３２が出力される。検出情報３２には、ユーザ領域情報３２ａ、商品領域情報３２ｂ、相互作用情報３２ｃが含まれる。

ユーザ領域情報３２ａは、画像フレーム３１に含まれるユーザの領域を座標（左上のｘ、ｙ座標、右下のｘ、ｙ座標）によって示す。商品領域情報３２ｂは、画像フレーム３１に含まれる商品の領域を座標（左上のｘ、ｙ座標、右下のｘ、ｙ座標）によって示す。また、商品領域情報３２ｂには、商品固有のクラス名が含まれる。

相互作用情報３２ｃは、画像フレーム３１から検出されたユーザと商品との相互作用の確率値と、相互作用のクラス名とが含まれる。相互作用のクラス名は「把持（ユーザが商品を把持）」等のクラス名が設定される。

本実施例に係るモデル情報１４３は、ユーザと商品との間に相互作用が存在する場合にのみ、検出情報３２を出力する。たとえば、ユーザが商品を把持している状態の画像フレームをモデル情報１４３に入力すると、検出情報３２が出力される。一方、ユーザが商品を把持していない状態の画像フレームをモデル情報１４３に入力すると、検出情報３２が出力されない。

データテーブル１４４は、各画像フレームから検出される商品を追跡する場合に利用するデータテーブルである。図５は、データテーブルのデータ構造の一例を示す図である。図５に示すように、データテーブル１４４は、検出結果テーブル１４４ａ、追跡中物体テーブル１４４ｂ、追跡休止物体テーブル１４４ｃを有する。

検出結果テーブル１４４ａは、モデル情報１４３から出力される商品領域の座標を保持するテーブルである。以下の説明では、商品領域の座標を「商品領域座標」と表記する。商品領域座標を［第１要素、第２要素、第３要素、第４要素］によって示す。第１要素は、商品領域の左上ｘ座標を示す。第２要素は、商品領域の左上ｙ座標を示す。第３要素は、商品領域の右下ｘ座標を示す。第４要素は、商品領域の右下ｙ座標を示す。

追跡中物体テーブル１４４ｂは、追跡中の商品に関する情報を保持するテーブルである。追跡中物体テーブル１４４ｂは、ＩＤ（identification）と、商品領域座標と、ロストカウントと、ステイカウントとを有する。ＩＤは、商品領域座標に付与される識別情報である。商品領域座標は、商品領域の座標を示す。

ロストカウントは、商品領域座標に対応する商品が検出されない状態となった場合にカウントされる画像フレームの数を示す。ステイカウントは、商品領域座標に対応する商品が動いていない状態となった場合にカウントされる画像フレームの数を示す。

追跡休止物体テーブル１４４ｃは、追跡を休止している商品に関する情報を保持するテーブルである。追跡休止物体テーブル１４４ｃは、ＩＤと、商品領域座標と、フラグとを有する。ＩＤは、商品領域座標に付与される識別情報である。商品領域座標は、商品領域の座標を示す。

フラグは、追跡休止物体テーブル１４４ｃのＩＤおよび商品領域座標を、追跡中物体テーブル１４４ｂに戻すか否かを示す情報である。フラグが「true」に設定されている場合には、該当レコードのＩＤおよび商品領域座標を、追跡中物体テーブル１４４ｂに戻すことを示す。フラグが「false」に設定されている場合には、該当レコードのＩＤおよび商品領域座標を、追跡中物体テーブル１４４ｂに戻さないこと示す。

図５の説明に戻る。判定テーブル１４５は、登録動作回数をカウントする場合に用いるテーブルである。本実施例では、画像フレームから特定される商品領域座標が、予め設定されるスキャン領域の外部から、スキャン領域の内部に移動した場合に、登録動作回数に１を加算する。情報処理装置１００は、判定テーブル１４５を用いることで、同一の商品がスキャン領域に対して複数回出入りしても、登録動作回数に加算される回数が１回となるようにすることが可能となる。

図６は、判定テーブルのデータ構造の一例を示す図である。図６に示すように、この判定テーブル１４５は、ＩＤと、前フレーム位置と、カウント済みフラグとを対応付ける。ＩＤは、商品領域座標に付与される識別情報である。前フレーム位置は、前回の画像フレームから検出された商品領域座標が、スキャン領域の外部であるか内部であるのかを識別する情報である。

ここで、該当するＩＤの商品領域座標であって、前回の画像フレームから検出された商品領域座標が、スキャン領域の外部となる場合には、前フレーム位置に「ＯＵＴ」が設定される。前回の画像フレームから検出された商品領域座標が、スキャン領域の内部となる場合には、前フレーム位置に「ＩＮ」が設定される。カウント済みフラグは、該当するＩＤに関して、登録動作回数に１を加算する処理を行ったか否かを識別するフラグである。

本実施例では、カウント済みフラグの初期値に「false」が設定される。該当するＩＤの商品領域座標の前画像フレーム位置が「ＯＵＴ」に設定されている状態で、現画像フレーム位置から検出された該当するＩＤの商品領域座標が「ＩＮ」となった場合に、登録動作回数に１が加算される。この場合に、カウント済みフラグが「false」から「true」に更新される。

登録動作回数情報１４６は、登録動作回数の情報を有する。

図２の説明に戻る。制御部１５０は、取得部１５１、追跡部１５２、計数部１５３、判定部１５４を有する。制御部１５０は、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）により実現される。また、制御部１５０は、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実行されてもよい。

取得部１５１は、カメラ３０から映像データを取得し、取得した映像データを映像バッファ１４１に格納する。取得部１５１は、セルフレジ５０から商品情報１４２を取得し、取得した商品情報１４２を、記憶部１４０に格納する。

追跡部１５２は、映像バッファ１４１に格納された映像データ（時系列の画像フレーム）を基にして、商品領域座標を追跡する。たとえば、追跡部１５２は、画像フレームを順にモデル情報１４３に入力して商品領域座標を特定し、データテーブル１４４を更新する処理を繰り返し実行する。以下において、追跡部１５２の処理の一例について説明する。

追跡部１５２は、映像バッファ１４１に格納された画像フレームを、モデル情報１４３に入力し、検出情報に含まれる商品領域座標を取得する。追跡部１５２は、商品領域座標を、検出結果テーブル１４４ａに登録する。以下の説明では、検出結果テーブル１４４ａの商品領域座標を「第１商品領域座標」と表記する。追跡中物体テーブル１４４ｂの商品領域座標を「第２商品領域座標」と表記する。追跡休止物体テーブル１４４ｃの商品領域座標を「第３商品領域座標」と表記する。

なお、追跡部１５２は、比較対象となる各商品領域座標の中心間の距離を基にして、「類似度」を算出する。類似度は、比較対象となる各商品領域座標の中心間の距離が短いほど、大きな値となる。中心間の距離と、類似度との関係は予め定義されているものとする。

追跡部１５２は、第１商品領域座標と、追跡休止物体テーブル１４４ｃの各第３商品領域座標とを比較して、類似度が閾値Ｔｈ１以上となる第１商品領域座標と、第３商品領域座標との組が存在するか否かを判定する。閾値Ｔｈ１の値は予め設定される。

追跡部１５２は、類似度が閾値Ｔｈ１以上となる第１商品領域座標と、第３商品領域座標との組が存在する場合には、追跡休止物体テーブル１４４ｃにおいて次の処理を実行する。追跡部１５２は、第１商品領域座標との類似度が閾値Ｔｈ１以上となる第３商品領域座標を有するエントリのフラグを「true」に設定する。また、追跡部１５２は、第３商品領域座標との類似度が閾値Ｔｈ１以上となる第１商品領域座標を有するエントリを、検出結果テーブル１４４ａから削除する。

追跡部１５２は、第１商品領域座標と、追跡中物体テーブル１４４ｂの各第２商品領域座標とを比較して、第１商品領域座標と第２商品領域座標との類似度の最大値を特定する。追跡部１５２は、類似度の最大値が、閾値Ｔｈ３以上の場合には、「該当する商品が動いていない」と判定する。追跡部１５２は、類似度の最大値が、閾値Ｔｈ３未満、閾値Ｔｈ２以上の場合には、「該当する商品を追跡可能」と判定する。追跡部１５２は、閾値Ｔｈ２未満の場合には、「該当する商品を追跡不可」と判定する。閾値Ｔｈ２、Ｔｈ３の値は予め設定される。ただし、閾値Ｔｈ３の値は、閾値Ｔｈ２の値よりも大きいものとする。

図７は、追跡部の処理を説明するための図である。図７のケース１Ａにおいて、第１商品領域座標に特定される商品の領域を、商品領域２０ａとし、第２商品領域座標に特定される商品の領域を、商品領域２１ａとする。追跡部１５２は、商品領域２０ａと、商品領域２１ａとの距離が距離ｌＡ未満の場合（距離に基づく類似度が、閾値Ｔｈ３以上の場合）、「該当する商品が動いていない」と判定する。

追跡部１５２は、「該当する商品が動いていない」と判定した場合、追跡中物体テーブル１４４ｂの商品領域２１ａ（第２商品領域座標）に対応するエントリにおいて、ステイカウントに１を加算する。

図７のケース１Ｂにおいて、第１商品領域座標に特定される商品の領域を、商品領域２０ｂとし、第２商品領域座標に特定される商品の領域を、商品領域２１ｂとする。追跡部１５２は、商品領域２０ｂと、商品領域２１ｂとの距離が距離１Ａ以上、ｌＢ未満の場合（距離に基づく類似度が、閾値Ｔｈ３未満、閾値Ｔｈ２以上の場合）「該当する商品を追跡可能」と判定する。

追跡部１５２は、「該当する商品を追跡可能」と判定した場合、追跡中物体テーブル１４４ｂの商品領域２１ｂ（第２商品領域座標）に対応するエントリにおいて、第２商品領域座標を、第１商品領域座標に更新する。追跡部１５２は、追跡中物体テーブル１４４ｂの商品領域２１ｂ（第２商品領域座標）に対応するエントリにおいて、ステイカウントを０に設定する。

図７のケース１Ｃにおいて、第１商品領域座標に特定される商品の領域を、商品領域２０ｃとし、第２商品領域座標に特定される商品の領域を、商品領域２１ｃとする。追跡部１５２は、商品領域２０ｃと、商品領域２１ｃとの距離が距離ｌＢ以上の場合（距離に基づく類似度が、閾値Ｔｈ２未満の場合）「該当する商品を追跡不可」と判定する。

追跡部１５２は、「該当する商品を追跡不可」と判定した場合、追跡中物体テーブル１４４ｂに、商品領域２０ｃに対応する第１商品領域座標の新規のエントリを登録する。追跡部１５２は、新規のエントリを登録する場合、新規のＩＤを割り当て、ステイカウントを０、ロストカウントを０に設定する。

ここで、追跡部１５２は、追跡中物体テーブル１４４ｂの各エントリのうち、第１商品領域座標との類似度が閾値Ｔｈ２以上とならない第２商品領域座標を有するエントリについては、ロストカウントに１を加算する。

追跡部１５２は、追跡中物体テーブル１４４ｂの各エントリのうち、ロストカウンタが閾値Ｔｈ４を超えたエントリを抽出する。追跡部１５２は、抽出したエントリのうち、ステイカウンタの値が閾値Ｔｈ５以上となるエントリについては、該当するエントリ（ＩＤ、第２商品領域座標）を、追跡休止物体テーブル１４４ｃに移動し、フラグを「false」に設定する。

追跡部１５２は、抽出したエントリのうち、ステイカウンタの値が閾値Ｔｈ５未満となるエントリについては、該当するエントリを削除する。

追跡部１５２は、追跡休止物体テーブル１４４ｃの各エントリのうち、フラグが「true」となるエントリを、追跡中物体テーブル１４４ｂに移動させて、ステイカウンタを０に設定する。

追跡部１５２は、検出結果テーブル１４４ａに新たなエントリが登録される度に、上記処理を繰り返し実行し、追跡中物体テーブル１４４ｂ、追跡休止物体テーブル１４４ｃを更新する。

図２の説明に戻る。計数部１５３は、データテーブル１４４の追跡中物体テーブル１４４ｂを基にして、ユーザがセルフレジ５０で商品を登録する動作を特定し、動作を行った登録動作回数を計数する。計数部１５３は、登録動作回数を、登録動作回数情報１４６として、記憶部１４０に登録する。以下において、計数部１５３の処理の一例について説明する。

図８は、計数部の処理を説明するための図である。図８のステップＳ１について説明する。計数部１５３は、予め、スキャン領域１０ｂの座標を保持しているものとする。計数部１５３は、追跡中物体テーブル１４４ｂを参照し、新規のＩＤのエントリが追加されると、新規のＩＤと同一のＩＤを設定したエントリを、判定テーブル１４５に追加する。計数部１５３は、判定テーブル１４５にエントリを追加する場合に、カウント済みフラグを「false」に設定する。以下の説明では、説明の便宜上、判定テーブル１４５に追加したＩＤを、ＩＤ「１」として説明を行う。商品の領域１０ｃに対応する第２商品領域座標に付与されたＩＤをＩＤ「１」とする。

計数部１５３は、追跡中物体テーブル１４４ｂのＩＤ「１」のエントリの第２商品領域座標と、スキャン領域１０ｂとを比較する。計数部１５３は、第２商品領域座標が、スキャン領域１０ｂに含まれない場合には、判定テーブル１４５に追加するＩＤ「１」のエントリの前フレーム位置を「ＯＵＴ」に設定する。計数部１５３は、第２商品領域座標が、スキャン領域１０ｂに含まれる場合には、判定テーブル１４５に追加するＩＤ「１」のエントリの前フレーム位置を「ＩＮ」に設定する。図８のステップＳ１に示す例では、第２商品領域座標に対応する商品の領域１０ｃが、スキャン領域１０ｂに含まれていないため、判定テーブル１４５に追加するＩＤ「１」のエントリの前フレーム位置を「ＯＵＴ」に設定する。

図８のステップＳ２の説明に移行する。計数部１５３は、追跡中物体テーブル１４４ｂを監視し、追跡中物体テーブル１４４ｂが更新される度に、ＩＤ「１」に対応する第２商品領域座標と、スキャン領域１０ｂとを比較する。計数部１５３は、ＩＤ「１」に対応する第２商品領域座標（商品の領域１０ｃ）が、スキャン領域１０ｂに含まれる領域に移動した際に、判定テーブル１４５のＩＤ「１」のエントリを参照し、前フレーム位置と、カウント済みフラグとを参照する。

計数部１５３は、判定テーブル１４５のＩＤ「１」のエントリについて、前フレーム位置が「ＯＵＴ」、カウント済みフラグが「false」の場合には、登録動作回数に１を加算する。また、計数部１５３は、登録動作回数に１を加算した後に、前フレーム位置を「ＩＮ」に更新し、カウント済みフラグを「true」に更新する。

一方、計数部１５３は、前フレーム位置が「ＩＮ」となる場合、または、カウント済みフラグが「true」となる場合には、登録動作回数に１を加算する処理をスキップする。

計数部１５３は、追跡中物体テーブル１４４ｂに新規のＩＤのエントリが追加される度に、上記処理を繰り返し実行する。計数部１５３は、追跡中物体テーブル１４４ｂに追加されたエントリのＩＤと同一のＩＤが、判定テーブル１４５に登録されたエントリのＩＤと同一の場合、新規のＩＤに対応するエントリを、判定テーブル１４５に登録する処理をスキップする。

判定部１５４は、商品情報１４２と、登録動作回数情報１４６とを基にして、アラートを管理者端末６０に通知する。以下において、判定部１５４の処理の一例について説明する。

判定部１５４は、商品情報１４２を取得し、購入数を特定する。たとえば、判定部１５４は、商品情報１４２の日時情報の異なるレコードの数を、購入数として特定する。

判定部１５４は、購入数と、登録動作回数情報１４６の登録動作回数とが異なる場合には、アラートを管理者端末６０に送信する。たとえば、判定部１５４は、購入数が、登録動作回数よりも少ない場合には、会計漏れの恐れがあるため、購入数が、登録動作回数よりも少ない場合には、会計漏れを検出した旨のアラートを、管理者端末６０に通知する。

一方、判定部１５４は、購入数と、登録動作回数情報１４６の登録動作回数とが一致する場合には、アラートを通知する処理をスキップする。

次に、本実施例に係る情報処理装置１００の追跡部１５２が実行する追跡処理の一例について説明する。図９および図１０は、追跡処理の処理手順を示すフローチャートである。図９に示すように、情報処理装置１００の追跡部１５２は、追跡中物体テーブル１４４ｂ、追跡休止物体テーブル１４４ｃを初期化する（ステップＳ１０１）。

追跡部１５２は、映像バッファ１４１から画像フレームを取得し、モデル情報１４３に入力することで、検出情報を取得する（ステップＳ１０２）。追跡部１５２は、検出情報に含まれる第１商品領域座標を、検出結果テーブル１４４ａに登録する（ステップＳ１０３）。

追跡部１５２は、第１商品領域座標と、追跡休止物体テーブル１４４ｃの第３商品領域座標との類似度が閾値Ｔｈ１となるエントリが存在する否かを判定する（ステップＳ１０４）。追跡部１５２は、エントリが存在する場合には（ステップＳ１０５，Ｙｅｓ）、ステップＳ１０６に移行する。一方、追跡部１５２は、エントリが存在しない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０８に移行する。

追跡部１５２は、追跡休止物体テーブル１４４ｃの該当エントリのフラグを「true」に設定する（ステップＳ１０６）。追跡部１５２は、検出結果テーブル１４４ａから該当エントリを削除する（ステップＳ１０７）。

追跡部１５２は、第１商品領域座標と、追跡中物体テーブル１４４ｂの第２商品領域座標との類似度が、閾値Ｔｈ２以上となるエントリが存在するか否かを判定する（ステップＳ１０８）。追跡部１５２は、エントリが存在する場合には（ステップＳ１０９，Ｙｅｓ）、ステップＳ１１０に移行する。一方、追跡部１５２は、エントリが存在しない場合には（ステップＳ１０９，Ｎｏ）、図１０のステップＳ１１５に移行する。

追跡部１５２は、追跡中物体テーブル１４４ｂの該当エントリの第２商品領域座標を、第１商品領域座標に更新する（ステップＳ１１０）。追跡部１５２は、第１商品領域座標と、追跡中物体テーブル１４４ｂの第２商品領域座標との類似度が、閾値Ｔｈ３以上となるエントリが存在するか否かを判定する（ステップＳ１１１）。

追跡部１５２は、エントリが存在する場合には（ステップＳ１１２，Ｙｅｓ）、追跡中物体テーブル１４４ｂの該当エントリのステイカウントに１を加算し（ステップＳ１１３）、図１０のステップＳ１１５に移行する。

一方、追跡部１５２は、エントリが存在しない場合には（ステップＳ１１２，Ｎｏ）、追跡中物体テーブル１４４ｂの該当エントリのステイカウントを０に更新し（ステップＳ１１４）、図１０のステップＳ１１５に移行する。

図１０の説明に移行する。追跡部１５２は、第２商品領域座標との類似度が、閾値Ｔｈ２未満となる第１商品領域情報に新規のＩＤを割り当てたエントリを、追跡中物体テーブル１４４ｂに追加する（ステップＳ１１５）。追跡部１５２は、追跡中物体テーブル１４４ｂに追加したエントリのステイカウントを０に設定する（ステップＳ１１６）。

追跡部１５２は、追跡中物体テーブル１４４ｂのエントリのうち、第１商品領域座標との類似度が閾値Ｔｈ２未満となる第２商品領域座標を有するエントリのロストカウントに１を加算する（ステップＳ１１７）。

追跡部１５２は、追跡中物体テーブル１４４ｂのエントリのうち、ステイカウンタの値が閾値Ｔｈ５以上となるエントリが存在するか否かを判定する（ステップＳ１１８）。追跡部１５２は、エントリが存在する場合には（ステップＳ１１９，Ｙｅｓ）、ステップＳ１２１に移行する。一方、追跡部１５２は、エントリが存在しない場合には（ステップＳ１１９，Ｎｏ）、ステップＳ１２１に移行する。

追跡部１５２は、ステイカウンタの値が閾値Ｔｈ５以上となるエントリを、追跡休止物体テーブル１４４ｃに移動させ、フラグを「false」に設定する（ステップＳ１２０）。追跡部１５２は、追跡休止物体テーブル１４４ｃのフラグが「true」となるエントリを、追跡中物体テーブル１４４ｂへ移動させ、ステイカウントを０に設定する（ステップＳ１２２）。なお、追跡部１５２は、ステイカウンタの値が閾値Ｔｈ５以上となるエントリを削除し（ステップＳ１２１）、ステップＳ１２２に移行する。

追跡部１５２は、処理を継続する場合には（ステップＳ１２３，Ｙｅｓ）、図９のステップＳ１０２に移行する。一方、追跡部１５２は、処理を継続しない場合には（ステップＳ１２３，Ｎｏ）、処理を終了する。

次に、本実施例に係る情報処理装置の処理手順について説明する。図１１は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１１に示すように、情報処理装置１００の取得部１５１は、セルフレジ５０から商品情報１４２を取得し、記憶部１４０に格納する（ステップＳ２０１）。

情報処理装置１００の計数部１５３は、商品情報を基にして、購入数を計数する（ステップＳ２０２）。計数部１５３は、登録動作回数計数処理を実行する（ステップＳ２０３）。

情報処理装置１００の判定部１５４は、購入数と登録動作回数とが一致するか否かを判定する（ステップＳ２０４）。判定部１５４は、購入数と登録動作回数とが一致する場合には（ステップＳ２０５，Ｙｅｓ）、処理を終了する。

一方、判定部１５４は、購入数と登録動作回数とが一致しない場合には（ステップＳ２０５，Ｎｏ）、アラートを管理者端末６０に通知する（ステップＳ２０６）。

次に、図１１のステップＳ２０３で説明した登録動作回数計数処理の処理手順の一例について説明する。図１２は、登録動作回数計数処理の処理手順を示すフローチャートである。図１２に示すように、情報処理装置１００の計数部１５３は、追跡中物体テーブル１４４ｂの監視を開始する（ステップＳ３０１）。

計数部１５３は、追跡中物体テーブル１４４ｂに新規ＩＤのエントリが追加された場合には（ステップＳ３０２，Ｙｅｓ）、ステップＳ３０３に移行する。計数部１５３は、追跡中物体テーブル１４４ｂに新規ＩＤのエントリが追加されていない場合には（ステップＳ３０２，Ｎｏ）、ステップＳ３０５に移行する。

計数部１５３は、新規ＩＤのエントリの第２商品領域座標とスキャン領域とを基にして、前フレーム位置を特定する（ステップＳ３０３）。計数部１５３は、新規ＩＤ、前フレーム位置、カウント済みフラグ「false」を設定したエントリを判定テーブル１４５に追加する（ステップＳ３０４）。

計数部１５３は、判定テーブル１４５の各エントリのＩＤに対応する第２商品領域座標と、スキャン領域とを基にして、現フレーム位置を特定する（ステップＳ３０５）。計数部１５３は、判定テーブル１４５の未選択のエントリを選択する（ステップＳ３０６）。

計数部１５３は、選択したエントリの前フレーム位置が「ＯＵＴ」、かつ、カウント済みフラグが「false」となり、ＩＤに対応する選択したエントリのＩＤに対応する現フレーム位置が「ＩＮ」となる条件を満たすか否かを判定する（ステップＳ３０７）。

計数部１５３は、条件を満たす場合には（ステップＳ３０８，Ｙｅｓ）、ステップＳ３０９に移行する。計数部１５３は、条件を満たさない場合には（ステップＳ３０８，Ｎｏ）、ステップＳ３１１に移行する。

計数部１５３は、登録動作回数に１を加算する（ステップＳ３０９）。計数部１５３は、選択したエントリの前フレーム位置を「ＩＮ」、カウント済みフラグを「true」に更新する（ステップＳ３１０）。

計数部１５３は、判定テーブル１４５のエントリを全て選択していない場合には（ステップＳ３１１，Ｎｏ）、ステップＳ３０６に移行する。計数部１５３は、判定テーブル１４５のエントリを全て選択した場合には（ステップＳ３１１，Ｙｅｓ）、ステップＳ３１２に移行する。

計数部１５３は、処理を継続する場合には（ステップＳ３１２，Ｙｅｓ）、ステップＳ３０２に移行する。計数部１５３は、処理を継続しない場合には（ステップＳ３１２，Ｎｏ）、登録動作回数計数処理を終了する。

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、セルフレジ５０から取得する商品情報１４２から特定される購入数と、商品の領域とスキャン領域とを比較して計数される登録動作回数とを基にして、アラートを通知する。たとえば、登録動作回数と、購入数とが異なる場合には、商品の会計漏れが発生しているといえ、情報処理装置１００が、登録動作回数と、購入数とを基にして、アラートを通知することで、商品の会計漏れを検出することができる。

ところで、上述した実施例の処理内容は一例であり、情報処理装置１００は他の処理を更に実行してもよい。以下の説明では、情報処理装置１００が実行するその他の処理について説明する。

情報処理装置１００が実行するその他の処理（１）について説明する。情報処理装置１００の計数部１５３は、予め設定されたスキャン領域を用いて、処理を実行していたがこれに限定されるものではない。計数部１５３は、映像バッファ１４１に登録された画像フレームを解析し、買い物カゴが配置される第一のエリアと、スキャン領域に対応する第二のエリアとを特定し、特定した第二のエリアを用いて、登録動作回数を計数してもよい。

図１３は、その他の処理（１）を説明するための図である。図１３に示す例では、画像フレーム４０から、第一のエリア４０ａと、第二のエリア４０ｂとが特定されている。計数部１５３は、パターンマッチ等の従来技術を用いて、第一のエリア４０ａ、第二のエリア４０ｂを特定してもよいし、機械学習済みの機械学習モデルを用いて、第一のエリア４０ａ、第二のエリア４０ｂを特定してもよい。たとえば、かかる機械学習モデルは、画像フレームを入力とし、第一のエリア、第二のエリアの座標を正解データとする教師データを用いて機械学習を実行したモデルである。

計数部１５３が処理を実行している最中にセルフレジ５０が移動した場合や、カメラ３０の位置が変更された場合には、予め設定されたスキャン領域を用いて、処理を実行すると、登録動作回数を精度よく計数することができない。これに対して、映像バッファ１４１に登録された画像フレームを解析し、スキャン領域に対応する第二のエリアを特定することで、スキャン領域を正確に特定でき、登録動作回数を精度よく計数することができる。

情報処理装置１００が実行するその他の処理（２）について説明する。上記の情報処理装置１００では、セルフレジ５０から取得する商品情報１４２を基にして、購入数を計数していたが、これに限定されるものではない。セルフレジ５０では、精算処理を実行する場合に、表示画面に商品の購入数を表示する。このため、情報処理装置１００は、カメラ３０（あるいは、他のカメラ）が撮影した表示画面の画像フレームに対して画像解析を実行することで、購入数を特定してもよい。

図１４は、その他の処理（２）を説明するための図である。図１４の画像フレーム４１は、セルフレジ５０の表示画面に対応する。画像フレーム４１の領域４１ａには、商品の購入数を示す領域４１ａが含まれる。計数部１５３は、領域４１ａを画像解析することで、購入数を特定する。

上記のように、計数部１５３が、セルフレジ５０の表示画面の画像フレームを解析して商品の購入数を特定することで、情報処理装置１００は、セルフレジ５０に接続していなくても、登録動作回数と、購入数とを比較してアラートを通知できる。

次に、上記実施例に示した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１５は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。なお、本実施例では、バーコードを用いて説明を行ったが、ＱＲ（Quick Response）コード等であってもよい。

図１５に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、有線または無線ネットワークを介して、カメラ３０、外部装置等との間でデータの授受を行う通信装置２０４と、インタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

ハードディスク装置２０７は、取得プログラム２０７ａ、追跡プログラム２０７ｂ、計数プログラム２０７ｃ、判定プログラム２０７ｄを有する。また、ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｄを読み出してＲＡＭ２０６に展開する。

取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。追跡プログラム２０７ｂは、追跡プロセス２０６ｂとして機能する。計数プログラム２０７ｃは、計数プロセス２０６ｃとして機能する。判定プログラム２０７ｄは、判定プロセス２０６ｄとして機能する。

取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。追跡プロセス２０６ｂの処理は、追跡部１５２の処理に対応する。計数プロセス２０６ｃの処理は、計数部１５３の処理に対応する。判定プロセス２０６ｄの処理は、判定部１５４の処理に対応する。

なお、各プログラム２０７ａ～２０７ｄについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｄを読み出して実行するようにしてもよい。

図１６は、セルフレジ５０のハードウェア構成例を説明する図である。図１６に示すように、セルフレジ５０は、通信インタフェース４００ａ、ＨＤＤ４００ｂ、メモリ４００ｃ、プロセッサ４００ｄ、入力部４００ｅ、出力部４００ｆを有する。また、図１７に示した各部は、バスなどで相互に接続される。

通信インタフェース４００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ４００ｂは、セルフレジ５０の各機能を動作させるプログラムやデータを記憶する。

プロセッサ４００ｄは、セルフレジ５０の各機能の処理を実行するプログラムをＨＤＤ４００ｂなどから読み出してメモリ４００ｃに展開することで、セルフレジ５０の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ５０が有する各処理部と同様の機能を実行する。

このように、セルフレジ５０は、セルフレジ５０の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ５０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ５０の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ５０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

また、セルフレジ５０の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

入力装置４００ｅは、プロセッサ４００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ５０はさらに表示部を備え、入力装置４００ｅによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力装置４００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。また、入力装置４００ｅは、バーコードの読み取りをする。入力装置４００ｅは、例えば、バーコードリーダである。バーコードリーダは、光源と光センサを持ち、バーコードをスキャンする。

出力装置４００ｆは、プロセッサ４００ｄによって実行されるプログラムから出力されるデータをセルフレジ５０に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ５０が表示部を備える場合、セルフレジ５０は出力装置４００ｆを備えなくてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）会計機が商品のコードを読み込むことで生成された商品情報を取得し、
取得した前記商品情報に基づいて、商品の購入数を示す第一の回数を計数し、
前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し、
前記動作を行った回数を示す第二の回数を計数し、
前記第一の回数と、前記第二の回数とを基にして、アラートを通知する
処理をコンピュータに実行させることを特徴とする通知プログラム。

（付記２）ユーザが前記商品の会計をするエリアが撮影された画像の中から、前記会計機に隣接するカゴが配置される第一のエリアと、ユーザの把持した前記商品のコードを前記会計機が読み込む第二のエリアとを特定し、前記動作を特定する処理は、前記第二のエリアにおいて、ユーザが前記会計機に前記商品を登録する動作を識別することを特徴とする付記１に記載の通知プログラム。

（付記３）前記通知する処理は、前記第一の回数と、前記第二の回数との差分に基づいて、ユーザが商品未払いであることをアラートで通知することを特徴とする付記１または２に記載の通知プログラム。

（付記４）前記商品情報を取得する処理は、前記会計機が前記商品のコードを読み込むことで前記会計機の記憶部に保存される前記商品情報を取得することを特徴とする付記１に記載の通知プログラム。

（付記５）前記商品情報を取得する処理は、前記会計機が前記商品のコードを読み込むことで前記会計機の表示画面に表示される画像情報を基にして、前記商品情報を取得することを特徴とする付記１に記載の通知プログラム。

（付記６）会計機が商品のコードを読み込むことで生成された商品情報を取得し、
取得した前記商品情報に基づいて、商品の購入数を示す第一の回数を計数し、
前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し
前記動作を行った回数を示す第二の回数を計数し、
前記第一の回数と、前記第二の回数とを基にして、アラートを通知する
処理をコンピュータが実行することを特徴とする通知方法。

（付記７）ユーザが前記商品の会計をするエリアが撮影された画像の中から、前記会計機に隣接するカゴが配置される第一のエリアと、ユーザの把持した前記商品のコードを前記会計機が読み込む第二のエリアとを特定し、
前記動作を特定する処理は、前記第二のエリアにおいて、ユーザが前記会計機に前記商品を登録する動作を識別することを特徴とする付記６に記載の通知方法。

（付記８）前記通知する処理は、前記第一の回数と、前記第二の回数との差分に基づいて、ユーザが商品未払いであることをアラートで通知することを特徴とする付記６または７に記載の通知方法。

（付記９）前記商品情報を取得する処理は、前記会計機が前記商品のコードを読み込むことで前記会計機の記憶部に保存される前記商品情報を取得することを特徴とする付記６に記載の通知方法。

（付記１０）前記商品情報を取得する処理は、前記会計機が前記商品のコードを読み込むことで前記会計機の表示画面に表示される画像情報を基にして、前記商品情報を取得することを特徴とする付記６に記載の通知方法。

（付記１１）会計機が商品のコードを読み込むことで生成された商品情報を取得する取得部と、
取得した前記商品情報に基づいて、商品の購入数を示す第一の回数を計数し、前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し前記動作を行った回数を示す第二の回数を計数する計数部と、
前記第一の回数と、前記第二の回数とを基にして、アラートを通知する判定部と
を有することを特徴とする情報処理装置。

（付記１２）前記計数部は、ユーザが前記商品の会計をするエリアが撮影された画像の中から、前記会計機に隣接するカゴが配置される第一のエリアと、ユーザの把持した前記商品のコードを前記会計機が読み込む第二のエリアとを更に特定し、前記第二のエリアにおいて、ユーザが前記会計機に前記商品を登録する動作を識別することを特徴とする付記１１に記載の情報処理装置。

（付記１３）前記判定部は、前記第一の回数と、前記第二の回数との差分に基づいて、ユーザが商品未払いであることをアラートで通知することを特徴とする付記１１または１２に記載の情報処理装置。

（付記１４）前記取得部は、前記会計機が前記商品のコードを読み込むことで前記会計機の記憶部に保存される前記商品情報を取得することを特徴とする付記１１に記載の情報処理装置。

（付記１５）前記取得部は、前記会計機が前記商品のコードを読み込むことで前記会計機の表示画面に表示される画像情報を基にして、前記商品情報を取得することを特徴とする付記１１に記載の情報処理装置。

３０ カメラ
５０ セルフレジ
６０ 管理者端末
１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 映像バッファ
１４２ 商品情報
１４３ モデル情報
１４４ データテーブル
１４５ 判定テーブル
１４６ 登録動作回数情報
１５０ 制御部
１５１ 取得部
１５２ 追跡部
１５３ 計数部
１５４ 判定部

Claims (7)

1. 商品の購入数を表示する会計機の表示画面を撮像した画像フレームを基にして、前記商品の購入数を示す第一の回数を計数し、
   前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し、
   前記動作を行った回数を示す第二の回数を計数し、
   前記第一の回数と、前記第二の回数とを基にして、アラートを通知する
   処理をコンピュータに実行させることを特徴とする通知プログラム。
2. ユーザが前記商品の会計をするエリアが撮影された画像の中から、前記会計機に隣接するカゴが配置される第一のエリアと、ユーザの把持した前記商品のコードを前記会計機が読み込む第二のエリアとを特定し、
   前記動作を特定する処理は、前記第二のエリアにおいて、ユーザが前記会計機に前記商品を登録する動作を識別することを特徴とする請求項１に記載の通知プログラム。
3. 前記通知する処理は、前記第一の回数と、前記第二の回数との差分に基づいて、ユーザが商品未払いであることをアラートで通知することを特徴とする請求項１または２に記載の通知プログラム。
4. 前記会計機が前記商品のコードを読み込むことで前記会計機の記憶部に保存される前記商品の商品情報を取得する処理を前記コンピュータに実行させることを特徴とする請求項１に記載の通知プログラム。
5. 前記第二の回数を計数する処理は、
   前記画像において前記商品の存在する商品領域を特定し、
   特定した前記商品領域に識別情報を付与し、
   前記ユーザが前記商品を登録する動作を行ったか否かを、前記識別情報を付与した前記商品領域毎に判定し、
   判定の結果、前記ユーザが前記商品を登録する動作を行っていれば、前記第二の回数に１を加算し、
   前記識別情報と、前記識別情報を付与した前記商品領域に関して、前記第二の回数に１を加算したか否かを示すカウント済みフラグとを、紐づけて記録することを特徴とする請求項１に記載の通知プログラム。
6. 商品の購入数を表示する会計機の表示画面を撮像した画像フレームを基にして、前記商品の購入数を示す第一の回数を計数し、
   前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し
   前記動作を行った回数を示す第二の回数を計数し、
   前記第一の回数と、前記第二の回数とを基にして、アラートを通知する
   処理をコンピュータが実行することを特徴とする通知方法。
7. 商品の購入数を表示する会計機の表示画面を撮像した画像フレームを基にして、前記商品の購入数を示す第一の回数を計数し、前記会計機の前のユーザを撮影した画像から、前記ユーザが前記会計機に商品を登録する動作を特定し前記動作を行った回数を示す第二の回数を計数する計数部と、
   前記第一の回数と、前記第二の回数とを基にして、アラートを通知する判定部と
   を有することを特徴とする情報処理装置。

Images