JP7318679B2

JP7318679B2 - 情報処理プログラム、情報処理方法、および情報処理装置

Info

Publication number: JP7318679B2
Application number: JP2021125672A
Authority: JP
Inventors: 源太鈴木
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2021-07-30
Filing date: 2021-07-30
Publication date: 2023-08-01
Anticipated expiration: 2041-07-30
Also published as: EP4125056B1; EP4125056A1; JP2023020356A; US20230034988A1

Description

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。

小売店においては、レジの混雑を解消するために、顧客自らが商品をスキャンして登録し、会計を行うシステムの導入が進んでいる。さらに近年では、顧客が、小売店の店舗内で貸し出される端末や顧客の所持する端末にインストールしたアプリケーションを用いて、レジ以外の場所、例えば、各商品をピックアップした売場で商品スキャンを行うシステムの導入が始まっている。このような顧客自らが商品スキャンを行うシステムでは、万引きなどの不正行動を検知するため商品のスキャン漏れを検知することが必要になる。

一方、小売店において顧客の不正行動を検知するシステムとして、例えば、店舗内の監視カメラを使って、顧客の不審行動や、万引きなどの不正行動を検知するシステムが開発されている。

特開２０１９－１９３０８９号公報米国特許出願公開第２０１７／００４６７０７号明細書

しかしながら、各売場では種類やサイズ、単価の異なる様々な商品が棚などに収容されており、例えば、棚から商品を取り出したり、商品スキャンを行ったりする顧客の動作は、商品の種類やサイズなどによって変わってくる。そのため、商品によってスキャン漏れを検知する精度を維持することができない、または困難である場合があった。

１つの側面では、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知する精度を向上させることができる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。

１つの態様において、情報処理プログラムは、撮像した画像から、店舗に滞在する人物の骨格情報を生成し、骨格情報を用いて、人物の商品に対する特定の動作を検出し、画像の中の人物の位置情報を用いて、店舗において特定の動作を検出した時に人物が滞在しているエリアを特定し、特定されたエリアと対応づけられた設定情報を特定し、特定された設定情報に基づいて、人物の商品に対する行動を評価するためのパラメータを変更する処理をコンピュータに実行させる。

１つの側面では、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知する精度を向上させることができる。

図１は、実施例１にかかる不正検知システムの構成例を示す図である。図２は、実施例１にかかるセルフスキャンによる商品購入の一例を示す図である。図３は、実施例１にかかるセルフスキャンによる商品購入の別例を示す図である。図４は、実施例１にかかる撮像画像からの不正検知の一例を示す図である。図５は、実施例１にかかる不正検知装置１０の構成例を示す図である。図６は、実施例１にかかるエリア情報３３に記憶されるデータの一例を示す図である。図７は、実施例１にかかる不正検知処理の一例を示す図である。図８は、実施例１にかかる物体検出および骨格検出の一例を示す図である。図９は、実施例１にかかる商品取り出し動作特定の一例を示す図である。図１０は、実施例１にかかるカゴ入れ動作特定の一例を示す図である。図１１は、実施例１にかかる商品登録動作特定の例を示す図である。図１２は、実施例１にかかるパラメータ変更の一例を示す図である。図１３は、実施例１にかかる行動評価の一例を示す図である。図１４は、実施例１にかかる行動評価の別例を示す図である。図１５は、実施例１にかかる不正検知処理の流れを示すフローチャートである。図１６は、不正検知装置１０のハードウェア構成例を説明する図である。図１７は、情報処理端末１０００のハードウェア構成例を説明する図である。図１８は、セルフレジ端末４００のハードウェア構成例を説明する図である。図１９は、ゲート用リーダ５００のハードウェア構成例を説明する図である。図２０は、骨格情報の例を示す図である。図２１は、全身の姿勢判定を説明する図である。

以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

まず、本実施形態を実施するための不正検知システムについて説明する。図１は、実施例１にかかる不正検知システムの構成例を示す図である。図１に示すように、不正検知システム１は、不正検知装置１０と、利用者端末１００－１～１００－ｎ（ｎは任意の整数。以下、まとめて「利用者端末１００」という）とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。

また、不正検知装置１０は、カメラ装置２００－１～２００－ｍ（ｍは任意の整数。以下、まとめて「カメラ装置２００」という）や店員端末３００ともネットワーク５０を介して相互に通信可能に接続される。

ネットワーク５０には、有線や無線を問わず、例えば、小売店の店舗内で利用されるイントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。なお、小売店の店舗内は、屋内に限定されず、敷地内の屋外を含んでよい。

不正検知装置１０は、例えば、小売店の店舗内に設置され、店舗スタッフや管理者などによって使用されるデスクトップＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。

不正検知装置１０は、カメラ装置２００によって小売店の店舗内や敷地内など所定の撮像範囲を撮像した複数の画像を、カメラ装置２００から受信する。なお、複数の画像とは、厳密には、カメラ装置２００によって撮影される映像、すなわち、動画の一連のフレームである。

また、不正検知装置１０は、既存の物体検知技術を用いて、撮像画像から、店舗に滞在する顧客（以下、単に「人物」という場合がある）、当該人物が持つ買い物カゴ（以下、単に「カゴ」という場合がある）や利用者端末１００を特定する。また、不正検知装置１０は、既存の骨格検出技術を用いて、撮像画像から、特定された人物の骨格情報を生成して人物の姿勢を推定し、商品をカゴに入れる動作や利用者端末１００に対して登録する動作を特定する。

また、不正検知装置１０は、各顧客の商品に対する行動を評価する。より具体的には、不正検知装置１０は、例えば、各顧客に対し、商品をカゴに入れる動作を特定したのに、当該商品を利用者端末１００に対して登録する動作が特定されない場合、商品のスキャン漏れが発生していると判定する。そして、不正検知装置１０は、商品のスキャン漏れなど、顧客の不正行動を検知した場合、店員端末３００にアラートを通知する。

なお、図１では、不正検知装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、不正検知装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。

利用者端末１００は、商品を購入するために、顧客自らが商品のバーコードなどをスキャンして購入商品の登録を行うための情報処理端末である。利用者端末１００は、顧客が所有するスマートフォンやタブレットＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）などのモバイル端末であってもよいし、店舗内で貸し出される専用端末であってもよい。利用者端末１００には、商品をスキャンして登録などするためのアプリケーションが予めインストールされる。

カメラ装置２００は、例えば、小売店の店舗内や敷地内に設置される監視カメラである。なお、図１では、カメラ装置２００を複数台示しているが、例えば、狭い店舗などの場合は１台であってもよい。カメラ装置２００によって撮影された映像は、不正検知装置１０に送信される。

店員端末３００は、小売店の店員が所持するスマートフォンやタブレットＰＣなどのモバイル端末であってもよいし、店舗内の所定位置に設置されるデスクトップＰＣやノートＰＣなどの情報処理装置であってもよい。店員端末３００は、商品のスキャン漏れなど、顧客の不正行動が不正検知装置１０によって検知された場合に、不正検知装置１０からアラートを受信する。なお、店員端末３００は、例えば、店舗の店員ごとに複数存在してよいが、当該アラートが通知される端末は、例えば、出口付近の警備を担当する店員が所持する端末などに限定されてもよい。

次に、図２および図３を用いて、顧客自らが商品をスキャンして登録し（以下、「セルフスキャン」という場合がある）、商品の購入を行う方法について説明する。図２は、実施例１にかかるセルフスキャンによる商品購入の一例を示す図である。

図２に示すように、まず、顧客は、利用者端末１００に表示されるアプリケーションを介して、訪れた店舗を選択する。次に、顧客は、購入する商品を取り、例えば、商品や商品棚などに貼付された商品ごとのバーコードなどを、利用者端末１００を用いて読み取る（以下、「商品スキャン」という場合がある）。これにより、購入する商品が、アプリケーションに登録される。

次に、顧客は、セルフレジ端末４００などのディスプレイ部に表示される支払いコードをスキャンする。そして、セルフレジ端末４００の精算画面に表示された金額を支払うことで商品の購入が完了する。また、顧客は、利用者端末１００に表示された支払い完了コードを、店舗の出口などに設置されるゲート用リーダ５００などに読み取らせることで店外に出ることができる。なお、セルフレジ端末４００およびゲート用リーダ５００は、図１には示されていないが、ネットワーク５０を介して不正検知装置１０と相互に通信可能に接続される。

次に、セルフスキャンによる商品購入の別例について説明する。図３は、実施例１にかかるセルフスキャンによる商品購入の別例を示す図である。

図３に示すように、まず、顧客は、利用者端末１００に表示されるアプリケーションにログインし、訪れた店舗を選択する。次に、顧客は、購入する商品を取り、例えば、購入する商品や商品棚などに貼付された商品ごとのバーコードなどを、利用者端末１００を用いて読み取る。

次に、顧客は、店舗内のチェックポイントに購入商品の入ったカゴを置き、利用者端末１００に表示される「会計ボタン」や「購入ボタン」などを押下することで、購入商品の会計を実行する。なお、購入商品の支払いは、利用者端末１００に表示されるアプリケーションを介して、電子マネーやクレジットカードなどにより行うことができる。そして、顧客は、利用者端末１００に表示された決済完了コードを、店舗の出口などに設置されるゲート用リーダ５００などに読み取らせることで店外に出ることができる。

以上、図２および図３を用いて、セルフスキャンによる商品購入について説明した。しかしながら、セルフスキャンでは、例えば、顧客が商品スキャンを行わずに商品をカゴに入れ、セルフレジを通らずに支払いを免れることができてしまう。または、顧客が購入商品の一部のみをスキャンし、スキャンした商品のみをセルフレジで会計することで、一部の商品の支払いを免れることができてしまう。特に、商品の点数が少数の場合の不正行動は店員などによって発見し易いが、例えば、商品の点数が多数で一部の商品のスキャンを行わない場合などは店員などによる発見は困難である。

また、不正検知装置１０によって商品のスキャン漏れを検知する場合、商品スキャンの動作は商品の種類やサイズなどによって変わってくるため、正しく検知できない場合がある。また、商品のスキャン漏れを検知する場合、さらに以下のような問題も発生し得る。例えば、すべての顧客が、利用者端末１００を用いて商品スキャンを行うとは限らない。すなわち、一部の顧客は、従来通り、セルフレジでまとめて会計を行ったり、店員によるレジ打ちによって会計を行ったりする場合もあり得る。換言すると、商品スキャンを行わなかった者が必ずしも不正行動者であるとは限らない。そのため、例えば、カメラ装置２００による映像から商品スキャンを行わなかった者を検知するだけでは、通常のレジ会計を行う顧客も検知してしまうため、不正行動者を正確に特定することが困難である。

図４は、実施例１にかかる撮像画像からの不正検知の一例を示す図である。図４は、カメラ装置２００によって撮像された店舗内の画像の一例である。図４に示すように、店舗内には、利用者端末１００を用いてセルフスキャンによる商品購入を行うセルフスキャン対象者１５０－１～１５０－３と、セルフスキャンによらない従来通りの商品購入を行う通常レジ対象者１６０－１～１６０－３が混在し得る。

例えば、図４の例では、セルフスキャン対象者１５０－１のみがセルフスキャンを意図的に行っていないスキャン漏れ対象者であったとする。そのため、図４のように、セルフスキャン対象者１５０－１のみがスキャン漏れ対象者として検知されることが不正検知としての正解である。

しかしながら、不正検知装置１０が、商品を利用者端末１００に登録する動作を行っていない者をスキャン漏れ対象者と判定する場合、そもそも当該動作を行う必要のない通常レジ対象者１６０－１～１６０－３までもスキャン漏れ対象者として検知してしまう。

また、カメラ装置２００の映像から商品スキャンを行わなかった者を検知する場合、不正検知装置１０に送信される情報量や処理する情報量が増加し、処理負荷が高くなるという問題も発生し得る。そこで、本実施形態は、このような問題を解消しつつ、セルフスキャンによる商品購入時の不正行動の検知精度を向上させることを目的の一つとする。

［不正検知装置１０の機能構成］
次に、不正検知装置１０の機能構成について説明する。図５は、実施例１にかかる不正検知装置１０の構成例を示す図である。図５に示すように、不正検知装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、利用者端末１００やカメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）インタフェースや、ネットワークインタフェースカードなどの通信インタフェースである。

記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。記憶部３０は、画像ＤＢ３１、骨格情報３２、およびエリア情報３３などを記憶する。

画像ＤＢ３１は、カメラ装置２００によって撮像された一連のフレームである複数の撮像画像を記憶する。また、画像ＤＢ３１は、当該撮像画像に対して特定された人物や物体の画像中の位置情報を記憶できる。

骨格情報３２は、カメラ装置２００によって撮像された撮像画像から特定された人物の骨格情報を記憶する。骨格情報の生成については後述する。

エリア情報３３は、商品の売場や棚など、商品の販売エリア（以下、単に「エリア」という場合がある）に関する情報を記憶する。図６は、実施例１にかかるエリア情報３３に記憶されるデータの一例を示す図である。図６に示すように、エリア情報３３は、エリアを一意に識別するための識別子である「エリア」、エリアの位置情報を示す「エリア座標」、エリアの区分を示す「エリア区分」などを対応付けて記憶する。

ここで、販売エリアは、売場単位の大きいエリアであってもよいし、商品棚の１つの棚のような小さいエリアであってもよい。また、「エリア座標」には、例えば、図６に示すように、カメラ装置２００によって撮像される撮像画像における画素の位置情報が設定されてよい。図６の例では、各エリアは、「エリア座標」によって示される４点を結ぶ四角形によって示される範囲内であってよい。また、「エリア区分」には、エリアで販売される商品の種類やサイズ、価格帯を示す文字列や数値が設定されてよい。

なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。

制御部４０は、不正検知装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、特定部４１、生成部４２、評価部４３、および通知部４４を備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

特定部４１は、カメラ装置２００によって撮像された撮像画像から、店舗に滞在する人物、および当該人物が利用している物体を特定する。当該物体には、例えば、カゴや商品、利用者端末１００のみならず、商品の売場や棚など、人物が滞在している販売エリアが含まれてよい。なお、人物を特定する処理は、異なる時刻で撮像された撮像画像から、人物の容姿および移動量に基づいて、異なる時刻における同一の人物を追跡する処理を含んでよい。また、人物が滞在しているエリアを特定する処理は、撮像画像の中の人物と、商品の売場や棚との位置情報を用いて、対象人物が滞在している販売エリアを特定する処理を含んでよい。

また、特定部４１は、特定されたエリアと対応づけられた設定情報を特定する。当該設定情報は、例えば、エリア情報３３の「エリア区分」などであってよい。

また、特定部４１は、特定された物体と、生成部４２によって生成された骨格情報とに基づいて、人物が商品を収容した棚から商品を取り出す動作を検出して特定する。また、特定部４１は、人物が取り出した商品をカゴに入れる動作と、人物が利用者端末１００に対して購入対象の商品を登録する動作とを検出して特定する。なお、特定部４１は、人物が所持する利用者端末１００を特定することにより、各動作の特定を、利用者端末１００を所持するセルフスキャン対象者のみに限定してもよい。

ここで、商品を取り出す動作を特定する処理は、例えば、人物の手が商品棚などの領域に入った後、人物が立つ、しゃがむ、またはかがむ姿勢をし、その手を含む腕を前に向け、手が所定の速度以上で動いている場合に取り出し動作を特定する処理を含んでよい。

また、商品をカゴに入れる動作を特定する処理は、例えば、特定された物体と骨格情報とに基づいて、人物の手が所定の速度以上で動きながら、特定されたカゴの領域に入ってから出た場合にカゴ入れ動作を特定する処理を含んでよい。

また、購入対象の商品を登録する動作を特定する処理は、特定された物体と骨格情報とに基づいて、人物の手が、特定されたカゴの画像上の領域の所定範囲内に入り、その手を含む腕を前に向け所定時間動かない場合に商品登録動作を特定する処理を含んでよい。また、別例では、商品登録動作の特定処理は、少なくとも右手または左手を前に出し、どちらかの手と特定された利用者端末１００の画像上の領域との距離が所定距離以内と近く、両手が一定時間止まっている場合に商品登録動作を特定する処理を含んでよい。さらに別例では、商品登録動作の特定処理は、手と利用者端末１００の領域との距離が近く、さらに利用者端末１００の領域と商品用のバーコード用ＲＯＩ（ＲｅｇｉｏｎＯｆＩｎｔｅｒｅｓｔ）との距離が近い場合に商品登録動作を特定する処理を含んでよい。なお、バーコード用ＲＯＩは、撮像画像中の商品登録用のバーコードの所在を示す領域であり、予め設定される。また、各領域との距離が近いとは、例えば、画像中の領域の中心座標との距離が近いことをいう。

生成部４２は、カメラ装置２００によって撮像された撮像画像から、特定部４１によって特定された人物の骨格情報を生成する。

評価部４３は、特定部４１によって特定された設定情報に基づいて、人物の商品に対する行動を評価するためのパラメータを変更する。当該パラメータを変更する処理は、商品棚などから取り出す動作やカゴに入れる動作のスピードに対するパラメータを変更する処理を含んでよい。当該パラメータを変更する処理は、商品をカゴに入れる動作と、利用者端末１００に登録する動作との検出時間の差分、すなわち猶予時間に対するパラメータを変更する処理を含んでよい。例えば、大型商品の場合、各動作に対して時間がかかってしまうことが考えられるため、各動作に対するスピードや、各動作間の猶予時間に対するパラメータは、小型商品より遅い動作であっても対応できるように変更される。

評価部４３は、各パラメータに基づいて人物の商品に対する行動を評価する。例えば、評価部４３は、商品をカゴに入れる動作を検出した時間から、当該商品を利用者端末１００に登録する動作を検出するまでの時間が、パラメータによって設定された猶予時間、例えば、１０秒以内でない場合に人物が不正をしたと評価してよい。

また、人物の行動を評価する処理は、例えば、商品をカゴに入れる動作など、特定の動作を検出した時に人物が滞在しているエリアや、人物の年齢および性別などに基づいて重み付けして行動を評価する処理を含む。例えば、商品をカゴに入れる動作を検出した時に人物が滞在しているエリアが高額商品売場である場合や、不正行動の頻度が比較的高い１０代男性などの場合に重み付けして行動を評価することで、評価基準を厳格化して不正行動を検知し易くできる。逆に、不正行動の頻度が低い年代などの場合に、評価基準が緩和されるように重み付けして評価してもよい。

通知部４４は、評価部４３による行動の評価によって、人物が不正をしたと判定された場合、店員端末３００にアラートを通知する。なお、アラートの通知は、メッセージや音声などの出力であってよい。また、通知部４４は、アラートの通知と共に、不正をした人物を特定する情報、例えば、不正をした人物が写った撮像画像を店員端末３００に送信できる。なお、撮像画像に複数人の人物が写っている場合、通知部４４は、不正をした人物を枠で囲むなど、不正をした人物を特定し易いように撮像画像を加工してよい。

［機能詳細］
次に、不正検知装置１０を動作主体として実行される不正検知処理について図７～１４を用いて詳細に説明する。図７は、実施例１にかかる不正検知処理の一例を示す図である。図７に示される撮像画像２５０は、カメラ装置２００によって撮像された小売店の店舗内の撮像画像の一例である。不正検知装置１０は、撮像画像２５０から人物や物体を特定する。撮像画像２５０からの物体特定について図８を用いて説明する。

図８は、実施例１にかかる物体検出および骨格検出の一例を示す図である。図８の右上に示すように、不正検知装置１０は、例えば、既存の物体検出アルゴリズムを用いて、撮像画像２５１から人物（person）やカゴ（basket）を検出して特定する。ここで、既存の物体検出アルゴリズムとは、例えば、ＦａｓｔｅｒＲ－ＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）など深層学習を用いた物体検出アルゴリズムである。また、ＹＯＬＯ（ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ）やＳＳＤ（ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉｂｏｘＤｅｔｅｃｔｏｒ）などの物体検出アルゴリズムであってもよい。

また、人物やカゴ以外でも、例えば、商品や利用者端末１００、商品の売場や棚など、商品の販売エリア、人物の服装などが撮像画像から検出されてよい。これにより、不正検知装置１０は、例えば、利用者端末１００を持っているのにセルフスキャンを行わないことを検知できる。また、不正検知装置１０は、例えば、人物がどの販売エリアに滞在し、商品を購入しようとしているかを判定できる。また、不正検知装置１０は、例えば、利用者端末１００を所持していない人物や、店員の制服を着用する人物を不正検知処理の対象から除外することができる。このように、不正検知装置１０は、不正検知をする必要のない人物を処理対象から除外することにより、処理負荷を軽減させることができる。

また、不正検知装置１０は、例えば、既存のアルゴリズムによって、撮像画像から特定された人物の年齢を判断し、人物間の親子関係などのグループ関係を特定することもできる。これにより、例えば、親子関係の場合は、対象人物のどちらか一方が商品スキャンを行えば、商品のスキャン漏れは発生していないと判定されてもよい。

また、図８の右下に示すように、不正検知装置１０は、例えば、既存の骨格推定アルゴリズムを用いて、撮像画像２５１から特定された人物の骨格を検出する。ここで、既存の骨格推定アルゴリズムとは、例えば、ＤｅｅｐＰｏｓｅ、ＯｐｅｎＰｏｓｅなどのＨｕｍａｎＰｏｓｅＥｓｔｉｍａｔｉｏｎなど深層学習を用いた骨格推定アルゴリズムである。

例えば、不正検知装置１０は、画像データ（各フレーム）を訓練済みの機械学習モデルに入力することで、骨格情報を取得する。図２０は、骨格情報の例を示す図である。骨格情報は、公知の骨格モデルで特定される各関節をナンバリングした、１８個（０番から１７番）の定義情報を用いることができる。例えば、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。したがって、不正検知装置１０は、図２０に示した１８個の骨格の座標情報を、画像データから取得することができる。例えば、不正検知装置１０は、７番の右肩関節の位置として「Ｘ座標＝Ｘ７、Ｙ座標＝Ｙ７、Ｚ座標＝Ｚ７」を取得する。なお、例えば、Ｚ軸は、撮像装置から対象に向けた距離方向、Ｙ軸は、Ｚ軸に垂直な高さ方向、Ｘ軸は、水平方向と定義することができる。

また、不正検知装置１０は、骨格のパターンをあらかじめ訓練した機械学習モデルを用いて、立つ・歩く・しゃがむ・座る・寝るなどの全身の姿勢を判定することもできる。例えば、不正検知装置１０は、図２０の骨格情報や美技図のような一部の関節と関節間の角度をMultilayer Perceptronで訓練した機械学習モデルを用いることで、最も近い全身の姿勢を判定することもできる。図２１は、全身の姿勢判定を説明する図である。図２１に示すように、不正検知装置１０は、１０番の「HIP_LEFT」と１１番の「KNEE_LEFT」との間の関節の角度（ａ）、１４番の「HIP_RIGHT」と１５番の「KNEE_RIGHT」との間の関節の角度（ｂ）、１１番の「KNEE_LEFT」の角度（ｃ）、１５番の「KNEE_RIGHT」の角度（ｄ）などを取得することで、全身の姿勢を検知することができる。

また、不正検知装置１０は、一部の関節と関節間の角度とを特徴量とし、立つ、しゃがむなどといった全身の姿勢を正解ラベルとして機械学習により生成した、ＭｕｌｔｉＬａｙｅｒＰｅｒｃｅｐｔｒｏｎなどの機械学習モデルを用いて姿勢を推定してもよい。

また、不正検知装置１０は、姿勢推定アルゴリズムとして、１枚の撮像画像から３次元的な姿勢を推定するＶＮｅｃｔなどの３ＤＰｏｓｅｅｓｔｉｍａｔｉｏｎを用いてもよい。また、不正検知装置１０は、例えば、２次元の骨格情報から３次元の関節データを生成する３ｄ－ｐｏｓｅ－ｂａｓｅｌｉｎｅを用いて、３次元の関節データから姿勢を推定してもよい。

また、不正検知装置１０は、人物の顔や腕、肘などといった部位ごとの向きや曲げた場合の角度などに基づいて部位別の動作を特定し、人物の姿勢を推定してもよい。なお、姿勢推定や骨格推定のアルゴリズムは１種類に限定されず、複数のアルゴリズムを用いて複合的に姿勢や骨格が推定されてよい。

図９は、実施例１にかかる商品取り出し動作特定の一例を示す図である。図９に示すように、不正検知装置１０は、例えば、撮像画像２５２から、エリアＡ、Ｂ、Ｃや人物の骨格情報を検出する。エリアＡ、Ｂ、Ｃは、図９の例では、商品棚の個々の棚の領域であるが、例えば、売場単位など、より大きな領域であってもよい。各エリアは、例えば、エリア情報３３の「エリア座標」に予め設定された、撮像画像における画素の位置情報に基づいて特定されてよい。

そして、不正検知装置１０は、特定された各エリアと、人物の骨格情報とに基づいて、人物が商品を収容した棚から商品を取り出す動作を特定する。より具体的には、不正検知装置１０は、例えば、人物の手がエリアＡの領域に入った後、人物が立つ、しゃがむ、またはかがむ姿勢をし、その手を含む腕を前に向け、手が所定の速度以上で動いている場合に、エリアＡに置かれた商品を取り出す動作を特定する。ここで、手が所定の速度以上で動いていることは、例えば、連続して撮像された撮像画像の各々から特定された手の動き、すなわち移動量から判断可能である。また、不正検知装置１０は、例えば、撮像画像から特定された各商品と手先の骨格との動きを判断して、商品が取り出されたか、さらに、どの商品が取り出されたかなど、より詳細な動作を特定できる。

図１０は、実施例１にかかるカゴ入れ動作特定の一例を示す図である。図１０に示すように、不正検知装置１０は、例えば、人物の手が所定の速度以上で動きながら、特定されたカゴの領域に入ってから出た場合に、人物が商品をカゴに入れる動作を特定する。また、不正検知装置１０は、例えば、撮像画像から特定された各商品と手先の骨格との動きを判断して、どの商品がカゴに入れられたかなど、より詳細な動作を特定できる。

図１１は、実施例１にかかる商品登録動作特定の例を示す図である。図１１では、特定される商品登録動作を例として３つ示す。例えば、図１１に商品登録動作１として示すように、不正検知装置１０は、特定されたカゴの領域の所定範囲内で人物の両肘が前に曲げられたまま所定時間動かない場合に、人物が利用者端末１００に対して購入対象の商品を登録する動作を特定する。

また、図１１に商品登録動作２として示すように、少なくとも右手または左手を前に出し、どちらかの手と特定された利用者端末１００の画像上の領域との距離が所定距離以内と近く、両手が一定時間止まっている場合に、商品登録動作が特定される。

また、図１１に商品登録動作３として示すように、手と利用者端末１００の領域との距離が所定距離以内と近く、さらに利用者端末１００の領域と商品用のバーコード用ＲＯＩとの距離が所定距離以内と近い場合に、商品登録動作が特定される。また、不正検知装置１０は、例えば、各商品のバーコード面を検出して、どの商品が登録されたかなど、より詳細な動作を特定できる。

なお、不正検知装置１０が各動作を特定する際、撮像画像を直接処理するのではなく、撮像画像からより情報量の少ない骨格情報を生成して処理することにより、処理負荷を低減させることができる。

図７の説明に戻り、不正検知装置１０は、図８～１１を用いて説明したように、撮像画像２５０から人物や物体を特定し、特定された人物の商品取り出し動作やカゴ入れ動作、商品登録動作を特定する。また、不正検知装置１０は、撮像画像２５０から各動作を検出した時に人物が滞在しているエリアを特定し、特定されたエリアによって、人物の商品に対する行動を評価するためのパラメータを変更する。パラメータの変更とは、例えば、各動作を特定するための動作スピードに対するパラメータや、各動作間の猶予時間に対するパラメータを変更することである。各パラメータの変更について図１２を用いて説明する。

図１２は、実施例１にかかるパラメータ変更の一例を示す図である。不正検知装置１０は、特定されたエリアと対応づけられた設定情報に基づいて、人物の商品に対する行動を評価するためのパラメータを変更する。図１２に示す「エリア」、「エリア座標」、「棚区分」は、図６に示すエリア情報３３と同一の情報であり、不正検知装置１０によって人物が滞在しているエリアとして特定され得る各エリアと対応付けられた情報である。

一方、「棚から商品を取る速度Ｘ」、「カゴに入れる速度Ｙ」、「商品登録までの時間Ｔ」は人物の商品に対する行動を評価するためのパラメータである。「棚から商品を取る速度Ｘ」や「カゴに入れる速度Ｙ」は、例えば、連続して撮像された撮像画像における手の移動量の閾値である。不正検知装置１０は、例えば、当該閾値以上の速度で手が動いており、各動作の他の条件を満たす場合に、その手の動作は棚から商品を取る動作やカゴに入れる動作と判断する。換言すると、各動作の条件を満たしていても、手のスピードが当該閾値未満である場合は、各動作とは判断されない。図１２に示すように、「棚から商品を取る速度Ｘ」および「カゴに入れる速度Ｙ」はエリアごとに設定され、人物の行動を評価する際、特定されたエリアに応じて変更される。

このようにして、不正検知装置１０は、各動作の検出精度を向上させつつ、不要な動作を誤検出してその後の不要な処理を継続することを抑止し、処理負荷を軽減させることができる。なお、図１２の「棚から商品を取る速度Ｘ」および「カゴに入れる速度Ｙ」の設定値は一例であり、閾値の下限ではなく上限が設定されてもよい。この場合は、上限内の速度で手が動いており、各動作の他の条件を満たす場合に、その手の動作は棚から商品を取る動作やカゴに入れる動作と判断される。

「商品登録までの時間Ｔ」は、例えば、商品をカゴに入れた時から、当該商品を利用者端末１００に登録するまでの時間（秒）の閾値である。不正検知装置１０は、例えば、商品をカゴに入れた動作を検出してから、当該商品を利用者端末１００に登録する動作を検出するまでの時間が「商品登録までの時間Ｔ」を超えた場合、人物が不正をしたと評価する。なお、商品を利用者端末１００に登録してから、当該商品をカゴに入れる場合も有り得るが、この場合は、商品を登録する動作を検出するまでの時間がマイナス時間になるため、「商品登録までの時間Ｔ」を超えることはなく、人物が不正をしたと評価されない。

なお、「棚から商品を取る速度Ｘ」、「カゴに入れる速度Ｙ」、「商品登録までの時間Ｔ」に設定される閾値は、実際の顧客の動作に基づいて機械学習などによって調整されてよい。例えば、図１２の例では、エリアＣの「商品登録までの時間Ｔ」に１５秒が設定されているが、各顧客の実際の動作を検出した結果、１５秒以上かかる場合が一定数ある場合などは、２０秒や２５秒などの値に調整されてよい。

再び図７の説明に戻り、不正検知装置１０は、図１２を用いて説明したように、特定されたエリアによって、人物の商品に対する行動を評価するための各パラメータを変更する。そして、不正検知装置１０は、各パラメータと、撮像画像２５０から特定された人物の各動作とに基づいて、人物の商品に対する行動を評価する。図１３は、実施例１にかかる行動評価の一例を示す図である。

図１３に示す行動評価の一例は、撮像画像における人物の動作を４段階で判定し、当該人物の行動を評価するものである。まず、１段階目として、不正検知装置１０は、人物の骨格情報および撮像画像から特定された商品棚を用いて、撮像画像における人物の手が商品棚を示す所定領域に入っているか否かを判定する。

次に、人物の手が商品棚の領域に入っている場合、２段階目として、不正検知装置１０は、人物の骨格情報および撮像画像から特定された商品棚を用いて、人物が商品棚から商品を取り出したか否かを判定する。商品を取り出したか否かの判定について、例えば、人物が立つ、しゃがむ、またはかがむ姿勢をし、商品棚の領域に入った手を含む腕を前に向け、手が所定の速度Ｘ以上で動いている場合に、不正検知装置１０は、人物が商品棚から商品を取り出したと判定する。

次に、人物の商品棚から商品を取り出した場合、３段階目として、不正検知装置１０は、人物の骨格情報および撮像画像から特定されたカゴを用いて、人物が取り出した商品をカゴに入れたか否かを判定する。商品をカゴに入れたか否かの判定について、例えば、人物の手が所定の速度Ｙ以上で動きながら、特定されたカゴの領域に入ってから出た場合に、不正検知装置１０は、人物が商品をカゴに入れたと判定する。また、さらに撮像画像から特定された利用者端末１００を用いて、人物の手と利用者端末１００の領域との距離が所定距離以内と近く、人物が利用者端末１００を所持していることを、人物が取り出した商品をカゴに入れたか否かを判定する条件の１つとしてよい。

次に、商品をカゴに入れた場合、４段階目として、不正検知装置１０は、人物の骨格情報および撮像画像から特定されたカゴを用いて、人物がカゴに入れた商品をスキャンして利用者端末１００に登録したか否かを判定する。商品を登録したか否かの判定について、例えば、人物が立つ姿勢をし、腕を前に向け手が特定されたカゴの領域に入っている場合に、不正検知装置１０は、人物が商品を利用者端末１００に登録したと判定する。また、この際も、人物が利用者端末１００を所持していることを、動作の判定条件の１つとしてよい。

そして、人物が商品をカゴに入れてから、所定時間Ｔ以内に商品を利用者端末１００に登録する動作が行われないと判定した場合、不正検知装置１０は、当該人物はスキャン漏れ対象者であると判定し、店員端末３００にアラートを通知する。なお、図１３の例では、人物の動作を４段階で判定しているが、４段階より少ないまたは多い段階数の判定を行ってもよい。また、不正検知装置１０は、撮像画像２５０から人物の年齢および性別などの人物属性を特定し、特定された人物属性に基づいて重み付けして行動を評価してもよい。

また、図１３に示すように人物の行動評価を段階的に行うことで、各段階の判定条件に合致しない場合に不正検知装置１０はそれ以降の処理を実行する必要はなく、処理負荷を軽減させることができる。このような段階的な判定処理は、例えば、エリアの数と顧客の行動との組み合わせによって、顧客の不正行動を評価するための判定条件が増加してしまい、不正行動を検出するための処理量が増加してしまう可能性のある本実施形態に適している。

なお、図１３の例では、商品をカゴに入れてから利用者端末１００に登録するパターンを示したが、不正検知装置１０は、商品を利用者端末１００に登録してからカゴに入れるパターンの行動評価を行うこともできる。図１４は、実施例１にかかる行動評価の別例を示す図である。

図１４に示す行動評価の別例も、図１３の例と同様、撮像画像における人物の動作を４段階で判定し、当該人物の行動を評価するものである。図１４の例における１段階目および２段階目の判定は、図１３の例と同様である。

そして、人物の商品棚から商品を取り出した場合、３段階目として、不正検知装置１０は、人物の骨格情報および撮像画像から特定された利用者端末１００を用いて、人物が取り出した商品をスキャンして利用者端末１００に登録したか否かを判定する。商品を登録したか否かの判定について、例えば、少なくとも右手または左手を前に出し、どちらかの手と利用者端末１００の画像上の領域との距離が所定距離以内と近く、両手が一定時間止まっている場合に、不正検知装置１０は、人物が商品を登録したと判定する。

次に、人物の商品を利用者端末１００に登録した場合、４段階目として、不正検知装置１０は、人物の骨格情報および撮像画像から特定されたカゴを用いて、人物が取り出した商品をカゴに入れたか否かを判定する。４段階目の商品のカゴ入れ動作の判定条件は、例えば、図１３の３段階目に示したカゴ入れ動作の判定条件と同様である。

そして、人物が商品をカゴに入れてから、所定時間Ｔ以内に商品を利用者端末１００に登録する動作が行われないと判定した場合、不正検知装置１０は、当該人物はスキャン漏れ対象者であると判定し、店員端末３００にアラートを通知する。このスキャン漏れ対象の判定条件は、図１３の判定条件と同様であってよい。これは、図１４に示すような、商品を利用者端末１００に登録してからカゴに入れるパターンでは、商品のカゴ入れ動作の検出から商品登録動作の検出までの時間がマイナス時間になるが、マイナス時間であれば所定時間Ｔ以内という条件を満たすためである。

［処理の流れ］
次に、不正検知装置１０によって実行される不正検知処理の流れを説明する。図１５は、実施例１にかかる不正検知処理の流れを示すフローチャートである。図１５に示す不正検知処理は、例えば、一定時間ごと、またはカメラ装置２００から撮像画像が受信される度に実行されてよい。

まず、図１５に示すように、不正検知装置１０は、カメラ装置２００によって小売店の店舗内や敷地内など所定の撮像範囲が撮像された撮像画像を画像ＤＢ３１から取得する（ステップＳ１０１）。なお、図１５に示す不正検知処理では、カメラ装置２００によって撮像された撮像画像、厳密には監視映像をリアルタイムに処理するため、撮像画像はカメラ装置２００から随時送信され、画像ＤＢ３１に記憶される。

次に、不正検知装置１０は、既存の物体検出アルゴリズムを用いて、ステップＳ１０１で取得した撮像画像から買い物カゴを検出する（ステップＳ１０２）。

次に、不正検知装置１０は、既存の物体検出アルゴリズムを用いて、ステップＳ１０１で取得した撮像画像から人物を検出し、さらに、既存の姿勢推定および骨格推定アルゴリズムを用いて、検出された人物の骨格を検出する（ステップＳ１０３）。なお、ステップＳ１０２およびＳ１０３の実行順は、逆であってもよいし、並列に実行されてもよい。

次に、不正検知装置１０は、ステップＳ１０３で検出した人物が滞在しているエリアを特定する（ステップＳ１０４）。なお、人物が滞在しているエリアは、例えば、撮像画像の中の人物と、商品の売場や棚との位置情報を用いて特定できる。

次に、不正検知装置１０は、ステップＳ１０４で特定したエリアと対応づけられた設定情報に基づいて、人物の商品に対する行動を評価するためのパラメータを変更する（ステップＳ１０５）。

次に、不正検知装置１０は、ステップＳ１０２で検出したカゴ、およびステップＳ１０３で検出した骨格などに基づいて、人物の動作を検出する（ステップＳ１０６）。ステップＳ１０６で検出される動作は、例えば、人物が商品を収容した棚から商品を取り出す動作、人物が商品をカゴに入れる動作、および人物が利用者端末１００に対して購入対象の商品をスキャンして登録する動作などである。

なお、商品取り出し動作は、例えば、人物の手が商品棚などの領域に入った後、人物が立つ、しゃがむ、またはかがむ姿勢をし、その手を含む腕を前に向け、手が所定の速度以上で動いている場合に特定される。また、カゴ入れ動作は、例えば、人物の手先の骨格がカゴの領域に所定時間入ってから出た場合に特定される。また、商品登録動作は、例えば、カゴの領域の所定範囲内で人物の両肘が前に曲げられたまま所定時間動かない場合に特定される。なお、人物の動作を特定するため、連続して撮像された撮像画像および当該撮像画像から検出されるカゴおよび骨格情報が必要となる。そのため、ステップＳ１０６の実行にあたり、ステップＳ１０１～Ｓ１０３が異なる撮像画像で所定回数繰り返されてよい。また、ステップＳ１０６は、ステップＳ１０４およびＳ１０５より先に実行されてもよいし、並列に実行されてもよい。

ステップＳ１０６の動作検出においてカゴ入れ動作が検出されない場合（ステップＳ１０７：Ｎｏ）、不正検知装置１０は、一定時間経過後、再度、ステップＳ１０７を実行する。

一方、ステップＳ１０６の動作検出においてカゴ入れ動作が検出された場合（ステップＳ１０７：Ｙｅｓ）、不正検知装置１０は、カゴ入れ動作の検出から所定時間内に商品登録動作を検出したか否かを判定する（ステップＳ１０８）。所定時間内に商品登録動作が検出された場合（ステップＳ１０８：Ｙｅｓ）、商品のスキャン漏れは発生していないものとして、図１５に示す不正検知処理は終了する。なお、カゴ入れ動作よりも商品登録動作が先に行われていた場合、カゴ入れ動作に対して商品登録動作を検出するまでの時間がマイナス時間になるため、所定時間内に商品登録動作が検出された場合（ステップＳ１０８：Ｙｅｓ）に該当することになる。

一方、所定時間内に商品登録動作が検出されない場合（ステップＳ１０８：Ｎｏ）、不正検知装置１０は、店員端末３００にアラートを通知する（ステップＳ１０９）。ステップＳ１０９の実行後、図１５に示す不正検知処理は終了する。

［効果］
上述したように、不正検知装置１０は、撮像した画像から、店舗に滞在する人物の骨格情報を生成し、骨格情報を用いて、人物の商品に対する特定の動作を検出し、画像の中の人物の位置情報を用いて、店舗において特定の動作を検出した時に人物が滞在しているエリアを特定し、特定されたエリアと対応づけられた設定情報を特定し、特定された設定情報に基づいて、人物の商品に対する行動を評価するためのパラメータを変更する。

これにより、不正検知装置１０は、特定の動作を検出した時に人物が滞在している商品の販売エリアに基づいて人物の行動を評価するため、商品の種類やサイズなどによって変わってくる顧客の動作をより正確に判定できる。そのため、顧客自らが商品スキャンを行うシステムにおいて、不正検知装置１０は、商品のスキャン漏れを検知する精度を向上させることができる。

また、不正検知装置１０によって実行される、特定の動作を検出する処理は、人物が商品を収容した棚から商品を取り出す第１の動作を特定の動作として検出する処理を含む。

これにより、不正検知装置１０は、商品棚から商品を取り出した時に人物が滞在している商品の販売エリアに基づいて人物の行動を評価できるので、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知する精度を向上させることができる。

また、不正検知装置１０によって実行される、パラメータを変更する処理は、第１の動作のスピードに対する第１のパラメータをパラメータとして変更する処理を含む。

これにより、不正検知装置１０は、商品の種類やサイズなどによって変わってくる顧客の動作をより正確に判定できるので、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知する精度を向上させることができる。

また、不正検知装置１０によって実行される、特定の動作を検出する処理は、棚から取り出した商品を買い物カゴに入れる第２の動作を特定の動作として検出する処理を含み、パラメータを変更する処理は、第２の動作のスピードに対する第２のパラメータをパラメータとして変更する処理を含む。

また、不正検知装置１０によって実行される、特定の動作を検出する処理は、人物が棚から取り出した商品を第１の端末に登録する第３の動作を特定の動作として検出する処理を含み、パラメータを変更する処理は、第２の動作と第３の動作との検出時間の差分に対する第３のパラメータをパラメータとして変更する処理を含む。

また、不正検知装置１０は、パラメータに基づいて人物の商品に対する行動を評価する。

また、不正検知装置１０によって実行される、行動を評価する処理は、特定されたエリア、ならびに人物の年齢および性別の少なくとも１つに基づいて重み付けして行動を評価する処理を含む。

これにより、不正検知装置１０は、商品や、人物の年齢や性別に対して、評価基準を厳格または緩和して人物の行動を評価できる。

また、不正検知装置１０は、行動を評価する処理によって人物が不正をしたと評価された場合、第２の端末にアラートを通知する。

これにより、不正検知装置１０は、顧客自らが商品スキャンを行うシステムにおいて商品のスキャン漏れを検知した場合に店員に通知できる。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア］
図１６は、不正検知装置１０のハードウェア構成例を説明する図である。図１６に示すように、不正検知装置１０は、通信インタフェース１０ａ、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１６に示した各部は、バスなどで相互に接続される。

通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０ｂは、図５に示した機能を動作させるプログラムやデータを記憶する。

プロセッサ１０ｄは、図５に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図５などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、不正検知装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、特定部４１、生成部４２、評価部４３、および通知部４４などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、特定部４１などと同様の処理を実行するプロセスを実行する。

このように、不正検知装置１０は、図５に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、不正検知装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、不正検知装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

また、図５に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌｄｉｓｋ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

図１７は、情報処理端末１０００のハードウェア構成例を説明する図である。利用者端末１００および店員端末３００は同様の構成を有してよいため、図１７では利用者端末１００および店員端末３００をまとめて情報処理端末１０００として利用者端末１００および店員端末３００のハードウェア構成例として示す。図１７に示すように、情報処理端末１０００は、通信インタフェース１０００ａ、ＨＤＤ１０００ｂ、メモリ１０００ｃ、プロセッサ１０００ｄ、入力部１０００ｅ、表示部１０００ｆを有する。また、図１７に示した各部は、バスなどで相互に接続される。

通信インタフェース１０００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０００ｂは、情報処理端末１０００の各機能を動作させるプログラムやデータを記憶する。

プロセッサ１００ｄは、情報処理端末１０００の各機能の処理を実行するプログラムをＨＤＤ１０００ｂなどから読み出してメモリ１０００ｃに展開することで、情報処理端末１０００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、情報処理端末１０００が有する各処理部と同様の機能を実行する。

このように、情報処理端末１０００は、情報処理端末１０００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、情報処理端末１０００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで情報処理端末１０００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理端末１０００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

また、情報処理端末１０００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

入力部１０００ｅは、プロセッサ１００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作や情報処理端末１０００に対するイヤホン端子の挿入などが含まれる。ここでタッチ操作とは、表示部１０００ｆに対する種々の接触動作、例えば、タップ、ダブルタップ、スワイプ、ピンチなどをいう。また、タッチ操作には、表示部１０００ｆに対し、例えば、指などの物体を近づける動作を含む。入力部１０００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。

表示部１０００ｆは、プロセッサ１０００ｄによる制御に基づいて各種視覚情報を表示する。表示部１０００ｆは、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）や、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）、いわゆる有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどであってよい。

図１８は、セルフレジ端末４００のハードウェア構成例を説明する図である。図１８に示すように、セルフレジ端末４００は、通信インタフェース４００ａ、ＨＤＤ４００ｂ、メモリ４００ｃ、プロセッサ４００ｄ、入力部４００ｅ、出力部４００ｆを有する。また、図１８に示した各部は、バスなどで相互に接続される。

通信インタフェース４００ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ４００ｂは、セルフレジ端末４００の各機能を動作させるプログラムやデータを記憶する。

プロセッサ４００ｄは、セルフレジ端末４００の各機能の処理を実行するプログラムをＨＤＤ４００ｂなどから読み出してメモリ４００ｃに展開することで、セルフレジ端末４００の各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、セルフレジ端末４００が有する各処理部と同様の機能を実行する。

このように、セルフレジ端末４００は、セルフレジ端末４００の各機能の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、セルフレジ端末４００は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することでセルフレジ端末４００の各機能を実現することもできる。なお、この他の実施例でいうプログラムは、セルフレジ端末４００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

また、セルフレジ端末４００の各機能の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、ＦＤ、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

入力部４００ｅは、プロセッサ４００ｄによって実行されるプログラムに対する入力操作など、ユーザによる各種入力操作を検知する。当該入力操作には、例えば、タッチ操作などが含まれる。タッチ操作の場合、セルフレジ端末４００はさらに表示部を備え、入力部４００ｅによって検知される入力操作は、当該表示部に対するタッチ操作であってよい。入力部４００ｅは、例えば、ボタン、タッチパネル、近接センサなどであってよい。

出力部４００ｆは、プロセッサ４００ｄによって実行されるプログラムから出力されるデータをセルフレジ端末４００に接続された外部装置、例えば、外部ディスプレイ装置などを介して出力する。なお、セルフレジ端末４００が表示部を備える場合、セルフレジ端末４００は出力部４００ｆを備えなくてもよい。

図１９は、ゲート用リーダ５００のハードウェア構成例を説明する図である。図１９に示すように、ゲート用リーダ５００は、ＵＳＢインタフェース５００ａ、イメージセンサ５００ｂ、発光部５００ｃ、プロセッサ５００ｄを有する。また、図１９に示した各部は、バスなどで相互に接続される。

ＵＳＢインタフェース５００ａは、他の情報処理装置との通信を行う。

イメージセンサ５００ｂは、ゲート用リーダ５００によって読み込まれる対象物が発した、または反射した光を受光し、光の明暗を電気情報に変換する。

発光部５００ｃは、高輝度ＬＥＤなどの照明光源であり、ゲート用リーダ５００によって読み込まれる対象物を読み取り易くするために光を照射する。なお、ゲート用リーダ５００によって読み込まれる対象物またはその対象物を表示する装置などが発光する場合、ゲート用リーダ５００は、発光部５００ｃを備えなくてもよい。

プロセッサ５００ｄは、発光部５００ｃを制御して対象物に対し光を照射し、イメージセンサ５００ｂを制御して対象物を電気情報に変換して読み込む。また、プロセッサ５００ｄは、ＵＳＢインタフェース５００ａを介して、読み込んだ対象物の電気情報を他の情報処理装置に送信する。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）撮像した画像から、店舗に滞在する人物の骨格情報を生成し、
前記骨格情報を用いて、前記人物の商品に対する特定の動作を検出し、
前記画像の中の人物の位置情報を用いて、前記店舗において前記特定の動作を検出した時に前記人物が滞在しているエリアを特定し、
前記特定されたエリアと対応づけられた設定情報を特定し、
前記特定された設定情報に基づいて、前記人物の前記商品に対する行動を評価するためのパラメータを変更する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

（付記２）前記特定の動作を検出する処理は、前記人物が前記商品を収容した棚から前記商品を取り出す第１の動作を前記特定の動作として検出する処理を含むことを特徴とする付記１に記載の情報処理プログラム。

（付記３）前記パラメータを変更する処理は、前記第１の動作のスピードに対する第１のパラメータを前記パラメータとして変更する処理を含むことを特徴とする付記２に記載の情報処理プログラム。

（付記４）前記特定の動作を検出する処理は、前記棚から取り出した前記商品を買い物カゴに入れる第２の動作を前記特定の動作として検出する処理を含み、
前記パラメータを変更する処理は、前記第２の動作のスピードに対する第２のパラメータを前記パラメータとして変更する処理を含むことを特徴とする付記２または３に記載の情報処理プログラム。

（付記５）前記特定の動作を検出する処理は、前記人物が前記棚から取り出した前記商品を第１の端末に登録する第３の動作を前記特定の動作として検出する処理を含み、
前記パラメータを変更する処理は、前記第２の動作と前記第３の動作との検出時間の差分に対する第３のパラメータを前記パラメータとして変更する処理を含むことを特徴とする付記４に記載の情報処理プログラム。

（付記６）前記パラメータに基づいて前記人物の前記商品に対する行動を評価する処理を前記コンピュータに実行させることを特徴とする付記１乃至５のいずれか１つに記載の情報処理プログラム。

（付記７）前記行動を評価する処理は、前記特定されたエリア、ならびに前記人物の年齢および性別の少なくとも１つに基づいて重み付けして前記行動を評価する処理を含むことを特徴とする付記６に記載の情報処理プログラム。

（付記８）前記行動を評価する処理によって前記人物が不正をしたと評価された場合、第２の端末にアラートを通知する処理を前記コンピュータに実行させることを特徴とする付記６または７に記載の情報処理プログラム。

（付記９）撮像した画像から、店舗に滞在する人物の骨格情報を生成し、
前記骨格情報を用いて、前記人物の商品に対する特定の動作を検出し、
前記画像の中の人物の位置情報を用いて、前記店舗において前記特定の動作を検出した時に前記人物が滞在しているエリアを特定し、
前記特定されたエリアと対応づけられた設定情報を特定し、
前記特定された設定情報に基づいて、前記人物の前記商品に対する行動を評価するためのパラメータを変更する
処理をコンピュータが実行することを特徴とする情報処理方法。

（付記１０）前記特定の動作を検出する処理は、前記人物が前記商品を収容した棚から前記商品を取り出す第１の動作を前記特定の動作として検出する処理を含むことを特徴とする付記９に記載の情報処理方法。

（付記１１）前記パラメータを変更する処理は、前記第１の動作のスピードに対する第１のパラメータを前記パラメータとして変更する処理を含むことを特徴とする付記１０に記載の情報処理方法。

（付記１２）前記特定の動作を検出する処理は、前記棚から取り出した前記商品を買い物カゴに入れる第２の動作を前記特定の動作として検出する処理を含み、
前記パラメータを変更する処理は、前記第２の動作のスピードに対する第２のパラメータを前記パラメータとして変更する処理を含むことを特徴とする付記１０または１１に記載の情報処理方法。

（付記１３）前記特定の動作を検出する処理は、前記人物が前記棚から取り出した前記商品を第１の端末に登録する第３の動作を前記特定の動作として検出する処理を含み、
前記パラメータを変更する処理は、前記第２の動作と前記第３の動作との検出時間の差分に対する第３のパラメータを前記パラメータとして変更する処理を含むことを特徴とする付記１２に記載の情報処理方法。

（付記１４）前記パラメータに基づいて前記人物の前記商品に対する行動を評価する処理を前記コンピュータが実行することを特徴とする付記９乃至１３のいずれか１つに記載の情報処理方法。

（付記１５）前記行動を評価する処理は、前記特定されたエリア、ならびに前記人物の年齢および性別の少なくとも１つに基づいて重み付けして前記行動を評価する処理を含むことを特徴とする付記１４に記載の情報処理方法。

（付記１６）前記行動を評価する処理によって前記人物が不正をしたと評価された場合、第２の端末にアラートを通知する処理を前記コンピュータが実行することを特徴とする付記１４または１５に記載の情報処理方法。

（付記１７）撮像した画像から、店舗に滞在する人物の骨格情報を生成し、
前記骨格情報を用いて、前記人物の商品に対する特定の動作を検出し、
前記画像の中の人物の位置情報を用いて、前記店舗において前記特定の動作を検出した時に前記人物が滞在しているエリアを特定し、
前記特定されたエリアと対応づけられた設定情報を特定し、
前記特定された設定情報に基づいて、前記人物の前記商品に対する行動を評価するためのパラメータを変更する
処理を実行する制御部を有することを特徴とする情報処理装置。

（付記１８）前記特定の動作を検出する処理は、前記人物が前記商品を収容した棚から前記商品を取り出す第１の動作を前記特定の動作として検出する処理を含むことを特徴とする付記１７に記載の情報処理装置。

（付記１９）前記パラメータを変更する処理は、前記第１の動作のスピードに対する第１のパラメータを前記パラメータとして変更する処理を含むことを特徴とする付記１８に記載の情報処理装置。

（付記２０）前記特定の動作を検出する処理は、前記棚から取り出した前記商品を買い物カゴに入れる第２の動作を前記特定の動作として検出する処理を含み、
前記パラメータを変更する処理は、前記第２の動作のスピードに対する第２のパラメータを前記パラメータとして変更する処理を含むことを特徴とする付記１８または１９に記載の情報処理装置。

（付記２１）前記特定の動作を検出する処理は、前記人物が前記棚から取り出した前記商品を第１の端末に登録する第３の動作を前記特定の動作として検出する処理を含み、
前記パラメータを変更する処理は、前記第２の動作と前記第３の動作との検出時間の差分に対する第３のパラメータを前記パラメータとして変更する処理を含むことを特徴とする付記２０に記載の情報処理装置。

（付記２２）前記パラメータに基づいて前記人物の前記商品に対する行動を評価する処理を前記制御部が実行することを特徴とする付記１７乃至２１のいずれか１つに記載の情報処理装置。

（付記２３）前記行動を評価する処理は、前記特定されたエリア、ならびに前記人物の年齢および性別の少なくとも１つに基づいて重み付けして前記行動を評価する処理を含むことを特徴とする付記２２に記載の情報処理装置。

（付記２４）前記行動を評価する処理によって前記人物が不正をしたと評価された場合、第２の端末にアラートを通知する処理を前記制御部が実行することを特徴とする付記２２または２３に記載の情報処理装置。

（付記２５）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
撮像した画像から、店舗に滞在する人物の骨格情報を生成し、
前記骨格情報を用いて、前記人物の商品に対する特定の動作を検出し、
前記画像の中の人物の位置情報を用いて、前記店舗において前記特定の動作を検出した時に前記人物が滞在しているエリアを特定し、
前記特定されたエリアと対応づけられた設定情報を特定し、
前記特定された設定情報に基づいて、前記人物の前記商品に対する行動を評価するためのパラメータを変更する
処理を実行することを特徴とする情報処理装置。

１不正検知システム
１０不正検知装置
１０ａ通信インタフェース
１０ｂＨＤＤ
１０ｃメモリ
１０ｄプロセッサ
２０通信部
３０記憶部
３１画像ＤＢ
３２骨格情報
３３エリア情報
４０制御部
４１特定部
４２生成部
４３評価部
４４通知部
５０ネットワーク
１００利用者端末
１５０－１、１５０－２、１５０－３セルフスキャン対象者
１６０－１、１６０－２、１６０－３通常レジ対象者
２００カメラ装置
２５０、２５１、２５２撮像画像
３００店員端末
４００セルフレジ端末
４００ａ通信インタフェース
４００ｂＨＤＤ
４００ｃメモリ
４００ｄプロセッサ
４００ｅ入力部
４００ｆ出力部
５００ゲート用リーダ
５００ａＵＳＢインタフェース
５００ｂイメージセンサ
５００ｃ発光部
５００ｄプロセッサ
１０００情報処理端末
１０００ａ通信インタフェース
１０００ｂＨＤＤ
１０００ｃメモリ
１０００ｄプロセッサ
１０００ｅ入力部
１０００ｆ表示部

Claims

撮像した画像から、店舗に滞在する人物の骨格情報を生成し、
前記骨格情報を用いて、商品を買い物カゴに入れる第２の動作、および前記人物が前記商品を第１の端末に登録する第３の動作を、特定の動作として検出し、
前記画像の中の人物の位置情報を用いて、前記店舗において前記特定の動作を検出した時に前記人物が滞在しているエリアを特定し、
前記特定されたエリアと対応づけられた設定情報を特定し、
前記特定された設定情報に基づいて、前記第２の動作と前記第３の動作との検出時間の差分に対する第３のパラメータを、前記人物の前記商品に対する行動を評価するためのパラメータとして変更する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
前記特定の動作を検出する処理は、前記人物が前記商品を収容した棚から前記商品を取り出す第１の動作を前記特定の動作として検出する処理を含むことを特徴とする請求項１に記載の情報処理プログラム。
前記パラメータを変更する処理は、前記第１の動作のスピードに対する第１のパラメータを前記パラメータとして変更する処理を含むことを特徴とする請求項２に記載の情報処理プログラム。
前記パラメータを変更する処理は、前記第２の動作のスピードに対する第２のパラメータを前記パラメータとして変更する処理を含むことを特徴とする請求項２または３に記載の情報処理プログラム。
前記パラメータに基づいて前記人物の前記商品に対する行動を評価する処理を前記コンピュータに実行させることを特徴とする請求項１乃至４のいずれか一項に記載の情報処理プログラム。
前記行動を評価する処理は、前記特定されたエリア、ならびに前記人物の年齢および性別の少なくとも１つに基づいて重み付けして前記行動を評価する処理を含むことを特徴とする請求項５に記載の情報処理プログラム。
前記行動を評価する処理によって前記人物が不正をしたと評価された場合、第２の端末にアラートを通知する処理を前記コンピュータに実行させることを特徴とする請求項５または６に記載の情報処理プログラム。
撮像した画像から、店舗に滞在する人物の骨格情報を生成し、
前記骨格情報を用いて、商品を買い物カゴに入れる第２の動作、および前記人物が前記商品を第１の端末に登録する第３の動作を、特定の動作として検出し、
前記画像の中の人物の位置情報を用いて、前記店舗において前記特定の動作を検出した時に前記人物が滞在しているエリアを特定し、
前記特定されたエリアと対応づけられた設定情報を特定し、
前記特定された設定情報に基づいて、前記第２の動作と前記第３の動作との検出時間の差分に対する第３のパラメータを、前記人物の前記商品に対する行動を評価するためのパラメータとして変更する
処理をコンピュータが実行することを特徴とする情報処理方法。
撮像した画像から、店舗に滞在する人物の骨格情報を生成し、
前記骨格情報を用いて、商品を買い物カゴに入れる第２の動作、および前記人物が前記商品を第１の端末に登録する第３の動作を、特定の動作として検出し、
前記画像の中の人物の位置情報を用いて、前記店舗において前記特定の動作を検出した時に前記人物が滞在しているエリアを特定し、
前記特定されたエリアと対応づけられた設定情報を特定し、
前記特定された設定情報に基づいて、前記第２の動作と前記第３の動作との検出時間の差分に対する第３のパラメータを、前記人物の前記商品に対する行動を評価するためのパラメータとして変更する
処理を実行する制御部を有することを特徴とする情報処理装置。