JP5558433B2 - 店舗システム、および商品登録方法 - Google Patents

Description

本発明の実施形態は店舗システム、および商品登録方法に関する。

スーパーマーケット等の店舗では、顧客が、店舗内で購入予定の商品を買物カゴに入れ、購入予定の全ての商品を買物カゴに入れ終えると、買物カゴを店員に渡す。店員は、買物カゴ内の商品を識別しながら当該商品の売上登録を行う。

特開２０１０−３９５４５公報

しかしながら、従来技術では、店員が買物カゴ内の商品を識別しながら商品の売上登録を行わなければならず、買物カゴ内の商品を識別する店員の作業負担が大きい、という課題がある。

実施形態の店舗システムは、商品を収納する収納部を備える商品収納装置内の画像を撮像する撮像部と、買い物の開始を指示する買い物開始ボタンと、商品の精算を指示する商品精算ボタンと、を備える商品収納装置と、商品を売上登録する商品登録装置と、を含む店舗システムにおいて、前記買い物開始ボタンにより買い物の開始が指示されると、所定時間毎に前記撮像部により撮像した画像を取り込む撮像画像取込手段と、前記撮像画像取込手段で取り込まれた画像から特徴量を読み取り、物体を認識する物体認識手段と、前記商品精算ボタンにより商品の精算が指示されると、前記物体認識手段により認識された商品を、前記商品収納装置毎に売上登録する商品登録手段と、を備え、前記登録手段は、前記認識された商品のうち、識別情報により特定される前記商品収納装置について売上登録された商品と、前記認識された商品とを比較して、前記収納部への商品の追加、及び前記収納部から商品が取り出されたかを判断し、商品が追加されていれば、売上登録されていない商品を売上登録し、商品が取り出されたら、前記受信した識別情報により特定される前記商品収納装置について売上登録された商品のうち前記認識された商品に含まれない商品の売上登録を解除する。

チェックアウトシステムを示す斜視図。 カートの概要構成説明図。 ＰＯＳ端末、および買物カゴが荷台に載置されたカートのハードウェア構成を示すブロック図。 ＰＬＵファイルのデータ構成を例示する概念図。 ＰＯＳ端末、およびカートに載置された買物カゴそれぞれが備えるＣＰＵの機能構成を示すブロック図。 本実施形態にかかる買物カゴの動作の一例を示すフローチャート。 本実施形態にかかるＰＯＳ端末の動作の一例を示すフローチャート。 買物カゴに商品が追加された場合における商品の売上登録動作を説明するための図。 買物カゴから商品が取り出された場合における商品の売上登録動作を説明するための図。 物体認識により買物カゴに収納された商品を認識して商品リストを作成する動作を説明するための図。 本実施形態にかかるＰＯＳ端末の精算動作の一例を示すフローチャート。

以下では、チェックアウトシステムを例に本実施形態にかかる商品収納装置、商品登録装置、および商品登録方法について、図面を参照して説明する。本実施形態にかかるチェックアウトシステムは、一取引にかかる商品の登録、精算を行うＰＯＳ（Point Of Sales）端末を備えるチェックアウトシステム（ＰＯＳシステム）などである。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、チェックアウトシステムを示す斜視図である。図２は、カートの概要構成説明図である。図１に示すように、チェックアウトシステム１は、一取引にかかる商品の売上登録、精算を行う商品登録装置であるＰＯＳ端末１１を備える。ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（ユーザ）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受面１５２が形成されている。荷受面１５２には、カート２００から降ろされた買物カゴ１５３が載置される。買物カゴ１５３は、顧客が購入する商品を収納する商品収納装置である。本実施形態では、買物カゴ１５３は、商品を収納する収納部１５３ｅ、収納部１５３ｅ内の画像を撮像する撮像部１５３ｂ、当該買物カゴ１５３に収納された商品のうち売上登録された商品の商品リストや当該買物カゴ１５３を特定する識別情報である買物カゴＩＤ等の各種情報を記憶する記憶媒体２１３（図３参照）を備えた制御部１５３ａ、記憶媒体２１３（図３参照）に記憶された商品リストおよび買物カゴＩＤをＰＯＳ端末１１に送信して当該商品リストに含まれる商品の精算を指示するための商品精算ボタン１５３ｃ、および買物の開始を指示するための買物開始ボタン１５３ｄを備えている。

店舗で買い物をする顧客は、図２に示すように、買物カゴ１５３をカート２００の荷台２０１，２０２に載置し、カート２００を移動させながら買い物をする。カート２００は、それぞれ買物カゴ１５３を載置することが可能な荷台２０１，２０２を有するフレーム２０３と、最下部に設けられた４個の車輪２０４と、フレーム２０３の後方部に取り付けられた取っ手２０５と、を備えている。顧客は、取っ手２０５を掴んで所望の方向にカート２００を押すことにより、カート２００を移動させることができる。

なお、カート２００自体が、商品を収納する収納部を備える商品収納装置であってもよい。例えば、カート２００を構成するフレーム２０３同士の間に網が張られており、商品を外部から視認できる態様で収納するカート２００自体を収納部とする形態であってもよい。

ここで、本実施形態にかかるチェックアウトシステム１における商品の売上登録処理について簡単に説明する。ＰＯＳ端末１１は、買物カゴ１５３が有する買物開始ボタン１５３ｄが押下されると、買物カゴ１５３から、撮像部１５３ｂにより撮像された撮像画像とともに買物カゴＩＤを受信する。そして、ＰＯＳ端末１１は、受信した撮像画像から買物カゴ１５３に収納された商品を認識する。次いで、ＰＯＳ端末１１は、認識した商品を記録した商品リストを、受信した買物カゴＩＤで特定される買物カゴ毎に作成する。さらに、ＰＯＳ端末１１は、作成した商品リストを、買物カゴＩＤにより特定される買物カゴ１５３が有する記憶媒体２１３に記憶させることにより、認識した商品を、受信した買物カゴＩＤにより特定される買物カゴ毎に売上登録する。その後、買物カゴ１５３が有する商品精算ボタン１５３ｃが押下されると、ＰＯＳ端末１１は、買物カゴ１５３から商品リストおよび買物カゴＩＤを受信する。そして、ＰＯＳ端末１１は、受信した商品リストに含まれる商品が、受信した買物カゴＩＤにより特定される買物カゴ１５３に収納された商品として、商品の精算を行う。

図３は、ＰＯＳ端末、および買物カゴが荷台に載置されたカートのハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、および締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ（Hard Disk Drive）６４が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により順次実行される。ＨＤＤ６４に記憶されているプログラムの一例は、売上登録処理用のプログラムＰＲである。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定された商品マスタファイルである。図４は、ＰＬＵファイルのデータ構成を例示する概念図である。図４に示すように、ＰＬＵファイルＦ１は、商品ごとに、ユニークに割り当てられた商品ＩＤ、商品が属する商品分類、商品名、単価などの売上登録にかかる情報と、その商品を撮像した商品画像と、を格納するファイルである。このようなＰＬＵファイルＦ１は、対象となる商品群（パン、青果、惣菜等）によって分けられている。

図３に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣやカート２００とデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

さらに、ＰＯＳ端末１１のＣＰＵ６１には、レシートなどに印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御のもと、一取引の取引内容をレシートに印字する。

カート２００の荷台２０１，２０２に載置された買物カゴ１５３も、マイクロコンピュータとしての制御部１５３ａを備える。制御部１５３ａは、ＣＰＵ２１１にＲＯＭ２１２と記憶媒体（ＲＡＭ）２１３とがバス接続されて構成されている。ＲＯＭ２１２には、ＣＰＵ２１１によって実行されるプログラムが記憶されている。ＣＰＵ２１１には、撮像部１５３ｂ、商品精算ボタン１５３ｃ、買物開始ボタン１５３ｄが各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１５３ｂは、ＣＰＵ２１１によって動作が制御される。

撮像部１５３ｂは、カラーＣＣＤ（Charged Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであり、ＣＰＵ２１１の制御の下で、買物カゴ１５３の上部から買物カゴ１５３内の画像の撮像を行う。例えば、撮像部１５３ｂは、３０ｆｐｓの動画像の撮像を行う。撮像部１５３ｂが所定のフレームレートで順次撮像したフレーム画像（撮像画像）は、記憶媒体２１３に保存される。なお、記憶媒体２１３には、フレーム画像に加え、上述したように、商品リストや買物カゴＩＤなどが記憶される。

さらに、買物カゴ１５３のＣＰＵ２１１には、ＰＯＳ端末１１とデータ通信を実行するための通信インターフェース２１６が入出力回路（図示せず）を介して接続されている。

次に、ＣＰＵ６１，２１１が売上登録処理用のプログラムＰＲを順次実行することで実現されるＣＰＵ６１，２１１の機能部について、図５を参照して説明する。図５は、ＰＯＳ端末、およびカートに載置された買物カゴそれぞれが備えるＣＰＵの機能構成を示すブロック図である。図５に示すように、ＣＰＵ２１１は、プログラムを順次実行することにより、撮像画像取込部５０１、送信部５０２としての機能を備える。同様に、ＣＰＵ６１は、受信部５０３、物体認識部５０４、商品登録部５０５、精算部５０６としての機能を備える。

撮像画像取込部５０１は、買物開始ボタン１５３ｄが押下されて買物の開始が指示されると、撮像部１５３ｂに撮像オン信号を出力して撮像部１５３ｂに撮像動作を開始させる。撮像画像取込部５０１は、所定時間毎に、撮像動作開始後に撮像部１５３ｂが撮像して記憶媒体２１３に保存されたフレーム画像を順次取り込む。撮像画像取込部５０１によるフレーム画像の取り込みは、記憶媒体２１３に保存された順に行われる。そして、撮像画像取込部５０１は、商品精算ボタン１５３ｃが押下されて商品の精算が指示されると、撮像部１５３ｂに撮像オフ信号を出力して撮像部１５３ｂに撮像動作を終了させる。

送信部５０２は、撮像画像取込部５０１によりフレーム画像が取り込まれた際に、通信インターフェース２１６を介して、当該取り込まれたフレーム画像とともに、記憶媒体２１３に記憶された買物カゴＩＤをＰＯＳ端末１１へ送信して、買物カゴ１５３に収納された商品の売上登録を要求する。なお、送信部５０２は、撮像画像取込部５０１によるフレーム画像の取り込みが買物開始ボタン１５３ｄが押下されてから２回目以降である場合、フレーム画像および買物カゴＩＤに加えて、記憶媒体２１３に記憶された商品リストをＰＯＳ端末１１へ送信して、買物カゴ１５３に収納された商品の売上登録を要求する。

また、送信部５０２は、商品清算ボタン１５３ｃが押下された際に、通信インターフェース２１６を介して、記憶媒体２１３に記憶された買物カゴＩＤおよび商品リストをＰＯＳ端末１１へ出力して、買物カゴ１５３に収納された商品の精算を要求する。

受信部５０３は、買物カゴ１５３が備える買物開始ボタン１５３ｄが押下された後、撮像画像取込部５０１がフレーム画像を取り込む毎に（つまり、所定時間毎に）、通信インターフェース２５を介して、買物カゴ１５３から、フレーム画像とともに買物カゴＩＤを受信する。なお、受信部５０３は、撮像画像取込部５０１によるフレーム画像の取り込みが買物開始ボタン１５３ｄが押下されてから２回目以降である場合、買物カゴ１５３から、フレーム画像および買物カゴＩＤに加えて、記憶媒体２１３に記憶された商品リストを受信する。

また、受信部５０３は、買物カゴ１５３が備える商品精算ボタン１５３ｃが押下されると、通信インターフェース２５を介して、買物カゴ１５３から、買物カゴＩＤおよび商品リストを受信する。

物体認識部５０４は、ＰＬＵファイルＦ１の商品画像を参照して、受信部５０３により受信したフレーム画像から、当該フレーム画像とともに受信した買物カゴＩＤにより特定される買物カゴ１５３内に収納された商品を認識する。具体的には、物体認識部５０４は、ＰＬＵファイルＦ１を参照して、フレーム画像から、特徴量としての色合いや表面の凹凸状況等の表面の状態を読み取ることによって特定の物体としての商品を認識する。なお、物体認識部５０４は、処理時間の短縮を図るため、商品の輪郭や大きさは考慮しないものとする。ＰＯＳ端末１１では、物体認識部５０４の認識結果により、ＰＬＵファイルＦ１に予め登録されている商品の中から買物カゴ１５３に収納された商品を特定できる。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。

柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２２年８月１０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。

Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２２年８月１０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
商品登録部５０５は、受信部５０３がフレーム画像および買物カゴＩＤを受信して商品の売上登録が要求された場合、物体認識部５０４により認識した商品を、当該商品を認識したフレーム画像とともに受信した買物カゴＩＤにより特定される買物カゴ１５３毎に売上登録する。具体的には、商品登録部５０５は、ＰＬＵファイルＦ１から、認識した商品の売上登録にかかる情報を読み出す。そして、商品登録部５０５は、読み出した売上登録にかかる情報を記録した商品リストを作成する。次いで、商品登録部５０５は、作成した商品リストを、受信した買物カゴＩＤにより特定される買物カゴ１５３が備える記憶媒体２１３に記憶させることにより、認識した商品を買物カゴ１５３毎に売上登録する。

また、商品登録部５０５は、受信部５０３がフレーム画像、買物カゴＩＤ、および商品リストを受信して商品の売上登録が要求された場合、物体認識部５０４により認識した商品と、受信した買物カゴＩＤにより特定される買物カゴ１５３について売上登録された商品（受信した商品リストに売上登録にかかる情報が記録された商品）と、を比較して、買物カゴ１５３への商品の追加または買物カゴ１５３からの商品の取り出しが行われたか否かを判断する。

そして、商品登録部５０５は、買物カゴ１５３への商品の追加が行われたと判断した場合、ＰＬＵファイルＦ１から、認識された商品のうち、受信した商品リストに売上登録にかかる情報が記録されていない商品の売上登録にかかる情報を読み出す。そして、商品登録部５０５は、読み出した売上登録にかかる情報を、受信した商品リストに記録する。次いで、商品登録部５０５は、読み出した売上登録にかかる情報を記録した商品リストを、受信した買物カゴＩＤにより特定される買物カゴ１５３の記憶媒体２１３に記憶させる。これにより、商品登録部５０５は、認識された商品のうち、受信した買物カゴＩＤにより特定される買物カゴ１５３について売上登録されていない商品を売上登録する。

一方、商品登録部５０５は、買物カゴ１５３からの商品の取り出しが行われたと判断した場合、受信した商品リストに売上登録にかかる情報が記録されていない商品のうち、認識された商品に含まれない商品を特定する。そして、商品登録部５０５は、特定した商品の売上登録にかかる情報を、受信した商品リストから削除する。次いで、商品登録部５０５は、特定した商品の売上登録にかかる情報を削除した商品リストを、受信した買物カゴＩＤにより特定される買物カゴ１５３の記憶媒体２１３に記憶させる。これにより、商品登録部５０５は、受信した買物カゴＩＤにより特定される買物カゴ１５３について売上登録された商品のうち、認識された商品に含まれない商品の売上登録を解除する。

精算部５０６は、買物カゴ１５３の商品精算ボタン１５３ｃが押下されて商品の精算が要求された場合に、商品精算ボタン１５３ｃが押下された際に受信部５０３が受信した商品リストに売上登録にかかる情報が記録された商品に対しての精算を行う。

また、精算部５０６は、商品リストに売上登録にかかる情報が記録された商品に対しての精算を行った後、受信した買物カゴＩＤにより特定される買物カゴ１５３の記憶媒体２１３に記憶されている商品リストを消去する。

次に、本実施形態にかかる買物カゴ１５３の動作について詳細に説明する。図６は、本実施形態にかかる買物カゴの動作の一例を示すフローチャートである。

買物開始ボタン１５３ｄが押下されて買物の開始が指示されると（Ａ６０１のＹｅｓ）、撮像画像取込部５０１は、撮像部１５３ｂに撮像オン信号を出力して撮像部１５３ｂに撮像動作を開始させる（Ａ６０２）。

撮像画像取込部５０１は、撮像部１５３ｂによる撮像動作開始後、所定時間毎に、撮像部１５３ｂが撮像して記憶媒体２１３に保存されたフレーム画像を取り込む（Ａ６０３）。送信部５０２は、撮像画像取込部５０１によりフレーム画像が取り込まれると、取り込まれたフレーム画像、および記憶媒体２１３に記憶された買物カゴＩＤを、通信インターフェース２１６を介して、ＰＯＳ端末１１に送信して買物カゴ１５３に収納された商品の売上登録を要求する（Ａ６０４）。なお、撮像画像取込部５０１によるフレーム画像の取り込みが買物開始ボタン１５３ｄが押下されてから２回目以降である場合には、送信部５０２は、フレーム画像および買物カゴＩＤに加えて、記憶媒体２１３に記憶された商品リストを、通信インターフェース２１６を介して、ＰＯＳ端末１１に送信して、買物カゴ１５３に収納された商品の売上登録を要求する。

次いで、撮像画像取込部５０１は、商品精算ボタン１５３ｃが押下されて商品の精算が指示されたか否かを判断する（Ａ６０５）。商品精算ボタン１５３ｃが押下されなかった場合（Ａ６０５のＮｏ）、撮像画像取込部５０１は、フレーム画像の取り込みを継続する。

一方、商品精算ボタン１５３ｃが押下されて商品の精算が指示された場合（Ａ６０５のＹｅｓ）、撮像画像取込部５０１は、撮像部１５３ｂに撮像オフ信号を出力して撮像部１５３ｂに撮像動作を終了させる（Ａ６０６）。さらに、商品の精算が指示された場合（Ａ６０５のＹｅｓ）、送信部５０２は、記憶媒体２１３に記憶された買物カゴＩＤおよび商品リストを、通信インターフェース２１６を介してＰＯＳ端末１１に出力して、商品の精算を要求する（Ａ６０７）。

次に、本実施形態にかかるＰＯＳ端末１１の動作について詳細に説明する。図７は、本実施形態にかかるＰＯＳ端末の動作の一例を示すフローチャートである。図８は、買物カゴに商品が追加された場合における商品の売上登録動作を説明するための図である。図９は、買物カゴから商品が取り出された場合における商品の売上登録動作を説明するための図である。図１０は、物体認識により買物カゴに収納された商品を認識して商品リストを作成する動作を説明するための図である。

受信部５０３は、通信インターフェース２５を介して、送信部５０２により送信されたフレーム画像、すなわち、買物カゴ１５３に取り付けられた撮像部１５３ｃにより撮像された買物カゴ１５３内のフレーム画像、および記憶媒体２１３に記憶された買物カゴＩＤを受信する（Ａ７０１）。なお、撮像画像取込部５０１によるフレーム画像の取り込みが、買物開始ボタン１５３ｄが押下されてから２回目以降である場合には、受信部５０３は、フレーム画像および買物カゴＩＤに加えて、買物カゴ１５３の記憶媒体２１３に記憶された商品リストを受信する。

送信部５０２により送信されたフレーム画像を受信すると、物体認識部５０４は、ＰＬＵファイルＦ１の商品画像を参照して、受信したフレーム画像から、特徴量を読み取ることによって特定の物体として商品を認識する（Ａ７０２）。

商品が認識されると、商品登録部５０５は、フレーム画像および買物カゴＩＤに加えて、商品リストを受信したか否かを判断する（Ａ７０３）。商品リストを受信しなかった場合（Ａ７０３のＮｏ）、商品登録部５０５は、ＰＬＵファイルＦ１から、認識した商品の売上登録にかかる情報を読み出し、当該読み出した売上登録にかかる情報が記録された商品リストを作成し、作成した商品リストを、買物カゴ１５３の記憶媒体２１３に記憶させる（Ａ７０４）。次いで、精算部５０６は、買物カゴ１５３の商品を精算するか否か、すなわち、商品精算ボタン１５３ｃが押下されて買物カゴ１５３から商品の精算が要求されたか否かを判断する（Ａ７０５）。買物カゴ１５３の商品を精算しない場合（Ａ７０５のＮｏ）、Ａ７０１に示す処理に戻り、受信部５０３が、フレーム画像の受信を行う。

一方、買物カゴ１５３の商品の精算を行う場合（Ａ７０５のＹｅｓ）、精算部５０６は、商品精算ボタン１５３ｃが押下された際に受信部５０３が受信した商品リストに売上登録にかかる情報が記録された商品に対する精算を行う（Ａ７０６）。

また、フレーム画像および買物カゴＩＤに加えて、商品リストを受信した場合（Ａ７０３のＹｅｓ）、商品登録部５０５は、受信部５０３が受信した商品リストに売上登録にかかる情報が記録された商品と、認識した商品とを比較して、買物カゴ１５３への商品の追加が行われたか否かを判断する（Ａ７０７）。そして、買物カゴ１５３への商品の追加が行われたと判断した場合（Ａ７０７のＹｅｓ）、商品登録部５０５は、ＰＬＵファイルＦ１から、認識した商品のうち受信した商品リストに売上登録にかかる情報が記録されていない商品（買物カゴ１５３に追加された商品）の売上登録にかかる情報を読み出し、当該買物カゴ１５３に追加された商品の売上登録にかかる情報を、受信した商品リストに記録する（Ａ７０８）。そして、商品登録部５０５は、買物カゴ１５３に追加された商品の売上登録にかかる情報が記録された商品リストを、受信した買物カゴＩＤにより特定される買物カゴ１５３の記憶媒体２１３に記憶させる。

例えば、図８に示すように、撮像画像取込部５０１は、撮像部１５３ｂにより撮像された買物カゴ１５３内の画像であって、買物カゴ１５３に収納された商品Ａ〜Ｃの商品画像８０１〜８０３を含むフレーム画像８００を取り込む。送信部５０１は、撮像画像取込部５０１により取り込まれたフレーム画像８００、買物カゴ１５３の買物カゴＩＤ、および商品リストをＰＯＳ端末１１に送信する。そして、受信部５０３がフレーム画像８００、買物カゴＩＤ、および商品リストを受信すると、物体認識部５０４は、受信したフレーム画像８００から、特徴量を読み取ることによって特定の物体としての商品Ａ〜Ｃを認識する。次いで、商品登録部５０５は、受信した商品リストに売上登録にかかる情報が記録された商品Ａ，Ｂと、認識した商品Ａ〜Ｃとを比較して、買物カゴ１５３の中に商品Ｃが追加されたことを検知する。そして、商品登録部５０５は、受信した商品リストに、商品Ｃの売上登録にかかる情報を記録する。そして、商品登録部５０５は、商品Ｃの売上登録にかかる情報が記録された商品リストを、受信した買物カゴＩＤにより特定される買物カゴ１５３の記憶媒体２１３に記憶させる。

図７に戻り、一方、買物カゴ１５３への商品の追加が行われていないと判断した場合（Ａ７０７のＮｏ）、商品登録部５０５は、受信部５０３が受信した商品リストに売上登録にかかる情報が記録された商品と、認識した商品とを比較して、買物カゴ１５３からの商品の取り出しが行われたか否かを判断する（Ａ７０９）。そして、買物カゴ１５３からの商品の取り出しが行われたと判断した場合（Ａ７０９のＹｅｓ）、商品登録部５０５は、受信した商品リストから、当該商品リストに売上登録にかかる情報が記録された商品のうち物体認識部５０４により認識されなかった商品（つまり、買物カゴ１５３から取り出された商品）の売上登録にかかる情報を削除する（Ａ７１０）。そして、商品登録部５０５は、買物カゴ１５３から取り出された商品の売上登録にかかる情報が削除された商品リストを、受信した買物カゴＩＤにより特定される買物カゴ１５３の記憶媒体２１３に記憶させる。

例えば、図９に示すように、撮像画像取込部５０１は、撮像部１５３ｂにより撮像された買物カゴ１５３内の画像であって、買物カゴ１５３に収納された商品Ａ，Ｂの商品画像９０１，９０２を含むフレーム画像９００を取り込む。送信部５０２は、撮像画像取込部５０１により取り込まれたフレーム画像９００、買物カゴ１５３の買物カゴＩＤ、および商品リストをＰＯＳ端末１１に送信する。そして、受信部５０３がフレーム画像９００、買物カゴＩＤ、および商品リストを受信すると、物体認識部５０４は、受信したフレーム画像９００から、特徴量を読み取ることによって特定の物体としての商品Ａ，Ｂを認識する。次いで、商品登録部５０５は、受信した商品リストに売上登録にかかる情報が記録された商品Ａ〜Ｃと、認識した商品Ａ，Ｂとを比較して、買物カゴ１５３の中から商品Ｃが取り出されたことを検知する。そして、商品登録部５０５は、受信した商品リストから商品Ｃの売上登録にかかる情報を削除する。そして、商品登録部５０５は、商品Ｃの売上登録にかかる情報が削除された商品リストを、受信した買物カゴＩＤにより特定される買物カゴ１５３の記憶媒体２１３に記憶させる。

ここで、図１０を用いて、受信したフレーム画像から買物カゴ１５３に収納された商品の認識し、認識した商品の売上登録にかかる情報が記録された商品リストを作成する動作の一例を説明する。例えば、買物カゴ１５３に商品Ａ，Ｂが収納され、商品Ａ，Ｂの商品画像１００１，１００２を含むフレーム画像１０００を受信した場合、物体認識部５０４は、フレーム画像１０００に含まれる商品画像１００１，１００２と、ＰＬＵファイルＦ１の商品画像（基準画像）１００４，１００５と、を比較する。そして、商品画像１００１，１００２から特徴量として読み取った表面の状態と、商品画像１００４，１００５の表面の状態とが一致した場合、物体認識部５０４は、フレーム画像１０００に商品画像１００１，１００２が含まれる商品Ａ，Ｂを、買物カゴ１５３に収納された商品として認識する。次いで、商品登録部５０５は、ＰＬＵファイルＦ１から、認識した商品Ａ，Ｂの売上登録にかかる情報を読み出し、読み出した売上登録にかかる情報（例えば、商品名など）を記録した商品リスト１００６を作成し、作成した商品リスト１００６を記憶媒体２１３に記憶させる。

図７に戻り、買物カゴ１５３からの商品の取り出しが行われていないと判断した場合（Ａ７０９のＮｏ）、精算部５０６は、買物カゴ１５３の商品を精算するか否か、すなわち、商品精算ボタン１５３ｃが押下されて買物カゴ１５３から商品の精算が要求されたか否かを判断する（Ａ７０５）。買物カゴ１５３の商品を精算しない場合（Ａ７０５のＮｏ）、Ａ７０１に示す処理に戻り、受信部５０３が、フレーム画像の受信を行う。

一方、買物カゴ１５３の商品の精算を行う場合（Ａ７０５のＹｅｓ）、精算部５０６は、受信部５０３により受信した商品リストに売上登録にかかる情報が記録された商品対しての精算を行う（Ａ７０６）。

次に、ＰＯＳ端末１１における精算動作について詳細に説明する。図１１は、本実施形態にかかるＰＯＳ端末の精算動作の一例を示すフローチャートである。

精算部５０６は、買物カゴ１５３の商品精算ボタン１５３ｃが押下されると、受信部５０３が受信した商品リストに売上登録にかかる情報が記録された商品に対しての精算を開始する（Ａ１１０１）。

精算部５０６は、受信した商品リストに売上登録にかかる情報として記録された、商品の単価を参照して、買物カゴ１５３内に収納された商品の合計金額を計算する（Ａ１１０２）。そして、精算部５０６は、計算した合計金額を参照して、買物カゴ１５３内に収納された商品の会計を行う（Ａ１１０３）。

このように本実施形態のチェックアウトシステム１によれば、買物カゴ１５３が、商品を収納する買物カゴ１５３内のフレーム画像を撮像する撮像部１５３ｂと、撮像したフレーム画像を取り込む撮像画像取込部５０１と、取り込んだフレーム画像とともに買物カゴ１５３を特定する買物カゴＩＤをＰＯＳ端末１１に送信する送信部５０２と、を備える。ＰＯＳ端末１１が、送信されたフレーム画像および買物カゴＩＤを受信する受信部５０３と、受信したフレーム画像から商品を認識する物体認識部５０４と、認識した商品を、受信した買物カゴＩＤにより特定される買物カゴ１５３毎に売上登録する商品登録部５０５と、を備える。これにより、店員が買物カゴ１５３内の商品を識別して売上登録を行う必要がなくなるので、店員の作業負担を軽減することができる。

なお、本実施形態のＰＯＳ端末１１およびカート２００で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のＰＯＳ端末１１および買物カゴ１５３（カート２００）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のＰＯＳ端末１１およびカート２００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態のＰＯＳ端末１１およびカート２００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施形態のＰＯＳ端末１１で実行されるプログラムは、上述した各部（受信部５０３、物体認識部５０４、商品登録部５０５、精算部５０６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、受信部５０３、物体認識部５０４、商品登録部５０５、精算部５０６が主記憶装置上に生成されるようになっている。

本実施形態のカート２００で実行されるプログラムは、上述した各部（撮像画像取込部５０１、送信部５０２）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮像画像取込部５０１、送信部５０２が主記憶装置上に生成されるようになっている。

なお、本実施形態では、ＰＯＳ端末１１のＣＰＵ６１に物体認識部５０４としての機能を持たせているが、これに限定するものではなく、カート２００側のＣＰＵ２１１に物体認識部５０４としての機能を持たせてもよい。カート側２００のＣＰＵ２１１に物体認識部５０４としての機能を持たせた場合、送信部５０２は、フレーム画像（撮像画像）に代えて認識した商品を特定する商品ＩＤなどの商品情報を、買物カゴＩＤとともにＰＯＳ端末１１に送信する。そして、ＰＯＳ端末１１の商品登録部５０５は、受信した商品情報により特定される商品を、受信した買物カゴＩＤにより特定される買物カゴ１５３毎に売上登録するものとする。

また、本実施形態では、ＰＯＳ端末１１のＣＰＵ６１に受信部５０３、物体認識部５０４、商品登録部５０５としての機能を持たせているが、これに限定するものではなく、ストアコンピュータＳＣ（サーバ）のＣＰＵに受信部５０３、物体認識部５０４、商品登録部５０５としての機能を持たせてもよい。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１ ＰＯＳ端末
１５３ 買物カゴ
１５３ｂ 撮像部
２００ カート
２１３ 記憶媒体
５０１ 撮像画像取込部
５０２ 送信部
５０３ 受信部
５０４ 物体認識部
５０５ 商品登録部

Claims (5)

1. 商品を収納する収納部を備える商品収納装置内の画像を撮像する撮像部と、買い物の開始を指示する買い物開始ボタンと、商品の精算を指示する商品精算ボタンと、を備える商品収納装置と、商品を売上登録する商品登録装置と、を含む店舗システムにおいて、
   前記買い物開始ボタンにより買い物の開始が指示されると、所定時間毎に前記撮像部により撮像した画像を取り込む撮像画像取込手段と、
   前記撮像画像取込手段で取り込まれた画像から特徴量を読み取り、
   物体を認識する物体認識手段と、
   前記商品精算ボタンにより商品の精算が指示されると、前記物体認識手段により認識された商品を、前記商品収納装置毎に売上登録する商品登録手段と、
   を備え、
   前記登録手段は、前記認識された商品のうち、識別情報により特定される前記商品収納装置について売上登録された商品と、前記認識された商品とを比較して、前記収納部への商品の追加、及び前記収納部から商品が取り出されたかを判断し、商品が追加されていれば、売上登録されていない商品を売上登録し、商品が取り出されたら、前記受信した識別情報により特定される前記商品収納装置について売上登録された商品のうち前記認識された商品に含まれない商品の売上登録を解除する店舗システム。
2. 前記撮像した画像に代えて前記認識した商品の商品情報を、識別情報とともに商品登録装置に送信する送信手段をさらに備える請求項１に記載の店舗システム。
3. 前記収納部内の撮像画像とともに前記収納部を備えた商品収納装置を特定する識別情報を受信する受信手段をさらに備える請求項２記載の店舗システム。
4. 前記登録手段は、前記認識された商品を、前記受信した識別情報により特定される前記商品収納装置が備える記憶部に記憶させることにより、前記認識された商品を前記商品収納装置毎に売上登録する請求項３に記載の店舗システム。
5. 商品を収納する収納部を備える前記収納部内の画像を撮像する撮像部と、買い物の開始を指示する買い物開始ボタンと、商品の精算を指示する商品精算ボタンと、を備えた商品収納装置と、商品を売上登録する商品登録装置と、を含む店舗システムで実行される商品登録方法であって、
   買い物の開始が指示されると、所定時間前に前記撮像部により撮像した画像を取り込む工程と、
   取り込まれた画像から特徴量を読み取り、物体を認識する工程と、
   商品の精算が指示されると、認識された商品を前記商品収納装置毎に売上登録する工程と、
   前記認識された商品のうち、識別情報により特定される前記商品収納装置について売上登録された商品と、前記認識された商品とを比較して、前記収納部への商品の追加、及び前記収納部から商品が取り出されたかを判断する工程と、
   商品が追加されていれば、売上登録されていない商品を売上登録し、商品が取り出されたら、前記受信した識別情報により特定される前記商品収納装置について売上登録された商品のうち前記認識された商品に含まれない商品の売上登録を解除する工程と、
   を含む商品登録方法。

Images