JP7742243B2 - 情報処理システム、情報処理装置及びその制御プログラム - Google Patents

Description

本発明の実施形態は、情報処理システム、情報処理装置及びその制御プログラムに関する。

近年、スーパーマーケット等の小売店では、人件費の削減、感染症の感染予防対策等の観点から、セルフＰＯＳ（Point Of Sales）端末が注目されている。セルフＰＯＳ端末は、購買商品の登録から決済までの操作を客が自ら行うようにしたフルセルフ対応の決済端末である。購買商品の登録操作方法には、例えば購買商品に付された商品固有の商品コードを表すバーコードを読み取ることで商品を特定する、いわゆるバーコード認識を利用して購買登録を行う方法、購買商品の外観を撮像した画像から当該商品を認識する、いわゆるオブジェクト認識を利用して購買登録を行う方法等がある。これらの登録操作方法に不慣れなユーザは、登録操作に戸惑って購買登録に要する時間が長くなり、大きなストレスを感じることがある。したがって、ユーザ自身が購買商品の登録操作を行うことによるストレスを低減することができる技術の開発が求められている。

特開２０１７－５９２０８号公報

本発明の実施形態が解決しようとする課題は、ユーザ自身が購買商品の登録操作を行うことによるストレスを低減することができる情報処理システム、情報処理装置及びその制御プログラムを提供しようとするものである。

一実施形態において、情報処理装置は、第１取得部と、第２取得部と、切替部とを備える。第１取得部は、購買商品の登録操作を行うユーザのユーザ情報を取得する。第２取得部は、第１取得部により取得されたユーザ情報を基に、購買商品の登録操作に関係する時間を取得する。切替部は、ユーザにより行われた購買商品の登録操作に要する時間が第２取得部により取得された購買商品の登録操作に関係する時間を経過した場合、購買商品の登録操作方法を切り替える。ユーザ情報は、ユーザの顔の特徴量を含み、第１取得部は、撮像されたユーザの顔を含む撮像画像よりユーザのユーザ情報を取得する。ユーザ情報は、ユーザの年代をさらに含み、第２取得部は、ユーザの顔の特徴量を基に、ユーザが購買商品の登録操作を行う際に要する平均的な購買登録時間である第２平均登録時間を取得し、第２平均登録時間が取得できなかった場合、ユーザの年代を基に、当該年代のユーザが購買商品の登録操作を行う際に要する平均的な購買登録時間である第１平均登録時間を取得する。

図１は、情報処理システムの概略構成を示すブロック図である。 図２は、セルフＰＯＳ端末の外観構成を説明するための図である。 図３は、セルフＰＯＳ端末の要部回路構成を示すブロック図である。 図４は、年代テーブルの一例を示す模式図である。 図５は、ストアサーバの要部回路構成を示すブロック図である。 図６は、会員データベースに保存される会員データレコードのデータ構造を示す模式図である。 図７は、購買登録データの一例を示す模式図である。 図８は、セルフＰＯＳ端末におけるプロセッサの要部制御手順を示す流れ図である。 図９は、セルフＰＯＳ端末におけるプロセッサの要部制御手順を示す流れ図である。 図１０は、セルフＰＯＳ端末におけるプロセッサの要部制御手順を示す流れ図である。 図１１は、セルフＰＯＳ端末におけるプロセッサの要部制御手順を示す流れ図である。 図１２は、セルフＰＯＳ端末におけるプロセッサの要部制御手順を示す流れ図である。 図１３は、ストアサーバにおけるプロセッサの要部制御手順を示す流れ図である。 図１４は、ストアサーバにおけるプロセッサの要部制御手順を示す流れ図である。 図１５は、ストアサーバにおけるプロセッサの要部制御手順を示す流れ図である。 図１６は、第１購買登録画面の一例を示す模式図である。 図１７は、切替画面の一例を示す模式図である。 図１８は、第２購買登録画面の一例を示す模式図である。 図１９は、第２実施形態において、セルフＰＯＳ端末におけるプロセッサの要部制御手順を示す流れ図である。 図２０は、第２実施形態において、セルフＰＯＳ端末におけるプロセッサの要部制御手順を示す流れ図である。 図２１は、第２実施形態において、セルフＰＯＳ端末におけるプロセッサの要部制御手順を示す流れ図である。 図２２は、第２実施形態において、セルフＰＯＳ端末におけるプロセッサの要部制御手順を示す流れ図である。 図２３は、第２実施形態において、ストアサーバにおけるプロセッサの要部制御手順を示す流れ図である。

以下、各実施形態について、図面を用いて説明する。

（第１実施形態）
図１は、情報処理システムＳの概略構成を示すブロック図である。情報処理システムＳは、複数台のセルフＰＯＳ端末１０及びストアサーバ６０を含む。セルフＰＯＳ端末１０及びストアサーバ６０は、ＬＡＮ（Local Area Network）等の通信ネットワーク１に接続されている。ＬＡＮは、有線であってもよいし無線であってもよい。

セルフＰＯＳ端末１０は、客が購入しようとする商品、いわゆる購買商品の登録から決済までの操作を客が自ら行うようにしたフルセルフ対応の決済端末である。セルフＰＯＳ端末１０は、情報処理装置の一例である。

ストアサーバ６０は、情報処理システムＳが導入された店舗に関する情報を管理し、その店舗に係る種々の情報処理を実行するコンピュータである。

図２は、セルフＰＯＳ端末１０の外観構成を説明するための図である。
セルフＰＯＳ端末１０は、床面に設置された本体３０と、この本体３０の脇に設置された袋詰め台４０とを備える。本体３０は、その上部にタッチパネル３１を取り付けている。タッチパネル３１は、ディスプレイとタッチセンサとで構成される。ディスプレイは、セルフＰＯＳ端末１０を操作するユーザである客に対して種々の画面を表示するためのデバイスである。タッチセンサは、客による画面へのタッチ入力を検知するためのデバイスである。タッチパネル３１には、カメラ３１１が内蔵されている。カメラ３１１は、静止画又は動画の撮影装置として動作する。カメラ３１１は、セルフＰＯＳ端末１０の正面に立って、本体３０、袋詰め台４０及び籠台５０等と対峙する客の顔が撮像可能な位置に設置されている。カメラ３１１は、例えば購買商品の登録操作を行う客を撮像する。なお、カメラ３１１は、タッチパネル３１に外付けされたものであってもよい。カメラ３１１は、購買商品の登録操作を行うユーザすなわち客を撮像する撮像部として機能する。

本体３０は、袋詰め台４０が設置された側とは反対側の側面中央部に籠台５０を設けている。籠台５０は、売場から来た客が購買商品を入れた籠等を置くためのものである。客は、タッチパネル３１の画面が見えるように、図２において本体３０の手前側に立って作業を行う。このため客から見ると、本体３０を挟んで右側に籠台５０があり、左側に袋詰め台４０がある。以下の説明では、客が立つ側を本体３０の正面とし、袋詰め台４０が設置されている側を本体３０の左側とし、籠台５０が設けられている側を本体３０の右側とする。

本体３０は、その正面に、スキャナ１７（図３を参照）の読取窓３２、カード挿入口３３、レシート発行口３４、硬貨投入口３５、硬貨払出口３６、紙幣投入口３７及び紙幣払出口３８を形成する。また、本体３０の右側面から外部へと通信ケーブル５１が延びており、この通信ケーブル５１の先端に電子マネー媒体用のリーダ・ライタ５２が接続されている。リーダ・ライタ５２は、本体３０の右側面上部に設けられた置台５３に置かれている。

本体３０は、その上面に表示ポール５４を取り付けている。表示ポール５４は、その先端部に例えば青色と赤色とを選択的に発光させる発光部５５を備える。表示ポール５４は、発光部５５の発光色によってセルフＰＯＳ端末１０の状態、例えば待機中、動作中、呼出中、エラー中等を表示する。

袋詰め台４０は、ハウジング４１の上部に袋保持具４２を取り付けた構造となっている。袋保持具４２は、一対の保持アーム４３を備えており、この保持アーム４３で店舗備え付けのレジ袋又は客が持参した買物袋いわゆるマイバッグ等を保持する。

図３は、セルフＰＯＳ端末１０の要部回路構成を示すブロック図である。図３に示すように、セルフＰＯＳ端末１０は、プロセッサ１１、メインメモリ１２、補助記憶デバイス１３、時計１４、通信インターフェース１５、自動釣銭機１６、スキャナ１７、タッチパネル３１、プリンタ１８、カードリーダ１９、リーダ・ライタ５２、発光部５５、タイマカウンタ２０、人感センサ２１及びシステム伝送路２２を備える。システム伝送路２２は、アドレスバス、データバス、制御信号線等を含む。システム伝送路２２は、プロセッサ１１と他の各部とを直接又は信号入出力回路を介して接続し、相互間で授受されるデータ信号を伝送する。プロセッサ１１、メインメモリ１２及び補助記憶デバイス１３がシステム伝送路２２で接続されることにより、セルフＰＯＳ端末１０のコンピュータが構成される。

プロセッサ１１は、上記コンピュータの中枢部分に相当する。プロセッサ１１は、メインメモリ１２又は補助記憶デバイス１３に記憶されたオペレーティングシステム又はアプリケーションプログラムに従って、セルフＰＯＳ端末１０としての各種の機能を実現するべく制御部として各部を制御する。本実施形態では、プロセッサ１１が制御部として各種処理を実行するものとして説明する。プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）である。

メインメモリ１２は、上記コンピュータの主記憶部分に相当する。メインメモリ１２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ１２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ１２は、プロセッサ１１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ１２は、揮発性のメモリ領域を、プロセッサ１１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭ（Read Only Memory）である。揮発性のメモリ領域は、例えばＲＡＭ（Random Access Memory）である。

補助記憶デバイス１３は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ（登録商標）（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）等が補助記憶デバイス１３となり得る。補助記憶デバイス１３は、プロセッサ１１が各種の処理を行う上で使用するデータ、プロセッサ１１での処理によって作成されたデータ等を保存する。補助記憶デバイス１３は、上記のアプリケーションプログラムを記憶する場合もある。

時計１４は、セルフＰＯＳ端末１０の時刻情報源として機能する。プロセッサ１１は、時計１４により計時される時刻情報を基に、現在の日付及び時間（日時）を計時する。

通信インターフェース１５は、通信ネットワーク１を介して接続されたストアサーバ６０又は他のセルフＰＯＳ端末１０との間で、予め設定された通信プロトコルに従いデータ通信を行う。

自動釣銭機１６は、硬貨ユニットと紙幣ユニットとを含む。硬貨ユニットは、硬貨投入口３５に投入された硬貨を１枚ずつ選別して金種を識別し、金種別に金庫に収容する。硬貨ユニットは、例えば釣銭データに基づいて金庫から該当する金種の硬貨を取出し、硬貨払出口３６に払い出す。紙幣ユニットは、紙幣投入口３７に投入された紙幣を１枚ずつ選別して金種を識別し、金種別に金庫に収容する。紙幣ユニットは、例えば釣銭データに基づいて金庫から該当する金種の紙幣を取出し、紙幣払出口３８に払い出す。

スキャナ１７は、読取窓３２に翳された購買商品を撮像する。

プリンタ１８は、レシート用紙に商取引の明細を表すレシートデータ等を印刷する。レシートデータが印刷されたレシート用紙は、レシート発行口３４から排出され、カッタにより切断されて、レシートとして発行される。

カードリーダ１９は、クレジットカード、ポイントカード等のカード媒体に記録されたカードデータを読み取る。カードリーダ１９は、カード挿入口３３に挿入されたカード媒体を本体３０内に引き込み、カードデータを読み取った後、カード挿入口３３から排出する。

リーダ・ライタ５２は、電子マネー媒体に記録された電子マネーの読み取り及び書き換えを行う。電子マネー媒体は、例えば非接触型のＩＣカードである。電子マネー媒体は、スマートフォン、タブレット端末等の電子機器であってもよい。

タイマカウンタ２０は、一定の周期でタイマ値Ｔをカウントアップする。タイマカウンタ２０は、時計１４が例えば１秒を計時する毎にタイマ値Ｔをカウントアップする。
人感センサ２１は、セルフＰＯＳ端末１０に対峙して位置する人間、例えば客の存在を検出する。人感センサ２１は、赤外線タイプ等の周知のセンサを用いてもよい。

かかる構成のセルフＰＯＳ端末１０は、メインメモリ１２の揮発性メモリ領域の一部を、年代テーブル１２１（図４を参照）、顔画像メモリ１２２、商品画像メモリ１２３、平均登録時間メモリ１２４及び実登録時間メモリ１２５の領域として使用する。なお、年代テーブル１２１、顔画像メモリ１２２、商品画像メモリ１２３、平均登録時間メモリ１２４及び実登録時間メモリ１２５の記憶先はメインメモリ１２に限定されない。補助記憶デバイス１３において年代テーブル１２１、顔画像メモリ１２２、商品画像メモリ１２３、平均登録時間メモリ１２４及び実登録時間メモリ１２５を記憶してもよい。

図４は、年代テーブル１２１の一例を示す模式図である。図４に示すように、年代テーブル１２１は、年代と、第１平均登録時間とを関連付けて記述したものである。年代は、例えば客の年齢によって１０代（１０歳～１９歳）、２０代（２０歳～２９歳）等に区分けしたものである。年代の設定は、任意である。第１平均登録時間は、関連付けられた年代の客が購買登録操作を行う際に要する平均的な購買登録時間である。第１平均登録時間は、例えば１点目に係る平均登録時間と２点目以降に係る平均登録時間とに基づいた平均的な購買登録時間である。１点目に係る平均登録時間は、例えばセルフＰＯＳ端末１０のタッチパネル３１に第１購買登録画面が表示された時点から、その購買商品のオブジェクト認識が成功した時点又はバーコード認識が成功した時点までに要する平均的な購買登録時間である。第１購買登録画面は、後述する。オブジェクト認識とは、スキャナ１７の読取窓３２に翳された購買商品の外観を撮像した画像から、オブジェクト認識処理（一般物体認識処理）により購買商品を認識することである。オブジェクト認識は、購買商品の画像を認識して登録する第１登録操作方法と称することもできる。バーコード認識とは、読取窓３２に翳された購買商品を撮像した上で、購買商品に付されたバーコードを読み取ることにより購買商品を認識することである。店舗で販売される各商品には、それぞれ商品コードを表したバーコード体系のコードシンボルが付されている。商品コードは、商品を個々に識別するために商品毎に設定された商品識別情報である。商品コードは、購買商品の識別情報の一例である。バーコード認識は、購買商品の識別情報を認識して登録する第２登録操作方法と称することもできる。２点目以降に係る平均登録時間は、例えば前の購買商品のオブジェクト認識が成功した時点又はバーコード認識が成功した時点から、次の購買商品のオブジェクト認識が成功した時点又はバーコード認識が成功した時点までに要する平均的な購買登録時間である。１点目に係る平均登録時間と２点目以降に係る平均登録時間とは、例えば客の年代別に、過去の購買登録時間を分析することで算出される。第１平均登録時間には、例えば高齢者又は子供と称される年代の客は購買登録操作に不慣れな場合が多いこと等を考慮した時間が設定されてもよい。第１平均登録時間は、購買商品の登録操作に関係する時間の一例である。なお、年代テーブル１２１は、上述した項目のデータに限定されるものではない。

図３の説明に戻る。
顔画像メモリ１２２は、カメラ３１１により撮像された客の顔を含むフレーム画像（撮像画像）を記憶する。商品画像メモリ１２３は、スキャナ１７により撮像された購買商品を含むフレーム画像を記憶する。商品画像メモリ１２３は、オブジェクト認識処理に用いられるフレーム画像を記憶する。商品画像メモリ１２３に記憶されたフレーム画像は、例えばオブジェクト認識処理に係る学習処理を行う際に用いられる。平均登録時間メモリ１２４は、第１平均登録時間又は第２平均登録時間を記憶する。第２平均登録時間は、後述する。実登録時間メモリ１２５は、実登録時間を記憶する。実登録時間は、実際に客が購買登録操作を行う際に要した購買登録時間である。実登録時間は、１点目の購買商品の場合には、例えばセルフＰＯＳ端末１０のタッチパネル３１に第１購買登録画面が表示された時点から、その購買商品のオブジェクト認識が成功した時点又はバーコード認識が成功した時点までに要した購買登録時間である。実登録時間は、２点目以降の購買商品の場合には、例えば前の購買商品のオブジェクト認識が成功した時点又はバーコード認識が成功した時点から、次の購買商品のオブジェクト認識が成功した時点又はバーコード認識が成功した時点までに要した購買登録時間である。なお、実登録時間は、例えば購買登録を行っている時間として計測できればよい。実登録時間の計測のタイミングは、上記に限定されるものではなく、任意に設計又は設定してよい。

かかる構成のセルフＰＯＳ端末１０は、補助記憶デバイス１３の記憶領域の一部を、年齢辞書ファイル１３１の領域とする。年齢辞書ファイル１３１は、年代に相当する人間の顔に係る典型的な属性データを記憶した年齢データレコードを保存する。年齢データレコードは、年代、顔属性データ等の項目を含む。顔属性データは、顔の属性の特徴量を数値化したものである。顔の属性は、例えば髪型、肌の状態、目元、口元の皺の状態、ひげの有無、化粧の有無等である。なお、年齢辞書ファイル１３１の記憶先は補助記憶デバイス１３に限定されない。メインメモリ１２の揮発性メモリ領域の一部に年齢辞書ファイル１３１を記憶してもよいし、セルフＰＯＳ端末１０に外付けされた記憶装置にあってもよい。

プロセッサ１１は、第１取得部１１１、第２取得部１１２及び切替部１１３としての機能を有する。第１取得部１１１は、購買商品の登録操作を行うユーザのユーザ情報を取得する機能である。第１取得部１１１は、第１取得手段と言い換えることができる。

第２取得部１１２は、第１取得部１１１により取得されたユーザ情報を基に、購買商品の登録操作に関係する時間を取得する機能である。第２取得部１１２は、第２取得手段と言い換えることができる。

切替部１１３は、ユーザにより行われた購買商品の登録操作に要する時間が第２取得部１１２により取得された購買商品の登録操作に関係する時間を経過した場合、購買商品の登録操作方法を切り替える機能である。切替部１１３は、切替手段と言い換えることができる。

図５は、ストアサーバ６０の要部回路構成を示すブロック図である。図５に示すように、ストアサーバ６０は、プロセッサ６１、メインメモリ６２、補助記憶デバイス６３、通信インターフェース６４及びシステム伝送路６５を備える。システム伝送路６５は、アドレスバス、データバス、制御信号線等を含む。ストアサーバ６０は、システム伝送路６５に、プロセッサ６１、メインメモリ６２、補助記憶デバイス６３及び通信インターフェース６４を接続する。ストアサーバ６０では、プロセッサ６１、メインメモリ６２及び補助記憶デバイス６３と、これらを接続するシステム伝送路６５とによってコンピュータが構成される。

プロセッサ６１は、上記コンピュータの中枢部分に相当する。プロセッサ６１は、メインメモリ６２又は補助記憶デバイス６３に記憶されたオペレーティングシステム又はアプリケーションプログラムに従って、ストアサーバ６０としての各種の機能を実現するべく制御部として各部を制御する。本実施形態では、プロセッサ６１が制御部として各種処理を実行するものとして説明する。プロセッサ６１は、例えばＣＰＵである。

メインメモリ６２は、上記コンピュータの主記憶部分に相当する。メインメモリ６２は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ６２は、不揮発性のメモリ領域ではオペレーティングシステム又はアプリケーションプログラムを記憶する。メインメモリ６２は、プロセッサ６１が各部を制御するための処理を実行する上で必要なデータを不揮発性又は揮発性のメモリ領域で記憶する場合もある。メインメモリ６２は、揮発性のメモリ領域を、プロセッサ６１によってデータが適宜書き換えられるワークエリアとして使用する。不揮発性のメモリ領域は、例えばＲＯＭである。揮発性のメモリ領域は、例えばＲＡＭである。

補助記憶デバイス６３は、上記コンピュータの補助記憶部分に相当する。例えばＥＥＰＲＯＭ、ＨＤＤ、あるいはＳＳＤ等が補助記憶デバイス６３となり得る。補助記憶デバイス６３は、プロセッサ６１が各種の処理を行う上で使用するデータ、あるいはプロセッサ６１での処理によって作成されたデータ等を保存する。補助記憶デバイス６３は、上記のアプリケーションプログラムを記憶する場合もある。

通信インターフェース６４は、通信ネットワーク１を介して接続されたセルフＰＯＳ端末１０との間で、予め設定された通信プロトコルに従いデータ通信を行う。

かかる構成のストアサーバ６０は、補助記憶デバイス６３の記憶領域の一部を、会員データベース６３１、商品データベース６３２及び商品学習辞書ファイル６３３の領域とする。なお、会員データベース６３１、商品データベース６３２及び商品学習辞書ファイル６３３の記憶先は補助記憶デバイス６３に限定されない。メインメモリ６２の揮発性メモリ領域の一部に会員データベース６３１、商品データベース６３２及び商品学習辞書ファイル６３３を記憶してもよいし、ストアサーバ６０に外付けされた記憶装置にあってもよい。

会員データベース６３１は、会員毎に会員データを記述した会員データレコード６３１１（図６を参照）を保存する。

図６は、会員データベース６３１に保存される会員データレコード６３１１のデータ構造を示す模式図である。図６に示すように、会員データレコード６３１１は、会員ＩＤ、氏名、性別、メールアドレス、顔画像、顔特徴量、第２平均登録時間、購買登録データ６３１２（図７を参照）等の項目を含む。会員ＩＤは、会員を個々に識別するために会員毎に設定された会員識別情報である。顔画像は、予め撮像された会員の顔画像である。顔特徴量は、会員の顔画像を基に、顔の特徴的な部位（例えば目、鼻、口等の特徴点）の相対的な位置を示す特徴量を数値化したものである。第２平均登録時間は、それぞれの会員が購買商品の登録操作を行う際に要する平均的な購買登録時間である。第２平均登録時間は、例えば購買登録データ６３１２に記述された実登録時間の平均値でもよいし、その平均値に若干のマージンを加味した値でもよい。第２平均登録時間は、購買登録データ６３１２に所定数以上の実登録時間が記述された場合に算出されるものとする。所定数は、例えば１００、２００等である。所定数の設定は、任意である。第２平均登録時間は、適宜更新されてもよい。購買登録データ６３１２に記述された実登録時間が所定数を満たさない場合、第２平均登録時間にはＮＵＬＬ値がセットされる。第２平均登録時間は、購買商品の登録操作に関係する時間の一例である。なお、会員データレコード６３１１は、上述した項目のデータに限定されるものではない。

図７は、購買登録データ６３１２の一例を示す模式図である。図７に示すように、購買登録データ６３１２は、一連の番号順に、取引日時、ユーザが購入する購買商品の商品コード、商品名、価格、実登録時間等からなる。取引日時は、後述する。実登録時間は、オブジェクト認識による登録操作の場合には、実際に客がオブジェクト認識による登録操作を行う際に要した購買登録時間が記述される。実登録時間は、バーコード認識による登録操作の場合には、実際に客がバーコード認識による登録操作を行う際に要した購買登録時間が記述される。なお、購買登録データ６３１２は、上述した項目のデータに限定されるものではない。

商品データベース６３２は、店舗で販売されている商品のデータを記録した商品データレコードを保存する。商品データレコードは、商品コード、商品名、価格、第１商品特徴量等の項目を含む。第１商品特徴量は、商品の形状、表面の色合い、模様、凹凸状況等の商品の標準的な外観の特徴量を商品毎に数値化したものである。なお、商品データレコードは、上述した項目のデータに限定されるものではない。

商品学習辞書ファイル６３３は、スキャナ１７により撮像された購買商品に係るデータを記録した学習データレコードを保存する。商品学習辞書ファイル６３３は、オブジェクト認識処理におけるオブジェクトの認識率を高めるための学習処理を行う際に用いられる。学習データレコードは、商品コード、商品画像、第２商品特徴量等の項目を含む。商品画像は、スキャナ１７により撮像された購買商品を含むフレーム画像である。第２商品特徴量は、その商品画像から読み取られた商品の形状、表面の色合い、模様、凹凸状況等の特徴量を数値化したものである。第２商品特徴量は、例えばその商品画像から特徴量を読み取ることができない場合、ＮＵＬＬ値がセットされる。なお、学習データレコードは、上述した項目のデータに限定されるものではない。

図８乃至図１２は、セルフＰＯＳ端末１０におけるプロセッサ１１（制御部）の要部制御手順を示す流れ図である。図１３乃至図１５は、ストアサーバ６０におけるプロセッサ６１（制御部）の要部制御手順を示す流れ図である。以下、これらの流れ図を用いて、客がセルフＰＯＳ端末１０を使用して購買商品の登録から決済までをセルフで行う場合の情報処理システムＳの主要な動作について説明する。なお、以下に説明する動作は一例である。同様な結果が得られるのであれば、その手順は特に限定されるものではない。

始めに、会計のために会計場に来た客は、空いているセルフＰＯＳ端末１０の正面に立ち、購買商品を入れた籠を籠台５０に置く。一方、セルフＰＯＳ端末１０は、例えば人感センサ２１により客がセルフＰＯＳ端末１０の正面に立つと、客を検出したとして図８の流れ図に示す手順の情報処理を開始する。

プロセッサ１１は、ＡＣＴ１としてカメラ３１１に対して撮像オン信号を出力する。この撮像オン信号により、カメラ３１１はセルフＰＯＳ端末１０の正面に立った客の顔を撮像する。プロセッサ１１は、ＡＣＴ２としてカメラ３１１により撮像された客の顔を含むフレーム画像を取り込む。プロセッサ１１は、ＡＣＴ３として客の顔を含むフレーム画像をメインメモリ１２の顔画像メモリ１２２に記憶する。

プロセッサ１１は、ＡＣＴ４として当該フレーム画像に対して顔認識処理を行う。顔認識処理として、プロセッサ１１は、例えばフレーム画像に含まれる客の顔の特徴量を算出する。プロセッサ１１は、第１取得部１１１の機能により算出された客の顔の特徴量を取得する。客の顔の特徴量は、ユーザ情報の一例である。このような顔認識処理の技術は周知であるので、詳細な説明は省略する。

プロセッサ１１は、ＡＣＴ５として顔認証コマンドをストアサーバ６０宛に送信するように通信インターフェース１５を制御する。この制御により、通信インターフェース１５は顔認証コマンドを送信する。顔認証コマンドには、ＡＣＴ４の顔認識処理で取得された特徴量が含まれる。

顔認証コマンドを受信したストアサーバ６０のプロセッサ６１は、図１３の流れ図に示す手順のコマンド受信処理を開始する。

プロセッサ６１は、ＡＣＴ８１として顔認証コマンドから特徴量を検出する。プロセッサ６１は、ＡＣＴ８２として、ＡＣＴ８１の処理で検出された特徴量と一致する顔特徴量を含む会員データレコード６３１１が会員データベース６３１に存在するか否かを確認する。このとき、プロセッサ６１は、ＡＣＴ８１の処理で検出された特徴量と顔特徴量との類似度が予め定められた所定値以上であるならば、両者の特徴量が一致すると見做す。

該当する会員データレコード６３１１が会員データベース６３１に存在しない場合、プロセッサ６１は、ＡＣＴ８２においてＮＯと判定し、ＡＣＴ８３へと進む。会員データレコード６３１１が会員データベース６３１に存在しない場合とは、例えば客が非会員である場合を意味する。プロセッサ６１は、ＡＣＴ８３としてセルフＰＯＳ端末１０に非会員コマンドを送信するように通信インターフェース６４を制御する。この制御により、通信インターフェース６４から非会員コマンドが送信される。非会員コマンドは、通信ネットワーク１を介してセルフＰＯＳ端末１０で受信される。

該当する会員データレコード６３１１が会員データベース６３１に存在する場合、プロセッサ６１は、ＡＣＴ８２においてＹＥＳと判定し、ＡＣＴ８４へと進む。プロセッサ６１は、ＡＣＴ８４として会員データレコード６３１１に含まれる会員ＩＤを取得する。

プロセッサ６１は、ＡＣＴ８５として該当する会員データレコード６３１１に第２平均登録時間が記憶されているか否かを確認する。

第２平均登録時間が記憶されている場合、プロセッサ６１は、ＡＣＴ８５においてＹＥＳと判定し、ＡＣＴ８６へと進む。プロセッサ６１は、ＡＣＴ８６として第２平均登録時間を取得する。そしてプロセッサ６１は、ＡＣＴ８７へと進む。

第２平均登録時間が記憶されていない場合、すなわち第２平均登録時間にＮＵＬＬ値がセットされている場合、プロセッサ６１は、ＡＣＴ８５においてＮＯと判定し、ＡＣＴ８６の処理をスキップしてＡＣＴ８７へと進む。

プロセッサ６１は、ＡＣＴ８７としてセルフＰＯＳ端末１０に会員コマンドを送信するように通信インターフェース６４を制御する。この制御により、通信インターフェース６４から会員コマンドが送信される。会員コマンドは、通信ネットワーク１を介してセルフＰＯＳ端末１０で受信される。ＡＣＴ８６の処理で第２平均登録時間が取得された場合、会員コマンドには、会員ＩＤと第２平均登録時間とが含まれる。会員データレコード６３１１に第２平均登録時間が記憶されていない場合、会員コマンドには、会員ＩＤが含まれる。

このように、顔認証コマンドを受信したストアサーバ６０は、その顔認証コマンド送信元のセルフＰＯＳ端末１０に対し、ＡＣＴ８３又はＡＣＴ８７において非会員又は会員コマンドを送信する。プロセッサ６１は、いずれかのコマンドを送信し終えると、顔認証コマンド受信処理を終了する。

図８の説明に戻る。
ＡＣＴ５において顔認証コマンドの送信を制御したセルフＰＯＳ端末１０のプロセッサ１１は、ＡＣＴ６としてストアサーバ６０からの会員コマンドを待ち受ける。

ストアサーバ６０から会員コマンドを受信しない場合、プロセッサ１１は、ＡＣＴ６においてＮＯと判定し、ＡＣＴ７へと進む。

プロセッサ１１は、ＡＣＴ７として非会員コマンドを受信したか否かを確認する。非会員コマンドを受信しない場合、プロセッサ１１は、ＡＣＴ７においてＮＯと判定し、ＡＣＴ６の処理に戻る。すなわちプロセッサ１１は、ＡＣＴ６及びＡＣＴ７の待ち受け状態に戻る。

プロセッサ１１は、ＡＣＴ６及びＡＣＴ７の待ち受け状態において、ストアサーバ６０から会員コマンドを受信すると、プロセッサ１１は、ＡＣＴ６においてＹＥＳと判定し、ＡＣＴ８へと進む。プロセッサ１１は、ＡＣＴ８として会員コマンドに含まれている会員ＩＤをメインメモリ１２に記憶する。

プロセッサ１１は、ＡＣＴ９として会員コマンドに第２平均登録時間が含まれているか否かを確認する。会員コマンドに第２平均登録時間が含まれている場合、プロセッサ１１は、ＡＣＴ９においてＹＥＳと判定し、ＡＣＴ１２へと進む。プロセッサ１１は、ＡＣＴ１２として第２取得部１１２の機能により第２平均登録時間を平均登録時間メモリ１２４に記憶する。

会員コマンドに第２平均登録時間が含まれていない場合、プロセッサ１１は、ＡＣＴ９においてＮＯと判定し、ＡＣＴ１０へと進む。

ＡＣＴ６及びＡＣＴ７の待ち受け状態において、ストアサーバ６０から非会員コマンドを受信した場合、プロセッサ１１は、ＡＣＴ７においてＹＥＳと判定し、ＡＣＴ１０へと進む。このようにプロセッサ１１は、受信した会員コマンドに第２平均登録時間が含まれていない場合又は非会員コマンドを受信した場合にはＡＣＴ１０へと進む。

プロセッサ１１は、ＡＣＴ１０として顔画像メモリ１２２に記憶された客の顔を含むフレーム画像に対して年代推定処理を行う。
年代推定処理として、プロセッサ１１は、例えばフレーム画像に含まれる客の顔の属性を抽出する。プロセッサ１１は、抽出された属性を数値化して、その数値化された属性と最も類似度が高い顔属性データを含む年齢データレコードを年齢辞書ファイル１３１から抽出する。プロセッサ１１は、第１取得部１１１の機能により顔属性データに関連付けられた年代を取得する。年代は、ユーザ情報の一例である。このような年代推定処理の技術は周知であるので、詳細な説明は省略する。

プロセッサ１１は、ＡＣＴ１１として年代テーブル１２１を参照してＡＣＴ１０の年代推定処理で取得された年代に関連付けられた第１平均登録時間を取得する。すなわち会員データレコード６３１１に第２平均登録時間が記憶されていない客又は非会員である客の場合、プロセッサ１１は、当該客の年代を推定して第１平均登録時間を取得する。そしてプロセッサ１１は、ＡＣＴ１２へと進む。この場合、プロセッサ１１は、ＡＣＴ１２として第２取得部１１２の機能により第１平均登録時間を平均登録時間メモリ１２４に記憶する。

プロセッサ１１は、ＡＣＴ１３としてタッチパネル３１に登録開始画面を表示させる。登録開始画面は、例えば店舗備え付けのレジ袋を使用するか、マイバッグを使用するかを客に選択させるための画面である。登録開始画面には、レジ袋の使用を客が指定するためのレジ袋ボタンの画像と、マイバッグの使用を客が指定するためのマイバッグボタンの画像とが表示される。登録開始画面を確認した客は、レジ袋を使用する場合、レジ袋を保持アーム４３に保持させて、レジ袋ボタンにタッチする。マイバッグを使用する場合、客は、マイバッグを保持アーム４３に保持させて、マイバッグボタンにタッチする。

プロセッサ１１は、ＡＣＴ１４としてレジ袋ボタン又はマイバッグボタンがタッチされるのを待ち受ける。レジ袋ボタン又はマイバッグボタンがタッチされた場合、プロセッサ１１は、ＡＣＴ１４においてＹＥＳと判定し、図９のＡＣＴ２１へと進む。

プロセッサ１１は、ＡＣＴ２１としてタッチパネル３１に第１購買登録画面１００（図１６参照）を表示させる。

図１６は、第１購買登録画面１００の一例を示す模式図である。図１６に示すように第１購買登録画面１００には、購買登録された商品の明細を表示するための明細欄１０１と、購買登録された商品の合計点数と合計金額を表示するための合計欄１０２と、会計を指示するための会計ボタン１０３の画像とが表示される。明細欄１０１は、商品の商品名、価格、点数及び購買金額を含む。点数は、その商品コードで識別される商品の購買数であり、購買金額は、価格と点数とを乗算した金額である。第１購買登録画面１００には、購買商品をガラス面すなわちスキャナ１７の読取窓３２に翳すことを客に促すメッセージとともに、購買商品を読取窓３２に翳すことを案内する案内画像１０４が表示される。すなわち案内画像１０４は、オブジェクト認識による登録操作方法を案内する画像である。なお、図１６に表示されているテキストデータの内容及び画像は一例である。

第１購買登録画面１００を確認した客は、オブジェクト認識による登録操作を行う。すなわち客は、籠台５０に置いた籠から購買商品を１品ずつ取り出す。そしてその購買商品を読取窓３２に翳す。

図９の説明に戻る。
プロセッサ１１は、ＡＣＴ２２としてタイマカウンタ２０のタイマ値Ｔを“０”にリセットする。プロセッサ１１は、ＡＣＴ２３としてタイマカウンタ２０による計時を開始する。

プロセッサ１１は、ＡＣＴ２４としてタイマ値Ｔが平均登録時間メモリ１２４に記憶された時間を経過したか否かを確認する。具体的には、平均登録時間メモリ１２４に第１平均登録時間が記憶されている場合、プロセッサ１１は、タイマ値Ｔが第１平均登録時間を経過したか否かを確認する。平均登録時間メモリ１２４に第２平均登録時間が記憶されている場合、プロセッサ１１は、タイマ値Ｔが第２平均登録時間を経過したか否かを確認する。

タイマ値Ｔが平均登録時間メモリ１２４に記憶された時間を経過した場合、プロセッサ１１は、ＡＣＴ２４においてＹＥＳと判定し、図１１のＡＣＴ５１へと進む。ＡＣＴ５１の処理は、後述する。

タイマ値Ｔが平均登録時間メモリ１２４に記憶された時間を経過していない場合、プロセッサ１１は、ＡＣＴ２４においてＮＯと判定し、ＡＣＴ２５へと進む。プロセッサ１１は、ＡＣＴ２５としてスキャナ１７により購買商品が撮像されるのを待ち受ける。

購買商品が撮像されない場合、プロセッサ１１は、ＡＣＴ２５においてＮＯと判定し、ＡＣＴ２６へと進む。

プロセッサ１１は、ＡＣＴ２６として会計が指示されたか否かを確認する。上述したように、第１購買登録画面１００の一部には会計ボタン１０３の画像が表示される。購買登録を終えた客は、会計ボタン１０３にタッチする。プロセッサ１１は、会計ボタン１０３がタッチされた場合に、会計が指示されたと認識する。会計が指示されない場合、プロセッサ１１は、ＡＣＴ２６においてＮＯと判定し、ＡＣＴ２５の処理に戻る。すなわちプロセッサ１１は、ＡＣＴ２５及びＡＣＴ２６の待ち受け状態に戻る。

プロセッサ１１は、ＡＣＴ２５及びＡＣＴ２６の待ち受け状態において、購買商品が撮像されると、プロセッサ１１は、ＡＣＴ２５においてＹＥＳと判定し、ＡＣＴ２７へと進む。

プロセッサ１１は、ＡＣＴ２７としてスキャナ１７により撮像された購買商品を含むフレーム画像を取り込む。プロセッサ１１は、ＡＣＴ２８として購買商品を含むフレーム画像を商品画像メモリ１２３に記憶する。

プロセッサ１１は、ＡＣＴ２９として当該フレーム画像に対してオブジェクト認識処理を行う。オブジェクト認識処理として、プロセッサ１１は、例えばフレーム画像から、肌色領域の有無を検出する。肌色領域が検出された場合、すなわち客の手の映り込みが検出された場合、プロセッサ１１は、フレーム画像を二値化した画像から輪郭線等を抽出する。これにより、プロセッサ１１は、客の手が把持していると想定される購買商品の輪郭抽出を試みる。購買商品の輪郭が抽出されると、プロセッサ１１は、その輪郭内の画像から、購買商品の形状、表面の色合い、模様、凹凸状況等の特徴量すなわち第２商品特徴量を読み取る。第２商品特徴量を読み取ることができた場合、プロセッサ１１は、購買商品を認識できたと見做す。すなわちプロセッサ１１は、オブジェクト認識が成功したと見做す。第２商品特徴量を読み取ることができない場合、プロセッサ１１は、購買商品を認識できなかったと見做す。すなわちプロセッサ１１は、オブジェクト認識が失敗したと見做す。第２商品特徴量を読み取ることができない場合とは、例えば購買商品を把持している客の手の映り込みが大きいために購買商品の輪郭が抽出できない場合等を意味する。このような画像中に含まれる物体を認識する技術は、周知であるので、詳細な説明は省略する。

プロセッサ１１は、ＡＣＴ３０としてオブジェクト認識が成功したか否かを確認する。オブジェクト認識が失敗した場合、プロセッサ１１は、ＡＣＴ３０においてＮＯと判定し、ＡＣＴ２４の処理に戻る。そしてプロセッサ１１は、ＡＣＴ２４乃至ＡＣＴ３０の処理を前述したのと同様に繰り返す。

オブジェクト認識が成功した場合、プロセッサ１１は、ＡＣＴ３０においてＹＥＳと判定し、ＡＣＴ３１へと進む。プロセッサ１１は、ＡＣＴ３１としてタイマカウンタ２０による計時を停止する。

プロセッサ１１は、ＡＣＴ３２としてタイマカウンタ２０により計時されたタイマ値Ｔを実登録時間メモリ１２５に記憶する。

プロセッサ１１は、ＡＣＴ３３としてタイマカウンタ２０のタイマ値Ｔを“０”にリセットする。プロセッサ１１は、ＡＣＴ３４としてタイマカウンタ２０による計時を開始する。

プロセッサ１１は、図１０のＡＣＴ４１として第１商品コマンドをストアサーバ６０宛に送信するように通信インターフェース１５を制御する。この制御により、通信インターフェース１５は第１商品コマンドを送信する。第１商品コマンドには、ＡＣＴ２８の処理で商品画像メモリ１２３に記憶された購買商品を含むフレーム画像の画像データと、ＡＣＴ２９のオブジェクト認識処理で読み取られた第２商品特徴量と、ＡＣＴ３２の処理で実登録時間メモリ１２５に記憶されたタイマ値Ｔと、取引日時とが含まれる。取引日時は、時計１４により計時された、第１商品コマンドの送信開始時点における日時である。メインメモリ１２に会員ＩＤが記憶されている場合、第１商品コマンドには、フレーム画像の画像データと、第２商品特徴量と、タイマ値Ｔと、取引日時と、会員ＩＤとが含まれる。

第１商品コマンドを受信したストアサーバ６０のプロセッサ６１は、図１４の流れ図に示す手順のコマンド受信処理を開始する。

プロセッサ６１は、ＡＣＴ９１として第１商品コマンドから購買商品を含むフレーム画像と、第２商品特徴量と、タイマ値Ｔと、取引日時とを検出する。プロセッサ６１は、ＡＣＴ９２として、ＡＣＴ９１の処理で検出された第２商品特徴量と最も類似度が高い第１商品特徴量を含む商品データレコードを商品データベース６３２から抽出する。

プロセッサ６１は、ＡＣＴ９３として第１商品コマンドから会員ＩＤを検出したか否かを確認する。会員ＩＤを検出した場合、プロセッサ６１は、ＡＣＴ９３においてＹＥＳと判定し、ＡＣＴ９４へと進む。プロセッサ６１は、ＡＣＴ９４として当該会員ＩＤを含む会員データレコード６３１１を会員データベース６３１から抽出する。

プロセッサ６１は、ＡＣＴ９５として会員データレコード６３１１に含まれる購買登録データ６３１２にデータを記述する。具体的にはプロセッサ６１は、購買登録データ６３１２に、ＡＣＴ９１の処理で検出された取引日時と、実登録時間としてＡＣＴ９１の処理で検出されたタイマ値Ｔと、ＡＣＴ９２の処理で抽出された商品データレコードに含まれる商品コード、商品名及び価格と、を関連付けて記述する。そしてプロセッサ６１は、ＡＣＴ９６へと進む。

会員ＩＤを検出しない場合、プロセッサ６１は、ＡＣＴ９３においてＮＯと判定し、ＡＣＴ９４及びＡＣＴ９５の処理をスキップしてＡＣＴ９６へと進む。

プロセッサ６１は、ＡＣＴ９６として商品学習辞書ファイル６３３に学習データレコードを追加する。具体的にはプロセッサ６１は、商品画像としてＡＣＴ９１の処理で検出されたフレーム画像と、ＡＣＴ９１の処理で検出された第２商品特徴量と、ＡＣＴ９２の処理で抽出された商品データレコードに含まれる商品コードと、を関連付けて商品学習辞書ファイル６３３に記憶する。

プロセッサ６１は、ＡＣＴ９７としてセルフＰＯＳ端末１０に第１取得コマンドを送信するように通信インターフェース２４を制御する。この制御により、通信インターフェース２４から第１取得コマンドが送信される。第１取得コマンドは、通信ネットワーク１を介してセルフＰＯＳ端末１０で受信される。第１取得コマンドには、ＡＣＴ９２の処理で抽出された商品データレコードが含まれる。

図１０の説明に戻る。
ＡＣＴ４１において第１商品コマンドの送信を制御したセルフＰＯＳ端末１０のプロセッサ１１は、ＡＣＴ４２としてストアサーバ６０からの第１取得コマンドを待ち受ける。ストアサーバ６０から第１取得コマンドを受信した場合、プロセッサ１１は、ＡＣＴ４２においてＹＥＳと判定し、ＡＣＴ４３へと進む。

プロセッサ１１は、ＡＣＴ４３として第１取得コマンドに含まれる商品データレコードを基に第１購買登録画面１００を更新する。すなわちプロセッサ１１は、購買登録された商品の商品名、価格、点数及び購買金額が追加され、合計点数及び合計金額に点数及び購買金額が加算されるように、第１購買登録画面１００を更新する。そしてプロセッサ１１は、図９のＡＣＴ２４に戻る。すなわちプロセッサ１１は、次の購買商品の登録操作に要する時間としてのタイマ値Ｔが平均登録時間メモリ１２４に記憶された時間を経過したか否かを確認する。

プロセッサ１１は、ＡＣＴ２５及びＡＣＴ２６の待ち受け状態において、会計が指示されると、プロセッサ１１は、ＡＣＴ２６においてＹＥＳと判定し、ＡＣＴ３５へと進む。プロセッサ１１は、ＡＣＴ３５としてタッチパネル３１に会計画面を表示させる。会計画面は、例えば購買登録された商品の合計金額が表示される。

プロセッサ１１は、ＡＣＴ３６として決済処理を実行する。決済処理は、周知であるので、詳細な説明は省略する。プロセッサ１１は、ＡＣＴ３７としてプリンタ１８を制御してレシートをレシート発行口３４から発行させる。客は、レシート発行口３４から発行されるレシートを受け取り、保持アーム４３から外したレジ袋又はマイバッグを持って退店する。以上で、プロセッサ１１は、図８乃至図１０の流れ図に示す手順の情報処理を終了する。

さて、プロセッサ１１は、タイマ値Ｔが平均登録時間メモリ１２４に記憶された時間を経過した場合、ＡＣＴ２４においてＹＥＳと判定する。プロセッサ１１は、切替部１１３の機能によりユーザにより行われた購買商品の登録操作に要する時間すなわちタイマ値Ｔが第２取得部１１２により取得された購買商品の登録操作に関係する時間すなわち平均登録時間メモリ１２４に記憶された時間を経過した場合、オブジェクト認識からバーコード認識に切り替える。そしてプロセッサ１１は、図１１のＡＣＴ５１へと進む。

プロセッサ１１は、ＡＣＴ５１としてタッチパネル３１に切替画面２００（図１７を参照）を表示させる。

図１７は、切替画面２００の一例を示す模式図である。図１７に示すように切替画面２００には、登録操作方法が切り替わることを客に通知するためのメッセージが表示される。この切替画面２００は、一定時間後に消える。なお、図１７に表示されているテキストデータの内容は一例である。

図１１の説明に戻る。
プロセッサ１１は、ＡＣＴ５２としてタッチパネル３１に第２購買登録画面３００（図１８を参照）を表示させる。

図１８は、第２購買登録画面３００の一例を示す模式図である。図１８に示すように第２購買登録画面３００には、購買登録された商品の明細を表示するための明細欄１０１と、購買登録された商品の合計点数と合計金額を表示するための合計欄１０２と、会計を指示するための会計ボタン１０３の画像とが表示される。第２購買登録画面３００には、購買商品のバーコードをガラス面すなわちスキャナ１７の読取窓３２に翳すことを客に促すメッセージとともに、購買商品のバーコードを読取窓３２に翳すことを案内する案内画像３０１が表示される。すなわち案内画像３０１は、バーコード認識による登録操作方法を案内する画像である。なお、図１８に表示されているテキストデータの内容及び画像は一例である。

切替画面２００の表示後、第２購買登録画面３００を確認した客は、バーコード認識による登録操作を行う。すなわち客は、購買商品のバーコードを読取窓３２に翳す。

図１１の説明に戻る。
プロセッサ１１は、ＡＣＴ５３としてスキャナ１７によりバーコードが付された購買商品が撮像されるのを待ち受ける。

購買商品が撮像されない場合、プロセッサ１１は、ＡＣＴ５３においてＮＯと判定し、ＡＣＴ５４へと進む。

プロセッサ１１は、ＡＣＴ５４として会計が指示されたか否かを確認する。会計が指示されない場合、プロセッサ１１は、ＡＣＴ５４においてＮＯと判定し、ＡＣＴ５３の処理に戻る。すなわちプロセッサ１１は、ＡＣＴ５３及びＡＣＴ５４の待ち受け状態に戻る。

プロセッサ１１は、ＡＣＴ５３及びＡＣＴ５４の待ち受け状態において、購買商品が撮像されると、プロセッサ１１は、ＡＣＴ５３においてＹＥＳと判定し、ＡＣＴ５５へと進む。プロセッサ１１は、ＡＣＴ５５としてスキャナ１７により撮像された購買商品を含むフレーム画像を取り込む。

プロセッサ１１は、ＡＣＴ５６として当該フレーム画像に対してバーコード認識処理を行う。バーコード認識処理として、プロセッサ１１は、例えばフレーム画像を解析して購買商品に付されたバーコードを検出する。プロセッサ１１は、バーコードから２値のコード情報すなわち商品コードを読み取る。商品コードを読み取ることができた場合、プロセッサ１１は、購買商品を認識できたと見做す。すなわちプロセッサ１１は、バーコード認識が成功したと見做す。商品コードを読み取ることができない場合、プロセッサ１１は、購買商品を認識できなかったと見做す。すなわちプロセッサ１１は、バーコード認識が失敗したと見做す。商品コードを読み取ることができない場合とは、例えばバーコードが付された購買商品が凹んでいるためにバーコードが歪んでいる場合、購買商品に付されたバーコード部分に値引きシール等が貼られているためにバーコードを検出できない場合等を意味する。このような画像解析によるバーコードの認識技術は、周知であるので、詳細な説明は省略する。

プロセッサ１１は、ＡＣＴ５７としてバーコード認識が成功したか否かを確認する。バーコード認識が失敗した場合、プロセッサ１１は、ＡＣＴ５７においてＮＯと判定し、ＡＣＴ５３の処理に戻る。そしてプロセッサ１１は、ＡＣＴ５３乃至ＡＣＴ５７の処理を前述したのと同様に繰り返す。

バーコード認識が成功した場合、プロセッサ１１は、ＡＣＴ５７においてＹＥＳと判定し、ＡＣＴ５８へと進む。プロセッサ１１は、ＡＣＴ５８としてタイマカウンタ２０による計時を停止する。プロセッサ１１は、ＡＣＴ５９としてタイマカウンタ２０により計時されたタイマ値Ｔを実登録時間メモリ１２５に記憶する。

プロセッサ１１は、ＡＣＴ６０としてタイマカウンタ２０のタイマ値Ｔを“０”にリセットする。プロセッサ１１は、ＡＣＴ６１としてタイマカウンタ２０による計時を開始する。

プロセッサ１１は、図１２のＡＣＴ７１として第２商品コマンドをストアサーバ６０宛に送信するように通信インターフェース１５を制御する。この制御により、通信インターフェース１５は第２商品コマンドを送信する。第２商品コマンドには、ＡＣＴ５６のバーコード認識処理で読み取られた商品コードと、ＡＣＴ５９の処理で実登録時間メモリ１２５に記憶されたタイマ値Ｔと、取引日時とが含まれる。取引日時は、時計１４により計時された、第２商品コマンドの送信開始時点における日時である。メインメモリ１２に会員ＩＤが記憶されている場合、第２商品コマンドには、商品コードと、タイマ値Ｔと、取引日時と、会員ＩＤとが含まれる。また商品画像メモリ１２３に購買商品を含むフレーム画像が記憶されている場合、第２商品コマンドには、当該フレーム画像が更に含まれる。商品画像メモリ１２３に購買商品を含むフレーム画像が記憶されている場合とは、平均登録時間メモリ１２４に記憶されている第１平均登録時間又は第２平均登録時間内にオブジェクト認識が成功しなかったとき、商品画像メモリ１２３には当該オブジェクト認識が失敗した購買商品を含むフレーム画像が記憶されている場合を意味する。

第２商品コマンドを受信したストアサーバ６０のプロセッサ６１は、図１５の流れ図に示す手順のコマンド受信処理を開始する。

プロセッサ６１は、ＡＣＴ１０１として第２商品コマンドから商品コードと、タイマ値Ｔと、取引日時とを検出する。プロセッサ６１は、ＡＣＴ１０２として、ＡＣＴ１０１の処理で検出された商品コードを含む商品データレコードを商品データベース６３２から抽出する。

プロセッサ６１は、ＡＣＴ１０３として第２商品コマンドから会員ＩＤを検出したか否かを確認する。会員ＩＤを検出した場合、プロセッサ６１は、ＡＣＴ１０３においてＹＥＳと判定し、ＡＣＴ１０４へと進む。プロセッサ６１は、ＡＣＴ１０４として当該会員ＩＤを含む会員データレコード６３１１を会員データベース６３１から抽出する。

プロセッサ６１は、ＡＣＴ１０５として会員データレコード６３１１に含まれる購買登録データ６３１２にデータを記述する。具体的にはプロセッサ６１は、購買登録データ６３１２に、ＡＣＴ１０１の処理で検出された商品コード及び取引日時と、実登録時間としてＡＣＴ１０１の処理で検出されたタイマ値Ｔと、ＡＣＴ１０２の処理で抽出された商品データレコードに含まれる商品名及び価格と、を関連付けて記述する。そしてプロセッサ６１は、ＡＣＴ１０６へと進む。

会員ＩＤを検出しない場合、プロセッサ６１は、ＡＣＴ１０３においてＮＯと判定し、ＡＣＴ１０４及びＡＣＴ１０５の処理をスキップしてＡＣＴ１０６へと進む。

プロセッサ６１は、ＡＣＴ１０６として第２商品コマンドから購買商品を含むフレーム画像を検出したか否かを確認する。フレーム画像を検出した場合、プロセッサ６１は、ＡＣＴ１０６においてＹＥＳと判定し、ＡＣＴ１０７へと進む。

プロセッサ６１は、ＡＣＴ１０７として商品学習辞書ファイル６３３に学習データレコードを追加する。具体的にはプロセッサ６１は、商品コードと、商品画像としてＡＣＴ１０６の処理で検出されたフレーム画像とを関連付けて記憶する。なお、第２商品特徴量にはＮＵＬＬ値がセットされる。そしてプロセッサ６１は、ＡＣＴ１０８へと進む。

フレーム画像を検出しない場合、プロセッサ６１は、ＡＣＴ１０６においてＮＯと判定し、ＡＣＴ１０７の処理をスキップしてＡＣＴ１０８へと進む。

プロセッサ６１は、ＡＣＴ１０８としてセルフＰＯＳ端末１０に第２取得コマンドを送信するように通信インターフェース６４を制御する。この制御により、通信インターフェース６４から第２取得コマンドが送信される。第２取得コマンドは、通信ネットワーク１を介してセルフＰＯＳ端末１０で受信される。第２取得コマンドには、ＡＣＴ１０２の処理で抽出された商品データレコードが含まれる。

図１２の説明に戻る。
ＡＣＴ７１において第２商品コマンドの送信を制御したセルフＰＯＳ端末１０のプロセッサ１１は、ＡＣＴ７２としてストアサーバ６０からの第２取得コマンドを待ち受ける。ストアサーバ６０から第２取得コマンドを受信した場合、プロセッサ１１は、ＡＣＴ７２においてＹＥＳと判定し、ＡＣＴ７３へと進む。

プロセッサ１１は、ＡＣＴ７３として第２取得コマンドに含まれる商品データレコードを基に第２購買登録画面３００を更新する。

プロセッサ１１は、ＡＣＴ７４として商品画像メモリ１２３に購買商品を含むフレーム画像が記憶されているか否かを確認する。商品画像メモリ１２３にフレーム画像が記憶されている場合、ＡＣＴ７４においてＹＥＳと判定し、ＡＣＴ７５へと進む。

プロセッサ１１は、ＡＣＴ７５として商品画像メモリ１２３をクリアする。そしてプロセッサ１１は、図１１のＡＣＴ５３に戻る。すなわちオブジェクト認識からバーコード認識による登録操作方法に切り替わると、その後の購買商品の登録操作は、バーコード認識で行われることになる。

プロセッサ１１は、ＡＣＴ５３及びＡＣＴ５４の待ち受け状態において、会計が指示されると、プロセッサ１１は、ＡＣＴ５４においてＹＥＳと判定し、図９のＡＣＴ３５へと進む。そしてプロセッサ１１は、ＡＣＴ３５乃至ＡＣＴ３７の処理を、前述した場合と同様に実行する。以上で、プロセッサ１１は、図８乃至図１２の流れ図に示す手順の情報処理を終了する。

したがって、このような情報処理システムＳであれば、カメラ３１１によりセルフＰＯＳ端末１０の正面に立った客の顔が撮像されると、フレーム画像に対して顔認識処理が行われる。顔認識処理により取得された特徴量を含む顔認証コマンドがセルフＰＯＳ端末１０からストアサーバ６０に送信されると、ストアサーバ６０は、当該特徴量と一致する顔特徴量を含む会員データレコード６３１１が会員データベース６３１に存在するか否か、存在する場合には第２平均登録時間が記憶されているか否かを確認して会員又は非会員コマンドを送信する。セルフＰＯＳ端末１０で非会員コマンド又は第２平均登録時間を含まない会員コマンドが受信されると、年代推定処理が行われ、推定された年代の客が登録操作に要する平均的な時間である第１平均登録時間が取得される。セルフＰＯＳ端末１０で第２平均登録時間を含む会員コマンドが受信されると、当該客が登録操作に要する平均的な時間である第２平均登録時間が取得される。そしてタッチパネル３１に登録開始画面が表示された後、第１購買登録画面１００が表示される。客は、オブジェクト認識による登録操作を行う。ここで平均登録時間メモリ１２４に記憶されている第１平均登録時間又は第２平均登録時間内にオブジェクト認識が成功しなかった場合、オブジェクト認識からバーコード認識による登録操作方法に切り替わる。すなわちタッチパネル３１に切替画面２００が表示され、第２購買登録画面３００が表示される。その後客は、バーコード認識による登録操作を行うことになる。
オブジェクト認識による登録操作は、スキャナ１７の読取窓３２に購買商品の外観を翳すだけでよいため、読取窓３２に購買商品のバーコードを翳すバーコード認識による登録操作よりも購買登録に要する時間が早いという効果を奏し得る。購買商品を把持している客の手の映り込みが大きい等の理由からオブジェクト認識による登録操作が上手くいかない場合であっても、バーコード認識による登録操作方法に切り替わるため、客はオブジェクト認識による登録操作を戸惑いながら長い時間かけて行う必要がない。したがって、客自身が購買商品の登録操作を行うことによるストレスを低減することができる。また客自身の平均的な購買登録時間（第２平均登録時間）又は推定された年代の客の平均的な購買登録時間（第１平均登録時間）を基に登録操作方法が切り替わる。したがって、客に応じたセルフＰＯＳ端末１０による購買商品の登録操作が可能となる。

（第２実施形態）
次に、第２実施形態について図１９乃至図２３を用いて説明する。

第２実施形態では、登録開始画面の表示後、第２購買登録画面３００が表示される点で第１実施形態と異なる。また第２実施形態では、平均登録時間メモリ１２４に記憶されている第１平均登録時間又は第２平均登録時間内にバーコード認識が成功しなかった場合、切替画面２００の表示後、第１購買登録画面１００が表示される点で第１実施形態と異なる。なお、第２実施形態に係る各図面及び以下におけるその説明において、第１実施形態と同一の要素には同一の符号を付している。したがって、当該同一の要素については説明を省略している場合がある。因みに、第１実施形態の説明で用いた図１乃至図８、図１３、図１４、図１６乃至図１８は、第２実施形態でも共通であるので、ここでの説明は省略する。

図１９乃至図２２は、第２実施形態において、セルフＰＯＳ端末１０のプロセッサ１１（制御部）が、制御プログラムに従って実行する要部制御手順を示す流れ図である。図２３は、第２実施形態において、ストアサーバ６０のプロセッサ６１（制御部）が、制御プログラムに従って実行する要部制御手順を示す流れ図である。そして、図１９、図２０、図２１、図２２及び図２３は、第１実施形態で説明した図９、図１０、図１１、図１２及び図１５にそれぞれ対応する。そこで、第１実施形態と同一の処理ステップについては、同一の符号を付いている。なお、以下に説明する動作の内容は一例である。同様な結果を得ることが可能であれば、その動作手順及び内容は特に限定されるものではない。

図１９と図９とを対比すればわかるように、第２実施形態において、プロセッサ１１は、購買開始画面のレジ袋ボタン又はマイバッグボタンがタッチされた場合、ＡＣＴ１１１としてタッチパネル３１に第２購買登録画面３００を表示させる。

第２実施形態では、ＡＣＴ２３の処理の後にＡＣＴ１１２乃至ＡＣＴ１１６の処理を行う。
プロセッサ１１は、ＡＣＴ１１２としてタイマ値Ｔが平均登録時間メモリ１２４に記憶されている第１平均登録時間又は第２平均登録時間を経過したか否かを確認する。タイマ値Ｔが平均登録時間メモリ１２４に記憶されている時間を経過していない場合、プロセッサ１１は、ＡＣＴ１１２においてＮＯと判定し、ＡＣＴ１１３へと進む。

ＡＣＴ１１３乃至ＡＣＴ１１６の処理は、第１実施形態におけるＡＣＴ５３、ＡＣＴ５５乃至ＡＣＴ５７の処理と同様である。すなわちプロセッサ１１は、ＡＣＴ１１３としてスキャナ１７によりバーコードが付された購買商品が撮像されるか、会計が指示されるかを待ち受ける。プロセッサ１１は、ＡＣＴ１１３及びＡＣＴ２６の待ち受け状態において、購買商品が撮像されると、プロセッサ１１は、ＡＣＴ１１３においてＹＥＳと判定し、ＡＣＴ１１４へと進む。プロセッサ１１は、ＡＣＴ１１４としてスキャナ１７により撮像された購買商品を含むフレーム画像を取り込む。プロセッサ１１は、ＡＣＴ１１５として当該フレーム画像に対してバーコード認識処理を行う。プロセッサ１１は、ＡＣＴ１１６としてバーコード認識が成功したか否かを確認する。バーコード認識が失敗した場合、プロセッサ１１は、ＡＣＴ１１６においてＮＯと判定し、ＡＣＴ１１２の処理に戻る。そしてプロセッサ１１は、ＡＣＴ１１２乃至ＡＣＴ１１６及びＡＣＴ２６の処理を前述したのと同様に繰り返す。バーコード認識が成功した場合、プロセッサ１１は、ＡＣＴ１１６においてＹＥＳと判定し、ＡＣＴ３０へと進む。プロセッサ１１は、第１実施形態と同様にしてＡＣＴ３０乃至ＡＣＴ３４の処理を行う。

また第２実施形態では、ＡＣＴ３４の処理の後に図２０のＡＣＴ１２１乃至ＡＣＴ１２３の処理を行う。
プロセッサ１１は、ＡＣＴ１２１として第２商品コマンドをストアサーバ６０宛に送信するように通信インターフェース１５を制御する。この制御により、通信インターフェース１５は第２商品コマンドを送信する。第２商品コマンドには、ＡＣＴ１１５のバーコード認識処理で読み取られた商品コードと、ＡＣＴ３２の処理で実登録時間メモリ１２５に記憶されたタイマ値Ｔと、取引日時とが含まれる。取引日時は、時計１４により計時された、第２商品コマンドの送信開始時点における日時である。メインメモリ１２に会員ＩＤが記憶されている場合、第２商品コマンドには、商品コードと、タイマ値Ｔと、取引日時と、会員ＩＤとが含まれる。

第２商品コマンドを受信したストアサーバ６０のプロセッサ６１は、図２３の流れ図に示す手順のコマンド受信処理を開始する。
図２３と図１５とを対比すればわかるように、第２実施形態において、ストアサーバ６０のプロセッサ６１は、ＡＣＴ１０６及びＡＣＴ１０７の処理を省略している点が第１実施形態と異なる。ＡＣＴ１０７の処理で商品学習辞書ファイル６３３に学習データレコードが追加されるのはオブジェクト認識処理に用いられるフレーム画像である。したがって、バーコード認識処理に用いられるフレーム画像は商品画像メモリ１２３に記憶されず、第２商品コマンドに当該フレーム画像は含まれないためである。

図２０の説明に戻る。
ＡＣＴ１２１において第２商品コマンドの送信を制御したセルフＰＯＳ端末１０のプロセッサ１１は、ＡＣＴ１２２としてストアサーバ６０からの第２取得コマンドを待ち受ける。ストアサーバ６０から第２取得コマンドを受信した場合、プロセッサ１１は、ＡＣＴ１２２においてＹＥＳと判定し、ＡＣＴ１２３へと進む。

プロセッサ１１は、ＡＣＴ１２３として第２取得コマンドに含まれる商品データレコードを基に第２購買登録画面３００を更新する。そしてプロセッサ１１は、図１９のＡＣＴ１１２に戻る。すなわちプロセッサ１１は、次の購買商品の登録操作に要する時間としてのタイマ値Ｔが平均登録時間メモリ１２４に記憶された時間を経過したか否かを確認する。

プロセッサ１１は、タイマ値Ｔが平均登録時間メモリ１２４に記憶された時間を経過した場合、ＡＣＴ１１２においてＹＥＳと判定する。プロセッサ１１は、切替部１１３の機能によりユーザにより行われた購買商品の登録操作に要する時間すなわちタイマ値Ｔが第２取得部１１２により取得された購買商品の登録操作に関係する時間すなわち平均登録時間メモリ１２４に記憶された時間を経過した場合、バーコード認識からオブジェクト認識に切り替える。そしてプロセッサ１１は、図２１のＡＣＴ５１へと進む。

図２１と図１１とを対比すればわかるように、第２実施形態において、プロセッサ１１は、ＡＣＴ５１の処理の後にＡＣＴ１３１乃至ＡＣＴ１３６の処理を行う。
プロセッサ１１は、ＡＣＴ１３１としてタッチパネル３１に第１購買登録画面１００を表示させる。

ＡＣＴ１３２乃至ＡＣＴ１３６の処理は、第１実施形態におけるＡＣＴ２５、ＡＣＴ２７乃至ＡＣＴ３０の処理と同様である。すなわちプロセッサ１１は、ＡＣＴ１３２としてスキャナ１７により購買商品が撮像されるか、会計が指示されるかを待ち受ける。プロセッサ１１は、ＡＣＴ１３２及びＡＣＴ５４の待ち受け状態において、購買商品が撮像されると、プロセッサ１１は、ＡＣＴ１３２においてＹＥＳと判定し、ＡＣＴ１３３へと進む。プロセッサ１１は、ＡＣＴ１３３としてスキャナ１７により撮像された購買商品を含むフレーム画像を取り込む。プロセッサ１１は、ＡＣＴ１３４として購買商品を含むフレーム画像を商品画像メモリ１２３に記憶する。プロセッサ１１は、ＡＣＴ１３５として当該フレーム画像に対してオブジェクト認識処理を行う。プロセッサ１１は、ＡＣＴ１３６としてオブジェクト認識が成功したか否かを確認する。オブジェクト認識が失敗した場合、プロセッサ１１は、ＡＣＴ１３６においてＮＯと判定し、ＡＣＴ１３２の処理に戻る。そしてプロセッサ１１は、ＡＣＴ１３２乃至ＡＣＴ１３６及びＡＣＴ５４の処理を前述したのと同様に繰り返す。オブジェクト認識が成功した場合、プロセッサ１１は、ＡＣＴ１３６においてＹＥＳと判定し、ＡＣＴ５８へと進む。プロセッサ１１は、第１実施形態と同様にしてＡＣＴ５８乃至ＡＣＴ６１の処理を行う。

また第２実施形態では、ＡＣＴ６１の処理の後に図２２のＡＣＴ１４１へと進む。
図２２と図１２とを対比すればわかるように、第２実施形態において、プロセッサ１１は、ＡＣＴ７４及びＡＣＴ７５の処理を省略している点が第１実施形態と異なる。オブジェクト認識処理に用いられるスキャナ１７により撮像された購買商品を含むフレーム画像は取り込まれる度に、商品画像メモリ１２３に記憶される。そしてストアサーバ６０に当該フレーム画像を含む第１商品コマンドが送信される。したがって、プロセッサ１１は、商品画像メモリ１２３にフレーム画像が記憶されているか否かを確認し、商品画像メモリ１２３をクリアする必要はないためである。

プロセッサ１１は、ＡＣＴ１４１として第１商品コマンドをストアサーバ６０宛に送信するように通信インターフェース１５を制御する。この制御により、通信インターフェース１５は第１商品コマンドを送信する。プロセッサ１１は、ＡＣＴ１４２としてストアサーバ６０からの第１取得コマンドを待ち受ける。ストアサーバ６０から第１取得コマンドを受信した場合、プロセッサ１１は、ＡＣＴ１４２においてＹＥＳと判定し、ＡＣＴ１４３へと進む。プロセッサ１１は、ＡＣＴ１４３として第１取得コマンドに含まれる商品データレコードを基に第１購買登録画面１００を更新する。そしてプロセッサ１１は、図２１のＡＣＴ１３２に戻る。すなわちバーコード認識からオブジェクト認識による登録操作方法に切り替わると、その後の購買商品の登録操作は、オブジェクト認識で行われることになる。

このように第２実施形態においては、先ず、第２購買登録画面３００が表示される。客は、バーコード認識による登録操作を行う。ここで平均登録時間メモリ１２４に記憶されている第１平均登録時間又は第２平均登録時間内にバーコード認識が成功しなかった場合、バーコード認識からオブジェクト認識による登録操作方法に切り替わる。すなわちタッチパネル３１に切替画面２００が表示され、第１購買登録画面１００が表示される。その後客は、オブジェクト認識による登録操作を行うことになる。
バーコード認識は、バーコードで表された商品コードから購買商品を特定するため、撮像された購買商品の特徴量から購買商品を認識するオブジェクト認識よりも信頼性が高いという効果を奏し得る。購買商品の凹みによりバーコードが歪んでいる等の理由からバーコード認識による登録操作が上手くいかない場合であっても、オブジェクト認識による登録操作方法に切り替わるため、客はバーコード認識による登録操作を戸惑いながら長い時間かけて行う必要がない。したがって、客自身が購買商品の登録操作を行うことによるストレスを低減することができる。また第１実施形態と同様に、第１平均登録時間又は第２平均登録時間を基に登録操作方法が切り替わるため、客に応じたセルフＰＯＳ端末１０による購買商品の登録操作が可能となる。

以上、第１実施形態及び第２実施形態について説明したが、かかる実施形態はこれに限定されるものではない。

前記実施形態では、店舗で販売される各商品には、それぞれ商品コードを表したバーコード体系のコードシンボルが付されていることを例示した。例えばコードシンボルは、二次元データコード体系であってもよい。

前記実施形態では、バーコード認識は、スキャナ１７の読取窓３２に翳された購買商品を撮像した上で、購買商品に付されたバーコードを読み取ることにより購買商品を認識することを例示した。例えばバーコード認識は、レーザ光の反射を利用して光学的にバーコードを読み取ることにより購買商品を認識することでもよい。

前記実施形態では、年代テーブル１２１は、年代と、第１平均登録時間とを関連付けて記述したものであることを例示した。年代テーブル１２１は、例えば年代と、性別と、第１平均登録時間とを関連付けて記述してもよい。この場合、第１平均登録時間は、例えば客の年代及び性別の組み合わせを基に、過去の購買登録時間を分析することで算出されてもよい。

前記実施形態では、商品データレコードは、商品コード、商品名、価格、第１商品特徴量等の項目を含むことを例示した。例えば商品の画像を更に含んでもよい。商品の画像は、例えば標準的な外観を有する商品の画像である。

前記実施形態では、第１平均登録時間は、オブジェクト認識による登録操作とバーコード認識による登録操作とを区別せず、関連付けられた年代の客が購買登録操作を行う際に要する平均的な購買登録時間であることを例示した。例えば第１平均登録時間を、オブジェクト認識に係る第１平均登録時間とバーコード認識に係る第１平均登録時間とに分けてもよい。オブジェクト認識に係る第１平均登録時間は、関連付けられた年代の客がオブジェクト認識による購買登録操作を行う際に要する平均的な購買登録時間である。バーコード認識に係る第１平均登録時間は、関連付けられた年代の客がバーコード認識による購買登録操作を行う際に要する平均的な購買登録時間である。この場合、オブジェクト認識による登録操作が行われる際にはオブジェクト認識に係る第１平均登録時間が用いられ、バーコード認識による登録操作が行われる際にはバーコード認識に係る第１平均登録時間が用いられてもよい。

前記実施形態では、実登録時間は、オブジェクト認識による登録操作の場合には、実際に客がオブジェクト認識による登録操作を行う際に要した購買登録時間が購買登録データ６３１２に記述され、バーコード認識による登録操作の場合には、実際に客がバーコード認識による登録操作を行う際に要した購買登録時間が購買登録データ６３１２に記述されることを例示した。
例えば購買登録データ６３１２は、オブジェクト認識による登録操作であるか、バーコード認識による登録操作であるかを識別するためのフラグの項目をさらに含んでもよい。この場合、例えば第１商品コマンド及び第２商品コマンドには、オブジェクト認識による登録操作であるか、バーコード認識による登録操作であるかを識別するためのデータが含まれてもよい。例えばストアサーバ６０のプロセッサ６１は、セルフＰＯＳ端末１０から受信したコマンドから商品コードを検出した場合には、バーコード認識による登録操作であると判断し、商品コードを検出しない場合には、オブジェクト認識による登録操作であると判断して、購買登録データ６３１２にフラグをセットしてもよい。
例えば購買登録データ６３１２に含まれる実登録時間の項目を、オブジェクト認識に係る実登録時間の項目とバーコード認識に係る実登録時間の項目とに分けてもよい。オブジェクト認識に係る実登録時間は、実際に客がオブジェクト認識による購買登録操作を行う際に要する購買登録時間である。バーコード認識に係る実登録時間は、実際に客がバーコード認識による購買登録操作を行う際に要した購買登録時間である。

前記実施形態では、会員データレコード６３１１は、第２平均登録時間を含むことを例示した。例えば会員データレコード６３１１は、オブジェクト認識に係る第２平均登録時間とバーコード認識に係る第２平均登録時間とを含んでもよい。オブジェクト認識に係る第２平均登録時間は、例えば上述した購買登録データ６３１２のオブジェクト認識に係る実登録時間の項目に記述された実登録時間の平均値でもよい。オブジェクト認識に係る実登録時間が所定数を満たさない場合、オブジェクト認識に係る第２平均登録時間にはＮＵＬＬ値がセットされる。バーコード認識に係る第２平均登録時間は、例えば上述した購買登録データ６３１２のバーコード認識に係る実登録時間の項目に記述された実登録時間の平均値でもよい。バーコード認識に係る実登録時間が所定数を満たさない場合、バーコード認識に係る第２平均登録時間にはＮＵＬＬ値がセットされる。所定数は、例えばオブジェクト認識とバーコード認識とで異なってもよいし、同じであってもよい。

前記実施形態では、登録開始画面は、店舗備え付けのレジ袋を使用するか、マイバッグを使用するかを客に選択させるための画面であることを例示した。例えば登録開始画面は、支払い方法の選択を受け付ける画面であってもよい。この場合、プロセッサ１１は、支払方法の選択を受け付けると、図８のＡＣＴ１４においてＹＥＳと判定し、図９のＡＣＴ２１へと進む。

前記実施形態では、プロセッサ１１は、カメラ３１１により撮像された客の顔を含むフレーム画像に対して顔認識処理を行うことを例示した。例えばストアサーバ６０のプロセッサ６１又は別のサーバのプロセッサが顔認識処理を行ってもよい。この場合、プロセッサ１１は、当該フレーム画像の画像データを含むコマンドをストアサーバ６０又は別のサーバに送信してもよい。

前記実施形態では、タッチパネル３１に切替画面２００が表示されることを例示した。例えば第１購買登録画面１００又は第２購買登録画面３００上にポップアップ画像として登録操作方法が切り替わることを客に通知するためのメッセージが表示されてもよい。ポップアップ画像は、一定時間後に消える。例えば登録操作方法が切り替わることを音声メッセージで出力してもよい。

前記実施形態では、会計が指示されると、プロセッサ１１は、タッチパネル３１に会計画面を表示させることを説明した。例えば購買登録された商品がないにもかかわらず会計が指示された場合、プロセッサ１１は、タッチパネル３１にエラー画面を表示させてもよい。エラー画面には、例えば購買登録された商品がないことを客に通知するメッセージとともに、客がメッセージを確認したことを指示するための「はい」ボタンの画像が表示されてもよい。

前記実施形態では、セルフＰＯＳ端末１０を情報処理装置の一態様として説明した。例えばストアサーバ６０としての機能をさらに備えたセルフＰＯＳ端末１０としての機能を備える端末を情報処理装置としてもよい。また、情報処理装置としてのセルフＰＯＳ端末１０は、ストアサーバ６０としての機能の一部を実行してもよい。

前記実施形態では、会員データベース６３１及び商品データベース６３２は、ストアサーバ６０の補助記憶デバイス６３に記憶されることを例示した。会員データベース６３１及び商品データベース６３２は、例えばセルフＰＯＳ端末１０のメインメモリ１２又は補助記憶デバイス１３に記憶されてもよい。この場合、プロセッサ１１は、顔認証コマンド、第１商品コマンド及び第２商品コマンドをストアサーバ６０に送信する必要はない。そしてプロセッサ１１は、例えば決済処理を実行した後に、例えば一取引分の学習データレコード（商品コード、商品画像、第２商品特徴量等）を含むコマンドをストアサーバ６０に送信してもよい。この学習データレコードには、例えばタイマ値Ｔをさらに含んでもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態及びその変形は、発明の範囲に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
なお、以下に本願の出願当初の特許請求の範囲の記載を付記する。
［Ｃ１］
購買商品の登録操作を行うユーザのユーザ情報を取得する第１取得部と、
前記第１取得部により取得された前記ユーザ情報を基に、前記購買商品の登録操作に関係する時間を取得する第２取得部と、
前記ユーザにより行われた前記購買商品の登録操作に要する時間が前記第２取得部により取得された前記購買商品の登録操作に関係する時間を経過した場合、前記購買商品の登録操作方法を切り替える切替部と、
を具備する情報処理装置。
［Ｃ２］
前記切替部は、前記ユーザにより行われた前記購買商品の登録操作に要する時間が前記第２取得部により取得された前記購買商品の登録操作に関係する時間を経過した場合、前記購買商品の画像を認識して登録する第１登録操作方法から前記購買商品の識別情報を認識して登録する第２登録操作方法に切り替える、
［Ｃ１］記載の情報処理装置。
［Ｃ３］
前記切替部は、前記ユーザにより行われた前記購買商品の登録操作に要する時間が前記第２取得部により取得された前記購買商品の登録操作に関係する時間を経過した場合、前記購買商品の識別情報を認識して登録する第２登録操作方法から前記購買商品の画像を認識して登録する第１登録操作方法に切り替える、
［Ｃ１］記載の情報処理装置。
［Ｃ４］
前記ユーザ情報は、前記ユーザの年代である、
［Ｃ１］記載の情報処理装置。
［Ｃ５］
購買商品の登録操作を行うユーザを撮像する撮像部と、
前記撮像部により撮像された前記ユーザのユーザ情報を取得する第１取得部、前記第１取得部により取得された前記ユーザ情報を基に、前記購買商品の登録操作に関係する時間を取得する第２取得部、及び、前記ユーザにより行われた前記購買商品の登録操作に要する時間が前記第２取得部により取得された前記購買商品の登録操作に関係する時間を経過した場合、前記購買商品の登録操作方法を切り替える切替部、を備えた情報処理装置と、を具備する情報処理システム。
［Ｃ６］
情報処理装置のコンピュータを、
購買商品の登録操作を行うユーザのユーザ情報を取得する第１取得手段、
前記第１取得手段により取得された前記ユーザ情報を基に、前記購買商品の登録操作に関係する時間を取得する第２取得手段、及び
前記ユーザにより行われた前記購買商品の登録操作に要する時間が前記第２取得手段により取得された前記購買商品の登録操作に関係する時間を経過した場合、前記購買商品の登録操作方法を切り替える切替手段、
として機能させるための制御プログラム。

１…通信ネットワーク、１０…セルフＰＯＳ端末、１１、６１…プロセッサ、１２、６２…メインメモリ、１３、６３…補助記憶デバイス、１４…時計、１５、６４…通信インターフェース、１６…自動釣銭機、１７…スキャナ、１８…プリンタ、１９…カードリーダ、２０…タイマカウンタ、２１…人感センサ、２２、６５…システム伝送路、３０…本体、３１…タッチパネル、３２…読取窓、３３…カード挿入口、３４…レシート発行口、３５…硬貨投入口、３６…硬貨払出口、３７…紙幣投入口、３８…紙幣払出口、４０…袋詰め台、４１…ハウジング、４２…袋保持具、４３…保持アーム、５０…籠台、５１…通信ケーブル、５２…リーダ・ライタ、５３…置台、５４…表示ポール、５５…発光部、６０…ストアサーバ、１２１…年代テーブル、１２２…顔画像メモリ、１２３…商品画像メモリ、１２４…平均登録時間メモリ、１２５…実登録時間メモリ、６３１…会員データベース、３１１…カメラ、６３２…商品データベース、６３３…商品学習辞書ファイル、６３１１…会員データレコード、６３１２…購買登録データ、Ｓ…情報処理システム、１１１…第１取得部、１１２…第２取得部、１１３…切替部。

Claims (5)

1. 購買商品の登録操作を行うユーザのユーザ情報を取得する第１取得部と、
   前記第１取得部により取得された前記ユーザ情報を基に、前記購買商品の登録操作に関係する時間を取得する第２取得部と、
   前記ユーザにより行われた前記購買商品の登録操作に要する時間が前記第２取得部により取得された前記購買商品の登録操作に関係する時間を経過した場合、前記購買商品の登録操作方法を切り替える切替部と、
   を具備し、
   前記ユーザ情報は、前記ユーザの顔の特徴量を含み、
   前記第１取得部は、撮像された前記ユーザの顔を含む撮像画像より前記ユーザの前記ユーザ情報を取得する、情報処理装置であって、
   前記ユーザ情報は、前記ユーザの年代をさらに含み、
   前記第２取得部は、前記ユーザの顔の特徴量を基に、前記ユーザが前記購買商品の登録操作を行う際に要する平均的な購買登録時間である第２平均登録時間を取得し、前記第２平均登録時間が取得できなかった場合、前記ユーザの年代を基に、当該年代のユーザが前記購買商品の登録操作を行う際に要する平均的な購買登録時間である第１平均登録時間を取得する、情報処理装置。
2. 前記切替部は、前記ユーザにより行われた前記購買商品の登録操作に要する時間が前記第２取得部により取得された前記購買商品の登録操作に関係する時間を経過した場合、前記購買商品の画像を認識して登録する第１登録操作方法から前記購買商品の識別情報を認識して登録する第２登録操作方法に切り替える、
   請求項１記載の情報処理装置。
3. 前記切替部は、前記ユーザにより行われた前記購買商品の登録操作に要する時間が前記第２取得部により取得された前記購買商品の登録操作に関係する時間を経過した場合、前記購買商品の識別情報を認識して登録する第２登録操作方法から前記購買商品の画像を認識して登録する第１登録操作方法に切り替える、
   請求項１記載の情報処理装置。
4. 購買商品の登録操作を行うユーザを撮像する撮像部と、
   前記撮像部により撮像された前記ユーザのユーザ情報を取得する第１取得部、前記第１取得部により取得された前記ユーザ情報を基に、前記購買商品の登録操作に関係する時間を取得する第２取得部、及び、前記ユーザにより行われた前記購買商品の登録操作に要する時間が前記第２取得部により取得された前記購買商品の登録操作に関係する時間を経過した場合、前記購買商品の登録操作方法を切り替える切替部、を備えた情報処理装置と、を具備し、
   前記ユーザ情報は、前記ユーザの顔の特徴量を含み、
   前記第１取得部は、前記撮像部により撮像された前記ユーザの顔を含む撮像画像より前記ユーザの前記ユーザ情報を取得する、情報処理システムであって、
   前記ユーザ情報は、前記ユーザの年代をさらに含み、
   前記第２取得部は、前記ユーザの顔の特徴量を基に、前記ユーザが前記購買商品の登録操作を行う際に要する平均的な購買登録時間である第２平均登録時間を取得し、前記第２平均登録時間が取得できなかった場合、前記ユーザの年代を基に、当該年代のユーザが前記購買商品の登録操作を行う際に要する平均的な購買登録時間である第１平均登録時間を取得する、情報処理システム。
5. 情報処理装置のコンピュータを、
   購買商品の登録操作を行うユーザのユーザ情報を取得する第１取得手段、
   前記第１取得手段により取得された前記ユーザ情報を基に、前記購買商品の登録操作に関係する時間を取得する第２取得手段、及び
   前記ユーザにより行われた前記購買商品の登録操作に要する時間が前記第２取得手段により取得された前記購買商品の登録操作に関係する時間を経過した場合、前記購買商品の登録操作方法を切り替える切替手段、
   として機能させ、
   前記ユーザ情報は、前記ユーザの顔の特徴量を含み、
   前記第１取得手段は、撮像された前記ユーザの顔を含む撮像画像より前記ユーザの前記ユーザ情報を取得する、制御プログラムであって、
   前記ユーザ情報は、前記ユーザの年代をさらに含み、
   前記第２取得手段は、前記ユーザの顔の特徴量を基に、前記ユーザが前記購買商品の登録操作を行う際に要する平均的な購買登録時間である第２平均登録時間を取得し、前記第２平均登録時間が取得できなかった場合、前記ユーザの年代を基に、当該年代のユーザが前記購買商品の登録操作を行う際に要する平均的な購買登録時間である第１平均登録時間を取得する、制御プログラム。