JP7612526B2 - 会計システム、会計方法、及び会計プログラム - Google Patents

Description

本発明は、利用者の購入商品の会計を行う会計システム、会計方法、及び会計プログラムに関する。

飲食店などにおいて複数の利用者を含むグループの合計利用金額（飲食代など）を割り勘で会計する場合がある。従来、割り勘による会計処理を速やかに行うことを可能にする技術が提案されている。例えば特許文献１には、グループの注文ごとにその注文の合計金額と注文時の人数に応じた割り勘金額とを計算し、プリンタが、計算された割り勘金額の情報を注文品とともに利用者に渡すレシートに印字するシステムが開示されている。

特開２００５－１６５７５６号公報

ここで、例えばグループの合計利用金額について、各利用者が自身の注文した商品の金額を支払う場合には、合計利用金額を利用者の人数で割った金額を各利用者の支払金額とすることができないため、店員は、どの商品を誰が支払うかを利用者と会話して確認し、各商品と各利用者とを対応付けて会計処理を行う必要がある。このため、会計処理に手間がかかる問題が生じる。

本発明の目的は、利用者の利用代金の会計処理を容易に行うことが可能な会計システム、会計方法、及び会計プログラムを提供することにある。

本発明に係る会計システムは、利用者の購入商品の情報に対応する購入商品情報を取得する商品取得処理部と、前記利用者を撮像した撮像画像を取得する画像取得処理部と、前記画像取得処理部により取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出処理部と、会計端末に表示される会計画面において、前記抽出処理部により抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得処理部により取得される前記購入商品情報とを関連付けて登録する登録処理部と、前記登録処理部により登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計処理部と、を備えるシステムである。

本発明に係る会計方法は、一又は複数のプロセッサーが、利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、前記利用者を撮像した撮像画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、会計端末に表示される会計画面において、前記抽出ステップにおいて抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、前記登録ステップにより登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計ステップと、を実行する方法である。

本発明に係る会計プログラムは、利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、前記利用者を撮像した撮像画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、会計端末に表示される会計画面において、前記抽出ステップにおいて抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、前記登録ステップにより登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計ステップと、を一又は複数のプロセッサーに実行させるためのプログラムである。

本発明によれば、利用者の利用代金の会計処理を容易に行うことが可能な会計システム、会計方法、及び会計プログラムを提供することができる。

図１は、本発明の実施形態に係る会計システムの構成を示すブロック図である。 図２は、本発明の実施形態に係る会計システムで使用される画像分析情報テーブルの一例を示す図である。 図３は、本発明の実施形態に係る会計システムで使用される会計情報の一例を示す図である。 図４は、本発明の実施形態に係る会計システムで使用される購入商品情報の一例を示す図である。 図５は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図６は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図７は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図８は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図９は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１０は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１１は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１２は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１３は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１４は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１５は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１６は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１７は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１８は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図１９は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図２０は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図２１は、本発明の実施形態に係る会計端末に表示される会計画面の一例を示す図である。 図２２は、本発明の実施形態に係る会計端末で実行される会計支援処理の手順の一例を示すフローチャートである。 図２３は、本発明の実施形態に係る会計端末で実行される会計支援処理の手順の一例を示すフローチャートである。 図２４は、本発明の実施形態に係る会計端末で実行される会計支援処理の手順の一例を示すフローチャートである。

以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

［会計システム１００］
図１に示すように、本発明の実施形態に係る会計システム１００は、会計端末１とカメラ２とデータベースＤＢとを含む。会計端末１、カメラ２、及びデータベースＤＢは、ＬＡＮ、インターネット、ＷＡＮ、又は公衆電話回線などの通信網Ｎ１を介して通信可能である。

カメラ２は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。カメラ２は、デジタル画像データを通信網Ｎ１を通じて会計端末１に送信する通信機能を備えている。カメラ２は、１台であってもよいし複数台であってもよい。具体的には、カメラ２は、店舗内に設置され、店舗の利用者（客）を含む所定エリアを撮像する。例えば、カメラ２は、店舗のレジに設置され、レジから店内側の所定エリアを撮像する。カメラ２は、所定のフレームレートで所定エリアを撮像して、画像データを会計端末１に送信する。前記所定エリアは、例えば会計を行う利用者を撮像可能なエリアである。また、前記所定エリアは、例えば店舗内の全体のエリアであってもよい。本発明では、カメラ２に、店舗に既設のカメラを適用することも可能である。また、カメラ２は、会計端末１に搭載されてもよい。

会計端末１は、店舗に設置され、利用者の購入商品の会計を行う機器（例えばＰＯＳ端末）である。会計端末１は、店員の操作を受け付けて会計を行ってもよいし、利用者の操作を受け付けて会計を行ってもよい。また、会計端末１は、カメラ２により撮像される所定エリアの撮像画像に基づいて、会計を行う利用者を認識し、利用者を識別する識別情報（利用者の顔画像）と利用者の購入商品に関する購入商品情報とを関連付けて登録する。店舗は、例えば飲食店、物販店（小売店）などである。以下の実施形態では、店舗の一例として飲食店を挙げて説明する。

本実施形態では、会計端末１単体が本発明に係る会計システムに相当するが、本発明に係る会計システムは、会計端末１、カメラ２、及びデータベースＤＢを含んで構成されてもよい。また、会計端末１、カメラ２、及びデータベースＤＢが一体の機器であってもよい。

［会計端末１］
図１に示されるように、会計端末１は、制御部１１、記憶部１２、操作表示部１３Ａ，１３Ｂ、及び通信部１４などを備える情報処理装置（例えばＰＯＳ端末）である。なお、会計端末１は、１台のコンピューターに限らず、複数台のコンピューターが協働して動作するコンピューターシステムであってもよい。また、会計端末１で実行される各種の処理は、一又は複数のプロセッサーによって分散して実行されてもよい。会計端末１は、本発明の会計システムの一例である。

通信部１４は、会計端末１を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して一又は複数のカメラ２などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

操作表示部１３Ａ，１３Ｂは、それぞれ、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。操作表示部１３Ａ（以下、店員用操作表示部という。）は、店員用の操作表示部であり、店員が操作したり、店員に向けて情報を表示したりする。操作表示部１３Ｂ（以下、利用者用操作表示部という。）は、利用者用の操作表示部であり、利用者が操作したり、利用者に向けて情報を表示したりする。

記憶部１２は、各種の情報を記憶する半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などを含む不揮発性の記憶部である。具体的に、記憶部１２には、カメラ２が撮像する撮像画像の分析結果を登録する画像分析情報テーブルＤ１などが記憶される。図２は、画像分析情報テーブルＤ１の一例を示す図である。なお、前記撮像画像には、レジで会計を行う一又は複数の利用者の画像が含まれる。

図２に示すように、画像分析情報テーブルＤ１には、前記撮像画像から抽出される利用者の顔画像に設定される顔番号ごとに、利用者番号、顔領域（横方向）、顔領域（縦方向）などの情報が登録される。前記利用者番号は、前記撮像画像に含まれる顔画像に対応して設定される利用者識別情報である。なお、前記利用者番号は、店員が前記顔画像を選択する操作に応じて設定されてもよい。前記顔領域（横方向及び縦方向）は、前記撮像画像に含まれる前記顔画像の位置及び範囲を示す情報である。制御部１１は、前記撮像画像を取得すると、当該撮像画像を分析（画像解析）して前記各情報を画像分析情報テーブルＤ１に登録する。

制御部１１は、前記撮像画像に基づいて画像分析情報テーブルＤ１に各情報を登録する。なお、他の実施形態として、画像分析情報テーブルＤ１が、会計端末１から通信網Ｎ１を介してアクセス可能な他のサーバーに記憶されてもよい。この場合、会計端末１の制御部１１は、必要に応じて前記サーバーから各種の情報を取得して、後述の会計支援処理（図２２～図２４参照）などの各処理を実行してもよい。

また、制御部１１は、データベースＤＢに格納される各種情報に基づいて会計処理を実行する。データベースＤＢには、商品情報（不図示）、会計情報Ｄ２、購入商品情報Ｄ３などのデータが記憶される。前記商品情報には、飲食店で提供可能な全ての商品に関する情報（商品名、代金など）が含まれる。図３は、会計情報Ｄ２の一例を示す図であり、図４は、購入商品情報Ｄ３の一例を示す図である。

図３に示すように、会計情報Ｄ２には、会計ごとに、会計番号、グループ人数、購入商品数、合計金額などの情報が含まれる。前記会計番号は、会計ごとに付与される識別情報である。前記グループ人数は、家族客、団体客などのグループの合計人数であり、例えば飲食店のテーブルの利用人数である。前記購入商品数は、会計対象の商品の合計数である。前記合計金額は、グループごとの、全ての前記購入商品の合計金額である。

図４に示すように、購入商品情報Ｄ３には、会計ごとに、会計番号、購入商品（注文商品）、利用者番号などの情報が含まれる。複数の利用者を含むグループの場合、例えば同一の会計番号に対して、複数の購入商品が関連付けられて登録される。また、各購入商品には、当該購入商品の代金を支払う利用者の利用者番号が関連付けられて登録される。

会計情報Ｄ２及び購入商品情報Ｄ３は、例えば注文端末（不図示）に入力された情報に基づいてデータベースＤＢに記憶されてもよい。

また、記憶部１２には、制御部１１に後述の会計支援処理（図２２～図２４参照）を実行させるための会計プログラムなどの制御プログラムが記憶されている。例えば、前記会計プログラムは、ＣＤ又はＤＶＤなどのコンピューター読取可能な記録媒体に非一時的に記録されており、会計端末１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより会計端末１を制御する。

具体的に、制御部１１は、図１に示すように、商品取得処理部１１１、画像取得処理部１１２、抽出処理部１１３、受付処理部１１４、登録処理部１１５、表示処理部１１６、会計処理部１１７、質問処理部１１８などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記会計プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記会計プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

商品取得処理部１１１は、利用者の購入商品の情報に対応する購入商品情報を取得する。具体的には、商品取得処理部１１１は、データベースＤＢを参照して、利用者に対応する会計情報Ｄ２（図３参照）及び購入商品情報Ｄ３（図４参照）を取得する。会計情報Ｄ２及び購入商品情報Ｄ３は、前記購入商品情報の一例である。例えば飲食店において、利用者が食事を終えてレジで会計する場合に、利用者が伝票をレジ担当の店員に手渡すと、店員は読取装置などにより伝票の情報コードを読み取る。これにより、商品取得処理部１１１は、前記情報コードに対応する会計番号（図３及び図４参照）に基づいて利用者の購入商品情報を取得する。商品取得処理部１１１は、本発明の商品取得処理部の一例である。

画像取得処理部１１２は、カメラ２により撮像される、店舗のレジ前の利用者を含む所定エリアの撮像画像を取得する。画像取得処理部１１２は、本発明の画像取得処理部の一例である。

抽出処理部１１３は、画像取得処理部１１２により取得される前記撮像画像から利用者の利用者画像を抽出する。具体的には、抽出処理部１１３は、前記撮像画像から利用者の顔画像を抽出する。前記撮像画像に複数の利用者が含まれる場合には、抽出処理部１１３は、利用者ごとの顔画像を抽出する。抽出処理部１１３は、顔画像を抽出すると、顔番号に関連付けて、当該顔画像の顔領域の情報を画像分析情報テーブルＤ１（図２参照）に登録する。なお、抽出処理部１１３は、会計画面（後述）において所定のユーザー操作（例えば人物特定開始の指示操作）を受け付けた場合に、前記撮像画像から利用者の利用者画像を抽出してもよい。抽出処理部１１３は、本発明の抽出処理部の一例である。

受付処理部１１４は、会計端末１に対する店員、利用者の各種操作を受け付ける。前記操作の具体例は後述する。受付処理部１１４は、本発明の受付処理部の一例である。

登録処理部１１５は、店員用操作表示部１３Ａに表示される会計画面において、抽出処理部１１３により抽出される前記利用者画像に対応する利用者識別画像と、商品取得処理部１１１により取得される前記購入商品情報とを関連付けて登録する。具体的には、登録処理部１１５は、商品取得処理部１１１が伝票の前記情報コード基づいて取得した会計番号に、利用者の顔画像と、当該利用者が支払う購入商品に関する情報（購入商品名）とを関連付けて登録する。また、登録処理部１１５は、購入商品情報Ｄ３（図４参照）に、購入商品の代金を支払う利用者の利用者番号を登録する。登録処理部１１５は、本発明の登録処理部の一例である。前記顔画像は、本発明の利用者識別画像の一例である。なお、本発明の利用者識別画像は、顔画像に限定されず、利用者を識別可能な身体の一部の画像、又は、利用者を識別可能な所持品の画像であってもよい。

表示処理部１１６は、店員用操作表示部１３Ａ及び利用者用操作表示部１３Ｂのそれぞれに、各種の会計画面を表示させる。具体的には、表示処理部１１６は、画像取得処理部１１２により取得される前記撮像画像を店員用操作表示部１３Ａに表示させ、かつ前記撮像画像から抽出される利用者の利用者画像（顔画像）に対応付けて当該利用者の識別情報（利用者番号）を店員用操作表示部１３Ａに表示させる。また、表示処理部１１６は、会計画面に、利用者の顔画像と、当該利用者の購入商品の前記購入商品情報とを関連付けて表示させる。表示処理部１１６は、本発明の表示処理部の一例である。

会計処理部１１７は、登録処理部１１５により登録される顔画像及び前記購入商品情報に対応する利用者の会計処理を実行する。

以下、具体例を示す。図５には、店員用操作表示部１３Ａに表示される会計画面の一例を示している。図５に示す会計画面において、店員は、利用者の会計方法について、一括支払による会計、及び、割り勘支払による会計のいずれかを選択する。例えば、店員が利用者に前記会計方法を質問して、利用者が割り勘支払を選択すると、店員は、図５に示す会計画面の「割り勘支払」をタッチする。受付処理部１１４は、店員のタッチ操作を受け付ける。

「割り勘支払」が選択された場合、表示処理部１１６は、図６に示す会計画面を店員用操作表示部１３Ａに表示させる。図６に示す会計画面には、飲食店で注文可能な全ての商品の情報と、会計を行う利用者（ここでは会計番号「２」の３人グループ）を撮像した撮像画像Ｐ１と、当該グループの購入商品に関する購入商品一覧Ｐ３と、各利用者の識別情報及び代金を支払う商品に関する商品情報を表示及び編集するための利用者別表示欄Ｐ２とが表示される。また図６に示すように、表示処理部１１６は、会計画面において撮像画像Ｐ１を表示させるとともに、撮像画像Ｐ１から認識された各利用者の利用者番号（ここでは「１」、「２」、「３」）を利用者画像（例えば顔画像）の近傍に表示させる。前記利用者番号は、制御部１１により自動的に付与されてもよいし、店員の選択操作に応じて付与されてもよい。これにより、店員は、会計画面において、利用者の人数を把握することができる。

また図６に示すように、表示処理部１１６は、会計画面の利用者別表示欄Ｐ２に、認識した利用者ごとに、利用者番号と利用者の顔画像とを表示させる。図６の例では、撮像画像Ｐ１に含まれる右端の利用者に対応する利用者番号「１」に、当該利用者の顔画像が関連付けられて表示されており、撮像画像Ｐ１に含まれる左端の利用者に対応する利用者番号「２」に、当該利用者の顔画像が関連付けられて表示されており、撮像画像Ｐ１に含まれる中央の利用者に対応する利用者番号「３」に、当該利用者の顔画像が関連付けられて表示されている。

受付処理部１１４は、前記会計画面において、店員から、所定の購入商品を選択する選択操作を受け付ける。例えば、店員は利用者（３人グループ）に「唐揚定食」の代金「７００円」を支払う利用者を口頭で質問する。利用者番号「１」の利用者（右端の利用者）が「唐揚定食」の代金「７００円」を支払うことを回答すると、店員は、図７に示すように、会計画面の購入商品一覧Ｐ３において、「唐揚定食」を選択（タッチ）する。表示処理部１１６は、店員がタッチした「唐揚定食」の表示態様（例えば表示色）を変更する。店員は、前記会計画面上で「唐揚定食」の情報を、購入商品一覧Ｐ３から、利用者別表示欄Ｐ２の利用者番号「１」の登録欄に移動させる（図８参照）。例えば、店員は、「唐揚定食」の情報を含む画像アイコンを、購入商品一覧Ｐ３から利用者別表示欄Ｐ２の利用者番号「１」の登録欄に移動させる操作（ドラッグアンドドロップ操作）を行う（図９参照）。表示処理部１１６は、利用者番号「１」に、「唐揚定食」及び「７００円」の情報を関連付けて表示させる。また、登録処理部１１５は、購入商品情報Ｄ３（図４参照）において、「唐揚定食」の情報に利用者番号「１」を関連付けて登録する。このようにして、登録処理部１１５は、店員の操作に応じて、「唐揚定食」の支払いを利用者番号「１」の利用者に割り当てる。なお、表示処理部１１６は、購入商品一覧Ｐ３から「唐揚定食」の情報を削除する（図９参照）。

同様に、店員は、「カツ丼」及び「ラーメン」の支払いをいずれかの利用者に割り当てる。ここでは、表示処理部１１６は、利用者番号「２」に、「カツ丼」及び「６００円」の情報と、「ラーメン」及び「５５０円」の情報とを関連付けて表示させる（図１０参照）。また表示処理部１１６は、「カツ丼」及び「ラーメン」の合計金額「１１５０円」を表示させる。また登録処理部１１５は、購入商品情報Ｄ３（図４参照）において、「カツ丼」及び「ラーメン」の情報に利用者番号「２」を関連付けて登録する。登録処理部１１５は、購入商品一覧Ｐ３に表示された全ての購入商品を利用者に割り当てるまで、店員の操作に応じて上述の処理を繰り返し実行する。なお、表示処理部１１６は、購入商品一覧Ｐ３に表示された全ての購入商品が利用者に割り当てられた場合に、利用者別表示欄Ｐ２の表示色（背景色）を変更してもよい。これにより、店員は、購入商品一覧Ｐ３に表示された全ての購入商品が利用者に割り当てられたことを容易に認識することができる。

購入商品一覧Ｐ３に表示された全ての購入商品が利用者に割り当てられて利用者別表示欄Ｐ２に表示されると、受付処理部１１４は、店員の会計操作を受け付ける。例えば、図１１に示す会計画面において、店員が利用者番号「１」に対応する購入商品「唐揚定食」の会計ボタンをタッチすると、受付処理部１１４は会計操作を受け付けて、表示処理部１１６は、利用者番号「１」に対応する会計情報を表示させる（図１２参照）。利用者が代金「１０００円」を入金すると、又は、店員が利用者から代金「１０００円」を受け取って入金すると、会計処理部１１７は利用者番号「１」に対応する決済を実行する。続いて、店員は利用者番号「２」に対応する購入商品「唐揚定食」の会計ボタンをタッチして（図１１参照）、会計処理部１１７は利用者番号「２」に対応する決済を実行する。

以上のようにして、会計処理部１１７は、会計番号「２」の購入商品（「唐揚定食」、「カツ丼」、「ラーメン」）について、割り勘支払による会計処理を実行する。なお、例えば、店員が利用者に前記会計方法を質問して、利用者が一括支払を選択すると、店員は、図５に示す会計画面の「一括支払」をタッチする。この場合、会計処理部１１７は、合計金額（ここでは「１１５０円」）の会計処理を実行する。

すなわち、会計端末１では、前記撮像画像に複数の利用者の利用者画像が含まれる場合に、抽出処理部１１３は、前記複数の利用者のそれぞれの利用者画像を抽出し、登録処理部１１５は、会計画面において、前記利用者識別画像（顔画像）ごとに、対応する前記購入商品情報を関連付けて登録し、会計処理部１１７は、利用者ごとに、当該利用者の購入商品の会計処理を実行する。

本発明は上述の実施形態に限定されない。上述の実施形態では、登録処理部１１５は、店員が購入商品一覧Ｐ３に表示された各購入商品を利用者別表示欄Ｐ２に割り振る操作を行うことにより、利用者番号と顔画像と購入商品情報とを関連付けて登録している。すなわち、受付処理部１１４は、会計画面において、購入商品一覧Ｐ３のうち会計対象の購入商品を選択する第１操作（図７参照）と、当該第１操作により選択された購入商品を利用者識別画像（顔画像）に関連付ける第２操作（図８及び図９参照）とを受け付け、登録処理部１１５は、前記第１操作及び前記第２操作を受け付けた場合に、顔画像と前記第１操作により選択された購入商品の前記購入商品情報とを関連付けて登録する。

他の実施形態として、登録処理部１１５は、利用者への質問に対する回答に基づいて、会計画面において、顔画像と前記購入商品情報とを関連付けて登録してもよい。例えば、図１３に示すように、店員は、会計画面の購入商品一覧Ｐ３において、「唐揚定食」を選択して、人物特定開始ボタンＢ１をタッチする。すると、質問処理部１１８は、利用者に購入商品に関する質問を行う。例えば図１４に示すように、質問処理部１１８は、「唐揚定食」を注文した利用者が誰なのかを質問する。ここで、質問処理部１１８は、利用者に対して、予め設定されたジェスチャー操作（例えば「挙手」）により回答するように促す。なお、質問処理部１１８は、前記質問を利用者用操作表示部１３Ｂに表示させてもよいし（図１４参照）、音声により出力してもよい。

登録処理部１１５は、前記質問に対する利用者のジェスチャー操作に基づいて、顔画像と前記購入商品情報とを関連付けて登録する。例えば図１５に示すように、前記質問に対して利用者番号「１」の利用者が挙手すると、登録処理部１１５は、挙手のジェスチャー操作を認識して、利用者番号「１」の顔画像と「唐揚定食」の情報とを関連付けて登録する。また、登録処理部１１５は、購入商品情報Ｄ３（図４参照）において、「唐揚定食」の情報に利用者番号「１」を関連付けて登録する。また、表示処理部１１６は、利用者番号「１」に、「唐揚定食」及び「７００円」の情報を関連付けて表示させる。

同様に、登録処理部１１５は、「カツ丼」及び「ラーメン」についても、前記質問に対する利用者のジェスチャー操作に基づいて、顔画像と前記購入商品情報とを関連付けて登録する。

また、上述の実施形態では、登録処理部１１５は、店員の操作を介して顔画像と前記購入商品情報とを関連付けて登録している。他の実施形態として、登録処理部１１５は、店員の操作を介さず、利用者の操作のみにより顔画像と前記購入商品情報とを関連付けて登録してもよい。この構成は、例えば利用者が会計端末１を操作して会計を行うセルフレジに適用することができる。具体的には、表示処理部１１６は、図５に示す会計画面を利用者用操作表示部１３Ｂに表示させる。利用者が会計画面の「割り勘支払」をタッチすると、受付処理部１１４は、利用者のタッチ操作を受け付け、表示処理部１１６は、図１６に示す会計画面を表示させる。

利用者が図１６の会計画面の購入商品一覧Ｐ３において「唐揚定食」を選択すると、質問処理部１１８は、利用者に購入商品に関する質問を行う（図１４参照）。質問処理部１１８は、利用者に対して、予め設定されたジェスチャー操作（例えば「挙手」）により回答するように促す。登録処理部１１５は、前記質問に対する利用者のジェスチャー操作に基づいて、顔画像と前記購入商品情報とを関連付けて登録する。例えば図１７に示すように、前記質問に対して利用者番号「１」の利用者が挙手すると、登録処理部１１５は、挙手のジェスチャー操作を認識して、利用者番号「１」の顔画像と「唐揚定食」の情報を関連付けて登録する。また、登録処理部１１５は、購入商品情報Ｄ３（図４参照）において、「唐揚定食」の情報に利用者番号「１」を関連付けて登録する。また、表示処理部１１６は、利用者番号「１」に、「唐揚定食」及び「７００円」の情報を関連付けて表示させる（図１７参照）。

同様に、登録処理部１１５は、「カツ丼」及び「ラーメン」についても、前記質問に対する利用者のジェスチャー操作に基づいて、顔画像と前記購入商品情報とを関連付けて登録する（図１８参照）。

また、図１８の会計画面において、利用者が利用者番号「１」に対応する購入商品「唐揚定食」の会計ボタンをタッチすると、受付処理部１１４は会計操作を受け付けて、会計処理部１１７は利用者番号「１」に対応する決済を実行する。このようにして、利用者自身が割り勘支払の操作を行ってもよい。

ここで、前記ジェスチャー操作は、「挙手」に限定されず、他の操作であってもよい。例えば、前記ジェスチャー操作は、「うなずき」、「Ｖサイン」などであってもよい。また、図１９に示すように、複数のジェスチャー操作の情報が記憶部１２に予め登録され、ユーザー（例えば店舗の管理者）が、前記質問に対する回答に利用するジェスチャー操作（判別用ジェスチャー操作）を設定可能であってもよい。

また、前記質問に対する回答方法について、前記ジェスチャー操作に代えて、音声による回答を利用してもよい。具体的には、登録処理部１１５は、前記質問に対する前記利用者の発話音声に基づいて、顔画像と前記購入商品情報とを関連付けて登録する。例えば図２０に示すように、質問処理部１１８は、利用者に対して、予め設定された音声（例えば「はい」）を発話して回答するように促す。例えば前記質問に対して利用者番号「１」の利用者が「はい」を発話すると、登録処理部１１５は、利用者番号「１」の顔画像と「唐揚定食」の情報を関連付けて登録する。

なお、前記音声は、「はい」に限定されず、例えば「私です」、「食べました」などであってもよい。また、図２１に示すように、複数の音声の情報が記憶部１２に予め登録され、ユーザー（例えば店舗の管理者）が、前記質問に対する回答に利用する音声（判別用音声）を設定可能であってもよい。

［会計支援処理］
以下、会計端末１の制御部１１によって実行される会計支援処理について説明する。例えば、制御部１１は、利用者が伝票をレジ担当の店員に手渡し、店員が読取装置などにより伝票の情報コードを読み取ることにより前記会計プログラムの実行を開始することによって、前記会計支援処理を開始する。

なお、本発明は、前記会計支援処理に含まれる一又は複数のステップを実行する会計方法の発明として捉えることができる。また、ここで説明する前記会計支援処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記会計支援処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１が前記会計支援処理における各ステップを実行する場合を例に挙げて説明するが、他の実施形態では、一又は複数のプロセッサーが前記会計支援処理における各ステップを分散して実行してもよい。

図２２は、前記会計支援処理に含まれる利用者登録処理の手順の一例を示すフローチャートである。制御部１１は、前記会計支援処理に際し、先ず、前記撮像画像に基づいて利用者を認識する利用者登録処理を実行する。

ステップＳ１において、制御部１１は、利用者の購入商品の情報に対応する購入商品情報を取得する。具体的には、制御部１１は、データベースＤＢを参照して、利用者に対応する会計情報Ｄ２（図３参照）及び購入商品情報Ｄ３（図４参照）を取得する。例えば、制御部１１は、伝票から会計番号を取得し、会計番号に関連付けられた会計情報Ｄ２及び購入商品情報Ｄ３を取得する。ステップＳ１は、本発明の商品取得ステップの一例である。

次にステップＳ２において、制御部１１は、利用者の会計方法が割り勘支払であるか否かを判定する。制御部１１は、例えば図５に示す会計画面において、店員の選択操作に基づいて会計方法を判定する。会計方法が割り勘支払である場合（Ｓ２：Ｙｅｓ）、処理はステップＳ３に移行する。制御部１１は、会計画面に購入商品一覧Ｐ３を表示させる（図６参照）。

一方、会計方法が割り勘支払でない場合、すなわち前記会計方法が一括支払である場合（Ｓ２：Ｎｏ）、処理はステップＳ２０１に移行する。ステップＳ２０１では、制御部１１は、一括支払による会計処理を実行して、前記会計支援処理を終了する。

ステップＳ３において、制御部１１は、カメラ２により撮像される、店舗のレジ前の利用者を含む所定エリアの撮像画像Ｐ１を取得する。制御部１１は、取得した撮像画像Ｐ１を会計画面に表示させる（図６参照）。ステップＳ３は、本発明の画像取得ステップの一例である。

次にステップＳ４において、制御部１１は、画像分析情報テーブルＤ１（図２参照）の顔番号を「０」に設定する。

次にステップＳ５において、制御部１１は、取得した撮像画像Ｐ１の走査（スキャン処理）を開始する。例えば、制御部１１は、撮像画像Ｐ１を横方向右側から走査する。

次にステップＳ６において、制御部１１は、撮像画像Ｐ１から顔画像を検出したか否かを判定する。制御部１１が撮像画像Ｐ１から前記顔画像を検出した場合（Ｓ６：Ｙｅｓ）、処理はステップＳ７に移行する。一方、制御部１１が撮像画像Ｐ１から前記顔画像を検出しない場合（Ｓ６：Ｎｏ）、処理はステップＳ１０に移行する。

ステップＳ７では、制御部１１は、撮像画像Ｐ１から前記顔画像を抽出して、画像分析情報テーブルＤ１（図２参照）に、前記顔番号「１」及び顔領域（横方向及び縦方向）を登録する。ステップＳ６，Ｓ７は、本発明の抽出ステップの一例である。

次にステップＳ８において、制御部１１は、利用者番号「１」を、前記検出した顔画像の近傍に表示させる（図６参照）。また、制御部１１は、利用者番号「１」を前記顔番号「１」に関連付けて登録する（図２参照）。

次にステップＳ９において、制御部１１は、利用者番号「１」と利用者の顔画像とを、会計画面の利用者別表示欄Ｐ２に表示させる（図６参照）。

次にステップＳ１０において、制御部１１は、撮像画像Ｐ１の終端（ここでは左端）まで走査が完了したか否かを判定する。制御部１１は、走査を完了すると（Ｓ１０：Ｙｅｓ）、利用者登録処理を終了する。一方、制御部１１は、走査を完了していない場合（Ｓ１０：Ｎｏ）、ステップＳ１０１に移行して走査を続行する。

制御部１１は、撮像画像Ｐ１の走査を続行して次の顔画像を検出すると（Ｓ６：Ｙｅｓ）、上述のステップＳ７～Ｓ９の処理を実行する。このようにして、制御部１１は、撮像画像Ｐ１から顔画像を検出しなくなるまで上述の処理を繰り返す。制御部１１は、前記利用者登録処理を終了すると、以下に示す割り勘処理を実行する。図６は、制御部１１が撮像画像Ｐ１に対して前記利用者登録処理を終了した状態を示している。

図２３は、前記割り勘処理の手順の一例を示すフローチャートである。制御部１１は、前記利用者登録処理（図２２参照）が終了すると、ユーザー（店員）の操作に応じて割り勘支払による会計を行う割り勘処理を実行する。

ステップＳ１１において、制御部１１は、会計画面において購入商品一覧Ｐ３（図６参照）から購入商品が選択されたか否かを判定する。購入商品一覧Ｐ３から購入商品が選択された場合（Ｓ１１：Ｙｅｓ）、処理はステップＳ１２に移行する（図７参照）。ステップＳ１２において、制御部１１は、選択された購入商品の表示態様（例えば表示色）を変更する（図７参照）。

次にステップＳ１３において、制御部１１は、選択された購入商品が利用者別表示欄Ｐ２に移動されたか否かを判定する。例えば、店員が「唐揚定食」の情報を含む画像アイコンを、購入商品一覧Ｐ３から利用者別表示欄Ｐ２の利用者番号「１」の登録欄に移動させる操作（ドラッグアンドドロップ）を行った場合に（図８及び図９参照）、制御部１１は、選択された「唐揚定食」が利用者別表示欄Ｐ２に移動されたと判定する（Ｓ１３：Ｙｅｓ）。

ステップＳ１４において、制御部１１は、顔番号、利用者番号、及び購入商品の情報を互いに関連付けて登録する。例えば、制御部１１は、購入商品情報Ｄ３（図４参照）において、「唐揚定食」の情報に、顔番号「１」に対応する利用者番号「１」を関連付けて登録する。

次にステップＳ１５において、制御部１１は、購入商品名及び金額を利用者別表示欄Ｐ２に表示させる。例えば、制御部１１は、利用者番号「１」に、「唐揚定食」及び「７００円」の情報を関連付けて表示させる（図９参照）。また、ステップＳ１６において、制御部１１は、利用者の支払い金額の合計を利用者別表示欄Ｐ２に表示させる（図９参照）。

次にステップＳ１７において、制御部１１は、購入商品一覧Ｐ３に含まれる全ての購入商品が利用者別表示欄Ｐ２に登録（表示）されたか否かを判定する。前記全ての購入商品が利用者別表示欄Ｐ２に登録された場合（Ｓ１７：Ｙｅｓ）、処理はステップＳ１８に移行する。制御部１１は、前記全ての購入商品が利用者別表示欄Ｐ２に登録されていない場合（Ｓ１７：Ｎｏ）、ステップＳ１１に移行する。制御部１１は、前記全ての購入商品が利用者別表示欄Ｐ２に登録されるまで上述の処理を繰り返す。図１０は、制御部１１が前記全ての購入商品が利用者別表示欄Ｐ２に登録した状態を示している。

続いてステップＳ１８において、制御部１１は、利用者別表示欄Ｐ２に表示された購入商品の会計が選択されたか否かを判定する。例えば、図１１に示す会計画面において、店員が利用者番号「１」に対応する購入商品「唐揚定食」の会計ボタンをタッチすると、制御部１１は、「唐揚定食」の会計が選択されたと判定する（Ｓ１８：Ｙｅｓ）。利用者別表示欄Ｐ２に表示された購入商品の会計が選択された場合（Ｓ１８：Ｙｅｓ）、処理はステップＳ１９に移行する。一方、利用者別表示欄Ｐ２に表示された購入商品の会計が選択されない場合（Ｓ１８：Ｎｏ）、処理はステップＳ２１（図２４参照）に移行する。

ステップＳ１９において、制御部１１は、選択された購入商品の会計処理を実行する。例えば利用者が代金「１０００円」を入金すると、又は、店員が利用者から代金「１０００円」を受け取って入金すると、制御部１１は、利用者番号「１」に対応する決済を実行する（図１２参照）。ステップＳ１９は、会計ステップの一例である。

次にステップＳ２０において、制御部１１は、利用者別表示欄Ｐ２に表示された全ての購入商品の会計が終了したか否かを判定する。前記全ての購入商品の会計が終了した場合（Ｓ２０：Ｙｅｓ）、制御部１１は、前記割り勘処理を終了する。前記全ての購入商品の会計が終了していない場合（Ｓ２０：Ｎｏ）、処理はステップＳ１８に移行して、制御部１１は、上述の処理を繰り返す。

ここで、ステップＳ２１では、制御部１１は、利用者別表示欄Ｐ２に表示された購入商品の取り消しが選択されたか否かを判定する。例えば、図１１に示す会計画面において、店員が利用者番号「１」に対応する購入商品「唐揚定食」の取消ボタンをタッチすると、制御部１１は、ステップＳ２２において、顔番号、利用者番号、及び購入商品の登録を解除する。次にステップＳ２３において、制御部１１は、利用者別表示欄Ｐ２から、購入商品名及び金額を削除する。次にステップＳ２４において、制御部１１は、利用者別表示欄Ｐ２に、変更後の支払い金額の合計を表示させる。また、この場合、制御部１１は、取り消した購入商品「唐揚定食」の情報を購入商品一覧Ｐ３に再表示する。その後、処理はステップＳ１１に移行して、制御部１１は、購入商品「唐揚定食」を他の使用者に割り当てる処理を実行する。

以上のようにして、制御部１１は、前記会計支援処理を実行する。なお、制御部１１は、前記会計支援処理において、上述した他の実施形態（図１３～図２１参照）に応じた処理を実行してもよい。

以上説明したように、本実施形態に係る会計システム１００は、利用者の購入商品の情報に対応する購入商品情報を取得し、前記利用者を撮像した撮像画像を取得し、取得した前記撮像画像から前記利用者の利用者画像を抽出する。また、会計システム１００は、会計端末１に表示される会計画面において、抽出した前記利用者画像に対応する利用者識別画像（顔画像）と、取得した前記購入商品情報とを関連付けて登録し、登録した前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を実行する。これにより、割り勘支払による会計処理を容易に行うことができる。また、割り勘支払の会計処理をする際の店員の作業負担を軽減することができる。

１ ：会計端末
２ ：カメラ
１３Ａ ：店員用操作表示部
１３Ｂ ：利用者用操作表示部
１００ ：会計システム
１１１ ：商品取得処理部
１１２ ：画像取得処理部
１１３ ：抽出処理部
１１４ ：受付処理部
１１５ ：登録処理部
１１６ ：表示処理部
１１７ ：会計処理部
１１８ ：質問処理部

Claims (11)

1. 利用者の購入商品の情報に対応する購入商品情報を取得する商品取得処理部と、
   前記利用者を撮像した撮像画像を取得する画像取得処理部と、
   前記画像取得処理部により取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出処理部と、
   会計端末に表示される会計画面において、前記抽出処理部により抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得処理部により取得される前記購入商品情報とを関連付けて登録する登録処理部と、
   前記登録処理部により登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計処理部と、
   を備える会計システム。
2. 前記会計画面に前記購入商品情報と前記撮像画像とを表示させる表示処理部をさらに備え、
   前記表示処理部は、前記会計画面に、前記利用者の前記利用者識別画像と、当該利用者の購入商品の前記購入商品情報とを関連付けて表示させる、
   請求項１に記載の会計システム。
3. 前記会計画面において、前記購入商品情報のうち会計対象の購入商品を選択する第１操作と、当該第１操作により選択された購入商品を前記利用者識別画像に関連付ける第２操作とを受け付ける受付処理部をさらに備え、
   前記登録処理部は、前記受付処理部が前記第１操作及び前記第２操作を受け付けた場合に、前記利用者識別画像と前記第１操作により選択された購入商品の前記購入商品情報とを関連付けて登録する、
   請求項１又は請求項２に記載の会計システム。
4. 前記利用者に購入商品に関する質問を行う質問処理部をさらに備え、
   前記登録処理部は、前記質問に対する前記利用者の回答に基づいて、前記会計画面において、前記利用者の前記利用者識別画像と、当該利用者の購入商品の前記購入商品情報とを関連付けて登録する、
   請求項１又は請求項２に記載の会計システム。
5. 前記登録処理部は、前記質問に対する前記利用者のジェスチャー操作に基づいて、前記利用者識別画像と前記購入商品情報とを関連付けて登録する、
   請求項４に記載の会計システム。
6. 前記登録処理部は、前記質問に対する前記利用者の発話音声に基づいて、前記利用者識別画像と前記購入商品情報とを関連付けて登録する、
   請求項４に記載の会計システム。
7. 前記撮像画像に複数の利用者の利用者画像が含まれ、
   前記抽出処理部は、前記複数の利用者のそれぞれの利用者画像を抽出し、
   前記登録処理部は、前記会計画面において、前記利用者識別画像ごとに、対応する前記購入商品情報を関連付けて登録し、
   前記会計処理部は、前記利用者ごとに、当該利用者の購入商品の会計処理を前記会計端末に実行させる、
   請求項１から請求項６のいずれか１項に記載の会計システム。
8. 前記抽出処理部は、前記会計画面において所定のユーザー操作を受け付けた場合に、前記撮像画像から前記利用者の利用者画像を抽出する、
   請求項１から請求項７のいずれか１項に記載の会計システム。
9. 前記利用者識別画像は、前記利用者の顔画像である、
   請求項１から請求項８のいずれか１項に記載の会計システム。
10. 一又は複数のプロセッサーが、
    利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、
    前記利用者を撮像した撮像画像を取得する画像取得ステップと、
    前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、
    会計端末に表示される会計画面において、前記抽出ステップにおいて抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、
    前記登録ステップにより登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計ステップと、
    を実行する会計方法。
11. 利用者の購入商品の情報に対応する購入商品情報を取得する商品取得ステップと、
    前記利用者を撮像した撮像画像を取得する画像取得ステップと、
    前記画像取得ステップにおいて取得される前記撮像画像から前記利用者の利用者画像を抽出する抽出ステップと、
    会計端末に表示される会計画面において、前記抽出ステップにおいて抽出される前記利用者画像に対応する利用者識別画像と、前記商品取得ステップにおいて取得される前記購入商品情報とを関連付けて登録する登録ステップと、
    前記登録ステップにより登録される前記利用者識別画像及び前記購入商品情報に対応する前記利用者の会計処理を前記会計端末に実行させる会計ステップと、
    を一又は複数のプロセッサーに実行させるための会計プログラム。