JP6193136B2

JP6193136B2 - 画像情報処理装置及びプログラム

Info

Publication number: JP6193136B2
Application number: JP2014008953A
Authority: JP
Inventors: 岡村　敦; 敦岡村
Original assignee: Toshiba Tec Corp
Current assignee: Toshiba Tec Corp
Priority date: 2014-01-21
Filing date: 2014-01-21
Publication date: 2017-09-06
Anticipated expiration: 2034-01-21
Also published as: CN107665556B; CN104794831B; CN107665556A; CN104794831A; JP2015138350A

Description

本発明の実施形態は、画像情報処理装置及びプログラムに関する。

従来、物品を撮像した画像データから当該物品の特徴量を抽出し、予め用意された照合用物品の特徴量を示すデータと比較することで、当該物品の種別等を認識する技術が存在する。そして、スーパーマーケットやコンビニエンスストア等の店舗において、この技術を青果品等の商品の認識（識別）に用いることで、認識された商品の商品販売処理を実行する画像情報処理装置が提案されている。

係る画像情報処理装置では、商品によっては、特定の一つの商品として認識しやすい商品と、撮像する商品の色合い、撮像位置、撮像角度等によって商品を認識する認度が変化するため、特定の一つの商品と認識することが危険である商品存在することが分かっている。そのため、商品毎に一つの商品として認識する確定率を測定し、確定率が低い商品については、自動的に一つの商品に確定することなく、候補となる商品を複数表示して、表示した商品の中から該当する商品を店員が選択することで確定するようにしていた。

しかしながら、上述した従来の画像情報処理装置では、確定率が低い商品であることを知らない店員等のオペレータは、撮像した確定率が低い商品について、候補商品から選択するのか、あるいは、一つの商品として確定させることを期待して撮像角度や位置を変えながら確定するまで待つのか、判断を迷うことが多くあり、オペレータの負担を増大させていた。

本発明が解決しようとする課題は、オペレータが、表示された候補商品から商品を選択するのか、確定するまで待つのか判断に迷うことがない画像情報処理装置及びプログラムを提供することである。

実施形態の画像情報処理装置は、撮像手段が撮像した商品の画像を取り込む取込手段と、前記取込手段によって取り込まれた商品の画像に基づく識別処理によって特定の商品として自動確定できない場合に、記憶された基準商品の中から当該商品の候補として抽出された商品候補を表示させる候補表示手段と、前記候補表示手段が表示させた商品候補の中に予め自動確定できない商品として定められた非確定商品が存在すると判断した場合に、前記商品候補に基づいて特定の商品を確定しないことを報知させる報知手段と、を備える。

図１は、第１実施形態に係るチェックアウトシステムの外観構成を示す斜視図である。図２は、図１に示したチェックアウトシステムのハードウェア構成を示すブロック図である。図３は、図２に示した商品認識マスタのデータ構成の一例を模式的に示す図である。図４は、図２に示した商品マスタのデータ構成の一例を模式的に示す図である。図５は、図２に示した商品認識マスタのＲＡＭのデータ構成の一例を示す図である。図６は、商品情報読取装置の機能構成を示す機能ブロック図である。図７は、商品情報読取装置が実行する制御処理の流れを示すフローチャートである。図８は、商品情報読取装置が表示する商品候補画面の表示例を示す図である。図９は、商品情報読取装置が表示する商品候補画面の他の表示例を示す図である。図１０は、商品情報読取装置が表示する商品候補画面の他の表示例を示す図である。図１１は、商品情報読取装置が表示する商品候補画面の他の表示例を示す図である。図１２は、第２実施形態のチェックアウトシステムのハードウェア構成を示すブロック図である。図１３は、第３実施形態のセルフＰＯＳの外観構成を示す斜視図である。図１４は、図１３に示したセルフＰＯＳのハードウェア構成を示すブロック図である。

（第１実施形態）
以下、図１〜図１１を参照して、第１実施形態の画像情報処理装置およびプログラムを詳細に説明する。なお、以下に説明する実施形態では、商品情報読取装置を画像情報処理装置の一例として説明するが、実施形態によりこの発明が限定されるものではない。

図１は、チェックアウトシステムの外観構成を示す斜視図である。図１に示すように、チェックアウトシステムは、ＰＯＳ（Point of Sales）端末１１と、商品情報読取装置２１とを備える。

ＰＯＳ端末１１は、チェックアウト台１９上のドロワ１３上面に載置する。ドロワ１３は、ＰＯＳ端末１１からの開放コマンドによって開放動作の制御を受ける。オペレータ（店員等）によって操作されるキーボード等から構成される操作部１５は、ＰＯＳ端末１１の上面に配置する。操作部１５を操作するオペレータから見て操作部１５よりも奥側には、オペレータに向けて情報を表示するオペレータ用表示部１４を備える。オペレータ用表示部１４は、商品情報や決済情報等の情報をオペレータに向けて表示する。タッチパネル１８は、オペレータ用表示部１４上に積層される。顧客用表示部１６は、オペレータ用表示部１４よりもさらに奥側に回転自在に立設される。顧客用表示部１６は、商品情報や決済情報等の情報を顧客に向けて表示する。

なお、図１に示す顧客用表示部１６は、表示面を図１中手前側（オペレータ側）に向いた状態であるが、表示面が図１中奥側（顧客側）に向くように顧客用表示部１６を回転させることによって、顧客用表示部１６は顧客に向けて情報を表示する。

また、ＰＯＳ端末１１が載置されるチェックアウト台１９とＬ字を形成するようにして、横長テーブル状のカウンタ台３１が配置されている。カウンタ台３１の上面には、荷受け面３２が形成される。荷受け面３２には、商品２を収納する買物カゴ３３が載置される。買物カゴ３３は、顧客によって持ち込まれる第１の買物カゴ３４と、第１の買物カゴ３４から商品情報読取装置２１を挟んだ位置に載置される第２の買物カゴ３５とに分けて考えることができる。

カウンタ台３１の荷受け面３２の略中央部には、ＰＯＳ端末１１とデータ送受信可能に接続された商品情報読取装置２１が設置される。商品情報読取装置２１は、薄型矩形形状のハウジング２２を備える。

ハウジング２２の正面には、読取窓２３が配置される。ハウジング２２の上部には、オペレータ用表示部２４が取り付けられる。オペレータ用表示部２４の表面には、タッチパネル２４１（図２を参照）が設けられている。オペレータ用表示部２４の右隣にはキーボード等で構成される操作部２７が配設される。オペレータから見てオペレータ用表示部２４の裏面左奥側には、顧客に情報を提供するための顧客用表示部２９が設置される。

顧客によって持ち込まれた第１の買物カゴ３４には、店舗内に陳列されている商品のうち、顧客が買物カゴ３４に投入した商品２が収納される。第１の買物カゴ３４内の商品２は、商品情報読取装置２１を操作するオペレータにより第２の買物カゴ３５へと移動される。この移動過程で、商品２が商品情報読取装置２１の読取窓２３に向けられる。この際、読取窓２３内に配置された撮像部４７（図２参照）は商品２を撮像する。

図２は、商品情報読取装置２１のハードウェア構成を示すブロック図である。図２において、商品情報読取装置２１は、制御主体となるＣＰＵ（Central Processing Unit）４１、各種プログラムを記憶するＲＯＭ（Read Only Memory）４２、各種データを展開するＲＡＭ（Random Access Memory）４３、各種プログラム等を記憶するメモリ部４４等を備えており、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、メモリ部４４は、互いにデータバス４５を介して接続されている。ＣＰＵ４１とＲＯＭ４２とＲＡＭ４３が、制御部１００を構成する。すなわち、制御部１００は、ＣＰＵ４１がＲＯＭ４２やメモリ部４４に記憶されＲＡＭ４３に展開された制御プログラム４４１に従って動作することによって、後述する制御処理を実行する。

ＲＡＭ４３は、制御プログラム４４１を初めとする各種プログラムを展開する他、撮像部４７で撮像され、後述する一般物体認識によって認識された商品２の商品情報を記憶する商品情報記憶部４３１（図５を参照）を有する。

メモリ部４４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリであって、制御プログラム４４１を含むプログラム等を記憶する。また、メモリ部４４は、商品認識マスタ４４２（図３を参照）と商品マスタ４４３（図４を参照）を記憶している。

また、データバス４５には、操作部２７、オペレータ用表示部２４、顧客用表示部２９、撮像部４７が、コントローラ４６を介して接続されている。

操作部２７は、商品情報読取装置２１での商品の撮像を開始する開始キー２７１と商品の撮像を終了するための終了キー２７２を含む各種のキーを有している。

オペレータ用表示部２４は、表示面をオペレータに向けて設置され、オペレータに対して情報を表示する。オペレータ用表示部２４の表面には、電極や透明なフィルムで構成されたタッチパネル２４１が設けられている。オペレータ用表示部２４に表示されたキーに対応した位置のタッチパネル２４１をタッチして操作することで、当該キーを操作することができる。タッチパネル２４１は操作部２７の一部である。顧客用表示部２９は、表示面を顧客に向けて設置され、顧客に対して情報を表示する。

撮像部４７は、カラーＣＣＤセンサやカラーＣＭＯＳセンサ等で構成されており、読取窓２３に翳された商品２の撮像を行う。例えば撮像部４７では３０ｆｐｓの動画像の撮像を行う。撮像部４７が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ４３の撮像画像記憶部４３２（図５を参照）に記憶される。

また、データバス４５は、ＰＯＳ端末１１と電気的に接続する接続Ｉ／Ｆ（Interface）４８を接続している。接続Ｉ／Ｆ４８は、回線４９と接続している。

また、図２において、ＰＯＳ端末１１は、制御主体となるＣＰＵ６１、各種プログラムを記憶するＲＯＭ６２、各種データを展開するＲＡＭ６３、各種プログラムを記憶するメモリ部６４等を備えており、ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、メモリ部６４は、互いにデータバス６５を介して接続されている。ＣＰＵ６１とＲＯＭ６２とＲＡＭ６３が、制御部２００を構成する。すなわち、制御部２００は、ＣＰＵ６１がＲＯＭ６２やメモリ部６４に記憶されＲＡＭ６３に展開された制御プログラム６４１に従って動作することによって、後述する制御処理を実行する。

ＲＡＭ６３は、制御プログラム６４１を初めとする各種プログラムを展開する他、商品情報読取装置２１から後述する回線４９を介してやはり後述する接続Ｉ／Ｆ６８が受信した、商品２に対応した商品情報を記憶する商品情報記憶部６３１を有する。

メモリ部６４は、電源を切っても記憶情報が保持されるＨＤＤやフラッシュメモリ等の不揮発性メモリであって、制御プログラム６４１を含むプログラム等を記憶する。また、メモリ部６４は、商品マスタ６４２を記憶している。この商品マスタ６４２は、商品マスタ４４３（図４を参照）と同一構成である。

また、データバス６５には、操作部１５、オペレータ用表示部１４、顧客用表示部１６、商品情報や決済情報を印字してレシートを発行する印字部６７が、コントローラ６６を介して接続されている。

操作部１５は、ファンクションキー、テンキー、決済処理を行う締めキー等の各種キーを有している。

オペレータ用表示部１４は、表示面を店員に向けて設置され、店員に対して情報を表示する。オペレータ用表示部１４は、表示面にタッチパネル１８が設けられている。オペレータ用表示部１４に表示されたキーに対応した位置のタッチパネル１8をタッチして操作することで、当該キーを操作することができる。タッチパネル１８は操作部１５の一部である。顧客用表示部１６は、表示面を顧客に向けて設置され、顧客に対して情報を表示する。

また、データバス６５は、接続Ｉ／Ｆ６８を接続している。接続Ｉ／Ｆ６８は、回線４９と接続している。回線４９によって、接続Ｉ／Ｆ４８と接続Ｉ／Ｆ６８とが電気的に接続しており、商品情報読取装置２１とＰＯＳ端末１１の間で種々の情報のやり取りをしている。

次に、商品認識マスタ４４２は、店舗内で販売される商品２と、商品２の画像や特徴量との関連付けが設定されたデータファイルである。図３は、商品認識マスタ４４２のデータ構成の一例を模式的に示す図である。同図に示すように、商品認識マスタ４４２は、商品２毎に、ユニークに割り当てられた商品コードを記憶する商品コード部４４２１と、商品名を記憶する商品名部４４２２、商品の単価を記憶する単価部４４２３と、その商品２を予め撮像した商品画像を記憶する商品画像部４４２４とを有する。また、商品認識マスタ４４２は、予め商品２毎に、その商品２を最も的確に表す代表的特徴量（この特徴量を基準商品の特徴量という）が関連付けられて記憶した特徴量部４４２５を有する。

図３の例では、商品コード「００１」〜商品コード「００４」の商品は、商品名「商品Ａ」〜「商品Ｄ」の４種類のリンゴのカテゴリーに属し、特徴量部４４２５には、商品コード「００１」〜商品コード「００４」の商品の特徴を最も的確に表している基準商品の特徴量がそれぞれ記憶されている。

商品画像部４４２４は、後述する類似度判定の際に、比較の対象とされる基準商品の各々を撮像した画像を記憶する。商品画像は、後述する商品候補の表示の際に、その商品候補を表す画像として提示される。また、特徴量部４４２５には、各商品２の撮像画像（例えば、商品画像）から予め抽出された、その商品２の特徴量が、対応する商品コードに関連付けて記憶される。ここで、特徴量とは、商品２の表面の色合いや模様、凹凸状況等、商品２の特徴を表した情報である。

図４は、商品マスタ４４３のデータ構成の一例を模式的に示す図である。商品マスタ４４３は、店内で販売される商品を特定する商品コードと、商品コードで特定された商品２の属性情報（商品名、単価等）とを関連付けたデータファイルである。図４において、商品マスタ４４３は、商品コード部４４３１、商品名部４４３２、単価部４４３３、確定率部４４３４、一括指定部４４３５、個別指定部４４３６、確定部４４３７を有している。

商品コード部４４３１は、商品を特定する商品コードを記憶している。商品名部４４３２は、商品コードで特定される商品の商品名を記憶している。単価部４４３３は、商品コードで特定される商品の単価を記憶している。

確定率部４４３４は、商品コードで特定される商品の確定率を記憶している。確定率とは、撮像部４７で撮像した商品の画像から、特定の一つの商品として確定できる確率を統計的に表す数字であり、確定率が高い商品は、撮像した画像から、特定の一つの商品に確定する確率が高い商品であることを示す。

商品によっては、撮像する角度、向き、距離に関わらず、ほぼ同じ特徴量を抽出できる商品と、撮像する角度、向き、距離によって、抽出された特徴量が大きく異なる商品とがある。大きく異なる場合は、特徴量部４４２５に記憶された基準商品の特徴量と比較して、当該商品を確定することができないことがある。確定率部４４３４には、このような事象を多く集計して算出した統計的な確定率が記憶されている。確定することが多い商品は確定率部４４３４には高い確定率が記憶されており、確定することができない回数が多い商品は、確定率部４４３４には低い確定率が記憶されている。

一括指定部４４３５は、確定率部４４３４に記憶されている確定率が高い商品については、自動的に特定商品として確定することができる数値を記憶し、確定率部４４３４に記憶されている確定率が低い商品については、自動確定できない非確定商品であることを示す数値を記憶している。実施形態では、自動確定できる確定率の閾値を５０％としており、図４の例では、商品Ａ、商品Ｂ、商品Ｄ、商品Ｎは、確定率部４４３４に記憶されている確定率が５０％を超えており、一括指定部４４３５には、自動確定することを示す数値「１」が記憶されている。ところが、商品Ｃについては、確定率部４４３４に記憶されている確定率が３８％と、５０％未満であるため、一括指定部４４３５には、自動確定しない非確定商品であることを示す数値「０」が記憶されている。自動確定できる確定率の閾値を５０％として説明しているが、閾値は５０％に限らず、他の値であってもよい。

個別指定部４４３６は、ユーザ（例えば店舗の経営者やマネージャー）によって自動確定しないように個別に設定されるエリアであり、自動確定しないように設定された場合は数値「０」を記憶する。図４の例の場合、商品Ａの確定率は５５％と閾値は超えているものの、半分近い商品が確定しないことを考慮して、商品Ａについては、個別に自動確定しない非確定商品の設定をしている。個別指定部４４３６に自動確定しないように設定した非確定商品については、一括指定部４４３５の指定状況に関わらず、自動確定しない。

確定部４４３７は、非確定商品については、自動確定なしを示す数値「０」を記憶する。また、確定部４４３７は、一括指定部４４３５において自動確定が指定されており、かつ個別指定部４４３６において個別に自動確定しない設定をしていない確定可能商品については、自動確定ありを示す数値「１」を記憶する。図４の例の場合、商品Ｂと商品Ｄと商品Ｎは確定可能商品であり、数値「１」が記憶されているため自動確定するが、商品Ａと商品Ｃは非確定商品であり、数値「０」が記憶されているため自動確定しない。

図５は、ＲＡＭ４３のデータ構成の一例を示す図である。図５において、ＲＡＭ４３は、商品情報記憶部４３１、撮像画像記憶部４３２、特徴量記憶部４３３を有する。

商品情報記憶部４３１は、確定した商品の情報を商品マスタ４４３から読み出して記憶する。撮像画像記憶部４３２は、撮像部４７で撮像した商品の画像を取り込んで記憶する。特徴量記憶部４３３は、撮像部４７で撮像した商品の画像から抽出した特徴量を記憶する。

続いて、図６〜図１１を用いて、商品情報読取装置２１の制御処理について説明する。図６は、商品情報読取装置２１の機能構成を示す機能ブロック図である。制御部１００が、ＲＯＭ４２やメモリ部４４に記憶された制御プログラム４４１を含む各種プログラムに従うことで、取込手段１０１、候補表示手段１０２、報知手段１０３、商品情報処理手段１０４を機能させる。

取込手段１０１は、撮像手段が撮像した商品の画像を取り込む機能を有する。

候補表示手段１０２は、取込手段１０１によって取り込まれた商品の画像に基づく識別処理によって特定の商品として自動確定できない場合に、記憶された基準商品の中から当該商品の候補として抽出された商品候補を表示させる機能を有する。基準商品は、例えば商品認識マスタ４４２に記憶されている。

報知手段１０３は、候補表示手段１０２が表示させた商品候補の最上位の商品が予め自動確定できない商品として定められた非確定商品である場合に、商品候補に基づいて特定の商品を確定しないことを報知させる機能を有する。

商品情報処理手段１０４は、候補表示手段１０２が表示させた商品候補の一つが選択された場合、当該選択された商品の商品情報処理を実行する機能を有する。

図７は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。図７において、制御部１００は、操作部２７に設けられた開始キー２７１が操作されたか否かを判断する（ステップＳ１１）。開始キー２７１は、撮像部４７を動作状態として、撮像部４７による撮像を可能にするためのキーであり、開始キー２７１が操作されると、終了キー２７２が操作されるまで、撮像部４７は動作状態を維持する。

開始キー２７１が操作されたと判断した場合は（ステップＳ１１のＹｅｓ）、制御部１００は、撮像部４７に撮像オン信号を出力して（ステップＳ１２）、撮像部４７を動作状態とする。すなわち、撮像部４７による撮像が可能となる。ついで制御部１００は、撮像部４７が撮像した画像を、ＲＡＭ４３の撮像画像記憶部４３２に取り込んで記憶する（ステップＳ１３）。なお、制御部１００は、撮像部４７で撮像された画像を、所定のタイミングで随時取り込む。

次に制御部１００は、撮像画像記憶部４３２に記憶した撮像画像から商品２を検出したか否かを判断する（ステップＳ１４）。制御部１００は、撮像画像記憶部４３２に記憶した撮像画像に含まれる商品２の全部又は一部の輪郭線を、公知のパターンマッチング技術等を用いて検出する。あるいは、撮像画像から肌色領域が検出されたか否かを判定し、肌色領域が検出された場合、つまりオペレータの手の写り込みが検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、オペレータの手が把持していると想定される商品２の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合には、この物体の輪郭から商品２を検出する。

商品２を検出するまで待機し（ステップＳ１４のＮｏ）、商品２を検出したと判断した場合は（ステップＳ１４のＹｅｓ）、制御部１００は、検出した商品２について特徴量を抽出する（ステップＳ１５）。特徴量は、上記検出した商品２の撮像画像について、商品２の表面の状態（表面の色合い、模様、凸凹状況等）に基づいて抽出される。

そして制御部１００は、抽出した商品２の特徴量を、ＲＡＭ４３の特徴量記憶部４３３に記憶する（ステップＳ１６）。次に制御部１００は、ＲＡＭ４３の特徴量記憶部４３３に記憶した商品２の特徴量と商品認識マスタ４４２の特徴量部４４２５に記憶した複数の商品の特徴量とを比較して、類似度を算出する（ステップＳ１７）。

制御部１００は、特徴量記憶部４３３に記憶した特徴量を、特徴量部４４２５に記憶した各商品の基準の特徴量と比較し、両特徴量がどの程度類似しているかを示す類似度を算出する。そして制御部１００は、算出した類似度のうち、その値が所定の閾値（例えば５０％）以上となる商品の商品コードの商品があれば、当該商品を撮像部４７で撮像された商品２の候補（商品候補）として認識する。さらに制御部１００は、認識した商品候補のうち、所定の高い類似度（例えば９０％）以上となった商品があった場合、当該商品を確定商品として認識する。

上記のように画像中に含まれる物体を認識することは、一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２５年１月２４日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像を物品（オブジェクト）毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２５年１月２４日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

次に制御部１００は、ステップＳ１７で算出した類似度に基づいて、商品２を確定商品として認識したか否かを判断する（ステップＳ１８）。認識したと判断した場合は（ステップＳ１８のＹｅｓ）、制御部１００は、確定商品として認識した商品の商品コードを商品認識マスタ４４２の商品コード部４４２１から読み出す。そして制御部１００（商品情報処理手段１０４）は、商品情報処理を実行する。すなわち、制御部１００は、当該商品コードに対応した商品情報（商品コード、商品名、単価等）を商品マスタ４４３から読み出して商品情報記憶部４３１に記憶する（ステップＳ１９）。そして制御部１００は、ステップＳ１４に戻って、次の商品検出を待機する。商品情報記憶部４３１に記憶された商品情報は、当該取引の終了のタイミングでＰＯＳ端末１１に送信される。

一方、ステップＳ１７で類似度を算出した結果として、商品２を確定商品として認識していないと判断した場合は（ステップＳ１８のＮｏ）、制御部１００は、類似度が閾値を超えたすべての商品２を商品候補として認識する（ステップＳ３１）。

次に制御部１００は、商品候補となったすべての商品２について、確定部４４３７を参照して、非確定商品の有無を調査する（ステップＳ３２）。非確定商品は、一括指定部４４３５に「０」が記憶された商品、および個別指定部４４３６に「０」が記憶された商品である。

そして制御部１００は、商品候補の中に非確定商品が存在しているか否かを判断する（ステップＳ３３）。非確定商品が存在していると判断した場合は（ステップＳ３３のＹｅｓ）、制御部１００（候補表示手段１０２）は、ステップＳ３１で認識した商品候補を、オペレータ用表示部２４と顧客用表示部２９に表示させる指令とともにコントローラ４６に指示する（ステップＳ３４）。指示を受けたコントローラ４６は、オペレータ用表示部２４に、商品候補を表示する。そして制御部１００は、ステップＳ３２で調査した結果認識した非確定商品の画像の上部に対応させて、表示した商品候補の商品は商品確定しないこと、および、顧客用表示部２９上のタッチパネル２４１を操作して、商品候補の中から特定の商品を選択することを促すメッセージを表示させる指令をコントローラ４６に指示する（ステップＳ３５）。指示を受けたコントローラ４６は、オペレータ用表示部２４に、商品確定しないこと、および、顧客用表示部２９上のタッチパネル２４１を操作して、商品候補の中から特定の商品を選択することを促すメッセージを表示する。

図８〜図１１に、ステップＳ３４およびステップＳ３５で、オペレータ用表示部２４に表示した商品候補の表示例を、４種類示す。顧客用表示部２９にも同様の表示がされる。

図８は、商品候補の表示例を示す図である。同図に示すように、オペレータ用表示部２４に表示された商品候補画面Ａ１は、撮像画像領域Ａ１１と、商品候補提示領域Ａ１２とを含む。

撮像画像領域Ａ１１は、撮像画像記憶部４３２に記憶した撮像画像を表示するための領域である。商品候補提示領域Ａ１２は、商品候補として認識された各登録商品の商品画像等を表示するための領域である。この商品候補提示領域Ａ１２には、ステップＳ３１で認識した商品候補の商品画像（Ｇ１〜Ｇ４）が商品名等とともに表示される。なお、商品候補提示領域Ａ１２には、ステップＳ３１で認識された商品候補の商品画像を表示せず、商品名を表示するようにしてもよい。

また、撮像画像領域Ａ１１の下部には、部門コードや商品リスト等から手動で商品を選択（登録）するための手動登録ボタンＢ１が設けられる。制御部１００は、手動登録ボタンＢ１の操作に応じて、商品の登録を手動で行うための手動登録画面（図示せず）をオペレータ用表示部２４に表示する。なお、手動登録画面を介して登録された商品は、後述する確定商品として処理される。

また、制御部１００は、非確定商品の画像（Ｇ１とＧ３）の上部に近接させて、それぞれメッセージ「自動確定しません」の文字Ｓ１を表示する。このメッセージは、商品Ａと商品Ｃは非確定商品であること、今回撮像した商品２について特定の商品を確定しないこと、さらに、該当する商品が商品Ａと商品Ｃのうちのどちらかであれば、商品Ａと商品Ｃのうちのどちらかの商品を選択してほしいこと、を示すメッセージである。商品の選択は、タッチパネル２４１をタッチして操作することで実行される。

図９は、商品候補の他の表示例を示す図である。同図において、制御部１００は、非確定商品の画像（Ｇ１とＧ３）の右側部に近接させて、それぞれ指のマークＳ２を表示する。この指のマークＳ２は、商品Ａと商品Ｃは非確定商品であること、今回撮像した商品２について特定の商品を確定しないこと、さらに、該当する商品が商品Ａと商品Ｃのうちのどちらかであれば、商品Ａと商品Ｃのうちのどちらかの商品を選択してほしいこと、を示すメッセージである。商品の選択は、タッチパネル２４１をタッチして操作することで実行される。

図１０は、商品候補のさらに他の表示例を示す図である。同図において、制御部１００は、非確定商品の画像（Ｇ１とＧ３）の背景色Ｓ３を、他の商品の画像と背景色を異ならせて表示している。この異なる背景色Ｓ３は、商品Ａと商品Ｃは非確定商品であること、今回撮像した商品２について特定の商品を確定しないこと、さらに、該当する商品が商品Ａと商品Ｃのうちのどちらかであれば、商品Ａと商品Ｃのうちのどちらかの商品を選択してほしいこと、を示すメッセージである。商品の選択は、タッチパネル２４１をタッチして操作することで実行される。

図１１は、商品候補のさらに他の表示例を示す図である。同図において、制御部１００は、撮像画像領域Ａ１１の下部にメッセージ「自動確定しません商品を選択してくだい」の文字Ｓ４を表示する。このメッセージは、表示された商品候補の中に非確定商品が存在すること、今回撮像した商品２について特定の商品を確定しないこと、さらに、該当する商品を選択してほしいこと、を示すメッセージである。商品の選択は、タッチパネル２４１をタッチして操作することで実行される。

図７の説明に戻る。制御部１００は、表示された商品候補から特定の一つの商品が選択されたか否かを判断する（ステップＳ３６）。選択されたと判断されるまで待機し（ステップＳ３６のＮｏ）、選択されたと判断した場合は（ステップＳ３６のＹｅｓ）、制御部１００は、選択された商品を確定商品とする（ステップＳ３７）。そして制御部１００は、ステップＳ１９の処理を実行する。

また、ステップＳ３３において、商品候補の中に非確定商品が存在していないと判断した場合は（ステップＳ３３のＮｏ）、制御部１００は、ステップＳ３１で認識した商品候補を、オペレータ用表示部２４と顧客用表示部２９に表示させる指令とともにコントローラ４６に指示する（ステップＳ３８）。指示を受けたコントローラ４６は、オペレータ用表示部２４に、商品候補を表示する。そして制御部１００は、表示された商品候補から特定の一つの商品が選択されたか否かを判断する（ステップＳ３９）。選択されたと判断した場合は（ステップＳ３９のＹｅｓ）、制御部１００は、ステップＳ３７の処理を実行する。また選択されていないと判断した場合は（ステップＳ３９のＮｏ）、制御部１００は、ステップＳ１４に戻って待機する。

また、ステップＳ１１において、開始キー２７１が操作されていないと判断した場合は（ステップＳ１１のＮｏ）、制御部１００は、操作部２７に設けられた終了キー２７２が操作されたか否かを判断する（ステップＳ４１）。操作されたと判断した場合は（ステップＳ４１のＹｅｓ）、制御部１００は、撮像部４７に撮像オフ信号を出力して（ステップＳ４２）、撮像部４７を非動作状態とする。そして制御部１００は処理を終了する。また、終了キー２７２が操作されていないと判断した場合は（ステップＳ４１のＮｏ）、制御部１００は、ステップＳ１１に戻って待機する。

このような実施形態によれば、表示する商品候補の最上位の商品が非確定商品であると判断した場合は、特定の商品に確定しないことを表示するため、オペレータが、表示された候補商品から商品を選択するのか、確定するまで待つのか判断に迷うことがない。

また、実施形態によれば、非確定商品に対応させて確定しない表示を行うため、オペレータが、表示された候補商品から商品を選択するのか、確定するまで待つのか判断に迷うことがない。また、オペレータは商品確定しない商品を把握することができる。

（第２実施形態）
次に、図１２を参照して、第２実施形態の画像情報処理装置およびプログラムを説明する。なお、以下に説明する実施形態では、ＰＯＳ端末１１を画像情報処理装置の一例として例に説明するが、実施形態によりこの発明が限定されるものではない。また、図１２において、図２と同一参照符号の構成は図２と同一の構成であるため、説明を省略する。図１２において、メモリ部６４は、商品認識マスタ６４３を備えている。商品認識マスタ６４３は、図４の、商品認識マスタ４４３と同一の構成である。

第２実施形態において、制御部２００は、図７のフローチャートにおけるステップＳ１３〜ステップＳ３９と同等の制御を実行する。ステップＳ１１、ステップＳ１２、ステップＳ４１、ステップＳ４２の処理は商品情報読取装置２１の制御部１００が実行する。

この場合、制御部２００は、ステップＳ１３において、商品情報読取装置２１から送信された商品の画像を取込む。また、制御部２００は、ステップＳ３４およびステップＳ３８において、商品情報読取装置２１に対して、商品候補の画像情報を、当該商品候補の画像情報を表示させる指示とともに出力する。また、制御部２００は、ステップＳ１９において、商品マスタ６４２から読み出した商品情報を商品情報記憶部６３１に記憶する商品情報処理を実行する。

（第３実施形態）
次に、図１３と図１４を参照して、第３実施形態の画像情報処理装置およびプログラムを説明する。なお、以下に説明する実施形態では、ＰＯＳ端末１１及び商品情報読取装置２１の機能をほぼ両方備えた１台構成のセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）を画像情報処理装置の一例として例に説明するが、実施形態によりこの発明が限定されるものではない。

図１３は、セルフＰＯＳ８０の外観構成を示す斜視図、図１４は、セルフＰＯＳ８０のハードウェア構成を示すブロック図である。なお、以下では、図１３および／または図１４の参照符号８１〜８６、８７と８８、９０と９７と９８、３００、８４１〜８４３、８７１、８７２は、図２の参照符号４１〜４６、２７と２５、４７〜４９、１００、４４１〜４４３、２７１、２７２と同一構成である。また、印字部８９は、図１２の印字部６７と同一構成である。そのため、これらの構成についての説明を省略する。

図１３および図１４に示すように、セルフＰＯＳ８０の本体９１は、タッチパネル８８１が表面に配設された顧客用表示部８８や、商品の種別等を認識（検出）するために商品画像を撮像する撮像部９０を備える。

顧客用表示部８８としては例えば液晶表示器が用いられる。顧客用表示部８８は、客にセルフＰＯＳ８０の操作方法を知らせるための案内画面や、各種の入力画面や、撮像部９０で撮像した商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

撮像部９０は、顧客が商品に付されたコードシンボルを撮像部９０の読取窓９０１にかざすことで商品画像を撮像部９０により撮像するものである。

また、本体９１の右側には、かごに入った未精算の商品を置くための商品載置台９２を設け、本体９１の左側には、精算済みの商品を置くための商品載置台９３を設ける。また、精算済みの商品を入れるための袋を掛けるための袋掛けフック９５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台９６を設ける。商品載置台９２及び９３の内部には、載置された商品を計量する計量器（図示せず）をそれぞれ備えており、精算の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ８０の本体９１には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器９４を設ける。

このような構成のセルフＰＯＳ８０に本発明の実施形態を適用した場合、セルフＰＯＳ８０が商品情報読取装置として機能し、図７で示した制御と同等の制御を実行する。なお、ＰＯＳ端末１１と商品情報読取装置２１との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ８０に限らず、計量器を含まない構成の装置であってもよい。

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、実施形態では、図９の例で、非確定商品の画像付近に指のマークＳ２を示したが、例えば星印等、マークであれば何でもよい。また、図１０の例で、非確定商品の画像の背景色を他の画像の背景色と異ならせたが、背景色を異ならせる代わりに、背景の模様や景色等を変えてもよい。

また、実施形態では、報知手段としてオペレータ用表示部２４と顧客用表示部２９に特定の商品を確定しないことを表示させるようにしたが、表示以外の、例えば音等他の報知手段を用いてもよい。

また、実施形態において、商品認識マスタ４４２と商品マスタ４４３を、商品情報読取装置２１またはＰＯＳ端末１１と接続された、店舗に設置された店舗サーバや、本部に設置された本部サーバが記憶してもよい。また、商品認識マスタ４４２と商品マスタ４４３とは、それぞれ異なる装置に設けられてもよい。

なお、実施形態の画像情報処理装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態の画像情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の画像情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態の画像情報処理装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１１ＰＯＳ端末
２１商品情報読取装置
４１ＣＰＵ
４３ＲＡＭ
４４メモリ部
４７撮像部
８０セルフＰＯＳ
１００制御部
１０１取込手段
１０２候補表示手段
１０３報知手段
１０４商品情報処理手段
４４２商品認識マスタ
４４３商品マスタ

特開２０１３−０８９０８５号公報

Claims

撮像手段が撮像した商品の画像を取り込む取込手段と、
前記取込手段によって取り込まれた商品の画像に基づく識別処理によって特定の商品として自動確定できない場合に、記憶された基準商品の中から当該商品の候補として抽出された商品候補を表示させる候補表示手段と、
前記候補表示手段が表示させた商品候補の中に予め自動確定できない商品として定められた非確定商品が存在すると判断した場合に、前記商品候補に基づいて特定の商品を確定しないことを報知させる報知手段と、
を備える画像情報処理装置。
前記報知手段は、商品毎に予め定めた確定率に基づいて、前記候補表示手段によって表示された商品候補の中に所定の確定率に満たない前記非確定商品が存在すると判断した場合に、前記商品候補に基づいて特定の商品を確定しないことを報知する、
請求項１に記載の画像情報処理装置。
前記報知手段は、前記候補表示手段によって表示された商品候補の中に任意に指定された前記非確定商品が存在すると判断した場合に、前記商品候補に基づいて特定の商品を確定しないことを報知させる、
請求項２に記載の画像情報処理装置。
前記報知手段は、前記非確定商品の表示位置に対応させて特定の商品を確定しないことを示す情報を表示させる、
請求項１乃至３のいずれか一に記載の画像情報処理装置。
前記候補表示手段が表示させた商品候補の一つが選択された場合、当該選択された商品の商品情報処理を実行する商品情報処理手段、
をさらに備えた請求項１乃至４のいずれか一に記載の画像情報処理装置。
画像情報処理装置としてのコンピュータを、
撮像手段が撮像した商品の画像を取り込む取込手段と、
前記取込手段によって取り込まれた商品の画像に基づく識別処理によって特定の商品として自動確定できない場合に、記憶された基準商品の中から当該商品の候補として抽出された商品候補を表示させる候補表示手段と、
前記候補表示手段が表示させた商品候補の中に予め自動確定できない商品として定められた非確定商品が存在すると判断した場合に、前記商品候補に基づいて特定の商品を確定しないことを報知させる報知手段と、
して機能させるためのプログラム。