JP7675390B2 - 照明調整装置、照明調整方法及び商品認識システム - Google Patents

Description

本開示は、照明調整装置、照明調整方法及び商品認識システムに関する。

コンビニエンスストアやスーパーマーケット等の小売店舗において、レジでの待ち時間を短縮するために、いわゆるセルフレジ端末の導入が増加している。セルフレジ端末には、顧客等の利用者が精算台（商品載置部）に載置した商品を、カメラ等の撮像手段を用いて撮像した撮像画像に対して画像処理を施すことによって認識するものがある。

このように画像処理を施すことによって商品を認識する際、セルフレジ端末周囲の照明変動が、商品認識精度に大きな影響を及ぼす。

例えば特許文献１には、商品認識精度を高めるために、撮像された物体（商品）の影が撮像画像に映り込む場合に、撮像画像における物体の影が生じない又は減少するように、物体を含む所定エリア全面を均等に照明する技術が開示されている。

特開２０１８－０８５０６８号公報

しかしながら、特許文献１に記載の技術では、照明の反射に起因する白飛びや利用者の影の予期せぬ映り込み等の動的又は局所的な異常領域が撮像画像中に発生し得る。これにより、商品認識精度に悪影響が及ぼされるおそれがある。

本開示の非限定的な実施例は、商品認識精度を安定させることができる照明調整装置、照明調整方法及び商品認識システムの提供に資する。

本開示の一実施例に係る照明調整装置は、撮像された画像から商品の商品領域を認識し、撮像された画像と背景画像との差分から、前記認識した商品領域を除外することにより、撮像された画像中の影領域を認識する認識部と、前記影領域が認識された場合、照明光の強さを、前記撮像された画像を取得するのに照射された照明光の強さよりも強くなるように調整する調整部と、を備える。

本開示の一実施例に係る照明調整方法は、撮像された画像から商品の商品領域を認識し、撮像された画像と背景画像との差分から、前記認識した商品領域を除外することにより、撮像された画像中の影領域を認識し、前記影領域が認識された場合、照明光の強さを、前記撮像された画像を取得するのに照射された照明光の強さよりも強くなるように調整する。

本開示の一実施例に係る商品認識システムは、商品が載置された所定の領域に対して照明光を照射する照明部と、前記照明光が照射された前記所定の領域の画像を撮像して取得する取得部と、撮像された画像から商品の商品領域を認識し、撮像された画像と背景画像との差分から、前記認識した商品領域を除外することにより、前記撮像されて取得された画像中の影領域を認識し、前記影領域が認識された場合、照明光の強さを、前記撮像された画像を取得するのに照射された照明光の強さよりも強くなるように調整する、照明調整装置と、を備え、前記取得部は、前記照明部が前記調整された強さで前記照明光を照射した又は照射しなかった前記所定の領域の画像を再撮像して再取得し、前記照明調整装置は、前記再撮像されて再取得された画像中の前記商品を認識する。

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータープログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータープログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一実施例によれば、商品が載置された所定の領域の撮像画像中の影領域に合わせて照明光を調整することができるので、商品認識精度を安定させることが可能である。

本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

本開示の実施の形態１に係る商品認識システムの一例を示すブロック図 本開示の実施の形態１に係る商品認識システムの一例を示す機能ブロック図 デフォルトの照射光を用いて、商品載置部の載置面に載置された物体（商品）を撮像して取得された撮像画像の一例を示す図 図３に示す撮像画像中の商品領域の認識を説明するための図 図３に示す撮像画像中の影領域の認識及び影強度の算出を説明するための図 図３に示す撮像画像中の白飛び領域の認識を説明するための図 本開示の実施の形態１に係る商品認識システムの動作の一例を示すフローチャート 図３に示す撮像画像を用いて、照射光調整後の照明投影部の出力内容（載置面の明るさ）を説明するための図 照射光調整後の商品載置部の載置面に載置された物体（商品）を撮像して再取得された撮像画像の一例を示す図

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
＜商品認識システムの構成＞
図１及び図２を参照して、本開示の実施の形態１に係る商品認識システム１０について説明する。

図１は、実施の形態１に係る商品認識システム１０の一例を示すブロック図である。

商品認識システム１０は、照明装置１０１と、撮像装置１０２と、情報処理装置１０３と、表示装置１０４と、商品載置部１０５と、を備える。

照明装置１０１は、例えばプロジェクタであってよい。照明装置１０１は、情報処理装置１０３（より具体的には後述する制御装置１１１）の制御の下で、矢印Ａで示すように、例えば商品１０６等の物体が載置された商品載置部１０５の載置面（所定の領域）に対して（照明）光を照射する。

プロジェクタである照明装置１０１は、商品載置部１０５の載置面に対する照射光を局所的に制御することが可能である。具体的には、プロジェクタである照明装置１０１は、商品載置部１０５の載置面との間の距離（高さ）を事前に認識し、光量を部分（局所）制御することによって、照明装置１０１が照射する照射光の強さ（強度とも呼ぶ）と形状又はパターン（商品載置部１０５の載置面における光の明るさの分布）とを制御する。

ここで、照明装置１０１が照射する照射光の強さは、予め設定された段階的な光量であってよく、例えば、段階０（光をオフ（光量ゼロ））、段階１（デフォルトの強さ）、段階１よりも強い段階２、段階２よりも強い段階３、段階３よりも強い段階４、段階４よりも強い段階５であってよい。なお、照明装置１０１が照射する照射光の強さは、商品載置部１０５の載置面における段階的な光の明るさを実質的に意味する。

撮像装置１０２は、例えばＣＣＤ（Charge-Coupled Device）等の撮像素子（カメラ）であってよい。撮像装置１０２は、情報処理装置１０３の制御の下で、商品載置部１０５の載置面に載置された物体等を撮像して、その物体の画像を含む２次元のカラー又はモノクロの撮像画像を生成及び取得する。

情報処理装置１０３は、例えばコンピュータ（計算機）であってよい。情報処理装置１０３は、ＣＰＵ（Central Processing Unit）等の制御装置１１１と、メモリ又はハードディスク等の記憶装置１１２と、ネットワークインタフェースカード等の通信装置１１３と、を有する。図示されていないが、情報処理装置１０３は、コンピュータが一般に有する入出力装置を有してもよい。情報処理装置１０３は、通信装置１１３を介して有線又は無線で接続された照明装置１０１、撮像装置１０２及び表示装置１０４の動作を制御する。

表示装置１０４は、例えばタッチパネル又はＬＣＤ（Liquid Crystal Display）等であってよい。表示装置１０４は、情報処理装置１０３の制御の下で、利用者に情報（精算ボタン、購入商品の明細、合計精算金額等）を表示する。表示装置１０４は、入力装置を有してもよく、必要に応じて利用者の操作を受け付けてもよい。

商品載置部１０５には、利用者が購入する商品を認識するために商品が載置される。商品載置部１０５の載置面には、商品と載置面の区別が容易になるよう白色のプレート等の単純な配色の材料が使用される。商品載置部１０５の側面及び上部には囲いがあってもよく、これにより、環境光の影響を軽減しつつ、上部から照明装置１０１の照射光が商品載置部１０５の載置面に対して照射されてもよい。

情報処理装置１０３（特に、後述する照明調整部２０４）は、本開示に係る照明調整装置の一例である。

なお、商品載置部１０５の前方に立った利用者の影が照明装置１０１の照射光によって撮像装置１０２によって取得される撮像画像に確実に映り込まない限り、照明装置１０１及び撮像装置１０２の位置関係については特に制限はない。

実施の形態１において、１つの情報処理装置１０３と１つの照明装置１０１と１つの撮像装置１０２と１つの表示装置１０４とを一体に構成することによって、セルフレジ端末が実現されてよい。あるいは、１つの情報処理装置１０３が、複数組の照明装置１０１、撮像装置１０２及び表示装置１０４の動作を制御するような構成であってもよい。

図２は、実施の形態１に係る商品認識システム１０の一例を示す機能ブロック図である。

商品認識システム１０は、照明投影部２０１と、画像取得部２０２と、画像記憶部２０３と、照明調整部２０４と、商品認識部２０５と、商品認識モデル記憶部２０６と、学習部２０７と、を備える。

照明投影部２０１は、例えば図１に示した照明装置１０１に相当する。照明投影部２０１は、商品載置部１０５の載置面に対して照明光を照射する。照明投影部２０１は、まず、上述した段階１のデフォルトの強さで照明光を照射する。そして、照明投影部２０１は、以下で説明するように必要に応じて、後述する異常領域の形状及び種類に合わせて、調整された光の強さで照明光を照射する又は照射しない。実施の形態１において、照明投影部２０１は、商品載置部１０５の載置面までの距離に合わせて光を照射すること、すなわち、商品載置部１０５の載置面において所望の明るさになるように光を照射すること、を想定している。

画像取得部２０２は、例えば図１に示した撮像装置１０２に相当する。画像取得部２０２は、商品載置部１０５の載置面に載置された物体等を撮像して撮像画像を生成及び取得する。そして、画像取得部２０２は、取得した撮像画像を画像記憶部２０３に記憶させる。

照明投影部２０１と画像取得部２０２との間では、商品載置部１０５の載置面の座標系、したがって、撮像された撮像画像の位置座標情報が共有される。

照明調整部２０４は、画像取得部２０２が取得した撮像画像中の影領域及び白飛び領域（影領域及び白飛び領域を総称して「異常領域」と呼ぶ；すなわち、異常領域の種類として、影領域及び白飛び領域が挙げられる）のうちの少なくとも一方に基づいて、異常領域の形状及び種類に合わせて、照明投影部２０１の照射光（例えば、その強さ及び形状）を決定及び調整する。ここで、「影領域」とは、撮像画像において、物体や人等が光の進行を遮った結果としてもたらされる暗い領域を指し、「白飛び領域」とは、撮像画像において、白飛びが発生している領域、すなわち、明るい部分の階調が失われ白になっている領域を指す。なお、白飛びは、例えば、明るさが受光素子のダイナミックレンジの上限を超えている場合に、受光素子が明るさの階調を認識できなくなることで発生する。

照明調整部２０４は、領域認識部２１１と、商品検出モデル記憶部２１２と、影強度算出部２１３と、影強度－光強度対応関係記憶部２１４と、白飛び検出部２１５と、白飛び検出モデル記憶部２１６と、を有する。

領域認識部２１１は、学習部２０７が学習させて商品検出モデル記憶部２１２に記憶させた商品検出モデルとエッジ検出とに基づいて、画像記憶部２０３に記憶されている撮像画像中の商品領域を画素ベースで認識する。エッジ検出は、商品の輪郭を検出し、画素ベースで商品領域を認識するために用いられる。領域認識部２１１は、検出したエッジが、商品のエッジであるのか又はノイズ（例えば利用者の手）のエッジであるのかをより正確に判別するために、商品検出モデルとエッジ検出とを組み合わせて商品領域を認識する。

領域認識部２１１はまた、認識された商品領域と背景差分法とに基づいて、画像記憶部２０３に記憶されている撮像画像中の影領域を認識する。具体的には、影領域を認識するために、領域認識部２１１は、まず、例えば記憶装置１１２に記憶されている商品が載置される前の撮像画像（背景画像）と商品が載置された後の撮像画像との輝度の差分を計算し、影領域及び商品領域を検出する。次いで、領域認識部２１１は、検出された影領域及び商品領域から、上述した商品検出により認識された商品領域を除外することによって、影領域を認識する。そして、領域認識部２１１は、認識された影領域の位置座標情報及び商品載置前後の撮像画像間の影領域の差分値を影強度算出部２１３に出力する。なお、本実施の形態では、精算を行おうとしている人の影など、商品が載置された際に一時的に商品の一部を覆う影領域の認識を想定している。そのため、本実施の形態では、影の原因となる物体（上記の例だと清算を行おうしている人）がいない状態で撮影した画像を背景画像として用いる。また、商品が載置される前に実環境で撮影した画像を用いることで、実環境における環境光等に応じた輝度が反映された背景画像を取得できるので、正確に影領域および商品領域が検出できる。

影強度算出部２１３は、領域認識部２１１から入力された商品載置前後の撮像画像間の影領域の差分値に基づいて、影領域の影強度を算出する。影強度は、影の濃さを示す値である。具体的には、影強度算出部２１３は、背景画像と、商品が載置された後の撮像画像との間の影領域の画素ごとの差分値の絶対値の平均値を、影領域の影強度として算出する。

次いで、影強度算出部２１３は、算出した影強度に基づいて、影領域の形状に合わせて照明投影部２０１が照射する光の強さを決定する。具体的には、影強度算出部２１３は、影強度－光強度対応関係記憶部２１４に記憶されている影強度－光強度対応関係データを参照して、影領域の形状に合わせて照明投影部２０１が照射する光の強さを決定する。

ここで、影強度－光強度対応関係データは、影領域の影強度と影領域の形状に合わせて照明投影部２０１が照射する光の強さとの対応関係を示すデータである。例えば、５０以上６０未満である影強度は、上述した段階２の光の強さに対応付けられ、６０以上７０未満である影強度は、上述した段階３の光の強さに対応付けられ、７０以上８０未満である影強度は、上述した段階４の光の強さに対応付けられ、８０以上である影強度は、上述した段階５の光の強さに対応付けられてよい。なお、この影強度と光の強さとの対応関係は、実験により、認識精度へ影響が小さくなるような対応関係を確認して決定されたものであってよい。また、影強度と光の強さとを１対１で対応付けるなど、さらに細かい単位での対応付けを行ってもよい。

そして、影強度算出部２１３は、領域認識部２１１から入力された影領域の位置座標情報と決定した光の強さとを照明投影部２０１に出力する。すなわち、影強度算出部２１３は、商品載置部１０５の載置面のうちの影領域に対応する部分に対して決定した強さで照明投影部２０１が光を照射するように調整する。

このように撮像画像中に影が発生していた場合には、商品載置部１０５の載置面のうちの影領域に対応する部分に対して照射する光をデフォルトの強さよりも強く（明るく）することによって、影領域の影強度が軽減される。その結果、商品認識精度を安定させることが可能である。

白飛び検出部２１５は、学習部２０７が学習させて白飛び検出モデル記憶部２１６に記憶させた白飛び検出モデルに基づいて、画像記憶部２０３に記憶されている撮像画像中の白飛び領域を認識する。次いで、白飛び検出部２１５は、商品載置部１０５の載置面のうちの白飛び領域に対応する部分に対しては光を照射しないこと、すなわち、光の強さを上述した段階０（オフ）にすることを決定する。

そして、白飛び検出部２１５は、白飛び領域の位置座標情報と決定した光の強さ（段階０）とを照明投影部２０１に出力する。すなわち、白飛び検出部２１５は、商品載置部１０５の載置面のうちの白飛び領域に対応する部分に対しては照明投影部２０１が光を照射しないように調整する。

なお、白飛び検出部２１５による白飛び領域の認識は、影強度算出部２１３による影強度に基づく照射光調整後に実行されることが望ましい。なぜならば、影強度算出部２１３による影強度に基づく照射光調整の結果、すなわち、照射光が明るくなった結果、新たな白飛びが発生するおそれがあるからである。

このように撮像画像中に白飛びが発生していた場合には、商品載置部１０５の載置面のうちの白飛び領域に対応する部分に対して照射する光をオフにすることによって、白飛びの原因である反射が抑制される。その結果、商品認識精度を安定させることが可能である。

商品認識部２０５は、学習部２０７が学習させて商品認識モデル記憶部２０６に記憶させた商品認識モデルに基づいて、画像記憶部２０３に記憶されている撮像画像中の商品を認識する。

学習部２０７は、様々な角度で商品載置部１０５の載置面に載置された商品の画像を画像取得部２０２が事前に撮像して生成及び取得した画像にラベル「商品」を付して教師データとして商品検出モデル記憶部２１２に記憶させる。学習部２０７はまた、これらの教師データを用いて商品検出モデルを生成し（学習させ）、生成した商品検出モデルを商品検出モデル記憶部２１２に記憶させる。商品検出モデルは、商品載置部１０５の載置面に載置された物体が商品であることを検出するために用いられる。

学習部２０７は、様々な角度で商品載置部１０５の載置面に載置された商品の画像を画像取得部２０２が事前に撮像して生成及び取得した画像に含まれる白飛びの画像にラベル「白飛び」を付して教師データとして白飛び検出モデル記憶部２１６に記憶させる。学習部２０７はまた、これらの教師データを用いて白飛び検出モデルを生成し（学習させ）、生成した白飛び検出モデルを白飛び検出モデル記憶部２１６に記憶させる。白飛び検出モデルは、撮像画像中に白飛びが存在することを検出するために用いられる。

学習部２０７は、様々な角度で商品載置部１０５の載置面に載置された商品の画像を画像取得部２０２が事前に撮像して生成及び取得した画像に商品名や商品コード等の商品識別情報のラベルを付して教師データとして商品認識モデル記憶部２０６に記憶させる。学習部２０７はまた、これらの教師データを用いて商品認識モデルを生成し（学習させ）、生成した商品認識モデルを商品認識モデル記憶部２０６に記憶させる。商品認識モデルは、商品載置部１０５の載置面に載置された物体がどのような商品であるかを分類するために用いられる。なお、商品認識モデルの生成に使用される商品の画像は、商品検出モデルの生成に使用される商品の画像と同じであってよい。

照明投影部２０１は、本開示に係る照明部の一例である。画像取得部２０２は、本開示に係る取得部の一例である。領域認識部２１１及び白飛び検出部２１５は、本開示に係る認識部の一例である。影強度算出部２１３及び白飛び検出部２１５は、本開示に係る調整部の一例である。

領域認識部２１１、影強度算出部２１３、白飛び検出部２１５、商品認識部２０５及び学習部２０７は、例えば、図１に示した情報処理装置１０３の記憶装置１１２に記憶されているプログラムを情報処理装置１０３の制御装置１１１が実行することによって実現されるソフトウェアモジュールであってよい。

このようなプログラムは、情報処理装置１０３の外部のサーバに存在してもよく、情報処理装置１０３の通信装置１１３を介して、ネットワークを経由して、制御装置１１１によって実行されてもよい。また、このようなプログラムは、メモリ又はハードディスク等といった記憶装置以外に、ＣＤ－ＲＯＭやＤＶＤ等の記憶（記録）媒体に記憶（記録）されてもよい。

画像記憶部２０３、商品検出モデル記憶部２１２、影強度－光強度対応関係記憶部２１４、白飛び検出モデル記憶部２１６及び商品認識モデル記憶部２０６は、例えば、上述したプログラムを情報処理装置１０３の制御装置１１１が実行することによって情報処理装置１０３の記憶装置１１２に形成される記憶領域であってよい。

図３は、デフォルトの照射光を用いて、商品載置部１０５の載置面に載置された物体（商品）を撮像して取得された撮像画像３００の一例を示す図である。ここで、デフォルトの照射光は、上述した段階１の強さで商品載置部１０５の載置面に対して照射される光であってよい。

撮像画像３００中には、商品３０１～３０５、白飛び３０６及び影３０７が存在する。白飛び３０６は、照明の映り込みによる反射に起因するものである。影３０７は、利用者の影の入り込みに起因するものである。このように、商品認識システムによって商品が認識される過程において、撮像画像中に白飛びや影が動的又は局所的に発生し得る。

図４は、図３に示す撮像画像３００中の商品領域の認識を説明するための図である。

領域認識部２１１は、商品検出モデル記憶部２１２に記憶されている商品検出モデルとエッジ検出とに基づいて、撮像画像３００中の商品領域３０１’～３０５’を認識する。商品載置部１０５の載置面には白色のプレート等の単純な配色の材料が使用されるため撮像画像３００中の背景は単純背景であり、商品検出は、商品であるか否かの単一クラス認識であって商品分類に比べて簡易なタスクである。したがって、商品検出に関して、照明変動に頑健な認識が可能である。また、領域認識部２１１は、エッジ検出により商品の輪郭を検出し、画素ベースで商品領域を認識して、商品領域の位置座標情報を取得する。

図５は、図３に示す撮像画像３００中の影領域の認識及び影強度の算出を説明するための図である。

領域認識部２１１は、商品が載置される前の撮像画像（背景画像）と商品が載置された後の撮像画像との輝度の差分を計算し、影領域３０７’及び商品領域３０１’～３０４’を（場合によっては３０５’も）検出する。そして、領域認識部２１１は、検出された影領域３０７’及び商品領域３０１’～３０４’から、前述した商品検出により認識された商品領域３０１’～３０４’を除外することによって、影領域３０７’を認識する。

影強度算出部２１３は、撮像画像中の影領域３０７’と背景画像との画素ごとの差分値の絶対値の平均値を、影領域３０７’の影強度として算出する。そして、影強度算出部２１３は、影強度－光強度対応関係記憶部２１４に記憶されている影強度－光強度対応関係データを参照して、影領域３０７’の形状に合わせて照明投影部２０１が照射する光の強さを決定する。

図６は、図３に示す撮像画像３００中の白飛び領域の認識を説明するための図である。

白飛び検出部２１５は、白飛び検出モデル記憶部２１６に記憶されている白飛び検出モデルに基づいて、撮像画像３００中の白飛び領域３０６’を認識する。白飛び領域は、図示されているように、矩形領域として認識される。これは、学習部２０７が白飛び検出モデルを学習させる際に、矩形領域の画像を教師データとして用いているからである。なお、円形などの他の形状の画像を教師データとして用いて白飛び検出モデルを学習させている場合は、白飛び領域はその形状に合わせた領域として認識される。白飛び検出部２１５は、白飛び領域３０６’を認識すると、白飛び領域３０６’の形状に合わせて光を照射しないこと（上述した段階０の強さ）を決定する。

＜商品認識システムの動作＞
次に、商品認識システム１０の動作について説明する。

図７は、実施の形態１に係る商品認識システム１０の動作の一例を示すフローチャートである。図７に示す動作は、本開示に係る照明調整方法を含み、利用者による商品精算時に商品認識が実行されるタイミングで実行されてよい。図７に示す動作は、例えば、タッチパネルである表示装置１０４に表示された精算ボタンを利用者が押したタイミングで実行されてよい。

ステップＳＴ００１において、画像取得部２０２は、商品載置部１０５の商品が載置された載置面を撮像して撮像画像を取得する。ステップＳＴ００１では、照明投影部２０１は、例えば、上述した段階１のデフォルトの照射光を商品載置部１０５の載置面に対して照射する。

ステップＳＴ００２において、領域認識部２１１は、ステップＳＴ００１において取得された撮像画像中の商品領域及び影領域を認識する。

ステップＳＴ００３において、影強度算出部２１３は、ステップＳＴ００２において認識された影領域の影強度を算出する。

ステップＳＴ００４において、影強度算出部２１３は、ステップＳＴ００３において算出された影強度に基づいて、ステップＳＴ００２において認識された影領域の形状に合わせて照明投影部２０１が照射する光の強さを決定する。すなわち、影強度算出部２１３は、ステップＳＴ００２において認識された影領域の形状に合わせて決定した強さで照明投影部２０１が光を照射するように調整する。

ステップＳＴ００５において、画像取得部２０２は、商品載置部１０５の商品が載置された載置面を撮像して撮像画像を取得する。ステップＳＴ００５では、照明投影部２０１は、ステップＳＴ００４において決定された強さで影領域の形状に合わせて光を照射し、影領域以外の領域に対してはステップＳＴ００１において照射した強さで光を照射する。

ステップＳＴ００６において、白飛び検出部２１５は、ステップＳＴ００５において取得された撮像画像中の白飛び領域を認識する。

ステップＳＴ００７において、白飛び検出部２１５は、ステップＳＴ００６において認識された白飛び領域の形状に合わせて照明投影部２０１が照射する光の強さを、上述した段階０（オフ（ゼロ）にすること）に決定する。

ステップＳＴ００８において、画像取得部２０２は、商品載置部１０５の商品が載置された載置面を撮像して撮像画像を取得する。ステップＳＴ００８では、照明投影部２０１は、ステップＳＴ００４において決定された強さで影領域の形状に合わせて光を照射し、白飛び領域に対しては光を照射せず、影領域及び白飛び領域以外の領域に対してはステップＳＴ００１において照射した強さで光を照射する。

ステップＳＴ００９において、商品認識部２０５は、ステップＳＴ００８において取得された撮像画像中の商品を認識する。

ステップＳＴ００２において影領域が認識されなかった場合、ステップＳＴ００３～ＳＴ００５は実行されず、ステップＳＴ００６の白飛び検出では、ステップＳ００１において取得された撮像画像が用いられる。

ステップＳＴ００６において白飛び領域が認識されなかった場合、ステップＳＴ００７～ＳＴ００８は実行されない。

ステップＳＴ００２において影領域が認識されず、ステップＳＴ００６において白飛び領域が認識されなかった場合、ステップＳＴ００９において、商品認識部２０５は、ステップＳＴ００８において取得される撮像画像の代わりに、ステップＳＴ００１において取得された撮像画像中の商品を認識する。

ステップＳＴ００２において影領域が認識され、ステップＳＴ００６において白飛び領域が認識されなかった場合、ステップＳＴ００９において、商品認識部２０５は、ステップＳＴ００８において取得される撮像画像の代わりに、ステップＳＴ００５において取得された撮像画像中の商品を認識する。

図８は、図３に示す撮像画像３００を用いて、図７のステップＳＴ００４及びＳＴ００７における照射光調整後の照明投影部２０１の出力内容（載置面の明るさ）を説明するための図である。

撮像画像３００中の白飛び領域３０６’及び影領域３０７’以外の領域に対しては、例えば上述した段階１の強さの光が照射され、この領域は、便宜上、グレーで示されている。一方、撮像画像３００中の白飛び領域３０６’に対しては、例えば上述した段階０の強さに対応して光が照射されず、白飛び領域３０６’は、便宜上、グレーよりも暗い黒で示されている。また、撮像画像３００中の影領域３０７’に対しては、例えば上述した段階２の強さの光が照射され、影領域３０７’は、便宜上、グレーよりも明るい白で示されている。

図９は、図７のステップＳＴ００４及びＳＴ００７における照射光調整後に、図７のステップＳＴ００９において、商品載置部１０５の載置面に載置された物体（商品）を撮像して再取得された撮像画像３００’の一例を示す図である。

撮像画像３００’において、元の白飛び３０６は、撮像画像３００に比べて抑制される一方で、元の影３０７は、撮像画像３００に比べて明るくなる。

＜実施の形態１の効果＞
以上説明したように、本開示の実施の形態１に係る照明調整装置は、撮像された画像中の異常領域を認識する認識部と、異常領域の形状及び種類に合わせて照明光の強さを調整する調整部と、を備える。この構成により、照明光を照射する照明部として例えばプロジェクタを使用して、例えば異常領域の一種である影領域を明るくし、例えば異常領域の一種である白飛び領域を暗くする照明調整を行って照明光を照射することで、商品認識精度に対する異常領域の影響を軽減することが可能である。その結果、異常領域の対処が可能な精緻な撮像画像を生成することができ、商品認識精度を安定させることができる。さらに、誤精算の減少等、ユーザビリティを向上させることが可能になる。また、商品認識システム１０の設置時の照明環境の調整が不要になる。

＜変形例＞
実施の形態１において、照明投影部２０１が、商品載置部１０５の載置面までの距離に合わせて光を照射する例について説明したが、本開示は、この例に限定されるものではない。例えば、撮像装置１０２（照明投影部２０１）として３次元カメラを用いて、あるいは、距離センサをさらに設けて、高さのある商品についてはその高さを推定し、そのような商品に対しては照射光の形状を３次元的に補正してもよい。具体的には以下の通りである。

商品にある程度の高さがある場合、商品の天面と照明装置１０１との間の距離が近くなるため、調整された照射光が照射された影領域又は照射光が照射されなかった白飛び領域に対応する部分の画像が予測より小さくなってしまうことがある。

そこで、３次元カメラ又は距離センサは、商品の天面と照明装置１０１との間の距離を計測し、計測した距離を照明調整部２０４（より具体的には影強度算出部２１３及び白飛び検出部２１５の一方又は両方）に出力する。そして、照明調整部２０４は、計測された距離を用いて、各商品の天面の高さにおいて影領域／白飛び領域が正確にカバーされるように、照明光を補正してもよい。商品の高さ情報があれば、３次元座標系での商品の位置及び大きさを把握できるので、照明調整部２０４は、高さのある商品についても、図７のステップＳＴ００４、ＳＴ００７における照射光調整後の照射光に対して、正確な照射位置（範囲）を補正することができる。なお、商品の高さ情報を用いる場合、商品の高さが予め定められた閾値以上である場合に、照明調整部２０４は、上記のように照射光に対して補正してもよい。

一方、極端に高い商品がなければ、照明調整部２０４は、明るくする領域（影領域が認識された場合）／暗くする領域（白飛び領域が認識された場合）を広めに設定することで、ほとんどの商品について影領域／白飛び領域に対処することが可能である。

実施の形態１において、影強度算出部２１３は、背景画像との影領域の画素ごとの差分値の絶対値の平均値を、影領域の影強度として算出する例を説明したが、本開示はこの例に限定されるものではない。

例えば、影領域が所定のブロックよりも大きい場合、影強度算出部２１３は、影領域をより小さい所定のブロックに分割し、分割したブロックごとに画素ごとの差分値の絶対値の平均値を算出してもよい。そして、影強度算出部２１３は、分割したブロックごとに光の強さを決定してもよい。なお、ブロックの形状は、一例として矩形であるが、三角形など他の形状であってもよい。

また、互いに分離した複数の影領域が存在する場合には、影強度算出部２１３は、影領域ごとに影強度を算出し、影領域ごとに光の強さを決定してもよい。ここで、互いに分離した複数の影領域は、例えば、複数の人物が同時に精算台の前に立っていたり、精算台の近傍に人物以外の物体が存在したりする場合に発生する。なお、この場合も、各影領域が所定のブロックよりも大きい場合は、更に分割したブロックごとに影強度を算出し、光の強さを決定してもよい。

また、影領域の影強度にムラがある場合、影強度算出部２１３は、ムラに合わせて、光の強さを変えてもよい。

同様に、白飛び領域にムラがある場合、白飛び検出部２１５は、ムラに合わせて、光の強さを変えてもよい。この場合、例えば、上述した段階０と段階１との間に、１つ以上の段階が設定されてよい。

実施の形態１において、照明調整部２０４は、影領域及び白飛び領域の両方に対処する例が説明されたが、本開示はこの例に限定されるものでない。

例えば、照明調整部２０４は、影領域及び白飛び領域のうちの一方だけに対処してもよい。すなわち、白飛び検出部２１５及び白飛び検出モデル記憶部２１６が存在せず、領域認識部２１１、商品検出モデル記憶部２１２、影強度算出部２１３及び影強度－光強度対応関係記憶部２１４だけが存在してもよい。あるいは、領域認識部２１１、商品検出モデル記憶部２１２、影強度算出部２１３及び影強度－光強度対応関係記憶部２１４が存在せず、白飛び検出部２１５及び白飛び検出モデル記憶部２１６だけが存在してもよい。

実施の形態１において、影領域及び白飛び領域のうちの少なくとも一方が認識された場合、影領域及び白飛び領域のうちのその少なくとも一方に対処する例が説明された。しかしながら、例えば、影領域及び白飛び領域のうちの少なくとも一方が十分に小さければ（例えば、予め定められた面積未満である場合）、照明調整部２０４は、影領域及び白飛び領域のうちのその少なくとも一方として認識せずにその少なくとも一方に対処しなくてもよい。換言すれば、影領域及び白飛び領域のうちの少なくとも一方が予め定められた面積以上である場合、照明調整部２０４は、上述したように、影領域及び白飛び領域のうちのその少なくとも一方として認識してその少なくとも一方に対処してもよい。なぜならば、影領域及び白飛び領域のうちの少なくとも一方が十分に小さければ、商品認識精度への影響は小さいと考えられるからである。

実施の形態１では、光の強度の調整を例として説明したが、更に光の色を調整してもよい。例えば、載置台の周辺に特殊な色の光源が配置されている場合には、その色が商品の本来の色と混ざり、別の色に見えてしまう結果、認識精度が低下することがある。このような場合、照明調整部２０４は、その色を打ち消すような色の光をプロジェクタである照明装置から照射するように指示することで、認識精度を向上させることができる。認識精度に影響し得る色は、例えば、事前に記録しておいた理想的な環境における載置台の色（一例として白）と、撮像画像中における載置台の色との差分から特定することができる。また、商品色を打ち消すような色は、認識精度に影響し得るに合成すると白色になるような色を計算することで決定することができる。

実施の形態１において、商品載置部１０５の載置台の色は、一例として単純な配色の材料を用いていたが、載置面の色または模様が可変であってもよい。このような載置面は、例えば、載置面を液晶ディスプレイ等で構成したり、載置面をスクリーンとして載置面の背後から別のプロジェクタ等で投影したりすることで実現できる。なお、この場合、商品認識システム１０は、載置面に採用されている画像のデータを取得することで、商品が載置される前の載置面に対応する画像を取得することができる。そして、この色または模様を背景画像として使用することで、実施の形態１と同様に異常領域に合わせて照明光を調整できる。

実施の形態１において、商品認識システム１０は、まず、デフォルトの強さで照明光を照射していた。しかし、別途設置した照度センサ等により商品載置部１０５の載置台が十分に明るいことが検知できた場合は、この処理は省略してもよい。この場合、照明光を現状より暗くする制御ができないため、白飛び領域に関する処理は省略してもよい。

実施の形態１において、白飛び領域に対しては、光の強さを段階０（オフ）にすることを決定していたが、デフォルトと段階０との間に複数の段階がある場合には、デフォルト未満、かつ、段階０（オフ）より強い光を採用してもよい。白飛び領域と影領域とが混在している場合に、段階０（オフ）では影領域が暗くなり過ぎないよう制御することができる。また、白飛び領域に含まれている影領域の割合等に応じて、光の強さを段階０（オフ）とするかより強い強度にするかを決定してもよい。白飛びの発生の有無は被写体の反射率と材質によって影響されるため、デフォルトの強さの光で白飛びが発生している領域では、光をオフにしない限り白飛びは発生し得る（ただし、光が弱ければ白飛びの面積は小さくなる可能性がある）。そのため、白飛び領域に、影領域が含まれていないか影領域の割合が小さいなど、白飛びの解消を主目的とすることができる状態であれば、デフォルトの光の強さと段階０までとの間の段階の数にかかわらず、白飛び領域に対する光の強さは段階０（オフ）にすることが有用である。

実施の形態１において、背景画像は理想的な環境において予め撮影した載置台の画像であってもよい。載置台に発生する影は、人物の影のような一時的な影と、周辺の物体（棚や柱など）による恒常的な影とが存在する。そのため、商品が載置される前の撮像画像を背景画像として用いると、一時的な影がない背景画像を取得することはできても、恒常的な影を排除できない。そのため、背景画像との差分により影領域を特定する手法では、恒常的な影に対応する部分は影領域して検出されないおそれがある。一方、理想的な環境において予め撮影した載置台の画像を背景画像として用いれば、恒常的な影がない画像を背景画像として用いることができるので、恒常的な影も含めて影領域として認識し、対応することが可能となる。

実施の形態１において、影領域及び白飛び領域に対する、プロジェクタである照明装置が照射する光の調整の例が説明されたが、本開示はこの例に限定されるものでない。

例えば、プロジェクタの代わりに、影領域及び白飛び領域に対して、単色の照明装置の調光で対処してもよい。この場合、プロジェクタが不要になるので、安価に実現可能である。この場合、照明装置は、影が暗いほど（影強度が強いほど）明るくなるように調光し、白飛びが広いほど暗くなるように調光すればよい。

上述の実施の形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路（circuitry）」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。

以上、図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例又は修正例に想到し得ることは明らかである。そのような変更例又は修正例についても、本開示の技術的範囲に属するものと了解される。また、本開示の趣旨を逸脱しない範囲において、実施の形態における各構成要素は任意に組み合わされてよい。

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。

上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示の一実施例は、商品認識装置として有用である。

１０・・・商品認識システム、１０１・・・照明装置、１０２・・・撮像装置、１０３・・・情報処理装置、１０４・・・表示装置、１０５・・・商品載置部、１０６・・・商品、１１１・・・制御装置、１１２・・・記憶装置、１１３・・・通信装置、２０１・・・照明投影部、２０２・・・画像取得部、２０３・・・画像記憶部、２０４・・・照明調整部、２０５・・・商品認識部、２０６・・・商品認識モデル記憶部、２０７・・・学習部、２１１・・・領域認識部、２１２・・・商品検出モデル記憶部、２１３・・・影強度算出部、２１４・・・影強度－光強度対応関係記憶部、２１５・・・白飛び検出部、２１６・・・白飛び検出モデル記憶部、３００・・・撮像画像、３０１～３０５・・・商品、３０６・・・白飛び、３０７・・・影、３０１’～３０５’・・・商品領域、３０６’・・・白飛び領域、３０７’・・・影領域、３００’・・・撮像画像

Claims (11)

1. 撮像された画像から商品の商品領域を認識し、撮像された画像と背景画像との差分から、前記認識した商品領域を除外することにより、撮像された画像中の影領域を認識する認識部と、
   前記影領域が認識された場合、照明光の強さを、前記撮像された画像を取得するのに照射された照明光の強さよりも強くなるように調整する調整部と、
   を備える照明調整装置。
2. 前記認識部は、
   前記商品を検出するための商品検出モデルとエッジ検出とに基づいて、前記商品の商品領域を認識する、
   請求項１に記載の照明調整装置。
3. 前記影領域が認識された場合、前記調整部は、前記影領域の影強度を算出し、前記影領域の影強度に基づいて前記照明光の強さを決定する、
   請求項１又は請求項２に記載の照明調整装置。
4. 前記認識部は、前記影領域及び白飛び領域のうちの少なくとも一方を含む異常領域を認識し、
   前記調整部は、前記異常領域の形状及び種類に合わせて前記照明光の強さを調整する、
   請求項１に記載の照明調整装置。
5. 前記白飛び領域が認識された場合、前記調整部は、前記照明光の強さを、前記撮像された画像を取得するのに照射された照明光の強さよりも弱くなるように調整する、
   請求項４に記載の照明調整装置。
6. 前記影領域及び前記白飛び領域が認識された場合、前記調整部は、前記照明光の強さを、前記撮像された画像を取得するのに照射された照明光の強さよりも強くなるように調整した後、前記照明光の強さを、前記撮像された画像を取得するのに照射された照明光の強さよりも弱くなるように調整する、
   請求項５に記載の照明調整装置。
7. 前記認識部は、前記異常領域が予め定められた面積以上である場合に、前記異常領域を認識する、
   請求項４乃至６のうちいずれか１項に記載の照明調整装置。
8. 前記調整部は、
   商品の高さに基づいて、前記異常領域の形状及び種類に合わせた前記強さで照射する前記照明光の照射範囲を補正する、
   請求項４乃至７のうちいずれか１項に記載の照明調整装置。
9. 撮像された画像から商品の商品領域を認識し、撮像された画像と背景画像との差分から、前記認識した商品領域を除外することにより、撮像された画像中の影領域を認識し、
   前記影領域が認識された場合、照明光の強さを、前記撮像された画像を取得するのに照射された照明光の強さよりも強くなるように調整する、
   照明調整方法。
10. 商品が載置された所定の領域に対して照明光を照射する照明部と、
    前記照明光が照射された前記所定の領域の画像を撮像して取得する取得部と、
    撮像された画像から商品の商品領域を認識し、撮像された画像と背景画像との差分から、前記認識した商品領域を除外することにより、前記撮像されて取得された画像中の影領域を認識し、
    前記影領域が認識された場合、照明光の強さを、前記撮像された画像を取得するのに照射された照明光の強さよりも強くなるように調整する、
    照明調整装置と、
    を備え、
    前記取得部は、前記照明部が前記調整された強さで前記照明光を照射した又は照射しなかった前記所定の領域の画像を再撮像して再取得し、
    前記照明調整装置は、前記再撮像されて再取得された画像中の前記商品を認識する、
    商品認識システム。
11. 前記照明調整装置は、前記影領域及び白飛び領域のうちの少なくとも一方を含む異常領域を認識し、前記異常領域の形状及び種類に合わせて前記照明光の強さを調整し、
    前記商品の高さに基づいて、前記異常領域の形状及び種類に合わせた前記強さで照射する前記照明光に対して照射範囲を補正する、
    請求項１０に記載に商品認識システム。

Images