JP6982259B2 - Information processing equipment, information processing methods, programs - Google Patents
Information processing equipment, information processing methods, programs Download PDFInfo
- Publication number
- JP6982259B2 JP6982259B2 JP2019170937A JP2019170937A JP6982259B2 JP 6982259 B2 JP6982259 B2 JP 6982259B2 JP 2019170937 A JP2019170937 A JP 2019170937A JP 2019170937 A JP2019170937 A JP 2019170937A JP 6982259 B2 JP6982259 B2 JP 6982259B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- product
- information processing
- image
- entry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、撮像部により棚の在庫を管理する情報処理装置、情報処理方法、及びプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program for managing the inventory of shelves by an imaging unit.
近年、小売、物流などのロジスティック業界において、人材不足や物流効率化の観点で、これまで以上に精緻かつ効率的な在庫管理が求められている。特に商品在庫を保管している棚においては現状の在庫数のカウントは現在も人手中心で行われている。 In recent years, in the logistic industry such as retail and logistics, more precise and efficient inventory management is required from the viewpoint of human resources shortage and logistics efficiency. Especially on the shelves that store product inventories, the current number of inventories is still counted manually.
こうした課題を解決する手段として、ＲＦＩＤが知られている。ＲＦＩＤは商品在庫一つずつにＲＦタグと呼ばれるＩＣチップを取り付け、無線通信により商品在庫をカウントする仕組みである。 RFID is known as a means for solving such problems. RFID is a mechanism in which an IC chip called an RF tag is attached to each product inventory and the product inventory is counted by wireless communication.
しかし実際の運用においては、商品一つずつにＲＦタグを取り付けるための物理コストや人的コストが発生し、大抵の小売・物流現場において運用に見合うだけのコストパフォーマンスを得られないというのが現状である。 However, in actual operation, physical costs and human costs for attaching RF tags to each product are incurred, and the current situation is that most retail and distribution sites cannot obtain cost performance commensurate with the operation. Is.
また棚に重量センサを取り付けて商品数をカウントする技術も知られている。しかしながら棚一つずつに重量センサを取り付けるコストが見合わないことや、商品による重さのばらつきにより正確な在庫数がカウントできないという問題がある。 A technique of attaching a weight sensor to a shelf to count the number of products is also known. However, there are problems that the cost of installing the weight sensor on each shelf is not worth it and that the number of stocks cannot be accurately counted due to the variation in weight depending on the product.
こうした中、コンピュータビジョン（画像処理）技術を使って棚の在庫管理を行う技術が考案されている。特許文献１には、材料取扱施設を有する在庫場所における物品の除去または配置を追跡するシステムが開示されている。
Under these circumstances, a technology for managing the inventory of shelves using computer vision (image processing) technology has been devised.
特許文献１には、顧客が商品棚から商品を取る際の画像から顧客の手の位置を検出することでどの商品が棚から取られたかを判断する技術が記載されている。
しかしながら、上記の技術の場合、在庫場所を撮像する撮像装置かあるいは在庫状況を検出する存在検出装置が必要になる。また、各棚の一段毎に撮像装置か存在検出装置を配置しなければならないため、コストが高くなってしまう課題がある。 However, in the case of the above technique, an image pickup device that images the inventory location or an existence detection device that detects the inventory status is required. Further, since the image pickup device or the presence detection device must be arranged for each stage of each shelf, there is a problem that the cost becomes high.
また、在庫管理するためには物品の種類を特定する必要があるが、取得した画像から毎回物品の種類を特定すると、処理が遅延しフレームレートを低下させてしまう。そのため、物品の検出タイミングが遅れ、物品の追跡が難しいという課題がある。 Further, in order to manage the inventory, it is necessary to specify the type of the article, but if the type of the article is specified every time from the acquired image, the processing is delayed and the frame rate is lowered. Therefore, there is a problem that the detection timing of the article is delayed and it is difficult to track the article.
そこで、本発明の目的は、棚からの物品の出入りによる物品の特定を効率化することを目的とする。 Therefore, an object of the present invention is to improve the efficiency of specifying an article by moving the article in and out of the shelf.
上記の目的を達成するために本発明は、物品の出入りを撮像する撮像部と通信可能な情報処理装置であって、前記撮像部で撮像された所定の領域を通過するまでに得られた複数の物品の画像を取得する画像取得手段と、前記物品が所定の領域を通過するまでは前記物品を特定するための画像解析をすることなく、前記物品が所定の領域を通過した場合に、前記画像取得手段により時系列に取得される物品の複数の画像をまとめて前記画像解析をすることにより前記物品を特定する物品特定手段と、前記物品特定手段により特定された物品の出入りにより前記物品の出入りを報知する物品出入報知手段とを有することを特徴とする。 In order to achieve the above object, the present invention is an information processing apparatus capable of communicating with an image pickup unit that captures an image of the entry and exit of an article, and a plurality of obtained images obtained by passing through a predetermined region imaged by the image pickup unit. When the article passes through a predetermined area without performing image analysis for identifying the article until the article passes through a predetermined area with an image acquisition means for acquiring an image of the article. An article specifying means that identifies the article by collectively performing the image analysis of a plurality of images of the articles acquired by the image acquiring means in time series, and an article specifying means by entering and exiting the article specified by the article specifying means. It is characterized by having an article entry / exit notification means for notifying entry / exit.
本発明によれば、棚からの物品の出入りによる物品の特定を効率化するという効果を奏する。 According to the present invention, there is an effect of improving the efficiency of identifying an article by moving the article in and out of the shelf.
＜第１の実施形態＞
以下、図面を参照して、本発明の実施形態について説明する。
<First Embodiment>
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明の実施形態に係る在庫管理システムの概略を示す構成図である。 FIG. 1 is a block diagram showing an outline of an inventory management system according to an embodiment of the present invention.
在庫監視システム１０５は、ネットワークカメラ１０１とカメラで撮像した画像を処理する情報処理装置１０２が接続されており、ネットワークカメラ１０１は商品棚１０３の取り出し口を上から下へ向かって撮像する。商品棚１０３には商品１０４が陳列されている。なお、ネットワークカメラ１０１は取り出し口を上から下へ向かって撮像する例で記載しているが、取り出し口を横から撮像してもよいし、斜め上から撮像してもよい。本実施形態では、取り出し口を上から下へ向かって撮像する例で説明する。
The
在庫監視システム１０５により監視された商品の状況は、ネットワーク１０６を介して、たとえばクラウド上の在庫管理サーバ１０７で計数され、在庫状況をユーザに提供する。なお、図１では、在庫管理サーバ１０７を情報処理装置１０２と別筐体で説明しているが、それぞれを１つの筐体としてもよい。すなわち、情報処理装置１０２内に在庫管理サーバ１０７の機能を備えていてもよく、また、在庫管理サーバ１０７に情報処理装置１０２の有する撮像画像を処理する機能を有していてもよい。
The status of the goods monitored by the
情報処理装置１０２は、図１のように１台のネットワークカメラ１０１から情報を取得して在庫管理サーバ１０７に送信してもよいし、複数台のネットワークカメラ１０１に接続され複数のネットワークカメラ１０１の情報を収集して在庫管理サーバ１０７に送信してもよい。
As shown in FIG. 1, the
次に図２を用いて、情報処理装置１０２のハードウェアの概略構成を説明する。
Next, the schematic configuration of the hardware of the
図２は、本発明の実施形態に係る情報処理装置１０２、各種サーバのハードウェアの構成を示す構成図である。
FIG. 2 is a configuration diagram showing the hardware configurations of the
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
The
また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、画像処理サーバ１０８の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
Further, the
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
The
また、入力コントローラ（入力Ｃ）２０５は、入力部２０９としてのキーボードや不図示のマウス等のポインティングデバイスからの入力を制御する。
Further, the input controller (input C) 205 controls an input from a pointing device such as a keyboard as an
ビデオコントローラ（ＶＣ）２０６は、表示部２１０としてのＣＲＴディスプレイ（ＣＲＴ）等の表示器への表示を制御する。表示器はＣＲＴだけでなく、液晶ディスプレイでも構わない。これらは必要に応じて管理者が使用するものである。本発明には直接関係があるものではない。
The video controller (VC) 206 controls the display on a display such as a CRT display (CRT) as the
メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフロッピーディスク（登録商標 ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
The memory controller (MC) 207 is a hard disk (HD), a floppy disk (registered trademark FD), or a PCMCIA card slot for storing boot programs, browser software, various applications, font data, user files, editing files, various data, and the like. It controls access to an
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、ネットワークカメラ１０１とネットワークを介して接続できる通信Ｉ／Ｆコントローラの機能をも有する。
The communication I / F controller (communication I / FC) 208 connects and communicates with an external device via a network, and executes communication control processing on the network. For example, Internet communication using TCP / IP is possible. It also has the function of a communication I / F controller that can be connected to the
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、表示部２１０上での表示を可能としている。また、ＣＰＵ２０１は、表示部２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
本発明を実現するためのプログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイル及び各種情報テーブルは、外部メモリ２１１に格納されており、これらについての詳細な説明は後述する。
The program for realizing the present invention is recorded in the
次に図３を用いて、ネットワークカメラ１０１のハードウェアの概略構成を説明する。
Next, the schematic configuration of the hardware of the
図３は、ネットワークカメラ１０１のハードウェアの構成を示す構成図である。
FIG. 3 is a configuration diagram showing the hardware configuration of the
ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。
The
また、ＲＯＭ３０２には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、情報処理装置１０２に送信するデータを生成する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。
Further, the
ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。
The
ＲＧＢカメラ部３０７は、画像処理部３０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号を画像処理部３０８に対して出力する。
The
画像処理部３０８は、ＲＧＢ信号や捕色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成し、ＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像データとしてＲＡＭ３０３へ一時保管される。
The
ＴＯＦセンサ３０５は、ＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）方式で対象物までの距離を測定するイメージセンサであり、光（赤外線レーザーまたはＬＥＤ）が被写体で反射してセンサに戻るのに要する時間を深度計測部３０６とともに測定することによって、被写体の距離を計測する。なお、商品の深度を測定する手段としては、ＲＧＢカメラ３０７を二台構成しステレオカメラによって深度を測定してもよいし、画像処理や深層学習を用いた二次元画像解析結果から深度を推定する方式をとっても良い。
The
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、ＲＡＭ３０３に記憶された画像データは、通信Ｉ／Ｆコントローラ３０９によって外部機器である情報処理装置１０２へ送信される。
The communication I / F controller (communication I / FC) 309 connects and communicates with an external device via a network, executes communication control processing on the network, and stores image data in the
次に、図４〜図７を参照して、本願発明の第１の実施形態の在庫管理処理の流れを説明する。 Next, with reference to FIGS. 4 to 7, the flow of the inventory management process according to the first embodiment of the present invention will be described.
図４は、本発明の実施形態に係る情報処理装置１０２における在庫管理を行う処理概要を示すフローチャートであり、図中のＳ４０１〜Ｓ４０７は各ステップを示す。各ステップの処理は、情報処理装置１０２の外部メモリ２１１に格納されたアプリケーションプログラムを、それぞれのシステムのＣＰＵ２０１がＲＡＭ２０３上にロードして実行することにより実現される。
FIG. 4 is a flowchart showing an outline of processing for inventory management in the
図４のフローチャートは、ネットワークカメラ１０１と情報処理装置１０２が起動されると開始される処理の流れである。なお、以後のフローチャートにおいて、情報処理装置１０２は、ネットワークカメラ１０１からネットワークを通じて随時データを取得することができるものとする。
The flowchart of FIG. 4 is a flow of processing started when the
図４のフローチャートの処理に入る前に、まず情報処理装置１０２のＣＰＵ２０１は、ネットワークカメラ１０１のＲＧＢカメラ３０７により得られる商品棚の取り出し口部分の撮像画像を取得する。
Before starting the processing of the flowchart of FIG. 4, first, the
次に、ステップＳ４０１において、情報処理装置１０２のＣＰＵ２０１は、取得した撮像画像を元に、商品棚のレーンに合わせた仮想グリッドが設定される。図８、図１７、図１８を参照して、仮想グリッド設定の一例を説明する。
Next, in step S401, the
図８は、本発明の実施形態における商品棚と商品を取り出す領域（仮想グリッド領域）のイメージを説明する模式図である。 FIG. 8 is a schematic diagram illustrating an image of a product shelf and a region (virtual grid region) from which products are taken out according to the embodiment of the present invention.
図８の１０３が商品棚、１０４が商品の例であり、撮像範囲である４０４が、商品取り出し口に該当する。以後の図８〜図１７は、商品棚からの取り出し口を上方から撮像しているイメージで説明するが、商品棚からの取り出し口を横から撮像しているイメージでも構わない。その場合、後述する図１８は、商品の座標と深度が入れ替わることになる。 103 in FIG. 8 is an example of a product, 104 is an example of a product, and 404, which is an imaging range, corresponds to a product outlet. Hereinafter, FIGS. 8 to 17 will be described with an image in which the outlet from the product shelf is imaged from above, but an image in which the outlet from the product shelf is imaged from the side may be used. In that case, in FIG. 18, which will be described later, the coordinates and the depth of the product are interchanged.
図８の商品棚１０３には商品毎に配置されているレーン４１０があり、そのレーンの境となる位置４０５や４０６が存在する。
The
境の位置４０５や４０６を撮像範囲４０４に延長した境目を４０７、４０８と設定し、それぞれを区切る仮想グリッド４０１が撮像範囲４０４に作成される。すなわち、各商品棚のレーン毎に取り出しレーンとして、仮想グリッドを設定している。
これらの処理を複数段の棚に対して行った結果が図１７である。 FIG. 17 shows the result of performing these processes on a plurality of shelves.
図１７は、本発明の実施形態における高さ方向がある商品棚と商品を取り出す領域（仮想グリッド領域）のイメージを説明する模式図である。 FIG. 17 is a schematic diagram illustrating an image of a product shelf having a height direction and a region for taking out products (virtual grid region) in the embodiment of the present invention.
図１７の商品棚１０３は複数段から構成されており、図１７では３段の棚が存在する例である。
The
図１７の３段の棚の仮想グリッドは、段数によって異なり、一段目の商品のレーンの境は１２０４、二段目のレーンの境は１２０５、三段目のレーンの境は１２０６である。それぞれの段での仮想グリッドの境は、一段目のそれが１２０７、二段目のそれが１２０８、三段目のそれが１２０９と設定されている。 The virtual grid of the three shelves in FIG. 17 differs depending on the number of stages, and the boundary of the lanes of the first stage product is 1204, the boundary of the second stage lane is 1205, and the boundary of the third stage lane is 1206. The boundaries of the virtual grid at each stage are set to 1207 for the first stage, 1208 for the second stage, and 1209 for the third stage.
図１７のように３段の棚の仮想グリッドを設定し、それぞれの棚の位置を関係づけたデータを図１８を参照して説明する。 As shown in FIG. 17, a virtual grid of three shelves is set, and data relating to the positions of the shelves will be described with reference to FIG.
図１８は、本発明の実施形態における情報処理装置が有する、商品の検出される仮想グリッドの座標と深度との関係から出入りする棚を特定するためのデータの一例である。 FIG. 18 is an example of data for identifying a shelf that enters and exits from the relationship between the coordinates and the depth of the virtual grid in which the product is detected, which is possessed by the information processing apparatus according to the embodiment of the present invention.
図１８の１８００は深度計測部３０６から得られる深度１８０１とＲＧＢカメラにより取得する商品位置の座標１８０２から、出入りする商品棚の位置を特定するデータであり、たとえば、深度が２０ｃｍの高さで出入りした商品でグリッド座標（図１７の左右方向の座標で、中心を原点としている）が７０の位置だった場合、一段目のグリッドＣ（すなわちグリッドＣ−１）から出入りしたと判断する。また、深度が８０ｃｍの高さで出入りした商品でグリッド座標が−６０の位置であった場合、三段目のグリッドＡ（すなわちグリッドＡ−３）から出入りしたと判断する。なお、出入りの向きに関しては次のステップＳ４０２で後述する。
1800 in FIG. 18 is data for specifying the position of the product shelf entering and exiting from the
図１８のように、商品の出入りする棚の位置を記憶するテーブルを有している。このテーブルはユーザにより手動で入力されてもよいし、ステップＳ４０１の処理の前に撮像された画像の商品棚の境（仕切り）などから自動的に設定されても良い。図４のフローチャートの説明に戻る。 As shown in FIG. 18, it has a table for storing the positions of shelves in which products enter and exit. This table may be manually input by the user, or may be automatically set from the boundary (partition) of the product shelf of the image captured before the process of step S401. Returning to the description of the flowchart of FIG.
次の図４のステップＳ４０２において、情報処理装置１０２のＣＰＵ２０１は、仮想グリッド内を移動する商品の向きから、商品が取り出されている方向を設定する。図８を参照して説明する。
In step S402 of FIG. 4 below, the
図８において、商品棚１０３の位置が図面の下にあり、取り出し口側（仮想グリッド側）４０４は図面の上側にあるので、商品の取り出し方向は座標軸４２０のＹ軸方向に＋向きである４０２のように上向き方向と設定される。この取り出し方向の設定は、ユーザが手動で設定してもよく、また撮像画面上（図８）での商品棚１０３の位置を指定することで設定されても良い。図４のフローチャートの説明に戻る。
In FIG. 8, since the position of the
次に、図４のステップＳ４０３において、情報処理装置１０２のＣＰＵ２０１は、ステップＳ４０１により設定された仮想グリッドに対応する商品棚のレーンの在庫数の入力を受け付ける。図８と図１９を参照して説明する。
Next, in step S403 of FIG. 4, the
図８の仮想グリッドが設定されている場合の各仮想グリッドに対応する商品棚のレーンの在庫がたとえば、グリッドＡが１０個（４１１）、グリッドＢが５個（４１２）、グリッドＣが１個（４１３）であった場合、ユーザは情報処理装置１０２の入力部２０９から在庫数を入力してそれぞれのレーンの在庫数を設定する。設定された在庫数を記憶するデータの例を図１９を参照して説明する。
When the virtual grid of FIG. 8 is set, the inventory of the lanes of the product shelves corresponding to each virtual grid is, for example, 10 grid A (411), 5 grid B (412), and 1 grid C. In the case of (413), the user inputs the inventory quantity from the
図１９は、本発明の実施形態における商品棚の在庫数を記憶するデータテーブルの一例である。 FIG. 19 is an example of a data table for storing the number of stocks of product shelves in the embodiment of the present invention.
図１９のテーブルには、図８の一段目における在庫数が設定されており、それぞれグリッドＡに１０個、グリッドＢに５個、グリッドＣに１個というデータが登録されている。なお、図１９のテーブルは情報処理装置１０２で記憶していてもよいし、在庫管理サーバ１０７で記憶していても良い。図４のフローチャートの説明に戻る。
In the table of FIG. 19, the number of stocks in the first stage of FIG. 8 is set, and data of 10 pieces in grid A, 5 pieces in grid B, and 1 piece in grid C are registered, respectively. The table of FIG. 19 may be stored in the
次の図４のステップＳ４０４において、情報処理装置１０２のＣＰＵ２０１は、ネットワークカメラ１０１に撮像（画像キャプチャ）を開始する命令を送信して、撮像を開始する。
In step S404 of FIG. 4 below, the
次のステップＳ４０５において、情報処理装置１０２のＣＰＵ２０１は、撮像された仮想グリッド４０１内で商品を検出したかを判定する。商品の検出は、たとえば図８のようにネットワークカメラを上部に取り付けている場合は、予め記憶されている商品の上からの形状を記憶しておき、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）アルゴリズムによる画像マッチングで検出してもよい。また、予め商品の上からの様々な画像を学習データとして登録して機械学習させ、画像認識ＡＩを使って商品を検出しても良い。
In the next step S405, the
ステップＳ４０５において、商品を検出した場合は、ステップＳ４０６へと処理を移行し、商品を検出しない場合はステップＳ４０７へと処理を移行する。 If a product is detected in step S405, the process proceeds to step S406, and if no product is detected, the process proceeds to step S407.
ステップＳ４０６へと処理を移行すると、情報処理装置１０２のＣＰＵ２０１は、ステップＳ４０５で検出した商品の在庫状況を把握するための商品追従処理を行う。ステップＳ４０６の処理内容を図５を参照して説明する。
When the process shifts to step S406, the
図５は、本発明の実施形態に係る情報処理装置１０２における商品在庫追従の処理概要を示すフローチャートであり、図中のＳ５０１〜Ｓ５１４は各ステップを示す。各ステップの処理は、情報処理装置１０２の外部メモリ２１１に格納されたアプリケーションプログラムを、それぞれのシステムのＣＰＵ２０１がＲＡＭ２０３上にロードして実行することにより実現される。
FIG. 5 is a flowchart showing an outline of the product inventory tracking process in the
図５のフローチャートは、図４のフローチャートのステップＳ４０６へと遷移した際に開始される処理の流れである。 The flowchart of FIG. 5 is a flow of processing started when the transition to step S406 of the flowchart of FIG. 4 is performed.
まず、図５のステップＳ５０１において、情報処理装置１０２のＣＰＵ２０１は、ネットワークカメラ１０１から取得した撮像画像（キャプチャ）から、検出された商品の場所（座標）を取得し、開始座標として記憶する。具体的な商品イメージを参照した説明は図９〜図１４で後述する。
First, in step S501 of FIG. 5, the
次に、ステップＳ５０２において、情報処理装置１０２のＣＰＵ２０１は、ネットワークカメラ１０１が備えるＴＯＦセンサ３０５により、検出された商品の高さ（深度）を取得し、開始深度として記憶する。
Next, in step S502, the
次に、ステップＳ５０３において、情報処理装置１０２のＣＰＵ２０１は、ネットワークカメラ１０１から次の撮像画像（キャプチャ）を取得する。
Next, in step S503, the
次に、ステップＳ５０４において、情報処理装置１０２のＣＰＵ２０１は、ステップＳ５０３において撮像された仮想グリッド４０１内で前回と同じ種類の商品を検出したかどうかを判断する。同じ種類の商品を検出した場合はステップＳ５０５に遷移し、同じ種類の商品を検出しない場合はステップＳ５０９へと処理を遷移する。なお、ステップＳ５０３で撮像された仮想グリッド４０１内で前回と異なる種類の商品を検出した場合（図１５のような場合）は、異なる種類の商品について、図５のフローチャートをステップＳ５０１から実施する。
Next, in step S504, the
ステップＳ５０５の処理へ遷移した場合、情報処理装置１０２のＣＰＵ２０１は、ステップＳ５０３で撮像された撮像画像（キャプチャ）から、検出された商品の場所（座標）を取得し、現在座標として記憶する。また、１回前に取得した現在座標と商品の種類も「１つ前に取得した現在座標」と前回の商品の種類として記憶しておく。
When the process transitions to the process of step S505, the
次に、ステップＳ５０６において、情報処理装置１０２のＣＰＵ２０１は、ステップＳ５０３で撮像された際に検出した商品の高さ（深度）を取得し、現在深度として記憶する。
Next, in step S506, the
次に、ステップＳ５０７において、情報処理装置１０２のＣＰＵ２０１は、「１つ前に取得した現在座標」と、ステップＳ５０５で新たに取得した現在座標との距離を比較し、距離が所定の閾値以上の商品しかない場合、ステップＳ５１０に遷移する。一方、「１つ前に取得した現在座標」とステップＳ５０５で新たに取得した現在座標との距離が閾値以内にある商品があれば、ステップＳ５０８へと処理を遷移する。具体的な例は、図１６を参照して後述する。
Next, in step S507, the
ステップＳ５０７の判断分岐は、同じ種類の商品が仮想グリッド４０１内に同時に複数個入ってきた場合に発生する判断分岐であり、２つの距離が閾値以上とは、すなわちそれぞれの個体が別のものであると判断された場合を意味する。２つの距離が閾値以内であれば、「１つ前に取得した現在座標」の商品と新たにステップＳ５０５で検出した商品は同じ個体として認識する（ステップＳ５０８の処理）。
The judgment branch in step S507 is a judgment branch that occurs when a plurality of products of the same type enter the
ステップＳ５０８の処理の後はステップＳ５０３へと処理を戻し、仮想グリッド４０１内の撮像画像を取得する処理から繰り返す。
After the process of step S508, the process returns to step S503, and the process of acquiring the captured image in the
一方、ステップＳ５０４において、仮想グリッド４０１内で前回と同じ種類の商品を検出しない場合はステップＳ５０９へと処理を遷移する。
On the other hand, in step S504, if the same type of product as the previous time is not detected in the
ステップＳ５０９に遷移すると、情報処理装置１０２のＣＰＵ２０１は、所定回数以上、同じ商品が検出できなかったかの判断を行う。所定回数以上同じ商品を検出できなければ、ステップＳ５１０へと処理を遷移し、所定回数以内に同じ商品を検出できた場合は、ステップＳ５０３へと処理を戻す。
In the transition to step S509, the
ステップＳ５０９の判断分岐は、仮想グリッド４０１内に商品があるにもかかわらず、撮像部での撮像画像が残像や光の外乱などにより一時的に商品検出できない場合でも、商品が仮想グリッド４０１外に出たと判断しないための判断分岐になる。
In the determination branch of step S509, even if the product is temporarily in the
次のステップＳ５１０には、ステップＳ５０９で現在座標が１回以上記憶されている（ステップＳ５０９でＹＥＳ）か、ステップＳ５０７で「１つ前に取得した現在座標」と新たにステップＳ５０５で検出した現在座標との距離が閾値以上離れている場合に遷移する。 In the next step S510, the current coordinates are stored one or more times in step S509 (YES in step S509), or the "current coordinates acquired one before" in step S507 and the present newly detected in step S505. The transition occurs when the distance from the coordinates is greater than or equal to the threshold value.
ステップＳ５１０において、情報処理装置１０２のＣＰＵ２０１は、ステップＳ５０１で取得した商品の最初の検出位置である開始座標と、ステップＳ５０５で最後に取得した商品の検出位置である「最後の現在座標」とから、商品の移動の向きを算出する。
In step S510, the
次に、ステップＳ５１１において、情報処理装置１０２のＣＰＵ２０１は、ステップＳ５１０で算出された向きにより処理を分ける。
Next, in step S511, the
開始座標と「最後の現在座標」との向きが同じ場合、たとえば、図８の座標軸４２０のＹ軸方向の仮想グリッドの中心からの向きが一緒の場合は、図５のフローチャートの処理を終える。この判断は、商品が仮想グリッド内に入ったが、出入りはしなかった場合（たとえば、顧客が棚から商品を出して購入を検討したが、やはり購入を止めて棚に戻した場合など）の判断分岐になる。
If the directions of the start coordinates and the "last current coordinates" are the same, for example, if the directions of the coordinate
また、ステップＳ５１１において、商品の移動の向きが取り出す向き４０２であった場合は、ステップＳ５１２へと処理を遷移する。
Further, in step S511, if the direction of movement of the product is the
一方、ステップＳ５１１において、商品の移動の向きが戻す向き（取り出す向きと反対）であった場合は、ステップＳ５１３へと処理を遷移する。 On the other hand, in step S511, if the direction of movement of the product is the direction of returning (opposite to the direction of taking out), the process transitions to step S513.
ステップＳ５１２へと処理を遷移すると、情報処理装置１０２のＣＰＵ２０１は、商品取り出し処理を行い、ステップＳ５１４へと処理を遷移する。詳細な処理は図６で後述する。
When the process is transitioned to step S512, the
また、ステップＳ５１３へと処理を遷移すると、情報処理装置１０２のＣＰＵ２０１は、商品戻し処理を行い、ステップＳ５１４へと処理を遷移する。詳細な処置は図７で後述する。
Further, when the process is transitioned to step S513, the
ステップＳ５１４へと処理を遷移すると、情報処理装置１０２のＣＰＵ２０１は、ステップＳ５１２やステップＳ５１３で特定された棚の在庫数を変更するべく、在庫管理サーバに報知して、図５のフローチャートを終える。図４のフローチャートの説明に戻る。
When the process transitions to step S514, the
ステップＳ４０６において、ステップＳ４０５で検出した商品の在庫状況を把握するための商品追従処理を行った後、次のステップＳ４０７において、商品在庫の確認のためのネットワークカメラ１０１の撮像処理を終了するかどうか判断する。撮像処理を継続する場合は、ステップＳ４０４へと処理を戻し、ステップＳ４０４からの処理を繰り返す。一方、撮像処理を終了するとユーザから指示があった場合は撮像処理を中止して本発明の処理を終了する。
In step S406, after performing the product tracking process for grasping the inventory status of the product detected in step S405, in the next step S407, whether to end the imaging process of the
次に、図６を参照して、商品を取り出す棚の位置を特定する処理を説明する。 Next, with reference to FIG. 6, a process of specifying the position of the shelf from which the product is taken out will be described.
図６は、本発明の実施形態に係る情報処理装置１０２における商品取り出しの処理概要を示すフローチャートであり、図中のＳ６０１〜Ｓ６０２は各ステップを示す。各ステップの処理は、情報処理装置１０２の外部メモリ２１１に格納されたアプリケーションプログラムを、それぞれのシステムのＣＰＵ２０１がＲＡＭ２０３上にロードして実行することにより実現される。
FIG. 6 is a flowchart showing an outline of a product take-out process in the
図６のフローチャートは、図５のフローチャートのステップＳ５１２へと遷移した際に開始される処理の流れである。 The flowchart of FIG. 6 is a flow of processing started when the transition to step S512 of the flowchart of FIG. 5 is performed.
まず、図６のステップＳ６０１において、情報処理装置１０２のＣＰＵ２０１は、ステップＳ５０２で取得した開始深度から取り出した棚の段数を特定する。具体的に図１８を参照して説明すると、たとえばステップＳ５０２で取得した商品の深度が２０ｃｍであれば、１８０１と１８０３のデータから、取り出された棚の高さは一段目であることを特定する。
First, in step S601 of FIG. 6, the
次に、ステップＳ６０２において、情報処理装置１０２のＣＰＵ２０１は、ステップＳ５０１で取得した開始座標から取り出した棚の位置を特定する。具体的に図１８を参照して説明すると、たとえば、ステップＳ５０１で取得した商品のグリッド座標が８０であれば、１８０２のデータから、一段目のグリッド座標が８０であるＣ−１、すなわち一段目のＣの棚であることが特定される。
Next, in step S602, the
上記の例では、一段目のＣの棚から商品が取り出されたことが特定される。 In the above example, it is specified that the goods are taken out from the first shelf C.
以上の処理により、顧客が商品を取り出した棚の位置を特定することができる。 By the above processing, the position of the shelf from which the customer has taken out the product can be specified.
次に、図７を参照して、商品を戻した棚の位置を特定する処理を説明する。 Next, with reference to FIG. 7, a process of specifying the position of the shelf on which the product is returned will be described.
図７は、本発明の実施形態に係る情報処理装置１０２における商品取り出しの処理概要を示すフローチャートであり、図中のＳ７０１〜Ｓ７０２は各ステップを示す。各ステップの処理は、情報処理装置１０２の外部メモリ２１１に格納されたアプリケーションプログラムを、それぞれのシステムのＣＰＵ２０１がＲＡＭ２０３上にロードして実行することにより実現される。
FIG. 7 is a flowchart showing an outline of the product take-out process in the
図７のフローチャートは、図５のフローチャートのステップＳ５１３へと遷移した際に開始される処理の流れである。 The flowchart of FIG. 7 is a flow of processing started when the transition to step S513 of the flowchart of FIG. 5 is performed.
まず、図７のステップＳ７０１において、情報処理装置１０２のＣＰＵ２０１は、ステップＳ５０６で取得した最後の現在深度から戻された棚の段数を特定する。具体的に図１８を参照して説明すると、たとえばステップＳ５０２で取得した商品の深度が８０ｃｍであれば、１８０１と１８０３のデータから、戻された棚は三段目であることを特定する。
First, in step S701 of FIG. 7, the
次に、ステップＳ７０２において、情報処理装置１０２のＣＰＵ２０１は、ステップＳ５０５で取得した最後の現在座標から取り出した棚の位置を特定する。具体的に図１８を参照して説明すると、たとえば、ステップＳ５０１で取得した商品のグリッド座標が８０であれば、１８０２のデータから、三段目のグリッド座標が８０であるＣ−３、すなわち三段目のＣの棚であることが特定される。
Next, in step S702, the
上記の例では、三段目のＣの棚に商品が戻されたことが特定される。 In the above example, it is specified that the goods have been returned to the third shelf C.
以上の処理により、顧客が商品を戻した棚の位置を特定することができる。 By the above processing, the position of the shelf on which the customer returned the product can be specified.
次に、図９〜図１４を参照して具体的に商品が棚から出入りするイメージより商品の出入りの棚の位置を特定する処理を説明する。 Next, with reference to FIGS. 9 to 14, a process of specifying the position of the shelf for entering and exiting the product will be described specifically from the image of the product entering and exiting the shelf.
図９は、本発明の実施形態における商品棚と商品取り出し開始時の処理イメージを説明する模式図である。 FIG. 9 is a schematic diagram illustrating a product shelf and a processing image at the start of product removal according to the embodiment of the present invention.
図９において、商品１０４が仮想グリッド内４０１において８０１のように検出される（ステップＳ４０５の処理）と、まず、商品の開始座標８０２を特定する（ステップＳ５０１の処理）。続いて、商品の開始深度も特定し（ステップＳ５０２の処理）、それぞれの値を記憶する。
In FIG. 9, when the
図１０は、本発明の実施形態における商品棚と商品取り出し中の処理イメージを説明する模式図である。 FIG. 10 is a schematic diagram illustrating a product shelf and a processing image during product removal according to the embodiment of the present invention.
図１０において、商品１０４が仮想グリッド内を移動する際に仮想グリッドから存在しなくなるまで、現在座標８０２〜８０４の現在座標を取得し続ける（ステップＳ５０５の処理）。
In FIG. 10, the current coordinates of the
図１１は、本発明の実施形態における商品棚と商品取り出し終了時の処理イメージを説明する模式図である。 FIG. 11 is a schematic diagram illustrating a product shelf and a processing image at the end of product removal in the embodiment of the present invention.
図１１において、商品１０４の現在座標が８０５のように仮想グリッドから存在しなくなった場合（ステップＳ５０４の判断分岐のＮＯへ遷移）、最後の仮想グリッド内の現在座標として、８０４が設定される（ステップＳ５１０の処理）。
In FIG. 11, when the current coordinates of the
続いて、商品の開始座標８０１と最後の現在座標８０４の情報から商品の移動の向き８０６を算出する。図１１の場合は図８の４０２の取り出し方向と同じなので、取り出す向きと特定する（ステップＳ５１０の処理）。
Subsequently, the direction of movement of the
図９から図１１のイメージのように商品が移動した場合、ステップＳ５１１では取り出す向きに移動したと判断し、ステップＳ５１２の処理（すなわち、図６の処理）へと遷移する。 When the product moves as shown in the image of FIGS. 9 to 11, it is determined that the product has moved in the direction of taking out in step S511, and the process proceeds to the process of step S512 (that is, the process of FIG. 6).
図１１の場合は、開始座標８０１と同じ時に取得した開始深度から取り出した棚の位置を特定する（図６のステップＳ６０１、Ｓ６０２の処理）。図１１では、グリッドＢ（中央の棚）から１つ商品が取り出されているので、８０７のように在庫数を５から４に減らしている。この在庫数を減らす情報を在庫管理サーバ１０７に送信する（ステップＳ５１４の処理）。 In the case of FIG. 11, the position of the shelf taken out from the start depth acquired at the same time as the start coordinate 801 is specified (processing of steps S601 and S602 in FIG. 6). In FIG. 11, since one product is taken out from the grid B (center shelf), the inventory quantity is reduced from 5 to 4 as in 807. Information for reducing the number of stocks is transmitted to the stock management server 107 (process in step S514).
以上のイメージで示すように、棚の取り出し口を撮像することで、商品の取り出し状況を把握することができる。 As shown in the above image, by taking an image of the take-out port of the shelf, it is possible to grasp the take-out status of the product.
次に、商品が棚に戻される場合の処理イメージを図１２〜図１４を参照して説明する。 Next, a processing image when the product is returned to the shelf will be described with reference to FIGS. 12 to 14.
図１２は、本発明の実施形態における商品棚と商品戻し開始時の処理イメージを説明する模式図である。 FIG. 12 is a schematic diagram illustrating a product shelf and a processing image at the start of product return according to the embodiment of the present invention.
図１２において、商品１０４が仮想グリッド内４０１において９０１のように最初に検出される（ステップＳ４０５の処理）と、まず、商品の開始座標９０１を特定する（ステップＳ５０１の処理）。続いて、商品の開始深度も特定し（ステップＳ５０２の処理）、それぞれの値を記憶する。
In FIG. 12, when the
図１３は、本発明の実施形態における商品棚と商品戻し中の処理イメージを説明する模式図である。 FIG. 13 is a schematic diagram illustrating a product shelf and a processing image during product return in the embodiment of the present invention.
図１３において、商品１０４が仮想グリッド内を移動する際に仮想グリッドから存在しなくなるまで、現在座標９０２〜９０５の現在座標を取得し続ける（ステップＳ５０５の処理）。続いて、現在深度の値も取得し続ける。
In FIG. 13, the current coordinates of the
図１４は、本発明の実施形態における商品棚と商品戻し終了時の処理イメージを説明する模式図である。 FIG. 14 is a schematic diagram illustrating a product shelf and a processing image at the end of product return in the embodiment of the present invention.
図１４において、商品１０４の現在座標が９０６のように仮想グリッドから存在しなくなった場合（ステップＳ５０４の判断分岐のＮＯへ遷移）、最後の仮想グリッド内の現在座標として、９０５が設定される（ステップＳ５１０の処理）。
In FIG. 14, when the current coordinates of the
続いて、商品の開始座標９０１と最後の現在座標９０５の情報から商品の移動の向き９０７を算出する。図１４の場合、商品の移動の向き９０７は図８の４０２の取り出し方向と反対なので、戻す向きと特定する（ステップＳ５１０の処理）。
Subsequently, the direction of movement of the
図１２から図１４のイメージのように商品が移動した場合、ステップＳ５１１では戻す向きに移動したと判断し、ステップＳ５１３の処理（すなわち、図７の処理）へと遷移する。 When the product moves as shown in the image of FIGS. 12 to 14, it is determined that the product has moved in the returning direction in step S511, and the process proceeds to the process of step S513 (that is, the process of FIG. 7).
図１４の場合は、最後の現在座標９０５と同じ時に取得した開始深度から取り出した棚の位置を特定する（図７のステップＳ７０１、Ｓ７０２の処理）。図１４の例では、グリッドＡ（左の棚）に１つ商品が戻されているので、９０８のように在庫数を当初の１０から１１に増やしている。この在庫数を増やす情報を在庫管理サーバ１０７に送信する（ステップＳ５１４の処理）。 In the case of FIG. 14, the position of the shelf taken out from the start depth acquired at the same time as the last current coordinate 905 is specified (process of steps S701 and S702 in FIG. 7). In the example of FIG. 14, since one product is returned to the grid A (left shelf), the inventory quantity is increased from the initial 10 to 11 as in 908. Information for increasing the number of stocks is transmitted to the stock management server 107 (process in step S514).
以上のイメージで示すように、棚の取り出し口を撮像することで、商品の戻し状況を把握することができる。 As shown in the above image, it is possible to grasp the return status of the product by taking an image of the outlet of the shelf.
次に、図１６を参照して、ステップＳ５０７およびステップＳ５０８の処理のイメージを説明する。 Next, with reference to FIG. 16, an image of the processing of step S507 and step S508 will be described.
図１６は、本発明の実施形態における商品を仮想グリッド領域４０１内で同一種類の別の商品を検出するイメージを説明する模式図である。
FIG. 16 is a schematic diagram illustrating an image of detecting another product of the same type in the
図１６のイメージは、商品１０４を１１０２において検出した（ステップＳ５０１）後で、次の撮像処理（ステップＳ５０３）において、同じ商品が１１０３と１１０４で検出された場合の例である。
The image of FIG. 16 is an example in which the same product is detected in 1103 and 1104 in the next imaging process (step S503) after the
図１６において、商品の移動を示す閾値が１１０１の場合、開始座標１１０２と現在座標１１０４とは距離が閾値以上に離れており（１１０６）、一方現在座標１１０３は閾値以内である（１１０５）ので、開始座標１１０２から移動した商品は１１０３へ移動したと判断する。閾値は顧客が商品を移動させる速度と撮像処理を行う時間間隔から設定される。この閾値は、商品棚のレーン間隔（図８の４０５と４０６の間の距離）よりも短い必要があるので、顧客の商品移動速度との関係で、撮像処理を行う時間間隔を設定するようにしても良い。 In FIG. 16, when the threshold value indicating the movement of the product is 1101, the distance between the start coordinate 1102 and the current coordinate 1104 is greater than or equal to the threshold value (1106), while the current coordinate 1103 is within the threshold value (1105). It is determined that the product moved from the start coordinate 1102 has moved to 1103. The threshold value is set from the speed at which the customer moves the product and the time interval during which the imaging process is performed. Since this threshold value needs to be shorter than the lane interval of the product shelf (distance between 405 and 406 in FIG. 8), the time interval for performing the imaging process should be set in relation to the product movement speed of the customer. May be.
以上の処理により、撮像のフレームレートが遅く、商品を追跡する速度に限度がある場合に、２つの商品が認識されても閾値１１０１以上離れていれば、２つの商品を識別して棚の出し入れを管理することができる。
＜第２の実施形態＞
第１の実施形態では、撮像部（ネットワークカメラ）１０１による撮像画像から商品を識別後に商品の追跡を行っている。第２の実施形態では、商品の識別を商品の追跡後に行うことにより、撮像画像からの商品識別の手順を撮像時毎に行う処理を省き、撮像部のフレームレートを上げることができる。すなわち、第２の実施形態では、商品が検出エリア（仮想グリッド）４０１から出ると、蓄積した画像からまとめて商品の識別処理を行うことにより、撮像時毎の商品識別処理を防ぎ、撮像部のフレームレートを上げている。図２０、図２１を参照して、本願発明の第２の実施形態の在庫管理処理の流れを説明する。
By the above processing, when the frame rate of imaging is slow and the speed of tracking products is limited, even if two products are recognized, if they are separated by a threshold value of 1101 or more, the two products are identified and the shelves are taken in and out. Can be managed.
<Second embodiment>
In the first embodiment, the product is tracked after the product is identified from the image captured by the image pickup unit (network camera) 101. In the second embodiment, by identifying the product after tracking the product, it is possible to omit the process of performing the procedure for identifying the product from the captured image at each time of imaging and increase the frame rate of the image pickup unit. That is, in the second embodiment, when the product leaves the detection area (virtual grid) 401, the product identification process is performed collectively from the accumulated images to prevent the product identification process at each time of imaging, and the image pickup unit can be used. The frame rate is increasing. The flow of the inventory management process of the second embodiment of the present invention will be described with reference to FIGS. 20 and 21.
図２０は、本発明の実施形態に係る情報処理装置１０２における在庫管理を行う第２の実施形態の処理概要を示すフローチャートであり、図中のＳ２００１〜Ｓ２００３は各ステップを示す。各ステップの処理は、情報処理装置１０２の外部メモリ２１１に格納されたアプリケーションプログラムを、それぞれのシステムのＣＰＵ２０１がＲＡＭ２０３上にロードして実行することにより実現される。
FIG. 20 is a flowchart showing a processing outline of a second embodiment of inventory management in the
図２０のフローチャートは、撮像部１０１と情報処理装置１０２が起動されると開始される処理の流れである。なお、以後のフローチャートにおいて、情報処理装置１０２は、ネットワークカメラ１０１からネットワークを通じて随時データを取得することができるものとする。
The flowchart of FIG. 20 is a flow of processing started when the
図２０のフローチャートの処理に入る前に、まず情報処理装置１０２のＣＰＵ２０１は、撮像部１０１のＲＧＢカメラ３０７により得られる商品棚の取り出し口部分の撮像画像を取得する。
Before starting the processing of the flowchart of FIG. 20, first, the
次に、ステップＳ２００１において、情報処理装置１０２のＣＰＵ２０１は、取得した撮像画像を元に、商品棚のレーンや高さに合わせた検出エリア４０１が設定を受け付ける。検出エリアの設定方法は、図８、図１７、図１８と同様なので説明を省略する。なお、第１の実施形態では、撮像部のフレームレートが低いことを想定しているため、検出エリア４０１の商品の取り出し方向（Ｙ軸方向）の幅は図８や図１７、図１８のように広めに確保しているが、第２の実施形態では、撮像部のフレームレートが高いため、検出エリア４０１の商品の取り出し方向（Ｙ軸方向）の幅は図２２の検出エリア２２１０のようにより狭く設定できる。
Next, in step S2001, the
次に、ステップＳ２００２において、情報処理装置１０２のＣＰＵ２０１は、取得した撮像画像を元に、商品棚の出入口にあたる検出ラインの設定を受け付ける。検出ラインの設定を図２２を参照して説明する。
Next, in step S2002, the
図２２は、本発明の実施形態における高さ方向に複数の棚を有する商品棚と商品を取り出す領域（検出エリア）のイメージを説明する模式図である。 FIG. 22 is a schematic diagram illustrating an image of a product shelf having a plurality of shelves in the height direction and a region (detection area) from which products are taken out in the embodiment of the present invention.
図２２の１０３が商品棚、１０４が商品の例であり、撮像範囲である４０４が、商品取り出し口に該当する。なお、各棚の横方向（レーン毎）の検出は第１の実施形態と同様なので、以後の説明では省略する、
図２２の例では、商品棚１０３は３段の棚が存在する例である。
103 in FIG. 22 is an example of a product, 104 is an example of a product, and 404, which is an imaging range, corresponds to a product outlet. Since the detection in the lateral direction (for each lane) of each shelf is the same as that of the first embodiment, it will be omitted in the following description.
In the example of FIG. 22, the
図２２の検出エリア２２１０に、３段の棚毎に検出ライン２２０１〜２２０３が設定される。なお、図２２では検出ライン２２０１〜２２０３は理解を助けるために異なる位置で記載しているが、検出ラインは検出エリア２２１０の端（図２２の場合、検出エリア２２１０の矩形の下辺部分）に設定されており、それぞれの棚によって横幅が異なっている。横幅のサイズは、たとえば図１８で設定されている幅である。この検出ラインを通過したかによって、該当の棚から商品が出入りしたのかを判別でき、隣の棚で出入りした商品の誤検出を防ぐ、もしくは検出エリアを偶々通った商品（たとえば、顧客が商品を持って検出エリアを右から左に横切った場合）などの誤検出を防ぐことができる。なお、実施例では、一つの在庫監視システム１０５で説明しているが、撮像部１０１付きの在庫監視システム１０５が複数設置されていて、それぞれの在庫監視システム１０５のラックで商品検知を行っている場合も考えられる。その場合、横のラックの商品を誤検出することを防ぐことができる。図２０のフローチャートの説明に戻る。
In the detection area 2210 of FIG. 22,
次に 図２０のステップＳ２００３へと処理を移行すると、情報処理装置１０２のＣＰＵ２０１は、商品在庫を管理する処理を開始する。ステップＳ２００３の処理内容を図２１を参照して説明する。
Next, when the process shifts to step S2003 of FIG. 20, the
図２１は、本発明の実施形態に係る情報処理装置１０２における商品在庫追従の第２の実施形態の処理概要を示すフローチャートであり、図中のＳ２１０１〜Ｓ２１１８は各ステップを示す。各ステップの処理は、情報処理装置１０２の外部メモリ２１１に格納されたアプリケーションプログラムを、それぞれのシステムのＣＰＵ２０１がＲＡＭ２０３上にロードして実行することにより実現される。
FIG. 21 is a flowchart showing a processing outline of a second embodiment of product inventory tracking in the
図２１のフローチャートは、図２０のフローチャートのステップＳ２００３へと遷移した際に開始される処理の流れである。 The flowchart of FIG. 21 is a flow of processing started when the transition to step S2003 of the flowchart of FIG. 20 is performed.
まず、図２１のステップＳ２１０１において、情報処理装置１０２のＣＰＵ２０１は、撮像部１０１から撮像画像（キャプチャ）を取得する。この撮像画像の取得は図２１のフローチャートの処理中は常時行われても良い。なお、ステップＳ２１０１の処理は撮像画像の取得と同時にＴＯＦセンサ３０５による物体検出を行っても良い。
First, in step S2101 of FIG. 21, the
次に、ステップＳ２１０２において、情報処理装置１０２のＣＰＵ２０１は、撮影エリア４０４内の検出エリア２２１０内で商品もしくは手などの物体を検出したか判断する。物体を検出した場合はステップＳ２１０３へと処理を遷移し、物体を検出しなかった場合はステップＳ２１０１へと処理を戻し、物体を検出するまで処理を繰り返す。物体を検出したかどうかは、ＴＯＦセンサによる物体検出でも良いし、画像の差分情報による検出でもよく、またステレオカメラによる物体検出であっても良い。
Next, in step S2102, the
次に、ステップＳ２１０３において、情報処理装置１０２のＣＰＵ２０１は、ＴＯＦセンサなどで物体を検出した位置を特定する。この位置情報は随時取得しておき、位置情報を常にトラッキングすることができる。
Next, in step S2103, the
次に、ステップＳ２１０４において、情報処理装置１０２のＣＰＵ２０１は、物体を検出した位置の周りの画像を記憶する。記憶した画像の一例を図２３を参照して説明する。
Next, in step S2104, the
図２３は、本発明の実施形態に係る情報処理装置１０２に記憶されている一連の商品画像の例である。
FIG. 23 is an example of a series of product images stored in the
図２３の２３０１から２３１２まで、検出された物体順に時系列で記憶されている画像を表示している。図２３は具体的には、ペットボトルの商品が顧客の手によって棚に戻される場合の一連の画像群である。この処理のように、撮像して記憶する範囲を限定して記憶、もしくは商品特定に利用することにより、第１の実施形態のように画像全体から物体を特定する手法より、画像記憶メモリの削減や、商品特定の際の画像処理時間の短縮が可能となる。。図２１のフローチャートの説明に戻る。 Images stored in chronological order from 2301 to 2312 in FIG. 23 are displayed in the order of detected objects. Specifically, FIG. 23 is a series of images when a PET bottle product is returned to the shelf by the customer's hand. By limiting the range to be imaged and stored as in this process, or by using it for product identification, the image storage memory is reduced as compared with the method of specifying an object from the entire image as in the first embodiment. In addition, it is possible to shorten the image processing time when specifying a product. .. Returning to the description of the flowchart of FIG. 21.
次に、図２１のステップＳ２１０５において、情報処理装置１０２のＣＰＵ２０１は、ＴＯＦセンサもしくはステレオカメラから、物体の高さ情報（深度情報）を取得する。
Next, in step S2105 of FIG. 21, the
次に、ステップＳ２１０６において、情報処理装置１０２のＣＰＵ２０１は、ステップＳ２１０３で取得したトラッキング情報から、物体が検出ライン２２０１〜２２０３を通過したかを判断する。検出ラインを通過するかは、ステップＳ２１０５で取得した物体の高さ情報とステップＳ２１０３で取得したトラッキング情報から判断する。たとえば、物体の高さ情報が１段目の高さと検出された場合（図１８の例では、２０ｃｍ）、１段目の棚の検出ラインは、図１８の場合、画面上のサイズで『−１５０〜１５０』である。同様に、物体の高さ情報が３段目の高さと検出された場合（図１８の例では、８０ｃｍ）、３段目の棚の検出ラインは、図１８の場合、画面上のサイズで『−９０〜９０』である。これらの間を物体が通過した場合は、検出ラインを通過したと判断する。すなわち、棚と棚の前との領域で、商品もしくは手が出入りしたことを意味する。一方、物体の高さ情報が３段目の高さと検出され、検出ラインの横方向が例えば『１１０』の位置を通過した場合は、隣の棚への物体の出し入れと判断し、該当の検出ラインを通過したとはみなさない。
Next, in step S2106, the
ステップＳ２１０６において、物体が検出ラインを通過したと判断された場合は、検出ラインを通過したという図示しないフラグ立てて、ステップＳ２１０８へと処理を遷移する。同時に高さ情報を記憶する。以後、検出ライン通過フラグが立っている間はステップＳ２１０６では、Ｙｅｓの処理へと遷移する。一方、検出ラインを通過していないと判断された場合は、ステップＳ２１０７へと処理を遷移する。 If it is determined in step S2106 that the object has passed the detection line, a flag (not shown) indicating that the object has passed the detection line is set, and the process proceeds to step S2108. At the same time, the height information is stored. After that, in step S2106, the process proceeds to Yes while the detection line passage flag is set. On the other hand, if it is determined that the detection line has not been passed, the process proceeds to step S2107.
ステップＳ２１０７へと処理を遷移すると、情報処理装置１０２のＣＰＵ２０１は、トラッキングしている物体が検出エリア２２１０から出た（ＯＵＴ）かどうかを判断する。検出エリア２２１０を出たと判断された場合は、検出ラインを通過せず検出エリアを出たことを意味する（つまり、棚の中を触っていない）ため、記憶している画像や高さ情報を削除する処理（ステップＳ２１１８）を実行して、最初の処理へと戻る。一方、物体が検出エリアから出ていない場合は、物体が検出エリア内にあることを意味するため、記憶画像を削除せず、最初の処理へと戻る。
When the process transitions to step S2107, the
ステップＳ２１０８へと処理を遷移した場合、すなわち物体が一度でも検出ラインを通過した場合、情報処理装置１０２のＣＰＵ２０１は、物体が検出エリアから検出ラインと逆方向に出たかどうかを判断する。検出ラインと逆方向に物体が出た場合は、ステップＳ２１１１へと処理を遷移し、検出ラインと逆方向に物体が出ていない場合は、ステップＳ２１０９の処理へ遷移する。検出ラインと逆方向に出るとは、図２２の例では、２２１１のような上方向の領域方向に向かって物体が検出エリアを出るかどうかで判断される。すなわち、ステップＳ２１０８の処理は、棚から商品または手が取り出されたかどうかを判断している処理である。
When the process transitions to step S2108, that is, when the object has passed the detection line even once, the
ステップＳ２１０９へと処理を遷移した場合、情報処理装置１０２のＣＰＵ２０１は、物体が検出エリアから検出ラインを通過して出たかどうかを判断する。検出ラインから物体が出た場合は、ステップＳ２１１０へと処理を遷移し、検出ラインから物体が出ていない場合は、ステップＳ２１１７の処理へ遷移する。検出ラインから物体が出たかどうかは、図２２の例では、２２０１〜２２０３の検出ラインを通過して検出エリアを出たかどうかで判断される。すなわち、ステップＳ２１０９の処理は、棚に商品または手が入ったかどうかを判断している処理である。
When the process transitions to step S2109, the
なお、検出ラインから物体が出る場合でも、同じ検出ラインから入って追跡されている物体の場合は、Ｎｏの処理へと遷移し、ステップＳ２１１７の判断分岐へと遷移する。Ｎｏへと遷移するのは、たとえば、商品を顧客が棚から取り出して、検出エリアから出すことなく棚に戻した場合に商品がカウントアップされることを防ぐためである。 Even when an object comes out of the detection line, if the object is being tracked by entering from the same detection line, the process proceeds to No, and the process proceeds to the determination branch in step S2117. The transition to No is to prevent the product from being counted up when, for example, the customer takes out the product from the shelf and returns it to the shelf without taking it out of the detection area.
ステップＳ２１１０へと処理を遷移すると、情報処理装置１０２のＣＰＵ２０１は、物体が商品である場合に在庫を増やす処理を実行するため、図示しないカウントアップフラグを立てる。その後、ステップＳ２１１２へと処理を遷移する。
When the process transitions to step S2110, the
一方、ステップｓ２１１１へと処理を遷移した場合、情報処理装置１００のＣＰＵ２０１は、物体が商品である場合に在庫を減らす処理を実行するためのため、図示しないカウントダウンフラグを立てる。その後、ステップＳ２１１２へと処理を遷移する。
On the other hand, when the process transitions to step s2111, the
ステップＳ２１１２へと処理を遷移すると、情報処理装置１００のＣＰＵ２０１は、ステップＳ２１０４で記憶している複数の撮像画像を読み込み、画像を取得する。
When the process transitions to step S2112, the
次に、ステップＳ２１１３において、情報処理装置１００のＣＰＵ２０１は、ＡＩによる画像認識により、商品を特定する処理を行う。具体的には、ＡＩの教師データとして数千枚の画像（図２３のような画像を推論する場合はペットボトルの様々な角度の数千枚の画像）を登録して、たとえばＶＧＧやＭｏｂｉｌｅＮｅｔなどのディープラーニングのアルゴリズムを用い学習させる。学習させた学習済モデルにたとえば、図２３のような複数の画像２３０１〜２３１２を入力し、推論されるペットボトルの商品を特定する。このように、物体周辺の画像複数枚により１つの商品を推論するため、第１の実施形態のように１枚の全体画像から商品を特定する処理よりも画像解析のスピードが上がり、撮像部のフレームレートを上げることができる。なお、商品の特定にはＡＩを利用せず、商品につけられたタグを撮像して識別しマッチングさせることにより特定しても良い。また、複数の画像を記憶しておいて、単なるマッチング条件によって商品を特定しても良く、それら場合も物体周辺の画像を複数枚使って判断することができ、画像解析の処理を上げ、処理速度を上げることができる。
Next, in step S2113, the
次に、ステップＳ２１１４において、情報処理装置１００のＣＰＵ２０１は、ステップＳ２１１３で特定された物体が商品かそうでないかを判断する。商品の場合はステップＳ２１１５へと処理を遷移し、商品ではなく手である、もしくは商品を特定できない場合は、ステップっＳ２１１８へと処理を遷移する。
Next, in step S2114, the
ステップＳ２１１８へと処理を遷移すると、情報処理装置１００のＣＰＵ２０１は、記憶画像や物体の高さ情報、検出ライン通過フラグ、在庫増減数などを削除する。ステップＳ２１１８へと遷移する場合は、検出エリアから物体が出た場合であり、かつ検出した物体が手もしくは識別不可能な商品の場合、もしくは、棚内に手を入れることなく検出エリアを出た場合を指すので、記憶画像、物体の高さ情報、検出ライン通過フラグ、在庫増減数は不要になるため、これらのデータを削除する。その後、このフローチャートの最初の処理に戻る。なお、ステップＳ２１１３でユーザの手と認識不可能な商品とを識別可能であれば、認識不可能な商品が棚に入れられた場合、アラートを出して、認識不可能な商品があることを店舗の商品管理者に伝える構成があっても良い。
When the process transitions to step S2118, the
一方、ステップＳ２１１４の判断分岐の結果、ステップＳ２１１５へと処理を遷移すると、情報処理装置１００のＣＰＵ２０１は、ステップＳ２１１４で推論された商品を、ステップＳ２１０６で記憶した高さの棚に対して、ステップＳ２１１０もしくはステップＳ２１１１の在庫増減数だけ在庫を増減させる情報を設定する。
On the other hand, when the process transitions to step S2115 as a result of the determination branch in step S2114, the
次に、ステップＳ２１１６において、情報処理装置１００のＣＰＵ２０１は、ステップＳ２１１５で設定された棚と商品と増減情報を在庫管理サーバ１０７に送信して、ステップＳ２１１７へと処理を遷移する。
Next, in step S2116, the
ステップＳ２１１７へと処理を遷移すると、本実施形態のフローチャートを終了するかユーザから受け付け（不図示）ユーザから終了を受け付けると処理を終了し、ユーザからの終了指示を受け付けない場合は、フローチャートの最初の処理へと戻す。 When the process transitions to step S2117, the process ends when the flowchart of the present embodiment ends or is accepted from the user (not shown), and when the end is accepted from the user, the process ends and the end instruction from the user is not accepted, the beginning of the flowchart. Return to the processing of.
以上の処理のように、まず、物体検出とトラッキングを先の実行し、検出エリアから物体が出ると、撮像している画像を使って商品を特定して在庫情報を管理するにより、撮像毎に画像全体から商品識別を行う処理を省き、撮像部のフレームレートを上げて、細かなトラッキングが可能となる効果を有する。 As in the above process, first, object detection and tracking are executed first, and when an object comes out of the detection area, the product is specified using the image being captured and inventory information is managed, so that each image is captured. It has the effect of eliminating the process of identifying products from the entire image and increasing the frame rate of the image pickup unit to enable fine tracking.
なお、第２の実施形態では、検出ラインを通過したかによって、商品が棚から出し入れされたかを判断しているが、商品が取り出し方向（Ｙ座標）に所定の閾値以上移動した際に、棚から出し入れされたと判断しても良い。その際、商品が出し入れされる棚の高さ情報は、検出ライン通過時の高さ（ステップ２１０６）から設定する。 In the second embodiment, it is determined whether the product has been taken in and out of the shelf based on whether the product has passed the detection line, but when the product moves by a predetermined threshold value or more in the take-out direction (Y coordinate), the shelf is used. You may judge that it was taken in and out of. At that time, the height information of the shelves on which the products are taken in and out is set from the height when passing through the detection line (step 2106).
以上の処理により、本発明は、複数の列からなる商品棚を少ない撮像装置で、かつ在庫場所の撮影の有無を問わず商品の出入りが管理できる効果を有する。 By the above processing, the present invention has an effect that the product shelves composed of a plurality of rows can be controlled by a small number of image pickup devices and the entry and exit of products can be controlled regardless of whether or not the inventory location is photographed.
また、在庫管理の他に、棚の高さや横の位置毎のデータを逐次取得できるため、棚割を適切に割り当てるための情報を取得することができる効果も有する。 Further, in addition to inventory management, since data for each shelf height and horizontal position can be sequentially acquired, there is also an effect that information for appropriately allocating shelf allocation can be acquired.
また、商品の配置場所と出入を特定できるため、売上を伸ばすために適した棚割を容易に行うための情報を取得することができる。 In addition, since the location and entry / exit of products can be specified, it is possible to obtain information for easily performing shelving allocation suitable for increasing sales.
また、在庫管理するためには物品の種類を特定する必要があるが、取得した画像から毎回物品の種類を特定すると、処理が遅延しフレームレートを低下させてしまう。そのため、物品の検出タイミングが遅れ、物品の追跡が難しいという課題を解決できる。 Further, in order to manage the inventory, it is necessary to specify the type of the article, but if the type of the article is specified every time from the acquired image, the processing is delayed and the frame rate is lowered. Therefore, it is possible to solve the problem that the detection timing of the article is delayed and the tracking of the article is difficult.
さらに、画像により特定された｛位置／高さ／商品画像｝に基づき、商品の配置場所を特定できるため、ユーザによる商品配置場所のメンテナンスを省力化することができ、在庫管理や商品棚卸情報をより正確に行うことができる。 Furthermore, since the product placement location can be specified based on the {position / height / product image} specified by the image, it is possible to save labor for the user to maintain the product placement location, and inventory management and product inventory information can be obtained. It can be done more accurately.
また、本発明におけるプログラムは、各処理方法をコンピュータが実行可能（読取可能）なプログラムであり、本発明の記憶媒体は、各処理方法をコンピュータが実行可能なプログラムが記憶されている。 Further, the program in the present invention is a program in which a computer can execute (readable) each processing method, and the storage medium of the present invention stores a program in which a computer can execute each processing method.
なお、本発明におけるプログラムは、各装置の処理方法ごとのプログラムであってもよい。 The program in the present invention may be a program for each processing method of each device.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読取り実行することによっても、本発明の目的が達成されることは言うまでもない。 As described above, a recording medium recording a program that realizes the functions of the above-described embodiment is supplied to the system or device, and the computer (or CPU or MPU) of the system or device stores the program in the recording medium. It goes without saying that the object of the present invention is achieved by reading and executing.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。 In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention. Recording media for supplying programs include, for example, flexible disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, DVD-ROMs, magnetic tapes, non-volatile memory cards, ROMs, EEPROMs, and silicon. A disk or the like can be used.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータで稼働しているＯＳ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program read by the computer, not only the function of the above-described embodiment is realized, but also the OS or the like running on the computer is a part of the actual processing or based on the instruction of the program. Needless to say, there are cases where the functions of the above-described embodiment are realized by performing all of them and performing the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, after the program read from the recording medium is written in the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer, the function expansion board is based on the instruction of the program code. It goes without saying that there is a case where the CPU or the like provided in the function expansion unit performs a part or all of the actual processing, and the processing realizes the function of the above-described embodiment.
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 It goes without saying that the present invention can also be applied when it is achieved by supplying a program to a system or an apparatus. In this case, by reading the recording medium containing the program for achieving the present invention into the system or device, the system or device can enjoy the effect of the present invention.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステム、あるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Further, by downloading and reading a program for achieving the present invention from a server, database, or the like on a network by a communication program, the system or device can enjoy the effect of the present invention. It should be noted that the present invention also includes all the configurations in which each of the above-described embodiments and modifications thereof are combined.
１０１ ネットワークカメラ
１０２ 情報処理装置
１０３ 商品棚
１０４ 商品
１０５ 在庫監視システム
１０６ ネットワーク
１０７ 在庫管理サーバ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ 入力部
２１０ 表示部
２１１ 外部メモリ
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ システムバス
３０５ ＴＯＦセンサ
３０６ 深度計測部
３０７ ＲＧＢカメラ部
３０８ 画像処理部
３０９ 通信Ｉ／Ｆコントローラ
202 ROM
203 RAM
204
302 ROM
303 RAM
304
Claims (7)
前記撮像部で撮像された所定の領域を通過するまでに得られた複数の物品の画像を取得する画像取得手段と、
前記物品が所定の領域を通過するまでは前記物品を特定するための画像解析をすることなく、前記物品が所定の領域を通過した場合に、前記画像取得手段により時系列に取得される物品の複数の画像をまとめて前記画像解析をすることにより前記物品を特定する物品特定手段と、
前記物品特定手段により特定された物品の出入りにより前記物品の出入りを報知する物品出入報知手段と
を有することを特徴とする情報処理装置。 An information processing device that can communicate with an image pickup unit that captures the entry and exit of articles.
An image acquisition means for acquiring images of a plurality of articles obtained by passing through a predetermined region imaged by the image pickup unit, and an image acquisition means.
An article acquired in chronological order by the image acquisition means when the article passes through a predetermined area without performing image analysis for identifying the article until the article passes through a predetermined area. An article specifying means for identifying the article by collectively performing the image analysis on a plurality of images,
An information processing apparatus comprising: an article entry / exit notification means for notifying the entry / exit of the article by the entry / exit of the article specified by the article specifying means.
前記所定の領域を、前記撮像部で特定される高さ情報毎に設定する所定領域設定手段と
、
前記物品の高さ情報に対応する前記設定された所定の領域を通過した場合に、前記物品の出入りを報知することを特徴とする請求項１乃至４に記載の情報処理装置。 The image pickup unit can specify the height information of the article entering and exiting, and can specify the height information.
A predetermined area setting means for setting the predetermined area for each height information specified by the image pickup unit, and
The information processing apparatus according to claim 1 to 4, wherein when the object passes through the set predetermined area corresponding to the height information of the article, the entry / exit of the article is notified.
前記情報処理装置が 前記撮像部で撮像された所定の領域を通過するまでに得られた複数の物品の画像を取得する画像取得ステップと、
前記物品が所定の領域を通過するまでは前記物品を特定するための画像解析をすることなく、前記物品が所定の領域を通過した場合に、前記画像取得ステップにより時系列に取得される物品の複数の画像をまとめて前記画像解析をすることにより前記物品を特定する物品特定ステップと、
前記物品特定ステップにより特定された物品の出入りにより前記物品の出入りを報知する物品出入報知ステップと
を実行制御することを特徴とする情報処理方法。 It is an information processing method of an information processing device that can communicate with an image pickup unit that captures the entry and exit of an article.
An image acquisition step of acquiring images of a plurality of articles obtained by the time the information processing apparatus passes through a predetermined area imaged by the image pickup unit, and an image acquisition step.
An article acquired in chronological order by the image acquisition step when the article passes through a predetermined area without performing image analysis for identifying the article until the article passes through a predetermined area. An article identification step for identifying the article by performing the image analysis on a plurality of images at once,
An information processing method characterized by executing and controlling an article entry / exit notification step for notifying the entry / exit of the article by the entry / exit of the article specified by the article identification step.
前記情報処理装置を 前記撮像部で撮像された所定の領域を通過するまでに得られた複数の物品の画像を取得する画像取得手段と、
前記物品が所定の領域を通過するまでは前記物品を特定するための画像解析をすることなく、前記物品が所定の領域を通過した場合に、前記画像取得手段により時系列に取得される物品の複数の画像をまとめて前記画像解析をすることにより前記物品を特定する物品特定手段と、
前記物品特定手段により特定された物品の出入りにより前記物品の出入りを報知する物品出入報知手段
として動作させることを特徴とするプログラム。 A program that operates an information processing device that can communicate with an image pickup unit that captures the entry and exit of articles.
An image acquisition means for acquiring images of a plurality of articles obtained by passing the information processing apparatus through a predetermined region imaged by the image pickup unit, and an image acquisition means.
An article acquired in chronological order by the image acquisition means when the article passes through a predetermined area without performing image analysis for identifying the article until the article passes through a predetermined area. An article specifying means for identifying the article by collectively performing the image analysis on a plurality of images,
A program characterized by operating as an article entry / exit notification means for notifying the entry / exit of the article by the entry / exit of the article specified by the article specifying means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019170937A JP6982259B2 (en) | 2019-09-19 | 2019-09-19 | Information processing equipment, information processing methods, programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019170937A JP6982259B2 (en) | 2019-09-19 | 2019-09-19 | Information processing equipment, information processing methods, programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021047747A JP2021047747A (en) | 2021-03-25 |
| JP6982259B2 true JP6982259B2 (en) | 2021-12-17 |
Family
ID=74876418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019170937A Active JP6982259B2 (en) | 2019-09-19 | 2019-09-19 | Information processing equipment, information processing methods, programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6982259B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7539671B1 (en) | 2023-05-19 | 2024-08-26 | 株式会社マーケットヴィジョン | Information Processing System |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5061382B2 (en) * | 2008-03-31 | 2012-10-31 | Ｋｄｄｉ株式会社 | Time-series data identification device and person meta information addition device for moving images |
| JP2014002502A (en) * | 2012-06-18 | 2014-01-09 | Dainippon Printing Co Ltd | Stretched-out hand detector, stretched-out hand detecting method and program |
| JP6529078B2 (en) * | 2013-09-06 | 2019-06-12 | 日本電気株式会社 | Customer behavior analysis system, customer behavior analysis method, customer behavior analysis program and shelf system |
| JP2016201105A (en) * | 2015-04-07 | 2016-12-01 | 三菱電機株式会社 | Information processor and information processing method |
| WO2018235198A1 (en) * | 2017-06-21 | 2018-12-27 | 日本電気株式会社 | INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM |
| WO2019032307A1 (en) * | 2017-08-07 | 2019-02-14 | Standard Cognition, Corp. | Predicting inventory events using foreground/background processing |
| WO2019033635A1 (en) * | 2017-08-16 | 2019-02-21 | 图灵通诺（北京）科技有限公司 | Purchase settlement method, device, and system |
| CN208957427U (en) * | 2017-08-16 | 2019-06-11 | 图灵通诺（北京）科技有限公司 | Checkout apparatus shelf |
| US11562614B2 (en) * | 2017-12-25 | 2023-01-24 | Yi Tunnel (Beijing) Technology Co., Ltd. | Method, a device and a system for checkout |
-
2019
- 2019-09-19 JP JP2019170937A patent/JP6982259B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021047747A (en) | 2021-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7425344B2 (en) | Information processing system, control method for information processing system, program | |
| JP7677481B2 (en) | Store device, store system, store management method, and program | |
| JP7272417B2 (en) | Object tracking system, object tracking device, and object tracking method | |
| JP6986576B2 (en) | Article identification method and system, electronic equipment | |
| US11244548B2 (en) | System and method for anti-shoplifting in self-checkout | |
| US11049373B2 (en) | Storefront device, storefront management method, and program | |
| JP6176257B2 (en) | Product information processing apparatus, data processing method thereof, and program | |
| US20210398096A1 (en) | Automatic vending method and apparatus, and computer-readable storage medium | |
| US20170068945A1 (en) | Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program | |
| US10498963B1 (en) | Motion extracted high dynamic range images | |
| CN107403332B (en) | Shelf picking detection system and method | |
| JP2020013290A (en) | Image analysis device, person search system and person search method | |
| US20200097501A1 (en) | Information processing system, method for controlling information processing system, and storage medium | |
| JPWO2015136847A1 (en) | Display situation analysis apparatus, display situation analysis method and program | |
| JPWO2014050518A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| EP3635632B1 (en) | Detecting font size in a digital image | |
| JP2018206159A (en) | System, method, and program for managing products | |
| JP2016181159A (en) | System, retrieval method and program | |
| JP2021107989A (en) | Information processing device, information processing method, and program | |
| JP7719918B2 (en) | Product image information collection system and method | |
| JP6982259B2 (en) | Information processing equipment, information processing methods, programs | |
| JP2019121904A (en) | Suspicious person detection apparatus, suspicious person detection method and suspicious person detection computer program | |
| JP6972962B2 (en) | Object tracking device, object tracking method, and object tracking program | |
| JP6277602B2 (en) | Monitoring device, program and method | |
| US11966435B2 (en) | Information processing apparatus, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210125 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210804 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210804 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210811 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211101 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6982259 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |