Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7061928B2 - Server equipment and programs - Google Patents
[go: Go Back, main page]

JP7061928B2 - Server equipment and programs - Google Patents

Server equipment and programs Download PDF

Info

Publication number
JP7061928B2
JP7061928B2 JP2018100999A JP2018100999A JP7061928B2 JP 7061928 B2 JP7061928 B2 JP 7061928B2 JP 2018100999 A JP2018100999 A JP 2018100999A JP 2018100999 A JP2018100999 A JP 2018100999A JP 7061928 B2 JP7061928 B2 JP 7061928B2
Authority
JP
Japan
Prior art keywords
image
product
person
sales floor
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018100999A
Other languages
Japanese (ja)
Other versions
JP2019204453A (en
Inventor
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Tec Corp
Original Assignee
Toshiba Tec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Tec Corp filed Critical Toshiba Tec Corp
Priority to JP2018100999A priority Critical patent/JP7061928B2/en
Publication of JP2019204453A publication Critical patent/JP2019204453A/en
Application granted granted Critical
Publication of JP7061928B2 publication Critical patent/JP7061928B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明の実施形態は、サーバ装置、及びプログラムに関する。 Embodiments of the present invention relate to server devices and programs.

従来、ショッピングモール等の大型の店舗が増えている。大型店舗は広大な売り場を有しているため、顧客は売り場の何処に欲しい商品あるかが分からない場合がある。また、欲しい商品の売り場に顧客が辿り着いても、商品が売り切れている場合がある。 Conventionally, the number of large stores such as shopping malls is increasing. Large stores have vast sales floors, so customers may not know where to find the products they want. In addition, even if the customer arrives at the sales floor of the desired product, the product may be sold out.

そこで、顧客の要求に応じて売り場を撮像した画像を送信する方策が考えられる。これにより、顧客は、商品の売り場と、売り場の所望の商品があるかを把握することが可能になる。しかしながら、売り場では多数の顧客が買い物を行っている。そのため、売り場を撮像した場合、画像には買い物をしている顧客が写り込んでいる場合がある。そして、顧客が写り込んだ画像を送信してしまうと、顧客のプライバシーを侵害してしまうおそれがある。 Therefore, it is conceivable to send an image of the sales floor in response to the customer's request. This allows the customer to know the sales floor of the product and whether there is a desired product in the sales floor. However, many customers are shopping at the sales floor. Therefore, when the sales floor is imaged, the image may show a customer who is shopping. If the customer sends an image of the image, the customer's privacy may be infringed.

本発明が解決しようとする課題は、顧客のプライバシーを守りつつ売り場の画像を送信することができるサーバ装置、及びプログラムを提供することである。 An object to be solved by the present invention is to provide a server device and a program capable of transmitting an image of a sales floor while protecting the privacy of a customer.

実施形態のサーバ装置は、第1受信手段と、記憶制御手段と、第2受信手段と、抽出手段と、人物追加手段と、送信手段とを備える。前記第1受信手段は、商品が陳列された売り場を撮像する撮像装置が撮像した画像を受信する。前記記憶制御手段は、前記第1受信手段が受信した前記画像に人物が含まれていないことを条件に、当該画像を記憶部に記憶させる。前記第2受信手段は、商品に関する商品情報により指定された前記商品の売り場が撮像された前記画像を要求する画面要求を受信する。前記抽出手段は、前記第2受信手段が受信した前記商品情報により特定される商品が陳列された売り場の前記画像を前記記憶部から抽出する。前記人物追加手段は、前記抽出手段が抽出した前記画像に、会計の順番待ちに並ぶ顧客の行列を示す人物画像を追加する。前記送信手段は、前記人物追加手段により前記人物画像が追加された前記画像を送信する。 The server device of the embodiment includes a first receiving means, a storage control means, a second receiving means, an extracting means, a person adding means, and a transmitting means. The first receiving means receives an image captured by an image pickup device that images a sales floor where products are displayed. The storage control means stores the image in the storage unit on condition that the image received by the first receiving means does not include a person. The second receiving means receives a screen request requesting the image in which the sales floor of the product specified by the product information regarding the product is captured. The extraction means extracts the image of the sales floor where the product specified by the product information received by the second receiving means is displayed from the storage unit. The person adding means adds a person image showing a line of customers waiting in line for accounting to the image extracted by the extracting means. The transmission means transmits the image to which the person image is added by the person addition means .

図1は、本実施形態にかかる商品購入補助システムの一例を示す説明図である。FIG. 1 is an explanatory diagram showing an example of a product purchase assistance system according to the present embodiment. 図2は、カメラのハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the hardware configuration of the camera. 図3は、顧客端末のハードウェア構成の一例を示すブロック図である。FIG. 3 is a block diagram showing an example of the hardware configuration of the customer terminal. 図4は、店舗サーバのハードウェア構成の一例を示すブロック図である。FIG. 4 is a block diagram showing an example of the hardware configuration of the store server. 図5は、商品マスタのデータ構成の一例を示す説明図である。FIG. 5 is an explanatory diagram showing an example of the data structure of the product master. 図6は、カメラマスタのデータ構成の一例を示す説明図である。FIG. 6 is an explanatory diagram showing an example of the data structure of the camera master. 図7は、商品購入補助システムの各種装置が備える特徴的な機能構成の一例を示すブロック図である。FIG. 7 is a block diagram showing an example of a characteristic functional configuration included in various devices of the product purchase assist system. 図8は、商品指定画面の一例を説明する説明図である。FIG. 8 is an explanatory diagram illustrating an example of a product designation screen. 図9は、売り場画面の一例を説明する説明図である。FIG. 9 is an explanatory diagram illustrating an example of the sales floor screen. 図10は、人物画像が追加された売り場画面の一例を説明する説明図である。FIG. 10 is an explanatory diagram illustrating an example of a sales floor screen to which a person image is added. 図11は、画面情報送信処理の一例を示すフローチャートである。FIG. 11 is a flowchart showing an example of screen information transmission processing.

以下、添付図面を参照して、サーバ装置、及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、サーバ装置、及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態のサーバ装置、及びプログラムは、商品購入補助システムの店舗サーバへの適用例である。 Hereinafter, embodiments of the server device and the program will be described in detail with reference to the accompanying drawings. It should be noted that the embodiment described below is an embodiment of the server device and the program, and does not limit the configuration, specifications, and the like. The server device and the program of the present embodiment are application examples of the product purchase assist system to the store server.

図1は、本実施形態にかかる商品購入補助システム1の一例を示す説明図である。商品購入補助システム1は、顧客が指定した商品が陳列された売り場の画像を送信することで買い物を補助するシステムである。商品購入補助システム1は、カメラ10と、顧客端末20と、店舗サーバ30とを備える。カメラ10と、店舗サーバ30とは、店舗内ネットワーク等のネットワークを介して通信可能に接続されている。また、顧客端末20と、店舗サーバ30とは、インターネット等のネットワークを介して通信可能に接続されている。また、商品購入補助システム1は、カメラ10と、顧客端末20と、店舗サーバ30とを何台ずつ備えていてもよい。 FIG. 1 is an explanatory diagram showing an example of a product purchase assist system 1 according to the present embodiment. The product purchase assistance system 1 is a system that assists shopping by transmitting an image of a sales floor where products designated by the customer are displayed. The product purchase assistance system 1 includes a camera 10, a customer terminal 20, and a store server 30. The camera 10 and the store server 30 are connected to each other so as to be able to communicate with each other via a network such as an in-store network. Further, the customer terminal 20 and the store server 30 are connected to each other so as to be able to communicate with each other via a network such as the Internet. Further, the product purchase assist system 1 may include any number of cameras 10, a customer terminal 20, and a store server 30.

カメラ10は、例えば店舗の各売り場に設置された撮像装置である。カメラ10は、設置された売り場を撮像する。そして、カメラ10は、撮像した画像を店舗サーバ30に送信する。 The camera 10 is, for example, an image pickup device installed in each sales floor of a store. The camera 10 takes an image of the installed sales floor. Then, the camera 10 transmits the captured image to the store server 30.

顧客端末20は、例えばスマートフォンやタブレット端末等の顧客が携帯する携帯端末である。顧客端末20は、顧客が購入したい商品を指定する操作を受け付ける。顧客端末20は、指定された商品の売り場の画像を店舗サーバ30に要求する。顧客端末20は、店舗サーバ30から送信された画像を表示する。 The customer terminal 20 is a mobile terminal carried by a customer, such as a smartphone or a tablet terminal. The customer terminal 20 accepts an operation of designating a product that the customer wants to purchase. The customer terminal 20 requests the store server 30 for an image of the sales floor of the designated product. The customer terminal 20 displays an image transmitted from the store server 30.

店舗サーバ30は、店舗に関する各種情報を記憶するサーバ装置である。店舗サーバ30は、複数台のサーバ装置等により形成されていてもよい。また、店舗サーバ30は、ハードウェアやソフトウェア等のコンピュータ資源を提供するクラウドサービス等により提供されるものであってもよい。 The store server 30 is a server device that stores various information about the store. The store server 30 may be formed by a plurality of server devices or the like. Further, the store server 30 may be provided by a cloud service or the like that provides computer resources such as hardware and software.

店舗サーバ30は、カメラ10から画像を受信した場合に、受信した画像を記憶する。その際、店舗サーバ30は、顧客が含まれている画像と、顧客が含まれていない画像とを分別して記憶する。そして、店舗サーバ30は、売り場の画像を要求された場合に、顧客が含まれていない売り場の画像を抽出する。そして、店舗サーバ30は、抽出した売り場の画像を顧客端末20に送信する。 When the store server 30 receives an image from the camera 10, the store server 30 stores the received image. At that time, the store server 30 separates and stores the image including the customer and the image not including the customer. Then, when the image of the sales floor is requested, the store server 30 extracts the image of the sales floor that does not include the customer. Then, the store server 30 transmits the extracted image of the sales floor to the customer terminal 20.

次に、商品購入補助システム1の各種装置のハードウェア構成について説明する。 Next, the hardware configuration of various devices of the product purchase assistance system 1 will be described.

図2は、カメラ10のハードウェア構成の一例を示すブロック図である。カメラ10は、制御部101と、記憶部102と、通信インタフェース103と、撮像部104とを備える。これら各部は、データバスやアドレスバス等のシステムバス105を介して相互に接続している。 FIG. 2 is a block diagram showing an example of the hardware configuration of the camera 10. The camera 10 includes a control unit 101, a storage unit 102, a communication interface 103, and an image pickup unit 104. Each of these parts is connected to each other via a system bus 105 such as a data bus or an address bus.

制御部101は、カメラ10の全体の動作を制御し、カメラ10が有する各種の機能を実現するコンピュータである。制御部101は、CPU(Central Processing Unit)と、ROM(Read Only Memory)と、RAM(Random Access Memory)とを備える。CPUは、カメラ10の動作を統括的に制御する。ROMは、電力が供給されていなくても各種データを保持する不揮発性の記憶媒体である。RAMは、指定した領域に対してデータを読み書き可能な記憶媒体である。そして、CPUは、RAMをワークエリア(作業領域)としてROM又は記憶部102等に格納されたプログラムを実行する。 The control unit 101 is a computer that controls the overall operation of the camera 10 and realizes various functions of the camera 10. The control unit 101 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory). The CPU comprehensively controls the operation of the camera 10. The ROM is a non-volatile storage medium that holds various data even when power is not supplied. RAM is a storage medium that can read and write data to a designated area. Then, the CPU executes the program stored in the ROM, the storage unit 102, or the like with the RAM as a work area (work area).

記憶部102は、フラッシュメモリなどの記憶装置である。記憶部102は、制御プログラム106を記憶する。制御プログラム106は、オペレーティングシステムや、カメラ10が備えている機能を発揮させるためのプログラムである。制御プログラム106には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。 The storage unit 102 is a storage device such as a flash memory. The storage unit 102 stores the control program 106. The control program 106 is a program for exerting the functions provided in the operating system and the camera 10. The control program 106 includes a program that exerts a characteristic function according to the present embodiment.

通信インタフェース103は、ネットワークを介して、店舗サーバ30等の他の装置と通信するためのインタフェースである。 The communication interface 103 is an interface for communicating with other devices such as the store server 30 via the network.

撮像部104は、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサである。 The image pickup unit 104 is an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor).

図3は、顧客端末20のハードウェア構成の一例を示すブロック図である。顧客端末20は、制御部201と、記憶部202と、通信インタフェース203と、表示部204と、操作部205とを備える。これら各部は、データバスやアドレスバス等のシステムバス206を介して相互に接続している。 FIG. 3 is a block diagram showing an example of the hardware configuration of the customer terminal 20. The customer terminal 20 includes a control unit 201, a storage unit 202, a communication interface 203, a display unit 204, and an operation unit 205. These parts are connected to each other via a system bus 206 such as a data bus and an address bus.

制御部201は、顧客端末20の全体の動作を制御し、顧客端末20が有する各種の機能を実現するコンピュータである。制御部201は、CPUと、ROMと、RAMとを備える。CPUは、顧客端末20の動作を統括的に制御する。ROMは、電力が供給されていなくても各種データを保持する不揮発性の記憶媒体である。RAMは、指定した領域に対してデータを読み書き可能な記憶媒体である。そして、CPUは、RAMをワークエリア(作業領域)としてROM又は記憶部202等に格納されたプログラムを実行する。 The control unit 201 is a computer that controls the overall operation of the customer terminal 20 and realizes various functions of the customer terminal 20. The control unit 201 includes a CPU, a ROM, and a RAM. The CPU comprehensively controls the operation of the customer terminal 20. The ROM is a non-volatile storage medium that holds various data even when power is not supplied. RAM is a storage medium that can read and write data to a designated area. Then, the CPU executes the program stored in the ROM, the storage unit 202, or the like with the RAM as a work area (work area).

記憶部202は、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの記憶装置である。記憶部202は、制御プログラム207を記憶する。 The storage unit 202 is a storage device such as an HDD (Hard Disk Drive) or SSD (Solid State Drive). The storage unit 202 stores the control program 207.

制御プログラム207は、オペレーティングシステムや、顧客端末20が備えている機能を発揮させるためのプログラムである。制御プログラム207には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。 The control program 207 is a program for exerting the functions provided in the operating system and the customer terminal 20. The control program 207 includes a program that exerts a characteristic function according to the present embodiment.

通信インタフェース203は、ネットワークを介して、店舗サーバ30等の他の装置と通信するためのインタフェースである。 The communication interface 203 is an interface for communicating with other devices such as the store server 30 via the network.

表示部204は、例えば液晶ディスプレイ等の表示装置である。操作部205は、例えば表示部204に積層されたタッチパネルである。操作部205は、表示部204上のタッチ操作された箇所を検知して、表示部204が表示している表示要素に応じた操作が入力されたと判断する。これにより、操作部205は、表示部204が表示したキーが操作されたとしてキーの操作を受け付ける。なお、操作部205は、タッチパネルに限らず、ハードウェアキーを備えていてもよい。 The display unit 204 is a display device such as a liquid crystal display. The operation unit 205 is, for example, a touch panel laminated on the display unit 204. The operation unit 205 detects the touch-operated portion on the display unit 204, and determines that the operation corresponding to the display element displayed by the display unit 204 has been input. As a result, the operation unit 205 accepts the operation of the key as if the key displayed by the display unit 204 was operated. The operation unit 205 is not limited to the touch panel, and may be provided with a hardware key.

図4は、店舗サーバ30のハードウェア構成の一例を示すブロック図である。店舗サーバ30は、制御部301と、記憶部302と、通信インタフェース303と、表示部304と、操作部305とを備える。これら各部は、データバスやアドレスバス等のシステムバス306を介して相互に接続している。 FIG. 4 is a block diagram showing an example of the hardware configuration of the store server 30. The store server 30 includes a control unit 301, a storage unit 302, a communication interface 303, a display unit 304, and an operation unit 305. These parts are connected to each other via a system bus 306 such as a data bus or an address bus.

制御部301は、店舗サーバ30の全体の動作を制御し、店舗サーバ30が有する各種の機能を実現するコンピュータである。制御部301は、CPUと、ROMと、RAMとを備える。CPUは、店舗サーバ30の動作を統括的に制御する。ROMは、電力が供給されていなくても各種データを保持する不揮発性の記憶媒体である。RAMは、指定した領域に対してデータを読み書き可能な記憶媒体である。そして、CPUは、RAMをワークエリア(作業領域)としてROM又は記憶部302等に格納されたプログラムを実行する。 The control unit 301 is a computer that controls the overall operation of the store server 30 and realizes various functions of the store server 30. The control unit 301 includes a CPU, a ROM, and a RAM. The CPU comprehensively controls the operation of the store server 30. The ROM is a non-volatile storage medium that holds various data even when power is not supplied. RAM is a storage medium that can read and write data to a designated area. Then, the CPU executes the program stored in the ROM, the storage unit 302, or the like with the RAM as a work area (work area).

記憶部302は、HDDやSSD等の記憶装置である。記憶部302は、制御プログラム307と、商品マスタ308と、カメラマスタ309とを記憶する。また、商品マスタ308と、カメラマスタ309とは、他のサーバ装置等に記憶されていてもよい。 The storage unit 302 is a storage device such as an HDD or SSD. The storage unit 302 stores the control program 307, the product master 308, and the camera master 309. Further, the product master 308 and the camera master 309 may be stored in another server device or the like.

制御プログラム307は、オペレーティングシステムや、店舗サーバ30が備えている機能を発揮させるためのプログラムである。制御プログラム307には、本実施形態に係る特徴的な機能を発揮させるプログラムが含まれる。 The control program 307 is a program for exerting the functions provided in the operating system and the store server 30. The control program 307 includes a program that exerts a characteristic function according to the present embodiment.

商品マスタ308は、商品に関する各種情報を記憶するデータベースである。ここで、図5は、商品マスタ308のデータ構成の一例を示す説明図である。商品マスタ308は、商品情報と、位置情報と、在庫情報とを関連付けて記憶する。商品情報は、商品に関する各種情報である。例えば、商品情報には、商品コード、名称、価格、及び製造者等が含まれる。商品コードは、商品を識別可能な識別情報である。名称は、商品の名称である。価格は、商品の販売価格である。製造者は、商品を製造した企業等である。位置情報は、店舗の売り場において商品が陳列されている位置を示す情報である。例えば、位置情報は、商品が陳列されている売り場や棚等の名称であってもよいし、商品が陳列されている位置を示す座標であってもよいし、商品が陳列されている位置を示す地図であってもよい。在庫情報は、商品の在庫数や、在庫の有無等を示す情報である。 The product master 308 is a database that stores various information about products. Here, FIG. 5 is an explanatory diagram showing an example of the data structure of the product master 308. The product master 308 stores the product information, the location information, and the inventory information in association with each other. Product information is various information about products. For example, the product information includes a product code, a name, a price, a manufacturer, and the like. The product code is identification information that can identify the product. The name is the name of the product. The price is the selling price of the product. The manufacturer is a company or the like that manufactured the product. The location information is information indicating the location where the product is displayed in the sales floor of the store. For example, the location information may be the name of a sales floor or a shelf on which the product is displayed, may be coordinates indicating the position where the product is displayed, or may be the position where the product is displayed. It may be a map showing. Inventory information is information indicating the number of products in stock, the presence or absence of inventory, and the like.

カメラマスタ309は、カメラ10に関する各種情報を記憶するデータベースである。ここで、図6は、カメラマスタ309のデータ構成の一例を示す説明図である。カメラマスタ309は、カメラコードと、位置情報と、人物追加フラグと、追加位置情報と、有人画像と、無人画像とを関連付けて記憶する。カメラコードは、カメラ10を識別可能な識別情報である。位置情報は、カメラ10が撮像している売り場の位置を示す情報である。 The camera master 309 is a database that stores various information about the camera 10. Here, FIG. 6 is an explanatory diagram showing an example of the data structure of the camera master 309. The camera master 309 stores the camera code, the position information, the person addition flag, the additional position information, the manned image, and the unmanned image in association with each other. The camera code is identification information that can identify the camera 10. The position information is information indicating the position of the sales floor imaged by the camera 10.

ここで、顧客は、商品の会計等の順番待ちにおいて売り場の何処に並ぶべきかが分からない場合がある。そこで、会計等の順番待ちの行列位置を撮像するカメラ10の画像に、行列に並んでいる顧客の人物画像が追加される場合がある。人物追加フラグは、カメラ10が撮像した画像に人物画像を追加するか否かを示すフラグである。追加位置情報は、カメラ10が撮像した画像に追加する人物画像の位置を示す情報である。追加位置情報は、例えば、画像の座標を示す情報である。 Here, the customer may not know where to line up at the sales floor in the waiting list for product accounting or the like. Therefore, there is a case where a person image of a customer who is lined up in a line is added to an image of a camera 10 that captures a line position waiting in line for accounting or the like. The person addition flag is a flag indicating whether or not to add a person image to the image captured by the camera 10. The additional position information is information indicating the position of a person image to be added to the image captured by the camera 10. The additional position information is, for example, information indicating the coordinates of the image.

有人画像は、カメラ10が撮像した画像のうち、顧客等の人物が含まれている画像である。無人画像は、カメラ10が撮像した画像のうち、顧客等の人物が含まれていない画像である。 The manned image is an image that includes a person such as a customer among the images captured by the camera 10. The unmanned image is an image captured by the camera 10 that does not include a person such as a customer.

通信インタフェース303は、ネットワークを介して、カメラ10や顧客端末20等の他の装置と通信するためのインタフェースである。 The communication interface 303 is an interface for communicating with other devices such as the camera 10 and the customer terminal 20 via the network.

表示部304は、例えば液晶ディスプレイ等の表示装置である。操作部305は、例えばキーボードやマウス等の入力装置である。 The display unit 304 is a display device such as a liquid crystal display. The operation unit 305 is an input device such as a keyboard or a mouse.

次に、商品購入補助システム1の各種装置が備える特徴的な機能について説明する。ここで、図7は、商品購入補助システム1の各種装置が備える特徴的な機能構成の一例を示すブロック図である。 Next, the characteristic functions of the various devices of the product purchase assist system 1 will be described. Here, FIG. 7 is a block diagram showing an example of a characteristic functional configuration included in various devices of the product purchase assist system 1.

カメラ10の制御部101は、記憶部102の制御プログラム106をRAMに展開し、制御プログラム106に従って動作することで、図7に示す各機能部をRAM上に生成する。具体的には、カメラ10の制御部101は、機能部として、通信制御部1001、撮像制御部1002、及び画像送信部1003を備える。 The control unit 101 of the camera 10 expands the control program 106 of the storage unit 102 into the RAM and operates according to the control program 106 to generate each functional unit shown in FIG. 7 on the RAM. Specifically, the control unit 101 of the camera 10 includes a communication control unit 1001, an image pickup control unit 1002, and an image transmission unit 1003 as functional units.

通信制御部1001は、通信インタフェース103を制御して、ネットワークに接続された装置との通信を制御する。例えば、通信制御部1001は、店舗サーバ30との通信を制御する。 The communication control unit 1001 controls the communication interface 103 to control communication with a device connected to the network. For example, the communication control unit 1001 controls communication with the store server 30.

撮像制御部1002は、撮像部104を制御して、画像を撮像する。 The image pickup control unit 1002 controls the image pickup unit 104 to take an image.

画像送信部1003は、撮像制御部1002が撮像部104に撮像させた画像を通信制御部1001に店舗サーバ30へ送信させる。 The image transmission unit 1003 causes the communication control unit 1001 to transmit the image captured by the image pickup control unit 1002 to the store server 30.

顧客端末20の制御部201は、記憶部202の制御プログラム207をRAMに展開し、制御プログラム207に従って動作することで、図7に示す各機能部をRAM上に生成する。具体的には、顧客端末20の制御部201は、機能部として、通信制御部2001、操作制御部2002、表示制御部2003、及び画像要求部2004を備える。 The control unit 201 of the customer terminal 20 expands the control program 207 of the storage unit 202 into the RAM and operates according to the control program 207 to generate each functional unit shown in FIG. 7 on the RAM. Specifically, the control unit 201 of the customer terminal 20 includes a communication control unit 2001, an operation control unit 2002, a display control unit 2003, and an image request unit 2004 as functional units.

通信制御部2001は、通信インタフェース203を制御して、ネットワークに接続された装置との通信を制御する。例えば、通信制御部2001は、店舗サーバ30との通信を制御する。 The communication control unit 2001 controls the communication interface 203 to control communication with a device connected to the network. For example, the communication control unit 2001 controls communication with the store server 30.

操作制御部2002は、操作部205を制御して、各種操作を受け付ける。 The operation control unit 2002 controls the operation unit 205 and accepts various operations.

表示制御部2003は、表示部204を制御して、各種画像を表示させる。 The display control unit 2003 controls the display unit 204 to display various images.

画像要求部2004は、指定した商品が陳列されている売り場の画像を店舗サーバ30に要求する処理を制御する。さらに詳しくは、画像要求部2004は、商品を指定する商品指定画面G1を表示制御部2003に表示させる。 The image requesting unit 2004 controls a process of requesting the store server 30 for an image of the sales floor where the designated product is displayed. More specifically, the image request unit 2004 causes the display control unit 2003 to display the product designation screen G1 for designating the product.

ここで、図8は、商品指定画面G1の一例を説明する説明図である。商品指定画面G1は、表示させたい売り場の商品を指定する画面である。商品指定画面G1には、商品情報入力領域G11と、OKボタンG12と、キャンセルボタンG13とを備える。商品情報入力領域G11は、指定する商品の商品情報を入力する入力領域である。図8に示す商品情報入力領域G11には、商品名称と、製造者と、形態とを入力する入力欄が表示されている。しかし、商品情報入力領域G11は、これら項目に限らず、他の項目を入力する入力欄を備えていてもよいし、これら項目の何れかが無くてもよい。OKボタンG12は、商品情報入力領域G11に入力した商品情報により特定される売り場を表示させる操作を受け付けるボタンである。キャンセルボタンG13は、売り場の表示を中止する操作を受け付けるボタンである。 Here, FIG. 8 is an explanatory diagram illustrating an example of the product designation screen G1. The product designation screen G1 is a screen for designating a product in the sales floor to be displayed. The product designation screen G1 includes a product information input area G11, an OK button G12, and a cancel button G13. The product information input area G11 is an input area for inputting product information of a designated product. In the product information input area G11 shown in FIG. 8, an input field for inputting a product name, a manufacturer, and a form is displayed. However, the product information input area G11 is not limited to these items, and may include an input field for inputting other items, or may not have any of these items. The OK button G12 is a button that accepts an operation of displaying a sales floor specified by the product information input in the product information input area G11. The cancel button G13 is a button that accepts an operation of canceling the display of the sales floor.

画像要求部2004は、操作制御部2002がOKボタンG12を押下する操作を受け付けた場合に、商品情報により指定された商品の売り場の画像を有する画面を要求する画面要求を通信制御部2001に送信させる。画面要求には、商品情報入力領域G11に入力された商品情報が含まれている。そして、画像要求部2004は、画面要求の応答として売り場画面G2の画面情報を受信した場合に、売り場画面G2を表示制御部2003に表示させる。 When the operation control unit 2002 accepts the operation of pressing the OK button G12, the image request unit 2004 transmits a screen request requesting a screen having an image of the sales floor of the product specified by the product information to the communication control unit 2001. Let me. The screen request includes the product information input in the product information input area G11. Then, when the image request unit 2004 receives the screen information of the sales floor screen G2 as a response to the screen request, the image request unit 2004 causes the display control unit 2003 to display the sales floor screen G2.

ここで、図9は、売り場画面G2の一例を説明する説明図である。売り場画面G2は、商品指定画面G1で入力された商品情報により特定される商品が陳列された売り場の画像を含む画面である。売り場画面G2には、在庫表示領域G21と、位置表示領域G22と、売り場画像G23と、閉じるボタンG24とが含まれている。在庫表示領域G21は、指定された商品の在庫状況を表示する領域である。在庫表示領域G21には、例えば在庫の有無が表示される。また、指定された商品を店舗で取り扱っていない場合には、在庫表示領域G21には、取り扱っていないことが表示される。図9に示す在庫表示領域G21には、在庫の有無が表示されているが、在庫の有無に限らず、在庫数が表示されてもよい。位置表示領域G22は、指定された商品が陳列されている売り場の位置を示す情報を表示する領域である。図9に示す位置表示領域G22には、売り場の名称が表示されているが、売り場の名称に限らず、地図により売り場の位置を表示されてもよい。売り場画像G23は、指定された商品が陳列されている売り場を撮像した画像である。閉じるボタンG24は、売り場画面G2を閉じる操作を受け付けるボタンである。 Here, FIG. 9 is an explanatory diagram illustrating an example of the sales floor screen G2. The sales floor screen G2 is a screen including an image of the sales floor where the products specified by the product information input on the product designation screen G1 are displayed. The sales floor screen G2 includes an inventory display area G21, a position display area G22, a sales floor image G23, and a close button G24. The inventory display area G21 is an area for displaying the inventory status of the designated product. In the inventory display area G21, for example, the presence or absence of inventory is displayed. Further, when the designated product is not handled in the store, it is displayed in the inventory display area G21 that the designated product is not handled. Although the presence or absence of inventory is displayed in the inventory display area G21 shown in FIG. 9, the number of stocks may be displayed regardless of the presence or absence of inventory. The position display area G22 is an area for displaying information indicating the position of the sales floor where the designated product is displayed. Although the name of the sales floor is displayed in the position display area G22 shown in FIG. 9, the position of the sales floor may be displayed by a map, not limited to the name of the sales floor. The sales floor image G23 is an image of a sales floor on which the designated product is displayed. The close button G24 is a button that accepts an operation of closing the sales floor screen G2.

ところで、顧客は、商品の会計等の順番待ちにおいて売り場の何処に並ぶべきかが分からない場合がある。そこで、商品指定画面G1で入力された商品情報により特定される商品が陳列された売り場の画像に、会計等の順番待ちの顧客の行列の位置が含まれている場合には、通信制御部2001は、売り場画像G23に人物画像が追加された画面情報を受信する。これにより、表示制御部2003は、人物画像が追加された売り場画像G23を表示させる。 By the way, a customer may not know where to line up in the sales floor when waiting for a product to be checked out. Therefore, if the image of the sales floor where the product specified by the product information input on the product designation screen G1 is displayed includes the position of the queue of customers waiting in line for accounting or the like, the communication control unit 2001 Receives screen information in which a person image is added to the sales floor image G23. As a result, the display control unit 2003 displays the sales floor image G23 to which the person image is added.

ここで、図10は、人物画像が追加された売り場画面G2の一例を説明する説明図である。図10に示す売り場画像G23には、会計等の順番待ちの顧客の行列を示す人物画像が表示されている。よって、顧客は、会計等の順番待ちで何処に並べばよいかが分かる。 Here, FIG. 10 is an explanatory diagram illustrating an example of the sales floor screen G2 to which a person image is added. In the sales floor image G23 shown in FIG. 10, a person image showing a line of customers waiting in line for accounting or the like is displayed. Therefore, the customer knows where to line up in the waiting list for accounting and the like.

店舗サーバ30の制御部301は、記憶部302の制御プログラム307をRAMに展開し、制御プログラム307に従って動作することで、図7に示す各機能部をRAM上に生成する。具体的には、店舗サーバ30の制御部301は、機能部として、通信制御部3001、人物検出部3002、画像記憶部3003、情報抽出部3004、人物追加部3005、及び画面生成部3006を備える。 The control unit 301 of the store server 30 expands the control program 307 of the storage unit 302 in the RAM and operates according to the control program 307 to generate each functional unit shown in FIG. 7 on the RAM. Specifically, the control unit 301 of the store server 30 includes a communication control unit 3001, a person detection unit 3002, an image storage unit 3003, an information extraction unit 3004, a person addition unit 3005, and a screen generation unit 3006 as functional units. ..

通信制御部3001は、通信インタフェース303を制御して、ネットワークに接続された装置との通信を制御する。例えば、通信制御部3001は、カメラ10との通信を制御する。また、通信制御部3001は、顧客端末20との通信を制御する。 The communication control unit 3001 controls the communication interface 303 to control communication with a device connected to the network. For example, the communication control unit 3001 controls communication with the camera 10. Further, the communication control unit 3001 controls communication with the customer terminal 20.

通信制御部3001は、第1受信手段、第2受信手段、及び送信手段の一例である。通信制御部3001は、例えばカメラ10からカメラ10が撮像した売り場の画像を受信する。また、通信制御部3001は、例えば顧客端末20から売り場画面G2を表示させる画面情報を要求する画面要求を受信する。そして、通信制御部3001は、画面要求の応答として売り場画面G2を表示させる画面情報を送信する。 The communication control unit 3001 is an example of a first receiving means, a second receiving means, and a transmitting means. The communication control unit 3001 receives, for example, an image of the sales floor captured by the camera 10 from the camera 10. Further, the communication control unit 3001 receives, for example, a screen request from the customer terminal 20 for requesting screen information for displaying the sales floor screen G2. Then, the communication control unit 3001 transmits screen information for displaying the sales floor screen G2 as a response to the screen request.

人物検出部3002は、通信制御部3001がカメラ10から売り場の画像を受信した場合に、受信した画像に顧客等の人物が含まれているか否かを判定する。さらに詳しくは、例えば、記憶部302は、人物の形状等に共通して存在する特徴を示す特徴量を記憶する。そして、人物検出部3002は、受信した画像から、記憶部302に記憶した特徴量と同様の特徴量を検出した場合に、画像に人物が含まれていると判定する。一方、人物検出部3002は、受信した画像から、記憶部302に記憶した特徴量と同様の特徴量を検出しない場合に、画像に人物が含まれていないと判定する。 When the communication control unit 3001 receives an image of the sales floor from the camera 10, the person detection unit 3002 determines whether or not the received image includes a person such as a customer. More specifically, for example, the storage unit 302 stores a feature amount indicating a feature that is commonly present in the shape of a person or the like. Then, when the person detection unit 3002 detects a feature amount similar to the feature amount stored in the storage unit 302 from the received image, the person detection unit 3002 determines that the image contains a person. On the other hand, when the person detection unit 3002 does not detect a feature amount similar to the feature amount stored in the storage unit 302 from the received image, the person detection unit 3002 determines that the image does not include a person.

画像記憶部3003は、記憶制御手段の一例である。画像記憶部3003は、人物検出部3002が画像に人物が含まれていると判定した場合に、画像を送信したカメラ10を示すカメラコードに関連付けて、判定対象の画像を有人画像としてカメラマスタ309に記憶させる。また、画像記憶部3003は、人物検出部3002が画像に人物が含まれていないと判定した場合に、画像を送信したカメラ10を示すカメラコードに関連付けて、判定対象の画像を無人画像としてカメラマスタ309に記憶させる。 The image storage unit 3003 is an example of the storage control means. When the person detection unit 3002 determines that the image contains a person, the image storage unit 3003 associates the image with the camera code indicating the camera 10 that transmitted the image, and sets the image to be determined as a manned image in the camera master 309. To memorize. Further, when the person detection unit 3002 determines that the image does not include a person, the image storage unit 3003 associates the image with the camera code indicating the camera 10 that transmitted the image, and sets the image to be determined as an unmanned image. Store it in the master 309.

情報抽出部3004は、抽出手段の一例である。情報抽出部3004は、通信制御部3001が売り場画面G2を表示させる画面情報を要求する画面要求を受信した場合に、画面要求に含まれる商品情報が、商品マスタ308に記憶された何れの商品を示しているかを認定する。そして、情報抽出部3004は、認定した商品に関する情報であって、売り場画面G2の生成に使用する各種情報を抽出する。 The information extraction unit 3004 is an example of the extraction means. When the communication control unit 3001 receives a screen request for requesting screen information for displaying the sales floor screen G2, the information extraction unit 3004 stores any product in the product master 308 as the product information included in the screen request. Approve if it is shown. Then, the information extraction unit 3004 extracts various information related to the certified product and used for generating the sales floor screen G2.

さらに詳しくは、情報抽出部3004は、画面要求に含まれる商品情報の全部と一致する商品情報が商品マスタ308に記憶されているか否かを判定する。情報抽出部3004は、商品情報の全部が一致する商品情報が商品マスタ308に記憶されている場合に、画面要求に含まれる商品情報は全部が一致した商品情報の商品を示していると認定する。また、情報抽出部3004は、画面要求に含まれる商品情報により特定される商品を店舗で取り扱っていると判定する。そして、情報抽出部3004は、認定した商品に関する情報を抽出する。 More specifically, the information extraction unit 3004 determines whether or not the product information that matches all of the product information included in the screen request is stored in the product master 308. When the product information in which all the product information matches is stored in the product master 308, the information extraction unit 3004 determines that the product information included in the screen request indicates the product with the product information in which all match. .. Further, the information extraction unit 3004 determines that the store handles the product specified by the product information included in the screen request. Then, the information extraction unit 3004 extracts information about the certified product.

一方、情報抽出部3004は、画面要求に含まれる商品情報の全部と一致する商品情報の商品が商品マスタ308に記憶されていない場合に、画面要求に含まれる商品情報の一部と一致する商品情報の商品が商品マスタ308に記憶されているか否かを判定する。情報抽出部3004は、商品情報の一部が一致する商品情報の商品が商品マスタ308に記憶されている場合に、画面要求に含まれる商品情報は一部が一致した商品情報の商品を示していると認定する。また、情報抽出部3004は、画面要求に含まれる商品情報により特定される商品は店舗で取り扱っていないが類似している商品は取り扱っていると判定する。そして、情報抽出部3004は、認定した商品に関する情報を抽出する。 On the other hand, the information extraction unit 3004 is a product that matches a part of the product information included in the screen request when the product of the product information that matches all the product information included in the screen request is not stored in the product master 308. It is determined whether or not the information product is stored in the product master 308. When the product of the product information in which a part of the product information matches is stored in the product master 308, the information extraction unit 3004 indicates the product of the product information in which the part of the product information matches in the screen request. Certify that you are. Further, the information extraction unit 3004 determines that the product specified by the product information included in the screen request is not handled in the store, but similar products are handled. Then, the information extraction unit 3004 extracts information about the certified product.

ここで、類似している商品の認定について、画面要求に含まれる商品情報で商品名称「名称A」と製造者「製造者B」とが指定された場合を例に説明する。商品マスタ308には、商品名称「名称A」と製造者「製造者A」との商品情報は記憶されているが、商品名称「名称A」と製造者「製造者B」との商品情報は記憶されていないとする。この場合、情報抽出部3004は、画面要求に含まれる商品情報は商品名称「名称A」の商品を、画面要求で指定された商品と認定する。 Here, the certification of similar products will be described by taking as an example the case where the product name "name A" and the manufacturer "manufacturer B" are specified in the product information included in the screen request. The product master 308 stores the product information of the product name "name A" and the manufacturer "manufacturer A", but the product information of the product name "name A" and the manufacturer "manufacturer B" is stored. It is not remembered. In this case, the information extraction unit 3004 recognizes the product with the product name "name A" as the product specified in the screen request as the product information included in the screen request.

情報抽出部3004は、画面要求に含まれる商品情報の全部と一致する商品情報の商品がある場合には、商品情報が一致した商品の位置情報と、在庫情報とを抽出する。一方、情報抽出部3004は、画面要求に含まれる商品情報と類似する商品がある判定した場合には、類似する商品の位置情報を抽出する。また、情報抽出部3004は、画面要求に含まれる商品情報と一致する商品は取り扱っていないことを示す在庫情報を生成する。 When there is a product with product information that matches all of the product information included in the screen request, the information extraction unit 3004 extracts the position information and the inventory information of the product that matches the product information. On the other hand, when the information extraction unit 3004 determines that there is a product similar to the product information included in the screen request, the information extraction unit 3004 extracts the position information of the similar product. Further, the information extraction unit 3004 generates inventory information indicating that the product matching the product information included in the screen request is not handled.

また、情報抽出部3004は、抽出した位置情報と、カメラマスタ309の位置情報とを比較して、抽出した位置情報を含む範囲を撮像するカメラ10を示すカメラコードを、カメラマスタ309から抽出する。そして、情報抽出部3004は、抽出したカメラコードに関連付けられている最新の無人画像を、カメラマスタ309から抽出する。 Further, the information extraction unit 3004 compares the extracted position information with the position information of the camera master 309, and extracts a camera code indicating the camera 10 that captures a range including the extracted position information from the camera master 309. .. Then, the information extraction unit 3004 extracts the latest unmanned image associated with the extracted camera code from the camera master 309.

人物追加部3005は、人物追加手段の一例である。人物追加部3005は、人物追加フラグ、及び追加位置情報に基づいて、情報抽出部3004が抽出した無人画像に人物画像を追加する画像処理を実行する。さらに詳しくは、人物追加部3005は、カメラマスタ309において、情報抽出部3004が抽出した無人画像に関連付けられている人物追加フラグが、人物画像の追加を示しているか否かを判定する。人物追加部3005は、人物追加フラグが追加を示している場合に、追加位置情報で指定された位置に行列に並んでいる人物画像を、情報抽出部3004が抽出した画像に追加する。一方、人物追加部3005は、人物追加フラグが追加不要を示している場合に、人物画像は追加しない。 The person addition unit 3005 is an example of a person addition means. The person addition unit 3005 executes image processing for adding a person image to the unmanned image extracted by the information extraction unit 3004 based on the person addition flag and the additional position information. More specifically, the person addition unit 3005 determines in the camera master 309 whether or not the person addition flag associated with the unmanned image extracted by the information extraction unit 3004 indicates the addition of the person image. When the person addition flag indicates addition, the person addition unit 3005 adds the person images arranged in the matrix at the position specified by the additional position information to the image extracted by the information extraction unit 3004. On the other hand, the person addition unit 3005 does not add a person image when the person addition flag indicates that addition is unnecessary.

画面生成部3006は、画面情報を生成する。さらに詳しくは、画面生成部3006は、情報抽出部3004が抽出した位置情報と、情報抽出部3004が抽出又は生成した在庫情報と、情報抽出部3004が抽出した画像とに基づいて、売り場画面G2を表示させる画面情報を生成する。また、画面生成部3006は、人物追加部3005が人物画像を追加した場合には、人物画像の追加された画像に基づいて、売り場画面G2を表示させる画面情報を生成する。そして、画面生成部3006は、生成した画面情報を通信制御部3001に送信させる。 The screen generation unit 3006 generates screen information. More specifically, the screen generation unit 3006 is based on the position information extracted by the information extraction unit 3004, the inventory information extracted or generated by the information extraction unit 3004, and the image extracted by the information extraction unit 3004, and the sales floor screen G2. Generate screen information to display. Further, when the person addition unit 3005 adds a person image, the screen generation unit 3006 generates screen information for displaying the sales floor screen G2 based on the added image of the person image. Then, the screen generation unit 3006 causes the communication control unit 3001 to transmit the generated screen information.

次に、店舗サーバ30が実行する画面情報送信処理について説明する。ここで、図11は、本実施形態の店舗サーバ30が実行する画面情報送信処理の一例を示すフローチャートである。 Next, the screen information transmission process executed by the store server 30 will be described. Here, FIG. 11 is a flowchart showing an example of the screen information transmission process executed by the store server 30 of the present embodiment.

通信制御部3001は、画面要求を受信したか否かを判定する(ステップS1)。 The communication control unit 3001 determines whether or not the screen request has been received (step S1).

画面要求を受信していないことを条件に(ステップS1;No)、店舗サーバ30は、ステップS1で待機する。 The store server 30 waits in step S1 on condition that the screen request has not been received (step S1; No).

画面要求を受信したことを条件に(ステップS1;Yes)、情報抽出部3004は、画面要求に含まれる商品情報の全部と一致する商品情報の商品が商品マスタ308に記憶されているか否かを判定する(ステップS2)。 On condition that the screen request is received (step S1; Yes), the information extraction unit 3004 determines whether or not the product of the product information that matches all of the product information included in the screen request is stored in the product master 308. Determination (step S2).

商品情報の全部が一致する商品が商品マスタ308に記憶されていることを条件に(ステップS2;Yes)、情報抽出部3004は、該当する商品情報に関連付けられている在庫情報を抽出する(ステップS3)。 The information extraction unit 3004 extracts the inventory information associated with the corresponding product information (step S2; Yes) on condition that the product in which all the product information matches is stored in the product master 308 (step S2; Yes). S3).

商品情報の一部が一致する商品が商品マスタ308に記憶されていることを条件に(ステップS2;No)、情報抽出部3004は、画面要求に含まれた商品情報に該当する商品は取り扱っていないことを示す在庫情報を生成する(ステップS4)。 On condition that a product that partially matches the product information is stored in the product master 308 (step S2; No), the information extraction unit 3004 handles the product corresponding to the product information included in the screen request. Generate inventory information indicating that there is no product (step S4).

情報抽出部3004は、商品情報の全部又は一部が一致する商品の位置情報を商品マスタ308から抽出する(ステップS5)。 The information extraction unit 3004 extracts the position information of the product in which all or part of the product information matches from the product master 308 (step S5).

情報抽出部3004は、ステップS4で抽出した位置情報と、カメラマスタ309の各位置情報とを比較して、ステップS4で抽出した位置情報を含む範囲を撮像した無人画像をカメラマスタ309から抽出する(ステップS6)。 The information extraction unit 3004 compares the position information extracted in step S4 with each position information of the camera master 309, and extracts an unmanned image in which the range including the position information extracted in step S4 is captured from the camera master 309. (Step S6).

情報抽出部3004は、ステップS6で抽出した無人画像に関連付けられている人物追加フラグが人物追加を示しているか否かを判定する(ステップS7)。人物追加フラグが人物追加を示していないことを条件に(ステップS7;No)、店舗サーバ30は、ステップS9に移行する。 The information extraction unit 3004 determines whether or not the person addition flag associated with the unmanned image extracted in step S6 indicates the person addition (step S7). The store server 30 proceeds to step S9 on condition that the person addition flag does not indicate the person addition (step S7; No).

人物追加フラグが人物追加を示していることを条件に(ステップS7;Yes)、人物追加部3005は、人物追加フラグに関連付けられている追加位置情報が示す無人画像の位置に、会計等の順番待ちに並ぶ顧客の行列を示す人物画像を追加する(ステップS8)。 On condition that the person addition flag indicates the person addition (step S7; Yes), the person addition unit 3005 places the order of accounting, etc. at the position of the unmanned image indicated by the additional position information associated with the person addition flag. A person image showing a line of waiting customers is added (step S8).

画面生成部3006は、位置情報と、在庫情報と、画像とに基づいて、売り場画面G2を表示させる画面情報を生成する(ステップS9)。 The screen generation unit 3006 generates screen information for displaying the sales floor screen G2 based on the position information, the inventory information, and the image (step S9).

通信制御部3001は、生成した画面情報を送信する(ステップS10)。 The communication control unit 3001 transmits the generated screen information (step S10).

以上により店舗サーバ30は、画面情報送信処理を終了する。 As a result, the store server 30 ends the screen information transmission process.

以上のように、本実施形態に係る店舗サーバ30は、商品の各売り場を撮像するカメラ10が撮像した画像を受信する。そして、店舗サーバ30は、受信した画像に顧客等の人物が含まれていない場合に、画像を無人画像としてカメラマスタ309に記憶させる。また、店舗サーバ30は、売り場画面G2を表示させる画面情報を要求する画面要求を受信した場合に、画面要求に含まれる商品情報が示している商品を認定する。店舗サーバ30は、認定した商品を陳列している売り場の画像を、カメラマスタ309の無人画像から抽出する。そして、店舗サーバ30は、抽出した画像を含む売り場画面G2を表示させる画面情報を送信する。すなわち、店舗サーバ30は、顧客が写り込んでいない売り場の画像を送信する。従って、本実施形態に係る店舗サーバ30は、顧客のプライバシーを守りつつ売り場の画像を送信することができる。 As described above, the store server 30 according to the present embodiment receives the image captured by the camera 10 that captures each sales floor of the product. Then, when the received image does not include a person such as a customer, the store server 30 stores the image as an unmanned image in the camera master 309. Further, when the store server 30 receives a screen request requesting screen information for displaying the sales floor screen G2, the store server 30 certifies the product indicated by the product information included in the screen request. The store server 30 extracts an image of the sales floor displaying the certified products from the unmanned image of the camera master 309. Then, the store server 30 transmits screen information for displaying the sales floor screen G2 including the extracted image. That is, the store server 30 transmits an image of the sales floor in which the customer is not reflected. Therefore, the store server 30 according to the present embodiment can transmit the image of the sales floor while protecting the privacy of the customer.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

また、上記実施形態では、画面生成部3006は、情報抽出部3004がカメラマスタ309の無人画像を使用して売り場画面G2を生成すると説明した。しかしながら、情報抽出部3004は、有人画像から顧客が含まれていない画像を生成する。そして、画面生成部3006は、情報抽出部3004が生成した画像を使用して売り場画面G2を生成してもよい。例えば、情報抽出部3004は、有人画像における顧客が写っている部分を特定する。情報抽出部3004は、有人画像を撮像したカメラ10と同一のカメラ10が撮像した無人画像から、特定した部分の画像を切り出す。情報抽出部3004は、有人画像における顧客が写っている部分の画像を、切り出した画像に置き換える。これにより、情報抽出部3004は、有人画像から顧客が含まれていない画像を生成する。 Further, in the above embodiment, the screen generation unit 3006 has explained that the information extraction unit 3004 uses the unmanned image of the camera master 309 to generate the sales floor screen G2. However, the information extraction unit 3004 generates an image that does not include the customer from the manned image. Then, the screen generation unit 3006 may generate the sales floor screen G2 using the image generated by the information extraction unit 3004. For example, the information extraction unit 3004 identifies a portion of a manned image in which a customer is shown. The information extraction unit 3004 cuts out an image of a specified portion from an unmanned image captured by the same camera 10 as the camera 10 that captured the manned image. The information extraction unit 3004 replaces the image of the portion of the manned image in which the customer is shown with a cut-out image. As a result, the information extraction unit 3004 generates an image that does not include the customer from the manned image.

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。 The program executed by each device of the above-described embodiment or modification shall be provided by incorporating it into a storage medium (ROM or storage unit) provided in each device in advance, but the program is not limited to this. For example, a file in an installable format or an executable format should be recorded and provided on a computer-readable recording medium such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versatile Disk). It may be configured in. Further, the storage medium is not limited to a medium independent of a computer or an embedded system, but also includes a storage medium in which a program transmitted by a LAN, the Internet, or the like is downloaded and stored or temporarily stored.

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。 Further, the program executed by each device of the above-described embodiment or modification may be stored on a computer connected to a network such as the Internet and provided by downloading via the network, or may be configured to be provided on the Internet. It may be configured to be provided or distributed via a network such as.

1 商品購入補助システム
10 カメラ
20 顧客端末
30 店舗サーバ
308 商品マスタ
309 カメラマスタ
1001、2001、3001 通信制御部
1002 撮像制御部
1003 画像送信部
2002 操作制御部
2003 表示制御部
2004 画像要求部
3002 人物検出部
3003 画像記憶部
3004 情報抽出部
3005 人物追加部
3006 画面生成部
1 Product purchase assistance system 10 Camera 20 Customer terminal 30 Store server 308 Product master 309 Camera master 1001, 2001, 3001 Communication control unit 1002 Image control unit 1003 Image transmission unit 2002 Operation control unit 2003 Display control unit 2004 Image request unit 3002 Person detection Part 3003 Image storage part 3004 Information extraction part 3005 Person addition part 3006 Screen generation part

特開2016-207164号公報Japanese Unexamined Patent Publication No. 2016-207164

Claims (5)

商品が陳列された売り場を撮像する撮像装置が撮像した画像を受信する第1受信手段と、
前記第1受信手段が受信した前記画像に人物が含まれていないことを条件に、当該画像を記憶部に記憶させる記憶制御手段と、
商品に関する商品情報により指定された前記商品の売り場が撮像された前記画像を要求する画面要求を受信する第2受信手段と、
前記第2受信手段が受信した前記商品情報により特定される商品が陳列された売り場の前記画像を前記記憶部から抽出する抽出手段と、
前記抽出手段が抽出した前記画像に、会計の順番待ちに並ぶ顧客の行列を示す人物画像を追加する人物追加手段と、
前記人物追加手段により前記人物画像が追加された前記画像を送信する送信手段と、
を備えるサーバ装置。
A first receiving means for receiving an image captured by an image pickup device that captures an image of a sales floor where products are displayed, and
A storage control means for storing the image in the storage unit, provided that the image received by the first receiving means does not include a person.
A second receiving means for receiving a screen request requesting the image in which the sales floor of the product specified by the product information regarding the product is captured, and
An extraction means for extracting the image of the sales floor where the product specified by the product information received by the second receiving means is displayed from the storage unit, and
A person addition means for adding a person image showing a line of customers waiting in line for accounting to the image extracted by the extraction means, and a person addition means.
A transmission means for transmitting the image to which the person image is added by the person addition means , and
A server device equipped with.
前記抽出手段は、前記第2受信手段が受信した前記商品情報により特定される商品の在庫を示した在庫情報を抽出し、
前記送信手段は、前記在庫情報を送信する、
請求項1に記載のサーバ装置。
The extraction means extracts inventory information indicating the inventory of the product specified by the product information received by the second receiving means.
The transmission means transmits the inventory information.
The server device according to claim 1.
前記抽出手段は、前記第2受信手段が受信した前記商品情報により特定される商品の売り場の位置を示した位置情報を抽出し、
前記送信手段は、前記位置情報を送信する、
請求項1又は2に記載のサーバ装置。
The extraction means extracts the position information indicating the position of the sales floor of the product specified by the product information received by the second receiving means.
The transmission means transmits the position information.
The server device according to claim 1 or 2.
前記人物追加手段は、事前に設定された前記撮像装置が撮像した前記画像であることを条件に、前記画像の事前に設定された位置に前記人物画像を追加する、
請求項1乃至3の何れか一項に記載のサーバ装置。
The person adding means adds the person image to a preset position of the image, provided that the image is captured by the preset image pickup device.
The server device according to any one of claims 1 to 3 .
コンピュータを、
商品が陳列された売り場を撮像する撮像装置が撮像した画像を受信する第1受信手段と、
前記第1受信手段が受信した前記画像に人物が含まれていないことを条件に、当該画像を記憶部に記憶させる記憶制御手段と、
商品に関する商品情報により指定された前記商品の売り場が撮像された前記画像を要求する画面要求を受信する第2受信手段と、
前記第2受信手段が受信した前記商品情報により特定される商品が陳列された売り場の前記画像を前記記憶部から抽出する抽出手段と、
前記抽出手段が抽出した前記画像に、会計の順番待ちに並ぶ顧客の行列を示す人物画像を追加する人物追加手段と、
前記人物追加手段により前記人物画像が追加された前記画像を送信する送信手段と、
として機能させるためのプログラム。
Computer,
A first receiving means for receiving an image captured by an image pickup device that captures an image of a sales floor where products are displayed, and
A storage control means for storing the image in the storage unit, provided that the image received by the first receiving means does not include a person.
A second receiving means for receiving a screen request requesting the image in which the sales floor of the product specified by the product information regarding the product is captured, and
An extraction means for extracting the image of the sales floor where the product specified by the product information received by the second receiving means is displayed from the storage unit, and
A person addition means for adding a person image showing a line of customers waiting in line for accounting to the image extracted by the extraction means, and a person addition means.
A transmission means for transmitting the image to which the person image is added by the person addition means , and
A program to function as.
JP2018100999A 2018-05-25 2018-05-25 Server equipment and programs Active JP7061928B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018100999A JP7061928B2 (en) 2018-05-25 2018-05-25 Server equipment and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018100999A JP7061928B2 (en) 2018-05-25 2018-05-25 Server equipment and programs

Publications (2)

Publication Number Publication Date
JP2019204453A JP2019204453A (en) 2019-11-28
JP7061928B2 true JP7061928B2 (en) 2022-05-02

Family

ID=68727074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018100999A Active JP7061928B2 (en) 2018-05-25 2018-05-25 Server equipment and programs

Country Status (1)

Country Link
JP (1) JP7061928B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7479837B2 (en) * 2019-12-26 2024-05-09 株式会社ファーストリテイリング Display device, mobile terminal, control method, program, and guide system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012190094A (en) 2011-03-09 2012-10-04 Sony Corp Server device, and information processing method and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012190094A (en) 2011-03-09 2012-10-04 Sony Corp Server device, and information processing method and program

Also Published As

Publication number Publication date
JP2019204453A (en) 2019-11-28

Similar Documents

Publication Publication Date Title
US20210182923A1 (en) Sales management system and sales management method
JP6177261B2 (en) Electronic commerce system, server device, electronic device, information processing method, and program
WO2018181954A1 (en) Storefront system, electronic shelf tag, and processing method and program for storefront system
US20170352077A1 (en) Information collecting system, server, and control program
TW202201340A (en) Delivery status management method and electronic apparatus performing the same
JP6842288B2 (en) Over-the-counter product EC system and method
JP7061928B2 (en) Server equipment and programs
JP2022008316A5 (en)
JP7078059B2 (en) Processing equipment, processing methods and programs
JP7235119B2 (en) Processing device, accounting device, processing method and program
WO2021033310A1 (en) Processing device, processing method, and program
JP7038008B2 (en) Server equipment and programs
JP6977286B2 (en) Sales system, server, sales system processing method, server processing method and program
JP6753511B2 (en) Operation support device, operation support method, and program
US20210366018A1 (en) Server and method for avoiding registered materials
EP3190533B1 (en) Image forming apparatus, license server, license management system and controlling method
JP6156800B2 (en) DEVICE INFORMATION DISPLAY DEVICE, DEVICE SERVER, DEVICE INFORMATION DISPLAY SYSTEM, DEVICE INFORMATION DISPLAY METHOD, AND PROGRAM
JP6550736B2 (en) Shooting target management program and information processing apparatus
JP7020538B2 (en) Accounting equipment, accounting systems, product identification methods, and programs
US20210090148A1 (en) Notification system and notification program
CN113853626A (en) Information processing method, program, and terminal
JP2002007647A (en) Supplier referral system
WO2018079616A1 (en) Management server and picking assistance system
JP6372161B2 (en) Information processing apparatus, information processing method, and program
US20200226654A1 (en) Information processing apparatus for service request processing and information processing method for service request processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220419

R150 Certificate of patent or registration of utility model

Ref document number: 7061928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150