Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7057915B2 - Object detection system, object detection method - Google Patents
[go: Go Back, main page]

JP7057915B2 - Object detection system, object detection method - Google Patents

Object detection system, object detection method Download PDF

Info

Publication number
JP7057915B2
JP7057915B2 JP2017166223A JP2017166223A JP7057915B2 JP 7057915 B2 JP7057915 B2 JP 7057915B2 JP 2017166223 A JP2017166223 A JP 2017166223A JP 2017166223 A JP2017166223 A JP 2017166223A JP 7057915 B2 JP7057915 B2 JP 7057915B2
Authority
JP
Japan
Prior art keywords
image
pixels
axis
predetermined
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017166223A
Other languages
Japanese (ja)
Other versions
JP2019045999A (en
Inventor
卓也 明石
惇哉 佐藤
成将 加藤
博幸 山本
秀臣 佐藤
健自 花田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iwate University
Original Assignee
Iwate University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iwate University filed Critical Iwate University
Priority to JP2017166223A priority Critical patent/JP7057915B2/en
Publication of JP2019045999A publication Critical patent/JP2019045999A/en
Application granted granted Critical
Publication of JP7057915B2 publication Critical patent/JP7057915B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像内の所定のオブジェクトを検出するオブジェクト検出システム、オブジェクト検出方法に関する。 The present invention relates to an object detection system and an object detection method for detecting a predetermined object in an image.

例えばコンビニエンスストアやスーパーマーケット等の実店舗では、商品の製造者や卸売業者と小売業者との間で予め契約された棚割に基づいて商品を陳列する場合がある。 For example, in a physical store such as a convenience store or a supermarket, products may be displayed based on a shelf allocation contracted in advance between a product manufacturer or wholesaler and a retailer.

ここで、契約された棚割通りに商品が陳列されているか否かを商品の製造者や卸売業者が確認するためには、商品の製造者や卸売業者が実店舗を訪れる必要があることから、商品の陳列状況を確認するための時間や労力が増加するおそれがあった。 Here, in order for the product manufacturer or wholesaler to confirm whether or not the product is displayed according to the contracted shelving allocation, the product manufacturer or wholesaler needs to visit the actual store. , There was a risk that the time and effort required to check the display status of the products would increase.

そこで、陳列状況の確認作業の効率化を図るために、商品(オブジェクト)が陳列されている商品棚を撮影した画像データから、画像データに含まれる商品の画像領域を検出画像領域として検出する技術が開示されている(例えば特許文献1)。 Therefore, in order to improve the efficiency of the work of checking the display status, a technique for detecting the image area of the product included in the image data as the detection image area from the image data obtained by photographing the product shelf on which the product (object) is displayed. Is disclosed (for example, Patent Document 1).

特許文献1に記載された技術では、例えば「缶のトップ」や「PETボトル」等のカテゴリ毎に用意された教師データを用いる学習手法によって、「缶」や「PETボトル」等の商品の画像領域を検出画像領域として検出するようになっている。 In the technique described in Patent Document 1, for example, an image of a product such as "can" or "PET bottle" is used by a learning method using teacher data prepared for each category such as "can top" or "PET bottle". The area is detected as a detection image area.

特開2015-210651号公報JP-A-2015-210651

ところで、画像データから学習手法を用いて商品を検出する場合には、検出精度を向上させるために多くの教師データを用意する必要があることから、教師データの収集コストが嵩むおそれがあった。また、学習処理を行うためには、数時間~数日間の長い時間と負荷の高い計算処理とが必要になることから、商品の検出処理にかかるコストが嵩むおそれがあった。 By the way, when a product is detected from image data by a learning method, it is necessary to prepare a large amount of teacher data in order to improve the detection accuracy, which may increase the cost of collecting teacher data. Further, in order to perform the learning process, a long time of several hours to several days and a high-load calculation process are required, which may increase the cost of the product detection process.

本発明は上記課題に鑑みてなされたものであり、画像内の所定のオブジェクトを簡単な処理で検出することの可能なオブジェクト検出システム、オブジェクト検出方法を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an object detection system and an object detection method capable of detecting a predetermined object in an image by a simple process.

上記課題を解決するために、第一に本発明は、所定のオブジェクトを撮像した画像を取得する取得手段と、取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするカウント手段と、カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出する検出手段と、を備える、オブジェクト検出システムを提供する(発明1)。 In order to solve the above problems, first of all, in the present invention, the acquisition means for acquiring an image of a predetermined object, the horizontal direction of the acquired image is the X-axis direction, and the vertical direction of the image is the Y-axis direction. When, the number of pixels whose brightness is equal to or less than a predetermined threshold among the images arranged in one of the X-axis and the Y-axis is counted for each coordinate of the other of the X-axis and the Y-axis, and the count. Provided is an object detection system including a detection means for detecting the predetermined object by extracting the other coordinate which is a boundary of the predetermined object in the image based on the number of pixels. (Invention 1).

かかる発明(発明1)によれば、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素(つまり、輝度が閾値以下の暗い画素)の数に基づいて、X軸及びY軸のうち他方の座標の中から所定のオブジェクトの境界となる座標が抽出されることによって、所定のオブジェクトを検出することができる。これにより、輝度が所定の閾値以下の画素の数をカウントすることによって所定のオブジェクトを検出することが可能になることから、例えば学習手法を用いて検出処理を行う場合と比較して、画像内の所定のオブジェクトを簡単な処理で検出することができ、さらには、検出処理にかかるコストを抑制することができる。 According to the present invention (Invention 1), among the pixels arranged in one of the X-axis and the Y-axis, the number of pixels whose brightness is equal to or less than a predetermined threshold value (that is, dark pixels whose brightness is equal to or less than the threshold value) is based on the number of pixels. A predetermined object can be detected by extracting coordinates that are boundaries of a predetermined object from the coordinates of the other of the X-axis and the Y-axis. This makes it possible to detect a predetermined object by counting the number of pixels whose brightness is equal to or less than a predetermined threshold value. A predetermined object can be detected by a simple process, and further, the cost required for the detection process can be suppressed.

上記発明(発明1)においては、前記カウント手段は、取得した画像を所定の回転角度だけ回転させた状態で前記画素の数をカウントしてもよい(発明2)。 In the above invention (invention 1), the counting means may count the number of the pixels in a state where the acquired image is rotated by a predetermined rotation angle (invention 2).

かかる発明(発明2)によれば、画像内の所定のオブジェクトの形状がX軸及びY軸の何れの方向にも沿わない場合(例えば、所定のオブジェクトがX軸及びY軸の何れの方向にも沿わない形状を有している場合や、所定のオブジェクトがX軸及びY軸に対して斜めに撮像された場合等)であっても、画像を回転させることによって、画像内の所定のオブジェクトの形状がX軸及びY軸の何れかの方向に沿うような状態で所定のオブジェクトの境界となる座標を抽出することができるので、所定のオブジェクトの検出精度を向上させることが可能になる。 According to the present invention (Invention 2), when the shape of a predetermined object in an image does not follow any direction of the X-axis and the Y-axis (for example, the predetermined object is in either the X-axis or the Y-axis direction). Even if it has a shape that does not follow, or if a predetermined object is imaged at an angle to the X-axis and Y-axis, etc.), by rotating the image, the predetermined object in the image Since the coordinates that are the boundaries of a predetermined object can be extracted in a state where the shape of the object is along either the X-axis or the Y-axis direction, the detection accuracy of the predetermined object can be improved.

上記発明(発明1~2)においては、前記カウント手段は、前記閾値が複数設けられている場合に、複数の閾値の各々を用いて前記画素の数をカウントしてもよい(発明3)。 In the above inventions (Inventions 1 and 2), the counting means may count the number of the pixels by using each of the plurality of threshold values when a plurality of the threshold values are provided (Invention 3).

かかる発明(発明3)によれば、輝度のより高い画素がX軸及びY軸のうち一方の方向に多く並んでいる場合にカウントされる画素の数と、輝度のより低い画素が当該一方の方向に多く並んでいる場合にカウントされる画素の数との差を大きくすることができるので、所定のオブジェクトの境界となる座標の抽出精度を向上させることができる。 According to the present invention (Invention 3), the number of pixels counted when a large number of pixels having higher brightness are arranged in one of the X-axis and Y-axis directions, and the pixel having lower brightness is the one. Since it is possible to increase the difference from the number of pixels counted when many pixels are lined up in the direction, it is possible to improve the extraction accuracy of the coordinates that are the boundaries of a predetermined object.

上記発明(発明3)においては、前記カウント手段は、前記複数の閾値のうち何れかの閾値を用いてカウントしたときの前記画素の数を当該何れかの閾値の値に応じて重み付けしてもよい(発明4)。 In the above invention (Invention 3), the counting means may weight the number of the pixels when counting using any of the plurality of thresholds according to the value of the threshold. Good (Invention 4).

かかる発明(発明4)によれば、例えば閾値の値が小さくなるほど画素の数が大きく重み付けされる場合には、輝度のより高い画素がX軸及びY軸のうち一方の方向に多く並んでいる場合にカウントされる画素の数と、輝度のより低い画素が当該一方の方向に多く並んでいる場合にカウントされる画素の数との差をより大きくすることができるので、所定のオブジェクトの境界となる座標の抽出精度をさらに向上させることができる。 According to the present invention (Invention 4), for example, when the number of pixels is heavily weighted as the threshold value becomes smaller, a large number of pixels having higher brightness are arranged in one of the X-axis and the Y-axis. The boundary between a given object can be made larger because the difference between the number of pixels counted in the case and the number of pixels counted when more pixels with lower brightness are lined up in one direction is possible. It is possible to further improve the extraction accuracy of the coordinates.

上記発明(発明1~4)においては、前記検出手段は、前記画素の数に関する所定の条件を満たす前記他方の座標が所定の範囲内に複数存在する場合に、何れか1つの前記他方の座標を所定のオブジェクトの境界として抽出してもよい(発明5)。 In the above inventions (Inventions 1 to 4), the detection means is one of the other coordinates when a plurality of the other coordinates satisfying a predetermined condition regarding the number of pixels are present within a predetermined range. May be extracted as the boundary of a predetermined object (Invention 5).

かかる発明(発明5)によれば、例えば画素の数に関する所定の条件を満たす複数の他方の座標が所定のオブジェクトのサイズより小さい範囲内に存在する場合に、これらの他方の座標の各々が所定のオブジェクトの境界として誤って抽出されるのを抑制することができるので、所定のオブジェクトの検出精度を向上させることができる。 According to the invention (Invention 5), for example, when a plurality of other coordinates satisfying a predetermined condition regarding the number of pixels are within a range smaller than the size of a predetermined object, each of the other coordinates is predetermined. Since it is possible to suppress erroneous extraction as the boundary of the object, it is possible to improve the detection accuracy of a predetermined object.

上記発明(発明1~5)においては、前記所定のオブジェクトが前記画像内の複数のエリアの各々に存在する場合に、前記画像に対して画像処理を行うことによって前記複数のエリアの各々を特定する特定手段を備え、前記カウント手段は、前記複数のエリアのうち少なくとも1つのエリアについて前記画素の数をカウントし、前記検出手段は、前記少なくとも1つのエリアに存在する前記所定のオブジェクトを検出してもよい(発明6)。 In the above inventions (Inventions 1 to 5), when the predetermined object exists in each of the plurality of areas in the image, each of the plurality of areas is specified by performing image processing on the image. The counting means counts the number of the pixels in at least one of the plurality of areas, and the detecting means detects the predetermined object existing in the at least one area. It may be (Invention 6).

かかる発明(発明6)によれば、所定のオブジェクトが画像内の複数のエリアの各々に存在している場合であっても、各エリアの所定のオブジェクトを検出することができる。 According to the present invention (Invention 6), even when a predetermined object exists in each of a plurality of areas in an image, the predetermined object in each area can be detected.

第二に本発明は、コンピュータが、所定のオブジェクトを撮像した画像を取得するステップと、取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするステップと、カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出するステップと、の各ステップを実行する、オブジェクト検出方法を提供する(発明7)。 Secondly, the present invention is X when the computer acquires an image of a predetermined object and the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction. Based on the step of counting the number of pixels whose brightness is equal to or less than a predetermined value among the pixels arranged in one of the axes and the Y-axis for each coordinate of the other of the X-axis and the Y-axis, and the number of counted pixels. Provided is an object detection method for executing each step of detecting the predetermined object by extracting the other coordinate which is the boundary of the predetermined object in the image (Invention 7). ..

本発明のオブジェクト検出システム、オブジェクト検出方法によれば、画像内の所定のオブジェクトを簡単な処理で検出することができる。 According to the object detection system and the object detection method of the present invention, a predetermined object in an image can be detected by a simple process.

本発明の一実施形態に係るオブジェクト検出システムの基本構成を概略的に示す図である。It is a figure which shows schematic the basic structure of the object detection system which concerns on one Embodiment of this invention. 検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of a detection device. 実施形態に係るオブジェクト検出システムで主要な役割を果たす機能を説明するための機能ブロック図である。It is a functional block diagram for demonstrating the function which plays a main role in the object detection system which concerns on embodiment. 画像内のROIを特定する処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process of specifying ROI in an image. (a)~(d)は、画像処理前後の画像の一例を説明する図である。(A) to (d) are diagrams for explaining an example of images before and after image processing. ROI内のオブジェクトを検出する処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process of detecting an object in ROI. カウントデータの構成例を示す図である。It is a figure which shows the structural example of the count data. (a)~(b)は、回転前後のROIの一例を説明する図である。(A) to (b) are diagrams illustrating an example of ROI before and after rotation. オブジェクト検出後のROIの一例を説明する図である。It is a figure explaining an example of ROI after object detection. 実施形態に係るオブジェクト検出システムの主要な処理の一例を示すフローチャートである。It is a flowchart which shows an example of the main processing of the object detection system which concerns on embodiment.

以下、本発明の一実施形態に係るオブジェクト検出システム、オブジェクト検出方法について添付図面を参照して詳細に説明する。ただし、この実施形態は例示であり、本発明はこれに限定されるものではない。 Hereinafter, the object detection system and the object detection method according to the embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, this embodiment is an example, and the present invention is not limited thereto.

(1)オブジェクト検出システムの基本構成
図1は、本発明の一実施形態に係るオブジェクト検出システムの基本構成を概略的に示す図である。図1に示すように、本実施形態に係るオブジェクト検出システムは検出装置10を備えており、検出装置10は、例えばコンビニエンスストアやスーパーマーケット等の実店舗内で通信端末20を用いて撮像された商品棚Sの画像を通信端末20から取得すると、画像内の所定のオブジェクト(本実施形態では、商品棚Sに陳列されている商品)を検出するようになっている。
(1) Basic Configuration of Object Detection System FIG. 1 is a diagram schematically showing a basic configuration of an object detection system according to an embodiment of the present invention. As shown in FIG. 1, the object detection system according to the present embodiment includes a detection device 10, and the detection device 10 is a product imaged by using a communication terminal 20 in a real store such as a convenience store or a supermarket. When the image of the shelf S is acquired from the communication terminal 20, a predetermined object (in the present embodiment, the product displayed on the product shelf S) in the image is detected.

なお、本実施形態では、商品棚Sに陳列されている商品が所定のオブジェクトである場合を一例として説明するが、所定のオブジェクトは、検出対象になり得るものであれば如何なるものであってもよい。 In this embodiment, the case where the product displayed on the product shelf S is a predetermined object will be described as an example, but the predetermined object may be any object that can be detected. good.

検出装置10と、通信端末20とは、例えばインターネットやLAN(Local Area Network)等の通信網NW(ネットワーク)に接続されており、通信網NWを介して相互に通信可能となっている。 The detection device 10 and the communication terminal 20 are connected to a communication network NW (network) such as the Internet or a LAN (Local Area Network), and can communicate with each other via the communication network NW.

通信端末20は、例えば、動画像や静止画像を撮像する機能を有する端末装置であって、例えば携帯端末、スマートフォン、PDA(Personal Digital Assistant)、パーソナルコンピュータ、双方向の通信機能を備えたテレビジョン受像機(いわゆる多機能型のスマートテレビも含む)等のように、個々のユーザによって操作される端末装置であってもよい。 The communication terminal 20 is, for example, a terminal device having a function of capturing a moving image or a still image, for example, a mobile terminal, a smartphone, a PDA (Personal Digital Assistant), a personal computer, and a television having a two-way communication function. It may be a terminal device operated by an individual user, such as a receiver (including a so-called multifunctional smart TV).

なお、本実施形態では、通信端末20が、商品棚Sの画像を撮像して検出装置10に送信する場合を一例として説明するが、通信端末20は、例えばデジタルカメラやデジタルビデオカメラ等の撮像装置が撮像した商品棚Sの画像を検出装置10に転送するための装置であってもよい。 In the present embodiment, a case where the communication terminal 20 captures an image of the product shelf S and transmits the image to the detection device 10 will be described as an example. However, the communication terminal 20 captures an image of, for example, a digital camera or a digital video camera. It may be a device for transferring the image of the product shelf S captured by the device to the detection device 10.

(2)検出装置の構成
図2を参照して検出装置10について説明する。図2は、検出装置10の内部構成を示すブロック図である。図2に示すように、検出装置10は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、不揮発性メモリ14と、表示処理部15と、表示部16と、入力部17と、通信インタフェース部18と、を備えており、各部間の制御信号又はデータ信号を伝送するためのバス19が設けられている。検出装置10は、例えば、汎用のパーソナルコンピュータであってもよい。
(2) Configuration of Detection Device 10 The detection device 10 will be described with reference to FIG. FIG. 2 is a block diagram showing an internal configuration of the detection device 10. As shown in FIG. 2, the detection device 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a non-volatile memory 14, and a display processing unit 15. , A display unit 16, an input unit 17, and a communication interface unit 18, and a bus 19 for transmitting a control signal or a data signal between the units is provided. The detection device 10 may be, for example, a general-purpose personal computer.

CPU11は、電源が検出装置10に投入されると、ROM12又は不揮発性メモリ14に記憶された各種のプログラムをRAM13にロードして実行する。本実施形態では、CPU11は、ROM12又は不揮発性メモリ14に記憶されたプログラムを読み出して実行することにより、後述する取得手段31、特定手段32、カウント手段33及び検出手段34(図3に示す)の機能を実現する。 When the power is turned on to the detection device 10, the CPU 11 loads various programs stored in the ROM 12 or the non-volatile memory 14 into the RAM 13 and executes them. In the present embodiment, the CPU 11 reads and executes a program stored in the ROM 12 or the non-volatile memory 14, and thereby obtains means 31, specifying means 32, counting means 33, and detecting means 34 (shown in FIG. 3), which will be described later. To realize the function of.

不揮発性メモリ14は、例えばHDD(Hard Disk Drive)であり、CPU11が実行するプログラムやCPU11が参照するデータを記憶する。また、不揮発性メモリ14には、後述するカウントデータ(図7に示す)が記憶されている。 The non-volatile memory 14 is, for example, an HDD (Hard Disk Drive), and stores a program executed by the CPU 11 and data referenced by the CPU 11. Further, count data (shown in FIG. 7), which will be described later, is stored in the non-volatile memory 14.

表示処理部15は、CPU11から与えられる表示用データを表示部16に表示する。表示部16は、例えば、マトリクス状に画素単位で配置された薄膜トランジスタを含むLCD(Liquid Crystal Display)モニタであり、表示用データに基づいて薄膜トランジスタを駆動することで、表示されるデータを表示画面に表示する。 The display processing unit 15 displays the display data given by the CPU 11 on the display unit 16. The display unit 16 is, for example, an LCD (Liquid Crystal Display) monitor including thin film transistors arranged in a matrix in pixel units, and by driving the thin film transistors based on the display data, the displayed data is displayed on the display screen. indicate.

入力部17は、例えばマウスやキーボード等の情報入力デバイスである。通信インタフェース部18は、通信網NWを介して通信を行うためのインタフェース回路を含む。 The input unit 17 is an information input device such as a mouse or a keyboard. The communication interface unit 18 includes an interface circuit for performing communication via the communication network NW.

(3)オブジェクト検出システムにおける各機能の概要
本実施形態のオブジェクト検出システムで実現される機能について、図3を参照して説明する。図3は、本実施形態のオブジェクト検出システムで主要な役割を果たす機能を説明するための機能ブロック図である。図3の機能ブロック図では、取得手段31、カウント手段33及び検出手段34が本発明の主要な構成に対応している。なお、特定手段32は必須の構成ではないが、本発明をさらに好ましくするための構成要素である。
(3) Outline of Each Function in the Object Detection System The functions realized by the object detection system of the present embodiment will be described with reference to FIG. FIG. 3 is a functional block diagram for explaining a function that plays a major role in the object detection system of the present embodiment. In the functional block diagram of FIG. 3, the acquisition means 31, the counting means 33, and the detecting means 34 correspond to the main configurations of the present invention. Although the specific means 32 is not an essential configuration, it is a component for further favoring the present invention.

取得手段31は、商品棚Sに陳列された商品(所定のオブジェクト)を撮像した画像を取得する機能を備える。取得手段31の機能は、例えば以下のように実現される。 The acquisition means 31 has a function of acquiring an image of an image of a product (predetermined object) displayed on the product shelf S. The function of the acquisition means 31 is realized, for example, as follows.

検出装置10のCPU11は、通信端末20から送信された商品棚Sの画像を通信インタフェース部18を介して受信(取得)すると、受信した画像を例えばRAM13又は不揮発性メモリ14に記憶する。 When the CPU 11 of the detection device 10 receives (acquires) the image of the product shelf S transmitted from the communication terminal 20 via the communication interface unit 18, the CPU 11 stores the received image in, for example, the RAM 13 or the non-volatile memory 14.

特定手段32は、商品棚Sに陳列された商品(所定のオブジェクト)が画像内の複数のエリアの各々に存在する場合に、当該画像に対して画像処理を行うことによって当該複数のエリアの各々を特定する機能を備える。これにより、商品が画像内の複数のエリアの各々に存在している場合であっても、各エリアの商品を検出することができる。なお、本実施形態では、画像内で商品棚Sの複数の棚によって区切られた複数のエリアの各々を特定する場合を一例として説明する。 When the product (predetermined object) displayed on the product shelf S exists in each of the plurality of areas in the image, the specific means 32 performs image processing on the image to each of the plurality of areas. It has a function to identify. Thereby, even if the product exists in each of the plurality of areas in the image, the product in each area can be detected. In this embodiment, a case where each of a plurality of areas separated by a plurality of shelves of the product shelf S is specified in the image will be described as an example.

特定手段32の機能は、例えば図4のフローチャート及び図5を参照して以下のように実現される。図5は、画像処理前後の画像の一例を説明する図である。検出装置10のCPU11は、先ず、画像に対して前処理を行う(ステップS100)。具体的に説明すると、CPU11は、取得手段31の機能によって取得した画像(図5(a)に示す)をグレイスケール化した後に、例えばガウシアンブラー処理を行うことにより平滑化する。 The function of the specific means 32 is realized as follows, for example, with reference to the flowchart of FIG. 4 and FIG. FIG. 5 is a diagram illustrating an example of an image before and after image processing. The CPU 11 of the detection device 10 first performs preprocessing on the image (step S100). Specifically, the CPU 11 smoothes the image (shown in FIG. 5A) acquired by the function of the acquisition means 31 by grayscale and then performing, for example, Gaussian blur processing.

次に、CPU11は、平滑化した画像を2値化した後に、例えばCanny法等のエッジ抽出アルゴリズムを用いてエッジを抽出する(ステップS102)。エッジ抽出後の画像は、例えば図5(b)のように示される。 Next, the CPU 11 binarizes the smoothed image and then extracts the edge using an edge extraction algorithm such as the Canny method (step S102). The image after edge extraction is shown, for example, as shown in FIG. 5 (b).

次いで、CPU11は、エッジが抽出された画像に対して例えば確率的ハフ変換等の特徴抽出法を行うことによって、画像内で横方向(図中X軸方向)に延在する直線を検出する(ステップS104)。なお、本実施形態では、商品棚Sの複数の棚の各々が直線として検出される場合を想定している。ここで、直線を検出する場合には、CPU11は、横方向に延在する線分のうち、両端部の画素の縦方向(図中Y軸方向)の座標差が所定値(例えば10ピクセル)未満の線分を直線として検出してもよい。直線検出後の画像は、例えば図5(c)のように示される。図5(c)では、5つの横方向の直線Lが検出された場合を一例として示している。 Next, the CPU 11 detects a straight line extending in the horizontal direction (X-axis direction in the figure) in the image by performing a feature extraction method such as a stochastic Hough transform on the image from which the edge is extracted (the X-axis direction in the figure). Step S104). In this embodiment, it is assumed that each of the plurality of shelves of the product shelf S is detected as a straight line. Here, when detecting a straight line, the CPU 11 has a predetermined value (for example, 10 pixels) in the coordinate difference in the vertical direction (Y-axis direction in the figure) of the line segments extending in the horizontal direction at both ends. Line segments less than may be detected as straight lines. The image after the straight line detection is shown, for example, as shown in FIG. 5 (c). FIG. 5C shows a case where five horizontal straight lines L are detected as an example.

そして、CPU11は、直線検出後の画像を、検出された直線Lを用いて複数のエリア(注目領域(ROI;Region of Interest))に区切ることによって、ROIを設定する(ステップS106)。ここで、本実施形態におけるROIとは、複数の商品(オブジェクト)を含む領域を意味している。なお、複数の直線Lを用いてROIを設定する際には、CPU11は、画像の縦方向(図中Y軸方向)に隣接する2つの直線Lの各々の端部の画素の縦方向(図中Y軸方向)の座標差が所定値以上の場合に、当該2つの直線Lに挟まれたエリアをROIとして設定してもよい。ROI設定後の画像は、例えば図5(d)のように示される。図5(d)では、3つのROIが設定された場合を一例として示している。 Then, the CPU 11 sets the ROI by dividing the image after the straight line detection into a plurality of areas (ROI; Region of Interest) using the detected straight line L (step S106). Here, the ROI in the present embodiment means an area including a plurality of products (objects). When setting the ROI using a plurality of straight lines L, the CPU 11 determines the vertical direction of the pixels at the ends of the two straight lines L adjacent to each other in the vertical direction of the image (Y-axis direction in the figure) (FIG. When the coordinate difference in the middle Y-axis direction is equal to or greater than a predetermined value, the area sandwiched between the two straight lines L may be set as the ROI. The image after setting the ROI is shown, for example, as shown in FIG. 5 (d). FIG. 5D shows a case where three ROIs are set as an example.

カウント手段33は、取得した画像の横方向をX軸方向とし、画像の縦方向をY軸方向としたときに、Y軸方向(X軸及びY軸のうち一方の方向)に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸(X軸及びY軸のうち他方)の座標毎にカウントする機能を備える。 The counting means 33 is among the pixels arranged in the Y-axis direction (one of the X-axis and the Y-axis) when the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction. It has a function of counting the number of pixels whose brightness is equal to or less than a predetermined threshold for each coordinate of the X-axis (the other of the X-axis and the Y-axis).

また、カウント手段33は、商品(所定のオブジェクト)が画像内の複数のエリアの各々に存在する場合に、特定手段32の機能によって特定されたエリアのうち少なくとも1つのエリアについて画素の数をカウントしてもよい。 Further, the counting means 33 counts the number of pixels for at least one area among the areas specified by the function of the specific means 32 when the product (predetermined object) exists in each of the plurality of areas in the image. You may.

さらに、カウント手段33は、取得した画像を所定の回転角度だけ回転させた状態で画素の数をカウントしてもよい。この場合、画像内の商品(所定のオブジェクト)の形状がX軸及びY軸の何れの方向にも沿わない場合(例えば、商品がX軸及びY軸の何れの方向にも沿わない形状を有している場合や、商品がX軸及びY軸に対して斜めに撮像された場合等)であっても、画像を回転させることによって、画像内の商品の形状がX軸及びY軸の何れかの方向に沿うような状態で商品の境界となる座標を抽出することができるので、商品の検出精度を向上させることが可能になる。 Further, the counting means 33 may count the number of pixels in a state where the acquired image is rotated by a predetermined rotation angle. In this case, when the shape of the product (predetermined object) in the image does not follow either the X-axis or the Y-axis direction (for example, the product has a shape that does not follow either the X-axis or the Y-axis direction). Even if the product is imaged at an angle to the X-axis and Y-axis, etc.), by rotating the image, the shape of the product in the image can be either X-axis or Y-axis. Since the coordinates that are the boundaries of the products can be extracted along the direction, it is possible to improve the detection accuracy of the products.

さらにまた、カウント手段33は、閾値が複数設けられている場合に、複数の閾値の各々を用いて画素の数をカウントしてもよい。この場合、輝度のより高い画素がX軸及びY軸のうち一方の方向に多く並んでいる場合にカウントされる画素の数と、輝度のより低い画素が当該一方の方向に多く並んでいる場合にカウントされる画素の数との差を大きくすることができるので、商品の境界となる座標の抽出精度を向上させることができる。 Furthermore, when a plurality of threshold values are provided, the counting means 33 may count the number of pixels using each of the plurality of threshold values. In this case, the number of pixels counted when a large number of pixels with higher brightness are arranged in one of the X-axis and Y-axis, and the number of pixels with lower brightness are arranged in a large number in one direction. Since the difference from the number of pixels counted in can be increased, the accuracy of extracting the coordinates that are the boundaries of the product can be improved.

また、カウント手段33は、複数の閾値のうち何れかの閾値を用いてカウントしたときの画素の数を当該何れかの閾値の値に応じて重み付けしてもよい。この場合、例えば閾値の値が小さくなるほど画素の数が大きく重み付けされる場合には、輝度のより高い画素がX軸及びY軸のうち一方の方向に多く並んでいる場合にカウントされる画素の数と、輝度のより低い画素が当該一方の方向に多く並んでいる場合にカウントされる画素の数との差をより大きくすることができるので、商品の境界となる座標の抽出精度をさらに向上させることができる。 Further, the counting means 33 may weight the number of pixels when counting using any of the plurality of thresholds according to the value of the threshold. In this case, for example, when the number of pixels is heavily weighted as the threshold value becomes smaller, the pixels counted when a large number of pixels having higher brightness are lined up in one of the X-axis and Y-axis directions. Since the difference between the number and the number of pixels counted when many pixels with lower brightness are lined up in one direction can be made larger, the accuracy of extracting the coordinates that are the boundaries of the product is further improved. Can be made to.

検出手段34は、カウントされた画素の数に基づいて、画像内の商品(所定のオブジェクト)の境界となるX軸の座標(他方の座標)を抽出することによって、商品を検出する機能を備える。 The detection means 34 has a function of detecting a product by extracting the coordinates of the X-axis (the other coordinate) that is the boundary of the product (predetermined object) in the image based on the number of counted pixels. ..

また、検出手段34は、画素の数に関する所定の条件を満たすX軸の座標(他方の座標)が所定の範囲内に複数存在する場合に、何れか1つのX軸の座標を商品(所定のオブジェクト)の境界として抽出してもよい。これにより、例えば画素の数に関する所定の条件を満たす複数のX軸の座標が商品のサイズより小さい範囲内に存在する場合に、これらのX軸の座標の各々が商品の境界として誤って抽出されるのを抑制することができるので、商品の検出精度を向上させることができる。 Further, when a plurality of X-axis coordinates (the other coordinate) satisfying a predetermined condition regarding the number of pixels exist within a predetermined range, the detection means 34 sets the coordinates of any one X-axis as a product (predetermined). It may be extracted as the boundary of the object). As a result, for example, when a plurality of X-axis coordinates satisfying a predetermined condition regarding the number of pixels are within a range smaller than the size of the product, each of these X-axis coordinates is erroneously extracted as the boundary of the product. It is possible to improve the detection accuracy of the product because it can be suppressed.

カウント手段33及び検出手段34の機能は、例えば図6のフローチャートを参照して以下のように実現される。なお、ここでは、画像を複数の回転角度(例えば回転角度が-20°~+20°)の各々で回転させたときの画素の数を、複数の閾値(例えば、閾値の値が50~200)を用いてカウントする場合を一例として説明する。 The functions of the counting means 33 and the detecting means 34 are realized as follows, for example, with reference to the flowchart of FIG. Here, the number of pixels when the image is rotated at each of a plurality of rotation angles (for example, the rotation angle is −20 ° to + 20 °) is set to a plurality of threshold values (for example, the threshold value is 50 to 200). The case of counting using the above will be described as an example.

検出装置10のCPU11は、カウント手段33の機能として、1つのROIをグレイスケール化し、当該ROIを所定の回転角度(例えば0°)だけ回転させた状態で、当該ROI内の縦方向(図中Y軸方向)に並ぶ画素のうち輝度が閾値(例えば200)以下の画素(つまり、輝度が閾値以下の暗い画素)の数を、当該ROIのX座標毎にカウントする(ステップS200)。ここで、CPU11は、あるX座標において輝度が閾値以下の画素を1つ検出する毎に、当該X座標における画素の数を1つ増加する。 As a function of the counting means 33, the CPU 11 of the detection device 10 grayscales one ROI, and in a state where the ROI is rotated by a predetermined rotation angle (for example, 0 °), the vertical direction in the ROI (in the figure). Among the pixels arranged in the Y-axis direction), the number of pixels having a luminance of less than a threshold (for example, 200) (that is, dark pixels having a luminance of less than or equal to the threshold) is counted for each X coordinate of the ROI (step S200). Here, each time the CPU 11 detects one pixel whose brightness is equal to or less than the threshold value at a certain X coordinate, the CPU 11 increases the number of pixels at the X coordinate by one.

また、CPU11は、カウントした画素の数を、図7に示すカウントデータに記憶する。カウントデータは、複数の回転角度の各々と複数の閾値の各々とに対応して、1つのROI内の縦方向(図中Y軸方向)に並ぶ画素のうち輝度が閾値以下の画素の数及び当該画素の数に対応するカウント値が当該ROIのX座標毎に記録されたデータである。 Further, the CPU 11 stores the number of counted pixels in the count data shown in FIG. 7. The count data includes the number of pixels whose brightness is equal to or less than the threshold among the pixels arranged in the vertical direction (Y-axis direction in the figure) in one ROI corresponding to each of the plurality of rotation angles and each of the plurality of thresholds. The count value corresponding to the number of the pixels is the data recorded for each X coordinate of the ROI.

次に、CPU11は、カウント手段33の機能として、ステップS200においてカウントした画素の数を、閾値の値(例えば200)に対応する重み係数を用いて重み付けする(ステップS202)。ここで、重み係数は、例えば複数の閾値の各々に対応付けられた状態でカウントデータに記録されていてもよい。また、重み係数は、閾値の値が小さくなるほど画素の数が大きく重み付けられるように設定されてもよい。CPU11は、所定の閾値を用いてカウントしたX座標毎の画素の数を、当該閾値に対応する重み付け係数を用いて重み付けして、当該画素の数に対応するカウント値としてカウントデータに記録する。 Next, as a function of the counting means 33, the CPU 11 weights the number of pixels counted in step S200 using a weighting coefficient corresponding to the threshold value (for example, 200) (step S202). Here, the weighting coefficient may be recorded in the count data in a state associated with each of the plurality of threshold values, for example. Further, the weighting coefficient may be set so that the number of pixels is heavily weighted as the threshold value becomes smaller. The CPU 11 weights the number of pixels for each X coordinate counted using a predetermined threshold value using a weighting coefficient corresponding to the threshold value, and records it in the count data as a count value corresponding to the number of the pixels.

次いで、CPU11は、全ての閾値について画素数のカウント処理を行ったか否かを判別し(ステップS204)、全ての閾値についてカウント処理を行った場合に(ステップS204:YES)、ステップS206の処理に移行する。なお、ステップS204において全ての閾値についてカウント処理を行っていない場合には(ステップS204:NO)、カウント処理が行われていない閾値を用いてステップS200の処理に移行する。 Next, the CPU 11 determines whether or not the number of pixels has been counted for all the threshold values (step S204), and when the count processing has been performed for all the threshold values (step S204: YES), the process of step S206 is performed. Transition. If the count processing is not performed for all the threshold values in step S204 (step S204: NO), the process proceeds to the process of step S200 using the threshold values for which the count processing is not performed.

また、CPU11は、全ての回転角度について画素数のカウント処理を行ったか否かを判別し(ステップS206)、全ての回転角度についてカウント処理を行った場合に(ステップS206:YES)、ステップS210の処理に移行する。なお、ステップS206において全ての閾値についてカウント処理を行っていない場合には(ステップS206:NO)、カウント処理が行われていない回転角度だけROIを回転させて(ステップS208)、ステップS200の処理に移行する。 Further, the CPU 11 determines whether or not the number of pixels has been counted for all rotation angles (step S206), and when the count processing has been performed for all rotation angles (step S206: YES), in step S210. Move to processing. If the counting process is not performed for all the threshold values in step S206 (step S206: NO), the ROI is rotated by the rotation angle at which the counting process is not performed (step S208), and the process is performed in step S200. Transition.

なお、CPU11は、ステップS208の処理において、例えば図8(a)~(b)に示すように、ROIの原点(図の例では、左上の端部)を中心として所定の回転角度だけ回転させる。そして、CPU11は、図8(b)に示す回転後のROIについてステップS200の処理を行う。 In the process of step S208, the CPU 11 is rotated by a predetermined rotation angle around the origin of the ROI (in the example of the figure, the upper left end portion), as shown in FIGS. 8 (a) to 8 (b), for example. .. Then, the CPU 11 performs the process of step S200 for the ROI after rotation shown in FIG. 8 (b).

CPU11は、検出手段34の機能として、全ての回転角度についてカウント処理を行った場合に(ステップS206:YES)、カウントした画素数に基づいて、商品の境界となるX座標を抽出する(ステップS210)。例えば、CPU11は、ROI内の複数のX座標のうち、何れかの回転角度でROIを回転させた状態で何れかの閾値を用いた場合にカウントした画素数又は当該画素数に対応するカウント値が所定値(例えば、ROIの縦方向(図中Y軸方向)のサイズ(縦方向の画素数)×所定の指定値(例えば、0.0~1.0))以上のX座標を商品の境界として抽出してもよい。 As a function of the detecting means 34, the CPU 11 extracts the X coordinate which is the boundary of the product based on the number of counted pixels when the counting process is performed for all the rotation angles (step S206: YES) (step S210). ). For example, the CPU 11 counts the number of pixels when using any threshold value in a state where the ROI is rotated at any rotation angle among a plurality of X coordinates in the ROI, or a count value corresponding to the number of pixels. X-coordinates of a predetermined value (for example, the size (number of pixels in the vertical direction) in the vertical direction (Y-axis direction in the figure) of the ROI x the predetermined specified value (for example, 0.0 to 1.0)) or more of the product It may be extracted as a boundary.

さらに、CPU11は、ROI内の複数のX座標のうち、少なくとも1つの回転角度に対応する少なくとも1つの閾値毎の画素数又はカウント値の合計が所定値以上のX座標を商品の境界として抽出してもよい。 Further, the CPU 11 extracts, as a product boundary, X coordinates in which the total number of pixels or count values for each threshold value corresponding to at least one rotation angle is equal to or greater than a predetermined value among the plurality of X coordinates in the ROI. You may.

なお、CPU11は、画素の数に関する所定の条件を満たすX軸の座標が所定の範囲(例えば100ピクセル)内に複数存在する場合に、何れか1つのX軸の座標を商品の境界として抽出してもよい。ここで、画素の数に関する所定の条件とは、例えば、何れかの回転角度でROIを回転させた状態で何れかの閾値を用いた場合にカウントした画素数又は当該画素数に対応するカウント値が所定値以上であることであってもよいし、少なくとも1つの回転角度に対応する少なくとも1つの閾値毎の画素数又はカウント値の合計が所定値以上であることであってもよい。また、CPU11は、例えば、所定の条件を満たすX軸の座標のうち、カウントした画素数又は当該画素数に対応するカウント値が最大のX軸の座標を商品の境界として抽出してもよい。なお、CPU11は、このような抽出処理を例えばステップS200とステップS202との間に行ってもよいし、ステップS202とステップS204との間に行ってもよい。 When there are a plurality of X-axis coordinates that satisfy a predetermined condition regarding the number of pixels within a predetermined range (for example, 100 pixels), the CPU 11 extracts the coordinates of any one of them as the boundary of the product. You may. Here, the predetermined condition regarding the number of pixels is, for example, the number of pixels counted when the ROI is rotated at any rotation angle and any threshold value is used, or the count value corresponding to the number of pixels. May be greater than or equal to a predetermined value, or the total number of pixels or count values for each at least one threshold corresponding to at least one rotation angle may be greater than or equal to a predetermined value. Further, the CPU 11 may, for example, extract the coordinates of the X-axis having the maximum count value corresponding to the counted number of pixels or the number of pixels among the coordinates of the X-axis satisfying a predetermined condition as the boundary of the product. The CPU 11 may perform such an extraction process between, for example, step S200 and step S202, or may be performed between step S202 and step S204.

また、CPU11は、ステップS210において商品の境界となるX座標を抽出すると、図9に示すように、抽出したX座標を通過してY軸方向に沿って延在する境界線BをROIに付してもよい。 Further, when the CPU 11 extracts the X coordinate that is the boundary of the product in step S210, as shown in FIG. 9, the CPU 11 attaches the boundary line B that passes through the extracted X coordinate and extends along the Y-axis direction to the ROI. You may.

以上のようにして、ROI内に存在する商品を検出することができる。 As described above, the product existing in the ROI can be detected.

(4)本実施形態のオブジェクト検出システムの主要な処理のフロー
次に、本実施形態のオブジェクト検出システムにより行われる主要な処理のフローの一例について、図10のフローチャートを参照して説明する。
(4) Main processing flow of the object detection system of the present embodiment Next, an example of the main processing flow performed by the object detection system of the present embodiment will be described with reference to the flowchart of FIG.

先ず、検出装置10のCPU11は、通信端末20から送信された商品棚Sの画像を通信インタフェース部18を介して受信(取得)する(ステップS300)。また、CPU11は、受信した画像を例えばRAM13又は不揮発性メモリ14に記憶する。 First, the CPU 11 of the detection device 10 receives (acquires) the image of the product shelf S transmitted from the communication terminal 20 via the communication interface unit 18 (step S300). Further, the CPU 11 stores the received image in, for example, the RAM 13 or the non-volatile memory 14.

次に、検出装置10のCPU11は、取得した画像に対して画像処理を行うことによって、画像内の複数のエリアの各々をROIとして特定する(ステップS302)。なお、ステップS302の処理の内容は、上述した図4のステップS100~S106の処理内容と同様である。 Next, the CPU 11 of the detection device 10 identifies each of the plurality of areas in the image as an ROI by performing image processing on the acquired image (step S302). The processing content of step S302 is the same as the processing content of steps S100 to S106 of FIG. 4 described above.

次いで、検出装置10のCPU11は、特定した複数のROIの中から1つのROIを選択し(ステップS304)、選択したROI内に存在する商品を検出する(ステップS306)。なお、ステップS306の処理の内容は、上述した図6のステップS200~S210の処理内容と同様である。 Next, the CPU 11 of the detection device 10 selects one ROI from the specified plurality of ROIs (step S304), and detects the product existing in the selected ROI (step S306). The processing content of step S306 is the same as the processing content of steps S200 to S210 of FIG. 6 described above.

また、CPU11は、全てのROIについて商品の検出処理を行ったか否かを判別し(ステップS308)、全てのROIについて検出処理を行った場合に(ステップS308:YES)、全ての処理を終了する。なお、ステップS308において全てのROIについて検出処理を行っていない場合には(ステップS308:NO)、検出処理が行われていないROIが選択されるようにステップS304の処理に移行する。 Further, the CPU 11 determines whether or not the product detection process has been performed for all ROIs (step S308), and ends all the processes when the detection process has been performed for all ROIs (step S308: YES). .. If the detection process is not performed for all ROIs in step S308 (step S308: NO), the process proceeds to step S304 so that the ROI for which the detection process has not been performed is selected.

上述したように、本実施形態のオブジェクト検出システム、オブジェクト検出方法によれば、ROIの縦方向(Y軸方向)に並ぶ画素のうち輝度が所定の閾値以下の画素(つまり、輝度が閾値以下の暗い画素)の数に基づいて、ROIの横方向(X軸方向)の座標の中から商品の境界となる座標が抽出されることによって、商品を検出することができる。これにより、輝度が所定の閾値以下の画素の数をカウントすることによって商品を検出することが可能になることから、例えば学習手法を用いて検出処理を行う場合と比較して、画像内の商品を簡単な処理で検出することができ、さらには、検出処理にかかるコストを抑制することができる。 As described above, according to the object detection system and the object detection method of the present embodiment, among the pixels arranged in the vertical direction (Y-axis direction) of the ROI, the pixels whose brightness is equal to or less than a predetermined threshold value (that is, the brightness is equal to or less than the threshold value). The product can be detected by extracting the coordinates that are the boundaries of the product from the coordinates in the lateral direction (X-axis direction) of the ROI based on the number of dark pixels). This makes it possible to detect the product by counting the number of pixels whose brightness is equal to or less than a predetermined threshold value. Therefore, the product in the image is compared with the case where the detection process is performed using, for example, a learning method. Can be detected by a simple process, and further, the cost required for the detection process can be suppressed.

なお、本発明のオブジェクト検出方法をコンピュータに実行させるためのプログラムは、コンピュータで読み取り可能な記憶媒体に記憶されていてもよい。このプログラムを記録した記憶媒体は、例えば図2に示された不揮発性メモリ14であってもよい。また、例えばCD-ROMドライブ等のプログラム読取装置に挿入されることで読み取り可能なCD-ROM等であってもよい。さらに、記憶媒体は、磁気テープ、カセットテープ、フレキシブルディスク、MO(Magneto Optical disk)/MD(MiniDisk)/DVD(Digital Versatile Disc)等であってもよいし、半導体メモリであってもよい。 The program for causing the computer to execute the object detection method of the present invention may be stored in a computer-readable storage medium. The storage medium on which this program is recorded may be, for example, the non-volatile memory 14 shown in FIG. Further, it may be a CD-ROM or the like that can be read by being inserted into a program reading device such as a CD-ROM drive. Further, the storage medium may be a magnetic tape, a cassette tape, a flexible disk, an MO (Magneto Optical disk) / MD (MiniDisk) / DVD (Digital Versatile Disc), or the like, or may be a semiconductor memory.

以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記各実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiments described above are described for facilitating the understanding of the present invention, and are not described for limiting the present invention. Therefore, each element disclosed in each of the above embodiments is intended to include all design changes and equivalents belonging to the technical scope of the present invention.

例えば、上述した実施形態では、ROIの縦方向(Y軸方向)に並ぶ画素のうち輝度が所定の閾値以下の画素(つまり、輝度が閾値以下の暗い画素)の数に基づいて、ROIの横方向(X軸方向)の座標の中から商品の境界となる座標を抽出する場合を一例として説明したが、ROIの横方向(X軸方向)に並ぶ画素のうち輝度が所定の閾値以下の画素の数に基づいて、ROIの縦方向(Y軸方向)の座標の中から商品の境界となる座標を抽出してもよい。 For example, in the above-described embodiment, among the pixels arranged in the vertical direction (Y-axis direction) of the ROI, the laterality of the ROI is based on the number of pixels whose brightness is equal to or less than a predetermined threshold value (that is, dark pixels whose brightness is equal to or less than the threshold value). The case of extracting the coordinates that are the boundaries of the product from the coordinates in the direction (X-axis direction) has been described as an example, but among the pixels arranged in the horizontal direction (X-axis direction) of the ROI, the pixels whose brightness is equal to or less than a predetermined threshold value. Based on the number of, the coordinates that are the boundaries of the products may be extracted from the coordinates in the vertical direction (Y-axis direction) of the ROI.

また、上述した実施形態では、商品棚Sの画像を、通信端末20を用いて検出装置10に送信する場合を一例として説明したが、この場合に限られない。例えば、商品棚Sの画像がコンピュータで読み取り可能な記憶媒体(例えば、USB(Universal Serial Bus)メモリ等)に記憶されている場合には、検出装置10は、当該記憶媒体にアクセスすることによって商品棚Sの画像を取得してもよい。 Further, in the above-described embodiment, the case where the image of the product shelf S is transmitted to the detection device 10 using the communication terminal 20 has been described as an example, but the present invention is not limited to this case. For example, when the image of the product shelf S is stored in a storage medium readable by a computer (for example, a USB (Universal Serial Bus) memory or the like), the detection device 10 accesses the storage medium to obtain the product. The image of the shelf S may be acquired.

さらに、上述した実施形態では、検出装置10によって、取得手段31、特定手段32、カウント手段33及び検出手段34の各機能を実現する構成としたが、この構成に限られない。例えば、これらの手段のうち少なくとも一部の手段を通信端末20によって実現する構成としてもよい。 Further, in the above-described embodiment, the detection device 10 is configured to realize the functions of the acquisition means 31, the specific means 32, the counting means 33, and the detection means 34, but the configuration is not limited to this. For example, at least a part of these means may be realized by the communication terminal 20.

上述したような本発明のオブジェクト検出システム、オブジェクト検出方法によれば、画像内の所定のオブジェクトを簡単な処理で検出することができ、例えば実店舗における商品の陳列状況を画像データに基づいて確認するためのシステム等に好適に利用することができるので、その産業上の利用可能性は極めて大きい。 According to the object detection system and object detection method of the present invention as described above, a predetermined object in an image can be detected by a simple process, and for example, the display status of a product in a physical store can be confirmed based on image data. Since it can be suitably used for a system or the like, its industrial applicability is extremely high.

10…検出装置
20…通信端末
31…取得手段
32…特定手段
33…カウント手段
34…検出手段
B…境界線
S…商品棚
10 ... Detection device 20 ... Communication terminal 31 ... Acquisition means 32 ... Specific means 33 ... Counting means 34 ... Detection means B ... Boundary line S ... Product shelf

Claims (6)

所定のオブジェクトを撮像した画像を取得する取得手段と、
取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするカウント手段と、
カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出する検出手段と、
を備え
前記検出手段は、前記画素の数に関する所定の条件を満たす前記他方の座標が所定の範囲内に複数存在する場合に、何れか1つの前記他方の座標を前記所定のオブジェクトの境界として抽出する、オブジェクト検出システム。
An acquisition means for acquiring an image of a predetermined object, and
When the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction, among the pixels arranged in one of the X-axis and the Y-axis, the pixels whose brightness is equal to or less than a predetermined threshold. A counting means that counts a number for each coordinate of the other of the X-axis and the Y-axis,
A detection means for detecting the predetermined object by extracting the coordinates of the other, which is the boundary of the predetermined object in the image, based on the number of counted pixels.
Equipped with
When a plurality of the other coordinates satisfying a predetermined condition regarding the number of pixels are present in a predetermined range, the detection means extracts any one of the other coordinates as a boundary of the predetermined object. , Object detection system.
所定のオブジェクトを撮像した画像を取得する取得手段と、 An acquisition means for acquiring an image of a predetermined object, and
取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするカウント手段と、 When the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction, among the pixels arranged in one of the X-axis and the Y-axis, the pixels whose brightness is equal to or less than a predetermined threshold. A counting means that counts a number for each coordinate of the other of the X-axis and the Y-axis,
カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出する検出手段と、 A detection means for detecting the predetermined object by extracting the coordinates of the other, which is the boundary of the predetermined object in the image, based on the number of counted pixels.
を備え、 Equipped with
前記カウント手段は、前記閾値が複数設けられている場合に、複数の閾値の各々を用いて前記画素の数をカウントし、前記複数の閾値のうち何れかの閾値を用いてカウントしたときの前記画素の数を前記何れかの閾値の値に応じて重み付けする、オブジェクト検出システム。 The counting means counts the number of the pixels using each of the plurality of threshold values when a plurality of the threshold values are provided, and counts using any one of the plurality of threshold values. An object detection system that weights the number of pixels according to the value of any of the above thresholds.
前記カウント手段は、取得した画像を所定の回転角度だけ回転させた状態で前記画素の数をカウントする、請求項1又は2に記載のオブジェクト検出システム。 The object detection system according to claim 1 or 2 , wherein the counting means counts the number of the pixels in a state where the acquired image is rotated by a predetermined rotation angle. 前記所定のオブジェクトが前記画像内の複数のエリアの各々に存在する場合に、前記画像に対して画像処理を行うことによって前記複数のエリアの各々を特定する特定手段を備え、
前記カウント手段は、前記複数のエリアのうち少なくとも1つのエリアについて前記画素の数をカウントし、
前記検出手段は、前記少なくとも1つのエリアに存在する前記所定のオブジェクトを検出する、請求項1~の何れか1項に記載のオブジェクト検出システム。
When the predetermined object exists in each of the plurality of areas in the image, the image is provided with a specific means for identifying each of the plurality of areas by performing image processing on the image.
The counting means counts the number of pixels in at least one of the plurality of areas.
The object detection system according to any one of claims 1 to 3 , wherein the detection means detects the predetermined object existing in at least one area.
コンピュータが、
所定のオブジェクトを撮像した画像を取得するステップと、
取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするステップと、
カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出するステップと、
の各ステップを実行し、
前記所定のオブジェクトを検出するステップにおいて、前記画素の数に関する所定の条件を満たす前記他方の座標が所定の範囲内に複数存在する場合に、何れか1つの前記他方の座標を前記所定のオブジェクトの境界として抽出する、オブジェクト検出方法。
The computer
Steps to acquire an image of a given object, and
When the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction, among the pixels arranged in one of the X-axis and the Y-axis, the pixels whose brightness is equal to or less than a predetermined threshold . And the step of counting the number of each for each coordinate of the other of the X-axis and the Y-axis,
A step of detecting the predetermined object by extracting the coordinates of the other, which is the boundary of the predetermined object in the image, based on the number of counted pixels.
Perform each step of
In the step of detecting the predetermined object, when a plurality of the other coordinates satisfying the predetermined condition regarding the number of pixels are present within the predetermined range, any one of the other coordinates is used as the predetermined object. Object detection method to extract as a boundary .
コンピュータが、 The computer
所定のオブジェクトを撮像した画像を取得するステップと、 Steps to acquire an image of a given object,
取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするステップと、 When the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction, among the pixels arranged in one of the X-axis and the Y-axis, the pixels whose brightness is equal to or less than a predetermined threshold. A step of counting a number for each coordinate of the other of the X-axis and the Y-axis,
カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出するステップと、 A step of detecting the predetermined object by extracting the coordinates of the other, which is the boundary of the predetermined object in the image, based on the number of counted pixels.
の各ステップを実行し、 Perform each step of
前記カウントするステップにおいて、前記閾値が複数設けられている場合に、複数の閾値の各々を用いて前記画素の数をカウントし、前記複数の閾値のうち何れかの閾値を用いてカウントしたときの前記画素の数を前記何れかの閾値の値に応じて重み付けする、オブジェクト検出方法。 In the counting step, when a plurality of the threshold values are provided, the number of the pixels is counted using each of the plurality of threshold values, and the counting is performed using any one of the plurality of threshold values. An object detection method in which the number of pixels is weighted according to the value of any of the threshold values.
JP2017166223A 2017-08-30 2017-08-30 Object detection system, object detection method Active JP7057915B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017166223A JP7057915B2 (en) 2017-08-30 2017-08-30 Object detection system, object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017166223A JP7057915B2 (en) 2017-08-30 2017-08-30 Object detection system, object detection method

Publications (2)

Publication Number Publication Date
JP2019045999A JP2019045999A (en) 2019-03-22
JP7057915B2 true JP7057915B2 (en) 2022-04-21

Family

ID=65814655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017166223A Active JP7057915B2 (en) 2017-08-30 2017-08-30 Object detection system, object detection method

Country Status (1)

Country Link
JP (1) JP7057915B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016071855A (en) 2014-09-30 2016-05-09 コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド Horizontal and vertical line detection and removal for document images
JP2016207164A (en) 2015-04-28 2016-12-08 パナソニックIpマネジメント株式会社 Merchandise monitoring device, merchandise monitoring system, and merchandise monitoring method
US20170061416A1 (en) 2015-08-31 2017-03-02 Diego Garcia Morate Product auditing in point-of-sale images
JP2017135580A (en) 2016-01-28 2017-08-03 京セラドキュメントソリューションズ株式会社 Image output device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11338977A (en) * 1998-05-28 1999-12-10 Canon Inc Character processing method and apparatus, storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016071855A (en) 2014-09-30 2016-05-09 コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド Horizontal and vertical line detection and removal for document images
JP2016207164A (en) 2015-04-28 2016-12-08 パナソニックIpマネジメント株式会社 Merchandise monitoring device, merchandise monitoring system, and merchandise monitoring method
US20170061416A1 (en) 2015-08-31 2017-03-02 Diego Garcia Morate Product auditing in point-of-sale images
JP2017135580A (en) 2016-01-28 2017-08-03 京セラドキュメントソリューションズ株式会社 Image output device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
浜村 倫行,郵便物の欧文手書き住所認識技術,情報処理,日本,一般社団法人情報処理学会,2013年11月15日,第54巻 第12号,1248~1253

Also Published As

Publication number Publication date
JP2019045999A (en) 2019-03-22

Similar Documents

Publication Publication Date Title
US9311533B2 (en) Device and method for detecting the presence of a logo in a picture
CN110136069B (en) Text image correction method, device and electronic equipment
US20170054897A1 (en) Method of automatically focusing on region of interest by an electronic device
CN101639933A (en) Image rotation correction method and system and electronic device
CN106558027A (en) For estimating the algorithm of the biased error in camera attitude
EP3376431B1 (en) Method and apparatus for identifying pupil in image
JP2021108193A (en) Image processing device, image processing method, and program
KR20170038040A (en) Computerized prominent person recognition in videos
CN107103320A (en) Embedded medical data image recognition and integrated approach
CN108038826B (en) Method and device for correcting perspective deformed shelf image
US9798952B2 (en) Image processing apparatus and method therefor
CN110675425A (en) Video frame identification method, device, equipment and medium
CN103548055B (en) Moving image area judging device and method thereof
CN114820681A (en) RGB camera-based library position detection method and system
US9094617B2 (en) Methods and systems for real-time image-capture feedback
EP3994610A1 (en) Methods and systems for recognizing and reading a coded identification tag from video imagery
JP7057915B2 (en) Object detection system, object detection method
JP2014085845A (en) Moving picture processing device, moving picture processing method, program and integrated circuit
JP6075850B2 (en) Information terminal device, program, and recognition system
US12169967B1 (en) System and method for capturing by a device an image of a light colored object on a light colored background for uploading to a remote server
US20060010582A1 (en) Chin detecting method, chin detecting system and chin detecting program for a chin of a human face
CN113971671A (en) Instance partitioning method, instance partitioning device, electronic equipment and storage medium
JP2008269181A (en) Object detector
JP6818485B2 (en) Image processing equipment, image processing methods, and programs
KR20100102449A (en) Face detecting apparatus and face detection using the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200731

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220325

R150 Certificate of patent or registration of utility model

Ref document number: 7057915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250