JP7057915B2 - Object detection system, object detection method - Google Patents
Object detection system, object detection method Download PDFInfo
- Publication number
- JP7057915B2 JP7057915B2 JP2017166223A JP2017166223A JP7057915B2 JP 7057915 B2 JP7057915 B2 JP 7057915B2 JP 2017166223 A JP2017166223 A JP 2017166223A JP 2017166223 A JP2017166223 A JP 2017166223A JP 7057915 B2 JP7057915 B2 JP 7057915B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- axis
- predetermined
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本発明は、画像内の所定のオブジェクトを検出するオブジェクト検出システム、オブジェクト検出方法に関する。 The present invention relates to an object detection system and an object detection method for detecting a predetermined object in an image.
例えばコンビニエンスストアやスーパーマーケット等の実店舗では、商品の製造者や卸売業者と小売業者との間で予め契約された棚割に基づいて商品を陳列する場合がある。 For example, in a physical store such as a convenience store or a supermarket, products may be displayed based on a shelf allocation contracted in advance between a product manufacturer or wholesaler and a retailer.
ここで、契約された棚割通りに商品が陳列されているか否かを商品の製造者や卸売業者が確認するためには、商品の製造者や卸売業者が実店舗を訪れる必要があることから、商品の陳列状況を確認するための時間や労力が増加するおそれがあった。 Here, in order for the product manufacturer or wholesaler to confirm whether or not the product is displayed according to the contracted shelving allocation, the product manufacturer or wholesaler needs to visit the actual store. , There was a risk that the time and effort required to check the display status of the products would increase.
そこで、陳列状況の確認作業の効率化を図るために、商品(オブジェクト)が陳列されている商品棚を撮影した画像データから、画像データに含まれる商品の画像領域を検出画像領域として検出する技術が開示されている(例えば特許文献1)。 Therefore, in order to improve the efficiency of the work of checking the display status, a technique for detecting the image area of the product included in the image data as the detection image area from the image data obtained by photographing the product shelf on which the product (object) is displayed. Is disclosed (for example, Patent Document 1).
特許文献1に記載された技術では、例えば「缶のトップ」や「PETボトル」等のカテゴリ毎に用意された教師データを用いる学習手法によって、「缶」や「PETボトル」等の商品の画像領域を検出画像領域として検出するようになっている。 In the technique described in Patent Document 1, for example, an image of a product such as "can" or "PET bottle" is used by a learning method using teacher data prepared for each category such as "can top" or "PET bottle". The area is detected as a detection image area.
ところで、画像データから学習手法を用いて商品を検出する場合には、検出精度を向上させるために多くの教師データを用意する必要があることから、教師データの収集コストが嵩むおそれがあった。また、学習処理を行うためには、数時間~数日間の長い時間と負荷の高い計算処理とが必要になることから、商品の検出処理にかかるコストが嵩むおそれがあった。 By the way, when a product is detected from image data by a learning method, it is necessary to prepare a large amount of teacher data in order to improve the detection accuracy, which may increase the cost of collecting teacher data. Further, in order to perform the learning process, a long time of several hours to several days and a high-load calculation process are required, which may increase the cost of the product detection process.
本発明は上記課題に鑑みてなされたものであり、画像内の所定のオブジェクトを簡単な処理で検出することの可能なオブジェクト検出システム、オブジェクト検出方法を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an object detection system and an object detection method capable of detecting a predetermined object in an image by a simple process.
上記課題を解決するために、第一に本発明は、所定のオブジェクトを撮像した画像を取得する取得手段と、取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするカウント手段と、カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出する検出手段と、を備える、オブジェクト検出システムを提供する(発明1)。 In order to solve the above problems, first of all, in the present invention, the acquisition means for acquiring an image of a predetermined object, the horizontal direction of the acquired image is the X-axis direction, and the vertical direction of the image is the Y-axis direction. When, the number of pixels whose brightness is equal to or less than a predetermined threshold among the images arranged in one of the X-axis and the Y-axis is counted for each coordinate of the other of the X-axis and the Y-axis, and the count. Provided is an object detection system including a detection means for detecting the predetermined object by extracting the other coordinate which is a boundary of the predetermined object in the image based on the number of pixels. (Invention 1).
かかる発明(発明1)によれば、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素(つまり、輝度が閾値以下の暗い画素)の数に基づいて、X軸及びY軸のうち他方の座標の中から所定のオブジェクトの境界となる座標が抽出されることによって、所定のオブジェクトを検出することができる。これにより、輝度が所定の閾値以下の画素の数をカウントすることによって所定のオブジェクトを検出することが可能になることから、例えば学習手法を用いて検出処理を行う場合と比較して、画像内の所定のオブジェクトを簡単な処理で検出することができ、さらには、検出処理にかかるコストを抑制することができる。 According to the present invention (Invention 1), among the pixels arranged in one of the X-axis and the Y-axis, the number of pixels whose brightness is equal to or less than a predetermined threshold value (that is, dark pixels whose brightness is equal to or less than the threshold value) is based on the number of pixels. A predetermined object can be detected by extracting coordinates that are boundaries of a predetermined object from the coordinates of the other of the X-axis and the Y-axis. This makes it possible to detect a predetermined object by counting the number of pixels whose brightness is equal to or less than a predetermined threshold value. A predetermined object can be detected by a simple process, and further, the cost required for the detection process can be suppressed.
上記発明(発明1)においては、前記カウント手段は、取得した画像を所定の回転角度だけ回転させた状態で前記画素の数をカウントしてもよい(発明2)。 In the above invention (invention 1), the counting means may count the number of the pixels in a state where the acquired image is rotated by a predetermined rotation angle (invention 2).
かかる発明(発明2)によれば、画像内の所定のオブジェクトの形状がX軸及びY軸の何れの方向にも沿わない場合(例えば、所定のオブジェクトがX軸及びY軸の何れの方向にも沿わない形状を有している場合や、所定のオブジェクトがX軸及びY軸に対して斜めに撮像された場合等)であっても、画像を回転させることによって、画像内の所定のオブジェクトの形状がX軸及びY軸の何れかの方向に沿うような状態で所定のオブジェクトの境界となる座標を抽出することができるので、所定のオブジェクトの検出精度を向上させることが可能になる。 According to the present invention (Invention 2), when the shape of a predetermined object in an image does not follow any direction of the X-axis and the Y-axis (for example, the predetermined object is in either the X-axis or the Y-axis direction). Even if it has a shape that does not follow, or if a predetermined object is imaged at an angle to the X-axis and Y-axis, etc.), by rotating the image, the predetermined object in the image Since the coordinates that are the boundaries of a predetermined object can be extracted in a state where the shape of the object is along either the X-axis or the Y-axis direction, the detection accuracy of the predetermined object can be improved.
上記発明(発明1~2)においては、前記カウント手段は、前記閾値が複数設けられている場合に、複数の閾値の各々を用いて前記画素の数をカウントしてもよい(発明3)。 In the above inventions (Inventions 1 and 2), the counting means may count the number of the pixels by using each of the plurality of threshold values when a plurality of the threshold values are provided (Invention 3).
かかる発明(発明3)によれば、輝度のより高い画素がX軸及びY軸のうち一方の方向に多く並んでいる場合にカウントされる画素の数と、輝度のより低い画素が当該一方の方向に多く並んでいる場合にカウントされる画素の数との差を大きくすることができるので、所定のオブジェクトの境界となる座標の抽出精度を向上させることができる。 According to the present invention (Invention 3), the number of pixels counted when a large number of pixels having higher brightness are arranged in one of the X-axis and Y-axis directions, and the pixel having lower brightness is the one. Since it is possible to increase the difference from the number of pixels counted when many pixels are lined up in the direction, it is possible to improve the extraction accuracy of the coordinates that are the boundaries of a predetermined object.
上記発明(発明3)においては、前記カウント手段は、前記複数の閾値のうち何れかの閾値を用いてカウントしたときの前記画素の数を当該何れかの閾値の値に応じて重み付けしてもよい(発明4)。 In the above invention (Invention 3), the counting means may weight the number of the pixels when counting using any of the plurality of thresholds according to the value of the threshold. Good (Invention 4).
かかる発明(発明4)によれば、例えば閾値の値が小さくなるほど画素の数が大きく重み付けされる場合には、輝度のより高い画素がX軸及びY軸のうち一方の方向に多く並んでいる場合にカウントされる画素の数と、輝度のより低い画素が当該一方の方向に多く並んでいる場合にカウントされる画素の数との差をより大きくすることができるので、所定のオブジェクトの境界となる座標の抽出精度をさらに向上させることができる。 According to the present invention (Invention 4), for example, when the number of pixels is heavily weighted as the threshold value becomes smaller, a large number of pixels having higher brightness are arranged in one of the X-axis and the Y-axis. The boundary between a given object can be made larger because the difference between the number of pixels counted in the case and the number of pixels counted when more pixels with lower brightness are lined up in one direction is possible. It is possible to further improve the extraction accuracy of the coordinates.
上記発明(発明1~4)においては、前記検出手段は、前記画素の数に関する所定の条件を満たす前記他方の座標が所定の範囲内に複数存在する場合に、何れか1つの前記他方の座標を所定のオブジェクトの境界として抽出してもよい(発明5)。 In the above inventions (Inventions 1 to 4), the detection means is one of the other coordinates when a plurality of the other coordinates satisfying a predetermined condition regarding the number of pixels are present within a predetermined range. May be extracted as the boundary of a predetermined object (Invention 5).
かかる発明(発明5)によれば、例えば画素の数に関する所定の条件を満たす複数の他方の座標が所定のオブジェクトのサイズより小さい範囲内に存在する場合に、これらの他方の座標の各々が所定のオブジェクトの境界として誤って抽出されるのを抑制することができるので、所定のオブジェクトの検出精度を向上させることができる。 According to the invention (Invention 5), for example, when a plurality of other coordinates satisfying a predetermined condition regarding the number of pixels are within a range smaller than the size of a predetermined object, each of the other coordinates is predetermined. Since it is possible to suppress erroneous extraction as the boundary of the object, it is possible to improve the detection accuracy of a predetermined object.
上記発明(発明1~5)においては、前記所定のオブジェクトが前記画像内の複数のエリアの各々に存在する場合に、前記画像に対して画像処理を行うことによって前記複数のエリアの各々を特定する特定手段を備え、前記カウント手段は、前記複数のエリアのうち少なくとも1つのエリアについて前記画素の数をカウントし、前記検出手段は、前記少なくとも1つのエリアに存在する前記所定のオブジェクトを検出してもよい(発明6)。 In the above inventions (Inventions 1 to 5), when the predetermined object exists in each of the plurality of areas in the image, each of the plurality of areas is specified by performing image processing on the image. The counting means counts the number of the pixels in at least one of the plurality of areas, and the detecting means detects the predetermined object existing in the at least one area. It may be (Invention 6).
かかる発明(発明6)によれば、所定のオブジェクトが画像内の複数のエリアの各々に存在している場合であっても、各エリアの所定のオブジェクトを検出することができる。 According to the present invention (Invention 6), even when a predetermined object exists in each of a plurality of areas in an image, the predetermined object in each area can be detected.
第二に本発明は、コンピュータが、所定のオブジェクトを撮像した画像を取得するステップと、取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするステップと、カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出するステップと、の各ステップを実行する、オブジェクト検出方法を提供する(発明7)。 Secondly, the present invention is X when the computer acquires an image of a predetermined object and the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction. Based on the step of counting the number of pixels whose brightness is equal to or less than a predetermined value among the pixels arranged in one of the axes and the Y-axis for each coordinate of the other of the X-axis and the Y-axis, and the number of counted pixels. Provided is an object detection method for executing each step of detecting the predetermined object by extracting the other coordinate which is the boundary of the predetermined object in the image (Invention 7). ..
本発明のオブジェクト検出システム、オブジェクト検出方法によれば、画像内の所定のオブジェクトを簡単な処理で検出することができる。 According to the object detection system and the object detection method of the present invention, a predetermined object in an image can be detected by a simple process.
以下、本発明の一実施形態に係るオブジェクト検出システム、オブジェクト検出方法について添付図面を参照して詳細に説明する。ただし、この実施形態は例示であり、本発明はこれに限定されるものではない。 Hereinafter, the object detection system and the object detection method according to the embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, this embodiment is an example, and the present invention is not limited thereto.
(1)オブジェクト検出システムの基本構成
図1は、本発明の一実施形態に係るオブジェクト検出システムの基本構成を概略的に示す図である。図1に示すように、本実施形態に係るオブジェクト検出システムは検出装置10を備えており、検出装置10は、例えばコンビニエンスストアやスーパーマーケット等の実店舗内で通信端末20を用いて撮像された商品棚Sの画像を通信端末20から取得すると、画像内の所定のオブジェクト(本実施形態では、商品棚Sに陳列されている商品)を検出するようになっている。
(1) Basic Configuration of Object Detection System FIG. 1 is a diagram schematically showing a basic configuration of an object detection system according to an embodiment of the present invention. As shown in FIG. 1, the object detection system according to the present embodiment includes a detection device 10, and the detection device 10 is a product imaged by using a communication terminal 20 in a real store such as a convenience store or a supermarket. When the image of the shelf S is acquired from the communication terminal 20, a predetermined object (in the present embodiment, the product displayed on the product shelf S) in the image is detected.
なお、本実施形態では、商品棚Sに陳列されている商品が所定のオブジェクトである場合を一例として説明するが、所定のオブジェクトは、検出対象になり得るものであれば如何なるものであってもよい。 In this embodiment, the case where the product displayed on the product shelf S is a predetermined object will be described as an example, but the predetermined object may be any object that can be detected. good.
検出装置10と、通信端末20とは、例えばインターネットやLAN(Local Area Network)等の通信網NW(ネットワーク)に接続されており、通信網NWを介して相互に通信可能となっている。 The detection device 10 and the communication terminal 20 are connected to a communication network NW (network) such as the Internet or a LAN (Local Area Network), and can communicate with each other via the communication network NW.
通信端末20は、例えば、動画像や静止画像を撮像する機能を有する端末装置であって、例えば携帯端末、スマートフォン、PDA(Personal Digital Assistant)、パーソナルコンピュータ、双方向の通信機能を備えたテレビジョン受像機(いわゆる多機能型のスマートテレビも含む)等のように、個々のユーザによって操作される端末装置であってもよい。 The communication terminal 20 is, for example, a terminal device having a function of capturing a moving image or a still image, for example, a mobile terminal, a smartphone, a PDA (Personal Digital Assistant), a personal computer, and a television having a two-way communication function. It may be a terminal device operated by an individual user, such as a receiver (including a so-called multifunctional smart TV).
なお、本実施形態では、通信端末20が、商品棚Sの画像を撮像して検出装置10に送信する場合を一例として説明するが、通信端末20は、例えばデジタルカメラやデジタルビデオカメラ等の撮像装置が撮像した商品棚Sの画像を検出装置10に転送するための装置であってもよい。 In the present embodiment, a case where the communication terminal 20 captures an image of the product shelf S and transmits the image to the detection device 10 will be described as an example. However, the communication terminal 20 captures an image of, for example, a digital camera or a digital video camera. It may be a device for transferring the image of the product shelf S captured by the device to the detection device 10.
(2)検出装置の構成
図2を参照して検出装置10について説明する。図2は、検出装置10の内部構成を示すブロック図である。図2に示すように、検出装置10は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、不揮発性メモリ14と、表示処理部15と、表示部16と、入力部17と、通信インタフェース部18と、を備えており、各部間の制御信号又はデータ信号を伝送するためのバス19が設けられている。検出装置10は、例えば、汎用のパーソナルコンピュータであってもよい。
(2) Configuration of Detection Device 10 The detection device 10 will be described with reference to FIG. FIG. 2 is a block diagram showing an internal configuration of the detection device 10. As shown in FIG. 2, the detection device 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a
CPU11は、電源が検出装置10に投入されると、ROM12又は不揮発性メモリ14に記憶された各種のプログラムをRAM13にロードして実行する。本実施形態では、CPU11は、ROM12又は不揮発性メモリ14に記憶されたプログラムを読み出して実行することにより、後述する取得手段31、特定手段32、カウント手段33及び検出手段34(図3に示す)の機能を実現する。
When the power is turned on to the detection device 10, the
不揮発性メモリ14は、例えばHDD(Hard Disk Drive)であり、CPU11が実行するプログラムやCPU11が参照するデータを記憶する。また、不揮発性メモリ14には、後述するカウントデータ(図7に示す)が記憶されている。
The
表示処理部15は、CPU11から与えられる表示用データを表示部16に表示する。表示部16は、例えば、マトリクス状に画素単位で配置された薄膜トランジスタを含むLCD(Liquid Crystal Display)モニタであり、表示用データに基づいて薄膜トランジスタを駆動することで、表示されるデータを表示画面に表示する。
The
入力部17は、例えばマウスやキーボード等の情報入力デバイスである。通信インタフェース部18は、通信網NWを介して通信を行うためのインタフェース回路を含む。
The
(3)オブジェクト検出システムにおける各機能の概要
本実施形態のオブジェクト検出システムで実現される機能について、図3を参照して説明する。図3は、本実施形態のオブジェクト検出システムで主要な役割を果たす機能を説明するための機能ブロック図である。図3の機能ブロック図では、取得手段31、カウント手段33及び検出手段34が本発明の主要な構成に対応している。なお、特定手段32は必須の構成ではないが、本発明をさらに好ましくするための構成要素である。
(3) Outline of Each Function in the Object Detection System The functions realized by the object detection system of the present embodiment will be described with reference to FIG. FIG. 3 is a functional block diagram for explaining a function that plays a major role in the object detection system of the present embodiment. In the functional block diagram of FIG. 3, the acquisition means 31, the counting means 33, and the detecting
取得手段31は、商品棚Sに陳列された商品(所定のオブジェクト)を撮像した画像を取得する機能を備える。取得手段31の機能は、例えば以下のように実現される。 The acquisition means 31 has a function of acquiring an image of an image of a product (predetermined object) displayed on the product shelf S. The function of the acquisition means 31 is realized, for example, as follows.
検出装置10のCPU11は、通信端末20から送信された商品棚Sの画像を通信インタフェース部18を介して受信(取得)すると、受信した画像を例えばRAM13又は不揮発性メモリ14に記憶する。
When the
特定手段32は、商品棚Sに陳列された商品(所定のオブジェクト)が画像内の複数のエリアの各々に存在する場合に、当該画像に対して画像処理を行うことによって当該複数のエリアの各々を特定する機能を備える。これにより、商品が画像内の複数のエリアの各々に存在している場合であっても、各エリアの商品を検出することができる。なお、本実施形態では、画像内で商品棚Sの複数の棚によって区切られた複数のエリアの各々を特定する場合を一例として説明する。 When the product (predetermined object) displayed on the product shelf S exists in each of the plurality of areas in the image, the specific means 32 performs image processing on the image to each of the plurality of areas. It has a function to identify. Thereby, even if the product exists in each of the plurality of areas in the image, the product in each area can be detected. In this embodiment, a case where each of a plurality of areas separated by a plurality of shelves of the product shelf S is specified in the image will be described as an example.
特定手段32の機能は、例えば図4のフローチャート及び図5を参照して以下のように実現される。図5は、画像処理前後の画像の一例を説明する図である。検出装置10のCPU11は、先ず、画像に対して前処理を行う(ステップS100)。具体的に説明すると、CPU11は、取得手段31の機能によって取得した画像(図5(a)に示す)をグレイスケール化した後に、例えばガウシアンブラー処理を行うことにより平滑化する。
The function of the specific means 32 is realized as follows, for example, with reference to the flowchart of FIG. 4 and FIG. FIG. 5 is a diagram illustrating an example of an image before and after image processing. The
次に、CPU11は、平滑化した画像を2値化した後に、例えばCanny法等のエッジ抽出アルゴリズムを用いてエッジを抽出する(ステップS102)。エッジ抽出後の画像は、例えば図5(b)のように示される。
Next, the
次いで、CPU11は、エッジが抽出された画像に対して例えば確率的ハフ変換等の特徴抽出法を行うことによって、画像内で横方向(図中X軸方向)に延在する直線を検出する(ステップS104)。なお、本実施形態では、商品棚Sの複数の棚の各々が直線として検出される場合を想定している。ここで、直線を検出する場合には、CPU11は、横方向に延在する線分のうち、両端部の画素の縦方向(図中Y軸方向)の座標差が所定値(例えば10ピクセル)未満の線分を直線として検出してもよい。直線検出後の画像は、例えば図5(c)のように示される。図5(c)では、5つの横方向の直線Lが検出された場合を一例として示している。
Next, the
そして、CPU11は、直線検出後の画像を、検出された直線Lを用いて複数のエリア(注目領域(ROI;Region of Interest))に区切ることによって、ROIを設定する(ステップS106)。ここで、本実施形態におけるROIとは、複数の商品(オブジェクト)を含む領域を意味している。なお、複数の直線Lを用いてROIを設定する際には、CPU11は、画像の縦方向(図中Y軸方向)に隣接する2つの直線Lの各々の端部の画素の縦方向(図中Y軸方向)の座標差が所定値以上の場合に、当該2つの直線Lに挟まれたエリアをROIとして設定してもよい。ROI設定後の画像は、例えば図5(d)のように示される。図5(d)では、3つのROIが設定された場合を一例として示している。
Then, the
カウント手段33は、取得した画像の横方向をX軸方向とし、画像の縦方向をY軸方向としたときに、Y軸方向(X軸及びY軸のうち一方の方向)に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸(X軸及びY軸のうち他方)の座標毎にカウントする機能を備える。 The counting means 33 is among the pixels arranged in the Y-axis direction (one of the X-axis and the Y-axis) when the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction. It has a function of counting the number of pixels whose brightness is equal to or less than a predetermined threshold for each coordinate of the X-axis (the other of the X-axis and the Y-axis).
また、カウント手段33は、商品(所定のオブジェクト)が画像内の複数のエリアの各々に存在する場合に、特定手段32の機能によって特定されたエリアのうち少なくとも1つのエリアについて画素の数をカウントしてもよい。 Further, the counting means 33 counts the number of pixels for at least one area among the areas specified by the function of the specific means 32 when the product (predetermined object) exists in each of the plurality of areas in the image. You may.
さらに、カウント手段33は、取得した画像を所定の回転角度だけ回転させた状態で画素の数をカウントしてもよい。この場合、画像内の商品(所定のオブジェクト)の形状がX軸及びY軸の何れの方向にも沿わない場合(例えば、商品がX軸及びY軸の何れの方向にも沿わない形状を有している場合や、商品がX軸及びY軸に対して斜めに撮像された場合等)であっても、画像を回転させることによって、画像内の商品の形状がX軸及びY軸の何れかの方向に沿うような状態で商品の境界となる座標を抽出することができるので、商品の検出精度を向上させることが可能になる。 Further, the counting means 33 may count the number of pixels in a state where the acquired image is rotated by a predetermined rotation angle. In this case, when the shape of the product (predetermined object) in the image does not follow either the X-axis or the Y-axis direction (for example, the product has a shape that does not follow either the X-axis or the Y-axis direction). Even if the product is imaged at an angle to the X-axis and Y-axis, etc.), by rotating the image, the shape of the product in the image can be either X-axis or Y-axis. Since the coordinates that are the boundaries of the products can be extracted along the direction, it is possible to improve the detection accuracy of the products.
さらにまた、カウント手段33は、閾値が複数設けられている場合に、複数の閾値の各々を用いて画素の数をカウントしてもよい。この場合、輝度のより高い画素がX軸及びY軸のうち一方の方向に多く並んでいる場合にカウントされる画素の数と、輝度のより低い画素が当該一方の方向に多く並んでいる場合にカウントされる画素の数との差を大きくすることができるので、商品の境界となる座標の抽出精度を向上させることができる。 Furthermore, when a plurality of threshold values are provided, the counting means 33 may count the number of pixels using each of the plurality of threshold values. In this case, the number of pixels counted when a large number of pixels with higher brightness are arranged in one of the X-axis and Y-axis, and the number of pixels with lower brightness are arranged in a large number in one direction. Since the difference from the number of pixels counted in can be increased, the accuracy of extracting the coordinates that are the boundaries of the product can be improved.
また、カウント手段33は、複数の閾値のうち何れかの閾値を用いてカウントしたときの画素の数を当該何れかの閾値の値に応じて重み付けしてもよい。この場合、例えば閾値の値が小さくなるほど画素の数が大きく重み付けされる場合には、輝度のより高い画素がX軸及びY軸のうち一方の方向に多く並んでいる場合にカウントされる画素の数と、輝度のより低い画素が当該一方の方向に多く並んでいる場合にカウントされる画素の数との差をより大きくすることができるので、商品の境界となる座標の抽出精度をさらに向上させることができる。 Further, the counting means 33 may weight the number of pixels when counting using any of the plurality of thresholds according to the value of the threshold. In this case, for example, when the number of pixels is heavily weighted as the threshold value becomes smaller, the pixels counted when a large number of pixels having higher brightness are lined up in one of the X-axis and Y-axis directions. Since the difference between the number and the number of pixels counted when many pixels with lower brightness are lined up in one direction can be made larger, the accuracy of extracting the coordinates that are the boundaries of the product is further improved. Can be made to.
検出手段34は、カウントされた画素の数に基づいて、画像内の商品(所定のオブジェクト)の境界となるX軸の座標(他方の座標)を抽出することによって、商品を検出する機能を備える。 The detection means 34 has a function of detecting a product by extracting the coordinates of the X-axis (the other coordinate) that is the boundary of the product (predetermined object) in the image based on the number of counted pixels. ..
また、検出手段34は、画素の数に関する所定の条件を満たすX軸の座標(他方の座標)が所定の範囲内に複数存在する場合に、何れか1つのX軸の座標を商品(所定のオブジェクト)の境界として抽出してもよい。これにより、例えば画素の数に関する所定の条件を満たす複数のX軸の座標が商品のサイズより小さい範囲内に存在する場合に、これらのX軸の座標の各々が商品の境界として誤って抽出されるのを抑制することができるので、商品の検出精度を向上させることができる。 Further, when a plurality of X-axis coordinates (the other coordinate) satisfying a predetermined condition regarding the number of pixels exist within a predetermined range, the detection means 34 sets the coordinates of any one X-axis as a product (predetermined). It may be extracted as the boundary of the object). As a result, for example, when a plurality of X-axis coordinates satisfying a predetermined condition regarding the number of pixels are within a range smaller than the size of the product, each of these X-axis coordinates is erroneously extracted as the boundary of the product. It is possible to improve the detection accuracy of the product because it can be suppressed.
カウント手段33及び検出手段34の機能は、例えば図6のフローチャートを参照して以下のように実現される。なお、ここでは、画像を複数の回転角度(例えば回転角度が-20°~+20°)の各々で回転させたときの画素の数を、複数の閾値(例えば、閾値の値が50~200)を用いてカウントする場合を一例として説明する。
The functions of the counting means 33 and the detecting
検出装置10のCPU11は、カウント手段33の機能として、1つのROIをグレイスケール化し、当該ROIを所定の回転角度(例えば0°)だけ回転させた状態で、当該ROI内の縦方向(図中Y軸方向)に並ぶ画素のうち輝度が閾値(例えば200)以下の画素(つまり、輝度が閾値以下の暗い画素)の数を、当該ROIのX座標毎にカウントする(ステップS200)。ここで、CPU11は、あるX座標において輝度が閾値以下の画素を1つ検出する毎に、当該X座標における画素の数を1つ増加する。
As a function of the counting means 33, the
また、CPU11は、カウントした画素の数を、図7に示すカウントデータに記憶する。カウントデータは、複数の回転角度の各々と複数の閾値の各々とに対応して、1つのROI内の縦方向(図中Y軸方向)に並ぶ画素のうち輝度が閾値以下の画素の数及び当該画素の数に対応するカウント値が当該ROIのX座標毎に記録されたデータである。
Further, the
次に、CPU11は、カウント手段33の機能として、ステップS200においてカウントした画素の数を、閾値の値(例えば200)に対応する重み係数を用いて重み付けする(ステップS202)。ここで、重み係数は、例えば複数の閾値の各々に対応付けられた状態でカウントデータに記録されていてもよい。また、重み係数は、閾値の値が小さくなるほど画素の数が大きく重み付けられるように設定されてもよい。CPU11は、所定の閾値を用いてカウントしたX座標毎の画素の数を、当該閾値に対応する重み付け係数を用いて重み付けして、当該画素の数に対応するカウント値としてカウントデータに記録する。
Next, as a function of the counting means 33, the
次いで、CPU11は、全ての閾値について画素数のカウント処理を行ったか否かを判別し(ステップS204)、全ての閾値についてカウント処理を行った場合に(ステップS204:YES)、ステップS206の処理に移行する。なお、ステップS204において全ての閾値についてカウント処理を行っていない場合には(ステップS204:NO)、カウント処理が行われていない閾値を用いてステップS200の処理に移行する。
Next, the
また、CPU11は、全ての回転角度について画素数のカウント処理を行ったか否かを判別し(ステップS206)、全ての回転角度についてカウント処理を行った場合に(ステップS206:YES)、ステップS210の処理に移行する。なお、ステップS206において全ての閾値についてカウント処理を行っていない場合には(ステップS206:NO)、カウント処理が行われていない回転角度だけROIを回転させて(ステップS208)、ステップS200の処理に移行する。
Further, the
なお、CPU11は、ステップS208の処理において、例えば図8(a)~(b)に示すように、ROIの原点(図の例では、左上の端部)を中心として所定の回転角度だけ回転させる。そして、CPU11は、図8(b)に示す回転後のROIについてステップS200の処理を行う。
In the process of step S208, the
CPU11は、検出手段34の機能として、全ての回転角度についてカウント処理を行った場合に(ステップS206:YES)、カウントした画素数に基づいて、商品の境界となるX座標を抽出する(ステップS210)。例えば、CPU11は、ROI内の複数のX座標のうち、何れかの回転角度でROIを回転させた状態で何れかの閾値を用いた場合にカウントした画素数又は当該画素数に対応するカウント値が所定値(例えば、ROIの縦方向(図中Y軸方向)のサイズ(縦方向の画素数)×所定の指定値(例えば、0.0~1.0))以上のX座標を商品の境界として抽出してもよい。
As a function of the detecting
さらに、CPU11は、ROI内の複数のX座標のうち、少なくとも1つの回転角度に対応する少なくとも1つの閾値毎の画素数又はカウント値の合計が所定値以上のX座標を商品の境界として抽出してもよい。
Further, the
なお、CPU11は、画素の数に関する所定の条件を満たすX軸の座標が所定の範囲(例えば100ピクセル)内に複数存在する場合に、何れか1つのX軸の座標を商品の境界として抽出してもよい。ここで、画素の数に関する所定の条件とは、例えば、何れかの回転角度でROIを回転させた状態で何れかの閾値を用いた場合にカウントした画素数又は当該画素数に対応するカウント値が所定値以上であることであってもよいし、少なくとも1つの回転角度に対応する少なくとも1つの閾値毎の画素数又はカウント値の合計が所定値以上であることであってもよい。また、CPU11は、例えば、所定の条件を満たすX軸の座標のうち、カウントした画素数又は当該画素数に対応するカウント値が最大のX軸の座標を商品の境界として抽出してもよい。なお、CPU11は、このような抽出処理を例えばステップS200とステップS202との間に行ってもよいし、ステップS202とステップS204との間に行ってもよい。
When there are a plurality of X-axis coordinates that satisfy a predetermined condition regarding the number of pixels within a predetermined range (for example, 100 pixels), the
また、CPU11は、ステップS210において商品の境界となるX座標を抽出すると、図9に示すように、抽出したX座標を通過してY軸方向に沿って延在する境界線BをROIに付してもよい。
Further, when the
以上のようにして、ROI内に存在する商品を検出することができる。 As described above, the product existing in the ROI can be detected.
(4)本実施形態のオブジェクト検出システムの主要な処理のフロー
次に、本実施形態のオブジェクト検出システムにより行われる主要な処理のフローの一例について、図10のフローチャートを参照して説明する。
(4) Main processing flow of the object detection system of the present embodiment Next, an example of the main processing flow performed by the object detection system of the present embodiment will be described with reference to the flowchart of FIG.
先ず、検出装置10のCPU11は、通信端末20から送信された商品棚Sの画像を通信インタフェース部18を介して受信(取得)する(ステップS300)。また、CPU11は、受信した画像を例えばRAM13又は不揮発性メモリ14に記憶する。
First, the
次に、検出装置10のCPU11は、取得した画像に対して画像処理を行うことによって、画像内の複数のエリアの各々をROIとして特定する(ステップS302)。なお、ステップS302の処理の内容は、上述した図4のステップS100~S106の処理内容と同様である。
Next, the
次いで、検出装置10のCPU11は、特定した複数のROIの中から1つのROIを選択し(ステップS304)、選択したROI内に存在する商品を検出する(ステップS306)。なお、ステップS306の処理の内容は、上述した図6のステップS200~S210の処理内容と同様である。
Next, the
また、CPU11は、全てのROIについて商品の検出処理を行ったか否かを判別し(ステップS308)、全てのROIについて検出処理を行った場合に(ステップS308:YES)、全ての処理を終了する。なお、ステップS308において全てのROIについて検出処理を行っていない場合には(ステップS308:NO)、検出処理が行われていないROIが選択されるようにステップS304の処理に移行する。
Further, the
上述したように、本実施形態のオブジェクト検出システム、オブジェクト検出方法によれば、ROIの縦方向(Y軸方向)に並ぶ画素のうち輝度が所定の閾値以下の画素(つまり、輝度が閾値以下の暗い画素)の数に基づいて、ROIの横方向(X軸方向)の座標の中から商品の境界となる座標が抽出されることによって、商品を検出することができる。これにより、輝度が所定の閾値以下の画素の数をカウントすることによって商品を検出することが可能になることから、例えば学習手法を用いて検出処理を行う場合と比較して、画像内の商品を簡単な処理で検出することができ、さらには、検出処理にかかるコストを抑制することができる。 As described above, according to the object detection system and the object detection method of the present embodiment, among the pixels arranged in the vertical direction (Y-axis direction) of the ROI, the pixels whose brightness is equal to or less than a predetermined threshold value (that is, the brightness is equal to or less than the threshold value). The product can be detected by extracting the coordinates that are the boundaries of the product from the coordinates in the lateral direction (X-axis direction) of the ROI based on the number of dark pixels). This makes it possible to detect the product by counting the number of pixels whose brightness is equal to or less than a predetermined threshold value. Therefore, the product in the image is compared with the case where the detection process is performed using, for example, a learning method. Can be detected by a simple process, and further, the cost required for the detection process can be suppressed.
なお、本発明のオブジェクト検出方法をコンピュータに実行させるためのプログラムは、コンピュータで読み取り可能な記憶媒体に記憶されていてもよい。このプログラムを記録した記憶媒体は、例えば図2に示された不揮発性メモリ14であってもよい。また、例えばCD-ROMドライブ等のプログラム読取装置に挿入されることで読み取り可能なCD-ROM等であってもよい。さらに、記憶媒体は、磁気テープ、カセットテープ、フレキシブルディスク、MO(Magneto Optical disk)/MD(MiniDisk)/DVD(Digital Versatile Disc)等であってもよいし、半導体メモリであってもよい。
The program for causing the computer to execute the object detection method of the present invention may be stored in a computer-readable storage medium. The storage medium on which this program is recorded may be, for example, the
以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記各実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiments described above are described for facilitating the understanding of the present invention, and are not described for limiting the present invention. Therefore, each element disclosed in each of the above embodiments is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
例えば、上述した実施形態では、ROIの縦方向(Y軸方向)に並ぶ画素のうち輝度が所定の閾値以下の画素(つまり、輝度が閾値以下の暗い画素)の数に基づいて、ROIの横方向(X軸方向)の座標の中から商品の境界となる座標を抽出する場合を一例として説明したが、ROIの横方向(X軸方向)に並ぶ画素のうち輝度が所定の閾値以下の画素の数に基づいて、ROIの縦方向(Y軸方向)の座標の中から商品の境界となる座標を抽出してもよい。 For example, in the above-described embodiment, among the pixels arranged in the vertical direction (Y-axis direction) of the ROI, the laterality of the ROI is based on the number of pixels whose brightness is equal to or less than a predetermined threshold value (that is, dark pixels whose brightness is equal to or less than the threshold value). The case of extracting the coordinates that are the boundaries of the product from the coordinates in the direction (X-axis direction) has been described as an example, but among the pixels arranged in the horizontal direction (X-axis direction) of the ROI, the pixels whose brightness is equal to or less than a predetermined threshold value. Based on the number of, the coordinates that are the boundaries of the products may be extracted from the coordinates in the vertical direction (Y-axis direction) of the ROI.
また、上述した実施形態では、商品棚Sの画像を、通信端末20を用いて検出装置10に送信する場合を一例として説明したが、この場合に限られない。例えば、商品棚Sの画像がコンピュータで読み取り可能な記憶媒体(例えば、USB(Universal Serial Bus)メモリ等)に記憶されている場合には、検出装置10は、当該記憶媒体にアクセスすることによって商品棚Sの画像を取得してもよい。 Further, in the above-described embodiment, the case where the image of the product shelf S is transmitted to the detection device 10 using the communication terminal 20 has been described as an example, but the present invention is not limited to this case. For example, when the image of the product shelf S is stored in a storage medium readable by a computer (for example, a USB (Universal Serial Bus) memory or the like), the detection device 10 accesses the storage medium to obtain the product. The image of the shelf S may be acquired.
さらに、上述した実施形態では、検出装置10によって、取得手段31、特定手段32、カウント手段33及び検出手段34の各機能を実現する構成としたが、この構成に限られない。例えば、これらの手段のうち少なくとも一部の手段を通信端末20によって実現する構成としてもよい。 Further, in the above-described embodiment, the detection device 10 is configured to realize the functions of the acquisition means 31, the specific means 32, the counting means 33, and the detection means 34, but the configuration is not limited to this. For example, at least a part of these means may be realized by the communication terminal 20.
上述したような本発明のオブジェクト検出システム、オブジェクト検出方法によれば、画像内の所定のオブジェクトを簡単な処理で検出することができ、例えば実店舗における商品の陳列状況を画像データに基づいて確認するためのシステム等に好適に利用することができるので、その産業上の利用可能性は極めて大きい。 According to the object detection system and object detection method of the present invention as described above, a predetermined object in an image can be detected by a simple process, and for example, the display status of a product in a physical store can be confirmed based on image data. Since it can be suitably used for a system or the like, its industrial applicability is extremely high.
10…検出装置
20…通信端末
31…取得手段
32…特定手段
33…カウント手段
34…検出手段
B…境界線
S…商品棚
10 ... Detection device 20 ...
Claims (6)
取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするカウント手段と、
カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出する検出手段と、
を備え、
前記検出手段は、前記画素の数に関する所定の条件を満たす前記他方の座標が所定の範囲内に複数存在する場合に、何れか1つの前記他方の座標を前記所定のオブジェクトの境界として抽出する、オブジェクト検出システム。 An acquisition means for acquiring an image of a predetermined object, and
When the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction, among the pixels arranged in one of the X-axis and the Y-axis, the pixels whose brightness is equal to or less than a predetermined threshold. A counting means that counts a number for each coordinate of the other of the X-axis and the Y-axis,
A detection means for detecting the predetermined object by extracting the coordinates of the other, which is the boundary of the predetermined object in the image, based on the number of counted pixels.
Equipped with
When a plurality of the other coordinates satisfying a predetermined condition regarding the number of pixels are present in a predetermined range, the detection means extracts any one of the other coordinates as a boundary of the predetermined object. , Object detection system.
取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするカウント手段と、 When the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction, among the pixels arranged in one of the X-axis and the Y-axis, the pixels whose brightness is equal to or less than a predetermined threshold. A counting means that counts a number for each coordinate of the other of the X-axis and the Y-axis,
カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出する検出手段と、 A detection means for detecting the predetermined object by extracting the coordinates of the other, which is the boundary of the predetermined object in the image, based on the number of counted pixels.
を備え、 Equipped with
前記カウント手段は、前記閾値が複数設けられている場合に、複数の閾値の各々を用いて前記画素の数をカウントし、前記複数の閾値のうち何れかの閾値を用いてカウントしたときの前記画素の数を前記何れかの閾値の値に応じて重み付けする、オブジェクト検出システム。 The counting means counts the number of the pixels using each of the plurality of threshold values when a plurality of the threshold values are provided, and counts using any one of the plurality of threshold values. An object detection system that weights the number of pixels according to the value of any of the above thresholds.
前記カウント手段は、前記複数のエリアのうち少なくとも1つのエリアについて前記画素の数をカウントし、
前記検出手段は、前記少なくとも1つのエリアに存在する前記所定のオブジェクトを検出する、請求項1~3の何れか1項に記載のオブジェクト検出システム。 When the predetermined object exists in each of the plurality of areas in the image, the image is provided with a specific means for identifying each of the plurality of areas by performing image processing on the image.
The counting means counts the number of pixels in at least one of the plurality of areas.
The object detection system according to any one of claims 1 to 3 , wherein the detection means detects the predetermined object existing in at least one area.
所定のオブジェクトを撮像した画像を取得するステップと、
取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするステップと、
カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出するステップと、
の各ステップを実行し、
前記所定のオブジェクトを検出するステップにおいて、前記画素の数に関する所定の条件を満たす前記他方の座標が所定の範囲内に複数存在する場合に、何れか1つの前記他方の座標を前記所定のオブジェクトの境界として抽出する、オブジェクト検出方法。 The computer
Steps to acquire an image of a given object, and
When the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction, among the pixels arranged in one of the X-axis and the Y-axis, the pixels whose brightness is equal to or less than a predetermined threshold . And the step of counting the number of each for each coordinate of the other of the X-axis and the Y-axis,
A step of detecting the predetermined object by extracting the coordinates of the other, which is the boundary of the predetermined object in the image, based on the number of counted pixels.
Perform each step of
In the step of detecting the predetermined object, when a plurality of the other coordinates satisfying the predetermined condition regarding the number of pixels are present within the predetermined range, any one of the other coordinates is used as the predetermined object. Object detection method to extract as a boundary .
所定のオブジェクトを撮像した画像を取得するステップと、 Steps to acquire an image of a given object,
取得した画像の横方向をX軸方向とし、前記画像の縦方向をY軸方向としたときに、X軸及びY軸のうち一方の方向に並ぶ画素のうち輝度が所定の閾値以下の画素の数をX軸及びY軸のうち他方の座標毎にカウントするステップと、 When the horizontal direction of the acquired image is the X-axis direction and the vertical direction of the image is the Y-axis direction, among the pixels arranged in one of the X-axis and the Y-axis, the pixels whose brightness is equal to or less than a predetermined threshold. A step of counting a number for each coordinate of the other of the X-axis and the Y-axis,
カウントされた画素の数に基づいて、前記画像内の前記所定のオブジェクトの境界となる前記他方の座標を抽出することによって、前記所定のオブジェクトを検出するステップと、 A step of detecting the predetermined object by extracting the coordinates of the other, which is the boundary of the predetermined object in the image, based on the number of counted pixels.
の各ステップを実行し、 Perform each step of
前記カウントするステップにおいて、前記閾値が複数設けられている場合に、複数の閾値の各々を用いて前記画素の数をカウントし、前記複数の閾値のうち何れかの閾値を用いてカウントしたときの前記画素の数を前記何れかの閾値の値に応じて重み付けする、オブジェクト検出方法。 In the counting step, when a plurality of the threshold values are provided, the number of the pixels is counted using each of the plurality of threshold values, and the counting is performed using any one of the plurality of threshold values. An object detection method in which the number of pixels is weighted according to the value of any of the threshold values.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017166223A JP7057915B2 (en) | 2017-08-30 | 2017-08-30 | Object detection system, object detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017166223A JP7057915B2 (en) | 2017-08-30 | 2017-08-30 | Object detection system, object detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019045999A JP2019045999A (en) | 2019-03-22 |
| JP7057915B2 true JP7057915B2 (en) | 2022-04-21 |
Family
ID=65814655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017166223A Active JP7057915B2 (en) | 2017-08-30 | 2017-08-30 | Object detection system, object detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7057915B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016071855A (en) | 2014-09-30 | 2016-05-09 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | Horizontal and vertical line detection and removal for document images |
| JP2016207164A (en) | 2015-04-28 | 2016-12-08 | パナソニックIpマネジメント株式会社 | Merchandise monitoring device, merchandise monitoring system, and merchandise monitoring method |
| US20170061416A1 (en) | 2015-08-31 | 2017-03-02 | Diego Garcia Morate | Product auditing in point-of-sale images |
| JP2017135580A (en) | 2016-01-28 | 2017-08-03 | 京セラドキュメントソリューションズ株式会社 | Image output device |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11338977A (en) * | 1998-05-28 | 1999-12-10 | Canon Inc | Character processing method and apparatus, storage medium |
-
2017
- 2017-08-30 JP JP2017166223A patent/JP7057915B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016071855A (en) | 2014-09-30 | 2016-05-09 | コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド | Horizontal and vertical line detection and removal for document images |
| JP2016207164A (en) | 2015-04-28 | 2016-12-08 | パナソニックIpマネジメント株式会社 | Merchandise monitoring device, merchandise monitoring system, and merchandise monitoring method |
| US20170061416A1 (en) | 2015-08-31 | 2017-03-02 | Diego Garcia Morate | Product auditing in point-of-sale images |
| JP2017135580A (en) | 2016-01-28 | 2017-08-03 | 京セラドキュメントソリューションズ株式会社 | Image output device |
Non-Patent Citations (1)
| Title |
|---|
| 浜村 倫行,郵便物の欧文手書き住所認識技術,情報処理,日本,一般社団法人情報処理学会,2013年11月15日,第54巻 第12号,1248~1253 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019045999A (en) | 2019-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9311533B2 (en) | Device and method for detecting the presence of a logo in a picture | |
| CN110136069B (en) | Text image correction method, device and electronic equipment | |
| US20170054897A1 (en) | Method of automatically focusing on region of interest by an electronic device | |
| CN101639933A (en) | Image rotation correction method and system and electronic device | |
| CN106558027A (en) | For estimating the algorithm of the biased error in camera attitude | |
| EP3376431B1 (en) | Method and apparatus for identifying pupil in image | |
| JP2021108193A (en) | Image processing device, image processing method, and program | |
| KR20170038040A (en) | Computerized prominent person recognition in videos | |
| CN107103320A (en) | Embedded medical data image recognition and integrated approach | |
| CN108038826B (en) | Method and device for correcting perspective deformed shelf image | |
| US9798952B2 (en) | Image processing apparatus and method therefor | |
| CN110675425A (en) | Video frame identification method, device, equipment and medium | |
| CN103548055B (en) | Moving image area judging device and method thereof | |
| CN114820681A (en) | RGB camera-based library position detection method and system | |
| US9094617B2 (en) | Methods and systems for real-time image-capture feedback | |
| EP3994610A1 (en) | Methods and systems for recognizing and reading a coded identification tag from video imagery | |
| JP7057915B2 (en) | Object detection system, object detection method | |
| JP2014085845A (en) | Moving picture processing device, moving picture processing method, program and integrated circuit | |
| JP6075850B2 (en) | Information terminal device, program, and recognition system | |
| US12169967B1 (en) | System and method for capturing by a device an image of a light colored object on a light colored background for uploading to a remote server | |
| US20060010582A1 (en) | Chin detecting method, chin detecting system and chin detecting program for a chin of a human face | |
| CN113971671A (en) | Instance partitioning method, instance partitioning device, electronic equipment and storage medium | |
| JP2008269181A (en) | Object detector | |
| JP6818485B2 (en) | Image processing equipment, image processing methods, and programs | |
| KR20100102449A (en) | Face detecting apparatus and face detection using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200731 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200731 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210804 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7057915 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |