JP7794482B2 - Inspection Equipment - Google Patents
Inspection EquipmentInfo
- Publication number
- JP7794482B2 JP7794482B2 JP2024012523A JP2024012523A JP7794482B2 JP 7794482 B2 JP7794482 B2 JP 7794482B2 JP 2024012523 A JP2024012523 A JP 2024012523A JP 2024012523 A JP2024012523 A JP 2024012523A JP 7794482 B2 JP7794482 B2 JP 7794482B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- control unit
- inspected
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
特許法第30条第2項適用 平成28年6月7日~10日に、FOOMAJAPAN2016国際食品工業展にて公開Patent Law Article 30, Paragraph 2 applied. Exhibited at FOOMA JAPAN 2016 International Food Industry Exhibition from June 7th to 10th, 2016.
本発明は、検査装置に関する。 The present invention relates to an inspection device.
物品の検査を行う物品検査システムが知られている(例えば、特許文献1参照)。この物品検査システムでは、検査ラインに各種検査装置を検査ラインに直列に配置し、製造ラインから検査ラインに送られた物品を検査装置にて検査を行う。
また、検査対象物の外観を撮像して得られた画像と、複数種類の良品画像および不良品画像とを比較することで、検査対象物の良否判定を行う外観検査装置が知られている(例えば、特許文献2参照)。
An article inspection system for inspecting articles is known (see, for example, Patent Document 1). In this article inspection system, various inspection devices are arranged in series on an inspection line, and articles sent from a production line to the inspection line are inspected by the inspection devices.
Also, there is known an appearance inspection device that determines whether an object to be inspected is good or bad by comparing an image obtained by capturing the appearance of the object to multiple types of good product images and defective product images (see, for example, Patent Document 2).
しかしながら、特許文献1に記載の物品検査システムでは、検査の項目が増えるごとに、検査の種類に応じた検査装置を直列配置することを要し、検査ラインが長大となってしまうという問題があった。また、各検査項目それぞれに特化した検査装置の搬送部の搬送面の高さ調整、検出位置調整、搬送スピード調整等を要し、それらの調整が不十分である場合、検査物品に対して正しく検査を行うことができないことがある。 However, the item inspection system described in Patent Document 1 had the problem that as the number of inspection items increased, it was necessary to arrange inspection devices corresponding to the type of inspection in series, resulting in a long inspection line. Furthermore, adjustments such as the height of the conveying surface of the conveying section of the inspection device specialized for each inspection item, detection position adjustment, and conveying speed adjustment were required, and if these adjustments were insufficient, it may not be possible to properly inspect the inspection items.
本発明の検査装置は、少なくとも以下の構成を具備するものである。
検査対象の物品の一方面にある商品名を撮像する撮像手段と、
前記検査対象の物品の比較対象となる正情報を記憶する記憶手段と、
前記検査対象の物品の前記一方面とは異なる他方面にあるコードを読み取る読取手段と、
検査対象の属性に応じて、前記撮像手段による撮像範囲にある商品名よりも上方かつ、前記検査対象の物品の頂点よりも下方の位置に設定され、前記検査対象の物品の側面を支持する物品支持手段と、を有し、
前記撮像手段と前記読取手段は、前記物品支持手段を挟んで対向するように配置されており、
撮像された前記検査対象の物品の商品名及び前記検査対象の物品のコードが前記記憶手段に記憶された正情報に係る規定のものであるか否かを検査する検査手段を有する
ことを特徴とする。
The inspection device of the present invention has at least the following configuration.
an imaging means for imaging a product name on one side of the object to be inspected;
a storage means for storing positive information to be compared with the inspection target item;
reading means for reading a code on a surface of the object to be inspected that is different from the one surface;
and an article support means that is set at a position above the product name in the image capture range of the imaging means and below the apex of the article to be inspected according to the attributes of the article to be inspected, and that supports the side of the article to be inspected,
the imaging means and the reading means are arranged to face each other across the article support means,
The inspection means inspects whether the product name and code of the imaged product to be inspected are the same as those specified in the authentic information stored in the storage means.
It is characterized by:
本発明によれば、検査対象の物品に対して異なる種類の検査を一つの検査装置にて行うことで、検査ラインの長大化を防ぐことができる。 According to the present invention, different types of inspections can be performed on the items being inspected using a single inspection device, preventing the inspection line from becoming too long.
本発明の実施形態に係る検査装置は、検査対象の物品(検査物品)を撮像する撮像手段と、撮像手段により撮像される物品の撮像位置とは異なる位置から物品の識別情報を取得する取得手段と、検査物品の比較対象となる正情報を記憶する記憶手段と、物品を搬送する搬送手段と、撮像手段による撮像画像と取得手段による識別情報を、記憶手段が記憶する正情報と比較し正否判定を行う制御手段とを有する。
また、本発明の実施形態に係る検査装置は、検査対象物を撮像手段により撮像して得られた撮像画像と、予め記憶された正画像とを比較することで該検査対象物の良否判定を行う。検査装置は、撮像手段により得られる撮像画像に対する画像処理の設定に関する設定画面を操作可能に表示する第1の表示領域と、第1の表示領域の設定画面に対する操作を補助するための操作補助画面を操作可能に表示する第2の表示領域とを有する。第1の表示領域は、第2の表示領域の近傍に併設されている。
この検査装置は、検査対象物を撮像する撮像手段や撮像画像に関する画像処理等の設定操作を、容易に、効率よく短時間で行うことが可能である。
An inspection device according to an embodiment of the present invention includes an imaging means for imaging an item to be inspected (inspection item), an acquisition means for acquiring the item's identification information from a position different from the imaging position of the item imaged by the imaging means, a storage means for storing positive information to be compared with the inspection item, a transport means for transporting the item, and a control means for comparing the image captured by the imaging means and the identification information from the acquisition means with the positive information stored in the storage means to determine whether the item is correct or not.
In addition, an inspection device according to an embodiment of the present invention judges the quality of an inspection object by comparing an image obtained by imaging the object with a pre-stored normal image. The inspection device has a first display area that operably displays a setting screen related to image processing settings for the image obtained by the imaging means, and a second display area that operably displays an operation assistance screen for assisting in operations on the setting screen of the first display area. The first display area is provided adjacent to the second display area.
This inspection device allows easy, efficient and quick setting operations for the imaging means for capturing images of the object to be inspected and image processing related to the captured images.
以下、本発明の実施形態に係る検査装置(ラベル検査装置)を、図面を参照しながら説明する。本発明の実施形態は図示の内容を含むが、これのみに限定されるものではない。
尚、以後の各図の説明で、既に説明した部位と共通する部分は同一符号を付して重複説明を一部省略する。
Hereinafter, an inspection apparatus (label inspection apparatus) according to an embodiment of the present invention will be described with reference to the drawings. The embodiment of the present invention includes, but is not limited to, the contents shown in the drawings.
In the following explanation of each figure, parts that are common to parts that have already been explained will be given the same reference numerals, and some of the overlapping explanations will be omitted.
本実施形態では、本発明に係る検査装置をラベル検査装置に採用した例を説明する。
図1、図2に示したように、本発明の実施形態に係る検査装置100は、台座42上に支持部材41により支持された操作表示装置40を有する。操作表示装置40は、第1の表示領域としてのカメラ側表示入力部14、第2の表示領域としてのメイン表示入力部24、各種スイッチや各種ボタンなどの操作入力部25を有する。
In this embodiment, an example in which the inspection device according to the present invention is used in a label inspection device will be described.
1 and 2, an inspection device 100 according to an embodiment of the present invention has an operation display device 40 supported by a support member 41 on a base 42. The operation display device 40 has a camera side display input unit 14 as a first display area, a main display input unit 24 as a second display area, and an operation input unit 25 such as various switches and buttons.
台座42上には、検査対象物wを搬送路(搬送経路)に沿って搬送する搬送部としてのベルトコンベア261が設けられている。ベルトコンベア261は、無端ベルト262が所定距離だけ離れて配置された一対の回転軸263、264やプーリー(不図示)に掛け渡されている。回転軸263、264の一方又は両方は、コンベア駆動部により回転駆動される。 A belt conveyor 261 is provided on the base 42 as a transport unit that transports the inspection object w along a transport path (transport route). The belt conveyor 261 has an endless belt 262 stretched over a pair of rotating shafts 263, 264 and pulleys (not shown) that are positioned a predetermined distance apart. One or both of the rotating shafts 263, 264 are rotated by a conveyor drive unit.
ベルトコンベア261の載置面よりも所定距離だけ上方には、一対の長尺のガイド部材Gがベルトコンベア261の搬送路に沿って設けられている。このガイド部材Gの高さは、ベルトコンベア261の載置面上に載置された検査対象物wの高さよりも低く設定されており、ベルトコンベア261上の検査対象物wが倒れないように支持可能に構成されている。また、一対のガイド部材Gの間隔は、検査対象物wの厚みよりも幅広に設定されている。 A pair of long guide members G are provided along the conveying path of the belt conveyor 261, a predetermined distance above the loading surface of the belt conveyor 261. The height of these guide members G is set lower than the height of the inspection object w placed on the loading surface of the belt conveyor 261, and is configured to support the inspection object w on the belt conveyor 261 so that it does not fall over. The distance between the pair of guide members G is also set wider than the thickness of the inspection object w.
また、図2に示したように、一対のガイド部材Gの搬送方向上流側の端部付近の間隔は、中央部よりも幅広となるように設定されている。すなわち、ガイド部材Gは、検査対象物wをベルトコンベア261の幅方向の中央部に載置しやすい構造となっている。また、検査対象物wがベルトコンベア261の載置面の幅方向の中央部からずれた位置に載置された場合であっても、コンベア駆動時、ガイド部材Gは、ベルトコンベア261の幅方向の中央部に検査対象物wを導く構造となっている。 Also, as shown in Figure 2, the spacing between the pair of guide members G near their upstream ends in the conveying direction is set to be wider than at the center. In other words, the guide members G are designed to make it easy to place the inspection object w at the center in the width direction of the belt conveyor 261. Furthermore, even if the inspection object w is placed at a position offset from the center in the width direction of the placement surface of the belt conveyor 261, the guide members G are designed to guide the inspection object w to the center in the width direction of the belt conveyor 261 when the conveyor is driven.
ベルトコンベア261の搬送方向の上流側の両サイドには、カメラなどの撮像部12、コードスキャナ22が配置されている。つまり、撮像部12とコードスキャナ22の間にベルトコンベア261が配置されている。 An imaging unit 12 such as a camera and a code scanner 22 are arranged on both sides of the belt conveyor 261 upstream in the conveying direction. In other words, the belt conveyor 261 is arranged between the imaging unit 12 and the code scanner 22.
本実施形態では、図3に示したように、検査対象物としての商品の表側には表ラベルLA(第1のラベル)が貼付されており、裏側には裏ラベルLB(第2のラベル)が貼付されている。ラベルLとしての表ラベルLAには商品名81、本体価格82などが印字されている。また、ラベルLとしての裏ラベルLBには、コード情報83(バーコードや2次元コード等)、商品詳細情報84などが印字されている。商品詳細情報84は、例えば、原材料名、アレルゲン名、食品添加物名、消費期限、保存方法、栄養成分表示(カロリー、栄養成分名、その含有量)、製造者名、住所などが記載されている。
尚、商品情報は、樹脂製の包装シートに直接印字されていてもよいし、包装シートに貼付されるラベルLに印字されていてもよい。
In this embodiment, as shown in Fig. 3, a front label LA (first label) is affixed to the front side of a product serving as an inspection object, and a back label LB (second label) is affixed to the back side. A product name 81, a base price 82, and the like are printed on the front label LA serving as the label L. Furthermore, code information 83 (a barcode, a two-dimensional code, etc.), detailed product information 84, and the like are printed on the back label LB serving as the label L. The detailed product information 84 includes, for example, names of ingredients, allergens, food additives, expiration dates, storage instructions, nutritional information (calories, names of nutritional components, and their content), the manufacturer's name, and address.
The product information may be printed directly on the resin packaging sheet, or may be printed on a label L attached to the packaging sheet.
図1、図2に示すように、撮像部12は、搬送路に沿って搬送される検査対象物wの表ラベルLAを撮像可能に配置されている。撮像部12の撮像領域12ARは、例えば、図1に示したように、ガイド部材Gとベルトコンベア261との間の所定領域に設定されている。撮像部12よりも搬送方向上流側の所定位置に、検査対象物検出部としての光センサ等のセンサ27A(27)が設けられている。
搬送される検査対象物wがセンサ27A(27)により検出された時から、搬送速度に応じた設定時間後、撮像領域12AR内に検査対象物wが位置するタイミングで、撮像部12が検査対象物wの表ラベルLAを撮像する。尚、撮像部12は常時撮像していてもよい。
1 and 2, the imaging unit 12 is positioned so as to be able to capture an image of the front label LA of the inspection object w being transported along the transport path. The imaging area 12AR of the imaging unit 12 is set in a predetermined area between the guide member G and the belt conveyor 261, for example, as shown in Fig. 1. A sensor 27A (27), such as an optical sensor, serving as an inspection object detection unit is provided at a predetermined position upstream of the imaging unit 12 in the transport direction.
After a set time according to the conveying speed has elapsed since the sensor 27A (27) detected the conveyed inspection object w, the imaging unit 12 captures an image of the front label LA of the inspection object w when the inspection object w is positioned within the imaging area 12AR. Note that the imaging unit 12 may capture images all the time.
また、図1、図2に示すように、コードスキャナ22は、搬送路に沿って搬送される検査対象物wの裏ラベルLBに印字されたコード情報を読み取り可能に配置されている。コードスキャナ22の読取り領域22ARは、図1に示したように、ガイド部材Gとベルトコンベア261との間の所定領域に設定されている。コードスキャナ22は、例えば、図2に示したように、光を検査対象物wへ照射する発光部22aと、検査対象物wで反射された光を受光する受光部22bとを有し、搬送される検査対象物wの裏ラベルLBに印刷されたコード情報83(バーコードや2次元コード等)を読み取るように構成されている。 As shown in Figures 1 and 2, the code scanner 22 is positioned so that it can read code information printed on the back label LB of the inspection object w being transported along the transport path. The reading area 22AR of the code scanner 22 is set in a predetermined area between the guide member G and the belt conveyor 261, as shown in Figure 1. For example, as shown in Figure 2, the code scanner 22 has a light-emitting unit 22a that irradiates light onto the inspection object w and a light-receiving unit 22b that receives light reflected by the inspection object w, and is configured to read code information 83 (such as a barcode or two-dimensional code) printed on the back label LB of the inspection object w being transported.
撮像部12やコードスキャナ22よりも搬送方向下流側には、検査対象物wを良品と不良品に振分ける振分け部29(排除手段)、不良品を一時的に収納する容器291が設けられている。振分け部29と容器291の間にベルトコンベア261が配置されている。
容器291は振分け部側に開口部を有する。
A sorting unit 29 (rejection means) that sorts the inspection objects w into non-defective and defective products, and a container 291 that temporarily stores the defective products are provided downstream in the conveying direction from the imaging unit 12 and the code scanner 22. A belt conveyor 261 is disposed between the sorting unit 29 and the container 291.
The container 291 has an opening on the sorting section side.
本実施形態では、振分け部29はガスを噴射可能な噴射装置を有し、検査対象物wが不良品であった場合、ベルトコンベア261で搬送された不良品にガスを噴射して、不良品を容器291へ移動させる。検査対象物が良品であった場合、振分け部29はガスを噴射せず、良品の検査対象物wはベルトコンベア下流側の次工程領域300へ搬送される。
詳細には、振分け部29よりも搬送方向上流側の所定位置に、検査対象物検出部としての光センサ等のセンサ27B(27)が設けられている。搬送される検査対象物wがセンサ27B(27)により検出された時から、搬送速度に応じた設定時間後、振分け部29のガス吹出し口からのガス吹き出し方向と重なる位置に、不良品の検査対象物wが位置するタイミングで、振分け部29から検査対象物wに向かってガスが噴射される。
In this embodiment, the sorting unit 29 has an injection device capable of injecting gas, and if the inspection object w is defective, the gas is injected onto the defective object being transported by the belt conveyor 261, and the defective object is moved to a container 291. If the inspection object is non-defective, the sorting unit 29 does not inject gas, and the non-defective inspection object w is transported to the next process area 300 downstream of the belt conveyor.
More specifically, a sensor 27B (27) such as an optical sensor serving as an inspection object detection unit is provided at a predetermined position upstream in the conveying direction from the sorting unit 29. After a set time corresponding to the conveying speed has elapsed since the conveyed inspection object w is detected by the sensor 27B (27), gas is sprayed from the sorting unit 29 toward the inspection object w at a timing when the defective inspection object w is positioned in a position overlapping with the direction of gas blowing from the gas blowing port of the sorting unit 29.
次に、検査装置100の各構成要素を詳細に説明する。
図4に示したように、検査装置100は、カメラ側制御部11、カメラなどの撮像部12(撮像手段)、カメラ制御側記憶部13、カメラ側表示入力部14(第1の表示領域)、メイン制御部21、コードスキャナ22、メイン制御側記憶部23、メイン表示入力部24(第2の表示領域)、操作入力部25、コンベア駆動部26、センサ27、及び振分け部29などを有する。
Next, each component of the inspection device 100 will be described in detail.
As shown in FIG. 4, the inspection device 100 includes a camera-side control unit 11, an imaging unit 12 (imaging means) such as a camera, a camera-control-side memory unit 13, a camera-side display input unit 14 (first display area), a main control unit 21, a code scanner 22, a main control-side memory unit 23, a main display input unit 24 (second display area), an operation input unit 25, a conveyor drive unit 26, a sensor 27, and a sorting unit 29.
本実施形態では、カメラ側制御部11とメイン制御部21により制御部10が構成されている。制御部10は、検査装置100の各構成要素を統括的に制御する。メイン制御部21とカメラ側制御部11は通信可能に接続されている。
また、カメラ側制御部11は、撮像部12、カメラ制御側記憶部13、カメラ側表示入力部14と電気的に接続されている。
また、メイン制御部21には、メイン表示入力部24、操作入力部25、コンベア駆動部26、センサ27、振分け部29などが電気的に接続されている。
In this embodiment, the control unit 10 is made up of a camera-side control unit 11 and a main control unit 21. The control unit 10 comprehensively controls each component of the inspection device 100. The main control unit 21 and the camera-side control unit 11 are connected to each other so that they can communicate with each other.
The camera control unit 11 is electrically connected to the imaging unit 12 , the camera control storage unit 13 , and the camera display input unit 14 .
Furthermore, the main control unit 21 is electrically connected to a main display input unit 24, an operation input unit 25, a conveyor driving unit 26, a sensor 27, a sorting unit 29, and the like.
カメラ側制御部11は、主に、撮像部12、カメラ制御側記憶部13、カメラ側表示入力部14について統括的に制御を行う。また、カメラ側制御部11は、必要に応じてメイン制御部21と通信を行う。詳細には、カメラ側制御部11は、検査対象物の撮像画像と、予めカメラ制御側記憶部13に記憶された正画像(良品の撮像画像)とを比較し、比較の結果を示す信号(OK信号、NG信号等)をメイン制御部21へ出力する。
また、カメラ側制御部11は、メイン制御部21から設定開始信号を受信した場合、設定登録モードに設定され、設定登録モードに関する処理を行う。
The camera-side control unit 11 mainly performs overall control of the imaging unit 12, the camera-control-side storage unit 13, and the camera-side display/input unit 14. The camera-side control unit 11 also communicates with the main control unit 21 as necessary. In detail, the camera-side control unit 11 compares the captured image of the inspection object with a correct image (a captured image of a non-defective product) stored in advance in the camera-control-side storage unit 13, and outputs a signal indicating the result of the comparison (an OK signal, an NG signal, etc.) to the main control unit 21.
Furthermore, when the camera-side control unit 11 receives a setting start signal from the main control unit 21, it is set to a setting registration mode and performs processing related to the setting registration mode.
また、カメラ側制御部11は、所定の制御プログラムを実行することにより、特定手段111、比較手段112などの機能を検査装置(コンピュータ)に実現する。
特定手段111は、撮像手段により撮像された画像に含まれる一つの検査物品に固有の固有画像と、複数の検査物品に共通の共通画像とを特定する処理を行う。
比較手段112は、撮像手段により撮像された検査画像と記憶手段により記憶されている正画像とを比較する処理を行う。
カメラ側制御部11の詳細な動作については後述する。
Furthermore, the camera control unit 11 executes a predetermined control program to realize functions such as a specifying unit 111 and a comparing unit 112 in the inspection device (computer).
The identification means 111 performs processing to identify a unique image that is unique to one inspection item and a common image that is common to a plurality of inspection items, which are included in the image captured by the imaging means.
The comparison means 112 performs a process of comparing the inspection image captured by the imaging means with the normal image stored in the storage means.
The detailed operation of the camera control unit 11 will be described later.
カメラなどの撮像部12は、検査対象物wを撮像して得られた撮像画像をカメラ側制御部11へ出力する。 The imaging unit 12, such as a camera, captures an image of the inspection object w and outputs the captured image to the camera-side control unit 11.
カメラ制御側記憶部13は、撮像部12により撮像された良品の撮像画像(正画像)、撮像画像(正画像)から抽出された商品名、価格などの商品情報の画像、品種連動番号(登録番号)などを関連付けて記憶する。
品種連動番号(登録番号)は、設定登録モード時に、ユーザ等により設定された良品の登録番号(識別情報)である。
The camera control side memory unit 13 stores an image (normal image) of a good product captured by the imaging unit 12, an image of product information such as the product name and price extracted from the captured image (normal image), a product linkage number (registration number), and the like, in association with each other.
The product type link number (registration number) is a registration number (identification information) of a non-defective product set by the user or the like in the setting and registration mode.
カメラ側表示入力部14(第1の表示領域)は、カメラ側制御部11の制御により、撮像手段(撮像部12)により得られる撮像画像に対する画像処理の設定に関する設定画面を操作可能に表示する。カメラ側表示入力部14は、例えば、表示装置付きタッチパネル等である。 The camera-side display input unit 14 (first display area) displays an operable setting screen for setting image processing for images captured by the imaging means (imaging unit 12) under the control of the camera-side control unit 11. The camera-side display input unit 14 is, for example, a touch panel with a display device.
メイン制御部21は、主に、メイン制御側記憶部23、メイン表示入力部24、操作入力部25、コンベア駆動部26、振分け部29等について統括的に制御を行う。メイン制御部21は、必要に応じてカメラ側制御部11と通信を行う。
また、メイン制御部21は、カメラ側制御部11から、検査対象物の撮像画像と予め記憶された正画像(良品の撮像画像)とを比較した結果を示す信号を受信し、一致していない場合、検査対象物を不良品と判断し、一致している場合、検査対象物のラベルに表示されているコード情報と、予め記憶された正コード情報(良品のコード情報)とを比較し、比較の結果、一致していない場合に不良品と判断し、一致している場合、検査対象物に関して良品であると判断する。
つまり、本実施形態では、検査対象物に表ラベルLAに印字されている商品名や価格などの商品情報と、裏ラベルLBに記載されているコード情報の両方が、基準となる良品のものと一致している場合に検査対象物を良品と判断し、いずれか一方または両方が不一致の場合に検査対象物を不良品と判断する。
The main control unit 21 mainly performs overall control of the main control side storage unit 23, the main display input unit 24, the operation input unit 25, the conveyor drive unit 26, the distribution unit 29, etc. The main control unit 21 communicates with the camera side control unit 11 as necessary.
The main control unit 21 also receives a signal from the camera-side control unit 11 indicating the result of comparing the captured image of the object to be inspected with a pre-stored correct image (a captured image of a good product), and if they do not match, judges the object to be inspected to be a defective product; if they do match, compares the code information displayed on the label of the object to be inspected with the pre-stored correct code information (code information of a good product), and if the comparison results in a mismatch, judges the object to be inspected to be a defective product; if they match, judges the object to be inspected to be a good product.
In other words, in this embodiment, if both the product information such as the product name and price printed on the front label LA of the object to be inspected and the code information printed on the back label LB match those of a standard good product, the object to be inspected is judged to be a good product, and if either or both do not match, the object to be inspected is judged to be a defective product.
また、メイン制御部21は、設定登録モード時に、カメラ側制御部11に設定開始信号を出力する。 In addition, when in setting registration mode, the main control unit 21 outputs a setting start signal to the camera-side control unit 11.
また、メイン制御部21は、制御プログラムを実行することにより、切替手段211、変更手段212等の機能を検査装置(コンピュータ)に実現する。
切替手段211は、第1の表示領域、又は第2の表示領域のいずれか一方の表示内容を切替えた場合、その切替えに応じて他方の表示内容を切替える処理を行う。
変更手段212は、後述するように、記憶手段により記憶される正画像の固有画像と共通画像との組み合わせを変更する処理を行う。
メイン制御部21の動作の詳細については後述する。
Furthermore, the main control unit 21 executes a control program to realize functions such as a switching unit 211 and a changing unit 212 in the inspection device (computer).
When the display content of either the first display area or the second display area is switched, the switching means 211 performs processing to switch the display content of the other display area in response to the switching.
The change means 212 performs a process of changing the combination of the unique image and the common image of the correct image stored in the storage means, as will be described later.
The operation of the main control unit 21 will be described in detail later.
コードスキャナ22は、上述したように、検査対象物wのラベルLに印刷されているコード情報(バーコードや2次元コード等)を読み取り、そのコード情報をメイン制御部21に出力する。 As described above, the code scanner 22 reads the code information (barcode, two-dimensional code, etc.) printed on the label L of the inspection object w and outputs the code information to the main control unit 21.
メイン制御側記憶部23は、制御プログラムや各種情報を記憶する。また、メイン制御側記憶部23により記憶されている各種情報や制御プログラムは、必要に応じてメイン制御部21により読み出される。また、メイン制御側記憶部23は、メイン制御部21の制御により、コードスキャナ22により読み取られた良品のコード情報(正コード情報)、品種連動番号(登録番号)などを関連付けて記憶する。 The main control side memory unit 23 stores control programs and various information. Furthermore, the various information and control programs stored in the main control side memory unit 23 are read by the main control unit 21 as needed. Furthermore, under the control of the main control unit 21, the main control side memory unit 23 stores, in association with each other, code information (positive code information) of non-defective products read by the code scanner 22, product type linkage numbers (registration numbers), and the like.
メイン表示入力部24(第2の表示領域)は、メイン制御部21の制御により、第1の表示領域の設定画面に対する操作を補助するための操作補助画面を操作可能に表示する。
また、メイン表示入力部24は、設定登録モード、検査モードなどの各種モードを選択可能なモード選択画面を、メイン制御部21の制御により操作可能に表示する。メイン表示入力部24は、例えば、表示装置付きタッチパネル等である。
The main display input unit 24 (second display area) is controlled by the main control unit 21 to operably display an operation support screen for supporting operations on the setting screen of the first display area.
The main display input unit 24 also displays a mode selection screen that allows selection of various modes, such as a setting and registration mode and an inspection mode, in an operable manner under the control of the main control unit 21. The main display input unit 24 is, for example, a touch panel with a display device.
操作入力部25は、コンベア始動ボタン、緊急停止ボタンなどの各種ボタンや各種スイッチ等を有し、操作に応じた信号をメイン制御部21に出力する。 The operation input unit 25 has various buttons and switches, such as a conveyor start button and an emergency stop button, and outputs signals according to operations to the main control unit 21.
コンベア駆動部26は、メイン制御部21の制御により、回転軸263、264の一方または両方に設けられた駆動モータを回転駆動して無端ベルト262を回転させることにより、ベルトコンベア261を稼働させる。 Under the control of the main control unit 21, the conveyor drive unit 26 drives the drive motors provided on one or both of the rotation shafts 263 and 264 to rotate the endless belt 262, thereby operating the belt conveyor 261.
センサ27は、搬送路に沿って搬送される検査対象物wを検出し、検出結果をメイン制御部21に出力する。センサ27は、発光部及び受光部を備えた光センサ等であり、上述したように、所定位置に配置されたセンサ27A、及びセンサ27Bを有する。 Sensor 27 detects the inspection object w being transported along the transport path and outputs the detection results to the main control unit 21. Sensor 27 is an optical sensor equipped with a light-emitting element and a light-receiving element, and as described above, has sensors 27A and 27B arranged in predetermined positions.
振分け部29は、メイン制御部21の制御により、良品と判断された検査対象物としての商品をベルトコンベアの搬送路に沿って次工程領域300へ搬送させ、不良品と判断された検査対象物としての商品を、搬送路から外れさせる。振分け部29としては、例えば、ガス噴射装置、搬送方向を変更可能な可動装置などを採用することができる。 Under the control of the main control unit 21, the sorting unit 29 transports products that are deemed to be non-defective as inspection targets along the conveyor belt path to the next process area 300, and removes products that are deemed to be defective as inspection targets from the conveyor path. The sorting unit 29 can be, for example, a gas injection device or a movable device that can change the conveying direction.
次に、本発明の実施形態に係る検査装置100の動作の一例を説明する。
図5に示したように、ステップST1において、メイン制御部21は、メイン表示入力部24からの信号に基づいて、設定登録モード、検査モードなどに設定される。具体的には、メイン制御部21は、設定登録モードや検査モードなどと関連付けられたモード選択ボタンをメイン表示入力部24に操作可能に表示する処理を行う。
Next, an example of the operation of the inspection device 100 according to the embodiment of the present invention will be described.
5, in step ST1, the main control unit 21 is set to a setting registration mode, an inspection mode, or the like based on a signal from the main display input unit 24. Specifically, the main control unit 21 performs processing to display mode selection buttons associated with the setting registration mode, the inspection mode, or the like on the main display input unit 24 in an operable manner.
ステップST2において、メイン制御部21は、メイン表示入力部24からの信号に基づいて、設定登録モードや検査モードが選択されたか否かを判断し、設定登録モードが選択されたと判断した場合、ステップST3の処理に進み、検査モードが選択されたと判断した場合、ステップST11の処理に進む。ステップST11の検査モード時の処理の後、ステップST1に進む。尚、ステップST11の検査モード時の処理については、後述する。 In step ST2, the main control unit 21 determines whether the setting registration mode or the inspection mode has been selected based on a signal from the main display input unit 24. If it determines that the setting registration mode has been selected, it proceeds to processing in step ST3. If it determines that the inspection mode has been selected, it proceeds to processing in step ST11. After processing in inspection mode in step ST11, it proceeds to step ST1. Note that the processing in inspection mode in step ST11 will be described later.
ステップST3において、設定登録モード時、メイン制御部21は、登録対象物としての良品の品種連動番号(登録番号などの登録情報)と、良品の品名を入力可能な設定画面をメイン表示入力部24に操作可能に表示する処理を行う。
ユーザによるメイン表示入力部24の操作により品種連動番号と品名が入力された場合、メイン制御部21は、品種連動番号と品名を関連付けてメイン制御側記憶部23に記憶する。
また、メイン制御部21は、カメラ側制御部11へ、設定登録モードの開始を示す信号及び品種連動番号と品名を示す信号を出力する。カメラ側制御部11は、品種連動番号と品名を関連付けてカメラ制御側記憶部13に記憶する処理を行う。
In step ST3, in the setting registration mode, the main control unit 21 performs processing to operably display on the main display input unit 24 a setting screen on which the type linkage number (registration information such as a registration number) of the good product as the registration object and the product name of the good product can be input.
When the user inputs a product type linkage number and a product name by operating the main display input unit 24, the main control unit 21 associates the product type linkage number and the product name and stores them in the main control side storage unit 23.
The main control unit 21 also outputs a signal indicating the start of the setting registration mode and a signal indicating the product type linkage number and product name to the camera control unit 11. The camera control unit 11 performs processing to associate the product type linkage number with the product name and store them in the camera control storage unit 13.
ステップST4において、登録対象物としての良品をベルトコンベア261の載置面上に載置する。メイン制御部21は、ベルトコンベア261を駆動して、登録対象物を搬送方向に沿って搬送させる。登録対象物の表側には表ラベルLAが設けられ、裏側には裏ラベルLBが設けられている。
コードスキャナ22は、登録対象物の裏ラベルに印刷されているコード情報(商品コード等を示すバーコードや2次元コード)を読み取り、メイン制御部21へ出力する。メイン制御部21は、そのコード情報をメイン表示入力部24に表示するとともに、ユーザに商品コードの確認を促す処理を行う。
また、カメラ側制御部11は、撮像部12により登録対象物(物品)の表ラベルを撮像し、得られた撮像画像をカメラ側表示入力部14に表示する処理を行う(図6右側のカメラ側表示入力部14を参照)。
In step ST4, a non-defective product as a registration object is placed on the placement surface of the belt conveyor 261. The main control unit 21 drives the belt conveyor 261 to transport the registration object along the transport direction. A front label LA is provided on the front side of the registration object, and a back label LB is provided on the back side.
The code scanner 22 reads code information (a barcode or two-dimensional code indicating a product code or the like) printed on the back label of the item to be registered, and outputs it to the main control unit 21. The main control unit 21 displays the code information on the main display input unit 24, and also performs processing to prompt the user to confirm the product code.
In addition, the camera side control unit 11 performs a process of capturing an image of the front label of the object (item) to be registered using the imaging unit 12 and displaying the captured image on the camera side display input unit 14 (see the camera side display input unit 14 on the right side of Figure 6).
図6に示したように、画面左(メイン表示入力部24(第2の表示領域))には、コードスキャナで読み取られた識別情報が表示され、画面右(カメラ側表示入力部14(第1の表示領域))には撮像部(カメラ)で撮像された画像情報が表示される。画面左には識別情報だけでなく、「右の画面でラベルが中央に写っていることを確認してください」等の文言が表示されている。図6に示した例では、コードスキャナで読み取られた識別情報は「0123456789012」である。この識別情報には、商品名や商品の販売日・販売時間・賞味期限や商品が配送される便の情報や商品が製造された製造元の情報などが含まれている、又はその情報が関連付けられている。また、この「0123456789012」等の識別情報は、ラベルに印刷されているバーコードの全桁数であるが、検査の対象は全桁ではなく、一部の桁だけであってもよい。 As shown in FIG. 6, the left side of the screen (main display input unit 24 (second display area)) displays identification information read by the code scanner, while the right side of the screen (camera-side display input unit 14 (first display area)) displays image information captured by the imaging unit (camera). In addition to the identification information, the left side of the screen also displays a message such as, "Please confirm that the label is centered in the image on the right." In the example shown in FIG. 6, the identification information read by the code scanner is "0123456789012." This identification information includes or is associated with information such as the product name, product release date, release time, and expiration date, delivery information, and product manufacturer information. Furthermore, while this identification information, such as "0123456789012," is the total number of digits in the barcode printed on the label, inspection may be performed on only some of the digits rather than all of them.
ユーザにより、コード情報の確認が行われ、且つ、カメラ側表示入力部14の中央部にラベルが表示されていることが確認された場合、メイン表示入力部24の確認ボタンが操作される。NGの場合、ユーザによりメイン表示入力部24のキャンセルボタンが操作される。
メイン制御部21は、確認ボタンが操作された場合、そのコード情報、品種連動番号、品名をメイン制御側記憶部23に記憶する処理を行う。
また、メイン制御部21は、カメラ側制御部11へコード情報、品種連動番号、品名を示す信号を出力し、カメラ側制御部11は、コード情報、品種連動番号、品名を関連付けてカメラ制御側記憶部13に記憶する処理を行う。
キャンセルボタンが操作された場合には、メイン制御部21は、ステップST1の処理に進む。
The user checks the code information and, if it is confirmed that the label is displayed in the center of the camera-side display input section 14, operates the confirmation button on the main display input section 24. If the code information is not correct, the user operates the cancel button on the main display input section 24.
When the confirmation button is operated, the main control unit 21 performs a process of storing the code information, the product type linkage number, and the product name in the main control side storage unit 23 .
In addition, the main control unit 21 outputs signals indicating the code information, the product type linkage number, and the product name to the camera side control unit 11, and the camera side control unit 11 performs processing to associate the code information, the product type linkage number, and the product name and store them in the camera control side memory unit 13.
If the cancel button is operated, the main control unit 21 proceeds to the process of step ST1.
ステップST5において、メイン制御部21は、図7の左側に示したように、メイン表示入力部24に、”ここからは登録手順をこちらの画面でナビゲートします 右の画面を操作しながら「つぎ1へ(ボタン)」を押してください”などの表示を行うとともに、確認ボタン241を操作可能に表示する処理を行う。
確認ボタン241が操作された場合、メイン制御部21は、図8左側に示したように、メイン表示入力部24に操作補助画面242を表示する。メイン制御部21は、カメラ側制御部11へ、確認ボタン241が操作された旨を示す信号を出力する。カメラ側制御部11はその信号を受けて、図8右側に示したように、カメラ側表示入力部14に設定画面を操作可能に表示する。詳細には、カメラ側表示入力部14に設定画面には、例えば、品名、価格、販促シール、包材などに関する設定を選択可能なメニューが操作可能に表示されている。
本実施形態では、メイン制御部21は、メイン表示入力部24(第2の表示領域)に、操作補助画面242における設定手順を示す表示内容を切り替えるための切替手段として、次へボタン243、戻るボタン244を操作可能に表示する。次へボタン243は、操作補助画面242の次の設定手順を表示させるときに操作される。戻るボタン244は、操作補助画面242の前の設定手順を表示させるときに操作される。
メイン制御部21は、切替手段により、メイン表示入力部24の操作補助画面242の表示内容を切り替える処理を行う。
ユーザは、メイン表示入力部24(第2の表示領域)に表示される操作補助画面242を見てその操作説明に従って、カメラ側表示入力部14(第1の表示領域)の設定画面を操作することで、容易に撮像画像に対する画像処理の設定を行うことができる。カメラ側制御部11は、カメラ側表示入力部14への操作に応じて、撮像画像に対する画像処理の設定を行う。
つまり、メイン制御部21及びカメラ側制御部11は、第2の表示領域における操作補助画面と第1の表示領域の設定画面との協働により、画像処理の設定に関する処理を行う。
In step ST5, the main control unit 21 displays on the main display input unit 24, as shown on the left side of Figure 7, a message such as "From here, the registration procedure will be navigated on this screen. Please press the 'Next 1 (button)' while operating the screen on the right," and also performs processing to display the confirmation button 241 in an operable manner.
When the confirmation button 241 is operated, the main control unit 21 displays an operation assistance screen 242 on the main display input unit 24, as shown on the left side of Fig. 8. The main control unit 21 outputs a signal indicating that the confirmation button 241 has been operated to the camera control unit 11. In response to this signal, the camera control unit 11 operably displays a setting screen on the camera display input unit 14, as shown on the right side of Fig. 8. In detail, the setting screen on the camera display input unit 14 operably displays a menu from which settings related to, for example, the product name, price, sales promotion label, packaging material, etc. can be selected.
In this embodiment, the main control unit 21 displays a next button 243 and a back button 244 in an operable manner on the main display input unit 24 (second display area) as switching means for switching the display content showing the setting procedures on the operation assistance screen 242. The next button 243 is operated to display the next setting procedure on the operation assistance screen 242. The back button 244 is operated to display the previous setting procedure on the operation assistance screen 242.
The main control unit 21 performs processing to switch the display content of the operation support screen 242 of the main display input unit 24 by using the switching means.
The user can easily set image processing for the captured image by viewing the operation assistance screen 242 displayed on the main display input unit 24 (second display area) and following the operation instructions thereon to operate the setting screen of the camera side display input unit 14 (first display area). The camera side control unit 11 sets image processing for the captured image in response to operations on the camera side display input unit 14.
That is, the main control unit 21 and the camera control unit 11 perform processing related to the settings of image processing in cooperation with the operation support screen in the second display area and the setting screen in the first display area.
具体的には、図9に示した例は、品名の正画像を登録する処理の一例であり、メイン制御部21はメイン表示入力部24に、商品名表示領域の設定の操作を補助するための操作補助画面を表示する処理を行う。
ユーザはカメラ側表示入力部14を操作することで、カメラ側表示入力部14に表示された撮像画像から商品名表示領域を設定する。図9の例では、4つの頂点により規定される矩形領域により商品名表示領域が設定される。
カメラ側制御部11は、カメラ側表示入力部14のOKボタンが操作された場合、上記矩形領域を商品名表示領域として設定する。
ユーザは商品名表示領域の設定が完了した場合、メイン表示入力部24の次へボタン243を操作する。次へボタン243が操作された場合、メイン制御部21は次の設定手順を示す操作補助画面をメイン表示入力部24に表示する処理を行う。
図9に示した例では、商品名の2文字目以降の部分を、検査対象物の良否判定に用いることで、画像処理の負荷を軽減させている。尚、商品名の全ての部分を検査対象物の良否判定に用いてもよい。
また、図9の右側に示したように、メイン制御部21は、メイン表示入力部24に、取扱説明書の何ページの内容であるかを示す情報を表示する処理を行ってもよい。
Specifically, the example shown in Figure 9 is an example of a process for registering a correct image of a product name, and the main control unit 21 performs a process for displaying an operation support screen on the main display input unit 24 to assist in the operation of setting the product name display area.
The user operates the camera-side display input unit 14 to set a product name display area from the captured image displayed on the camera-side display input unit 14. In the example of Fig. 9, the product name display area is set by a rectangular area defined by four vertices.
When the OK button of the camera display input unit 14 is operated, the camera control unit 11 sets the rectangular area as the product name display area.
When the user has completed the setting of the product name display area, he/she operates the Next button 243 on the main display input unit 24. When the Next button 243 is operated, the main control unit 21 performs processing to display on the main display input unit 24 an operation support screen showing the next setting procedure.
9, the load of image processing is reduced by using the second character and subsequent characters of the product name to determine the quality of the object being inspected. Note that all parts of the product name may also be used to determine the quality of the object being inspected.
Furthermore, as shown on the right side of FIG. 9, the main control unit 21 may perform processing to display information indicating which page of the instruction manual the content is on on the main display input unit 24 .
次に、例えば、図10に示したように、メイン制御部21はメイン表示入力部24に、価格表示領域の設定の操作を補助するための操作補助画面を表示する処理を行う。
ユーザはカメラ側表示入力部14を操作することで、カメラ側表示入力部14に表示された撮像画像から価格表示領域を設定する。図10の例では、4つの頂点により規定される矩形領域により価格表示領域が設定される。
カメラ側制御部11は、カメラ側表示入力部14のOKボタンが操作された場合、上記矩形領域を価格表示領域として設定する。
ユーザは価格表示領域の設定が完了した場合、メイン表示入力部24の次へボタン243を操作する。次へボタン243が操作された場合、メイン制御部21は次の設定手順を示す操作補助画面をメイン表示入力部24に表示する処理を行う。
Next, for example, as shown in FIG. 10, the main control unit 21 performs processing to display an operation support screen on the main display input unit 24 to support the operation of setting the price display area.
The user operates the camera-side display input unit 14 to set a price display area from the captured image displayed on the camera-side display input unit 14. In the example of Fig. 10, the price display area is set by a rectangular area defined by four vertices.
When the OK button of the camera display input unit 14 is operated, the camera control unit 11 sets the rectangular area as the price display area.
When the user has completed setting the price display area, he/she operates the Next button 243 on the main display input unit 24. When the Next button 243 is operated, the main control unit 21 performs processing to display on the main display input unit 24 an operation support screen showing the next setting procedure.
メイン制御部21は全ての設定が完了した場合、メイン表示入力部24に登録ボタンを操作可能に表示する処理を行う(不図示)。
ユーザにより登録ボタンが操作された場合、メイン制御部21は、設定登録指示を示す信号をカメラ側制御部11に出力する。カメラ側制御部11は、その信号を受けて、上記価格表示領域の画像、商品名表示領域の画像、品種連動番号、品名を関連付けてカメラ制御側記憶部13に記憶する処理を行う。
上記設定登録モードの処理が終了した場合、ステップST1の処理に進む。
When all the settings have been completed, the main control unit 21 performs a process of displaying an operable registration button on the main display input unit 24 (not shown).
When the user operates the registration button, the main control unit 21 outputs a signal indicating a setting registration instruction to the camera control unit 11. Upon receiving the signal, the camera control unit 11 performs processing to associate the image of the price display area, the image of the product name display area, the product type linkage number, and the product name with each other and store them in the camera control storage unit 13.
When the processing in the setting registration mode is completed, the process proceeds to step ST1.
図11は正画像に関する固有画像と共通画像の一例を説明するための図である。本実施形態では、検査装置は、図11に示したように、正画像を検査装置に設定登録する際、ある商品に固有の情報を示す画像(固有画像)と、複数の異なる種類の商品に共通する情報を示す画像(共通画像)を特定し、その固有画像と共通画像の組み合わせ(関連付け)により正画像を記憶手段に記憶(登録)することが可能である。特定処理としては、制御部が画像認識処理により、撮像画像から所定の領域を自動で特定してもよいし、カメラ側表示入力部からの信号に基づいて制御部が、撮像画像から所定の領域を特定してもよい。 Figure 11 is a diagram illustrating an example of a unique image and a common image related to a correct image. In this embodiment, as shown in Figure 11, when registering a correct image in the inspection device, the inspection device identifies an image (unique image) that shows information unique to a certain product and an image (common image) that shows information common to multiple different types of products, and is able to store (register) the correct image in the storage means by combining (associating) the unique image and the common image. As for the identification process, the control unit may automatically identify a predetermined area from the captured image using image recognition processing, or the control unit may identify a predetermined area from the captured image based on a signal from the camera-side display input unit.
詳細には、固有画像は、検査物品(おにぎりなどの商品)に固有の画像である。図11に示すように、固有画像は、例えば、検査物品に貼付されている商品ラベルに印刷された商品名を示す画像401であり、他の商品の画像とは共通しない画像である。この固有画像を予め正画像として記憶手段に記憶しておく。検査モード時、記憶手段に記憶されている固有画像と、撮像された検査物品の所定領域の画像とを比較することで、検査物品を容易に検査することができる。 In more detail, the unique image is an image that is unique to the inspection item (a product such as a rice ball). As shown in Figure 11, the unique image is, for example, image 401 showing the product name printed on the product label attached to the inspection item, and is an image that is not common to images of other products. This unique image is stored in advance in the storage means as a normal image. In inspection mode, the inspection item can be easily inspected by comparing the unique image stored in the storage means with the image of a specified area of the inspection item that has been captured.
共通画像は、複数の異なる種類の検査物品(おにぎりなどの商品)に共通する画像である。例えば、図11に示すように、共通画像は、商品ラベルに印字された商品価格を示す画像402、商品ラベルの近傍に貼付されている販促シール(販売促進シール)を示す画像403、商品(おにぎりなど)を包装している包材に印刷されている包材情報404、などである。この共通画像は、他の種類の商品にも共通して使われる画像である。この記憶手段に記憶されている共通画像は、他の検査物品を検査する場合に、必要に応じて参照することが可能である。つまり、共通画像は、異なる種類の検査部品を検査する場合に、必要に応じて使いまわしをすることができる。
すなわち、異なる種類の複数の商品を検査装置に登録する場合、共通画像については、一度登録すればよく、設定作業の簡易化、設定時間の短縮を実現することができる。
A common image is an image that is common to multiple different types of inspection items (products such as rice balls). For example, as shown in FIG. 11 , common images include an image 402 showing the product price printed on the product label, an image 403 showing a sales promotion sticker (sales promotion sticker) attached near the product label, and packaging information 404 printed on the packaging material that wraps the product (such as rice balls). This common image is an image that is also used in common for other types of products. The common image stored in this storage means can be referenced as needed when inspecting other inspection items. In other words, the common image can be reused as needed when inspecting different types of inspection parts.
That is, when registering a plurality of different types of products in an inspection device, the common image only needs to be registered once, which simplifies the setup process and reduces the setup time.
また、検査装置は、図12に示したように、正画像に関する情報を記憶手段に記憶する。図12に示した例では、品番、品名、識別情報(商品コード等)、品名を示す品名画像、価格を示す価格画像、販促シールを示す販促シール画像、包材を示す包材画像、合否判定の判定条件を示す情報が、検査装置の記憶手段に関連付けて記憶されている。
図12に示したように、検査装置の記憶手段には、画像情報と識別情報を組み合わせて記憶していることで、商品に関する正情報を容易に読み出すことができる。
尚、本実施形態では、正情報=識別情報(バーコード等の情報)+正画像(画像の情報)であり、正画像=固有画像+共通画像である。
The inspection device also stores information about the correct image in a storage unit, as shown in Fig. 12. In the example shown in Fig. 12, the product number, product name, identification information (product code, etc.), a product name image indicating the product name, a price image indicating the price, a promotional sticker image indicating the promotional sticker, a packaging image indicating the packaging, and information indicating the pass/fail judgment conditions are stored in association with each other in the storage unit of the inspection device.
As shown in FIG. 12, the storage means of the inspection device stores a combination of image information and identification information, making it possible to easily read out correct information about the product.
In this embodiment, correct information=identification information (information such as a barcode)+correct image (image information), and correct image=unique image+common image.
また、検査装置は、図12に示した品番、品名、識別情報(商品コード等)、品名画像、価格画像、販促シール画像、包材画像、合否判定の判定条件を示す情報と、さらに、品名画像、価格画像、販促シール画像、包材画像それぞれの領域を示す位置情報(領域情報)を関連付けて、記憶手段に記憶してもよい。
位置情報(領域情報)は、例えば、撮影手段により物品を撮像して得られた画像の基準点に基づいて規定される。座標の基準点(原点)は、撮像画像の任意の位置に設定してよく、例えば、撮像画像の左下隅の位置としてもよいし、撮像された商品の目印となる部分、詳細には、商品と背景のエッジ部分などであってもよい。
矩形状の画像の場合、位置情報(領域情報)としては、四隅の一つの点の座標と、その点の対角位置の座標とで表現することができる。また、矩形状の画像の場合、位置情報(領域情報)としては、四隅の一つの点の座標と、画像の縦サイズと横サイズとで表現することもできる。
In addition, the inspection device may associate the product number, product name, identification information (product code, etc.), product name image, price image, promotional sticker image, packaging image, and information indicating the pass/fail judgment conditions shown in Figure 12 with position information (area information) indicating the area of each of the product name image, price image, promotional sticker image, and packaging image, and store them in a storage means.
The position information (area information) is defined based on, for example, a reference point in an image obtained by capturing an image of an item using a camera. The reference point (origin) of the coordinates may be set at any position in the captured image, such as the lower left corner of the captured image, or a landmark of the captured product, more specifically, the edge between the product and the background.
For a rectangular image, the position information (area information) can be expressed by the coordinates of one of the four corners and the coordinates of the diagonal position of that point. Also, for a rectangular image, the position information (area information) can be expressed by the coordinates of one of the four corners and the vertical and horizontal sizes of the image.
図12に示した例では、合否判定の判定条件を示す情報に関し、その条件を満たした場合に、記憶手段に記憶されている正画像と、検査モード時に撮像して得られた撮像画像とが一致していると判断し、その条件を満たしていない場合、正画像と撮像画像とが一致していないと制御部が判断する。
具体的には、図12に示した品番001の場合、合否判定の判定条件が[1][2]と規定されており、つまり、固有画像としての品名画像と、共通画像としての価格画像の組み合せで規定されている。つまり、このウメを示す品名画像と、100円を示す共通画像の両方が一致している場合に、正画像と撮像画像とが一致していると制御部が判断し、一方または両方が一致していない場合、正画像と撮像画像とが一致していないと判断する。
In the example shown in Figure 12, if the information indicating the judgment conditions for pass/fail judgment is met, the control unit judges that the correct image stored in the memory means matches the captured image obtained by capturing an image in inspection mode, and if the condition is not met, the control unit judges that the correct image and the captured image do not match.
12, the conditions for pass/fail judgment are defined as [1] and [2], that is, the conditions are defined by the combination of the product name image as a unique image and the price image as a common image. In other words, if both the product name image showing this plum and the common image showing 100 yen match, the control unit determines that the original image and the captured image match, and if one or both do not match, the control unit determines that the original image and the captured image do not match.
また、図12に示した品番005の場合、合否判定の判定条件が[1][2][3]/[1][2]と規定されており、つまり、固有画像としての品名画像、共通画像としての価格画像、共通画像としての販促シール画像の組み合わせ、又は固有画像としての品名画像、共通画像としての価格画像の組み合わせで規定されており、その条件を満たす場合に、正画像と検査モード時の撮像画像が一致していると判断される。 Furthermore, in the case of product number 005 shown in Figure 12, the pass/fail judgment conditions are specified as [1] [2] [3] / [1] [2]. In other words, it is specified as a combination of a product name image as a unique image, a price image as a common image, and a promotional sticker image as a common image, or a combination of a product name image as a unique image and a price image as a common image. If these conditions are met, it is determined that the correct image and the image captured in inspection mode match.
また、図12に示した品番009の場合、合否判定の判定条件が[1][2]/[1][2][3]/[1][2][4]/[1][2][3][4]と規定されており、つまり、上述した例と略同様に、その各条件を満たす場合に、正画像と検査モード時の撮像画像が一致していると判断される。 Furthermore, in the case of product number 009 shown in Figure 12, the pass/fail judgment conditions are specified as [1][2]/[1][2][3]/[1][2][4]/[1][2][3][4]. In other words, similar to the example above, if each of these conditions is met, it is determined that the correct image and the image captured in inspection mode match.
図13は、検査モード時、第2表示領域としての操作入力部25に表示される設定画面の一例である。この設定画面は、検査モードの合否判定の基準を変更する変更手段212Aを有する。
詳細には、図13に示した設定画面は、検査対象に関する情報として、品番31、品名32、表ラベルLA(POPラベル)として、販促シールのあり/なしを示す操作表示部(変更手段212A)、撮像された表ラベルLAの判定結果33(登録された正画像と撮像された撮像画像とを比較した結果を表示)、バーコード読取結果を示す表示部34(コードスキャナによって読み取られた読取結果の全体)、登録コードを示す表示部35(正情報として登録された識別情報の一部桁を表示している、この数値が読取結果と比較される)、読取コードを示す表示部36(読取結果(34)のうち、正情報と比較される桁部だけを表示)、判定結果を示す表示部37(撮像結果と読み取り結果のいずれも正情報と一致している場合にOKと判定する、総合判定結果を表示。どちらかの情報が不一致であった場合はNGと判断される)、検査数を示す表示部38(検査された総数量を表示)、NG数を示す表示部39(総合判定結果がNGだった数量を表示=排出手段により排出された数と見ることもできる)、通過ボタン310(検査モードから通過モードに切り替えるボタン。通過モードでは搬送される物品に対して判定を行わないため排出もされない。
単に物品を流す際に利用する)、終了ボタン311(検査対象を選択する選択画面(図示しない)に戻る)などの操作入力部を有する。
上記各表示部(33~39)は一つの物品が検査されるごとに表示内容が更新される。
登録コードを示す表示部35には、正情報として登録されている識別情報のうち、予め比較の対象とする桁部のみを表示している。図13の例では全桁数のうち、3桁目~8桁目を比較の対象としている。また、数値内にある「*」には、どの数値であってもよい旨を示している。本実施形態では、例えば、変更手段212Aを操作した場合、販促シールあり/販促シールなしの切替え設定、つまり、商品の合否の判断条件として、販促シールを示す画像を含めるか否かを設定することができる。
13 shows an example of a setting screen displayed as the second display area on the operation input unit 25 in the inspection mode. This setting screen has a change unit 212A for changing the pass/fail criteria for the inspection mode.
In detail, the setting screen shown in FIG. 13 includes information about the inspection object, such as a product number 31, a product name 32, an operation display section (change means 212A) showing whether or not a promotional sticker is present as the front label LA (POP label), a judgment result 33 of the captured front label LA (displaying the result of comparing the registered true image with the captured image), a display section 34 showing the barcode reading result (the entire reading result read by the code scanner), a display section 35 showing the registered code (displaying some digits of the identification information registered as true information, this value is compared with the reading result), and a display section 36 showing the read code (the reading result display 37 showing the judgment result (displays the overall judgment result of judging as OK when both the imaging result and the reading result match the correct information. If either information does not match, it is judged as NG); display 38 showing the number of inspections (displays the total number inspected); display 39 showing the number of NG (displays the number of items for which the overall judgment result was NG = can also be seen as the number ejected by the ejection means); pass button 310 (button to switch from inspection mode to pass mode. In pass mode, no judgment is made on the transported items, so they are not ejected.
It has operation input sections such as an end button 311 (used simply to transport the article) and an end button 312 (to return to the selection screen (not shown) for selecting the inspection object).
The display contents of each of the above display sections (33 to 39) are updated every time an article is inspected.
The display unit 35 showing the registration code displays only the digits of the identification information registered as correct information that are to be compared in advance. In the example of FIG. 13, the 3rd to 8th digits of the total number of digits are to be compared. The "*" in the number indicates that any number is acceptable. In this embodiment, for example, when the change unit 212A is operated, a switch setting can be made between "with promotional sticker" and "without promotional sticker," that is, whether or not to include an image showing a promotional sticker can be set as a criterion for determining whether a product is acceptable.
尚、図示しないが、変更手段は、商品の合否の判断条件として、包材画像を含めるか否かを略同様のGUI(グラフィカルユーザインタフェース)で設定可能に構成されている。 Although not shown, the change means is configured to allow the inclusion or exclusion of packaging images as a condition for determining whether a product is acceptable to set using a similar GUI (graphical user interface).
図14は、相関値の閾値の設定画面の一例を示す図である。
詳細には、検査モード時、制御部10のカメラ側制御部11は、記憶手段(カメラ制御側記憶部13やメイン制御側記憶部23)に記憶している正画像、その正画像に関連付けられている固有画像(商品名を示す画像)や共通画像(価格を示す画像、販促シールを示す画像など)と、搬送される検査対象物を撮像して得られた撮像画像とを比較する処理として、相関値を算出する相関値算出処理や、類似度を算出する類似度算出処理を行う。本実施形態では、相関値や類似度は、%表示である。つまり、相関値は、照合する各項目の一致度を%で表した数値である。
算出された相関値または類似度が設定された閾値以上の場合、制御部は、撮像された商品の画像と、記憶手段に記憶されている正画像とが相関していると判断し、OK表示などのOK処理を行う。相関値の閾値が大きいほど、検査が厳しく処理される(高精度に検査可能)。
また、算出された相関値または類似度が、設定された閾値未満の場合、制御部は、撮像された商品の画像と記憶手段に記憶されている正画像とが相関していないと判断し、NG表示などのNG処理を行う。
FIG. 14 is a diagram showing an example of a setting screen for the correlation value threshold.
In detail, in the inspection mode, the camera-side control unit 11 of the control unit 10 performs a correlation value calculation process to calculate a correlation value and a similarity calculation process to calculate a similarity, as processes for comparing the true images stored in the storage means (the camera control-side storage unit 13 and the main control-side storage unit 23), the unique images (images showing product names) and common images (images showing prices, images showing promotional stickers, etc.) associated with the true images, and the captured images obtained by capturing images of the transported inspection object. In this embodiment, the correlation value and similarity are expressed as percentages. In other words, the correlation value is a numerical value that expresses the degree of match of each item being compared as a percentage.
If the calculated correlation value or similarity is equal to or greater than a set threshold, the control unit determines that the captured product image and the correct image stored in the storage means are correlated, and performs OK processing such as displaying OK. The larger the correlation value threshold, the stricter the inspection (the more accurate the inspection).
Furthermore, if the calculated correlation value or similarity is less than a set threshold value, the control unit determines that the captured image of the product is not correlated with the correct image stored in the storage means, and performs NG processing such as displaying an NG message.
相関値または類似度に関する閾値は、検査毎に商品毎に、商品名画像、価格画像、販促シール画像等それぞれで設定可能である。
詳細には、図14に示したように、固有画像としての商品名を示す画像部分、共通画像としての価格を示す画像部分、共通画像としての販促シールを示す画像部分それぞれに関し、閾値50として80、85、80(%)に設定されている。カメラ側制御部11やメイン制御部21などの制御部10は、操作入力部25やカメラ側表示入力部14などの操作入力部からの信号に基づいて上記閾値50を変更する処理を行う。
例えば、商品名を示す画像や販促シールを示す画像には文字が含まれており、価格を示す画像には数字が含まれており、文字と比べて数値のほうが相関値を高精度に算出することができる。すなわち、品名を示す画像や販促シールを示す画像に関する相関値の閾値が、価格を示す画像に関する相関値の閾値よりも低く設定されていることが好ましい。
The threshold value for the correlation value or similarity can be set for each product name image, price image, promotional seal image, etc. for each inspection and each product.
14, the threshold values 50 are set to 80, 85, and 80 (%) for the image portion showing the product name as a unique image, the image portion showing the price as a common image, and the image portion showing the sales promotion sticker as a common image, respectively. The control unit 10, such as the camera control unit 11 and the main control unit 21, performs processing to change the threshold values 50 based on signals from an operation input unit, such as the operation input unit 25 and the camera display input unit 14.
For example, images showing product names and promotional stickers contain text, and images showing prices contain numbers, and the correlation value can be calculated more accurately from numbers than from text. In other words, it is preferable to set the correlation value threshold for images showing product names and promotional stickers lower than the correlation value threshold for images showing prices.
次に、図15等を参照しながら、本発明の実施形態に係る検査装置100の検査モード(ST11)時の動作の一例を説明する。詳細には、ステップST11以降は、検査装置100の検査モード時の動作の一例を示す。検査対象物wは表側に表ラベルLAが設けられ、裏側に裏ラベルLBが設けられている。 Next, an example of the operation of the inspection device 100 according to an embodiment of the present invention in the inspection mode (ST11) will be described with reference to Figure 15 etc. In detail, steps ST11 and onwards show an example of the operation of the inspection device 100 in the inspection mode. The inspection object w has a front label LA on the front side and a back label LB on the back side.
ステップST12において、検査モード時、メイン制御部21は、メイン表示入力部24に、品種連動番号の入力を促す表示処理を行う。ユーザは、メイン表示入力部24を操作して品種連動番号を入力する。 In step ST12, in inspection mode, the main control unit 21 performs display processing on the main display input unit 24 to prompt the user to enter the product type linkage number. The user operates the main display input unit 24 to enter the product type linkage number.
ステップST13において、メイン制御部21は、メイン表示入力部24から入力された品種連動番号に基づいて、メイン制御側記憶部23から、品種連動番号に関連付けられた商品情報(登録情報)を読み出す。詳細には、メイン制御部21は、品種連動番号に関連付けられた品名、コード情報などの商品情報(登録情報)をメイン制御側記憶部23から読み出す。
また、メイン制御部21は、検査モードの開始を示す信号と品種連動番号を示す信号をカメラ側制御部11へ出力する。カメラ側制御部11は、その信号を受けて、カメラ制御側記憶部13から、品種連動番号に関連付けられている品名、価格表示領域の画像、商品名表示領域の画像などを読み出す。
In step ST13, the main control unit 21 reads out product information (registration information) associated with the product type interlocking number from the main control side storage unit 23 based on the product type interlocking number input from the main display input unit 24. In detail, the main control unit 21 reads out product information (registration information) such as the product name and code information associated with the product type interlocking number from the main control side storage unit 23.
Furthermore, the main control unit 21 outputs a signal indicating the start of the inspection mode and a signal indicating the product type linkage number to the camera side control unit 11. Upon receiving the signal, the camera side control unit 11 reads out from the camera control side storage unit 13 the product name, an image of the price display area, an image of the product name display area, and the like, which are associated with the product type linkage number.
ステップST14において、操作入力部25のスイッチによりベルトコンベアを駆動状態とさせる操作が行われた場合、メイン制御部21は、駆動モータ等のコンベア駆動部26によりベルトコンベア261の無端ベルトを所定方向に回転させる。
ユーザは検査対象物wとしての商品をベルトコンベア261の載置面上に載置する。
搬送部としてのベルトコンベア261は、検査対象物wを搬送路に沿って搬送方向へ搬送する。
In step ST14, when an operation is performed using a switch on the operation input unit 25 to put the belt conveyor into a driving state, the main control unit 21 rotates the endless belt of the belt conveyor 261 in a predetermined direction using the conveyor driving unit 26, such as a driving motor.
The user places a product as an inspection object w on the placement surface of the belt conveyor 261 .
The belt conveyor 261 as a transport unit transports the inspection object w in the transport direction along the transport path.
ステップST15において、検査モード時、カメラ側制御部11は、メイン制御部21の指示を受けて、撮像部12により検査対象物wである商品のラベルL、詳細には表ラベルLAを撮像する処理を行う。
カメラ側制御部11は、撮像部12により取得した撮像画像と、予めカメラ制御側記憶部13から読み出された品種連動番号に関連付けられた価格表示領域の画像、商品名表示領域の画像などの正画像(良品の撮像画像)と比較する。また、カメラ側制御部11は、上記比較の結果、一致している場合に、撮像画像に関して正画像と一致していることを示すOK表示をカメラ側表示入力部14に表示し、一致していない場合に、撮像画像に関して正画像と不一致であることを示すNG表示をカメラ側表示入力部14に表示する処理を行い、その比較結果を示す信号をメイン制御部21に出力する。
In step ST15, in the inspection mode, the camera side control unit 11 receives an instruction from the main control unit 21 and performs processing to cause the imaging unit 12 to capture an image of the label L of the product, which is the inspection object w, specifically the front label LA.
The camera-side control unit 11 compares the captured image acquired by the imaging unit 12 with a correct image (a captured image of a non-defective product) such as an image of the price display area or the product name display area associated with the product type linkage number previously read out from the camera control-side storage unit 13. If the comparison results in a match, the camera-side control unit 11 displays an OK message on the camera-side display input unit 14 indicating that the captured image matches the correct image, and if they do not match, it displays an NG message on the camera-side display input unit 14 indicating that the captured image does not match the correct image, and outputs a signal indicating the comparison result to the main control unit 21.
ステップST16において、コードスキャナ22が検査対象物wの裏ラベルLBに印刷されているコード情報を読み取り、コード情報をメイン制御部21に出力する。
ステップST15、ステップST16の処理は、カメラ側制御部11とメイン制御部21により並列処理される。
In step ST16, the code scanner 22 reads the code information printed on the back label LB of the inspection object w, and outputs the code information to the main control unit 21.
The processing of steps ST15 and ST16 is performed in parallel by the camera-side control unit 11 and the main control unit 21.
ステップST17において、制御部10は、撮像部12により得た撮像画像中の商品名や価格、及びコードスキャナ22により読み取られたコード情報などの登録情報が、品種連動番号に関連付けられた登録情報(正画像における価格表示領域の画像、商品名表示領域の画像、コード情報等)と比較して、一致しているか否かを判別し、一致している場合にステップST18の処理に進み、一致していない場合にステップST19の処理に進む。
詳細には、カメラ側制御部11は、検査対象物の表ラベルLAの撮像画像と、予め記憶された正画像(良品の撮像画像)の価格表示領域の画像、商品名表示領域の画像等を比較し、図16に示したように、比較の結果を、カメラ側表示入力部14に表示する処理を行い、その比較の結果を示す信号をメイン制御部21に出力する。
図16(a)に示した例では、検査モード時、表ラベルLAの正画像と撮像画像で、価格表示領域の画像、商品名表示領域の画像それぞれが一致し、一致していることを示す「OK」がそれぞれの近傍に表示されるとともに、その結果の基づいた判定の結果、「OK」が画面左下部分に表示される。
図16(b)に示した例では、検査モード時、表ラベルLAの正画像と撮像画像とで、撮像画像の価格表示領域の数値に印字かすれ等の印字不良が生じており、価格表示領域の画像が一致しないことを示す「NG」がその近傍に表示され、価格表示領域の画像が一致していることを示す「OK」がその近傍に表示されるとともに、その結果に基づいた判定の結果、「NG」が画面左下部分に表示される。
In step ST17, the control unit 10 compares the registered information, such as the product name and price in the image captured by the imaging unit 12 and the code information read by the code scanner 22, with the registered information associated with the product type linkage number (image of the price display area in the correct image, image of the product name display area, code information, etc.) to determine whether they match, and if they match, proceeds to processing in step ST18, and if they do not match, proceeds to processing in step ST19.
In detail, the camera-side control unit 11 compares the captured image of the front label LA of the object to be inspected with the image of the price display area, the image of the product name display area, etc. of the pre-stored correct image (captured image of a good product), and performs processing to display the comparison result on the camera-side display input unit 14 as shown in Figure 16, and outputs a signal indicating the comparison result to the main control unit 21.
In the example shown in Figure 16(a), in inspection mode, the image of the price display area and the image of the product name display area of the normal image and the captured image of the front label LA match, and "OK" indicating that they match is displayed near each, and as a result of judgment based on the results, "OK" is displayed in the lower left part of the screen.
In the example shown in Figure 16 (b), in inspection mode, there is a printing defect such as faint printing in the numbers in the price display area of the captured image between the normal image of the front label LA and the captured image, and ``NG'' is displayed nearby to indicate that the images in the price display area do not match, and ``OK'' is displayed nearby to indicate that the images in the price display area match, and as a result of a judgment based on this result, ``NG'' is displayed in the lower left part of the screen.
また、メイン制御部21は、検査対象物wの裏ラベルLBに表示されているコード情報と、予め記憶された正コード情報(良品のコード情報)とを比較する。
メイン制御部21は、カメラ側制御部11からの受信結果に基づいて、表ラベルLAの価格や価格などの商品情報が正画像一致しており(A条件)、且つ、コードスキャナにより読み取られた裏ラベルLBのコード情報が正コード情報と一致している(B条件)場合に、検査対象物wを良品と判断してステップST18の処理に進み、A条件とB条件のいずか一方又は両方が満たされていない場合、検査対象物wを不良品と判断してステップST19の処理に進む。
The main control unit 21 also compares the code information displayed on the back label LB of the inspection object w with pre-stored correct code information (code information for a non-defective product).
Based on the results received from the camera-side control unit 11, if the product information such as the price on the front label LA matches the correct image (condition A) and the code information on the back label LB read by the code scanner matches the correct code information (condition B), the main control unit 21 determines that the inspection object w is a good product and proceeds to processing in step ST18, but if either or both of conditions A and B are not met, the main control unit 21 determines that the inspection object w is a defective product and proceeds to processing in step ST19.
ステップST18において、メイン制御部21は、検査対象物wを良品と判断して、OK処理として、ベルトコンベア261により次工程領域300へ検査対象物wを搬送する処理を行い、ステップST21の処理に進む。 In step ST18, the main control unit 21 determines that the inspection object w is a non-defective product, performs an OK process, and transports the inspection object w to the next process area 300 using the belt conveyor 261, and then proceeds to the process of step ST21.
ステップST19において、メイン制御部21は、検査対象物wを不良品と判断して、NG処理として、振分け部29により検査対象物wを容器291へ移動させて一時保管させる処理を行い、NG数をカウントアップし、詳細にはNG数に1を加算し(ST20)、ステップST21の処理に進む。
尚、メイン制御部21は、検査対象物wを不良品(NG)と判断した場合、NG処理として、検査対象物wの全体または不良箇所を撮像して得られる画像(NG画像)を、メイン制御側記憶部23やカメラ制御側記憶部13等の記憶手段に記憶してもよい。また、検査装置の制御部は、NG画像を上位装置である管理装置(コンピュータ)へ画像を送信してもよい。このNG画像は、例えば、ログや、検査後の確認処理、製造工程等の改善のためなどに参考に用いられる。
In step ST19, the main control unit 21 determines that the inspection object w is a defective product, and as an NG processing, the sorting unit 29 moves the inspection object w to a container 291 for temporary storage, counts up the number of NGs, specifically adds 1 to the number of NGs (ST20), and proceeds to processing of step ST21.
When the main control unit 21 determines that the inspection object w is a defective product (NG), as NG processing, the main control unit 21 may store an image (NG image) obtained by capturing an image of the entire inspection object w or a defective part in a storage means such as the main control storage unit 23 or the camera control storage unit 13. The control unit of the inspection device may also transmit the NG image to a management device (computer) that is a higher-level device. This NG image is used as reference for, for example, logs, post-inspection confirmation processing, and improvements to the manufacturing process.
ステップST21において、検査数をカウントアップする、詳細には、検査数に1を加算する。
そして、上述した検査モードに関する処理を、所定の個数の検査対象物wに対して行った後、検査モードを終了して、図5に示すステップST1の処理に進む。
In step ST21, the number of tests is counted up, specifically, 1 is added to the number of tests.
Then, after the above-described processing relating to the inspection mode is performed on a predetermined number of inspection objects w, the inspection mode is terminated and the process proceeds to step ST1 shown in FIG.
以上、説明したように、本発明の実施形態に係る検査装置100(ラベル検査装置)は、検査対象の物品(検査物品)を撮像する撮像手段としての撮像部12と、撮像手段により撮像される物品の撮像位置とは異なる位置から物品の識別情報を取得する取得手段(コードスキャナ22等)と、検査物品の比較対象となる正情報を記憶する記憶手段(カメラ制御側記憶部13やメイン制御側記憶部23)と、物品を搬送する搬送手段(ベルトコンベア261等)と、撮像手段による撮像画像と取得手段(コードスキャナ22等)による識別情報を、記憶手段が記憶する正情報と比較し、検査対象の物品に関する正否判定を行う制御手段(制御部10)とを有する。
すなわち、検査装置100は、撮像手段(撮像部12)により物品を撮像して得られた画像に基づいた検査と、コードスキャナ22等の取得手段による物品の識別情報(バーコードなどのコード情報)を読み取り、その識別情報に基づいた検査を、一つの検査装置で行う。詳細には、検査モード時、制御手段が上記画像や識別情報と正情報と比較して、検査対象の物品に関する正否判定を行い、画像と識別情報の両方が正しい場合、検査対象の物品を正しい(適正物)と判断し、それ以外の場合に、検査対象の物品を正しくない(不適正物)と判断するので、高精度に物品を検査することができ、簡単な構造で小型の検査装置を提供することができる。
具体的には、本発明の実施形態に係る検査装置100は、物品(商品)の被貼付面に貼付された表ラベルと裏ラベルが正しく貼付されているかを検査する装置であり、表ラベルと裏ラベルを組み合わせてひとつの正情報として記憶手段に記憶し、両方のラベルが正と判断されたときにのみ、検査対象の物品を良品(適正物)と判断するので、高精度に物品を検査することができ、簡単な構造で小型の検査装置を提供することができる。
As described above, the inspection device 100 (label inspection device) according to an embodiment of the present invention comprises the imaging unit 12 as imaging means for imaging an item to be inspected (inspection item), acquisition means (such as the code scanner 22) for acquiring identification information of the item from a position different from the imaging position of the item imaged by the imaging means, storage means (the camera control side storage unit 13 or the main control side storage unit 23) for storing positive information to be compared with the inspection item, transport means (such as the belt conveyor 261) for transporting the item, and control means (the control unit 10) for comparing the image captured by the imaging means and the identification information from the acquisition means (such as the code scanner 22) with the positive information stored in the storage means, and making a positive/false determination regarding the inspection item.
That is, the inspection device 100 performs, in a single inspection device, inspection based on an image obtained by capturing an image of an item using an imaging means (imaging unit 12), and inspection based on the identification information obtained by reading the item's identification information (code information such as a barcode) using an acquisition means such as a code scanner 22. In detail, in the inspection mode, the control means compares the image and identification information with the correct information to determine whether the item being inspected is correct or not, and if both the image and the identification information are correct, the item being inspected is determined to be correct (a proper item), and otherwise the item being inspected is determined to be incorrect (an improper item).This makes it possible to inspect items with high accuracy, and to provide an inspection device with a simple structure and a small size.
Specifically, the inspection device 100 according to an embodiment of the present invention is a device that inspects whether the front and back labels affixed to the surface of an article (goods) to be labeled are correctly affixed, and combines the front and back labels and stores them in a memory means as a single piece of correct information. Only when both labels are judged to be correct is the inspected article judged to be a good product (proper item), making it possible to inspect articles with high accuracy and to provide a small inspection device with a simple structure.
<検査ラインの長大化の防止や調整工数の短縮>
また、本発明の実施形態に係る検査装置は、撮像手段により物品を撮像して得られた画像に基づいた検査処理と、コードスキャナ22等の取得手段により取得された識別情報に基づいて検査処理を一つの検査装置で実現することにより、検査ラインの長大化を防ぐことができ、さらに搬送部などの設置調整等が一台分になるため、メンテナンス性(保守性)が優れている。
<Preventing inspection lines from becoming too long and reducing adjustment man-hours>
Furthermore, the inspection device according to the embodiment of the present invention performs inspection processing based on an image obtained by capturing an image of an item using an imaging means, and inspection processing based on identification information acquired by an acquisition means such as a code scanner 22, all in one inspection device, thereby preventing the inspection line from becoming too long. Furthermore, since the installation and adjustment of the conveying unit and the like is required for only one device, maintenance is easy.
<品種連動>
ところで、従来、検査ラインに沿って配置された複数の検査装置は、検査時に、検査対象の物品と比較するための正情報(適正物に関する情報)を記憶装置からそれぞれ読み出し、各検査装置で煩雑な設定操作を行うことを要する。また、従来、各検査装置間を通信手段により接続して、各検査装置を連動させながら物品の検査を行うには、各検査装置で煩雑な設定操作を行うことを要する。
一方、本発明の実施形態に係る検査装置は、撮像手段により撮像される物品の画像の比較検査に用いる正情報と、取得手段により取得された物品の識別情報の比較検査に用いる正情報を組みで一括で記憶手段から読み出して設定処理を行うので、短時間で設定操作を完了することができ、良好な操作性を有する。
<Type-linked>
Conventionally, multiple inspection devices arranged along an inspection line have had to read correct information (information about proper items) from a storage device during inspection to compare with the items being inspected, and each inspection device has had to perform complicated setting operations.Furthermore, conventionally, in order to connect the inspection devices with each other via communication means and inspect items while linking the inspection devices, each inspection device has had to perform complicated setting operations.
On the other hand, the inspection device according to an embodiment of the present invention reads out from the storage means a set of positive information used for comparative inspection of the image of the item captured by the imaging means and a set of positive information used for comparative inspection of the item's identification information acquired by the acquisition means all at once to perform the setting process, so that the setting operation can be completed in a short time and has good operability.
<品種登録>
従来、検査ラインに複数の検査装置が配置された物品検査システムでは、新規の検査対象が追加される都度、各検査装置で新規検査対象の商品に関する正情報を設定、記憶させることを要する。
一方、本発明の実施形態に係る検査装置は、新規の検査対象を追加設定する場合、一つの検査装置で、撮像手段により撮像される物品の画像の比較検査に用いる正情報と、取得手段により取得された物品の識別情報の比較検査に用いる正情報を設定登録する処理を簡易化することができる。
<Variety registration>
Conventionally, in an item inspection system in which multiple inspection devices are arranged on an inspection line, each time a new inspection target is added, it is necessary to set and store correct information about the new inspection target product in each inspection device.
On the other hand, when a new inspection object is added to the inspection device according to an embodiment of the present invention, the process of setting and registering correct information to be used for comparative inspection of the image of the object captured by the imaging means and correct information to be used for comparative inspection of the identification information of the object acquired by the acquisition means can be simplified using a single inspection device.
また、本発明の実施形態に係る検査装置は撮像手段(撮像部)を備えているので、搬送中の物品(商品)に正しい商品ラベル(表ラベル)が貼付されているかを容易に確認(商品ラベルの有無)することができる(A1)、物品に貼付されている商品ラベルの印字内容や欠けや汚れはないかを容易に確認(商品ラベルの状態)することができる(A2)、物品に貼付されている商品ラベル、販促シール、包材の組み合わせに間違いは無いかを容易に確認することができる(A3)。 In addition, since the inspection device according to an embodiment of the present invention is equipped with an imaging means (imaging unit), it can easily check whether the correct product label (front label) is affixed to the item (product) being transported (presence or absence of product label) (A1), it can easily check the printed content of the product label affixed to the item and whether there are any missing or dirty characters (product label condition) (A2), and it can easily check whether there are any mistakes in the combination of the product label, promotional sticker, and packaging affixed to the item (A3).
また、本発明の実施形態に係る検査装置は、取得手段として読取装置(コードスキャナ22)を備えているので、搬送中の物品(商品)に正しいPOSラベル(裏ラベル)が貼付されているかを容易に確認(POSラベルの有無)することができる(B1)、物品に貼付されているPOSラベルの印字内容に問題は無いかを容易に確認することができる(B2)、また、POSラベルのバーコードには複数の情報が含まれており、これらの情報が事前記憶されている正情報と合致しているか否かを容易に判定することができる(B3)。バーコードには含まれる情報としては、例えば、商品名や商品の識別番号に関する情報、商品の販売日・販売時間・賞味期限、商品が配送される便の情報、商品が製造された製造元の情報などを挙げることができる。 In addition, the inspection device according to an embodiment of the present invention is equipped with a reading device (code scanner 22) as an acquisition means, making it easy to check whether the correct POS label (back label) is affixed to the item (product) being transported (presence or absence of a POS label) (B1), and to easily check whether there are any problems with the printed content of the POS label affixed to the item (B2). Furthermore, the barcode on the POS label contains multiple pieces of information, and it is easy to determine whether this information matches the correct information stored in advance (B3). Examples of information contained in the barcode include information about the product name and product identification number, the product's sales date, sales time, and expiration date, information about the delivery route for the product, and information about the manufacturer of the product.
また、本発明の実施形態に係る検査装置100は、設定登録モード時、搬送手段(ベルトコンベア261等)により物品(設定登録対象の物品)が搬送されると、制御手段(制御部10)は、撮像手段(撮像部12)による撮像結果と取得手段による識別情報とを関連付け、正情報として記憶手段に記憶する処理を行う。
すなわち、設定登録モード時、簡単に、物品(商品)を関する撮像画像と識別情報とを関連付けた正情報を記憶手段に記憶させることができる。
Furthermore, in the inspection device 100 according to an embodiment of the present invention, when an item (an item to be set and registered) is transported by a transport means (such as a belt conveyor 261) in the setting and registration mode, the control means (control unit 10) performs a process of associating the imaging results obtained by the imaging means (imaging unit 12) with the identification information obtained by the acquisition means, and storing the result as correct information in the storage means.
That is, in the setting and registration mode, it is possible to easily store in the storage means the correct information that associates the captured image of the article (product) with the identification information.
ところで、従来、特許文献2に記載の外観検査装置などの一般的な検査装置では、撮像画像の画像処理に関する設定を行う際に高度で煩雑な操作を行うことを要し、設定完了までに時間が掛かる場合がある。また、従来、ガイダンスを設定画面上に重畳して表示する装置が知られているが、この装置では設定画面上にガイダンスが重畳表示されるので、利用者にとって煩わしく感じられ、設定操作の効率がよくない場合がある。 However, conventional inspection devices, such as the visual inspection device described in Patent Document 2, require sophisticated and complicated operations when configuring settings related to image processing of captured images, and it can take a long time to complete the configuration. Furthermore, conventional devices that display guidance superimposed on the configuration screen are known, but because this device displays guidance superimposed on the configuration screen, it can be cumbersome for users and can result in inefficient configuration operations.
一方、本発明の実施形態に係る検査装置100(ラベル検査装置)は、商品に貼付されているラベルや商品を包装する包装物が予め規定されたものと一致しているか否かを検査する、つまり、合否判定を行う。検査装置100は、検査対象物を撮像手段としての撮像部12により撮像して得られた撮像画像と、予め記憶された正画像(良品の撮像画像)とを比較することで該検査対象物の良否判定を行う制御部10(メイン制御部21、カメラ側制御部11)を有する。検査装置100は、撮像装置の設定画面を表示する第1の表示領域(カメラ側表示入力部14)と、設定画面の補助情報を表示する第2の表示領域(メイン表示入力部24)とを有する。第1の表示領域(カメラ側表示入力部14)は、第2の表示領域(メイン表示入力部24)の近傍に併設されている。
詳細には、第1の表示領域(カメラ側表示入力部14)は、撮像手段(撮像部12)により得られる撮像画像に対する画像処理の設定に関する設定画面を操作可能に表示する。
第2の表示領域(メイン表示入力部24)は、第1の表示領域(カメラ側表示入力部14)の設定画面に対する操作を補助するための補助情報(操作補助画面)を操作可能に表示する。
On the other hand, an inspection device 100 (label inspection device) according to an embodiment of the present invention inspects whether labels affixed to products and packaging materials for the products match predetermined specifications, i.e., performs a pass/fail judgment. The inspection device 100 includes a control unit 10 (main control unit 21, camera-side control unit 11) that performs a pass/fail judgment on an inspection target by comparing an image captured by an imaging unit 12 serving as an imaging means with a pre-stored correct image (a captured image of a non-defective product). The inspection device 100 includes a first display area (camera-side display input unit 14) that displays a setting screen for the imaging device and a second display area (main display input unit 24) that displays auxiliary information for the setting screen. The first display area (camera-side display input unit 14) is located adjacent to the second display area (main display input unit 24).
More specifically, the first display area (camera-side display input section 14) displays a setting screen for setting image processing for an image captured by the imaging means (imaging section 12) in an operable manner.
The second display area (main display input section 24) operably displays auxiliary information (operation auxiliary screen) for assisting operations on the setting screen of the first display area (camera side display input section 14).
すなわち、簡単な構成で、検査対象物を撮像する撮像部12や撮像画像に関する画像処理等の設定操作を、効率よく行うことができる検査装置を提供することができる。
また、第1の表示領域(カメラ側表示入力部14)に対して、設定操作を効率よく行うことができる。つまり、設定操作を短時間で完了可能な検査装置を提供することができる。
また、簡単な操作により、検査対象物としての商品のラベルに印字された商品名、価格、コード情報などの商品情報が規定のものであるか否かを検査する、簡単な構造の検査装置を提供することができる。
That is, it is possible to provide an inspection device with a simple configuration that can efficiently perform setting operations for the imaging unit 12 that images the object to be inspected and image processing related to the captured image.
Furthermore, the setting operation can be efficiently performed in the first display area (camera side display input unit 14), which means that an inspection device can be provided that allows the setting operation to be completed in a short time.
In addition, it is possible to provide an inspection device with a simple structure that can, with simple operations, inspect whether product information such as product name, price, and code information printed on the label of a product to be inspected conforms to the specified specifications.
また、本発明の実施形態に係る検査装置は、第1の表示領域(カメラ側表示入力部14)、又は第2の表示領域(メイン表示入力部24)のいずれか一方の表示内容を切替えた場合、その切替えに応じて他方の表示内容を切り替える切替手段(切替手段211)を有する。尚、上述した実施形態では、メイン制御部21の切替手段211が上記切替制御を行ったが、この実施形態に限られるものではない。例えば、カメラ側制御部11がプログラムを実行することで切替手段を実現してもよい。また、メイン制御部21とカメラ側制御部11が協働することで切替手段を実現してもよい。
つまり、メイン表示入力部24(第2の表示領域)の表示内容を切替えた場合、切替手段は、この切替えに連動してカメラ側表示入力部14(第1の表示領域)の表示内容を切り替える制御を行う。例えば、メイン表示入力部24に表示される確認ボタン等が押下された場合、切替手段は、カメラ側表示入力部14の表示内容を設定画面に切替える処理を行う。
Furthermore, the inspection device according to the embodiment of the present invention has a switching means (switching means 211) that switches the display content of either the first display area (camera-side display input unit 14) or the second display area (main display input unit 24) in response to the switching. In the above-described embodiment, the switching control is performed by the switching means 211 of the main control unit 21, but this is not limiting. For example, the switching means may be realized by the camera-side control unit 11 executing a program. Furthermore, the switching means may be realized by cooperation between the main control unit 21 and the camera-side control unit 11.
In other words, when the display content of the main display input unit 24 (second display area) is switched, the switching means controls the switching of the display content of the camera side display input unit 14 (first display area) in conjunction with this switching. For example, when a confirmation button or the like displayed on the main display input unit 24 is pressed, the switching means performs processing to switch the display content of the camera side display input unit 14 to a setting screen.
また、カメラ側表示入力部14の表示内容を切り替えた場合、切替手段は、この切替えに連動して、メイン表示入力部24(第2の表示領域)の表示内容を切替える制御を行う。例えば、具体的には、カメラ側表示入力部14において、矩形領域により商品名表示領域を設定する処理や価格表示領域を設定する処理に連動して、メイン表示入力部24にて次の設定のための操作補助画面を表示するように、表示内容を切替える制御を切替手段が行う。
すなわち、両表示領域の一方が主、他方が従の関係、又は逆の関係となるように構成されている。
Furthermore, when the display content of the camera-side display input unit 14 is switched, the switching means controls the switching of the display content of the main display input unit 24 (second display area) in conjunction with this switching. For example, specifically, in conjunction with the process of setting a product name display area or a price display area using a rectangular area in the camera-side display input unit 14, the switching means controls the switching of the display content so that an operation assistance screen for the next setting is displayed on the main display input unit 24.
That is, the two display areas are configured so that one is the main display area and the other is the sub display area, or vice versa.
また、本発明の実施形態に係る検査装置100では、表示手段としてのカメラ側表示入力部14(第1の表示領域)は、撮像手段(撮像部12)により撮像された検査物品の画像を表示する。検査装置100は、撮像手段(撮像部12)により撮像された画像に含まれる一つの検査物品に固有の固有画像と、複数の検査物品に共通の共通画像とを特定する特定手段111と、特定手段111により特定された固有画像、又は共通画像を記憶する記憶手段(カメラ制御側記憶部13、メイン制御側記憶部23)と、を有する。 In addition, in the inspection device 100 according to an embodiment of the present invention, the camera-side display input unit 14 (first display area) serving as a display means displays an image of the inspection item captured by the imaging means (imaging unit 12). The inspection device 100 has an identification means 111 that identifies a unique image specific to one inspection item and a common image common to multiple inspection items contained in the image captured by the imaging means (imaging unit 12), and a storage means (camera control-side storage unit 13, main control-side storage unit 23) that stores the unique image or common image identified by the identification means 111.
特定手段111は、撮像手段により検査物品を撮像して得られた画像から、固有画像(品名を示す画像など)、共通画像(販促シールを示す画像、包材情報を示す画像など)を特定する処理を行う。また、特定手段111は、図9、図10に示したように、撮像手段により検査物品を撮像して得られた画像から、品名などを示す領域の部分を固有画像とし、包材情報を示す領域の部分を固有画像とする。 The identification means 111 performs processing to identify unique images (such as images showing the product name) and common images (such as images showing promotional labels and images showing packaging information) from the images obtained by imaging the inspection item using the imaging means. Furthermore, as shown in Figures 9 and 10, the identification means 111 identifies the area showing the product name and the area showing packaging information as unique images from the images obtained by imaging the inspection item using the imaging means.
また、本発明の実施形態に係る検査装置の記憶手段(カメラ制御側記憶部13、必要に応じてメイン制御側記憶部23)は、固有画像と共通画像との組み合わせにより正画像を記憶する。検査装置100は、撮像手段により検査物品を撮像して得られた検査画像と、記憶手段により記憶されている正画像とを比較する比較手段112を有する。
詳細には、特定した固有画像や共通画像の組合せにより、商品毎に比較手段による比較の判定基準が異なる。
例えば、登録モードの場合、検査装置の記憶手段が共通画像を記憶していない状態で、商品「鮭」を撮像した場合、商品「鮭」の固有画像である「サケ」(品名を示す画像)を特定する処理を行い、固有画像(品名画像)を記憶手段に記憶することができる。
さらに、商品「鮭」おにぎりに、「新商品」を示す販促シールが貼付されていた場合、登録モード時、商品「鮭」を撮像手段により撮像して得られた画像から、「新商品」のシール部分の画像を特定して抽出し、抽出された部分の画像を共通画像として記憶手段へ記憶することができる。
共通画像の特徴は、例えば、「新商品」という共通画像を、商品「鮭」だけに用いるのではなく、他の商品の正画像の登録の際にも、この共通画像を使い回すことができる。
また、共通画像として、例えば、価格を示す画像(価格画像)、包材を示す画像(包材画像)も同様に、他の商品の登録の際に、共通に利用することができる。
Furthermore, the storage means (camera control side storage unit 13, and if necessary, main control side storage unit 23) of the inspection device according to the embodiment of the present invention stores a normal image by combining the unique image and the common image. The inspection device 100 has a comparison means 112 that compares the inspection image obtained by imaging the inspection item with the normal image stored in the storage means.
In detail, the criteria for comparison by the comparison means differ for each product depending on the combination of the identified unique images and common images.
For example, in the registration mode, when the storage means of the inspection device does not store a common image and an image of the product "salmon" is captured, a process is performed to identify "salmon" (an image indicating the product name), which is a unique image of the product "salmon," and the unique image (product name image) can be stored in the storage means.
Furthermore, if a promotional sticker indicating a "new product" is attached to the "salmon" rice ball product, in the registration mode, an image of the "new product" sticker portion can be identified and extracted from the image obtained by capturing an image of the "salmon" product with an imaging means, and the image of the extracted portion can be stored in the storage means as a common image.
A feature of common images is that, for example, a common image of a "new product" can be used not only for the product "salmon," but also when registering original images of other products.
Similarly, common images such as an image showing the price (price image) and an image showing the packaging (packaging image) can be used in common when registering other products.
共通画像を用いる具体的なメリットとしては、例えば、共通画像として、価格画像、販促シール画像、包材画像が記憶手段に既に記憶されている場合、登録モード時、商品「ねぎとろ」の正画像を登録するときに、商品「ねぎとろ」を撮像して得られた撮像画像から、品名を示す「ねぎとろ」の部分だけを特定して抽出し、その品名画像を固有画像として、商品「ねぎとろ」の品番、品名等と関連付けて記憶手段に記憶する。
そして、商品「ねぎとろ」と、共通画像の価格画像、販促シール画像、包材画像を関連付ける。すなわち、撮像画像から価格、販促シール、包材等の部分を特定して抽出する必要がなく、登録にかかる処理が軽減し、短い時間で商品「ねぎとろ」の登録を行うことができる。
また、本発明の実施形態に係る検査装置は、検査のバリエーションの数だけ、正画像を撮像する必要がなく、異なる種類の検査物品の検査で、共通画像を使い回しができるので、固有画像と共通画像の組み合わせにより、複数のバリエーションの正画像(合否判定の基準となる画像)を生成することができ、正画像の撮像回数や共通画像の設定処理等を減らすことができる。
A specific advantage of using a common image is that, for example, if a price image, a promotional sticker image, and a packaging image are already stored in the storage means as common images, when registering the correct image of the product "Negitoro" in registration mode, only the "Negitoro" part indicating the product name is identified and extracted from the image obtained by photographing the product "Negitoro", and the product name image is stored in the storage means as a unique image in association with the product number, product name, etc. of the product "Negitoro".
The product "Negitoro" is then associated with the price image, promotional sticker image, and packaging image from the common image. In other words, there is no need to identify and extract the price, promotional sticker, packaging, etc. from the captured image, which reduces the processing required for registration and allows the product "Negitoro" to be registered in a short amount of time.
Furthermore, the inspection device according to an embodiment of the present invention does not need to capture the same number of positive images as there are variations in the inspection, and a common image can be reused for the inspection of different types of inspection items. Therefore, by combining unique images and common images, it is possible to generate positive images (images that serve as the basis for determining pass/fail) for multiple variations, thereby reducing the number of times positive images are captured and the processing required to set up the common image.
また、本発明の実施形態に係る検査装置100は、記憶手段(カメラ制御側記憶部13やメイン制御側記憶部23)により記憶されている、正画像の固有画像と共通画像との組み合せを示す組合せ情報を変更する変更手段212を有する。
検査時、第2の表示領域(メイン表示入力部24)において、「販促シールなし」の表示部分は、操作可能なボタンであり、このボタンが操作された場合、「販促シールあり」、「販促シールなし」と表示内容が切り替わるように制御部が制御を行う。詳細には、変更手段212は、「販促シールあり」、又は「販促シール」なしに応じて合格判定基準(判定基準)を変更する。
In addition, the inspection device 100 according to an embodiment of the present invention has a modification means 212 that modifies combination information indicating the combination of a unique image of a correct image and a common image, which is stored in a storage means (the camera control side storage unit 13 or the main control side storage unit 23).
During inspection, in the second display area (main display input unit 24), the display portion for "no promotional sticker" is an operable button, and when this button is operated, the control unit controls so that the display content switches between "promotional sticker present" and "no promotional sticker." In detail, the change means 212 changes the pass/fail criteria (decision criteria) depending on whether "promotional sticker present" or "no promotional sticker" is present.
また、本発明の実施形態に係る検査装置の比較手段112は、撮像手段により検査物品を撮像して得られた検査画像と、記憶部に記憶されている正画像との比較に基づいて、該検査画像と該正画像とが相関しているか否かの結果を第1の表示領域(カメラ側表示入力部14)に表示する処理を行う。また、第2の表示領域(メイン表示入力部24)は、その結果に基づく検査情報(判定結果がOK、またはNG)を表示するように、制御部のメイン制御部21が制御を行う。 In addition, the comparison means 112 of the inspection device according to an embodiment of the present invention performs processing to display in the first display area (camera-side display input unit 14) the result of whether or not the inspection image obtained by imaging the inspection item with the imaging means is correlated with the correct image stored in the memory unit, based on the comparison. Furthermore, the main control unit 21 of the control unit controls the second display area (main display input unit 24) to display inspection information based on the result (whether the judgment result is OK or NG).
また、本発明の実施形態に係る検査装置の制御部10のメイン制御部21は、第2の表示領域(メイン表示入力部24)の操作補助画面に、設定手順を示す表示内容を切り替える切替手段(進むボタン又は戻るボタン等)を操作可能に表示する処理を行う。
制御部10は、切替手段(進むボタン又は戻るボタン等)への操作に応じて、第2の表示領域(メイン表示入力部24)の操作補助画面の表示内容を切り替える処理を行うとともに、第2の表示領域(メイン表示入力部24)における操作補助画面と第1の表示領域(カメラ側表示入力部14)の設定画面との協働により、画像処理の設定に関する処理を行う制御部10を有する。
In addition, the main control unit 21 of the control unit 10 of the inspection device according to an embodiment of the present invention performs processing to operably display a switching means (such as a forward button or a back button) for switching the display content showing the setting procedure on the operation support screen of the second display area (main display input unit 24).
The control unit 10 performs processing to switch the display content of the operation assistance screen in the second display area (main display input unit 24) in response to operation of the switching means (forward button, back button, etc.), and also performs processing related to image processing settings in cooperation with the operation assistance screen in the second display area (main display input unit 24) and the setting screen in the first display area (camera side display input unit 14).
詳細には、制御部10は、メイン制御部21とカメラ側制御部11を有する。
カメラ側制御部11は、設定登録モード時、撮像部12により基準となる良品のラベルを撮像して得られた撮像画像をカメラ制御側記憶部13に記憶する。ラベルには、商品情報(ラベル情報)として、商品名、価格、コード情報などが印字されている。また、カメラ側制御部11は、カメラ側表示入力部14による設定情報に基づいて、撮像画像からラベル(本実施形態では表ラベルLA)の規定位置に印字された商品名、価格などの商品情報を抽出し、それと撮像画像とを関連付けてカメラ制御側記憶部13に記憶する。
また、カメラ側制御部11は、検査モード時、撮像部12により検査対象物のラベル(本実施形態では表ラベル)を撮像して得られた撮像画像と、カメラ制御側記憶部13から読み出した、基準となる良品の撮像画像、商品名や価格などの商品情報とを比較して、該検査対象物の良否判定を行い、良否判定の結果をメイン制御部21へ出力する。また、カメラ側制御部11は、その良否結果をカメラ側表示入力部14に表示する。
In detail, the control unit 10 has a main control unit 21 and a camera-side control unit 11 .
In the setting and registration mode, the camera control unit 11 stores the captured image obtained by capturing an image of a reference non-defective label using the imaging unit 12 in the camera control storage unit 13. Product information (label information) such as the product name, price, and code information is printed on the label. Furthermore, based on the setting information from the camera display input unit 14, the camera control unit 11 extracts product information such as the product name and price printed in a specified position on the label (front label LA in this embodiment) from the captured image, and stores this information in the camera control storage unit 13 in association with the captured image.
Furthermore, in the inspection mode, the camera-side control unit 11 compares the captured image obtained by capturing an image of the label (front label in this embodiment) of the object to be inspected by the imaging unit 12 with the captured image of a reference non-defective product and product information such as product name and price read from the camera control-side storage unit 13, determines whether the object to be inspected is good or bad, and outputs the result of the pass/fail determination to the main control unit 21. The camera-side control unit 11 also displays the pass/fail result on the camera-side display/input unit 14.
メイン制御部21は、検査モード時、コードスキャナ22により読み取られた、検査対象物のラベル(本実施形態では裏ラベル)に印刷されているコード情報が基準となる情報と比較して適切であるか否かを判定し、適切である場合に、裏ラベルに関して良品であると判断する。
そして、メイン制御部21は、検査モード時、カメラ側制御部11からの表ラベルの良否結果、及びコードスキャナ22により読み取られたコード情報の良否の結果に基づいて、総合的に検査対象物の良否判定を行う。つまり、本実施形態では、検査装置100のメイン制御部21は、検査対象物の表ラベルと裏ラベルそれぞれが基準のものと一致している場合に検査対象物が良品であると判断し、表ラベルと裏ラベルのうち少なくとも一方が基準と一致していない場合に不良品であると判断する。
すなわち、上述したように、メイン制御部21とカメラ側制御部11が協働して、検査モードに関する処理を並列処理することにより、検査対象物を短時間に高精度に検査することができる検査装置を提供することができる。
また、検査対象物の表ラベルと裏ラベルを一度に短時間に検査することができる、簡単な構成の検査装置を提供することができる。
In the inspection mode, the main control unit 21 compares the code information printed on the label of the object to be inspected (the back label in this embodiment) read by the code scanner 22 with the reference information to determine whether it is appropriate, and if it is appropriate, determines that the back label is a good product.
In the inspection mode, the main control unit 21 comprehensively judges the quality of the object to be inspected based on the quality result of the front label from the camera-side control unit 11 and the quality result of the code information read by the code scanner 22. In other words, in this embodiment, the main control unit 21 of the inspection device 100 judges the object to be a good product when the front label and back label of the object to be inspected each match the standard, and judges the object to be a defective product when at least one of the front label and back label does not match the standard.
In other words, as described above, the main control unit 21 and the camera side control unit 11 work together to perform parallel processing of inspection mode-related processes, thereby providing an inspection device that can inspect the object to be inspected with high accuracy in a short period of time.
Furthermore, it is possible to provide an inspection device with a simple configuration that can inspect both the front and back labels of an object to be inspected at once in a short time.
また、メイン制御部21は、設定登録モード時、第2の表示領域(メイン表示入力部24)に操作補助画面を操作可能に表示する処理を行い、且つ、設定登録モードの開始を示す信号をカメラ側制御部11に出力する処理を行う。カメラ側制御部11は、メイン制御部21から設定登録モードの開始を示す信号を受信した場合、第1の表示領域(カメラ側表示入力部14)にて設定画面による設定処理を開始する処理を行う。すなわち、設定登録モード時、メイン制御部21とカメラ側制御部11が設定登録に関する処理を略同時に開始するとともに、設定登録に関する処理を協働して並列に処理することができる検査装置を提供することができる。 In addition, in the setting and registration mode, the main control unit 21 performs processing to display an operational assistance screen in the second display area (main display input unit 24) in an operable manner, and also performs processing to output a signal indicating the start of the setting and registration mode to the camera-side control unit 11. When the camera-side control unit 11 receives a signal indicating the start of the setting and registration mode from the main control unit 21, it performs processing to start setting processing using the setting screen in the first display area (camera-side display input unit 14). In other words, in the setting and registration mode, the main control unit 21 and camera-side control unit 11 start processing related to setting and registration substantially simultaneously, and an inspection device can be provided that can cooperate to process processing related to setting and registration in parallel.
また、制御部は、設定登録モード時、良品の撮像画像のうち、商品情報が印字されている部分を第1の表示領域(カメラ側表示入力部14)にて設定するための手順を第2の表示領域(メイン表示入力部24)に表示する処理を行い、且つ、第1の表示領域(カメラ側表示入力部14)にて商品情報が印字されている部分を設定する処理を行う。
すなわち、利用者にとって、第2の表示領域(メイン表示入力部24)に表示された操作補助画面を見て、必要に応じて操作補助画面を操作して、設定手順の進み具合と連動させながら、撮像画像に対する画像処理に関する設定画面を効率よく操作することができる検査装置を提供することができる。
In addition, in the setting registration mode, the control unit performs a process of displaying in the second display area (main display input unit 24) the procedure for setting the part of the captured image of a good product on which product information is printed in the first display area (camera side display input unit 14), and also performs a process of setting the part on which product information is printed in the first display area (camera side display input unit 14).
In other words, an inspection device can be provided in which the user can view the operation assistance screen displayed in the second display area (main display input unit 24), operate the operation assistance screen as needed, and efficiently operate the setting screen related to image processing for the captured image while keeping in sync with the progress of the setting procedure.
ところで、従来の物品検査システムでは、検査ラインに複数配置された検査装置で不適正と判断された物品を排出する場合、検査装置毎に不適正な物品を排出するための排出手段を設けたり、又は下流側の検査装置にのみ排出手段を設け、上流側の検査装置からエラー判定の旨を示す検査信号を下流側の検査装置に送信して、下流側の排出手段により不適正な物品を排出するという複雑な制御を行うことを要する。
一方、本発明の実施形態に係る検査装置100は、制御手段としての制御部10が撮像手段及び取得手段による検査結果に基づいて物品の検査に関する正否判定を行い、検査処理としての比較の結果、検査対象の物品を否(不適正な物品)と判定した場合、搬送手段(ベルトコンベア261等)により搬送される物品を搬送経路(搬送路)から排除する排除手段として振分け部29を有する。
すなわち、簡単な構造で、排出手段により不適正な物品を簡単に排出することができる搬送装置を提供することができる。
In conventional product inspection systems, when an item judged to be improper by multiple inspection devices arranged on an inspection line is to be ejected, it is necessary to provide an ejection means for ejecting the improper item for each inspection device, or to provide an ejection means only for the downstream inspection device, and perform complex control such that the upstream inspection device sends an inspection signal indicating an error judgment to the downstream inspection device, and the downstream ejection means ejects the improper item.
On the other hand, the inspection device 100 according to an embodiment of the present invention has a control unit 10 as a control means that determines whether the inspection of an item is successful or not based on the inspection results from the imaging means and the acquisition means, and if the result of the comparison in the inspection process is that the item being inspected is found to be unsatisfactory (an inappropriate item), the inspection device 10 has a sorting unit 29 as an exclusion means that excludes the item being transported by the transport means (such as a belt conveyor 261) from the transport path (transport route).
That is, it is possible to provide a conveying device with a simple structure that can easily discharge inappropriate articles using the discharge means.
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
また、上述の各図で示した実施形態は、その目的及び構成等に特に矛盾や問題がない限り、互いの記載内容を組み合わせることが可能である。
また、各図の記載内容はそれぞれ独立した実施形態になり得るものであり、本発明の実施形態は各図を組み合わせた一つの実施形態に限定されるものではない。
Although the embodiments of the present invention have been described in detail above with reference to the drawings, the specific configurations are not limited to these embodiments, and the present invention also includes design changes and the like that do not deviate from the gist of the present invention.
Furthermore, the embodiments shown in the above-described drawings can be combined with each other as long as there are no particular contradictions or problems in the purpose, configuration, etc.
Furthermore, the contents of each drawing may be independent embodiments, and the embodiment of the present invention is not limited to one embodiment obtained by combining the drawings.
本発明の実施形態に係る検査装置は、例えば、商品の製造ラインで利用される。
詳細には、製造ラインの上流側に、おにぎりなどの商品を包装する包装装置や、包装された商品にラベルを貼付する貼付装置などが配置され、製造ラインの下流側に検査装置が配置され、それぞれ相互に通信可能に構成されている。検査装置は、必要に応じて、上流側の包装装置や貼付装置から、検査対象物に関する商品情報を受信し、その商品情報に基づいて、検査対象物を切替えて、各種設定を変更する処理を行ってもよい。すなわち、検査対象物の種類などが変更となった場合であっても、検査装置は、手動にて検査対象物を切替えることなく、自動で各種設定を変更することができる。
また、検査装置は、製造ラインを統括している上位の制御装置等から、必要に応じて商品情報を受信し、その商品情報に基づいて、検査対象物を切替える処理を行ってもよい。
The inspection device according to the embodiment of the present invention is used, for example, in a product manufacturing line.
Specifically, a packaging device that packages products such as rice balls and a labeling device that affixes labels to packaged products are located upstream of the production line, and an inspection device is located downstream of the production line, with these devices configured to be able to communicate with each other. The inspection device may receive product information about the inspection target from the upstream packaging device or labeling device as needed, and may switch the inspection target and change various settings based on the product information. In other words, even if the type of inspection target changes, the inspection device can automatically change various settings without manually switching the inspection target.
Furthermore, the inspection device may receive product information as needed from a higher-level control device that controls the production line, and perform processing to switch the object to be inspected based on the product information.
10…制御部(制御手段)
11…カメラ側制御部
12…撮像部(撮像手段)
13…カメラ制御側記憶部(記憶手段)
14…カメラ側表示入力部(第1の表示領域、表示手段)
21…メイン制御部
22…コードスキャナ(コード情報取得部)
23…メイン制御側記憶部(記憶手段)
24…メイン表示入力部(第2の表示領域、表示手段)
25…操作入力部
26…コンベア駆動部
27…センサ
29…振分け部(排除手段)
40…操作表示装置
100…検査装置(ラベル検査装置)
111…特定手段(特定部)
112…比較手段(比較部)
211…切替手段(切替部)
212…変更手段(変更部)
243…次へボタン(切替手段)
244…戻るボタン(切替手段)
261…ベルトコンベア(搬送手段)
L…ラベル
LA…表ラベル
LB…裏ラベル
w…検査対象物(検査物品)
10...Control unit (control means)
11: Camera-side control unit 12: Imaging unit (imaging means)
13...Camera control side memory section (memory means)
14...Camera side display input section (first display area, display means)
21... Main control unit 22... Code scanner (code information acquisition unit)
23... Main control side memory unit (memory means)
24...Main display input section (second display area, display means)
25... Operation input unit 26... Conveyor driving unit 27... Sensor 29... Distributing unit (removal means)
40...Operation display device 100...Inspection device (label inspection device)
111... Specification means (specification part)
112... Comparison means (comparison section)
211...switching means (switching unit)
212...changing means (changing unit)
243...Next button (switching means)
244...Back button (switching means)
261...Belt conveyor (transport means)
L...Label LA...Front label LB...Back label w...Inspection object (inspection item)
Claims (3)
前記検査対象の物品の比較対象となる正情報を記憶する記憶手段と、
前記検査対象の物品の前記一方面とは異なる他方面にあるコードを読み取る読取手段と、
検査対象の属性に応じて、前記撮像手段による撮像範囲にある商品名よりも上方かつ、前記検査対象の物品の頂点よりも下方の位置に設定され、前記検査対象の物品の側面を支持する物品支持手段と、を有し、
前記撮像手段と前記読取手段は、前記物品支持手段を挟んで対向するように配置されており、
撮像された前記検査対象の物品の商品名及び前記検査対象の物品のコードが前記記憶手段に記憶された正情報に係る規定のものであるか否かを検査する検査手段を有する
ことを特徴とする検査装置。 an imaging means for imaging a product name on one side of the object to be inspected;
a storage means for storing positive information to be compared with the inspection target item;
reading means for reading a code on a surface of the object to be inspected that is different from the one surface;
and an article support means that is set at a position above the product name in the image capture range of the imaging means and below the apex of the article to be inspected according to the attributes of the article to be inspected, and that supports the side of the article to be inspected,
the imaging means and the reading means are arranged to face each other across the article support means,
The inspection means inspects whether the product name and code of the imaged product to be inspected are the same as those specified in the authentic information stored in the storage means.
An inspection device characterized by:
前記振分け部は、前記物品支持手段よりも下方領域で前記検査対象の物品を振り分ける
ことを特徴とする請求項1に記載の検査装置。 Further, a sorting unit that sorts the objects to be inspected is provided,
The inspection device according to claim 1 , wherein the sorting unit sorts the inspection target articles in a region below the article support means.
前記検査対象の物品を前記撮像手段により撮像するステップと、
前記検査対象の物品の比較対象となる正情報を記憶手段により記憶するステップと、
前記検査対象の物品のコードを読み取る読取ステップと、を有し、
もって、前記検査対象の物品の商品名が正情報と一致しているか否か、及び、前記検査対象の物品のコードが規定のものであるか否かを検査する
ことを特徴とする検査方法。
An inspection method for an inspection device having an imaging means for imaging a product name on one side of an item to be inspected, a reading means for reading a code on another side of the item to be inspected that is different from the one side, and an item support means for supporting a side of the item to be inspected, the imaging means and the reading means being positioned above the product name in the imaging range of the imaging means and below the apex of the item to be inspected, the imaging means and the reading means being positioned so as to face each other across the item support means,
taking an image of the object to be inspected by the imaging means;
storing positive information to be compared with the inspection target item in a storage means;
a reading step of reading a code of the item to be inspected,
Thus, the inspection method is characterized in that it is checked whether the product name of the inspected item matches the authentic information and whether the code of the inspected item is a specified one.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024012523A JP7794482B2 (en) | 2020-10-21 | 2024-01-31 | Inspection Equipment |
| JP2025234633A JP2026026376A (en) | 2020-10-21 | 2025-12-05 | Inspection Equipment |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020176555A JP6955801B2 (en) | 2019-04-26 | 2020-10-21 | Inspection equipment, program |
| JP2021156596A JP7125809B2 (en) | 2020-10-21 | 2021-09-27 | Inspection device, inspection method |
| JP2022118129A JP7438570B2 (en) | 2020-10-21 | 2022-07-25 | Inspection equipment and inspection method |
| JP2024012523A JP7794482B2 (en) | 2020-10-21 | 2024-01-31 | Inspection Equipment |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022118129A Division JP7438570B2 (en) | 2020-10-21 | 2022-07-25 | Inspection equipment and inspection method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025234633A Division JP2026026376A (en) | 2020-10-21 | 2025-12-05 | Inspection Equipment |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2024042053A JP2024042053A (en) | 2024-03-27 |
| JP2024042053A5 JP2024042053A5 (en) | 2024-09-03 |
| JP7794482B2 true JP7794482B2 (en) | 2026-01-06 |
Family
ID=78945792
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021156596A Active JP7125809B2 (en) | 2020-10-21 | 2021-09-27 | Inspection device, inspection method |
| JP2022118129A Active JP7438570B2 (en) | 2020-10-21 | 2022-07-25 | Inspection equipment and inspection method |
| JP2024012523A Active JP7794482B2 (en) | 2020-10-21 | 2024-01-31 | Inspection Equipment |
| JP2025234633A Pending JP2026026376A (en) | 2020-10-21 | 2025-12-05 | Inspection Equipment |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021156596A Active JP7125809B2 (en) | 2020-10-21 | 2021-09-27 | Inspection device, inspection method |
| JP2022118129A Active JP7438570B2 (en) | 2020-10-21 | 2022-07-25 | Inspection equipment and inspection method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025234633A Pending JP2026026376A (en) | 2020-10-21 | 2025-12-05 | Inspection Equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (4) | JP7125809B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004226228A (en) | 2003-01-23 | 2004-08-12 | Eisai Co Ltd | Method and device for inspecting foreign matter in solution |
| JP2007085924A (en) | 2005-09-22 | 2007-04-05 | Kirin Techno-System Corp | Device for inspecting container |
| JP2010060312A (en) | 2008-09-01 | 2010-03-18 | Kirin Techno-System Co Ltd | Device and system for inspecting foreign matter |
| JP2015200527A (en) | 2014-04-04 | 2015-11-12 | 株式会社東芝 | Clinical examination device |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62250981A (en) * | 1986-04-25 | 1987-10-31 | 株式会社新潟鐵工所 | Selector |
| JP3542897B2 (en) * | 1998-01-30 | 2004-07-14 | 株式会社寺岡精工 | Sorting system |
| JP2003079905A (en) * | 2001-09-14 | 2003-03-18 | Samii Kk | Game machine, inspection apparatus and inspection process of game machine |
| JP2003216928A (en) | 2002-01-21 | 2003-07-31 | Takigawa Kogyo Co Ltd | Normal/defective confection deciding system |
| JP3980365B2 (en) * | 2002-02-08 | 2007-09-26 | 株式会社藤商事 | Method for inspecting board case for gaming machine and method for inspecting gaming board or gaming machine |
| JP2005091338A (en) | 2003-09-16 | 2005-04-07 | Yoshihiko Takashima | Appearance inspection device for bottle including transparent label |
| JP2005134163A (en) * | 2003-10-28 | 2005-05-26 | Matsushita Electric Works Ltd | Vessel bottom inspecting apparatus |
| JP4293438B2 (en) | 2003-11-25 | 2009-07-08 | 東光電気株式会社 | Inspection device |
| JP4180572B2 (en) * | 2005-02-25 | 2008-11-12 | 株式会社ニューギン | Transport line device |
| JP5639374B2 (en) | 2010-03-18 | 2014-12-10 | アンリツ産機システム株式会社 | Article inspection apparatus and article inspection system |
| JP2012174101A (en) | 2011-02-23 | 2012-09-10 | Oki Electric Ind Co Ltd | Label inspection system, label inspection apparatus and label inspection program |
| JP5973859B2 (en) | 2012-09-28 | 2016-08-23 | アンリツインフィビス株式会社 | Inspection equipment |
| JP5782059B2 (en) | 2013-03-04 | 2015-09-24 | 東芝テック株式会社 | Code reader and program |
| JP6065891B2 (en) | 2014-10-29 | 2017-01-25 | 株式会社寺岡精工 | Product sales data processing device |
| JP6381948B2 (en) | 2014-04-16 | 2018-08-29 | 株式会社松岡機械工作所 | Tablet front / back determination method, tablet front / back determination apparatus, tablet score detection apparatus, and tablet printing apparatus |
-
2021
- 2021-09-27 JP JP2021156596A patent/JP7125809B2/en active Active
-
2022
- 2022-07-25 JP JP2022118129A patent/JP7438570B2/en active Active
-
2024
- 2024-01-31 JP JP2024012523A patent/JP7794482B2/en active Active
-
2025
- 2025-12-05 JP JP2025234633A patent/JP2026026376A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004226228A (en) | 2003-01-23 | 2004-08-12 | Eisai Co Ltd | Method and device for inspecting foreign matter in solution |
| JP2007085924A (en) | 2005-09-22 | 2007-04-05 | Kirin Techno-System Corp | Device for inspecting container |
| JP2010060312A (en) | 2008-09-01 | 2010-03-18 | Kirin Techno-System Co Ltd | Device and system for inspecting foreign matter |
| JP2015200527A (en) | 2014-04-04 | 2015-11-12 | 株式会社東芝 | Clinical examination device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022132658A (en) | 2022-09-08 |
| JP2021192066A (en) | 2021-12-16 |
| JP7438570B2 (en) | 2024-02-27 |
| JP2024042053A (en) | 2024-03-27 |
| JP2026026376A (en) | 2026-02-16 |
| JP7125809B2 (en) | 2022-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6520885B2 (en) | Inspection device | |
| CN103287777B (en) | Misoperation preventing device and it is provided with the sorting arrangement of misoperation preventing device | |
| US8260455B2 (en) | Address label re-work station | |
| JP6679442B2 (en) | Package tracking system, package tracking method and package tracking program | |
| CN111776392B (en) | Labeling device, labeling system, labeling method and storage medium | |
| WO2015145982A1 (en) | Information processing device, information processing system, distribution system, information processing method, and program storage medium | |
| JP7315282B2 (en) | Appearance inspection device | |
| JP6787603B2 (en) | Inspection equipment, programs, inspection methods | |
| US20210311010A1 (en) | Device for inspecting article having substantially circular side surface, and device for turning article | |
| TW202033414A (en) | Electronic tag writing system and method for same | |
| JP2018019373A (en) | Monitoring camera and package reading method | |
| KR101226892B1 (en) | Tracking system for leather quality | |
| JP5966354B2 (en) | Labeling system | |
| JP2021169322A (en) | Correctness determination device for product name and identification code displayed on food packaging sheet | |
| JP7794482B2 (en) | Inspection Equipment | |
| JP6955801B2 (en) | Inspection equipment, program | |
| TWM599287U (en) | System for automatic application of label to product | |
| JP5248007B2 (en) | Label inspection method and apparatus | |
| WO2018163639A1 (en) | Inspection system, inspection method, and inspection program | |
| US12579507B2 (en) | Robotic singulation system with automated routing of manually scanned packages | |
| JP3052493B2 (en) | Visual recognition system | |
| JP2000103039A (en) | Apparatus for inspecting printing on cylindrical container | |
| JP7598100B2 (en) | Sorting work assistance system | |
| JP7141355B2 (en) | Electronic tag writing system | |
| TW202321135A (en) | Conveyor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250311 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20251111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20251211 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7794482 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |