JP7262766B2 - foreign object detector - Google Patents
foreign object detector Download PDFInfo
- Publication number
- JP7262766B2 JP7262766B2 JP2019132238A JP2019132238A JP7262766B2 JP 7262766 B2 JP7262766 B2 JP 7262766B2 JP 2019132238 A JP2019132238 A JP 2019132238A JP 2019132238 A JP2019132238 A JP 2019132238A JP 7262766 B2 JP7262766 B2 JP 7262766B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- foreign matter
- light
- unit
- photographed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Description
本発明は、異物の検出装置に係る。詳細には、ＡＩを使用する異物の判別部を設けた異物の検出装置に係る。例えば、被検査物として緑色野菜中の昆虫等異物の検出装置に係る。 The present invention relates to a foreign matter detection device. More specifically, the present invention relates to a foreign matter detection device provided with a foreign matter discrimination unit using AI. For example, it relates to a device for detecting foreign matter such as insects in green vegetables as an object to be inspected.
被検査物（撮影対象物）中の異物（抽出対象物、昆虫）の検出装置としては、種々のものが知られている。更に、被検査物に、可視光及び赤外光を照射して、異物を発見する被検査物中の異物の検出装置は種々のものが知られている。 2. Description of the Related Art Various devices are known for detecting foreign substances (objects to be extracted, insects) in an object to be inspected (object to be imaged). Furthermore, various devices are known for detecting foreign matter in an object to be inspected, which detect foreign matter by irradiating the object with visible light and infrared light.
可視光及び赤外光を照射して、異物を発見する装置としては以下のものが知られている。
特許文献１「白色系食品の異物検出装置」には、「白色系食品２０に混入した有色異物を検出する白色系食品の異物検出装置において、前記白色系食品を搬送する搬送コンベア１０と、該搬送コンベアの上方に設置され前記食品の光学画像を撮像するカメラ１４と、該画像に対して２値化処理を含む画像処理を行い異物を検出する画像処理手段と、を備えた装置であって、前記搬送コンベア１０のうち前記食品２０が載置されるベルト面１０ａを白色光透過性材料で形成するとともに、前記搬送コンベア上の撮像領域Ａより上方に位置して前記撮像領域に向けて白色光を照射する第１の白色照明１６、１７と、該撮像領域に対して前記ベルト面の下方から白色光を照射する第２の白色照明１８と、を備えた構成とする。」。そして、「凹凸のある検出対象であっても高精度で以って異物検出を行うことができる白色系食品の異物検出装置を提供する。」とされる。
The following devices are known for detecting foreign matter by irradiating visible light and infrared light.
特許文献２「食品の異物検出装置」は、「食品２０に混入した毛髪、虫等の異物を検出する異物検出装置１０において、前記食品２０を検出領域Ａに搬送する搬送コンベア１１と、前記検出領域Ａを挟んで少なくとも２方向から食品に対して照明光を照射する照明手段１４、１５と、検出領域Ａの一側から前記食品の表画像を撮像する撮像カメラ１２と、該撮像した表画像に対して２値化処理を含む画像処理を行い、異物を検出する画像処理手段１３と、を備え、前記画像処理手段１３が、前記撮像した表画像を２値化処理し、得られた２値画像のうち予め設定した黒色度の閾値を超える異常な１画素を検出した後に、該１画素に隣接する画素の異常の有無を検出し、異常画素が前記１画素を元に連続的に出現した場合に異物と判定する。このとき、異常画素が連続的な線状で出現した場合には毛髪等の繊維状異物と判定し、連続的な面積状に出現した場合には虫等の面積異物と判定する。」とされる。
特許文献３「海苔の外観検査装置」は、「検査位置に対して上部に可視光及び赤外光を含んだ照明装置と、可視光及び赤外光を分離して受光できるカメラ装置を投受光面に対して一定の角度をもって配設し、被検体である海苔の表面の反射異物の反射光及び反射板の直射反射光とする可視光と、透過光である赤外光をカメラ装置に分離受光し、判定処理を行うことにより海苔の外形形状、カケ、穴、やぶれ、表面反射異物、表面異物、内面異物、裏面異物等の一部又は全部の検査を行う海苔の外観検査装置。」からなる。そのため、「検査位置においてコンベアを分離することなく、小型で高性能の外観検査装置を得る。
産地の相違等に関わらず、検査対象海苔の寸法に若干の大小が生じていても被検体を正確に検査位置に運ぶ。」とされる。
To accurately carry a test subject to an inspection position regardless of differences in production areas, etc., even if the dimensions of seaweed to be inspected are slightly different. ”.
特許文献４は、「半透明の搬送ベルト１６上に物品を載置させて移動させる搬送装置２と、搬送装置２を支持する支持架台３と、搬送ベルト１６の下方に、半導体発光素子５９，６３，６４，６５をプリント基板５７，６１上に載置、固定したＬＥＤ装着体５３，５４を配設し、搬送ベルト１６を下方から照射する照射装置４と、搬送ベルト１６を作動、制御すると共に、半導体発光素子５９，６３，６４，６５の発光を制御する制御装置５とから物品検査装置１を構成する。」からなる。「作業者が疲労し難く、作業効率を維持でき、視力を損なう虞がなく、健康上も問題なく、目視による検査が効率的にできる光透過性物品検査装置を提供する。」ことを目的とする。
Patent Document 4 discloses that "a
特許文献５は、「照明手段から搬送手段上の検査位置にある農産物に光を照射した状態で撮像手段を用いて農産物を撮像し、その撮像データからＩＲ値による農産物の輪郭切り出しを行うと共に、切り出した輪郭内の少なくともＲ、Ｇの各値から農産物の外観を計測する農産物の外観計測装置であって、照明手段は、赤外ＬＥＤ、赤色ＬＥＤ及び緑色ＬＥＤが一組として所定の配列で複数組み合わされていることを特徴とする。照明手段の各色ＬＥＤは、マトリックス状もしくは千鳥状に配列され、検査位置で各色ＬＥＤの全てが一括して点灯・消灯される。」からなる。「赤外ＬＥＤ、赤色ＬＥＤ及び緑色ＬＥＤを複数個所定パターンで配置した光源を使用することにより、輝度調整や交換頻度を低減させてメンテナンス作業を簡単かつコスト安価に行うことができる農産物の外観検査装置を提供する。」ことを目的とする。 Patent Literature 5 describes that "an image of the agricultural product is captured using an imaging means in a state where the agricultural product at the inspection position on the conveying means is irradiated with light from the illumination means, and the outline of the agricultural product is cut out from the imaging data by the IR value, An apparatus for measuring the appearance of agricultural products that measures the appearance of the agricultural products from at least each value of R and G in the cut-out contour, wherein the lighting means comprises a plurality of pairs of infrared LEDs, red LEDs and green LEDs arranged in a predetermined arrangement. The LEDs of each color of the illumination means are arranged in a matrix or in a zigzag pattern, and all of the LEDs of each color are turned on/off at the inspection position. By using a light source in which multiple infrared LEDs, red LEDs, and green LEDs are arranged in a predetermined pattern, brightness adjustment and replacement frequency can be reduced, and maintenance work can be performed simply and at low cost. Appearance inspection of agricultural products. The purpose is to provide a device.
特許文献１、同２、同３記載発明には、被検査物に、可視光及び赤外光を照射、すること、「白色系食品の異物検出装置において、」「撮像領域に向けて白色光を照射する」については記載がある。
しかしながら、特許文献１乃至３記載の発明では、異物の発見は容易とはいかなかった。
特許文献４、同５記載発明では、被検査物にＬＥＤを照射し、カメラで撮影する調整が容易とはいかない課題を有した。
The inventions described in
However, in the inventions described in
The inventions described in Patent Literatures 4 and 5 have a problem that it is not easy to adjust the object to be inspected by irradiating it with an LED and photographing it with a camera.
他方、発明者は、以下知見した。
１．異物（本件では昆虫）が付いた撮影対象物（本件ではレタス）に光を照射し、適正露出以上に露出を上げた状態を含む複数の状態で撮影し、異なる露出の画像を得る。
２．露出を上げると撮影対象物である背景は白っぽくなり、異物が見えやすくなる。
３．異なる露出の画像データを複数得る。
４．複数の異なる露出の画像データを基に、ディープラーニングの手法により異物を検出することで、異物の発見が容易となる。
５．異物（本件では昆虫）が付いた撮影対象物（本件ではレタス）に撮影対象物色と同色乃至近似した光を照射する。例えば、レタスの場合は、緑色の光の領域(波長495-570 nm)の光を照射し、撮影対象物である白色野菜に紫色光あるいは、青色光あるいは、紫外光を照射するとともに適正露出以上に露出を上げた状態を含む複数の状態で撮影し、異なる露出の画像を得ると、更に有効である。
On the other hand, the inventor has found the following.
1. An object (lettuce in this case) with a foreign object (insect in this case) is irradiated with light and photographed in multiple states, including a state in which the exposure is raised above the proper exposure, to obtain images with different exposures.
2. When the exposure is increased, the background, which is the object to be photographed, becomes whitish, making it easier to see foreign objects.
3. A plurality of image data with different exposures are obtained.
4. Foreign matter can be easily found by detecting foreign matter using a deep learning method based on image data with multiple different exposures.
5. An object to be photographed (lettuce in this case) to which a foreign substance (insect in this case) is attached is irradiated with light of the same color or similar to the color of the object to be photographed. For example, in the case of lettuce, light in the green light region (wavelength 495-570 nm) is irradiated, and the white vegetables to be photographed are irradiated with violet light, blue light, or ultraviolet light. It is even more effective to shoot in a plurality of states, including a state in which the exposure is increased to 100 degrees, to obtain images with different exposures.
更に、発明者は、異物を含んでいる撮影対象物（被写体）に、紫外光から赤外線光まで波長の異なる、例えばＬＥＤ照明の光を連続変化させて（光の周波数をスィープして）、同時に適正露出以上に露出を上げて撮影した場合、画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数といえる、ことを知見した。
この光の周波数を求めるため、撮影対象物（被写体）に紫外光から赤外線光までの波長の異なる例えばＬＥＤ照明の光を連続変化させて撮影し、白く撮影されている面積をコンピュータで計算することによって、異物検出に必要な光の周波数を特定することができる。
そして、撮影対象物（被写体）に、異物検出に必要な光の周波数を特定した、周波数の光をあてることで、より効率良く異物を特定できる。
Furthermore, the inventor continuously changed the light of different wavelengths from ultraviolet light to infrared light, for example, LED illumination light (by sweeping the frequency of light), and at the same time It was found that when the exposure is raised above the proper exposure, the frequency of light used for the whitest subject in the image can be said to be the frequency of light suitable for foreign matter detection.
In order to obtain the frequency of this light, the object to be photographed (subject) is photographed with light of different wavelengths from ultraviolet light to infrared light, such as LED lighting, and the area photographed in white is calculated by a computer. can specify the frequency of light required for foreign object detection.
Then, by irradiating an object to be photographed (subject) with light having a specified frequency of light necessary for foreign matter detection, the foreign matter can be more efficiently identified.
この発明は、
異物が混入した被検査物を搬送する透明あるいは半透明からなるコンベアの上面から異物が混入した被検査物に光を照射するとともにコンベアに対する照射角度が変更可能な上面照射部と、
コンベアの下面から異物が混入した被検査物に光を照射するとともにコンベアに対する照射角度が変更可能な下面照射部と、
コンベアの上面から異物が混入した被検査物を撮影する画像データ取得部と、を有し、
上面照射部がコンベアに近接離隔移動可能であるとともに、
画像データから異物を抽出した画像解析にあたり、
上面照射部で撮影対象物である異物が混入した被検査物に光を照射するとともに適正露出以上に露出を上げた状態を含む複数の光の波長を撮影対象物に照射した状態で撮影した異なる露出の画像を画像データ取得部で得るとともに、画像データ取得部から得られる、画像データである前記画像から異物を判別する処理をコンピュータに実行させる異物の検出装置であって、
コンピュータは、
前記画像データを区分分割する区分分割部と、
ディープラーニングの手法による前記異物の特徴量の機械学習結果を有し、前記機械学習結果に基づいて、前記区分分割部により分割された前記画像データの前記区分ごとに、前記区分が前記異物である確率を算出する画像識別部と、
前記画像識別部により算出された、前記区分ごとの前記異物である確率を画素値に変換する識別結果変換部と、
前記識別結果変換部により変換された前記画素値を有する画像に画像処理を行う画像処理部と、を備え、
撮影対象物に照射する光は、
異物である被検査物以外の物を含んでいる撮影対象物に、紫外光から赤外線光まで波長の異なる光を連続変化させて照射するとともに、適正露出以上に露出を上げて撮影し、撮影したそれぞれの画像で白く撮影されている面積を演算し、それぞれの画像を比較することによって、画像で最も被写体が白く撮影されているものに使用された光は撮影対象物である被検査物と同色乃至近似した光、或いは、白色の対象物に対する青色光の周波数が異物検出に適した光の周波数と判断し、
異物検出に必要な光の周波数を特定することを特徴とする異物の検出装置、
からなる。
This invention
a top irradiation unit that irradiates light onto the object to be inspected containing the foreign matter from the upper surface of a transparent or translucent conveyor that conveys the object to be inspected that contains the foreign matter and is capable of changing the irradiation angle with respect to the conveyor;
a lower surface irradiating unit that irradiates light from the lower surface of the conveyor onto the object to be inspected containing foreign matter and is capable of changing the irradiation angle with respect to the conveyor;
an image data acquisition unit that captures an image of an object to be inspected in which foreign matter is mixed from the upper surface of the conveyor,
The upper surface irradiation unit can be moved close to and away from the conveyor,
In image analysis that extracts foreign matter from image data,
The object to be photographed, which contains foreign matter, is irradiated with light from the top irradiation unit, and the object to be photographed is photographed with multiple wavelengths of light, including a state in which the exposure is raised above the appropriate exposure. A foreign matter detection device that obtains an exposure image with an image data acquisition unit and causes a computer to execute a process of determining a foreign matter from the image that is image data obtained from the image data acquisition unit,
The computer
a partitioning unit that partitions the image data into partitions;
It has a machine learning result of the feature amount of the foreign matter by a deep learning technique, and the section is the foreign matter for each of the sections of the image data divided by the section dividing unit based on the machine learning result. an image identification unit that calculates the probability;
an identification result conversion unit that converts the foreign matter probability for each of the sections calculated by the image identification unit into a pixel value;
an image processing unit that performs image processing on an image having the pixel values converted by the identification result conversion unit;
The light that irradiates the object to be photographed is
The object to be photographed, which contains objects other than the object to be inspected, is irradiated with continuously changing light of different wavelengths, from ultraviolet light to infrared light, and the exposure is raised above the appropriate exposure, and the photograph is taken. By calculating the area photographed as white in each image and comparing each image, the light used for the object photographed most white in the image is the same color as the object to be photographed. or the similar light or the frequency of the blue light for the white object is determined to be the frequency of the light suitable for foreign matter detection,
A foreign object detection device characterized by specifying the frequency of light necessary for foreign object detection,
consists of
この発明は、
被検査物が食材である異物の検出装置、
からなる。
This invention
A device for detecting foreign matter whose object to be inspected is food ,
consists of
この発明は、
被検査物が野菜である異物の検出装置、
からなる。
This invention
A device for detecting foreign matter in which the object to be inspected is vegetables ,
consists of
この発明は、
被検査物が緑色野菜である請求項１記載の異物の検出装置、
からなる。
This invention
2. The foreign matter detection device according to
consists of
この発明は、
被検査物が赤色野菜である請求項１記載の異物の検出装置、
からなる。
This invention
2. The foreign matter detection device according to
consists of
野菜果実等撮影対象物（被検査物）に異物（抽出対象物、昆虫）が付着した部位の判別を可能とするＡＩを使用する異物判別部を設ける異物の検出装置を提供する。 Provided is a detection apparatus for a foreign matter provided with a foreign matter discrimination section using AI that enables discrimination of a site where a foreign matter (extraction object, insect) adheres to an object to be photographed (object to be inspected) such as vegetables and fruits.
３１は、異物の検出装置である。異物の検出装置３１は、抽出対象物、異物である昆虫Ａを検出する。本発明の実施例では、主に野菜等の被検査物（撮影対象物）Ｗの撮影機である。異物の検出装置３１は、下部に取り付けたキャスタ３２により移動可能である。
４１は、コンベアである。コンベア４１は、プラスチック、ウレタンゴム、エチレン・プロピレンゴム等からなり、透明あるいは半透明からなる。コンベア４１は、被検査物Ｗを搬送する。コンベア４１は、モータの駆動で被検査物Ｗを移動させる。
異物の検出装置３１は、上部アーム３３と、下部アーム３４と支柱３５を有する。
上部アーム３３と下部アーム３４は、支柱３５に取り付ける。上部アーム３３は、支柱３５に沿って図２８乃至図３５図中上下方向に移動可能であるとともに、軸方向に角度を変更可能である。
41 is a conveyor. The
The foreign
異物の検出装置３１に使用する異物の判別部である画像判別装置１は、照射部１１、画像データ取得部２１を有する。画像データ取得部２１は、カメラからなる。
照射部１１は、上面照射部１１１と下面照射部１１２とからなる。照射部１１は、ＬＥＤライトからなる。
照射部１１は、緑色光（495-570 nm）、赤色光（620-750 nm）、近赤外線（0.7 - 2.5 μm）、オレンジ色、橙色光（590-620 nm）、黄色光（570-590 nm）、紫色光（380-450 nm）青色光（450-495 nm）、紫外光（10 - 400 nm）の発光が可能である。
カメラからなる画像データ取得部２１、照射部１１を、上部アーム３３先端に下向きに、設置する。
下部アーム先端３４には、照射部１１及び、画像データ取得部２１を上向きに取り付ける。
The
The
The
The image
The
上部アーム３３は、支柱３５に沿って図２８乃至図３５図中上下方向に移動可能であるため、画像データ取得部２１、照射部１１の位置調整が可能である。図２９、図３０で、コ字状に設けた、上部アーム３３と下部アーム３４の間に、被検査物（撮影対象物）Ｗを載置したコンベア４１を設置する。上部アーム３３、下部アーム３４に取り付けたＬＥＤで、被検査物（撮影対象物）Ｗを照射する。上部アーム３３、下部アーム３４に取り付けた画像データ取得部２１で、被検査物（撮影対象物）Ｗを撮影する。
Since the
上面照射部１１１は、コンベア４１の上面から被検査物（撮影対象物）Ｗに光を照射するとともにコンベア４１に対する照射角度が変更可能である。
下面照射部１１２は、コンベア４１の下面から被検査物（撮影対象物）Ｗに光を照射するとともにコンベア４１に対する照射角度が変更可能である。
The upper
The lower
図２８に図示するように、上面照射部１１１の左右ＬＥＤライトと、下面照射部１１２の左右ＬＥＤライトは、エックス状にクロスに対抗させて設置する。向かって左上の上面照射部１１１のＬＥＤライトと、下面照射部１１２右下のＬＥＤライトを向い合せる。向かって右上のＬＥＤライトと、左下のＬＥＤライトを向い合せ、焦点に被検査物（撮影対象物）Ｗを置く。
異物の検出装置３１は、下部に取り付けたキャスタ３２により移動可能であるため、ＬＥＤライトは、コンベア４１に対して前方及び後方に移動可能である。
As shown in FIG. 28, the left and right LED lights of the upper
Since the foreign
モータ（図示せず）で被検査物（撮影対象物）Ｗを移動させる。モータの駆動を停止してコンベア４１を停止して、被検査物（撮影対象物）Ｗを画像データ取得部２１で停止し、画像データ取得部２１で撮影する。
異物の検出装置３１は、コイルを用いた電磁誘導により、モータその他の駆動に電力を供給しコンベア４１を駆動している。工場内は、濡れている箇所があるため、ワイヤレス給電により無接点で電流を供給している。
異物の検出装置３１は、ロボットを取り付けることも可能である。図２９に図示する６３は、ロボット接続用端子である。ロボット接続用端子６３は、ロボットを接続するときの端子となる。
A motor (not shown) moves an object to be inspected (object to be photographed) W. The driving of the motor is stopped, the
The foreign
A robot can be attached to the foreign
６１、６２は、モニターである。テレビ画面からなるタッチパネルである。モニター６１は、上面照射部１１１と下面照射部１１２の取付け側の正面であって、上面照射部１１１先端側上部に取り付ける。モニター６２は、背面側の支柱３５後部に斜め上を向けて取り付ける。
７１は、制御盤である。制御盤７１は、異物の検出装置３１の電気系統の制御をする。
61 and 62 are monitors. It is a touch panel consisting of a TV screen. The
71 is a control panel. The
以下、本発明の異物の検出装置３１に使用する異物の判別部である画像判別装置１の実施例について、第１実施例乃至第１２実施例について、図１～図２７に基づき説明する。
第１実施例
異物の検出装置３１、異物の検出方法、ならびに異物の検出プログラムの実施の形態について、説明する。
異物の検出装置３１に使用する異物の判別部である画像判別装置１は、照射部１１、画像データ取得部２１の他、操作入力情報取得部１２、区分分割部である画像データ分割処理部１３、画像識別処理部１４、識別結果変換処理部１５、画像処理部１６、出力処理部１７、および、記憶部１８を有する。
First to twelfth embodiments of the
First Embodiment An embodiment of a foreign
The
照射部１１は、第１実施例に係るこの実施の形態では、緑色野菜Ｗ、この実施例では、レタスでは、照射部１１では同色同系色、近似した色の光であるＬＥＤの緑色光（495-570 nm）を使用する。
なお、可視光の波長は以下とされる。
紫 380-450 nm
青 450-495 nm
緑 495-570 nm
黄 570-590 nm
橙 590-620 nm
赤 620-750 nm
赤外線光の波長は、以下とされる。
近赤外線は、波長がおよそ0.7 - 2.5 μm
中赤外線は、波長がおよそ2.5 - 4 μm
遠赤外線は、波長がおよそ4 - 1000 μm
紫外線は、10 - 400 nm
In this embodiment according to the first embodiment, the
Note that the wavelengths of visible light are as follows.
Violet 380-450 nm
Blue 450-495 nm
Green 495-570 nm
yellow 570-590 nm
orange 590-620 nm
Red 620-750nm
The wavelength of infrared light is given below.
Near-infrared has a wavelength of approximately 0.7 - 2.5 μm
Mid-infrared has a wavelength of approximately 2.5 - 4 μm
Far infrared rays have a wavelength of approximately 4 - 1000 μm
UV 10 - 400 nm
緑色野菜、緑色果実としては、
モロヘイヤ、にら、さやいんげん、ささげ、藤豆、青梗菜（チンゲンサイ）、山椒(さんしょう)、枝豆、そら豆、ターツァイ、かぼす、ハーブ類、アボガド（アボカド）、アロエ、すだち、ライム、キウイ、すいか、メロン、ブロッコリー、つるむらさき、春菊、ほうれん草類、からし菜類、広島菜、壬生菜、セロリ、ふき、アーティチョーク、小松菜、きゅうり、レタス、サラダ菜、エンダイブ、オクラ、おかひじき、つる菜、えんどう、ピーマン、大阪白菜、クレソン、アスパラガス、あしたば、青じそ（大葉）、かぼちゃがある。
For green vegetables and green fruits,
morokheiya, Chinese chives, green beans, cowpeas, wisteria beans, bok choy, Japanese pepper, green soybeans, broad beans, tatsai, kabosu, herbs, avocados, aloe vera, sudachi, limes, kiwis, watermelons, Melon, broccoli, vine purple, garland chrysanthemum, spinach, mustard greens, Hiroshima greens, mibuna greens, celery, butterbur, artichokes, Japanese mustard greens, cucumbers, lettuce, salad greens, endive, okra, hijiki, vine greens, peas, green peppers, There are Osaka Chinese cabbage, watercress, asparagus, ashitaba, perilla (perilla), and pumpkin.
適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、緑色野菜この実施例では、レタスには、抽出対象物である異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではレタス）に撮影対象物色と同色乃至近似した光を照射する。レタスの場合は、緑色の光の領域(波長495-570 nm)を照射する。
レタスに、緑色光を照射するとともに、適正露出以上に露出を上げて撮影し、緑色光の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の検出装置３１、異物の検出方法、ならびに異物の検出プログラムからなる。
露出を上げると撮影対象物Ｗ（本実施例ではレタス）である背景は白っぽくなり、異物Ａが見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。
Appropriate Exposure and Overexposure As shown in FIG. 1, lettuce, which is an object to be photographed W, which is a green vegetable in this embodiment, is attached with a foreign object A, which is an object to be extracted, which is an insect A in this embodiment.
A photographing object W (lettuce in this case) to which a foreign substance (insect A in this case) is attached is irradiated with light of the same color or similar to the color of the photographing object. For lettuce, irradiate in the green light region (wavelength 495-570 nm).
A foreign
When the exposure is increased, the background of the photographing object W (lettuce in this embodiment) becomes whitish, making the foreign matter A more visible.
Therefore, a plurality of images with different exposures, such as an overexposed image in which the exposure is raised above the appropriate exposure, including an image with the appropriate exposure, are obtained.
Using deep learning techniques based on the multiple images obtained makes it easier to find foreign objects.
図６は、この発明の実施の形態である第１実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。
図７は、この発明の実施の形態である第１実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。
FIG. 6 is an image diagram of the lettuce of Example 1, which is an embodiment of the present invention, photographed with proper exposure by irradiating green light, which is visible light.
FIG. 7 is an image diagram obtained by irradiating the lettuce of Example 1, which is an embodiment of the present invention, with green light, which is visible light, and increasing the exposure beyond the proper exposure.
第２実施例
図８は、この発明の実施の形態である第２実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。
図９、図１０は、この発明の実施の形態である第２実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。
Second Embodiment FIG. 8 is an image diagram of lettuce of a second embodiment of the present invention, which is photographed with appropriate exposure by irradiating green light, which is visible light.
9 and 10 are images of lettuce of Example 2, which is an embodiment of the present invention, photographed by irradiating green light, which is visible light, and increasing the exposure beyond the appropriate exposure.
第３実施例
図１１は、この発明の実施の形態である第３実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。
図１２、図１３は、この発明の実施の形態である第３実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。
Third Embodiment FIG. 11 is an image diagram of lettuce of a third embodiment of the present invention, which is photographed with appropriate exposure by irradiating green light, which is visible light.
12 and 13 are images of lettuce of Example 3, which is an embodiment of the present invention, photographed by irradiating green light, which is visible light, and increasing the exposure beyond the appropriate exposure.
第４実施例
図１４は、この発明の実施の形態である第４実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。
図１５、図１６は、この発明の実施の形態である第４実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。
Fourth Embodiment FIG. 14 is an image diagram of lettuce of a fourth embodiment of the present invention, which is photographed with proper exposure by irradiating green light, which is visible light.
FIGS. 15 and 16 are images of lettuce of Example 4, which is an embodiment of the present invention, photographed by irradiating green light, which is visible light, and increasing the exposure beyond the proper exposure.
第５実施例
図１７は、この発明の実施の形態である第５実施例のレタスに、可視光である緑色光を照射適正露出で撮影した画像図である。
図１８、図１９は、この発明の実施の形態である第５実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。
Fifth Embodiment FIG. 17 is an image diagram of lettuce of a fifth embodiment of the present invention, which is photographed under appropriate exposure by irradiating green light, which is visible light.
18 and 19 are images of lettuce of Example 5, which is an embodiment of the present invention, photographed by irradiating green light, which is visible light, and increasing the exposure beyond the appropriate exposure.
第６実施例
図２０は、この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出で撮影した画像図である。
図２１、図２２、図２３、図２４、図２５、図２６、図２７は、この発明の実施の形態である第６実施例のレタスに、可視光である緑色光を照射し適正露出以上に露出を上げて撮影した画像図である。
Sixth Embodiment FIG. 20 is an image diagram of lettuce of a sixth embodiment of the present invention, which is photographed with appropriate exposure by irradiating green light, which is visible light.
FIGS. 21, 22, 23, 24, 25, 26, and 27 show that the lettuce of Example 6, which is an embodiment of the present invention, is irradiated with green light, which is visible light, and is exposed more than the proper exposure. 1 is an image diagram photographed by increasing the exposure to .
第７実施例
第７実施例に係るこの実施の形態では、赤色野菜、赤色果物Ｗでは、照射部１１では同色同系色、近似した色の光であるＬＥＤの赤色光（620-750 nm）あるいは、近赤外線（0.7 - 2.5 μm）を使用する。
赤色野菜、赤色果物としては、にんじん、トマト、いちご、スイカ、トウガラシ、パプリカ、茗荷(みょうが)、ビーツ、りんご、さくらんぼ、桃(もも)、ルバーブ、赤ピーマンがある。
Seventh Embodiment In this embodiment according to the seventh embodiment, for red vegetables and red fruits W, the
Red vegetables and red fruits include carrots, tomatoes, strawberries, watermelons, hot peppers, paprika, Japanese ginger, beets, apples, cherries, peaches, rhubarb, and red peppers.
適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、赤色野菜、赤色果物Ｗは、この実施例では、ニンジンには、異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではニンジン）に撮影対象物色と同色乃至近似した光を照射する。ニンジンの場合は、赤色光（620-750 nm）あるいは、近赤外線（0.7 - 2.5 μm）を照射する。
適正露出以上に露出を上げて撮影し、赤色光または近赤外線光の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の検出装置３１、異物の検出方法、ならびに異物の検出プログラムからなる。
Appropriate Exposure and Overexposure As shown in FIG. 1, red vegetables and red fruits W, which are photographed objects W, have foreign matter A attached to carrots in this embodiment, and insects A in this embodiment.
A photographing object W (carrot in this case) with a foreign substance (insect A in this case) is irradiated with light of the same color or similar to the color of the photographing object. Carrots are irradiated with red light (620-750 nm) or near-infrared light (0.7-2.5 μm).
Foreign
露出を上げると撮影対象物Ｗ（本件ではニンジン）である背景は白っぽくなり、異物が見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。
When the exposure is increased, the background of the photographing object W (carrot in this case) becomes whitish, making it easier to see the foreign matter.
Therefore, a plurality of images with different exposures, such as an overexposed image in which the exposure is raised above the appropriate exposure, including the image with the appropriate exposure, are obtained.
Using deep learning techniques based on the multiple images obtained makes it easier to find foreign objects.
第８実施例
第８実施例に係るこの実施の形態では、照射部１１は、この実施の形態では、オレンジ
色野菜、オレンジ色果実Ｗでは、照射部１１では同色同系色、近似した色の光であるＬＥＤのオレンジ色、橙色 光（590-620 nm）を使用する。
オレンジ色野菜、オレンジ色果実としては、かぼちゃ、にんじん、パパイヤ、柿、ゆず、マンゴー、あんず、オレンジ、びわがある。
Eighth Embodiment In this embodiment according to the eighth embodiment, the irradiating
Orange vegetables and orange fruits include pumpkin, carrot, papaya, persimmon, yuzu, mango, apricot, orange, and loquat.
適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、オレンジ色野菜、オレンジ色果実は、この実施例では、かぼちゃには、異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではかぼちゃ）に撮影対象物色と同色乃至近似した光を照射する。かぼちゃの場合は、オレンジ色、橙色 光（590-620 nm）の光の領域を照射する。
Appropriate Exposure and Overexposure As shown in FIG. 1, orange vegetables and orange fruits, which are photographed objects W, are attached to a pumpkin in this embodiment, and an insect A in this embodiment. .
A photographing target W (pumpkin in this case) to which a foreign substance (insect A in this case) is attached is irradiated with light of the same color or similar to the color of the photographing target. For pumpkins, irradiate orange and orange light (590-620 nm) light regions.
上に露出を上げて撮影し、オレンジ色橙色 光（590-620 nm）の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の検出装置３１、異物の検出方法、ならびに異物の検出プログラムからなる。
露出を上げると撮影対象物Ｗ（本件ではかぼちゃ）である背景は白っぽくなり、異物が見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。
A foreign
When the exposure is increased, the background of the photographing object W (pumpkin in this case) becomes whitish, making it easier to see the foreign matter.
Therefore, a plurality of images with different exposures, such as an overexposed image in which the exposure is raised above the appropriate exposure, including the image with the appropriate exposure, are obtained.
Using deep learning techniques based on the multiple images obtained makes it easier to find foreign objects.
第９実施例
第９実施例に係るこの実施の形態では、照射部１１は、この実施の形態では、黄色野菜、黄色果実Ｗでは、照射部１１では同色同系色、近似した色の光であるＬＥＤの黄色光（570-590 nm）を使用する。
黄色野菜、黄色果実としては、かぼちゃ、たまねぎ、レモン、きんかん、梨(ナシ)、パイナップル、グレープフルーツ、バナナ、とうもろこしがある。
Ninth Embodiment In this embodiment according to the ninth embodiment, the
Yellow vegetables and yellow fruits include pumpkins, onions, lemons, kumquats, pears, pineapples, grapefruits, bananas, and corn.
適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、黄色野菜、黄色果実は、この実施例では、たまねぎには、異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではたまねぎ）に撮影対象物色と同色乃至近似した光を照射する。たまねぎの場合は、黄色光（570-590 nm）の光の領域を照射する。
たまねぎに、黄色光（570-590 nm）を照射するとともに、適正露出以上に露出を上げて撮影し、
黄色光（570-590 nm）の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の検出装置３１、異物の検出方法、ならびに異物の検出プログラムからなる。
露出を上げると撮影対象物Ｗ（本件ではたまねぎ）である背景は白っぽくなり、異物が見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。
Appropriate Exposure and Overexposure As shown in FIG. 1, yellow vegetables and yellow fruits, which are photographed objects W, have a foreign substance A attached to an onion in this embodiment, and an insect A in this embodiment.
A photographing object W (onion in this case) with a foreign substance (insect A in this case) is irradiated with light having the same or similar color as the color of the photographing object. For onions, illuminate the region of yellow light (570-590 nm).
Irradiate the onion with yellow light (570-590 nm) and shoot with the exposure higher than the appropriate exposure.
It consists of a foreign
When the exposure is increased, the background of the photographing object W (onion in this case) becomes whitish, making it easier to see the foreign matter.
Therefore, a plurality of images with different exposures, such as an overexposed image in which the exposure is raised above the appropriate exposure, including an image with the appropriate exposure, are obtained.
Using deep learning techniques based on the multiple images obtained makes it easier to find foreign objects.
第１０実施例
第１０実施例に係るこの実施の形態では、照射部１１は、この実施の形態では、紫色野菜、紫色果実Ｗでは、照射部１１では同色同系色、近似した色の光であるＬＥＤの紫色光（380-450 nm）を使用する。
紫色野菜、紫色果実としては、ブルーベリー、なす、ベリー類、ぶどうがある。
Tenth Embodiment In this embodiment according to the tenth embodiment, the
Purple vegetables and purple fruits include blueberries, eggplants, berries, and grapes.
適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、紫色野菜、紫色果実は、この実施例では、なすには、異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではなす）に撮影対象物色と同色乃至近似した光を照射する。なすの場合は、紫色光（380-450 nm）の光の領域を照射する。
なすに、紫色光（380-450 nm）を照射するとともに、適正露出以上に露出を上げて撮影し、
紫色光（380-450 nm）の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の検出装置３１、異物の検出方法、ならびに異物の検出プログラムからなる。
露出を上げると撮影対象物Ｗ（本件ではなす）である背景は白っぽくなり、異物が見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。
Appropriate Exposure and Overexposure As shown in FIG. 1, the object W to be photographed, namely, purple vegetables and purple fruits, has a foreign object A on the eggplant in this embodiment, and an insect A in this embodiment.
A photographing object W (in this case, the insect A) with a foreign substance (insect A in this case) is irradiated with light having the same color as or similar to the color of the photographing object. In the case of eggplants, violet light (380-450 nm) is irradiated.
In addition to irradiating the eggplant with violet light (380-450 nm), the exposure was raised above the appropriate exposure and photographed.
It consists of a foreign
When the exposure is increased, the background, which is the object W to be photographed (in the present case), becomes whitish, making it easier to see foreign objects.
Therefore, a plurality of images with different exposures, such as an overexposed image in which the exposure is raised above the appropriate exposure, including the image with the appropriate exposure, are obtained.
Using deep learning techniques based on the multiple images obtained makes it easier to find foreign objects.
第１１実施例
第１１実施例に係るこの実施の形態では、照射部１１は、この実施の形態では、白色野菜、白色果実Ｗでは、照射部１１ではＬＥＤの紫色光（380-450 nm）あるいは、青色光（450-495 nm）あるいは、紫外光（10 - 400 nm）を使用する。
白色野菜、白色果実としては、大根、キャベツ、わさび、ねぎ、にんにく、たまねぎ、セロリアック(セロリラブ)、かぶ、れんこん、ゆり根、もやし、かいわれ菜、うど、たけのこ、白菜、チコリ(アンディーブ)がある。
Eleventh Embodiment In this embodiment according to the eleventh embodiment, the irradiating
White vegetables and white fruits include radish, cabbage, wasabi, green onion, garlic, onion, celeriac (celery love), turnip, lotus root, lily root, bean sprouts, sprouts, udon, bamboo shoots, Chinese cabbage, and chicory (endive).
適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、白色野菜、白色果実は、この実施例では、大根には、異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件では大根）に大根の場合は、紫色光（380-450 nm）あるいは、青色光（450-495 nm）あるいは、紫外光（10 - 400 nm）の光の領域を照射する。
大根に、紫色光（380-450 nm）あるいは、青色光（450-495 nm）あるいは、紫外光（10 - 400 nm）を照射するとともに、適正露出以上に露出を上げて撮影し、紫色光（380-450 nm）等の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の検出装置３１、異物の検出方法、ならびに異物の検出プログラムからなる。
露出を上げると撮影対象物Ｗ（本件では大根）である背景は白っぽくなり、異物が見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。
Appropriate Exposure and Overexposure As shown in FIG. 1, white vegetables and white fruits, which are photographed objects W, have a foreign substance A attached to the radish in this embodiment, and an insect A in this embodiment.
In the case of radish, purple light (380-450 nm), blue light (450-495 nm), or ultraviolet light (10 - 400 nm) light area.
Irradiate the radish with purple light (380-450 nm), blue light (450-495 nm), or ultraviolet light (10-400 nm), raise the exposure above the appropriate exposure, and photograph the purple light ( 380-450 nm), etc., to obtain image data, and determine foreign matter from the image data, a foreign matter detection method, and a foreign matter detection program.
When the exposure is increased, the background, which is the photographed object W (radish in this case), becomes whitish, making it easier to see foreign matter.
Therefore, a plurality of images with different exposures, such as an overexposed image in which the exposure is raised above the appropriate exposure, including the image with the appropriate exposure, are obtained.
Using deep learning techniques based on the multiple images obtained makes it easier to find foreign objects.
第１２実施例
第１２実施例では、異物を含んでいる撮影対象物（被写体）に、紫外光から赤外線光まで波長の異なる例えばＬＥＤ照明の光を連続変化させて照射する（光の周波数をスィープして）、とともに、適正露出以上に露出を上げて撮影した場合、画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数といえる。
この光の周波数を求めるため、撮影対象物（被写体）に紫外光から赤外線光までの波長の異なる例えばＬＥＤ照明の光を連続変化させて撮影し、撮影したそれぞれの画像で白く撮影されている面積をコンピュータで演算、計算することによって、それぞれの画像を比較する。得られた画像で最も被写体が白く撮影されているものに使用された光の周波数が異物検出に適した光の周波数と判断し、異物検出に必要な光の周波数を特定し、その光の周波数を使用する。
Twelfth Embodiment In the twelfth embodiment, an object to be photographed (subject) containing a foreign substance is irradiated with light of different wavelengths from ultraviolet light to infrared light, such as LED lighting, which is continuously changed (light frequency is swept). In addition, when the exposure is raised above the proper exposure, the frequency of light used for the whitest subject in the image can be said to be the frequency of light suitable for foreign matter detection.
In order to obtain the frequency of this light, the object to be photographed (subject) is photographed with light of different wavelengths from ultraviolet light to infrared light, such as LED lighting, and the area photographed in white in each photographed image are operated and calculated by a computer to compare each image. In the obtained image, the frequency of the light used for the object with the whitest image is judged to be the frequency of light suitable for foreign object detection. to use.
適正露出と露出過多
図１に図示するように、撮影対象物Ｗである、緑色野菜は、この実施例では、レタスには、抽出対象物である異物Ａ、この実施例では昆虫Ａがついている。
異物（本件では昆虫Ａ）が付いた撮影対象物Ｗ（本件ではレタス）に、適正露出以上に露出を上げて撮影した場合、画像で最も被写体が白く撮影されているものに使用された光の周波数の光を照射する。レタスの場合は、緑色の光の領域(波長495-570 nm)を照射する。
レタスに、緑色光を照射するとともに、適正露出以上に露出を上げて撮影し、緑色光の反射光を取り入れ画像データを得て、画像データから異物を判別する異物の検出装置３１、異物の検出方法、ならびに異物の検出プログラムからなる。
露出を上げると撮影対象物Ｗ（本件ではレタス）である背景は白っぽくなり、異物Ａが見えやすくなる。
そこで、適正露出の画像を含め、適正露出以上に露出を上げた露出過多の画像等、異なる露出の画像を複数得る。
得られた複数の画像を基に、ディープラーニングの手法によることで、異物の発見が容易となる。
Appropriate Exposure and Overexposure As shown in FIG. 1, lettuce, which is an object to be photographed W, is covered with a foreign substance A, which is an object to be extracted, and an insect A in this example. .
When shooting an object W (lettuce in this case) with a foreign object (insect A in this case) at an exposure higher than the appropriate exposure, the amount of light used for the subject that is the whitest in the image. Irradiate the light of the frequency. For lettuce, irradiate in the green light region (wavelength 495-570 nm).
A foreign
When the exposure is increased, the background of the photographed object W (lettuce in this case) becomes whitish, and the foreign matter A becomes more visible.
Therefore, a plurality of images with different exposures, such as an overexposed image in which the exposure is raised above the appropriate exposure, including an image with the appropriate exposure, are obtained.
Using deep learning techniques based on the multiple images obtained makes it easier to find foreign objects.
画像データ取得部２１は、撮影部であって、照射部１１からの反射光を受光する。
画像データ取得部２１は、例えば、デジタルスチルカメラ、ラインセンサカメラ等により第１実施例乃至第１２実施例で撮像された、検査対象物の画像データを取得し、画像データ分割処理部１３に供給する。
図６乃至図２７に図示する第１実施例乃至第１２実施例で撮像された、異なる露出の画
像データで受光された画像を重ね合わせた画像を得る。
The image
The image
An image is obtained by superimposing images received with image data of different exposures taken in the first to twelfth embodiments illustrated in FIGS. 6 to 27 .
昆虫検出の仕方
第１実施例乃至第１２実施例では、昆虫Ａは、露出を変化させることで、白っぽい撮影対象物Ｗである背景に黒い点として検出されるため色と形状をAIに学習させ形状によって識別させることが出来る（図６乃至図２７参照）。
Method of Insect Detection In the first to twelfth embodiments, the insect A is detected as a black dot on the background of the whitish photographing object W by changing the exposure, so AI learns its color and shape. They can be identified by shape (see FIGS. 6 to 27).
第１実施例乃至第１２実施例で、二値化は、不要である。
ディープラーニングを用いたAIに学習させる方法をとらないと色と形状を用いた異物である昆虫Ａの検出が困難であるので必ずディープラーニングを用いたAIを使用する必要がある。
人工知能 (AI) の一部であるディープラーニングは、人間と同じように、コンピューターがrawデータから新しい概念を習得できるようにするものである。ディープラーニングシステムでは、特定のイメージをそれぞれ数千通り確認すると、その違いを特定できる。
No binarization is required in the first to twelfth embodiments.
It is difficult to detect Insect A, which is a foreign object using color and shape, unless a method is adopted that uses AI that uses deep learning to learn, so it is necessary to use AI that uses deep learning.
A part of artificial intelligence (AI), deep learning enables computers to learn new concepts from raw data, just like humans do. A deep-learning system can identify differences by looking at each particular image thousands of times.
得られた画像を重ね合わせ、AIで判断する。
異なる露出で受光した画像を得て、重ね合わせた画像を得る。
The obtained images are superimposed and judged by AI.
Images received at different exposures are obtained to obtain a superimposed image.
操作入力情報取得部１２は、入力部２から入力される、ユーザの操作入力を取得し、画像データ分割処理部１３、画像識別処理部１４、識別結果変換処理部１５、画像処理部１６、および、出力処理部１７の各部に、ユーザの操作入力に対応する情報を供給する。
The operation input
画像データ分割処理部１３は、画像データ取得部２１から供給された紫色光で受光した画像および青色光で受光した画像、赤外線光で受光された画像を重ね合わせた画像についての画像データを区分分割し、所定の大きさの正方形のセルとして、画像識別処理部１４、または、画像処理部１６に供給する。
画像データ分割処理部１３により分割されるセルの大きさは、ユーザにより指定可能である。画像データ分割処理部１３は、区分分割部に対応する。また、セルは、区分分割部により分割された区分に対応する。なお、セルは、画像データ分割処理部１３により分割された区分に対応する所定の大きさの画像領域であり、縦横同画素数数からなる画素の正方形の領域で構成しても、縦横のサイズの異なる長方形の領域で構成されるようにしてもよい。
The image data
The size of the cells divided by the image data
画像識別処理部１４は、ディープラーニング（Deep learning）の手法を用いた抽出対象物の学習結果を有しており、供給された画像データから抽出対象物の特徴量を発見する。例えば、異なる露出で昆虫Ａは黒く映る画像から、ディープラーニングの手法を用いて昆虫Ａを見分ける特徴量の学習を行った画像識別処理部１４は、供給された画像データから抽出対象物である昆虫Ａを識別することが可能である。
The image
ディープラーニングは、人間の脳の神経細胞のネットワーク（ニューラルネットワーク）を模倣したものであり、ニューラルネットワーク（多層ネットワーク）の層を深くすることによって、画像や音声などに含まれる特徴量を学習結果に基づいて発見することが可能な情報処理技術である。
従来の、画像や音声等の認識・識別技術では、ユーザが特徴量を設定し、その後、その特徴量を基に分類アルゴリズムにかけて、抽出対象物が分類されていたが、ディープラーニングを用いて、画像識別処理部１４に機械学習を行わせることにより、ユーザによる特徴量の設定を必要とすることなく、抽出対象物を抽出することが可能である。画像識別処理部１４は、画像データ分割処理部１３、または、画像処理部１６から供給された画像データを構成するそれぞれのセルが抽出対象物である確率を算出し、識別結果変換処理部１５に供給する。画像識別処理部１４は、画像識別部に対応する。
Deep learning imitates the network of neurons in the human brain (neural network). By increasing the layers of the neural network (multilayer network), the feature values contained in images and sounds are used as learning results. It is an information processing technology that can be discovered based on
In the conventional technology for recognizing and identifying images, voices, etc., the user sets the feature amount, and after that, based on the feature amount, a classification algorithm is applied to classify the extraction target. By causing the image
識別結果変換処理部１５は、画像識別処理部１４から供給された、画像データを構成するそれぞれのセルが抽出対象物である確率を後述する方法によって画素値に変換し、各セルをその変換された画素値に応じた画像データを生成し、画像処理部１６に供給する。識別結果変換処理部１５は、例えば、トーンカーブ（または、ルックアップテーブル）を参照し、それぞれのセルが対象物である確率（０％から１００％）を、０から２５５の値を有する画素値に変換する。例えば、抽出対象物であるセルの確率が１００％であった場合にはトーンカーブに基づいて画素値を２５５に変換する。識別結果変換処理部１５は、識別結果変換部に対応する。
The identification result
画像処理部１６は、識別結果変換処理部１５から供給された、各セルの画素値が抽出対象物である確率を示す画像データに対して、または、画像データ分割処理部１３から供給された、区分分割されたセル画像データに対して、例えば、閾値などを用いたノイズ除去、昆虫Ａを見分ける処理者の知見、膨張処理、クロージング処理、骨格線抽出処理などを反映した画像処理を実行し、処理後の画像データを、画像識別処理部１４、または、出力処理部１７に供給する。画像処理部１６は、画像処理部に対応する。
The
ここで、画像データ分割処理部１３によりセルに分割された画像データは、画像識別処理部１４および画像処理部１６のうちのどちらで先に処理をされるものであっても構わない。また、画像データ分割処理部１３によりセルに分割された画像データは、画像識別処理部１４または画像処理部１６において、複数回処理されるものであっても構わない。画像判別装置１においては、入力部２により入力されたユーザの操作入力に基づいて、入力される画像データおよび抽出対象物の特徴に適するように、画像識別処理部１４および画像処理部１６における処理の順序および回数を設定することが可能である。
Here, the image data divided into cells by the image data
出力処理部１７は、画像処理部１６から供給された処理後の画像データを、出力部３に供給して出力させたり、記憶部１８に供給して記憶させる。また、出力処理部１７は、記憶部１８に記憶されている処理後の画像データを読み出し、出力部３に供給して出力させる。
記憶部１８は、内蔵された記憶媒体、または、装着されたリムーバブル記憶媒体に、出力処理部１７から供給された処理後の画像データを記憶する。
The
The
画像判別装置１においては、画像識別処理部１４において識別された、画像データを構成するそれぞれのセルが抽出対象物である確率を、識別結果変換処理部１５において、画像データに変換し、その画像データを処理することにより、抽出対象物を検出することができる。したがって、異なる時期に撮影した画像の全体的な輝度等が異なる場合であっても、解析結果はその影響を受けることがなく、同部分の経時変化を比較する場合に用いて好適である。
In the
次に、図３のフローチャートを参照して、画像判別装置１が実行する処理の一例として、野菜に付着した昆虫Ａの多くの画像から、ディープラーニングの手法を用いた昆虫Ｓが付着した野菜の特徴量の学習を行った画像識別処理部１４を備える画像判別装置１が実行する画像解析処理１について説明する。
Next, referring to the flowchart of FIG. 3, as an example of the processing executed by the
ステップＳ１において、画像データ取得部２１は、解析する対象となる画像データを取得し、画像データ分割処理部１３に供給する。
In step S<b>1 , the image
ステップＳ２において、画像データ分割処理部１３は、解析する画像データを区分分割し、画像識別処理部１４に供給する。区分分割された１セルの大きさは、解析する画像データの種類や抽出対象物によってユーザが設定可能であってもよい。１つのセルは、解析する画像データを、例えば、縦６４画素×横６４画素のように正方形で構成されるようにしてもよいし、縦横のサイズの異なる長方形で構成されるようにしてもよい。また、１つのセルは、昆虫Ａの１ｃｍ四方を１セルにしてもよいし、５ｃｍ四方を１セルにしてもよい。単位画素あたりの画像解像度を自由に設定することが可能である。
In step S<b>2 , the image data
ステップＳ３において、図４を用いて後述する画像識別処理が実行される。 In step S3, image identification processing, which will be described later with reference to FIG. 4, is executed.
ステップＳ４において、識別結果変換処理部１５は、画像識別処理による識別結果、すなわち、画像識別処理部１４により算出された、それぞれのセルが抽出対象物である確率を、例えば、トーンカーブに基づいて、画素値に変換し、画像処理部１６に供給する。
In step S4, the identification result
ステップＳ５において、図５を用いて後述する従来型画像処理１が実行される。
In step S5,
ステップＳ６において、出力処理部１７は、画像処理部１６から供給された処理後の画像解析結果を記憶部１８に供給する。記憶部１８は、供給された画像解析結果を記憶する。また、出力処理部１７は、画像処理部１６から供給された処理後の画像解析結果を出力部３に供給して出力させ、処理が終了される。
In step S<b>6 , the
このような処理により、画像データを構成するそれぞれのセルが抽出対象物である確率が、画像データに変換され、その画像データを用いて、抽出対象物が検出されるので、画像の全体的な輝度等が異なる場合であっても、解析結果はその影響を受けることがない。
また、このようにして得られた対象物の抽出結果には、例えば、昆虫Ａと紛らわしい部分が昆虫Ａとともに抽出されてしまうことがなく、目視の確認に近い解析結果を得ることが可能となる。
Through such processing, the probability that each cell constituting the image data is an extraction target object is converted into image data, and the extraction target object is detected using the image data. Even if the brightness or the like is different, the analysis result is not affected.
In addition, in the extraction result of the target object obtained in this way, for example, a part that may be confused with the insect A is not extracted together with the insect A, and it is possible to obtain an analysis result close to visual confirmation. .
次に、図４のフローチャートを参照して、ステップＳ３において実行される画像識別処理について説明する。 Next, the image identification processing executed in step S3 will be described with reference to the flowchart of FIG.
ステップＳ１１において、画像識別処理部１４は、操作入力情報取得部１２から供給されるユーザの操作入力に基づいて、識別するべきターゲットの指定を受ける。ここでは、画像識別処理部１４は、識別するべきターゲットとして、昆虫Ａの指定を受ける。
In step S<b>11 , the image
ステップＳ１２において、画像識別処理部１４は、学習結果に基づいて、ターゲットの識別処理を実行する。
In step S12, the image
１３において、画像識別処理部１４は、ステップＳ１２の処理による識別結果に基づいて、セルごとに、ターゲットに含まれる画素の画素値が抽出対象である確率を算出して、識別結果変換処理部１５に供給し、処理は、図３のステップＳ４に戻る。
In 13, the image
このような処理により、画像識別処理部１４は、ディープラーニングの手法を用いて、例えば、昆虫Ａが付着した野菜の多くの画像から得た特徴量の学習結果に基づいて、ユーザによる特徴量の設定を必要とすることなく、昆虫Ａと紛らわしい部分等に対応する部分を排除して、抽出対象物を抽出することが可能である。
Through such processing, the image
次に、図５のフローチャートを参照して、図３のステップＳ５において実行される従来型画像処理１について説明する。
Next, the
ステップＳ２１において、画像処理部１６は、識別結果変換処理部１５から供給された画素値を有するセル画像データ、すなわち、セル画像の画素値が抽出対象物である確率を示す画像データに対して、所定の閾値以下の画素値を有するセル画像の画素値を０とする。識別結果変換処理部１５から供給された画像データが、昆虫Ａの存在する確率が高いセルが画素値の高いドットで示され、昆虫Ａの存在する確率が低いセルが画素値の低いドットで示されている画像データである。
In step S21, the
画素値の７０％を閾値として、それ以下の画素値を有するセルについては、画素値を０とした場合、例えば、野菜に付着した昆虫Ａ中で存在する昆虫Ａの特徴と近い特徴を有している昆虫Ａと紛らわしい部分によるノイズ成分がある程度除去された画像データが得られる。 With a threshold value of 70% of the pixel value, cells with pixel values below that threshold have features similar to those of insect A present in insect A attached to vegetables, for example, when the pixel value is set to 0. Image data from which the noise component due to the part confusing the insect A is removed to some extent is obtained.
ステップＳ２２において、画像処理部１６は、ステップＳ２１の処理により画素値ありとなったドットの面積を広げる膨張処理を実行する。この処理により、図６乃至図２７等の画像のうち、野菜に付着した昆虫Ａの検出されている部分が、表される。
In step S22, the
ステップＳ２３において、画像処理部１６は、ステップＳ２２の処理により得られた画像データから、連続している画素の長さを検出し、所定の閾値以下の長さとなる成分を除去する。この処理により、図６乃至図２７等の画像データのうち、昆虫Ａと紛らわしい部分や、ステップＳ２１の処理によって削除できなかったノイズ成分が除去された画像データを得ることができる。
In step S23, the
ステップＳ２４において、画像処理部１６は、ステップＳ２３の処理により得られた画像データのエッジ部分を滑らかにするクロージング処理を実行する。この処理により、図６乃至図２７等に示された画像データから、画像データを得ることができる。
In step S24, the
ステップＳ２５において、画像処理部１６は、ステップＳ２４の処理により得られた画像データに対して、骨格線抽出処理を実行することにより、ステップＳ２２の膨張処理により膨張された、野菜に付着した昆虫Ａの形状に戻して、画像データを得ることができる。
In step S25, the
ステップＳ２６において、画像処理部１６は、ステップＳ２５の処理により得られた画像データの連続している画素の長さを検出し、所定の閾値以下の長さとなる成分を除去する。この処理により、画像データのうち、昆虫Ａと紛らわしい部分や、ステップＳ２１およびステップＳ２３の処理によって削除できなかったノイズ成分が除去され、図３に示されるような画像データを得ることができる。ステップＳ２６の処理の終了後、処理は、図３のステップＳ６に戻る。
In step S26, the
このような処理により、画像処理部１６は、識別結果変換処理部１５から供給され、各ドットの画素値が抽出対象物である確率を示す画像データに対して、従来行われていた画像処理をさらに行うことにより、ディープラーニングの手法を用いた抽出対象物の学習結果を有している識別器による画像識別結果よりも精度良く、検出するべき対象物を抽出することが可能となる。
Through such processing, the
これに対して、抽出結果を出力可能な識別器と同等の能力を有する画像識別処理部１４を用いて検出された、それぞれのセルが抽出対象物である確率を、識別結果変換処理部１５により画像データに変換し、野菜Ｗの中で存在する昆虫Ａに関する知見を反映した画像処理機能を有する画像処理部１６によって処理した場合、昆虫Ａに近いノイズ成分が除去された抽出結果を得ることが可能となる。このようにして、画像判別装置１を用いて、目視の確認に近い解析結果を得ることが可能となる。
On the other hand, the identification result
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。 The series of processes described above can be executed by hardware or by software. When a series of processes is executed by software, the programs that make up the software are built into dedicated hardware, or various functions can be executed by installing various programs. It can be installed from a program recording medium, for example, in a general-purpose personal computer.
１ 画像判別装置（異物の判別部）
２ 入力部
３ 出力部
１１ 照射部
１１１ 上面照射部
１１２ 下面照射部
１２ 操作入力情報取得部
１３ 画像データ分割処理部（区分分割手段）
１４ 画像識別処理部
１５ 識別結果変換処理部
１６ 画像処理部
１７ 出力処理部
１８ 記憶部
２１ 画像データ取得部
３１ 異物の検出装置
４１ コンベア
Ａ 抽出対象物（昆虫、異物）
Ｗ 撮影対象物（被検査物）
1 Image discrimination device (foreign matter discrimination unit)
2
14 Image
W Object to be photographed (object to be inspected)
Claims (5)
コンベアの下面から異物が混入した被検査物に光を照射するとともにコンベアに対する照射角度が変更可能な下面照射部と、
コンベアの上面から異物が混入した被検査物を撮影する画像データ取得部と、を有し、
上面照射部がコンベアに近接離隔移動可能であるとともに、
画像データから異物を抽出した画像解析にあたり、
上面照射部で撮影対象物である異物が混入した被検査物に光を照射するとともに適正露出以上に露出を上げた状態を含む複数の光の波長を撮影対象物に照射した状態で撮影した異なる露出の画像を画像データ取得部で得るとともに、画像データ取得部から得られる、画像データである前記画像から異物を判別する処理をコンピュータに実行させる異物の検出装置であって、
コンピュータは、
前記画像データを区分分割する区分分割部と、
ディープラーニングの手法による前記異物の特徴量の機械学習結果を有し、前記機械学習結果に基づいて、前記区分分割部により分割された前記画像データの前記区分ごとに、前記区分が前記異物である確率を算出する画像識別部と、
前記画像識別部により算出された、前記区分ごとの前記異物である確率を画素値に変換する識別結果変換部と、
前記識別結果変換部により変換された前記画素値を有する画像に画像処理を行う画像処理部と、を備え、
撮影対象物に照射する光は、
異物である被検査物以外の物を含んでいる撮影対象物に、紫外光から赤外線光まで波長の異なる光を連続変化させて照射するとともに、適正露出以上に露出を上げて撮影し、撮影したそれぞれの画像で白く撮影されている面積を演算し、それぞれの画像を比較することによって、画像で最も被写体が白く撮影されているものに使用された光は撮影対象物である被検査物と同色乃至近似した光、或いは、白色の対象物に対する青色光の周波数が異物検出に適した光の周波数と判断し、
異物検出に必要な光の周波数を特定することを特徴とする異物の検出装置。 a top irradiation unit that irradiates light onto the object to be inspected containing the foreign matter from the upper surface of a transparent or translucent conveyor that conveys the object to be inspected that contains the foreign matter and is capable of changing the irradiation angle with respect to the conveyor;
a lower surface irradiating unit that irradiates light from the lower surface of the conveyor onto the object to be inspected containing foreign matter and is capable of changing the irradiation angle with respect to the conveyor;
an image data acquisition unit that captures an image of an object to be inspected in which foreign matter is mixed from the upper surface of the conveyor,
The upper surface irradiation unit can be moved close to and away from the conveyor,
In image analysis that extracts foreign matter from image data,
The object to be photographed, which contains foreign matter, is irradiated with light from the top irradiation unit, and the object to be photographed is photographed with multiple wavelengths of light, including a state in which the exposure is raised above the appropriate exposure. A foreign matter detection device that obtains an exposure image with an image data acquisition unit and causes a computer to execute a process of determining a foreign matter from the image that is image data obtained from the image data acquisition unit,
The computer
a partitioning unit that partitions the image data into partitions;
It has a machine learning result of the feature amount of the foreign matter by a deep learning technique, and the section is the foreign matter for each of the sections of the image data divided by the section dividing unit based on the machine learning result. an image identification unit that calculates the probability;
an identification result conversion unit that converts the foreign matter probability for each of the sections calculated by the image identification unit into a pixel value;
an image processing unit that performs image processing on an image having the pixel values converted by the identification result conversion unit;
The light that irradiates the object to be photographed is
The object to be photographed, which contains objects other than the object to be inspected, is irradiated with continuously changing light of different wavelengths, from ultraviolet light to infrared light, and the exposure is raised above the appropriate exposure, and the photograph is taken. By calculating the area photographed as white in each image and comparing each image, the light used for the object photographed most white in the image is the same color as the object to be photographed. or the similar light or the frequency of the blue light for the white object is determined to be the frequency of the light suitable for foreign matter detection,
1. A foreign object detection device characterized by specifying a frequency of light necessary for foreign object detection.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019132238A JP7262766B2 (en) | 2019-07-17 | 2019-07-17 | foreign object detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019132238A JP7262766B2 (en) | 2019-07-17 | 2019-07-17 | foreign object detector |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021018082A JP2021018082A (en) | 2021-02-15 |
| JP7262766B2 true JP7262766B2 (en) | 2023-04-24 |
Family
ID=74564263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019132238A Active JP7262766B2 (en) | 2019-07-17 | 2019-07-17 | foreign object detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7262766B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7053075B2 (en) * | 2020-07-17 | 2022-04-12 | 株式会社カナヤ食品 | Teacher data generation method and foreign matter inspection device and foreign matter inspection method |
| CN115661626A (en) * | 2022-11-11 | 2023-01-31 | 中冶赛迪信息技术(重庆)有限公司 | Belt conveyor material identification and segmentation method, device, equipment and storage medium |
| JP7498524B1 (en) | 2023-05-02 | 2024-06-12 | 株式会社カナヤ食品 | Method for generating teacher data, foreign body inspection device, foreign body inspection method, and foreign body detection program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000146848A (en) | 1998-09-09 | 2000-05-26 | Shionogi Qualicaps Kk | Foreign matter inspection method and foreign matter inspection device for powder |
| JP2008541007A (en) | 2005-06-03 | 2008-11-20 | 株式会社前川製作所 | Food foreign matter detection device |
| JP2018185552A (en) | 2017-04-24 | 2018-11-22 | 公益財団法人鉄道総合技術研究所 | Image analysis apparatus, image analysis method, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4048848B2 (en) * | 2002-06-28 | 2008-02-20 | 株式会社日立プラントテクノロジー | Foreign object detection device in container and foreign object detection method in container |
| JP2010091530A (en) * | 2008-10-10 | 2010-04-22 | Hitachi Plant Technologies Ltd | Method and apparatus for inspecting foreign substance |
| JP6480714B2 (en) * | 2014-11-19 | 2019-03-13 | サムテック・イノベーションズ株式会社 | Inspection equipment |
-
2019
- 2019-07-17 JP JP2019132238A patent/JP7262766B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000146848A (en) | 1998-09-09 | 2000-05-26 | Shionogi Qualicaps Kk | Foreign matter inspection method and foreign matter inspection device for powder |
| JP2008541007A (en) | 2005-06-03 | 2008-11-20 | 株式会社前川製作所 | Food foreign matter detection device |
| JP2018185552A (en) | 2017-04-24 | 2018-11-22 | 公益財団法人鉄道総合技術研究所 | Image analysis apparatus, image analysis method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021018082A (en) | 2021-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2790668T3 (en) | Procedure to score and control the quality of a food product in a dynamic production line | |
| JP7262766B2 (en) | foreign object detector | |
| Ali et al. | Combination of laser-light backscattering imaging and computer vision for rapid determination of oil palm fresh fruit bunches maturity | |
| Lee et al. | Development of a machine vision system for automatic date grading using digital reflective near-infrared imaging | |
| Zhang et al. | Detection of common defects on mandarins by using visible and near infrared hyperspectral imaging | |
| US10379035B2 (en) | Appearance inspection apparatus and appearance inspection method | |
| KR101936457B1 (en) | Calibration of a dynamic digital imaging system for detecting defects in production stream | |
| RU2664261C2 (en) | Method and apparatus for detecting matter | |
| US9000319B2 (en) | Sorting method and apparatus | |
| CN112218729A (en) | Process and system for built-in inspection of product streams for detecting foreign objects | |
| ES2662823T3 (en) | Potato product classification procedure and potato product classification apparatus | |
| KR20120109473A (en) | Apparatus, system and method for detecting defects of metallic lids | |
| KR102205445B1 (en) | Method and System for Detecting Foreign Material on Processing Vegetable Using Multispectral Fluorescence Imaging | |
| JP6731134B2 (en) | Potato determination device and potato selection device | |
| JP7248284B2 (en) | Foreign matter detection device, foreign matter detection method, and foreign matter detection program | |
| EP2671651B1 (en) | Apparatus and method for inspecting and sorting a stream of products | |
| Nguyen et al. | Early detection of slight bruises in apples by cost-efficient near-infrared imaging | |
| RU2738327C2 (en) | Measuring device for multispectral measurement of quality characteristics or defects of products and corresponding method | |
| JP4171806B2 (en) | A method for determining the grade of fruits and vegetables. | |
| EP4667908A1 (en) | Methods and systems for detecting solids in food products based on hyperspectral images | |
| KR102922813B1 (en) | System for classifying agricultural product quality | |
| US20260097419A1 (en) | Selector machine | |
| JP2017211295A (en) | Detector, detection method and detection program | |
| EATON—BEng et al. | Machine vision approach to identifying and grading strawberries | |
| Al-Janobi | Machine vision inspection of date fruits |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210401 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230405 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7262766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |