Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6890101B2 - 画像識別装置、及び画像識別装置を備える物品製造装置 - Google Patents
[go: Go Back, main page]

JP6890101B2 - 画像識別装置、及び画像識別装置を備える物品製造装置 - Google Patents

画像識別装置、及び画像識別装置を備える物品製造装置 Download PDF

Info

Publication number
JP6890101B2
JP6890101B2 JP2018077653A JP2018077653A JP6890101B2 JP 6890101 B2 JP6890101 B2 JP 6890101B2 JP 2018077653 A JP2018077653 A JP 2018077653A JP 2018077653 A JP2018077653 A JP 2018077653A JP 6890101 B2 JP6890101 B2 JP 6890101B2
Authority
JP
Japan
Prior art keywords
image
identification
captured
article
defect candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018077653A
Other languages
English (en)
Other versions
JP2019184489A (ja
Inventor
憲令 小林
憲令 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitto Denko Corp
Original Assignee
Nitto Denko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Denko Corp filed Critical Nitto Denko Corp
Priority to JP2018077653A priority Critical patent/JP6890101B2/ja
Priority to KR1020190041984A priority patent/KR102649500B1/ko
Priority to TW108112632A priority patent/TWI812697B/zh
Priority to CN201910294158.7A priority patent/CN110390662B/zh
Publication of JP2019184489A publication Critical patent/JP2019184489A/ja
Application granted granted Critical
Publication of JP6890101B2 publication Critical patent/JP6890101B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Vending Machines For Individual Products (AREA)
  • Packaging For Recording Disks (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)

Description

本発明は、画像の種類を識別する画像識別装置、及び該画像識別装置を備える物品製造装置に関する。
近年、物品の外観検査を行う際に、画像の種類を識別する画像識別装置が利用されている。かかる画像識別装置の一種として、例えば、特許文献1に開示されているような、前記物品としての半導体基板(以下、単に基板と称する)の外観を検査する画像分類装置が知られている。
この画像分類装置は、基板上の検査対象領域を撮像して画像データを作成する撮像装置と、該撮像装置が作成した画像データのうちの欠陥が写り込んでいるものを欠陥の種類に応じて分類する検査・分類装置と、を備えている。
検査・分類装置は、画像データから欠陥を検出する欠陥検出部と、欠陥検出部が欠陥を検出した画像データを欠陥の種類に応じて分類する分類処理を実行する分類制御部と、を有する。そして、分類制御部は、欠陥検出部が画像データから欠陥を検出する毎に該画像データを分類(識別)するように構成されている。
そのため、前記画像分類装置は、基板の欠陥の有無を確認でき、さらに、欠陥が写り込んでいる画像データを欠陥の種類毎に分けて集約することによって欠陥の解析を効率的に行える状態を整えることができる。
特開2016−115115号公報
ところで、検査対象となる基板の状態によっては欠陥が写り込んでいる画像データが多数生成されることがあるが、上記従来の画像分類装置では、分類制御部が、欠陥が写り込んでいる画像データを生成された順(欠陥が検出された順)に従って逐次分類するように構成されているため、一つの画像データに対する分類処理を実行している間は、他の画像データに対する分類処理が待機状態となる。
従って、上記従来の画像分類装置では、画像データに対する分類処理が多数滞留し、欠陥が写り込んでいる画像データの全てを分類し終えるまでに時間がかかることが問題となっている。また、上記従来の画像分類装置が物品の製造装置に組み込まれている場合は、物品の製造工程の流れに滞りが生じることも問題となっている。
なお、このような問題は、画像データから欠陥を検出するための装置だけに限らず、画像を識別する機能を有する装置全般に当てはまる問題である。
そこで、本発明は、かかる実情に鑑み、多数の撮像画像に対する識別処理を高速化できる画像識別装置、及び該画像識別装置を備える物品製造装置を提供することを課題とする。
本発明の画像識別装置は、
物品を撮像した撮像画像をストック画像として複数格納する格納手段と、
前記ストック画像の種類を識別する識別処理を実行する識別手段と、
前記格納手段に格納されている複数の前記ストック画像を前記識別手段に一括して入力する入力処理を実行する入力手段と、を備え、
前記識別手段は、前記入力手段によって一括して入力された複数の前記ストック画像のそれぞれに対する識別処理を複数並列的に実行するように構成される。
かかる画像識別装置によれば、種類を識別する対象となる複数の画像がストック画像として格納手段にまとめて格納され、格納手段に格納された複数のストック画像は、入力手段によって一括して識別手段に入力される。
そして、識別手段では、入力手段によって一括して入力された複数のストック画像のそれぞれに対する識別処理が複数並列的に行われるため、各ストック画像に対する識別処理が、実行待ち(すなわち、別のストック画像に対する識別処理の終了を待機している状態)になることを抑えることができる。
従って、前記画像識別装置では、各ストック画像に対する識別処理の実行待ちの時間をなくすことができる。
また、本発明の画像識別装置は、
複数の前記撮像画像を取り込む取込処理を連続的に繰り返して実行する画像取込手段と、
該画像取込手段が取り込んだ複数の前記撮像画像のうち欠陥の候補となる欠陥候補点が写る欠陥候補画像を抽出し、該欠陥候補画像を前記ストック画像として前記格納手段に格納する抽出処理を実行する欠陥候補抽出手段と、を備え、
前記識別手段は、前記識別処理において、前記ストック画像として前記格納手段に格納されている前記欠陥候補画像の前記欠陥候補点の正誤を識別するように構成され、
先に実行された前記取込処理で取り込まれた前記撮像画像に対する前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理の完了前に、該先に実行された前記取込処理の次に実行される後の前記取込処理が実行完了するように構成されていてもよい。
上記構成の画像識別装置によれば、先に実行された取込処理で取り込まれた複数の撮像画像に対する前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理が完了する前に、先に実行された取込処理の後に実行される取込処理が実行完了するように構成されているため、先に実行された取込処理で取り込まれた複数の撮像画像に対する前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理が完了した時点から、後に実行された取込処理で取り込まれた複数の撮像画像に対する前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理を開始するまでの時間に余裕を持たせることができる。
さらに、本発明の画像識別装置において、
前記識別手段を実行するための識別処理ファイルは、他の処理を実行するための処理ファイルとは別の処理ファイルであってもよい。
上記構成の画像識別装置によれば、識別処理を実行するための識別処理ファイルが他の処理を実行するための処理ファイルからは独立しているため、既存の識別処理ファイルを新たな識別処理ファイルに書き換えるだけで、識別手段による処理内容に変更を加えることができる。
本発明の物品製造装置は、
物品を搬送する物品搬送装置と、
該物品搬送装置で搬送している前記物品を撮像して撮像画像を複数作成する撮像装置と、
上記何れかの画像識別装置と、
前記物品搬送装置による前記物品の搬送経路上において前記物品搬送装置よりも搬送方向下流側に設置されるマーキング装置であって、該画像識別装置の前記識別手段による前記ストック画像の識別結果に応じて、該識別結果を得たストック画像に写る物品にマークを付すマーク処理を実行するマーキング装置と、を備え、
前記画像識別装置は、前記撮像装置が物品を撮像して前記撮像画像を作成した後、前記マーキング装置が該物品に前記マーク処理を実行する前に該撮像画像に対する前記識別処理を完了させるように構成される。
撮像装置で撮像した撮像画像については、撮像装置で撮像された物品が後工程であるマーク処理が実行される前に識別処理が完了するため、物品の製造工程を滞らせることなく撮像画像(物品)の識別を完了させることができる。
以上のように、本発明の画像識別装置、及び該画像識別装置を備える物品製造装置によれば、多数の撮像画像に対する識別処理を高速化できる、という優れた効果を奏し得る。
図1は、本発明の一実施形態に係る物品製造装置の概要図である。 図2は、同実施形態に係る撮像装置の説明図である。 図3は、同実施形態に係る画像識別装置のブロック図である。 図4は、同実施形態に係る物品製造装置の動作説明図である。 図5は、同実施形態に係る画像識別装置の動作説明図である。
以下、本発明の一実施形態に係る画像識別装置について添付図面を参照しつつ説明を行う。
本実施形態に係る画像識別装置は、物品等の撮像画像の種類等を識別するように構成されており、例えば、製造した物品の検査に利用される。なお、本実施形態では、画像識別装置が組み込まれた物品製造装置について説明を行うこととする。
本実施形態に係る物品製造装置は、偏光フィルム等の長尺なシート状の物品(以下、シートと称する)を製造する装置である。
物品製造装置1は、図1に示すように、前記物品を搬送する物品搬送装置2と、該物品搬送装置2で搬送している物品を撮像して撮像画像(図2において符号「P1」を付している画像)を複数作成する撮像装置3と、撮像装置3で作成した撮像画像の種類を識別する画像識別装置4と、物品搬送装置2による物品の搬送経路上において物品搬送装置2よりも搬送方向下流側に設置されるマーキング装置5であって、該画像識別装置4の識別手段によるストック画像の識別結果に応じて、識別結果を得たストック画像に写る物品にマークを付すマーク処理を実行するマーキング装置5と、を備えている。
物品搬送装置2は、シートを原反から送り出しながら搬送するロール搬送を行うように構成されている。
また、物品搬送装置2は、撮像装置3による物品の撮像及び撮像画像の作成、画像識別装置4による撮像画像の識別、マーキング装置5によるマーク処理を行っている間もシートを搬送し続けるように構成されている。
そのため、本実施形態に係る物品製造装置1は、搬送状態(搬送方向上流側から下流側に向かって送られている状態)のシートを撮像装置3で撮像して撮像画像を作成し、また、搬送状態のシートにマーキング装置5がマーク処理を行うように構成されている。
さらに、撮像装置3が作成した撮像画像については、該撮像画像が作成された後、シートのうちの撮像画像に写る箇所にマーク処理が実行される前に画像識別装置4による識別が完了するようになっている。
撮像装置3は、図2に示すように、物品(シート)を撮像して撮像画像を作成する動作(以下、撮像動作と称する)を連続的に行う撮像部30を有する。
また、撮像装置3では、複数の撮像部30がシートの幅方向(シートの送り方向に対して直交する方向)で一列に並べて設置されている。そして、複数の撮像部30は、同一又は略同一のタイミングで撮像動作を連続的に行うように構成されている。
そのため、撮像装置3は、同一又は略同一のタイミングでシートを撮像して作成した複数の撮像画像を連続的に出力するように構成されている。
画像識別装置4は、図3に示すように、撮像画像を取り込む取込処理を連続的に繰り返して実行する画像取込手段40と、画像取込手段40が取り込んだ複数の撮像画像のうち欠陥の候補が写る欠陥候補画像(図2において符号「P2」を付している画像)を抽出する抽出処理を実行する欠陥候補抽出手段41と、欠陥候補抽出手段41で抽出した欠陥候補画像をストック画像として複数格納する格納処理を実行する格納手段42と、ストック画像の種類を識別する識別処理を実行する識別手段43と、格納手段42に格納されている複数のストック画像を識別手段43に一括して入力する入力処理を実行する入力手段44と、前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理を実行するための命令情報を一時的に記憶する記憶処理を実行するバッファ手段45と、を備えている。なお、識別装置は、CPUや、メモリ、ハードディスク等を備える装置であればよい。
画像取込手段40は、撮像装置3から出力された複数の撮像画像(撮像部30が同一又は略同一のタイミングで作成した複数の撮像画像)を取り込むように構成されている。なお、画像取込手段40は、撮像装置3から撮像画像を直接取り込むように構成されていてもよいし、撮像装置3から撮像画像を間接的に取り込むように構成されていてもよい(すなわち、撮像装置3から出力された撮像画像を別の装置を介して取り込むように構成されていてもよい)。
欠陥候補抽出手段41は、画像取込手段40が取り込んだ撮像画像の中から欠陥である可能性のある欠陥候補点が写る欠陥候補画像を作成(抽出)するように構成されている。
具体的に説明すると、欠陥候補抽出手段41は、撮像画像の中から欠陥候補点を検出する検出処理と、検出処理で検出した欠陥候補点が写る画素と該画素の周囲の所定数の画素とを含む領域を抽出して欠陥候補画像を作成する候補画像作成処理とを実行し、作成した欠陥候補画像をストック画像として格納手段42に格納するように構成されている。
なお、検出処理で撮像画像の中から欠陥候補点を検出するには、例えば、2値化処理と粒子解析とを行えばよい。
格納手段42には、欠陥候補抽出手段41が同じ時点で撮像された撮像画像から抽出した複数の欠陥候補画像がストック画像としてひとまとめにして格納(記憶)される。なお、欠陥候補抽出手段41から一つの欠陥候補画像だけが抽出された場合、格納手段42には、この一つの欠陥候補画像だけが記憶されてもよい。
入力手段44の入力処理では、格納手段42にストック画像として格納されている欠陥候補画像、より具体的には、撮像部30により同一又は略同一のタイミングで作成された複数の欠陥候補画像を一括して識別手段43に入力するように構成されている。
識別手段43は、入力手段44によって一括して入力された複数の欠陥候補画像を受け取る受取手段430と、該受取手段430で受け取った複数の欠陥候補画像のそれぞれに対する識別処理を並列的に実行する識別実行手段431と、を有する。
識別実行手段431は、欠陥候補画像に対する識別処理により、該欠陥候補画像の種類を識別するように構成されている。本実施形態に係る識別実行手段431は、欠陥候補画像に写る欠陥候補点の正誤、すなわち、欠陥候補点が欠陥であるか正常な部分であるかを識別するように構成されている。このように、識別実行手段431は、欠陥候補画像について、欠陥が写る画像であるか、欠陥が無い正常な部分の画像であるかを識別するように構成されている。
識別実行手段431は、いわゆる、識別器に相当する構成である。また、本実施形態に係る識別実行手段431は、画像識別装置4とは別の装置で作成(学習)した識別器を処理ファイル(本実施形態では、ダイナミックリンクライブラリ)に変換した識別処理ファイルで構成されている。また、識別実行手段431を実行するための識別処理ファイルは、他の処理(例えば、画像取込手段40や、欠陥候補抽出手段41、格納手段42、入力手段44等で行う処理)を実行するための処理ファイルとは別のデータであることが好ましい。このようにすれば、識別処理ファイルが他の処理を実行するための処理ファイルからは独立しているため、既存の識別処理ファイルを新たな識別処理ファイルに書き換えるだけで、識別手段43の処理内容に変更を加えることができる。
なお、識別手段43は、受取手段430で受け取った複数の欠陥候補画像のそれぞれの識別処理の全てを並列的に実行するように構成されていてもよいし、複数の欠陥候補画像のそれぞれの識別処理を所定数ずつ並列的に実行するように構成されていてもよい。
また、識別手段43は、識別実行手段431内で複数の欠陥候補画像のそれぞれの識別処理を複数並列的に実行するように構成されていてもよいし、識別実行手段431で一つの欠陥候補画像の識別処理行うタスクを複数並列的に実行するように構成されていてもよい。
このように、識別手段43は、複数(2つ以上)の欠陥候補画像の識別を並列的に行うように構成されている。
バッファ手段45に書き込まれる命令情報には、撮像装置3で同一又は略同一のタイミングで作成された複数の撮像画像や、該複数の撮像画像に関する抽出処理、入力処理、識別処理を実行するための命令が含まれている。
本実施形態の画像識別装置4は、2つのバッファ手段45を備えており、一方のバッファ手段45に書き込まれている命令情報に基づいて抽出処理、入力処理、識別処理が実行されている間、他方のバッファ手段45には、一方のバッファ手段45に書き込まれている命令情報とは別の命令情報が書き込まれる。
そして、一方のバッファ手段45に書き込まれている命令情報に基づく抽出処理、入力処理、識別処理が完了した時点で、他方のバッファ手段45に書き込まれている命令情報に基づいて抽出処理、入力処理、識別処理が順番に実行される。
そして、他方のバッファ手段45に書き込まれている命令情報に基づく抽出処理、入力処理、識別処理が完了すると、一方のバッファ手段45には、さらに別の命令情報が新たに書き込まれる。
このように、各バッファ手段45では、書き込まれている命令情報の読み出し(すなわち、命令情報に基づく各処理の実行)と、命令情報の書き込みとが異なるタイミングで交互に実行されている。
また、一方のバッファ手段45と他方のバッファ手段45とには、撮像装置3による撮像動作が行われる度に、該撮像動作で作成した撮像画像と、該撮像画像に関する処理の命令とを含む命令情報が交互に書き込まれる。
画像識別装置4の識別手段43からは、欠陥候補画像の識別結果として、該欠陥候補画像が欠陥が写っている画像(欠陥の画像)であるかを示す情報が識別結果として出力されるため、マーキング装置5は、マーク処理において、物品搬送装置2によって搬送されている物品のうち、欠陥のある物品に対して欠陥が存在することを示すマークを付すように構成されている。
本実施形態に係る物品は長尺なシートであるが、マーキング装置5は、例えば、識別手段43から欠陥候補画像が欠陥の画像であることを示す情報が識別結果として出力された場合に、欠陥候補画像の抽出元となった撮像画像を撮像した箇所にマークを付すように構成されていればよい。また、識別手段43から欠陥候補画像が正常な画像であることを示す情報が識別結果として出力された場合は、マークを付さずに物品を通過させるようにすればよい。
なお、マーキング装置5で物品に付すマークには、例えば、シールや、印刷、刻印等を採用すればよい。
本実施形態に係る物品製造装置1の構成は以上の通りである。続いて、本実施形態に係る物品製造装置1の動作を説明する。
物品製造装置1では、図4に示すように、シート状の物品が物品搬送装置2により絶えず搬送されており(S1)、撮像装置3が搬送状態の物品に対して撮像動作を連続的に実行している(S3、S8,S12)。
本実施形態に係る物品製造装置1では、上述のように、前記一方のバッファ手段45に書き込まれている命令情報に基づく処理を実行している間(S2、S10)に前記他方のバッファ手段45に命令情報が書き込まれ(S5、S13)、前記他方のバッファ手段45に書き込まれている命令情報に基づく処理を実行している間(S6)に前記一方のバッファ手段45に命令情報が書き込まれる(S9)。
このように、画像識別装置4は、撮像装置3が撮像動作で作成した撮像画像に対する処理を実行している間に、撮像装置3が次の撮像動作で作成した撮像画像に対する処理を実行する準備を完了させる。そのため、画像識別装置4は、実行中の処理が完了した直後に次の新たな処理を開始することができ、これにより、識別処理の後の工程(本実施形態ではマーキング装置5によるマーク処理(S3、S7))の実行中に次の識別処理を開始することも可能となる(S6、S10)。
画像識別装置4の処理についてより具体的に説明すると、図5に示すように、撮像装置3は、撮像動作(S14)で作成した複数の撮像画像を画像識別装置4に向けて出力する(S15)。
画像識別装置4に出力された複数の撮像画像は、画像取込手段40によって取り込まれ(S16)、命令情報に含めて前記一方のバッファ手段45に書き込まれる(S17)。
そして、前記一方のバッファ手段45に書き込まれた命令情報に基づいて、撮像画像に関する各種処理が開始される。具体的に説明すると、まず、欠陥候補抽出手段41が複数の撮像画像の中から欠陥の候補が写る欠陥候補画像を抽出し(S18)、該欠陥候補画像をストック画像として格納手段42に格納する(S19)。
ストック画像として格納手段42に格納されている複数の欠陥候補画像は、入力処理によって一括して識別手段43に入力される(S20)。続いて、該複数の欠陥候補画像のそれぞれに対する識別処理が識別手段43によって並列的に実行される(S21)。
そして、識別手段43から識別結果が出力されると、該識別結果に応じてマーキング装置5がマーク処理を実行する(図4参照)。これにより、物品製造装置1における物品に対する一連の処理が完了する。
前記一方のバッファ手段45に書き込まれた命令情報に基づく処理を実行している間、撮像装置3は次の撮像動作を実行しており(S22)、該次の撮像動作で作成された複数の撮像画像は、先の撮像動作(S14)で作成された撮像画像に対する識別処理(S21)が完了する前に画像識別装置4に出力され(S23)、画像取込手段40によって取り込まれ(S24)、さらに、命令情報に含めた状態で前記他方のバッファ手段45に書き込まれる(S25)。
そのため、先の撮像動作で作成した撮像画像に写っている物品に対するマーク処理が完了する前に、次(後)の撮像動作で作成した撮像画像に関する各種処理、具体的には、欠陥候補抽出手段41による欠陥候補画像の抽出(S26)、該欠陥候補画像の格納手段42への格納(S27)、入力処理による複数の欠陥候補画像の識別手段43への一括入力(S28)、識別手段43による複数の欠陥候補画像のそれぞれに対する識別処理の並列実行(S29)が順番に実行される。
さらに、前記他方のバッファ手段45に書き込まれている命令情報に基づく処理の実行中においては、前記一方のバッファ手段45に対して新たな命令情報が書き込まれるため(S30)、前記他方のバッファ手段45に書き込まれている命令情報に基づく処理が完了した直後に、該新たな命令情報に基づく処理が開始される。
以上のように、本実施形態に係る画像識別装置4によれば、識別手段43では、入力手段44によって一括して入力された複数のストック画像のそれぞれに対する識別処理が複数並列的に行われるため、各ストック画像に対する識別処理が、実行待ち(すなわち、別のストック画像に対する識別処理の終了を待機している状態)になることを抑えることができる。
従って、前記画像識別装置4では、各ストック画像に対する識別処理の実行待ちの時間をなくすことができ、これにより、多数の撮像画像に対する識別処理を高速化することができ、また、該画像識別装置4を備える物品製造装置1においても同様の効果を得ることができる。
また、画像識別装置4では、先に実行された取込処理で取り込まれた複数の撮像画像に対する前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理が完了する前に、先に実行された取込処理の次(後)の取込処理及び記憶処理が実行完了するように構成されているため、先に実行された取込処理で取り込まれた複数の撮像画像に対する抽出処理、格納処理、識別処理、入力処理の各処理が完了した時点から、後に実行された取込処理で取り込まれた複数の撮像画像に対する抽出処理、格納処理、識別処理、入力処理の各処理を順番に実行し始めるまでの時間に余裕を持たせることができる。
また、撮像装置3の撮像動作によって撮像画像を作成した後、撮像装置3で撮像した物品(シートのうちの撮像画像に写る部分)に対してマーキング装置5によるマーキング処理が実行される前に、該撮像画像に対する画像識別装置4の各処理(抽出処理、格納処理、識別処理、入力処理)が完了するため、リアルタイム、すなわち、物品の製造工程の流れの中で画像識別装置4による撮像画像の識別(本実施形態では欠陥の有無の確認)を行うことができるようになる。
また、本実施形態に係る物品製造装置1においては、撮像装置3で撮像した撮像画像については、撮像装置3で撮像された物品が後工程であるマーク処理が実行される前に識別処理が完了するため、物品の製造工程を滞らせることなく撮像画像(物品)の識別を完了させることができ、インラインで(物品の製造工程の流れの中で)撮像画像の識別を実行して完了させることもできる。
なお、本発明の画像識別装置、及び物品製造装置は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得ることは勿論である。
上記実施形態の物品製造装置1は、シートを製造するものであったが、この構成に限定されない。例えば、物品製造装置1は枚葉状の物品等を製造するものであってもよい。
上記実施形態の物品製造装置1では、複数の撮像部30がシートの幅方向で一列に並ぶように配置されていたが、撮像部30の数や配置の仕方は、製造する物品(検査対象とする物品)に応じて適宜変更してもよい。
上記実施形態において、特に言及しなかったが、画像取込手段40は、撮像装置3から出力された複数の撮像画像(同じ時点で作成された複数の撮像画像)のそれぞれを別々の画像として取り込んでもよいし、該複数の撮像画像を合成した一つの画像を取り込むようにしてもよい。
上記実施形態において、欠陥候補抽出手段41は、検出処理で検出した欠陥候補点が写る画素と、該画素の周囲の所定数の画素とを含む領域を欠陥候補画像とするように構成されていたが、この構成に限定されない。例えば、欠陥候補抽出手段41は、欠陥候補点が写る画像そのものを欠陥候補画像としてもよい。
上記実施形態において、画像識別装置4は、2つのバッファ手段45を備えていたが、この構成に限定されない。例えば、画像識別装置4は、1つのバッファ手段45を備えていてもよいし、3つ以上のバッファ手段45を備えていてもよい。
1…物品製造装置、2…物品搬送装置、3…撮像装置、4…画像識別装置、5…マーキング装置、30…撮像部、40…画像取込手段、41…欠陥候補抽出手段、42…格納手段、43…識別手段、44…入力手段、45…バッファ手段、430…受取手段、431…識別実行手段

Claims (3)

  1. 撮像装置によって同一又は略同一のタイミングで撮像された複数の撮像画像を取り込む取込処理を連続的に繰り返して実行する画像取込手段と、
    該画像取込手段によって同一又は略同一のタイミング取り込まれた複数の前記撮像画像の中から欠陥の候補となる欠陥候補点が写る欠陥候補画像をストック画像として格納手段に格納する抽出処理を実行する欠陥候補抽出手段と、
    前記ストック画像の前記欠陥候補点の正誤を識別する識別処理を実行する識別手段と、
    前記画像取込手段によって取り込まれたタイミングが同一又は略同一の複数の前記ストック画像を前記格納手段から読み出して前記識別手段に一括して入力する入力処理を実行する入力手段と、
    前記撮像装置によって同一又は略同一のタイミングで撮像された複数の撮像画像と前記抽出処理、前記入力処理、前記識別処理を実行するための命令情報とを関連付けた状態で一時的に記憶する記憶処理を実行する複数のバッファ手段と、を備え、
    前記バッファ手段に記憶されている前記命令情報に基づく前記抽出処理、前記入力処理、前記識別処理が実行されている間に、前記取込処理及び別の前記バッファ手段による前記記憶処理を実行して完了させるように構成される、
    画像識別装置。
  2. 前記識別手段を実行するための識別処理ファイルは、他の処理を実行するための処理ファイルとは別の処理ファイルである、
    請求項1に記載の画像識別装置。
  3. 物品を搬送する物品搬送装置と、
    該物品搬送装置で搬送している前記物品を撮像して撮像画像を複数作成する撮像装置と、
    請求項1又は請求項2に記載の画像識別装置と、
    前記物品搬送装置による前記物品の搬送経路上において前記物品搬送装置よりも搬送方向下流側に設置されるマーキング装置であって、該画像識別装置の前記識別手段による前記ストック画像の識別結果に応じて、該識別結果を得たストック画像に写る物品にマークを付すマーク処理を実行するマーキング装置と、を備え、
    前記画像識別装置は、前記撮像装置が物品を撮像して前記撮像画像を作成した後、前記マーキング装置が該物品に前記マーク処理を実行する前に該撮像画像に対する前記識別処理を完了させるように構成される、
    物品製造装置。
JP2018077653A 2018-04-13 2018-04-13 画像識別装置、及び画像識別装置を備える物品製造装置 Active JP6890101B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018077653A JP6890101B2 (ja) 2018-04-13 2018-04-13 画像識別装置、及び画像識別装置を備える物品製造装置
KR1020190041984A KR102649500B1 (ko) 2018-04-13 2019-04-10 화상 식별 장치, 및 화상 식별 장치를 구비하는 물품 제조 장치
TW108112632A TWI812697B (zh) 2018-04-13 2019-04-11 圖像識別裝置、及具有圖像識別裝置的物品製造裝置
CN201910294158.7A CN110390662B (zh) 2018-04-13 2019-04-12 图像识别装置和具备图像识别装置的物品制造装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018077653A JP6890101B2 (ja) 2018-04-13 2018-04-13 画像識別装置、及び画像識別装置を備える物品製造装置

Publications (2)

Publication Number Publication Date
JP2019184489A JP2019184489A (ja) 2019-10-24
JP6890101B2 true JP6890101B2 (ja) 2021-06-18

Family

ID=68284351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018077653A Active JP6890101B2 (ja) 2018-04-13 2018-04-13 画像識別装置、及び画像識別装置を備える物品製造装置

Country Status (4)

Country Link
JP (1) JP6890101B2 (ja)
KR (1) KR102649500B1 (ja)
CN (1) CN110390662B (ja)
TW (1) TWI812697B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7338779B2 (ja) * 2020-02-18 2023-09-05 日本電気株式会社 画像認識装置、画像認識方法、及び、プログラム
JP7510975B2 (ja) * 2022-07-22 2024-07-04 プライムアースEvエナジー株式会社 検査装置及び検査装置のキャリブレーション方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696591A (en) * 1996-01-05 1997-12-09 Eastman Kodak Company Apparatus and method for detecting longitudinally oriented flaws in a moving web
JP2001084364A (ja) * 1999-09-13 2001-03-30 Matsushita Electric Ind Co Ltd 画像撮像検査装置及びこれを用いた実装基板検査装置
TWI256372B (en) * 2001-12-27 2006-06-11 Tokyo Electron Ltd Carrier system of polishing processing body and conveying method of polishing processing body
JP2005010036A (ja) * 2003-06-19 2005-01-13 Koyo Seiko Co Ltd 外観検査装置
JP2005158780A (ja) * 2003-11-20 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP2007178144A (ja) * 2005-12-27 2007-07-12 Advanced Mask Inspection Technology Kk パターン検査装置、パターン検査方法、検査対象試料、及び検査対象試料の管理方法
JP5006551B2 (ja) * 2006-02-14 2012-08-22 住友化学株式会社 欠陥検査装置及び欠陥検査方法
JP5169194B2 (ja) * 2006-12-14 2013-03-27 日本電気硝子株式会社 板ガラス欠陥検出装置、板ガラスの製造方法
WO2010032562A1 (ja) * 2008-09-18 2010-03-25 インターナショナル・ビジネス・マシーンズ・コーポレーション 検査対象物の欠陥の発見を支援するシステム及び方法
JP2010127809A (ja) * 2008-11-28 2010-06-10 Nippon Paper Industries Co Ltd 外観検査装置及び外観検査システム並びにプログラム
JP5353566B2 (ja) * 2009-08-31 2013-11-27 オムロン株式会社 画像処理装置および画像処理プログラム
JP5573145B2 (ja) * 2009-12-16 2014-08-20 ソニー株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム
US9196031B2 (en) * 2012-01-17 2015-11-24 SCREEN Holdings Co., Ltd. Appearance inspection apparatus and method
JP5906846B2 (ja) * 2012-03-15 2016-04-20 株式会社ニコン 電子カメラ
JP6075912B2 (ja) * 2013-03-14 2017-02-08 Juki株式会社 画像処理装置及び画像処理方法
JP6430228B2 (ja) 2014-12-15 2018-11-28 株式会社Screenホールディングス 画像分類装置および画像分類方法
JP2016189363A (ja) * 2015-03-30 2016-11-04 株式会社日立ハイテクノロジーズ 半導体外観検査装置および画像処理装置
US20170169294A1 (en) * 2015-12-11 2017-06-15 Leadot Innovation, Inc. Method of Tracking Locations of Stored Items
JP6493454B2 (ja) * 2017-06-07 2019-04-03 株式会社ニコン 電子カメラ

Also Published As

Publication number Publication date
TWI812697B (zh) 2023-08-21
JP2019184489A (ja) 2019-10-24
TW201944289A (zh) 2019-11-16
KR20190120076A (ko) 2019-10-23
CN110390662B (zh) 2025-02-18
CN110390662A (zh) 2019-10-29
KR102649500B1 (ko) 2024-03-21

Similar Documents

Publication Publication Date Title
US10755134B2 (en) Generation of training data for object-sorting work based on a difference between feature amounts of captured object images
JP6347589B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2011163766A (ja) 画像処理方法および画像処理システム
JP5151019B2 (ja) 疵検出装置及び疵検出方法
JP6890101B2 (ja) 画像識別装置、及び画像識別装置を備える物品製造装置
CN115601735B (zh) 空盘识别装置和方法
WO2019151177A1 (ja) 情報処理装置、衣服分別システム、情報処理方法、及び制御プログラム
WO2023280080A1 (zh) 阴影消除装置和方法、空盘识别装置和方法
JP2023169667A (ja) 目視検査補助装置
JP6769447B2 (ja) 鋼板の疵検査装置及び疵検査方法
JP4536548B2 (ja) X線検査装置および蓄積情報抽出システム
JP2018186502A5 (ja)
KR102613465B1 (ko) 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치
WO2001014928A2 (en) Print inspection system
JP5976477B2 (ja) 文字読取装置、及び紙葉類処理装置
JP2019060836A (ja) 印刷物の浮き検出装置及び浮き検出方法、検査装置及び検査方法
JP5540595B2 (ja) 印刷物検査装置、印刷物検査システム、印刷物検査方法及び印刷物検査プログラム
JP2010227885A (ja) 物品区分機、物品区分方法、及び物品区分プログラム
JP2020024111A (ja) 検査装置および検査方法
JP2020024110A (ja) 検査装置および検査方法
JP2000292370A (ja) 印字検査装置
JP2022156999A (ja) 検査方法、検査装置
JP4760258B2 (ja) 印刷品質検査装置および印刷品質検査方法
JP7207014B2 (ja) 表示制御装置、表示制御プログラム及び検品システム
JP4566940B2 (ja) 検査装置及びptpシートの製造装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200722

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210524

R150 Certificate of patent or registration of utility model

Ref document number: 6890101

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250