Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6936685B2 - Crack detection device, crack detection method, and computer program - Google Patents
[go: Go Back, main page]

JP6936685B2 - Crack detection device, crack detection method, and computer program - Google Patents

Crack detection device, crack detection method, and computer program Download PDF

Info

Publication number
JP6936685B2
JP6936685B2 JP2017190612A JP2017190612A JP6936685B2 JP 6936685 B2 JP6936685 B2 JP 6936685B2 JP 2017190612 A JP2017190612 A JP 2017190612A JP 2017190612 A JP2017190612 A JP 2017190612A JP 6936685 B2 JP6936685 B2 JP 6936685B2
Authority
JP
Japan
Prior art keywords
crack
region
candidate
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017190612A
Other languages
Japanese (ja)
Other versions
JP2019066265A (en
Inventor
ジョージ ラシキア
ジョージ ラシキア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Corp
Original Assignee
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Corp filed Critical Shimizu Corp
Priority to JP2017190612A priority Critical patent/JP6936685B2/en
Publication of JP2019066265A publication Critical patent/JP2019066265A/en
Application granted granted Critical
Publication of JP6936685B2 publication Critical patent/JP6936685B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本明細書によって開示される技術は、ひび割れ検出装置に関する。 The techniques disclosed herein relate to crack detectors.

対象物(例えば、建築物や土木構造物の壁)におけるひび割れ(クラック)の発生状況を診断するために、対象物を撮像した画像に対する画像処理を行うことにより、該画像からひび割れを検出する技術が知られている(例えば、特許文献1参照)。このような画像処理を用いたひび割れ検出によれば、例えば現場作業員の目視による場合と比較して、効率的に、かつ、精度良く、対象物におけるひび割れの発生状況を診断することができる。 A technique for detecting cracks in an image of an object (for example, a wall of a building or a civil engineering structure) by performing image processing on an image of the object in order to diagnose the occurrence of cracks in the image. Is known (see, for example, Patent Document 1). According to the crack detection using such image processing, it is possible to efficiently and accurately diagnose the crack occurrence state in the object as compared with the case of visual inspection by a field worker, for example.

特開2012−98045号公報Japanese Unexamined Patent Publication No. 2012-98045

上記従来の技術では、ひび割れ検出精度の点で向上の余地がある。すなわち、上記従来の技術では、ひび割れではないが、ひび割れの濃度に近い濃度を有する部分(例えば、対象物の表面の汚れ等)を誤ってひび割れとして検出する誤検出や、実際に存在するひび割れを検出できない検出漏れが少なからず発生する。そのため、上記従来の技術には、このような誤検出や検出漏れの発生を抑制してひび割れ検出精度をさらに向上させる、という課題がある。 In the above-mentioned conventional technique, there is room for improvement in terms of crack detection accuracy. That is, in the above-mentioned conventional technique, a false detection that is not a crack but has a concentration close to the crack concentration (for example, dirt on the surface of an object) is mistakenly detected as a crack, or a crack that actually exists is detected. Not a few detection omissions that cannot be detected occur. Therefore, the above-mentioned conventional technique has a problem of suppressing the occurrence of such erroneous detection and detection omission and further improving the crack detection accuracy.

本明細書では、画像処理を用いたひび割れ検出の精度を向上させる、という課題を解決することが可能な技術を開示する。 The present specification discloses a technique capable of solving the problem of improving the accuracy of crack detection using image processing.

本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。 The techniques disclosed herein can be realized, for example, in the following forms.

(1)本明細書に開示されるひび割れ検出装置は、対象物のひび割れを検出するひび割れ検出装置であって、前記対象物を表す画像において、ひび割れを表す画像領域である蓋然性の高いひび割れ候補領域を検出する候補検出部と、前記ひび割れ候補領域の内、前記ひび割れ候補領域と前記ひび割れ候補領域の周辺に位置する周辺領域との間の濃度差が第1の閾値以上であることを含む所定の条件を満たす前記ひび割れ候補領域を、ひび割れを表す画像領域であるひび割れ領域に設定する確認判定部と、を備える。一般に、真にひび割れを表す画像領域(ひび割れ領域)では、その濃度値が、周辺領域の濃度値と大きく異なることが多い。本ひび割れ検出装置では、周辺領域との間で一定以上の濃度差のあるひび割れ候補領域を、ひび割れ領域に設定することができる。そのため、本ひび割れ検出装置によれば、ひび割れではないが、ひび割れの濃度に近い濃度を有する部分(例えば、対象物の表面の汚れ等)を誤ってひび割れとして検出する誤検出が発生することを抑制することができ、画像処理を用いたひび割れ検出の精度を向上させることができる。 (1) The crack detection device disclosed in the present specification is a crack detection device that detects cracks in an object, and is a crack candidate region with a high probability of being an image region representing cracks in an image representing the object. A predetermined value including that the concentration difference between the candidate detection unit for detecting the crack and the peripheral region located around the crack candidate region and the peripheral region of the crack candidate region is equal to or larger than the first threshold value. A confirmation determination unit for setting the crack candidate region satisfying the conditions to a crack region which is an image region representing a crack is provided. In general, in an image region (cracked region) that truly represents a crack, the density value is often significantly different from the density value in the peripheral region. In this crack detection device, a crack candidate region having a concentration difference of a certain level or more with the peripheral region can be set as the crack region. Therefore, according to this crack detection device, it is possible to suppress the occurrence of erroneous detection in which a portion that is not a crack but has a concentration close to the crack concentration (for example, dirt on the surface of an object) is erroneously detected as a crack. It is possible to improve the accuracy of crack detection using image processing.

(2)上記ひび割れ検出装置において、前記周辺領域は、前記ひび割れ候補領域との間に間隔を有する領域である構成としてもよい。本ひび割れ検出装置では、周辺領域が、真にひび割れを表す画素を含むように設定されることを抑制することができるため、濃度差の評価を適切に行うことができる。従って、本ひび割れ検出装置によれば、誤検出が発生することを効果的に抑制することができ、画像処理を用いたひび割れ検出の精度をさらに向上させることができる。 (2) In the crack detection device, the peripheral region may be a region having a space between the crack detection device and the crack candidate region. In this crack detection device, it is possible to suppress that the peripheral region is set to include pixels that truly represent cracks, so that the density difference can be appropriately evaluated. Therefore, according to this crack detection device, it is possible to effectively suppress the occurrence of erroneous detection, and it is possible to further improve the accuracy of crack detection using image processing.

(3)上記ひび割れ検出装置において、前記周辺領域は、前記ひび割れ候補領域を取り囲む領域である構成としてもよい。本ひび割れ検出装置では、周辺領域が、ひび割れ候補領域に対して特定の方向の周辺に位置する領域に偏らず、ひび割れ候補領域に対して全方向の周辺に位置するような領域として設定されるため、濃度差の評価を適切に行うことができる。従って、本ひび割れ検出装置によれば、誤検出が発生することを効果的に抑制することができ、画像処理を用いたひび割れ検出の精度をさらに向上させることができる。 (3) In the crack detection device, the peripheral region may be configured to be a region surrounding the crack candidate region. In this crack detection device, the peripheral region is set as a region located in the periphery in all directions with respect to the crack candidate region without being biased to the region located in the periphery in a specific direction with respect to the crack candidate region. , The concentration difference can be evaluated appropriately. Therefore, according to this crack detection device, it is possible to effectively suppress the occurrence of erroneous detection, and it is possible to further improve the accuracy of crack detection using image processing.

(4)上記ひび割れ検出装置において、さらに、前記ひび割れ候補領域を構成する画素の濃度値のばらつきが小さいほど、前記第1の閾値が小さくなるように、前記第1の閾値を設定する閾値設定部を備える構成としてもよい。一般に、真にひび割れを表す画像領域(ひび割れ領域)では、ひび割れ領域を構成する画素の濃度値のばらつきがそれほど大きくないことが多い。一方、ひび割れ領域ではないが、ひび割れの濃度に近い濃度を有する領域では、濃度値のばらつきが大きいことが多い。本ひび割れ検出装置では、閾値設定部が、ひび割れ候補領域を構成する画素の濃度値のばらつきが小さいほど第1の閾値が小さくなるように、第1の閾値を設定するため、ひび割れ候補領域を構成する画素の濃度値のばらつきが小さいほど、ひび割れ候補領域がひび割れ領域に設定されやすくなり、ひび割れ候補領域を構成する画素の濃度値のばらつきが大きいほど、ひび割れ候補領域がひび割れ領域に設定されにくくなる。そのため、本ひび割れ検出装置によれば、誤検出が発生することを効果的に抑制することができ、画像処理を用いたひび割れ検出の精度をさらに向上させることができる。 (4) In the crack detection device, a threshold value setting unit that sets the first threshold value so that the smaller the variation in the density values of the pixels constituting the crack candidate region, the smaller the first threshold value. It may be configured to include. In general, in an image region (cracked region) that truly represents a crack, the variation in the density values of the pixels constituting the cracked region is often not so large. On the other hand, although it is not a cracked region, the density value often varies widely in a region having a concentration close to the crack concentration. In this crack detection device, the threshold setting unit configures the crack candidate region in order to set the first threshold so that the smaller the variation in the density values of the pixels constituting the crack candidate region, the smaller the first threshold. The smaller the variation in the density values of the pixels to be used, the easier it is for the crack candidate region to be set in the crack region, and the larger the variation in the density values of the pixels constituting the crack candidate region, the more difficult it is for the crack candidate region to be set in the crack region. .. Therefore, according to this crack detection device, it is possible to effectively suppress the occurrence of erroneous detection, and it is possible to further improve the accuracy of crack detection using image processing.

(5)上記ひび割れ検出装置において、さらに、前記ひび割れ領域を示す画像をディスプレイに表示させる表示制御部を備える構成としてもよい。本ひび割れ検出装置によれば、ユーザに、対象物におけるひび割れの発生状況を把握させることができる。 (5) The crack detection device may further include a display control unit that displays an image showing the crack region on the display. According to this crack detection device, the user can grasp the occurrence status of cracks in the object.

(6)上記ひび割れ検出装置において、前記対象物は、壁状の構造物である構成としてもよい。本ひび割れ検出装置によれば、ひび割れの発生が問題になりやすい対象物であり、かつ、比較的広い範囲でひび割れの検出を行う必要がある対象物である壁状の構造物について、ひび割れの検出を、効率的に、かつ、精度良く実行することができる。 (6) In the crack detection device, the object may be a wall-shaped structure. According to this crack detection device, crack detection is performed on a wall-shaped structure that is an object in which crack generation is likely to be a problem and in which crack detection needs to be performed in a relatively wide range. Can be executed efficiently and accurately.

なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、ひび割れ検出装置、ひび割れ検出方法、それらの装置または方法の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することが可能である。さらに、本明細書に開示される技術は、ロボットを用いた自動検査システムの要素技術としても有用である。 The techniques disclosed in the present specification can be realized in various forms, for example, a crack detection device, a crack detection method, a computer program for realizing the functions of those devices or methods, and the like. It can be realized in the form of a non-temporary recording medium or the like on which a computer program is recorded. Further, the technique disclosed in the present specification is also useful as an elemental technique of an automatic inspection system using a robot.

本実施形態におけるひび割れ検出装置100の構成を概略的に示す説明図である。It is explanatory drawing which shows schematic structure of the crack detection apparatus 100 in this embodiment. ひび割れ検出処理の実行時に表示部120に表示される画面(処理時画面S1)の一例を示す説明図である。It is explanatory drawing which shows an example of the screen (processing screen S1) which is displayed on the display unit 120 at the time of execution of a crack detection process. ひび割れ検出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the crack detection process. ひび割れ検出処理の結果を含む処理時画面S1の一例を示す説明図である。It is explanatory drawing which shows an example of the processing screen S1 including the result of the crack detection processing. ひび割れ候補検出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the crack candidate detection processing. 第1の二値画像Ib(1)の一例を示す説明図である。It is explanatory drawing which shows an example of the 1st binary image Ib (1). 第1のハーフラインフィルタ処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the 1st half line filter processing. 第1のハーフラインフィルタ処理の概要を示す説明図である。It is explanatory drawing which shows the outline of the 1st half line filter processing. 第1のハーフラインフィルタ処理の結果の一例を示す説明図である。It is explanatory drawing which shows an example of the result of the 1st half line filter processing. 拡張処理の結果の一例を示す説明図である。It is explanatory drawing which shows an example of the result of the extended processing. 第2のハーフラインフィルタ処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the 2nd half line filter processing. 第2のハーフラインフィルタ処理の概要を示す説明図である。It is explanatory drawing which shows the outline of the 2nd half line filter processing. ひび割れ候補領域CCの設定結果の一例を示す説明図である。It is explanatory drawing which shows an example of the setting result of the crack candidate region CC. ひび割れ候補確認処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the crack candidate confirmation processing. ひび割れ候補確認処理の概要を示す説明図である。It is explanatory drawing which shows the outline of the crack candidate confirmation processing.

A.実施形態:
A−1.装置構成:
図1は、本実施形態におけるひび割れ検出装置100の構成を概略的に示す説明図である。ひび割れ検出装置100は、例えばパーソナルコンピュータやタブレット型端末、スマートフォン等の汎用コンピュータである。ひび割れ検出装置100は、記憶部110と、表示部120と、入力部130と、インターフェース部140と、制御部170とを備える。これらの各部は、バス190を介して互いに通信可能に接続されている。
A. Embodiment:
A-1. Device configuration:
FIG. 1 is an explanatory diagram schematically showing the configuration of the crack detection device 100 in the present embodiment. The crack detection device 100 is a general-purpose computer such as a personal computer, a tablet terminal, or a smartphone. The crack detection device 100 includes a storage unit 110, a display unit 120, an input unit 130, an interface unit 140, and a control unit 170. Each of these parts is communicably connected to each other via a bus 190.

表示部120は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。入力部130は、例えばキーボードやマウス、マイク等により構成され、ユーザの操作や音声による指示を受け付ける。インターフェース部140は、例えば、LANインターフェースやUSBインターフェース等により構成され、有線または無線により他の装置(例えば、撮像装置320)との通信を行う。 The display unit 120 is composed of, for example, a liquid crystal display or the like, and displays various images and information. The input unit 130 is composed of, for example, a keyboard, a mouse, a microphone, or the like, and receives user operations and voice instructions. The interface unit 140 is composed of, for example, a LAN interface, a USB interface, or the like, and communicates with another device (for example, an image pickup device 320) by wire or wirelessly.

記憶部110は、例えばハードディスクドライブ(HDD)等により構成され、各種のプログラムやデータを記憶する。例えば、記憶部110には、後述するひび割れ検出処理を実行するためのひび割れ検出プログラムCPが格納されている。ひび割れ検出プログラムCPは、例えば、CD−ROMやDVD−ROM、USBメモリ等のコンピュータ読み取り可能な記録媒体(図示しない)に格納された状態で提供され、ひび割れ検出装置100にインストールすることにより記憶部110に格納される。 The storage unit 110 is composed of, for example, a hard disk drive (HDD) or the like, and stores various programs and data. For example, the storage unit 110 stores a crack detection program CP for executing a crack detection process described later. The crack detection program CP is provided in a state of being stored in a computer-readable recording medium (not shown) such as a CD-ROM, a DVD-ROM, or a USB memory, and is installed in the crack detection device 100 to store the crack detection program CP. It is stored in 110.

また、記憶部110には、画像データIdが格納されている。画像データIdは、例えば、対象物(本実施形態では、建築物310の壁)を、デジタルスチルカメラ等の撮像装置320で撮像することにより生成されたものである。画像データIdは、インターフェース部140を介してひび割れ検出装置100に入力され、記憶部110に格納される。 Further, the image data Id is stored in the storage unit 110. The image data Id is generated by, for example, capturing an object (in this embodiment, the wall of the building 310) with an image pickup device 320 such as a digital still camera. The image data Id is input to the crack detection device 100 via the interface unit 140 and stored in the storage unit 110.

制御部170は、例えばCPUやROM、RAM等により構成され、記憶部110から読み出したコンピュータプログラムを実行することにより、ひび割れ検出装置100の動作を制御する。例えば、制御部170は、ひび割れ検出プログラムCPを読み出して実行することにより、後述のひび割れ検出処理を実行するひび割れ検出処理部200として機能する。ひび割れ検出処理部200は、表示制御部210と、候補検出処理部220と、候補確認処理部230とを含む。また、候補検出処理部220は、二値画像取得部222と、候補判定部224と、候補領域設定部226とを含む。また、候補確認処理部230は、閾値設定部232と、確認判定部234とを含む。これら各部の機能については、後述のひび割れ検出処理の説明に合わせて説明する。 The control unit 170 is composed of, for example, a CPU, a ROM, a RAM, or the like, and controls the operation of the crack detection device 100 by executing a computer program read from the storage unit 110. For example, the control unit 170 functions as a crack detection processing unit 200 that executes a crack detection process described later by reading and executing the crack detection program CP. The crack detection processing unit 200 includes a display control unit 210, a candidate detection processing unit 220, and a candidate confirmation processing unit 230. Further, the candidate detection processing unit 220 includes a binary image acquisition unit 222, a candidate determination unit 224, and a candidate area setting unit 226. Further, the candidate confirmation processing unit 230 includes a threshold value setting unit 232 and a confirmation determination unit 234. The functions of each of these parts will be described in accordance with the description of the crack detection process described later.

A−2.ひび割れ検出処理:
次に、ひび割れ検出装置100により実行されるひび割れ検出処理について説明する。ひび割れ検出処理は、対象物を撮像した画像に対する画像処理を行うことにより、該画像からひび割れ(クラック)を検出する処理である。一般に、対象物に発生するひび割れは、線分の成分(すなわち、細長く、かつ、直線的に伸びる成分)を含んでいる。本実施形態では、このようなひび割れの特徴を利用して、精度の高いひび割れ検出処理を実現している。なお、本実施形態では、ひび割れ検出処理の対象物は、建築物310のタイル張りの壁(すなわち、壁状の構造物)である。
A-2. Crack detection process:
Next, the crack detection process executed by the crack detection device 100 will be described. The crack detection process is a process of detecting cracks in an image obtained by capturing an image of an object by performing image processing on the image. In general, a crack generated in an object contains a component of a line segment (that is, a component that is elongated and extends linearly). In the present embodiment, the crack detection process with high accuracy is realized by utilizing such a feature of the crack. In the present embodiment, the object of the crack detection process is a tiled wall (that is, a wall-shaped structure) of the building 310.

図2は、ひび割れ検出処理の実行時に表示部120に表示される画面(以下、「処理時画面S1」という)の一例を示す説明図である。処理時画面S1は、表示制御部210によって表示部120に表示される。処理時画面S1は、画像選択領域R1と、手法選択領域R2と、画像表示領域R3とを含んでいる。画像選択領域R1は、ひび割れ検出処理の対象となる対象画像IOを選択するための領域である。手法選択領域R2は、ひび割れ検出処理に使用する手法(アルゴリズム)を選択するための領域である。画像表示領域R3は、対象画像IO等を表示するための領域である。 FIG. 2 is an explanatory diagram showing an example of a screen (hereinafter, referred to as “processing screen S1”) displayed on the display unit 120 when the crack detection process is executed. The processing screen S1 is displayed on the display unit 120 by the display control unit 210. The processing screen S1 includes an image selection area R1, a method selection area R2, and an image display area R3. The image selection area R1 is an area for selecting a target image IO to be subjected to the crack detection process. The method selection area R2 is an area for selecting a method (algorithm) used for the crack detection process. The image display area R3 is an area for displaying the target image IO and the like.

処理時画面S1の画像選択領域R1には、記憶部110に記憶された画像データId(図1参照)の表す画像の識別子(ファイル名やサムネイル等)が、選択肢として表示される。画像選択領域R1に表示された画像の選択肢の中から、ユーザが入力部130を介して所望の画像(例えば、「画像1」)を選択すると、選択された画像が対象画像IOとして設定され、画像表示領域R3に表示される。なお、画像選択領域R1には、ひび割れ検出処理により検出されたひび割れの個数を表示する個数表示欄R11が含まれている。 In the image selection area R1 of the processing screen S1, an image identifier (file name, thumbnail, etc.) represented by the image data Id (see FIG. 1) stored in the storage unit 110 is displayed as an option. When the user selects a desired image (for example, "image 1") from the image choices displayed in the image selection area R1 via the input unit 130, the selected image is set as the target image IO. It is displayed in the image display area R3. The image selection area R1 includes a number display column R11 for displaying the number of cracks detected by the crack detection process.

また、処理時画面S1の手法選択領域R2には、ひび割れ検出処理を構成する後述の各処理(ひび割れ候補検出処理、ひび割れ候補確認処理)に使用する手法(アルゴリズム)の選択肢が表示される。手法選択領域R2に表示された複数の手法の中から、ユーザが入力部130を介して各処理についての所望の手法(例えば、ひび割れ候補検出処理の「手法A」、および、ひび割れ候補確認処理の「手法H」)を選択し、「実行」ボタンB1を選択すると、選択された手法を用いたひび割れ検出処理が開始される。なお、図2に示すように、本実施形態では、対象画像IOは、建築物310のタイル張りの壁が写った画像であり、画像を構成する各画素が256階調の濃度で表現されたグレースケール画像である。また、対象画像IOには、ひび割れを表す画素(以下、「ひび割れ画素Pc」という)や、ひび割れではないが、ひび割れの濃度に近い濃度を有する部分(例えば、対象物の表面の汚れ等)を表す画素(以下、「ノイズ画素Pn」という)が含まれている。 Further, in the method selection area R2 of the processing screen S1, options of the method (algorithm) used for each of the processes (crack candidate detection process, crack candidate confirmation process) described later that constitute the crack detection process are displayed. From the plurality of methods displayed in the method selection area R2, the user uses the input unit 130 to perform a desired method for each process (for example, "method A" of the crack candidate detection process and the crack candidate confirmation process. When "Method H") is selected and the "Execute" button B1 is selected, the crack detection process using the selected method is started. As shown in FIG. 2, in the present embodiment, the target image IO is an image showing the tiled wall of the building 310, and each pixel constituting the image is represented by a density of 256 gradations. It is a grayscale image. In addition, the target image IO includes pixels representing cracks (hereinafter referred to as "crack pixels Pc") and parts that are not cracks but have a density close to the density of cracks (for example, dirt on the surface of the object). A representative pixel (hereinafter, referred to as "noise pixel Pn") is included.

図3は、ひび割れ検出処理の流れを示すフローチャートである。まず、ひび割れ検出処理部200は、必要により対象画像IOに対する前処理を実行する(S120)。前処理としては、例えば、対象画像IOの濃度を補正する処理や、対象画像IOからタイルを表す画像領域(以下、「タイル領域」という)を抽出し、タイル領域以外の画像領域(目地の領域等)をひび割れ検出の対象範囲から除外する処理等が挙げられる。なお、タイル領域を抽出する処理は、公知の手法を用いて実行することができる。また、対象画像IOにおけるひび割れ検出の対象範囲が予め定められている場合には、タイル領域を抽出する処理が実行される必要はない。 FIG. 3 is a flowchart showing the flow of the crack detection process. First, the crack detection processing unit 200 executes preprocessing for the target image IO, if necessary (S120). As preprocessing, for example, a process of correcting the density of the target image IO, an image area representing tiles (hereinafter referred to as “tile area”) is extracted from the target image IO, and an image area (joint area) other than the tile area is extracted. Etc.) is excluded from the target range of crack detection. The process of extracting the tile region can be executed by using a known method. Further, when the target range for crack detection in the target image IO is predetermined, it is not necessary to execute the process of extracting the tile area.

次に、候補検出処理部220は、ひび割れ候補検出処理を実行する(S130)。ひび割れ候補検出処理は、対象画像IOから、ひび割れを表す画素である蓋然性の高いひび割れ候補画素Pccを含むひび割れ候補領域CCを検出する処理である。候補検出処理部220は、特許請求の範囲における候補検出部に相当する。ひび割れ候補検出処理の内容については、後に詳述する。 Next, the candidate detection processing unit 220 executes the crack candidate detection processing (S130). The crack candidate detection process is a process of detecting a crack candidate region CC including a crack candidate pixel Pcc, which is a pixel representing a crack, from the target image IO. The candidate detection processing unit 220 corresponds to the candidate detection unit within the scope of claims. The details of the crack candidate detection process will be described later.

次に、ひび割れ検出処理部200は、ひび割れ候補検出処理(S130)において、少なくとも1つのひび割れ候補領域CCが検出されたか否かを判定する(S140)。ひび割れ候補領域CCが検出されたと判定された場合には(S140:YES)、候補確認処理部230が、ひび割れ候補確認処理を実行する(S150)。ひび割れ候補確認処理は、対象画像IOから検出されたひび割れ候補領域CCが、真にひび割れを表す画像領域であるひび割れ領域CRであるか否かを確認する処理である。ひび割れ候補確認処理の内容については、後に詳述する。また、ひび割れ候補検出処理においてひび割れ候補領域CCが検出されなかったと判定された場合には(S140:NO)、ひび割れ候補確認処理(S150)はスキップされる。 Next, the crack detection processing unit 200 determines whether or not at least one crack candidate region CC is detected in the crack candidate detection process (S130) (S140). When it is determined that the crack candidate region CC has been detected (S140: YES), the candidate confirmation processing unit 230 executes the crack candidate confirmation process (S150). The crack candidate confirmation process is a process for confirming whether or not the crack candidate region CC detected from the target image IO is the crack region CR, which is an image region that truly represents a crack. The details of the crack candidate confirmation process will be described later. If it is determined that the crack candidate region CC is not detected in the crack candidate detection process (S140: NO), the crack candidate confirmation process (S150) is skipped.

次に、表示制御部210は、ひび割れ検出処理の結果を表示部120に表示させる(S160)。図4は、ひび割れ検出処理の結果を含む処理時画面S1の一例を示す説明図である。図4に示す処理時画面S1の例では、画像表示領域R3に表示された対象画像IO上に、検出されたひび割れ領域CRを示す画像(すなわち、ひび割れ候補画素Pccの少なくとも一部を示す画像)が表示されている。また、処理時画面S1の画像選択領域R1の個数表示欄R11には、対象画像IOから検出されたひび割れ領域CRの個数(例えば、1個)が示されている。ユーザは、ひび割れ検出処理の結果を示す処理時画面S1を通じて、対象画像IOに表された対象物(例えば、建築物310の壁)におけるひび割れの発生状況を把握することができる。 Next, the display control unit 210 causes the display unit 120 to display the result of the crack detection process (S160). FIG. 4 is an explanatory diagram showing an example of the processing screen S1 including the result of the crack detection processing. In the example of the processing screen S1 shown in FIG. 4, an image showing the detected crack region CR on the target image IO displayed in the image display region R3 (that is, an image showing at least a part of the crack candidate pixels Pcc). Is displayed. Further, in the number display field R11 of the image selection area R1 of the processing screen S1, the number of cracked areas CR detected from the target image IO (for example, one) is shown. The user can grasp the occurrence state of cracks in the object (for example, the wall of the building 310) represented by the target image IO through the processing screen S1 showing the result of the crack detection process.

A−3.ひび割れ候補検出処理:
次に、ひび割れ候補検出処理(図3のS130)について詳細に説明する。上述したように、ひび割れ候補検出処理は、対象画像IOから、ひび割れを表す画素である蓋然性の高いひび割れ候補画素Pccを含むひび割れ候補領域CCを検出する処理である。図5は、ひび割れ候補検出処理の流れを示すフローチャートである。
A-3. Crack candidate detection process:
Next, the crack candidate detection process (S130 in FIG. 3) will be described in detail. As described above, the crack candidate detection process is a process of detecting a crack candidate region CC including a crack candidate pixel Pcc, which is a pixel representing a crack, from the target image IO. FIG. 5 is a flowchart showing the flow of the crack candidate detection process.

はじめに、候補検出処理部220の二値画像取得部222は、対象画像(原画像)IOに対して二値化処理を実行し、二値画像(以下、「第1の二値画像」という)Ib(1)を取得する(S210)。図6は、第1の二値画像Ib(1)の一例を示す説明図である。図6には、第1の二値画像Ib(1)の一部分(図2のX1部に相当する部分)の構成が拡大して示されている。第1の二値画像Ib(1)は、対象物を、黒色を表す濃度値(本実施形態では、0)と、白色を表す濃度値(本実施形態では、255)との2階調で表現する画像である。すなわち、第1の二値画像Ib(1)は、黒色画素Pkと白色画素Pwとから構成された画像である。なお、図6では、黒色画素Pkにハッチングを付している。 First, the binary image acquisition unit 222 of the candidate detection processing unit 220 executes binarization processing on the target image (original image) IO, and binarizes the image (hereinafter referred to as "first binary image"). Acquire Ib (1) (S210). FIG. 6 is an explanatory diagram showing an example of the first binary image Ib (1). FIG. 6 shows an enlarged configuration of a part (a part corresponding to the X1 part of FIG. 2) of the first binary image Ib (1). In the first binary image Ib (1), the object has two gradations of a density value representing black (0 in this embodiment) and a density value representing white (255 in this embodiment). It is an image to be expressed. That is, the first binary image Ib (1) is an image composed of black pixels Pk and white pixels Pw. In FIG. 6, the black pixel Pk is hatched.

対象画像IOに対する二値化処理は、任意の公知の手法(例えば、判別分析法に従って画像のヒストグラムを参照した閾値決定を行い、該閾値を用いて画像を二値化する手法等)を用いて実行することができるが、本実施形態では、二値化処理として以下の処理を実行する。すなわち、グレースケール画像である対象画像(原画像)IOを構成する画素の中から注目画素を順次選択し、注目画素の濃度値を、注目画素の周辺に位置する複数の周辺画素の濃度値の平均値と比較する。なお、周辺画素の範囲は任意に設定することができ、例えば、注目画素の周りを取り囲む8つの画素とすることができる。複数の周辺画素の濃度値の平均値に対して注目画素の濃度値が小さい場合(すなわち、白色を表す濃度値(255)に対する黒色を表す濃度値(0)の大小関係と一致する場合)には、注目画素の濃度値を、黒色を表す濃度値(すなわち、0)に変換する。また、複数の周辺画素の濃度値の平均値に対して注目画素の濃度値が大きい場合(すなわち、白色を表す濃度値(255)に対する黒色を表す濃度値(0)の大小関係と一致しない場合)には、注目画素の濃度値を、白色を表す濃度値(すなわち、255)に変換する。これにより、白色画素Pwと黒色画素Pkとにより構成された第1の二値画像Ib(1)が生成される。なお、対象画像IOに対して二値化処理を行った二値画像Ibは、必ずしも画像として表示される必要はない。 The binarization process for the target image IO uses an arbitrary known method (for example, a method of determining a threshold value with reference to an image histogram according to a discriminant analysis method and binarizing the image using the threshold value). Although it can be executed, in the present embodiment, the following processing is executed as the binarization processing. That is, the pixel of interest is sequentially selected from the pixels constituting the target image (original image) IO which is a grayscale image, and the density value of the pixel of interest is set to the density value of a plurality of peripheral pixels located around the pixel of interest. Compare with the average value. The range of peripheral pixels can be arbitrarily set, and for example, eight pixels surrounding the pixel of interest can be set. When the density value of the pixel of interest is smaller than the average value of the density values of a plurality of peripheral pixels (that is, when it matches the magnitude relationship of the density value (0) representing black with respect to the density value (255) representing white). Converts the density value of the pixel of interest to a density value representing black (that is, 0). Further, when the density value of the attention pixel is larger than the average value of the density values of a plurality of peripheral pixels (that is, when the density value representing black color (0) does not match the density value (255) representing white color). ) Converts the density value of the pixel of interest to a density value representing white (that is, 255). As a result, the first binary image Ib (1) composed of the white pixel Pw and the black pixel Pk is generated. The binary image Ib obtained by binarizing the target image IO does not necessarily have to be displayed as an image.

グレースケール画像である対象画像IOにおいて、ひび割れを表すひび割れ画素Pcの濃度値は、黒の濃度値に近い。そのため、対象画像IOの二値化処理により生成された第1の二値画像Ib(1)においては、ひび割れ画素Pcは黒色画素Pkとなる。ただし、第1の二値画像Ib(1)における黒色画素Pkが、すべてひび割れ画素Pcであるとは限らない。すなわち、対象画像IOに含まれる、ひび割れではないが、ひび割れの濃度に近い濃度を有する部分(例えば、対象物の表面の汚れ等)を表すノイズ画素Pnも、第1の二値画像Ib(1)において黒色画素Pkとなる場合がある。図6に示す例では、第1の二値画像Ib(1)中に、ひび割れ画素Pcである黒色画素Pkに加えて、ノイズ画素Pnである黒色画素Pkが含まれている。 In the target image IO, which is a grayscale image, the density value of the crack pixel Pc representing the crack is close to the density value of black. Therefore, in the first binary image Ib (1) generated by the binarization process of the target image IO, the cracked pixel Pc becomes the black pixel Pk. However, not all the black pixels Pk in the first binary image Ib (1) are cracked pixels Pc. That is, the noise pixel Pn included in the target image IO, which is not a crack but represents a portion having a density close to the crack density (for example, dirt on the surface of the object), is also the first binary image Ib (1). ) May result in black pixels Pk. In the example shown in FIG. 6, in the first binary image Ib (1), in addition to the black pixel Pk which is the crack pixel Pc, the black pixel Pk which is the noise pixel Pn is included.

次に、候補検出処理部220の候補判定部224は、第1の二値画像Ib(1)を対象として、第1のハーフラインフィルタ処理を実行する(S220)。図7は、第1のハーフラインフィルタ処理の流れを示すフローチャートである。また、図8は、第1のハーフラインフィルタ処理の概要を示す説明図である。図8では、ひび割れ画素Pcにより構成される領域、および、ノイズ画素Pnにより構成される領域が太い破線で示されている(図9,10,13においても同様)。 Next, the candidate determination unit 224 of the candidate detection processing unit 220 executes the first half-line filter processing on the first binary image Ib (1) (S220). FIG. 7 is a flowchart showing the flow of the first half-line filter processing. Further, FIG. 8 is an explanatory diagram showing an outline of the first half-line filter processing. In FIG. 8, a region composed of the cracked pixel Pc and a region composed of the noise pixel Pn are shown by a thick broken line (the same applies to FIGS. 9, 10 and 13).

まず、候補判定部224は、第1の二値画像Ib(1)を構成する画素の1つを注目画素SPとして選択する(S221)。なお、本実施形態では、注目画素SPを、第1の二値画像Ib(1)を構成する黒色画素Pkの中から選択する。ただし、注目画素SPを、第1の二値画像Ib(1)を構成するすべての画素の中から選択するとしてもよい。図8には、3つの注目画素SP(SP(1),SP(2),SP(3))が例示されている。なお、実際には、複数の画素が注目画素SPとして同時に選択されることはなく、各画素が1つずつ順番に注目画素SPとして選択される。 First, the candidate determination unit 224 selects one of the pixels constituting the first binary image Ib (1) as the pixel of interest SP (S221). In the present embodiment, the pixel of interest SP is selected from the black pixels Pk constituting the first binary image Ib (1). However, the pixel of interest SP may be selected from all the pixels constituting the first binary image Ib (1). FIG. 8 illustrates three notable pixels SP (SP (1), SP (2), SP (3)). In reality, a plurality of pixels are not selected as the pixel of interest SP at the same time, and each pixel is sequentially selected as the pixel of interest SP one by one.

次に、候補判定部224は、第1の二値画像Ib(1)上に、注目画素SPを端点とし、所定の長さL1を有し、互いに異なる所定の傾きを有する複数の仮想線分SLを設定する(S222)。図8には、各注目画素SPについて、45度ずつ傾きが異なる8本の仮想線分SLが例示されており、各仮想線分SLの長さL1は5画素分とされているが、仮想線分SLの本数や長さは、任意に設定可能である。 Next, the candidate determination unit 224 has a plurality of virtual line segments having a predetermined length L1 and different predetermined inclinations on the first binary image Ib (1) with the pixel of interest SP as an end point. SL is set (S222). FIG. 8 exemplifies eight virtual line segment SLs having different inclinations of 45 degrees for each attention pixel SP, and the length L1 of each virtual line segment SL is set to five pixels, but it is virtual. The number and length of the line segment SL can be set arbitrarily.

候補判定部224は、各仮想線分SLについて、「仮想線分SL上に位置する画素の内の所定の割合RA1以上の画素の濃度値が黒色画素Pkの濃度値に一致する(すなわち、所定の割合RA1以上の画素が黒色画素Pkに該当する)」という条件(以下、「第1の条件」という)を満たすか否かを判定する(S223)。このときの所定の割合RA1は、例えば、80%〜100%の範囲内の1つの値に設定される。例えば、図8に示された注目画素SP(1)について設定された2つの仮想線分SL(仮想線分SL(1)およびSL(2))については、仮想線分SL上に位置する画素のすべてが黒色画素Pkに該当するため、上記第1の条件を満たすと判定される。一方、図8に示された注目画素SP(1)について設定された他の仮想線分SL(3)については、仮想線分SL上に位置する画素の内、黒色画素Pkに該当する画素の割合が低い(RA1未満である)ため、上記第1の条件を満たさないと判定される。 For each virtual line segment SL, the candidate determination unit 224 states that "the density value of pixels having a predetermined ratio RA1 or more among the pixels located on the virtual line segment SL matches the density value of the black pixel Pk (that is, predetermined). (S223), it is determined whether or not the condition (hereinafter, referred to as “first condition”) of “a pixel having a ratio of RA1 or more corresponds to a black pixel Pk) is satisfied (S223). The predetermined ratio RA1 at this time is set to, for example, one value in the range of 80% to 100%. For example, for the two virtual line segment SLs (virtual line segment SL (1) and SL (2)) set for the pixel of interest SP (1) shown in FIG. 8, the pixels located on the virtual line segment SL. Since all of the above correspond to the black pixel Pk, it is determined that the first condition is satisfied. On the other hand, regarding the other virtual line segment SL (3) set for the attention pixel SP (1) shown in FIG. 8, among the pixels located on the virtual line segment SL, the pixels corresponding to the black pixel Pk Since the ratio is low (less than RA1), it is determined that the first condition is not satisfied.

また、候補判定部224は、上記第1の条件を満たす仮想線分SLの中に、傾きが互いに180度異なる(すなわち、注目画素SPを通る1つの仮想的な直線上に位置する)2つの仮想線分SLの組(以下、「条件満足線分対」という)が存在するか否かを判定する(S224)。この判定は、換言すれば、複数の仮想線分SLの内、傾きが互いに180度異なる2つの仮想線分SLの両方について、仮想線分SL上に位置する画素の内の所定の割合RA1以上の画素の濃度値が黒色画素Pkの濃度値に一致する、という第1の条件が満たされるか否かの判定である。 Further, the candidate determination unit 224 has two inclinations different from each other by 180 degrees (that is, located on one virtual straight line passing through the pixel of interest SP) in the virtual line segment SL satisfying the first condition. It is determined whether or not a set of virtual line segment SLs (hereinafter referred to as "condition-satisfying line segment pair") exists (S224). In other words, this determination is based on a predetermined ratio RA1 or more of the pixels located on the virtual line segment SL for both of the two virtual line segment SLs whose slopes differ by 180 degrees from each other among the plurality of virtual line segment SLs. It is a determination as to whether or not the first condition that the density value of the pixel of the above matches the density value of the black pixel Pk is satisfied.

候補判定部224は、条件満足線分対が存在すると判定した場合には(S224:YES)、現在選択されている注目画素SPを、ひび割れを表す画素である蓋然性の高いひび割れ候補画素(以下、「第1次ひび割れ候補画素」という)Pcc1に設定する(S225)。一方、候補判定部224は、条件満足線分対が存在しないと判定した場合には(S224:NO)、注目画素SPを第1次ひび割れ候補画素Pcc1に設定する処理(S225)をスキップする。例えば、図8に示された注目画素SP(1)について設定された2つの仮想線分SL(仮想線分SL(1)およびSL(2))は、傾きが互いに180度異なる2つの仮想線分SLの組であり、かつ、両方が上記第1の条件を満たしている。そのため、条件満足線分対が存在すると判定され、このときの注目画素SP(1)が第1次ひび割れ候補画素Pcc1に設定される。なお、図8に示された他の注目画素SP(2)についても、同様に、条件満足線分対が存在すると判定され、第1次ひび割れ候補画素Pcc1に設定される。一方、図8に示された他の注目画素SP(3)については、条件満足線分対が存在しないと判定され、第1次ひび割れ候補画素Pcc1には設定されない。 When the candidate determination unit 224 determines that a condition-satisfying line segment pair exists (S224: YES), the currently selected pixel of interest SP is a pixel representing a crack, which is a highly probable crack candidate pixel (hereinafter referred to as a crack candidate pixel). It is set to Pcc1 (referred to as "primary crack candidate pixel") (S225). On the other hand, when the candidate determination unit 224 determines that the condition satisfaction line segment pair does not exist (S224: NO), the candidate determination unit 224 skips the process (S225) of setting the attention pixel SP to the first crack candidate pixel Pcc1. For example, the two virtual line segments SL (virtual line segments SL (1) and SL (2)) set for the attention pixel SP (1) shown in FIG. 8 have two virtual line segments having slopes that differ by 180 degrees from each other. It is a set of minute SLs, and both satisfy the first condition. Therefore, it is determined that the condition-satisfying line segment pair exists, and the pixel of interest SP (1) at this time is set to the first crack candidate pixel Pcc1. Similarly, the other noteworthy pixel SP (2) shown in FIG. 8 is also determined to have a condition-satisfying line segment pair, and is set to the first crack candidate pixel Pcc1. On the other hand, regarding the other notable pixel SP (3) shown in FIG. 8, it is determined that the condition satisfaction line segment pair does not exist, and the first crack candidate pixel Pcc1 is not set.

候補検出処理部220は、対象となる画素のすべてについて注目画素SPとしての選択が完了したか否かを判定し(S226)、注目画素SPの選択が完了していない(すなわち、未選択の対象画素がある)と判定した場合には(S226:NO)、S221に戻って上述の処理を繰り返す。一方、候補検出処理部220は、対象となる画素のすべてについて注目画素SPとしての選択が完了したと判定した場合には(S226:YES)、第1のハーフライン処理を終了する。 The candidate detection processing unit 220 determines whether or not the selection of all the target pixels as the attention pixel SP has been completed (S226), and the selection of the attention pixel SP has not been completed (that is, the unselected target). If it is determined (S226: NO), the process returns to S221 and the above processing is repeated. On the other hand, when the candidate detection processing unit 220 determines that the selection of all the target pixels as the pixel of interest SP is completed (S226: YES), the candidate detection processing unit 220 ends the first half-line processing.

図9は、第1のハーフラインフィルタ処理の結果の一例を示す説明図である。図9では、第1のハーフラインフィルタ処理において第1次ひび割れ候補画素Pcc1に設定された画素にハッチングが付されている。上述したように、一般に、ひび割れは、線分の成分を含んでいる。そのため、第1のハーフラインフィルタ処理では、仮想線分SLの長さの2倍分の線分上に位置する画素の内の一定割合以上が黒色画素Pkであれば、そのときの注目画素SPはひび割れを表す画素である蓋然性が高いひび割れ候補画素であると判定している。図9に示された例では、真にひび割れを表すひび割れ画素Pcの大部分が、第1次ひび割れ候補画素Pcc1に設定されている。また、図9の左上付近に示されたノイズ画素Pnはすべて、第1次ひび割れ候補画素Pcc1には設定されていない。すなわち、これらのノイズ画素Pnが誤ってひび割れとして検出される誤検出の発生が防止されている。ただし、図9の右下付近に示されたノイズ画素Pnは、比較的細長い一群の領域を構成しているため、該ノイズ画素Pnの一部は、誤って第1次ひび割れ候補画素Pcc1に設定されている。 FIG. 9 is an explanatory diagram showing an example of the result of the first half-line filter processing. In FIG. 9, the pixels set in the first crack candidate pixel Pcc1 in the first half-line filter processing are hatched. As mentioned above, cracks generally contain line segment components. Therefore, in the first half-line filter processing, if a certain percentage or more of the pixels located on the line segment twice the length of the virtual line segment SL is the black pixel Pk, the pixel of interest SP at that time. Is a pixel representing a crack, and is determined to be a crack candidate pixel having a high probability of being cracked. In the example shown in FIG. 9, most of the crack pixel Pc that truly represents a crack is set in the primary crack candidate pixel Pcc1. Further, all the noise pixels Pn shown near the upper left of FIG. 9 are not set in the first crack candidate pixel Pcc1. That is, the occurrence of erroneous detection in which these noise pixels Pn are erroneously detected as cracks is prevented. However, since the noise pixel Pn shown near the lower right of FIG. 9 constitutes a relatively elongated group of regions, a part of the noise pixel Pn is erroneously set as the first crack candidate pixel Pcc1. Has been done.

なお、上述した内容の第1のハーフラインフィルタ処理は、実際には、フィルタを用いた画像処理により実現される。後述する第2のハーフラインフィルタ処理についても同様である。 The first half-line filter processing described above is actually realized by image processing using the filter. The same applies to the second half-line filter processing described later.

第1のハーフラインフィルタ処理(図5のS220)の完了後、候補検出処理部220は、拡張処理を実行する(S230)。上述した第1のハーフラインフィルタ処理では、真にひび割れを表すひび割れ画素Pcの一部、具体的には、一群のひび割れ画素Pcにより構成される領域の縁部(特に、ひび割れの長手方向の縁部)に位置するひび割れ画素Pcが、第1次ひび割れ候補画素Pcc1に設定されないことがある。そのため、候補検出処理部220は、第1のハーフラインフィルタ処理により設定された一群の第1次ひび割れ候補画素Pcc1により構成される領域を拡張し、拡張された領域に含まれる画素の内、第1のハーフラインフィルタ処理において第1次ひび割れ候補画素Pcc1として設定されなかった画素を、第1次ひび割れ候補画素Pcc1に修正する。このような拡張処理は、例えば、モルフォロジー(morphology)演算により実現することができる。 After the completion of the first half-line filter processing (S220 in FIG. 5), the candidate detection processing unit 220 executes the expansion processing (S230). In the first half-line filtering process described above, a part of the crack pixel Pc that truly represents the crack, specifically, the edge of the region composed of the group of the crack pixel Pc (particularly, the edge in the longitudinal direction of the crack). The crack pixel Pc located in the portion) may not be set as the primary crack candidate pixel Pcc1. Therefore, the candidate detection processing unit 220 expands the region composed of the group of primary crack candidate pixels Pcc1 set by the first half-line filter processing, and among the pixels included in the expanded region, the first The pixel that was not set as the first crack candidate pixel Pcc1 in the half-line filter processing of 1 is corrected to the first crack candidate pixel Pcc1. Such an extended process can be realized, for example, by a morphology operation.

候補検出処理部220は、第1の二値画像Ib(1)を基に、拡張処理の完了時における第1次ひび割れ候補画素Pcc1の濃度値を、黒色を表す濃度値(すなわち、0)に変換し、それ以外の画素の濃度値を、白色を表す濃度値(すなわち、255)に変換することにより、変換後の二値画像(以下、「第2の二値画像」という)Ib(2)を生成する。なお、第2の二値画像Ib(2)は、第1の二値画像Ib(1)における(拡張処理前の)第1次ひび割れ候補画素Pcc1の濃度値が黒色を表す濃度値に変換され、(拡張処理前の)第1次ひび割れ候補画素Pcc1以外の画素の少なくとも一部の濃度値が白色を表す濃度値に変換された二値画像であると言える。 Based on the first binary image Ib (1), the candidate detection processing unit 220 sets the density value of the first crack candidate pixel Pcc1 at the completion of the expansion processing to a density value representing black (that is, 0). By converting and converting the density values of the other pixels to the density values representing white (that is, 255), the converted binary image (hereinafter referred to as "second binary image") Ib (2). ) Is generated. In the second binary image Ib (2), the density value of the first crack candidate pixel Pcc1 (before the expansion process) in the first binary image Ib (1) is converted into a density value representing black. , It can be said that it is a binary image in which at least a part of the density values of the pixels other than the primary crack candidate pixel Pcc1 (before the expansion process) are converted into the density values representing white.

図10は、拡張処理の結果の一例を示す説明図である。図10には、第2の二値画像Ib(2)上において、第1次ひび割れ候補画素Pcc1に設定された画素にハッチングが付されている。図10を図9と比較すると明らかなように、拡張処理の実行前から第1次ひび割れ候補画素Pcc1として設定されていた画素により構成される領域は、拡張処理によって拡張される。なお、拡張処理の完了時における第1次ひび割れ候補画素Pcc1により構成される領域は、ひび割れ画素Pcにより構成される領域と完全に一致するとは限らないが、両者は概ね一致する。 FIG. 10 is an explanatory diagram showing an example of the result of the expansion processing. In FIG. 10, on the second binary image Ib (2), the pixels set in the first crack candidate pixel Pcc1 are hatched. As is clear from comparing FIG. 10 with FIG. 9, the area composed of the pixels set as the first crack candidate pixel Pcc1 before the execution of the expansion process is expanded by the expansion process. The region composed of the first crack candidate pixels Pcc1 at the completion of the expansion process does not always completely coincide with the region composed of the crack pixels Pc, but the two generally coincide with each other.

次に、候補判定部224は、第2の二値画像Ib(2)を対象として、第2のハーフラインフィルタ処理を実行する(図5のS240)。図11は、第2のハーフラインフィルタ処理の流れを示すフローチャートである。また、図12は、第2のハーフラインフィルタ処理の概要を示す説明図である。図12では、第1次ひび割れ候補画素Pcc1により構成される領域が太い一点鎖線で示されている。 Next, the candidate determination unit 224 executes a second half-line filter process on the second binary image Ib (2) (S240 in FIG. 5). FIG. 11 is a flowchart showing the flow of the second half-line filter processing. Further, FIG. 12 is an explanatory diagram showing an outline of the second half-line filter processing. In FIG. 12, the region composed of the first crack candidate pixel Pcc1 is indicated by a thick alternate long and short dash line.

まず、候補判定部224は、第2の二値画像Ib(2)を構成する第1次ひび割れ候補画素Pcc1の1つを注目画素SPとして選択する(S241)。図12には、2つの注目画素SP(SP(1),SP(2))が例示されている。なお、実際には、複数の画素が注目画素SPとして同時に選択されることはなく、各画素が1つずつ順番に注目画素SPとして選択される。 First, the candidate determination unit 224 selects one of the first crack candidate pixels Pcc1 constituting the second binary image Ib (2) as the pixel of interest SP (S241). FIG. 12 illustrates two notable pixels SP (SP (1), SP (2)). In reality, a plurality of pixels are not selected as the pixel of interest SP at the same time, and each pixel is sequentially selected as the pixel of interest SP one by one.

次に、候補判定部224は、第2の二値画像Ib(2)上に、注目画素SPを端点とし、所定の長さL2を有し、互いに異なる所定の傾きを有する複数の仮想線分SLを設定する(S242)。図12には、各注目画素SPについて、45度ずつ傾きが異なる8本の仮想線分SLが例示されており、各仮想線分SLの長さL2は10画素分とされているが、仮想線分SLの本数や長さは、任意に設定可能である。ただし、第2のハーフラインフィルタ処理において設定される仮想線分SLの長さL2は、第1のハーフラインフィルタ処理において設定される仮想線分SLの長さL1より長い(L2>L1)。長さL2は、長さL1の2倍以上であることが好ましい。 Next, the candidate determination unit 224 has a plurality of virtual line segments having a predetermined length L2 and different predetermined inclinations on the second binary image Ib (2) with the pixel of interest SP as an end point. SL is set (S242). FIG. 12 exemplifies eight virtual line segment SLs having different inclinations of 45 degrees for each attention pixel SP, and the length L2 of each virtual line segment SL is set to 10 pixels, but it is virtual. The number and length of the line segment SL can be set arbitrarily. However, the length L2 of the virtual line segment SL set in the second half-line filter processing is longer than the length L1 of the virtual line segment SL set in the first half-line filter processing (L2> L1). The length L2 is preferably twice or more the length L1.

候補判定部224は、各仮想線分SLについて、「仮想線分SL上に位置する画素の内の所定の割合RA2以上の画素の濃度値が黒色画素Pkの濃度値に一致する(すなわち、所定の割合RA2以上の画素が黒色画素Pkに該当する)」という条件(以下、「第2の条件」という)を満たすか否かを判定する(S243)。このときの所定の割合RA2は、第1のハーフラインフィルタ処理における上記割合RA1より低く、例えば、60%〜80%の範囲内の1つの値に設定される。 For each virtual line segment SL, the candidate determination unit 224 states that "the density value of pixels having a predetermined ratio RA2 or more among the pixels located on the virtual line segment SL matches the density value of the black pixel Pk (that is, predetermined). (S243), it is determined whether or not the condition (hereinafter, referred to as “second condition”) of “a pixel having a ratio of RA2 or more corresponds to a black pixel Pk) is satisfied (S243). The predetermined ratio RA2 at this time is lower than the ratio RA1 in the first half-line filter processing, and is set to, for example, one value in the range of 60% to 80%.

候補判定部224は、上記第2の条件を満たす仮想線分SL(以下、「条件満足線分」という)が存在するか否かを判定し(S244)、条件満足線分が存在すると判定した場合には(S244:YES)、現在選択されている注目画素SPを、新たなひび割れ候補画素(以下、「第2次ひび割れ候補画素」という)Pcc2に設定する(S245)。すなわち、第2次ひび割れ候補画素Pcc2は、第1のハーフラインフィルタ処理においてひび割れ候補画素(第1次ひび割れ候補画素Pcc1)であると判定された画素の内、第2のハーフラインフィルタ処理においてもひび割れ候補画素(第2次ひび割れ候補画素Pcc2)であると判定された画素であり、更新されたひび割れ候補画素であると言える。一方、候補判定部224は、条件満足線分が存在しないと判定した場合には(S244:NO)、注目画素SPを第2次ひび割れ候補画素Pcc2に設定する処理(S245)をスキップする。すなわち、この場合には、第1のハーフラインフィルタ処理においてひび割れ候補画素(第1次ひび割れ候補画素Pcc1)であると判定された画素であっても、第2のハーフラインフィルタ処理においてひび割れ候補画素(第2次ひび割れ候補画素Pcc2)ではないと判定される。例えば、図12に示された注目画素SP(1)については、該注目画素SP(1)について設定された仮想線分SL(1)上に位置する画素のすべてが黒色画素Pkに該当することから、該仮想線分SL(1)が条件満足線分に該当するため、該注目画素SP(1)は第2次ひび割れ候補画素Pcc2に設定される。一方、図12に示された他の注目画素SP(2)については、条件満足線分が存在しないため、該注目画素SP(2)は第2次ひび割れ候補画素Pcc2には設定されない。 The candidate determination unit 224 determines whether or not there is a virtual line segment SL (hereinafter, referred to as “condition satisfaction line segment”) that satisfies the second condition (S244), and determines that the condition satisfaction line segment exists. In the case (S244: YES), the currently selected pixel of interest SP is set to a new crack candidate pixel (hereinafter, referred to as “secondary crack candidate pixel”) Pcc2 (S245). That is, the second crack candidate pixel Pcc2 is also included in the second half-line filter processing among the pixels determined to be the crack candidate pixel (first crack candidate pixel Pcc1) in the first half-line filter processing. It is a pixel determined to be a crack candidate pixel (secondary crack candidate pixel Pcc2), and can be said to be an updated crack candidate pixel. On the other hand, when the candidate determination unit 224 determines that the condition satisfaction line segment does not exist (S244: NO), the candidate determination unit 224 skips the process (S245) of setting the attention pixel SP to the second crack candidate pixel Pcc2. That is, in this case, even if the pixel is determined to be the crack candidate pixel (first crack candidate pixel Pcc1) in the first half-line filter processing, the crack candidate pixel is determined in the second half-line filter processing. It is determined that it is not (secondary crack candidate pixel Pcc2). For example, with respect to the attention pixel SP (1) shown in FIG. 12, all the pixels located on the virtual line segment SL (1) set for the attention pixel SP (1) correspond to the black pixel Pk. Therefore, since the virtual line segment SL (1) corresponds to the condition satisfaction line segment, the attention pixel SP (1) is set to the second crack candidate pixel Pcc2. On the other hand, with respect to the other attention pixel SP (2) shown in FIG. 12, since the condition satisfaction line segment does not exist, the attention pixel SP (2) is not set in the second crack candidate pixel Pcc2.

候補検出処理部220は、対象となる画素のすべてについて注目画素SPとしての選択が完了したか否かを判定し(S246)、注目画素SPの選択が完了していない(すなわち、未選択の対象画素がある)と判定した場合には(S246:NO)、S241に戻って上述の処理を繰り返す。一方、候補検出処理部220は、対象となる画素のすべてについて注目画素SPとしての選択が完了したと判定した場合には(S246:YES)、第2のハーフライン処理を終了する。 The candidate detection processing unit 220 determines whether or not the selection of all the target pixels as the attention pixel SP has been completed (S246), and the selection of the attention pixel SP has not been completed (that is, the unselected target). If it is determined (S246: NO), the process returns to S241 and the above processing is repeated. On the other hand, when the candidate detection processing unit 220 determines that the selection of all the target pixels as the pixel of interest SP is completed (S246: YES), the candidate detection processing unit 220 ends the second half-line processing.

第2のハーフラインフィルタ処理(図5のS240)の完了後、候補検出処理部220の候補領域設定部226は、第2のハーフラインフィルタ処理において設定された第2次ひび割れ候補画素Pcc2を含む画像領域を、ひび割れを表す画像領域である蓋然性の高いひび割れ候補領域CCとして設定する(S250)。なお、ひび割れ候補領域CCは、第2次ひび割れ候補画素Pcc2のみから構成されるとしてもよいし、第2次ひび割れ候補画素Pcc2ではない画素を僅かに含んでいてもよい。例えば、一群の第2次ひび割れ候補画素Pcc2により囲まれた領域の内側に、第2次ひび割れ候補画素Pcc2ではない画素が僅かに存在する場合に、そのような第2次ひび割れ候補画素Pcc2ではない画素を含めてひび割れ候補領域CCを設定するものとしてもよい。 After the completion of the second half-line filter processing (S240 in FIG. 5), the candidate area setting unit 226 of the candidate detection processing unit 220 includes the second crack candidate pixel Pcc2 set in the second half-line filter processing. The image region is set as a crack candidate region CC with a high probability of being an image region representing a crack (S250). The crack candidate region CC may be composed of only the secondary crack candidate pixel Pcc2, or may include a small number of pixels that are not the secondary crack candidate pixel Pcc2. For example, if there are a few pixels that are not the secondary crack candidate pixels Pcc2 inside the region surrounded by the group of secondary crack candidate pixels Pcc2, they are not such secondary crack candidate pixels Pcc2. The crack candidate region CC may be set including the pixels.

図13は、ひび割れ候補領域CCの設定結果の一例を示す説明図である。図13では、第2のハーフラインフィルタ処理において第2次ひび割れ候補画素Pcc2に設定された画素(ひび割れ候補領域CC)に、ハッチングが付されている。上述したように、一般に、ひび割れは、線分の成分を含んでいる。そのため、第2のハーフラインフィルタ処理では、注目画素SPを端点とする長さL2の仮想線分SL上に位置する画素の内の一定割合以上が黒色画素Pkであれば、該注目画素SPはひび割れを表す画素である蓋然性が高いひび割れ候補画素であると判定している。 FIG. 13 is an explanatory diagram showing an example of the setting result of the crack candidate region CC. In FIG. 13, hatching is added to the pixel (crack candidate region CC) set in the secondary crack candidate pixel Pcc2 in the second half-line filter processing. As mentioned above, cracks generally contain line segment components. Therefore, in the second half-line filter processing, if a certain percentage or more of the pixels located on the virtual line segment SL having a length L2 having the attention pixel SP as an end point are black pixels Pk, the attention pixel SP is It is determined that the pixel represents a crack and is a candidate pixel for a crack with a high probability.

なお、第2のハーフラインフィルタ処理では、仮想線分SLの長さ(L2)を、第1のハーフラインフィルタ処理における仮想線分SLの長さ(L1)より長くしている。そのため、ノイズ画素Pnを誤って第2次ひび割れ候補画素Pcc2に設定する誤検出の発生を抑制することができる。例えば、図13に示された例では、真にひび割れを表すひび割れ画素Pcの大部分が、第2次ひび割れ候補画素Pcc2として設定されている一方、図13の右下付近に示されたノイズ画素Pnは、第2次ひび割れ候補画素Pcc2に設定されていない。すなわち、これらのノイズ画素Pnが誤ってひび割れとして検出される誤検出の発生が防止されている。 In the second half-line filter processing, the length of the virtual line segment SL (L2) is made longer than the length of the virtual line segment SL (L1) in the first half-line filter processing. Therefore, it is possible to suppress the occurrence of erroneous detection in which the noise pixel Pn is erroneously set as the secondary crack candidate pixel Pcc2. For example, in the example shown in FIG. 13, most of the crack pixels Pc that truly represent cracks are set as the secondary crack candidate pixels Pcc2, while the noise pixels shown near the lower right of FIG. Pn is not set in the second crack candidate pixel Pcc2. That is, the occurrence of erroneous detection in which these noise pixels Pn are erroneously detected as cracks is prevented.

また、第2のハーフラインフィルタ処理では、上記第2の条件(仮想線分SL上に位置する画素の内の所定の割合RA2以上の画素の濃度値が黒色画素Pkの濃度値に一致する)における所定の割合RA2が、第1のハーフラインフィルタ処理において用いられる上記第1の条件(仮想線分SL上に位置する画素の内の所定の割合RA1以上の画素の濃度値が黒色画素Pkの濃度値に一致する)における所定の割合RA1より低く設定されている。そのため、真にひび割れを表すひび割れ画素Pcが第2次ひび割れ候補画素Pcc2に設定されない検出漏れの発生を抑制することができる。 Further, in the second half-line filter processing, the second condition (the density value of the pixels having a predetermined ratio RA2 or more among the pixels located on the virtual line segment SL matches the density value of the black pixel Pk). The predetermined ratio RA2 in the above is used in the first half-line filter processing. The density value of the pixels having the predetermined ratio RA1 or more among the pixels located on the virtual line segment SL is the black pixel Pk. It is set lower than the predetermined ratio RA1 in (corresponding to the concentration value). Therefore, it is possible to suppress the occurrence of detection omission in which the crack pixel Pc that truly represents the crack is not set in the secondary crack candidate pixel Pcc2.

以上説明したひび割れ候補検出処理により、対象画像IOから、ひび割れを表す画素である蓋然性の高いひび割れ候補画素(第2次ひび割れ候補画素Pcc2)を含むひび割れ候補領域CCが検出される。 By the crack candidate detection process described above, the crack candidate region CC including the crack candidate pixel (secondary crack candidate pixel Pcc2) having a high probability of being a pixel representing the crack is detected from the target image IO.

A−4.ひび割れ候補確認処理:
次に、ひび割れ候補確認処理(図3のS150)について詳細に説明する。上述したように、ひび割れ候補確認処理は、対象画像IOから検出されたひび割れ候補領域CCが、真にひび割れを表す画像領域であるひび割れ領域CRであるか否かを確認する処理である。図14は、ひび割れ候補確認処理の流れを示すフローチャートである。また、図15は、ひび割れ候補確認処理の概要を示す説明図である。
A-4. Crack candidate confirmation process:
Next, the crack candidate confirmation process (S150 in FIG. 3) will be described in detail. As described above, the crack candidate confirmation process is a process for confirming whether or not the crack candidate region CC detected from the target image IO is the crack region CR, which is an image region that truly represents a crack. FIG. 14 is a flowchart showing the flow of the crack candidate confirmation process. Further, FIG. 15 is an explanatory diagram showing an outline of the crack candidate confirmation process.

はじめに、候補確認処理部230は、1つのひび割れ候補領域CCを選択する(S310)。図15には、対象画像IO(グレースケール画像)上における選択された1つのひび割れ候補領域CCが示されている。上述したように、本実施形態では、ひび割れ候補領域CCは、第2次ひび割れ候補画素Pcc2から構成された画像領域である。 First, the candidate confirmation processing unit 230 selects one crack candidate region CC (S310). FIG. 15 shows one selected crack candidate region CC on the target image IO (grayscale image). As described above, in the present embodiment, the crack candidate region CC is an image region composed of the secondary crack candidate pixel Pcc2.

次に、候補確認処理部230の閾値設定部232は、ひび割れ候補領域CCの濃度ばらつきに基づき、後述する判定(S330)に用いられる閾値Th1を設定する(S312)。具体的には、閾値設定部232は、ひび割れ候補領域CCを構成する画素の濃度値のばらつきを表す指標値を算出する。このような指標値としては、例えば、分散や標準偏差等を用いることができる。閾値設定部232は、該指標値により表されるひび割れ候補領域CCを構成する画素の濃度値のばらつきが小さいほど閾値Th1が小さくなるように、閾値Th1を設定する。なお、「濃度値のばらつきが小さいほど閾値Th1が小さい」とは、濃度値のばらつきの低下に伴い閾値Th1が直線状または曲線状に低下する形態に限られず、濃度値のばらつきの低下に伴い閾値Th1が段階的に低下する形態(すなわち、濃度値のばらつきが第1の範囲内にあるときは閾値Th1が第1の値であり、濃度値のばらつきが第1の範囲より値の小さい第2範囲内にあるときは閾値Th1が第1の値より小さい第2の値である形態)も含む。閾値Th1は、特許請求の範囲における第1の閾値に相当する。 Next, the threshold value setting unit 232 of the candidate confirmation processing unit 230 sets the threshold value Th1 used in the determination (S330) described later based on the density variation of the crack candidate region CC (S312). Specifically, the threshold value setting unit 232 calculates an index value representing a variation in the density value of the pixels constituting the crack candidate region CC. As such an index value, for example, variance, standard deviation, or the like can be used. The threshold value setting unit 232 sets the threshold value Th1 so that the smaller the variation in the density values of the pixels constituting the crack candidate region CC represented by the index value, the smaller the threshold value Th1. The phrase "the smaller the variation in the concentration value, the smaller the threshold Th1" is not limited to the form in which the threshold Th1 decreases linearly or curvedly as the variation in the concentration value decreases, and the threshold Th1 decreases as the variation in the concentration value decreases. A form in which the threshold Th1 gradually decreases (that is, when the variation in the concentration value is within the first range, the threshold Th1 is the first value, and the variation in the concentration value is smaller than the first range. (A mode in which the threshold Th1 is a second value smaller than the first value when it is within the range of 2) is also included. The threshold Th1 corresponds to the first threshold in the claims.

次に、確認判定部234は、ひび割れ候補領域CCの周辺に位置する複数の周辺画素から構成された周辺領域PRを特定する(S320)。図15には、特定された周辺領域PRが、ひび割れ候補領域CCとは異なるハッチングにより示されている。周辺領域PRは任意に設定することができるが、本実施形態では、周辺領域PRは、ひび割れ候補領域CCを取り囲む所定の幅(例えば1画素分)の領域である。また、本実施形態では、周辺領域PRは、ひび割れ候補領域CCとの間に所定の幅(例えば1画素分)の間隔を有する領域である。このような周辺領域PRは、例えば、モルフォロジー(morphology)演算によってひび割れ候補領域CCを膨張させ(1回目の膨張処理)、膨張後の画像領域をさらに膨張させ(2回目の膨張処理)、2回目の膨張処理後の画像領域と1回目の膨張処理後の画像領域との差分を周辺領域PRとすることにより、特定することができる。 Next, the confirmation determination unit 234 identifies a peripheral region PR composed of a plurality of peripheral pixels located around the crack candidate region CC (S320). In FIG. 15, the identified peripheral region PR is shown by hatching different from the crack candidate region CC. The peripheral area PR can be arbitrarily set, but in the present embodiment, the peripheral area PR is an area having a predetermined width (for example, one pixel) surrounding the crack candidate area CC. Further, in the present embodiment, the peripheral region PR is a region having a predetermined width (for example, one pixel) spacing from the crack candidate region CC. In such a peripheral region PR, for example, the crack candidate region CC is expanded by a morphology calculation (first expansion treatment), and the expanded image region is further expanded (second expansion treatment), and the second expansion treatment is performed. The difference between the image area after the expansion process and the image area after the first expansion process can be specified as the peripheral area PR.

次に、確認判定部234は、ひび割れ候補領域CCと周辺領域PRとの間の濃度差ΔCが、上述したように設定された閾値Th1以上であるか否かを判定する(S330)。なお、ひび割れ候補領域CCと周辺領域PRとの間の濃度差ΔCは、ひび割れ候補領域CCを構成する各画素の濃度値の平均値と、周辺領域PRを構成する各画素の濃度値の平均値と、の差の絶対値である。 Next, the confirmation determination unit 234 determines whether or not the concentration difference ΔC between the crack candidate region CC and the peripheral region PR is equal to or greater than the threshold value Th1 set as described above (S330). The density difference ΔC between the crack candidate region CC and the peripheral region PR is the average value of the density values of each pixel constituting the crack candidate region CC and the average value of the density values of each pixel constituting the peripheral region PR. And, the absolute value of the difference.

確認判定部234は、ひび割れ候補領域CCと周辺領域PRとの間の濃度差ΔCが閾値Th1以上である場合には(S330:YES)、選択されたひび割れ候補領域CCは、真にひび割れを表すひび割れ領域CRであると判定する(S340)。一方、確認判定部234は、ひび割れ候補領域CCと周辺領域PRとの間の濃度差ΔCが閾値Th1未満である場合には(S330:NO)、選択されたひび割れ候補領域CCは、真にひび割れを表すひび割れ領域CRではなく、ひび割れではないものが誤って検出されたもの(誤検出)であると判定する(S350)。一般に、真にひび割れを表す画像領域(ひび割れ領域CR)では、その濃度値が、周辺領域PRの濃度値と大きく異なることが多い。そのため、本実施形態では、ひび割れ候補領域CCと周辺領域PRとの間の濃度差ΔCが比較的大きい場合に、該ひび割れ候補領域CCは真のひび割れ領域CRであると判定し、濃度差ΔCが比較的小さい場合に、該ひび割れ候補領域CCは真のひび割れ領域CRではないと判定するものとしている。 When the concentration difference ΔC between the crack candidate region CC and the peripheral region PR is equal to or greater than the threshold Th1 (S330: YES), the confirmation determination unit 234 indicates that the selected crack candidate region CC truly represents a crack. It is determined that the crack region is CR (S340). On the other hand, in the confirmation determination unit 234, when the concentration difference ΔC between the crack candidate region CC and the peripheral region PR is less than the threshold Th1 (S330: NO), the selected crack candidate region CC is truly cracked. It is determined that what is not a crack is erroneously detected (erroneous detection), not the crack region CR representing (S350). In general, in an image region (crack region CR) that truly represents a crack, the density value is often significantly different from the density value of the peripheral region PR. Therefore, in the present embodiment, when the concentration difference ΔC between the crack candidate region CC and the peripheral region PR is relatively large, it is determined that the crack candidate region CC is a true crack region CR, and the concentration difference ΔC is determined. When it is relatively small, it is determined that the crack candidate region CC is not a true crack region CR.

候補確認処理部230は、すべてのひび割れ候補領域CCの選択が完了したか否かを判定し(S360)、未選択のひび割れ候補領域CCが存在すると判定した場合には(S360:NO)、S310に戻って上述の処理を繰り返す。一方、候補確認処理部230は、未選択のひび割れ候補領域CCが存在しないと判定した場合には(S360:YES)、ひび割れ候補確認処理を終了する。 The candidate confirmation processing unit 230 determines whether or not the selection of all the crack candidate regions CC is completed (S360), and if it is determined that there is an unselected crack candidate region CC (S360: NO), S310. Return to and repeat the above process. On the other hand, when the candidate confirmation processing unit 230 determines that the unselected crack candidate region CC does not exist (S360: YES), the candidate confirmation processing unit 230 ends the crack candidate confirmation processing.

以上説明したひび割れ候補確認処理により、ひび割れ候補検出処理において対象画像IOから検出された各ひび割れ候補領域CCが、真にひび割れを表すひび割れ領域CRであるか否かが確認される。ひび割れ候補確認処理により確認されたひび割れ領域CRは、上述したように、処理時画面S1の画像表示領域R3に表示された対象画像IO上に示される(図4参照)。 By the crack candidate confirmation process described above, it is confirmed whether or not each crack candidate region CC detected from the target image IO in the crack candidate detection process is a crack region CR that truly represents a crack. As described above, the crack region CR confirmed by the crack candidate confirmation process is shown on the target image IO displayed in the image display area R3 of the processing screen S1 (see FIG. 4).

A−5.本実施形態の効果:
以上説明したように、本実施形態のひび割れ検出装置100は、候補検出処理部220を備える。候補検出処理部220は、対象物を表す画像(対象画像IO)において、ひび割れを表す画像領域である蓋然性の高いひび割れ候補領域CCを検出する。また、本実施形態のひび割れ検出装置100は、確認判定部234を備える。確認判定部234は、ひび割れ候補領域CCの内、ひび割れ候補領域CCとひび割れ候補領域CCの周辺に位置する周辺領域PRとの間の濃度差ΔCが閾値Th1以上であることを含む所定の条件を満たすひび割れ候補領域CCを、真にひび割れを表す画像領域であるひび割れ領域CRに設定する。
A-5. Effect of this embodiment:
As described above, the crack detection device 100 of the present embodiment includes a candidate detection processing unit 220. The candidate detection processing unit 220 detects a crack candidate region CC, which is an image region representing a crack, in an image representing an object (target image IO), which is highly probable. Further, the crack detection device 100 of the present embodiment includes a confirmation determination unit 234. The confirmation determination unit 234 sets a predetermined condition including that the concentration difference ΔC between the crack candidate region CC and the peripheral region PR located around the crack candidate region CC among the crack candidate regions CC is the threshold Th1 or more. The crack candidate region CC to be satisfied is set to the crack region CR, which is an image region that truly represents a crack.

ここで、一般に、真にひび割れを表す画像領域(ひび割れ領域CR)では、その濃度値が、周辺領域PRの濃度値と大きく異なることが多い。本実施形態のひび割れ検出装置100では、周辺領域PRとの間で一定以上の濃度差のあるひび割れ候補領域CCを、ひび割れ領域CRに設定することができる。そのため、本実施形態のひび割れ検出装置100によれば、ひび割れではないが、ひび割れの濃度に近い濃度を有する部分(例えば、対象物の表面の汚れ等)を誤ってひび割れとして検出する誤検出が発生することを抑制することができ、画像処理を用いたひび割れ検出の精度を向上させることができる。 Here, in general, in the image region (crack region CR) that truly represents a crack, the density value is often significantly different from the density value of the peripheral region PR. In the crack detection device 100 of the present embodiment, the crack candidate region CC having a concentration difference of a certain level or more with the peripheral region PR can be set as the crack region CR. Therefore, according to the crack detection device 100 of the present embodiment, an erroneous detection occurs in which a portion that is not a crack but has a concentration close to the crack concentration (for example, dirt on the surface of an object) is erroneously detected as a crack. This can be suppressed, and the accuracy of crack detection using image processing can be improved.

また、本実施形態のひび割れ検出装置100では、周辺領域PRは、ひび割れ候補領域CCとの間に間隔を有する領域として設定される。そのため、本実施形態のひび割れ検出装置100では、周辺領域PRが、真にひび割れを表す画素を含むように設定されることを抑制することができるため、濃度差の評価を適切に行うことができる。従って、本実施形態のひび割れ検出装置100によれば、誤検出が発生することを効果的に抑制することができ、画像処理を用いたひび割れ検出の精度をさらに向上させることができる。 Further, in the crack detection device 100 of the present embodiment, the peripheral region PR is set as a region having an interval from the crack candidate region CC. Therefore, in the crack detection device 100 of the present embodiment, it is possible to prevent the peripheral region PR from being set to include pixels that truly represent cracks, so that the density difference can be appropriately evaluated. .. Therefore, according to the crack detection device 100 of the present embodiment, it is possible to effectively suppress the occurrence of erroneous detection, and it is possible to further improve the accuracy of crack detection using image processing.

また、本実施形態のひび割れ検出装置100では、周辺領域PRは、ひび割れ候補領域CCを取り囲む領域として設定される。そのため、本実施形態のひび割れ検出装置100では、周辺領域PRが、ひび割れ候補領域CCに対して特定の方向の周辺に位置する領域に偏らず、ひび割れ候補領域CCに対して全方向の周辺に位置するような領域として設定されるため、濃度差の評価を適切に行うことができる。従って、本実施形態のひび割れ検出装置100によれば、誤検出が発生することを効果的に抑制することができ、画像処理を用いたひび割れ検出の精度をさらに向上させることができる。 Further, in the crack detection device 100 of the present embodiment, the peripheral region PR is set as a region surrounding the crack candidate region CC. Therefore, in the crack detection device 100 of the present embodiment, the peripheral region PR is not biased to the region located in the periphery in a specific direction with respect to the crack candidate region CC, and is located in the periphery in all directions with respect to the crack candidate region CC. Since it is set as such a region, the concentration difference can be appropriately evaluated. Therefore, according to the crack detection device 100 of the present embodiment, it is possible to effectively suppress the occurrence of erroneous detection, and it is possible to further improve the accuracy of crack detection using image processing.

また、本実施形態のひび割れ検出装置100は、さらに、ひび割れ候補領域CCを構成する画素の濃度値のばらつきが小さいほど、閾値Th1が小さくなるように、閾値Th1を設定する閾値設定部232を備える。一般に、真にひび割れを表す画像領域(ひび割れ領域CR)では、ひび割れ領域CRを構成する画素の濃度値のばらつきがそれほど大きくないことが多い。一方、ひび割れ領域CRではないが、ひび割れの濃度に近い濃度を有する領域では、濃度値のばらつきが大きいことが多い。本実施形態のひび割れ検出装置100では、閾値設定部232が、ひび割れ候補領域CCを構成する画素の濃度値のばらつきが小さいほど閾値Th1が小さくなるように、閾値Th1を設定するため、ひび割れ候補領域CCを構成する画素の濃度値のばらつきが小さいほど、ひび割れ候補領域CCがひび割れ領域CRに設定されやすくなり、ひび割れ候補領域CCを構成する画素の濃度値のばらつきが大きいほど、ひび割れ候補領域CCがひび割れ領域CRに設定されにくくなる。そのため、本実施形態のひび割れ検出装置100によれば、誤検出が発生することを効果的に抑制することができ、画像処理を用いたひび割れ検出の精度をさらに向上させることができる。 Further, the crack detection device 100 of the present embodiment further includes a threshold setting unit 232 that sets the threshold Th1 so that the smaller the variation in the density values of the pixels constituting the crack candidate region CC, the smaller the threshold Th1. .. In general, in an image region that truly represents a crack (crack region CR), the variation in the density values of the pixels constituting the crack region CR is often not so large. On the other hand, although it is not the crack region CR, the density value often varies widely in the region having a concentration close to the crack concentration. In the crack detection device 100 of the present embodiment, the threshold setting unit 232 sets the threshold Th1 so that the smaller the variation in the density values of the pixels constituting the crack candidate region CC, the smaller the threshold Th1. Therefore, the crack candidate region The smaller the variation in the density values of the pixels constituting the CC, the easier it is for the crack candidate region CC to be set in the crack region CR, and the greater the variation in the density values of the pixels constituting the crack candidate region CC, the more the crack candidate region CC becomes. It becomes difficult to set the crack region CR. Therefore, according to the crack detection device 100 of the present embodiment, it is possible to effectively suppress the occurrence of erroneous detection, and it is possible to further improve the accuracy of crack detection using image processing.

また、本実施形態のひび割れ検出装置100は、さらに、ひび割れ領域CRを示す画像を表示部120に表示させる表示制御部210を備える。そのため、本実施形態のひび割れ検出装置100によれば、ユーザに、対象物におけるひび割れの発生状況を把握させることができる。 Further, the crack detection device 100 of the present embodiment further includes a display control unit 210 for displaying an image showing the crack region CR on the display unit 120. Therefore, according to the crack detection device 100 of the present embodiment, it is possible for the user to grasp the occurrence status of cracks in the object.

また、本実施形態のひび割れ検出装置100では、ひび割れ検出処理の対象物は、建築物310のタイル張りの壁、すなわち壁状の構造物である。壁状の構造物は、ひび割れの発生が問題になりやすい対象物であり、かつ、比較的広い範囲でひび割れの検出を行う必要がある対象物である。本実施形態のひび割れ検出装置100によれば、そのような対象物のひび割れの検出を、効率的に、かつ、精度良く実行することができる。 Further, in the crack detection device 100 of the present embodiment, the object of the crack detection process is a tiled wall of the building 310, that is, a wall-shaped structure. A wall-shaped structure is an object in which the occurrence of cracks is likely to be a problem, and it is necessary to detect cracks in a relatively wide range. According to the crack detection device 100 of the present embodiment, it is possible to efficiently and accurately detect cracks in such an object.

B.変形例:
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。
B. Modification example:
The technique disclosed in the present specification is not limited to the above-described embodiment, and can be transformed into various forms without departing from the gist thereof, and for example, the following modifications are also possible.

上記実施形態におけるひび割れ検出装置100の構成は、あくまで一例であり、種々変形可能である。例えば、ひび割れ検出装置100が撮像部を備え、ひび割れ検出処理部200が、該撮像部による対象物の撮像により生成された画像を対象として、ひび割れ検出処理を実行するとしてもよい。 The configuration of the crack detection device 100 in the above embodiment is merely an example and can be variously modified. For example, the crack detection device 100 may include an imaging unit, and the crack detection processing unit 200 may execute the crack detection processing on an image generated by imaging an object by the imaging unit.

また、上記実施形態では、処理時画面S1等がひび割れ検出装置100の表示部120に表示されるとしているが、処理時画面S1等がひび割れ検出装置100の備える表示部120ではなく、外部のディスプレイに表示されるとしてもよい。なお、この場合には、ひび割れ検出装置100が表示部120を備える必要は無い。 Further, in the above embodiment, the processing screen S1 and the like are displayed on the display unit 120 of the crack detection device 100, but the processing screen S1 and the like are not the display unit 120 provided in the crack detection device 100, but an external display. It may be displayed in. In this case, the crack detection device 100 does not need to include the display unit 120.

また、上記実施形態では、ひび割れを表す画素の濃度値が白色よりも黒色の濃度値に近い画像が対象画像IOとして用いられているが、反対に、ひび割れを表す画素の濃度値が黒色よりも白色の濃度値に近い画像が対象画像IOとして用いられてもよい。 Further, in the above embodiment, an image in which the density value of the pixel representing the crack is closer to the density value of black than white is used as the target image IO, but conversely, the density value of the pixel representing the crack is higher than that of black. An image close to the white density value may be used as the target image IO.

また、上記実施形態におけるひび割れ検出処理の内容は、あくまで一例であり、種々変形可能である。例えば、上記実施形態におけるひび割れ候補検出処理(図5)の処理内容は、あくまで一例であり、他の任意の内容のひび割れ候補検出処理によってひび割れ候補領域CCを検出するものとしてもよい。 Further, the content of the crack detection process in the above embodiment is merely an example and can be variously modified. For example, the processing content of the crack candidate detection process (FIG. 5) in the above embodiment is merely an example, and the crack candidate region CC may be detected by the crack candidate detection process having any other content.

また、上記実施形態では、ひび割れ候補領域CCと周辺領域PRとの間の濃度差ΔCの判定(図14のS330)に用いられる閾値Th1が、ひび割れ候補領域CCの濃度ばらつきに基づき可変に設定されるとしているが、該閾値Th1は固定値であってもよい。 Further, in the above embodiment, the threshold value Th1 used for determining the concentration difference ΔC between the crack candidate region CC and the peripheral region PR (S330 in FIG. 14) is variably set based on the density variation of the crack candidate region CC. However, the threshold value Th1 may be a fixed value.

また、上記実施形態では、周辺領域PRは、ひび割れ候補領域CCを取り囲む領域であり、かつ、ひび割れ候補領域CCとの間に間隔を有する領域であるとしているが、周辺領域PRは、必ずしもひび割れ候補領域CCを取り囲んでいなくてもよいし、ひび割れ候補領域CCとの間に間隔を有しなくてもよい。 Further, in the above embodiment, the peripheral region PR is a region surrounding the crack candidate region CC and having a space between the crack candidate region CC and the peripheral region PR, but the peripheral region PR is not necessarily a crack candidate region. It does not have to surround the region CC, and it does not have to have a space between it and the crack candidate region CC.

また、上記実施形態では、ひび割れ候補確認処理(図14)において、ひび割れ候補領域CCと周辺領域PRとの間の濃度差ΔCが閾値Th1以上であるという条件を満たせば、該ひび割れ候補領域CCはひび割れ領域CRに設定されるとしているが、上記条件に加えて他の条件が満たされる場合に、該ひび割れ候補領域CCはひび割れ領域CRに設定されるものとしてもよい。 Further, in the above embodiment, if the condition that the concentration difference ΔC between the crack candidate region CC and the peripheral region PR is equal to or greater than the threshold Th1 is satisfied in the crack candidate confirmation process (FIG. 14), the crack candidate region CC Although it is said that the crack region CR is set, the crack candidate region CC may be set to the crack region CR when other conditions are satisfied in addition to the above conditions.

また、上記実施形態では、ひび割れ検出処理の対象物は、建築物310のタイル張りの壁であるとしているが、それ以外の壁状の構造物(例えば、建築物のコンクリートの壁や土木構造物の壁面等)であってもよいし、壁状の構造物以外の物体であってもよい。 Further, in the above embodiment, the object of the crack detection treatment is a tiled wall of the building 310, but other wall-like structures (for example, a concrete wall or a civil engineering structure of a building). It may be an object other than a wall-like structure.

100:ひび割れ検出装置 110:記憶部 120:表示部 130:入力部 140:インターフェース部 170:制御部 190:バス 200:ひび割れ検出処理部 210:表示制御部 220:候補検出処理部 222:二値画像取得部 224:候補判定部 226:候補領域設定部 230:候補確認処理部 232:矩形算出部 234:確認判定部 310:建築物 320:撮像装置 CC:ひび割れ候補領域 CP:ひび割れ検出プログラム CR:ひび割れ領域 IO:対象画像 Ib(1):第1の二値画像 Ib(2):第2の二値画像 Id:画像データ Pc:ひび割れ画素 Pcc1:第1次ひび割れ候補画素 Pcc2:第2次ひび割れ候補画素 Pk:黒色画素 Pn:ノイズ画素 PR:周辺領域 Pw:白色画素 R1:画像選択領域 R11:個数表示欄 R2:手法選択領域 R3:画像表示領域 S1:処理時画面 SL:仮想線分 SP:注目画素 100: Crack detection device 110: Storage unit 120: Display unit 130: Input unit 140: Interface unit 170: Control unit 190: Bus 200: Crack detection processing unit 210: Display control unit 220: Candidate detection processing unit 222: Binary image Acquisition unit 224: Candidate determination unit 226: Candidate area setting unit 230: Candidate confirmation processing unit 232: Rectangular calculation unit 234: Confirmation determination unit 310: Building 320: Imaging device CC: Crack candidate area CP: Crack detection program CR: Crack Area IO: Target image Ib (1): First binary image Ib (2): Second binary image Id: Image data Pc: Crack pixel Pcc1: First crack candidate pixel Pcc2: Second crack candidate Pixel Pk: Black pixel Pn: Noise pixel PR: Peripheral area Pw: White pixel R1: Image selection area R11: Number display field R2: Method selection area R3: Image display area S1: Processing screen SL: Virtual line SP: Attention Pixel

Claims (7)

対象物のひび割れを検出するひび割れ検出装置であって、
前記対象物を表す画像において、ひび割れを表す画像領域である蓋然性の高いひび割れ候補領域を検出する候補検出部と、
前記ひび割れ候補領域の内、前記ひび割れ候補領域と前記ひび割れ候補領域の周辺に位置する周辺領域との間の濃度差が第1の閾値以上であることを含む所定の条件を満たす前記ひび割れ候補領域を、ひび割れを表す画像領域であるひび割れ領域に設定する確認判定部と、
を備え
前記周辺領域は、前記ひび割れ候補領域との間に間隔を有する領域である、ひび割れ検出装置。
A crack detection device that detects cracks in an object.
In the image representing the object, a candidate detection unit for detecting a crack candidate region having a high probability of being an image region representing a crack, and a candidate detection unit.
Among the crack candidate regions, the crack candidate region satisfying a predetermined condition including that the concentration difference between the crack candidate region and the peripheral region located around the crack candidate region is equal to or more than the first threshold value. , A confirmation judgment unit set in the crack area, which is an image area representing cracks,
Equipped with a,
The crack detection device, wherein the peripheral region is a region having a space between the crack candidate region and the crack candidate region.
請求項1に記載のひび割れ検出装置であって、
前記周辺領域は、前記ひび割れ候補領域を取り囲む領域である、ひび割れ検出装置。
The crack detection device according to claim 1.
The peripheral region is a region surrounding the crack candidate region, which is a crack detection device.
請求項1または請求項2に記載のひび割れ検出装置であって、さらに、
前記ひび割れ候補領域を構成する画素の濃度値のばらつきが小さいほど、前記第1の閾値が小さくなるように、前記第1の閾値を設定する閾値設定部を備える、ひび割れ検出装置。
The crack detection device according to claim 1 or 2, further comprising.
A crack detection device including a threshold value setting unit that sets the first threshold value so that the smaller the variation in the density values of the pixels constituting the crack candidate region, the smaller the first threshold value.
請求項1から請求項までのいずれか一項に記載のひび割れ検出装置であって、さらに、
前記ひび割れ領域を示す画像をディスプレイに表示させる表示制御部を備える、ひび割れ検出装置。
The crack detection device according to any one of claims 1 to 3, and further.
A crack detection device including a display control unit that displays an image showing the crack region on a display.
請求項1から請求項までのいずれか一項に記載のひび割れ検出装置であって、
前記対象物は、壁状の構造物である、ひび割れ検出装置。
The crack detection device according to any one of claims 1 to 4.
The object is a crack detection device, which is a wall-shaped structure.
対象物のひび割れを検出するひび割れ検出方法であって、
前記対象物を表す画像において、ひび割れを表す画像領域である蓋然性の高いひび割れ候補領域を検出する工程と、
前記ひび割れ候補領域の内、前記ひび割れ候補領域と前記ひび割れ候補領域の周辺に位置する周辺領域との間の濃度差が第1の閾値以上であることを含む所定の条件を満たす前記ひび割れ候補領域を、ひび割れを表す画像領域であるひび割れ領域に設定する工程と、
を備え
前記周辺領域は、前記ひび割れ候補領域との間に間隔を有する領域である、ひび割れ検出方法。
It is a crack detection method that detects cracks in an object.
In the image representing the object, a step of detecting a crack candidate region having a high probability of being an image region representing a crack, and a step of detecting the crack candidate region.
Among the crack candidate regions, the crack candidate region satisfying a predetermined condition including that the concentration difference between the crack candidate region and the peripheral region located around the crack candidate region is equal to or more than the first threshold value. , The process of setting the crack area, which is the image area representing the crack,
Equipped with a,
The crack detection method, wherein the peripheral region is a region having a space between the crack candidate region and the crack candidate region.
対象物のひび割れを検出するためのコンピュータプログラムであって、
前記対象物を表す画像において、ひび割れを表す画像領域である蓋然性の高いひび割れ候補領域を検出する候補検出機能と、
前記ひび割れ候補領域の内、前記ひび割れ候補領域と前記ひび割れ候補領域の周辺に位置する周辺領域との間の濃度差が第1の閾値以上であることを含む所定の条件を満たす前記ひび割れ候補領域を、ひび割れを表す画像領域であるひび割れ領域に設定する確認判定機能と、
をコンピュータに実現させ
前記周辺領域は、前記ひび割れ候補領域との間に間隔を有する領域である、コンピュータプログラム。
A computer program for detecting cracks in an object
In the image representing the object, a candidate detection function for detecting a crack candidate region having a high probability of being an image region representing a crack, and
Among the crack candidate regions, the crack candidate region satisfying a predetermined condition including that the concentration difference between the crack candidate region and the peripheral region located around the crack candidate region is equal to or more than the first threshold value. , Confirmation judgment function to set in the crack area, which is the image area showing the crack,
To the computer ,
A computer program in which the peripheral region is an region having a space between the crack candidate region and the peripheral region.
JP2017190612A 2017-09-29 2017-09-29 Crack detection device, crack detection method, and computer program Active JP6936685B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017190612A JP6936685B2 (en) 2017-09-29 2017-09-29 Crack detection device, crack detection method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017190612A JP6936685B2 (en) 2017-09-29 2017-09-29 Crack detection device, crack detection method, and computer program

Publications (2)

Publication Number Publication Date
JP2019066265A JP2019066265A (en) 2019-04-25
JP6936685B2 true JP6936685B2 (en) 2021-09-22

Family

ID=66339417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017190612A Active JP6936685B2 (en) 2017-09-29 2017-09-29 Crack detection device, crack detection method, and computer program

Country Status (1)

Country Link
JP (1) JP6936685B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220149463A1 (en) 2019-03-29 2022-05-12 Mitsui Chemicals, Inc. Outer packaging film for lithium-ion battery, lithium-ion battery, and lithium-ion battery stack
WO2021171411A1 (en) * 2020-02-26 2021-09-02 日本電信電話株式会社 Target region detection device, target region detection method, and target region detection program
WO2021199291A1 (en) * 2020-03-31 2021-10-07 日本電気株式会社 Detection device, determination method, and non-transitory computer-readable medium
JP7557958B2 (en) 2020-04-23 2024-09-30 株式会社日立システムズ Pixel-level object detection system and program thereof
CN116721354B (en) * 2023-08-08 2023-11-21 中铁七局集团电务工程有限公司武汉分公司 Building crack defect identification method, system and readable storage medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0380659A4 (en) * 1987-10-02 1992-07-15 Kabushiki Kaisha Komatsu Seisakusho Method of recognizing linear pattern
JP3759842B2 (en) * 1998-09-17 2006-03-29 大日本スクリーン製造株式会社 Scratched part judging device, method and storage medium on image
JP2001028059A (en) * 1999-07-15 2001-01-30 Dainippon Printing Co Ltd Method and device for color unevenness inspection
JP2004219291A (en) * 2003-01-16 2004-08-05 Seiko Epson Corp Screen line defect detection method and apparatus
JP5520005B2 (en) * 2009-10-29 2014-06-11 パナソニック株式会社 Wood defect detection apparatus and method
JP6029870B2 (en) * 2012-06-27 2016-11-24 公益財団法人鉄道総合技術研究所 Method and apparatus for detecting deformation of concrete surface
JP2014048206A (en) * 2012-08-31 2014-03-17 Sharp Corp Defect classification device, defect classification method, control program and storage medium

Also Published As

Publication number Publication date
JP2019066265A (en) 2019-04-25

Similar Documents

Publication Publication Date Title
JP6936684B2 (en) Crack detection device, crack detection method, and computer program
JP6936685B2 (en) Crack detection device, crack detection method, and computer program
JP5086830B2 (en) Image inspection apparatus, image inspection method, and computer program
JP6994890B2 (en) Crack detector, crack detection method, and computer program
JP6894339B2 (en) Crack detection device, crack detection method, and computer program
JP5812705B2 (en) Crack detection method
JP6629685B2 (en) Crack analysis method and crack analysis system
JP7315089B2 (en) Target area detection device, target area detection method, and target area detection program
JP6477369B2 (en) Information embedding device, information embedding method, and information embedding program
JP6936691B2 (en) Crack detection device, crack detection method, and computer program
JP6894338B2 (en) Crack detection device, crack detection method, and computer program
CN113167568A (en) Coordinate calculation device, coordinate calculation method, and computer-readable recording medium
JP2014147046A (en) Image processing apparatus, image processing method, and computer program
US8983115B2 (en) Detecting alteration of an image based on pattern information of color filter array
JP2018197692A (en) Damage state processing system
US12573102B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable storage medium that obtain information indicating a position of deformation of a structure in an image capturing the structure
JP7305509B2 (en) Information processing device, its control method, program, and storage medium
JP4843368B2 (en) Wire abnormality detection method, wire abnormality detection device, and wire abnormality detection program
US20150371101A1 (en) Apparatus for generating data, method for generating data, and non-transitory computer-readable medium
JP6042313B2 (en) Deterioration detection apparatus for concrete structure, deterioration detection method and program thereof
JP7846512B2 (en) Image processing device, image processing method, and program
CN111445391B (en) Image contour point adjusting method, medium, device and apparatus
JP6320130B2 (en) Image processing apparatus, control method thereof, and control program
JP2014127763A (en) Image processing apparatus, image processing method, and program
JP2011112573A (en) Defect inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210827

R150 Certificate of patent or registration of utility model

Ref document number: 6936685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150