JP7548827B2

JP7548827B2 - Image inspection device, inspection image display device, image inspection method, and image inspection program

Info

Publication number: JP7548827B2
Application number: JP2021005551A
Authority: JP
Inventors: 基文福井
Original assignee: Sumitomo Heavy Industries Ltd
Current assignee: Sumitomo Heavy Industries Ltd
Priority date: 2021-01-18
Filing date: 2021-01-18
Publication date: 2024-09-10
Anticipated expiration: 2041-01-18
Also published as: JP2022110266A

Description

本発明は検査対象物を撮影した検査画像の画質改善技術に関する。 The present invention relates to a technology for improving the image quality of inspection images taken of an object to be inspected.

検査対象物を検査する際、検査対象物を撮影した検査画像を利用する技術が知られている。例えば、特許文献１は、土木構造物を検査対象物として、その検査画像に基づいて損傷を検査する技術を開示する。 When inspecting an object, there is known a technique that uses an inspection image of the object. For example, Patent Literature 1 discloses a technique for inspecting a civil engineering structure as an object for damage inspection based on the inspection image.

特開２０１６－２１７２５号公報JP 2016-21725 A

ボイラー、コークス炉、建設機械、その他のプラント、橋梁、ダム、建物等の大型構造物を検査対象物とする場合、検査画像を撮影するカメラは被検査面に沿って移動可能なロボット、ドローン、その他の移動体に取り付けられる。あるいは、人がカメラを持って移動しながら検査対象物を撮影する。このような場合、移動するカメラで撮影された検査画像の画質が安定しないという課題がある。また、大型構造物は変化の多い過酷な環境に置かれることも多く、環境に起因する外乱が検査画像の画質を悪化させるという課題もある。このように、検査画像の画質は様々な要因で悪化しうる。 When the object to be inspected is a large structure such as a boiler, coke oven, construction machinery, other plants, bridges, dams, or buildings, the camera that takes the inspection image is attached to a robot, drone, or other mobile object that can move along the surface to be inspected. Alternatively, a person holds the camera and moves around to photograph the object to be inspected. In such cases, there is an issue that the image quality of the inspection image taken with a moving camera is not stable. In addition, large structures are often placed in harsh environments with many changes, and there is also an issue that disturbances due to the environment deteriorate the image quality of the inspection image. In this way, the image quality of the inspection image can deteriorate due to a variety of factors.

本発明はこうした状況に鑑みてなされたものであり、その目的は、効果的に検査画像の画質を改善できる画像検査装置および検査画像表示装置を提供することにある。 The present invention has been made in light of these circumstances, and its purpose is to provide an image inspection device and an inspection image display device that can effectively improve the image quality of inspection images.

上記課題を解決するために、本発明のある態様の画像検査装置は、検査対象物を撮影した検査画像に生じうる画質異常の類型を登録する画質異常類型登録部と、撮影された検査画像に基づき、登録された画質異常の類型のうち当該検査画像に生じている画質異常の類型を推定する画質異常類型推定部と、撮影された検査画像に対して、推定された画質異常の類型に応じた画質補正処理を施した補正検査画像を生成する画質補正部とを備える。 In order to solve the above problems, an image inspection device according to one embodiment of the present invention includes an image quality abnormality type registration unit that registers types of image quality abnormalities that may occur in an inspection image of an object to be inspected, an image quality abnormality type estimation unit that estimates the type of image quality abnormality occurring in the inspection image from among the registered types of image quality abnormalities based on the inspection image, and an image quality correction unit that generates a corrected inspection image by applying image quality correction processing to the inspection image according to the estimated type of image quality abnormality.

この態様によれば、撮影された検査画像に生じている画質異常の類型の推定結果に応じた画質補正処理によって、画質の改善された補正検査画像を生成できる。 According to this aspect, a corrected inspection image with improved image quality can be generated by performing image quality correction processing according to the estimated results of the type of image quality abnormality occurring in the captured inspection image.

本発明の別の態様は、検査画像表示装置である。この装置は、検査対象物を撮影した検査画像に生じうる画質異常の類型を登録する画質異常類型登録部と、登録された各類型の画質異常の重みを表示する重み表示部と、撮影された検査画像に対して、登録された各類型の画質異常を個別に補正する個別補正処理を施した個別補正画像を生成し、それらを当該各類型についての重みによって重み付けした合成画像を補正検査画像として表示する補正検査画像表示部とを備える。 Another aspect of the present invention is an inspection image display device. This device includes an image quality abnormality type registration unit that registers types of image quality abnormalities that may occur in an inspection image obtained by photographing an object to be inspected, a weight display unit that displays the weight of each registered type of image quality abnormality, and a corrected inspection image display unit that generates individual corrected images by performing individual correction processing on the photographed inspection image to individually correct each registered type of image quality abnormality, and displays a composite image obtained by weighting the images by the weight for each type as a corrected inspection image.

この態様によれば、検査画像に生じうる各類型の画質異常を個別に補正した個別補正画像を、重み表示部に表示される重みによって重み付けした合成画像が補正検査画像となる。したがって、検査画像に複数の種類の画質異常が同時に生じている場合も、効果的に画質を改善できる。 According to this aspect, the corrected test image is a composite image in which the individual corrected images, in which each type of image quality abnormality that may occur in the test image is individually corrected, are weighted by the weight displayed in the weight display section. Therefore, even if the test image has multiple types of image quality abnormalities occurring at the same time, the image quality can be effectively improved.

本発明のさらに別の態様は、画像検査方法である。この方法は、検査対象物を撮影した検査画像に生じうる画質異常の類型を登録する画質異常類型登録ステップと、撮影された検査画像に基づき、登録された画質異常の類型のうち当該検査画像に生じている画質異常の類型を推定する画質異常類型推定ステップと、撮影された検査画像に対して、推定された画質異常の類型に応じた画質補正処理を施した補正検査画像を生成する画質補正ステップとを備える。 Yet another aspect of the present invention is an image inspection method. This method includes an image quality abnormality type registration step for registering types of image quality abnormalities that may occur in an inspection image obtained by photographing an object to be inspected, an image quality abnormality type estimation step for estimating, based on the photographed inspection image, the type of image quality abnormality that occurs in the inspection image from among the registered types of image quality abnormalities, and an image quality correction step for generating a corrected inspection image by performing image quality correction processing on the photographed inspection image according to the estimated type of image quality abnormality.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 In addition, any combination of the above components, and any transformation of the present invention into a method, device, system, recording medium, computer program, etc., are also valid aspects of the present invention.

本発明によれば、効果的に検査画像の画質を改善できる。 The present invention can effectively improve the image quality of inspection images.

コークス炉の炉内観察装置を模式的に示す側面図である。FIG. 2 is a side view showing a schematic diagram of a coke oven interior observation device. コークス炉の内部を模式的に示す図である。FIG. 2 is a diagram showing a schematic view of the inside of a coke oven. 実施形態に係る画像検査装置の機能ブロック図である。1 is a functional block diagram of an image inspection device according to an embodiment. FIG. 表示制御部による表示画面への表示例を示す図である。11A and 11B are diagrams illustrating examples of display on a display screen by a display control unit.

以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。説明および図面において同一または同等の構成要素、部材、処理には同一の符号を付し、重複する説明は適宜省略する。図示される各部の縮尺や形状は、説明を容易にするために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。実施形態は例示であり、本発明の範囲を何ら限定するものではない。実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。 Below, the embodiments for carrying out the present invention will be described in detail with reference to the drawings. In the description and drawings, the same or equivalent components, members, and processes are given the same reference numerals, and duplicated descriptions are omitted as appropriate. The scale and shape of each part shown in the drawings are set for convenience in order to facilitate the explanation, and should not be interpreted as being limiting unless otherwise specified. The embodiments are illustrative and do not limit the scope of the present invention in any way. All features and combinations thereof described in the embodiments are not necessarily essential to the invention.

本発明の画像検査装置および検査画像表示装置は、任意の検査対象物の検査に利用できる。したがって検査対象物が特に限定されるものではないが、本実施形態ではコークス炉の炉壁を検査対象物とする例を最初に説明する。検査対象物の他の例については後述する。 The image inspection device and inspection image display device of the present invention can be used to inspect any inspection object. Therefore, the inspection object is not particularly limited, but in this embodiment, an example in which the inspection object is the furnace wall of a coke oven will be described first. Other examples of inspection objects will be described later.

図１は、本実施形態の画像検査装置および検査画像表示装置が用いられる炉内観察装置を模式的に示す側面図である。この炉内観察装置は、コークス炉の炭化室（以下、単にコークス炉ともいう）の内部を観察するために使用される。図２は、コークス炉の内部を模式的に示す図である。 Figure 1 is a side view that shows a schematic diagram of an in-furnace observation device that uses the image inspection device and the inspection image display device of this embodiment. This in-furnace observation device is used to observe the inside of a coke oven carbonization chamber (hereinafter, simply referred to as a coke oven). Figure 2 is a schematic diagram showing the inside of a coke oven.

コークス炉１０は、一対のレンガ造りの炉壁１１が互いに対向して設けられた狭窄な炉である。各炉壁１１は、コークス炉１０の一方側の炉入口１２から他方側の炉出口１３に延び、その全長は例えば十数メートルに及ぶ。対向する炉壁１１の間隔は、例えば数十センチメートルである。コークス炉１０の底１５から天井１４への高さは、例えば数メートルである。 The coke oven 10 is a narrow oven with a pair of brick oven walls 11 facing each other. Each oven wall 11 extends from the oven entrance 12 on one side of the coke oven 10 to the oven exit 13 on the other side, with a total length of, for example, several tens of meters. The distance between the opposing oven walls 11 is, for example, several tens of centimeters. The height from the bottom 15 to the ceiling 14 of the coke oven 10 is, for example, several meters.

図１に示される押出装置２０は、コークス炉１０内を反復的に往復移動する。往路において、押出装置２０は、コークス炉１０内に炉入口１２から挿入され、コークス炉１０内の乾留によって生成されたコークスＣを炉出口１３へと押し出す。復路において、押出装置２０は、コークス炉１０内を炉出口１３から炉入口１２へ戻る。押出装置２０は、押板２１とビーム２２を備え、ビーム２２が押板２１を図示しない駆動装置に接続する。この駆動装置により、押板２１がコークス炉１０の炉入口１２と炉出口１３の間を移動自在となっている。押板２１がコークス炉１０の断面と同形状をしているため、押板２１の移動によりコークスＣを押し出せる。 The pushing device 20 shown in FIG. 1 repeatedly moves back and forth within the coke oven 10. On the way there, the pushing device 20 is inserted into the coke oven 10 from the oven entrance 12, and pushes the coke C generated by carbonization in the coke oven 10 to the oven exit 13. On the way back, the pushing device 20 returns to the oven entrance 12 from the oven exit 13 within the coke oven 10. The pushing device 20 includes a push plate 21 and a beam 22, and the beam 22 connects the push plate 21 to a drive device (not shown). This drive device allows the push plate 21 to move freely between the oven entrance 12 and the oven exit 13 of the coke oven 10. Since the push plate 21 has the same shape as the cross section of the coke oven 10, the coke C can be pushed out by the movement of the push plate 21.

検査画像を撮影する撮影装置としてのカメラ３０は、カメラ３０を移動させる移動体としての押出装置２０に取り付けられ、コークス炉１０内を炉入口１２と炉出口１３の間で押出装置２０と共に移動しながら連続的に炉壁１１を撮影する。カメラ３０は、静止画を連続的に撮影するスチルカメラでもよいし、動画を撮影するビデオカメラでもよい。カメラ３０は、押板２１の背面または押板２１の後方に設置された支持台に取り付けられる。 The camera 30, which serves as a photographing device for photographing inspection images, is attached to the pusher device 20, which serves as a moving body for moving the camera 30, and continuously photographs the oven wall 11 while moving together with the pusher device 20 between the oven entrance 12 and the oven exit 13 inside the coke oven 10. The camera 30 may be a still camera that continuously photographs still images, or a video camera that photographs video. The camera 30 is attached to a support table installed on the back of the pusher plate 21 or behind the pusher plate 21.

カメラ３０は、左右の炉壁１１それぞれに向けて取り付けられる２つのカメラを含み、左右両側の炉壁１１の正面視画像を撮影できる。左右の炉壁１１全体を撮影するために、２つのカメラは、上下方向に角度をいくらか変化させながら撮影してもよい。なお、カメラ３０は、押板２１やコークスＣに視界を阻まれないように、押出装置２０によるコークスＣの押出方向と逆方向（図１の右方向）を向くように取り付けられてもよい。その場合、カメラ３０は、炉入口１２に正対して設置されており、左右両側の炉壁１１を斜視画像として撮影できる。 The camera 30 includes two cameras that are mounted facing the left and right oven walls 11, respectively, and can capture front-view images of the oven walls 11 on both the left and right sides. In order to capture images of the entire oven walls 11 on both the left and right sides, the two cameras may capture images while changing the angle somewhat in the vertical direction. The camera 30 may be mounted so as to face in the opposite direction (to the right in FIG. 1) to the extrusion direction of the coke C by the extrusion device 20 so that the view is not obstructed by the pusher plate 21 or the coke C. In this case, the camera 30 is installed directly facing the oven entrance 12, and can capture oblique images of the oven walls 11 on both the left and right sides.

コークス炉１０内の高温環境（たとえば１０００℃以上）からカメラ３０を保護するために、例えば耐熱ハウジングまたは冷却ボックスに収納する熱対策が施されている。 To protect the camera 30 from the high-temperature environment inside the coke oven 10 (e.g., 1000°C or higher), thermal measures are taken, such as storing it in a heat-resistant housing or cooling box.

以上の構成の炉内観察装置において、カメラ３０が撮影する検査画像には、以下のような様々な画質異常が生じうる。 In a furnace interior observation device configured as described above, various image quality abnormalities may occur in the inspection images captured by the camera 30, such as the following:

カメラ３０の撮影状態に起因する画質異常
・ピントまたは焦点のずれ（いわゆるボケ）：移動するカメラ３０と被検査面の距離の変動に起因する
・複数静止画間または動画内の検査対象物の姿勢の変動：移動するカメラ３０の姿勢の変動に起因する
・視点の異常（非正面視画像）：被検査面に対するカメラ３０の配置（上記の斜視画像の例）や、移動するカメラ３０の姿勢の変動に起因する Image quality abnormalities caused by the shooting state of the camera 30 - Focus or out of focus (so-called blur): caused by fluctuations in the distance between the moving camera 30 and the surface to be inspected - Fluctuations in the attitude of the object to be inspected between multiple still images or in a video: caused by fluctuations in the attitude of the moving camera 30 - Viewpoint abnormalities (non-frontal view image): caused by the positioning of the camera 30 with respect to the surface to be inspected (the example of the oblique view image above) or fluctuations in the attitude of the moving camera 30

カメラ３０の置かれる環境に起因する画質異常
・ノイズ：コークス炉１０内を飛散するカーボンチップの映り込みや、高温等によるカメラ３０の動作不良に起因する
・かすみやくもり：コークス炉１０内の火、煙、蒸気等の映り込みに起因する
・光の異常（乱反射、逆光等）：赤熱環境にあるコークス炉１０内の光の変動に起因する Image quality abnormalities caused by the environment in which the camera 30 is placed Noise: caused by the reflection of carbon chips flying inside the coke oven 10 or malfunction of the camera 30 due to high temperatures, etc. Haze or cloudiness: caused by the reflection of fire, smoke, steam, etc. inside the coke oven 10 Light abnormalities (diffuse reflection, backlight, etc.): caused by fluctuations in light inside the coke oven 10, which is in a red-hot environment

図３は、実施形態に係る画像検査装置１００の機能ブロック図である。画像検査装置１００は、検査画像取得部１１０と、画質異常類型推定部１２０と、画質異常推定設定部１３０と、画質補正部１４０と、異常検出部１５０と、異常検出設定部１６０と、検査結果画像生成部１７０と、表示制御部１８０を備える。 Figure 3 is a functional block diagram of an image inspection device 100 according to an embodiment. The image inspection device 100 includes an inspection image acquisition unit 110, an image quality abnormality type estimation unit 120, an image quality abnormality estimation setting unit 130, an image quality correction unit 140, an abnormality detection unit 150, an abnormality detection setting unit 160, an inspection result image generation unit 170, and a display control unit 180.

カメラ３０および画像メモリ３１は、検査対象物の被検査面としての炉壁１１を撮影した検査画像を画像検査装置１００に入力する画像入力部を構成する。表示画面４０は、画像検査装置１００の処理内容を表示する。操作部５０は、表示画面４０と一体のタッチパネルや表示画面４０と別体のキーボードやマウス等の入力デバイスで構成され、ユーザの操作に基づき画像検査装置１００に対する各種の制御情報を生成する。操作部５０による操作の一部または全部をコンピュータが自律的に行うようにプログラミングしてもよい。 The camera 30 and the image memory 31 constitute an image input unit that inputs an inspection image of the furnace wall 11 as the inspected surface of the object to be inspected into the image inspection device 100. The display screen 40 displays the processing contents of the image inspection device 100. The operation unit 50 is composed of an input device such as a touch panel integrated with the display screen 40 or a keyboard or mouse separate from the display screen 40, and generates various control information for the image inspection device 100 based on user operations. A computer may be programmed to autonomously perform some or all of the operations performed by the operation unit 50.

画像メモリ３１は、カメラ３０が連続的に撮影した炉壁１１の検査画像群を保存する。画像メモリ３１は、カメラ３０の内蔵メモリでもよいし、メモリーカード等の汎用のリムーバブルメディアでもよい。また、有線または無線でカメラ３０と通信可能なコークス炉１０外のストレージでもよい。画像検査装置１００は、画像メモリ３１に保存された検査画像群に対して、後述する各処理を実行する。ここで、カメラ３０と画像検査装置１００が有線または無線で通信可能で、画像検査装置１００がカメラ３０の撮影した検査画像をリアルタイムで取得して処理できる場合は、必ずしも全ての検査画像を画像メモリ３１に保存する必要はなく、画像メモリ３１は不要または小容量とできる。 The image memory 31 stores a group of inspection images of the oven wall 11 continuously captured by the camera 30. The image memory 31 may be a built-in memory of the camera 30 or a general-purpose removable medium such as a memory card. It may also be storage outside the coke oven 10 that can communicate with the camera 30 via wired or wireless communication. The image inspection device 100 executes each process described below on the group of inspection images stored in the image memory 31. Here, if the camera 30 and the image inspection device 100 can communicate via wired or wireless communication and the image inspection device 100 can acquire and process the inspection images captured by the camera 30 in real time, it is not necessary to store all the inspection images in the image memory 31, and the image memory 31 can be unnecessary or can have a small capacity.

検査画像取得部１１０は、カメラ３０または画像メモリ３１から、検査対象物を撮影した検査画像を取得する。 The inspection image acquisition unit 110 acquires an inspection image of the object to be inspected from the camera 30 or the image memory 31.

画質異常類型推定部１２０は、検査画像取得部１１０で取得された検査画像に基づき、当該検査画像に生じている画質異常の類型を推定する。画質異常推定設定部１３０は、画質異常類型登録部１３１と訓練データ提供部１３２を備え、操作部５０の操作の下、画質異常類型推定部１２０が検査画像に基づいて画質異常の類型を推定できるように設定する。画質異常類型登録部１３１は、検査画像に生じうる画質異常の類型を登録する。コークス炉１０の炉壁１１を検査対象物とする場合に生じうる画質異常の類型の例については上述した。以下では、これらの類型のうち「ボケ」「斜め（斜視画像）」「ノイズ」「かすみ」の四つの類型の画質異常が検査画像に生じうるものとして、画質異常類型登録部１３１によって登録されているものとする。 The image quality abnormality type estimation unit 120 estimates the type of image quality abnormality occurring in the inspection image based on the inspection image acquired by the inspection image acquisition unit 110. The image quality abnormality estimation setting unit 130 includes an image quality abnormality type registration unit 131 and a training data provision unit 132, and is set so that the image quality abnormality type estimation unit 120 can estimate the type of image quality abnormality based on the inspection image under the operation of the operation unit 50. The image quality abnormality type registration unit 131 registers the type of image quality abnormality that may occur in the inspection image. Examples of types of image quality abnormalities that may occur when the oven wall 11 of the coke oven 10 is the object of inspection have been described above. In the following, it is assumed that the four types of image quality abnormalities, "blur", "diagonal (oblique image)", "noise" and "haze", out of these types, are registered by the image quality abnormality type registration unit 131 as those that may occur in the inspection image.

画質異常類型推定部１２０は、画質異常類型登録部１３１によって登録された「ボケ」「斜め」「ノイズ」「かすみ」について、それぞれが検査画像取得部１１０で取得された検査画像に生じている可能性を表す推定値を出力する。以下、それぞれの推定値をＷ１、Ｗ２、Ｗ３、Ｗ４で表す。また、検査画像に上記のいずれの画質異常も生じていない「正常」の類型となっている可能性を表す推定値をＷ５で表す。これらの推定値Ｗ１～Ｗ５を成分とする推定ベクトルをＶで表す。すなわち、Ｖ＝^ｔ（Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５）である。また、推定値Ｗ１～Ｗ５は、その合計が１．０になるように正規化されているものとする。したがって、Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４＋Ｗ５＝１．０であり、Ｗ１～Ｗ５の各値はそれぞれの類型が検査画像に生じている可能性または確率を表す。例えば、Ｖ＝^ｔ（０．５，０．２，０．１，０．０，０．２）の場合、「ボケ」が生じている可能性は５０％（Ｗ１＝０．５）、「斜め」が生じている可能性は２０％（Ｗ２＝０．２）、「ノイズ」が生じている可能性は１０％（Ｗ３＝０．１）、「かすみ」が生じている可能性は０％（Ｗ４＝０．０）、「正常」が生じている可能性は２０％（Ｗ５＝０．２）である。なお、検査画像取得部１１０で取得された検査画像を任意の複数の部分画像に分割して、画質異常類型推定部１２０が部分画像毎に画質異常の類型を推定してもよい。このとき、各部分画像について、「ボケ」「斜め」「ノイズ」「かすみ」「正常」が生じている可能性を表す推定ベクトルＶが生成される。 The image quality abnormality type estimating unit 120 outputs an estimated value representing the possibility that each of the "blur", "oblique", "noise" and "haze" registered by the image quality abnormality type registering unit 131 occurs in the inspection image acquired by the inspection image acquiring unit 110. Hereinafter, each estimated value is represented by W1, W2, W3 and W4. Also, an estimated value representing the possibility that the inspection image is of the "normal" type, that is, that none of the above image quality abnormalities occurs in the inspection image, is represented by W5. An estimated vector having these estimated values W1 to W5 as components is represented by V. That is, V = ^t (W1, W2, W3, W4, W5). Also, it is assumed that the estimated values W1 to W5 are normalized so that their sum is 1.0. Therefore, W1 + W2 + W3 + W4 + W5 = 1.0, and each value of W1 to W5 represents the possibility or probability that each type occurs in the inspection image. For example, in the case of V= ^t (0.5, 0.2, 0.1, 0.0, 0.2), the possibility of "blurring" occurring is 50% (W1=0.5), the possibility of "oblique" occurring is 20% (W2=0.2), the possibility of "noise" occurring is 10% (W3=0.1), the possibility of "haze" occurring is 0% (W4=0.0), and the possibility of "normal" occurring is 20% (W5=0.2). Note that the inspection image acquired by the inspection image acquisition unit 110 may be divided into any number of partial images, and the image quality abnormality type estimation unit 120 may estimate the type of image quality abnormality for each partial image. At this time, an estimation vector V is generated for each partial image, which indicates the possibility of "blurring", "oblique", "noise", "haze", or "normal" occurring.

画質異常類型推定部１２０は、検査画像取得部１１０で取得された検査画像に基づいて推定ベクトルＶを生成するための機械学習を行う。機械学習の手法は任意であるが、例えば、畳み込み層や全結合層を備える畳み込みニューラルネットワークを用いた深層学習を利用できる。画質異常推定設定部１３０における訓練データ提供部１３２は、画質異常類型推定部１２０の機械学習のための訓練データを提供する。訓練データは、画質異常類型登録部１３１によって登録された画質異常の全類型と、それぞれの画質異常が様々な箇所に様々な態様で実際に生じている多数の検査画像例を網羅する。画質異常類型推定部１２０は、画像検査装置１００の初期セットアップやメンテナンスの際、これらの包括的な訓練データを機械学習することで、検査画像取得部１１０で取得された検査画像に基づいて推定ベクトルＶを生成できる。 The image quality abnormality type estimation unit 120 performs machine learning to generate an estimated vector V based on the inspection image acquired by the inspection image acquisition unit 110. Any machine learning method can be used, but for example, deep learning using a convolutional neural network equipped with a convolution layer or a fully connected layer can be used. The training data provision unit 132 in the image quality abnormality estimation setting unit 130 provides training data for machine learning of the image quality abnormality type estimation unit 120. The training data covers all types of image quality abnormalities registered by the image quality abnormality type registration unit 131 and a large number of examples of inspection images in which each image quality abnormality actually occurs in various locations and in various ways. The image quality abnormality type estimation unit 120 can generate an estimated vector V based on the inspection image acquired by the inspection image acquisition unit 110 by machine learning this comprehensive training data during the initial setup and maintenance of the image inspection device 100.

画質補正部１４０は、検査画像取得部１１０で取得された検査画像に対して、画質異常類型推定部１２０で推定された画質異常の類型に応じた画質補正処理を施した補正検査画像を生成する。具体的には、画質補正部１４０は、検査画像取得部１１０で取得された検査画像に対して、画質異常類型推定部１２０で推定された各類型の画質異常を個別に補正する個別補正処理を施した個別補正画像を生成し、それらを当該各類型についての推定値Ｗ１～Ｗ５によって重み付けした合成画像を補正検査画像として生成する。画質補正部１４０は、これらの一連の処理を実行するために、個別補正画像生成部１４１と、重み付け部１４２と、画像合成部１４３を備える。 The image quality correction unit 140 generates a corrected inspection image by performing image quality correction processing on the inspection image acquired by the inspection image acquisition unit 110 according to the type of image quality abnormality estimated by the image quality abnormality type estimation unit 120. Specifically, the image quality correction unit 140 generates individual corrected images by performing individual correction processing on the inspection image acquired by the inspection image acquisition unit 110 to individually correct each type of image quality abnormality estimated by the image quality abnormality type estimation unit 120, and generates a composite image by weighting the images by the estimated values W1 to W5 for each type as a corrected inspection image. In order to execute this series of processes, the image quality correction unit 140 includes an individual corrected image generation unit 141, a weighting unit 142, and an image composition unit 143.

個別補正画像生成部１４１は、検査画像取得部１１０で取得された検査画像に対して、画質異常類型推定部１２０で推定された「ボケ」「斜め」「ノイズ」「かすみ」の各類型の画質異常を個別に補正する個別補正処理を施した個別補正画像を生成する。個別補正処理は、公知の画像補正技術を利用して実行される。「ボケ」は、deblurringと呼ばれるボケ除去処理技術により補正できる。「斜め」の斜視画像は、カメラ３０の位置情報や姿勢情報を利用した視点変換技術により正面視画像に補正できる。「ノイズ」は、ノイズの特性に応じたノイズ除去技術により補正できる。「かすみ」は、dehazingと呼ばれるかすみ／くもり除去処理技術により補正できる。なお、本実施形態の例では登録されない他の類型の画質異常は次のように補正できる。「複数静止画間または動画内の検査対象物の姿勢の変動」については、複数静止画または動画を構成する各画像の位置や角度を調整することで、検査対象物を画面内の一定箇所に一定姿勢で表示することができる。「光の異常」については、乱反射や逆光など異常の態様に応じた公知の画像補正技術を利用して補正できる。 The individual correction image generating unit 141 generates an individual correction image by performing individual correction processing on the inspection image acquired by the inspection image acquiring unit 110 to individually correct each type of image quality abnormality of "blur", "oblique", "noise", and "haze" estimated by the image quality abnormality type estimating unit 120. The individual correction processing is performed using a known image correction technology. "Blur" can be corrected by a blur removal processing technology called deblurring. "Oblique" oblique image can be corrected to a front view image by a viewpoint conversion technology using the position information and posture information of the camera 30. "Noise" can be corrected by a noise removal technology according to the characteristics of the noise. "Haze" can be corrected by a haze/cloud removal processing technology called dehazing. Note that other types of image quality abnormalities that are not registered in the example of this embodiment can be corrected as follows. Regarding "changes in the posture of the inspection object between multiple still images or in a video", the inspection object can be displayed in a fixed posture at a fixed location on the screen by adjusting the position and angle of each image constituting the multiple still images or video. "Light anomalies" can be corrected using known image correction techniques that correspond to the type of anomaly, such as diffuse reflection or backlighting.

画質異常類型推定部１２０が「ボケ」「斜め」「ノイズ」「かすみ」「正常」について生成する推定値をそれぞれＷ１～Ｗ５としたが、これと同様に、個別補正画像生成部１４１が「ボケ」「斜め」「ノイズ」「かすみ」「正常」について生成する個別補正画像をそれぞれＩ１～Ｉ５とする。ここで、「正常」については特段の個別補正処理は不要なので、画像Ｉ５は検査画像取得部１１０で取得された検査画像そのものである。なお、Ｉ１～Ｉ５との表記は、必ずしも画像全体（全画素）のみを表すものではなく、文脈が許す限り、画像の一部を構成する一または複数の画素を表す場合もある。例えば、上述のように検査画像が任意の複数の部分画像に分割され、推定ベクトルＶ＝^ｔ（Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５）が部分画像毎に生成される場合、Ｉ１～Ｉ５も各部分画像についての個別補正画像を表す。 The estimated values generated by the image quality abnormality type estimation unit 120 for "blur", "oblique", "noise", "haze", and "normal" are respectively designated as W1 to W5. Similarly, the individual correction images generated by the individual correction image generation unit 141 for "blur", "oblique", "noise", "haze", and "normal" are respectively designated as I1 to I5. Here, since no special individual correction process is required for "normal", the image I5 is the inspection image itself acquired by the inspection image acquisition unit 110. Note that the notations I1 to I5 do not necessarily represent only the entire image (all pixels), and may represent one or more pixels constituting a part of the image as long as the context permits. For example, when the inspection image is divided into any number of partial images as described above and an estimated vector V = ^t (W1, W2, W3, W4, W5) is generated for each partial image, I1 to I5 also represent the individual correction images for each partial image.

重み付け部１４２は、個別補正画像生成部１４１で生成された個別補正画像Ｉ１～Ｉ５を、画質異常類型推定部１２０で生成された推定値Ｗ１～Ｗ５によって重み付けする。すなわち、「ボケ」については積Ｗ１×Ｉ１が、「斜め」については積Ｗ２×Ｉ２が、「ノイズ」については積Ｗ３×Ｉ３が、「かすみ」については積Ｗ４×Ｉ４が、「正常」については積Ｗ５×Ｉ５が演算される。 The weighting unit 142 weights the individual corrected images I1 to I5 generated by the individual corrected image generation unit 141 by the estimated values W1 to W5 generated by the image quality abnormality type estimation unit 120. That is, the product W1 x I1 is calculated for "blur", the product W2 x I2 for "oblique", the product W3 x I3 for "noise", the product W4 x I4 for "haze", and the product W5 x I5 for "normal".

画像合成部１４３は、重み付け部１４２で推定値Ｗ１～Ｗ５によって重み付けされた個別補正画像Ｉ１～Ｉ５を合成して、補正検査画像を生成する。具体的には、画像合成部１４３は、重み付け部１４２で演算された五つの積を加算することで補正検査画像を合成する。すなわち、補正検査画像をＩとすると、Ｉ＝Ｗ１×Ｉ１＋Ｗ２×Ｉ２＋Ｗ３×Ｉ３＋Ｗ４×Ｉ４＋Ｗ５×Ｉ５、である。ここで、個別補正画像Ｉ１～Ｉ５を、それぞれの類型の画質異常が生じている確率Ｗ１～Ｗ５で重み付けすることによって、複数の画質異常が同時に生じている場合も、バランス良く効果的に画質を改善できる。 The image synthesis unit 143 synthesizes the individual corrected images I1 to I5 weighted by the estimated values W1 to W5 by the weighting unit 142 to generate a corrected inspection image. Specifically, the image synthesis unit 143 synthesizes the corrected inspection image by adding the five products calculated by the weighting unit 142. That is, if the corrected inspection image is I, then I = W1 x I1 + W2 x I2 + W3 x I3 + W4 x I4 + W5 x I5. Here, by weighting the individual corrected images I1 to I5 by the probabilities W1 to W5 of the occurrence of each type of image quality abnormality, it is possible to improve image quality effectively in a balanced manner even when multiple image quality abnormalities occur simultaneously.

なお、画像合成部１４３は、重み付け部１４２が演算した五つの積のうち一部を選択して補正検査画像Ｉを生成してもよい。このとき、選択された積に係る推定値の和が１．０になるように再正規化がなされるものとする。例えば、画像合成部１４３は、推定値が最大の一つの積を選択してもよい。上記の例では「ボケ」の推定値Ｗ１が最大であるため、これが選択される。したがって補正検査画像ＩはＷ１′×Ｉ１となる。Ｗ１′は再正規化後の推定値であるが、この場合はＷ１′＝１．０となる。また、画像合成部１４３は、推定値が大きい方から例えば三つの積を選択してもよい。上記の例では「ボケ」「斜め」「正常」の三つの推定値Ｗ１、Ｗ２、Ｗ５が大きい。したがって補正検査画像ＩはＷ１′×Ｉ１＋Ｗ２′×Ｉ２＋Ｗ５′×Ｉ５となる。Ｗ１′、Ｗ２′、Ｗ５′は再正規化後の推定値であり、Ｗ１′＋Ｗ２′＋Ｗ３′＝１．０である。具体的には、Ｗ１′＝０．５／０．９、Ｗ２′＝０．２／０．９、Ｗ３′＝０．２／０．９、である。ここで、０．９は、再正規化前の推定値Ｗ１、Ｗ２、Ｗ５の和である。 The image synthesis unit 143 may generate the corrected test image I by selecting some of the five products calculated by the weighting unit 142. At this time, renormalization is performed so that the sum of the estimated values related to the selected products becomes 1.0. For example, the image synthesis unit 143 may select one product with the largest estimated value. In the above example, the estimated value W1 of "blur" is the largest, so it is selected. Therefore, the corrected test image I becomes W1' x I1. W1' is the estimated value after renormalization, and in this case, W1' = 1.0. The image synthesis unit 143 may also select, for example, three products in descending order of estimated value. In the above example, the three estimated values W1, W2, and W5 of "blur", "oblique", and "normal" are large. Therefore, the corrected test image I becomes W1' x I1 + W2' x I2 + W5' x I5. W1', W2', and W5' are estimated values after renormalization, and W1' + W2' + W3' = 1.0. Specifically, W1' = 0.5/0.9, W2' = 0.2/0.9, and W3' = 0.2/0.9. Here, 0.9 is the sum of the estimated values W1, W2, and W5 before renormalization.

異常検出部１５０は、画質補正部１４０で生成された補正検査画像Ｉに基づいて、当該補正検査画像Ｉに映る検査対象物の異常を検出する。異常検出設定部１６０は、異常類型登録部１６１と訓練データ提供部１６２を備え、操作部５０の操作の下、異常検出部１５０が補正検査画像Ｉに映る検査対象物の異常を検出できるように設定する。異常類型登録部１６１は、検査対象物に生じうる異常の類型を登録する。コークス炉１０の炉壁１１を検査対象物とする場合に生じうる異常の類型としては、急熱や急冷による歪みで炉壁１１が破壊するスポーリング、コークスの原料の石炭に由来するカーボンの炉壁１１への付着、炉壁１１を構成するレンガの目地の劣化が例示される。 The anomaly detection unit 150 detects anomalies in the object of inspection reflected in the corrected inspection image I based on the corrected inspection image I generated by the image quality correction unit 140. The anomaly detection setting unit 160 includes an anomaly type registration unit 161 and a training data provision unit 162, and is set so that the anomaly detection unit 150 can detect anomalies in the object of inspection reflected in the corrected inspection image I under the operation of the operation unit 50. The anomaly type registration unit 161 registers types of anomalies that may occur in the object of inspection. Examples of types of anomalies that may occur when the oven wall 11 of a coke oven 10 is the object of inspection include spalling, in which the oven wall 11 is destroyed by distortion caused by rapid heating or cooling, adhesion of carbon derived from coal, which is the raw material for coke, to the oven wall 11, and deterioration of the joints of the bricks that make up the oven wall 11.

異常検出部１５０は、画質補正部１４０で生成された補正検査画像Ｉに基づいて、異常類型登録部１６１で登録された類型の検査対象物の異常を検出するための機械学習を行う。機械学習の手法は任意であるが、例えば、畳み込み層や全結合層を備える畳み込みニューラルネットワークを用いた深層学習を利用できる。異常検出設定部１６０における訓練データ提供部１６２は、異常検出部１５０の機械学習のための訓練データを提供する。訓練データは、異常類型登録部１６１によって登録された検査対象物の異常の全類型と、それぞれの異常が検査対象物の様々な箇所に様々な態様で実際に生じている多数の検査画像例を網羅する。異常検出部１５０は、画像検査装置１００の初期セットアップやメンテナンスの際、これらの包括的な訓練データを機械学習することで、画質補正部１４０で生成された補正検査画像Ｉに基づいて、異常類型登録部１６１で登録された類型の検査対象物の異常を検出できる。画質補正部１４０によって画質が改善された補正検査画像Ｉを用いることによって、異常検出部１５０は高精度に検査対象物の異常を検出できる。 The anomaly detection unit 150 performs machine learning to detect anomalies of the type of the inspection object registered in the anomaly type registration unit 161 based on the corrected inspection image I generated by the image quality correction unit 140. Any machine learning method can be used, but for example, deep learning using a convolutional neural network equipped with a convolutional layer or a fully connected layer can be used. The training data provision unit 162 in the anomaly detection setting unit 160 provides training data for the machine learning of the anomaly detection unit 150. The training data covers all types of anomalies of the inspection object registered by the anomaly type registration unit 161 and a large number of inspection image examples in which each anomaly actually occurs in various ways at various locations on the inspection object. During the initial setup and maintenance of the image inspection device 100, the anomaly detection unit 150 can detect anomalies of the inspection object of the type registered in the anomaly type registration unit 161 based on the corrected inspection image I generated by the image quality correction unit 140 by machine learning these comprehensive training data. By using the corrected inspection image I whose image quality has been improved by the image quality correction unit 140, the anomaly detection unit 150 can detect anomalies in the object being inspected with high accuracy.

検査結果画像生成部１７０は、補正検査画像Ｉに基づき、異常検出部１５０で検出された検査対象物の異常を強調表示する検査結果画像を生成する。強調表示の態様は任意であるが、例えば、補正検査画像Ｉ中で、検出された異常部分の輝度を上げる、色を変える、線で囲む、注記やノートを表示する、等が考えられる。 The inspection result image generating unit 170 generates an inspection result image that highlights the abnormalities in the inspection object detected by the anomaly detection unit 150 based on the corrected inspection image I. The highlighting may be done in any manner, but possible methods include increasing the brightness of the detected abnormal part in the corrected inspection image I, changing the color, surrounding it with a line, displaying a note, etc.

表示制御部１８０は、本発明の検査画像表示装置の主要部を構成し、画像検査装置１００の処理内容を表示画面４０に表示させる。後述するように、ユーザは、操作部５０によって、表示制御部１８０が表示画面４０に表示させる内容を操作できる。 The display control unit 180 constitutes the main part of the inspection image display device of the present invention, and causes the processing contents of the image inspection device 100 to be displayed on the display screen 40. As will be described later, the user can use the operation unit 50 to operate the contents that the display control unit 180 causes to be displayed on the display screen 40.

図４は、表示制御部１８０による表示画面４０への表示例を示す。表示画面４０の左側には、上から順に検査画像表示部４１、補正検査画像表示部４２、検査結果画像表示部４３が設けられる。検査画像表示部４１は、画質補正部１４０による画質補正前の検査画像、すなわち、検査画像取得部１１０で取得された検査画像をそのまま表示する。補正検査画像表示部４２は、画質補正部１４０が検査画像に画質補正処理を施して生成した補正検査画像を表示する。検査結果画像表示部４３は、補正検査画像に映る検査対象物の異常を強調表示する検査結果画像を表示する。 Figure 4 shows an example of display on the display screen 40 by the display control unit 180. On the left side of the display screen 40, from top to bottom, there are provided an examination image display unit 41, a corrected examination image display unit 42, and an examination result image display unit 43. The examination image display unit 41 displays the examination image before image quality correction by the image quality correction unit 140, i.e., the examination image acquired by the examination image acquisition unit 110, as is. The corrected examination image display unit 42 displays the corrected examination image generated by the image quality correction unit 140 by applying image quality correction processing to the examination image. The examination result image display unit 43 displays an examination result image that highlights abnormalities in the examination object shown in the corrected examination image.

図示の例では、検査画像表示部４１に表示される検査画像は、画質異常類型登録部１３１で登録された画質異常の類型「ボケ」「斜め」「ノイズ」「かすみ」のうち、「ボケ」の影響が強く表れた不鮮明な画像になっている。補正検査画像表示部４２に表示される補正検査画像は、画質異常類型推定部１２０および画質補正部１４０によって「ボケ」その他の画質異常が補正された鮮明な画像になっている。検査結果画像表示部４３に表示される検査結果画像は、補正検査画像をベースとしつつ、異常検出部１５０で検出された各種の異常４３１、４３２、４３３を強調表示した画像になっている。 In the illustrated example, the test image displayed on the test image display unit 41 is an unclear image that is strongly influenced by "blur" out of the image quality abnormality types "blur," "oblique," "noise," and "haze" registered in the image quality abnormality type registration unit 131. The corrected test image displayed on the corrected test image display unit 42 is a clear image in which "blur" and other image quality abnormalities have been corrected by the image quality abnormality type estimation unit 120 and the image quality correction unit 140. The test result image displayed on the test result image display unit 43 is an image based on the corrected test image, with the various abnormalities 431, 432, 433 detected by the abnormality detection unit 150 being highlighted.

これらの三種類の画像は、画像検査装置１００が自律的に取得または生成したものであるが、表示画面４０上に並べて表示されることで、ユーザによる目視検査を効果的に支援でき、検査精度を向上できる。例えば、ユーザが検査画像表示部４１に表示される補正前の検査画像と補正検査画像表示部４２に表示される補正検査画像を目視で比較した結果、補正検査画像で画質が十分に改善されていないと判断した場合は、後述するように、操作部５０の操作によって画質異常類型推定部１２０、画質異常推定設定部１３０、画質補正部１４０で実行される画質改善処理を変更できる。同様に、ユーザが補正検査画像表示部４２に表示される補正検査画像と検査結果画像表示部４３に表示される検査結果画像を目視で比較した結果、検査結果画像で異常４３１、４３２、４３３が正しく強調表示されていないと判断した場合は、後述するように、操作部５０の操作によって異常検出部１５０、異常検出設定部１６０、検査結果画像生成部１７０で実行される異常の強調表示処理を変更できる。 These three types of images are acquired or generated autonomously by the image inspection device 100, but by displaying them side by side on the display screen 40, it is possible to effectively support the visual inspection by the user and improve the inspection accuracy. For example, if the user visually compares the uncorrected inspection image displayed on the inspection image display unit 41 with the corrected inspection image displayed on the corrected inspection image display unit 42 and determines that the image quality of the corrected inspection image has not been sufficiently improved, the image quality improvement processing executed by the image quality abnormality type estimation unit 120, image quality abnormality estimation setting unit 130, and image quality correction unit 140 can be changed by operating the operation unit 50 as described below. Similarly, if the user visually compares the corrected inspection image displayed on the corrected inspection image display unit 42 with the inspection result image displayed on the inspection result image display unit 43 and determines that the abnormalities 431, 432, and 433 are not correctly highlighted in the inspection result image, the abnormality highlighting processing executed by the abnormality detection unit 150, abnormality detection setting unit 160, and inspection result image generation unit 170 can be changed by operating the operation unit 50 as described below.

表示画面４０の中央上部には、重み表示部４４が設けられる。重み表示部４４は、画質異常類型登録部１３１で登録された画質異常の類型「ボケ」「斜め」「ノイズ」「かすみ」および「正常」の重みを表示する。これらの重みは、例えば、画質異常類型推定部１２０が出力する推定値Ｗ１～Ｗ５であり、補正検査画像表示部４２に表示される補正検査画像を画質補正部１４０が生成する際の重み付け部１４２における重み付け演算に用いられる。 A weight display section 44 is provided at the top center of the display screen 40. The weight display section 44 displays the weights of the image quality abnormality types "Blurred," "Diagonal," "Noise," "Hazy," and "Normal" registered by the image quality abnormality type registration section 131. These weights are, for example, estimated values W1 to W5 output by the image quality abnormality type estimation section 120, and are used in the weighting calculation in the weighting section 142 when the image quality correction section 140 generates the corrected test image to be displayed on the corrected test image display section 42.

重み表示部４４に表示される重みは、画質異常類型推定部１２０が出力する推定値Ｗ１～Ｗ５に限らず、任意の数値でよい（但し、コンピュータの支援によってＷ１～Ｗ５の和が１．０になるように自動的に正規化されるものとする）。例えば、画像検査装置１００で予め設定されたデフォルト値でもよいし、ユーザが操作部５０を介して入力する任意の値でもよい。また、重み表示部４４に表示されている各重みは、ユーザが操作部５０を介して変更できる（重み変更部）。したがって、ユーザが補正検査画像表示部４２に表示される補正検査画像で画質が十分に改善されていないと判断した場合は、重み表示部４４に表示されている各重みを自ら適宜変更して、変更後の補正検査画像を補正検査画像表示部４２でリアルタイムに確認しながら画質を改善することもできる。 The weights displayed on the weight display unit 44 are not limited to the estimated values W1 to W5 output by the image quality abnormality type estimation unit 120, but may be any numerical value (however, they are automatically normalized with the assistance of a computer so that the sum of W1 to W5 becomes 1.0). For example, they may be default values preset in the image inspection device 100, or any values input by the user via the operation unit 50. In addition, each weight displayed on the weight display unit 44 can be changed by the user via the operation unit 50 (weight change unit). Therefore, if the user determines that the image quality has not been sufficiently improved by the corrected inspection image displayed on the corrected inspection image display unit 42, the user can change each weight displayed on the weight display unit 44 as appropriate, and improve the image quality while checking the corrected inspection image after the change in real time on the corrected inspection image display unit 42.

重み表示部４４に表示されている「ボケ」「斜め」「ノイズ」「かすみ」「正常」の各類型を表すテキストや重みの領域をユーザが操作部５０を介して選択することで、各類型の個別補正画像Ｉ１～Ｉ５を表示する別画面に遷移できるようにしてもよい。このとき、各類型を表すテキストや重みの領域は、個別補正画像を表示する個別補正画像表示部を構成する。個別補正画像Ｉ１～Ｉ５の表示画面では、全ての個別補正画像Ｉ１～Ｉ５を並べて表示するのが好ましい。ユーザは、各個別補正画像Ｉ１～Ｉ５を目視で比較検討することで、各個別補正処理の効果を確認しながら重み表示部４４で設定すべき重みを効果的に検討できる。 The user may select, via the operation unit 50, text or weight areas representing each type of "blurred," "oblique," "noise," "hazy," or "normal" displayed in the weight display unit 44, to transition to another screen displaying the individual correction images I1 to I5 of each type. In this case, the text or weight areas representing each type constitute an individual correction image display unit that displays the individual correction images. It is preferable to display all the individual correction images I1 to I5 side by side on the display screen for the individual correction images I1 to I5. By visually comparing and examining each of the individual correction images I1 to I5, the user can effectively examine the weights to be set in the weight display unit 44 while checking the effects of each individual correction process.

重み表示部４４の下に設けられる属性情報表示部４５には、検査画像の各種の属性情報が表示される。例えば、図示の例のように、検査画像に映る検査対象物の名称（第４炉壁）、撮影箇所の位置座標（Ｘ，Ｙ，Ｚ）、検査画像のファイル名（img.jpg）が表示される。 The attribute information display section 45, which is provided below the weight display section 44, displays various attribute information of the inspection image. For example, as shown in the example, the name of the inspection object shown in the inspection image (fourth furnace wall), the position coordinates (X, Y, Z) of the photographed location, and the file name of the inspection image (img.jpg) are displayed.

属性情報表示部４５の下には、画質改善モデル選択部４６と、異常検出モデル選択部４７が設けられる。 Below the attribute information display section 45, there is an image quality improvement model selection section 46 and an anomaly detection model selection section 47.

画質改善モデル選択部４６は、ユーザの操作部５０の操作に基づいて、画質改善処理のモデルを選択する。画質改善処理のモデルは、画質異常類型推定部１２０、画質異常推定設定部１３０、画質補正部１４０の処理の組合せで構成される。各部の処理のパラメータやアルゴリズムを変えることで、複数の異なる画質改善モデルが画像検査装置１００に予め登録されている。 The image quality improvement model selection unit 46 selects a model for image quality improvement processing based on the user's operation of the operation unit 50. The model for image quality improvement processing is composed of a combination of processing by the image quality abnormality type estimation unit 120, the image quality abnormality estimation setting unit 130, and the image quality correction unit 140. By changing the parameters and algorithms of the processing of each unit, multiple different image quality improvement models are pre-registered in the image inspection device 100.

画質異常類型推定部１２０の処理については、推定ベクトルＶを生成する対象（検査画像全体または部分画像毎）、推定ベクトルＶを生成するアルゴリズム等を変えることができる。画質異常推定設定部１３０の処理については、画質異常類型登録部１３１が登録して表示部４４に表示される画質異常の類型等を変えることができる。画質補正部１４０の処理については、個別補正画像生成部１４１が個別補正画像を生成するアルゴリズム、重み付け部１４２が重み付け演算に使用する推定値Ｗ１～Ｗ５の選択基準、画像合成部１４３が画像合成するアルゴリズム等を変えることができる。また、画質改善モデル選択部４６で選択可能な画質改善モデルは、重み表示部４４を上書き可能な重みの定型的な組合せ^ｔ（Ｗ１，Ｗ２，Ｗ３，Ｗ４，Ｗ５）を指定するものでもよい。 The processing of the image quality abnormality type estimation unit 120 can change the target for generating the estimated vector V (whole inspection image or each partial image), the algorithm for generating the estimated vector V, etc. The processing of the image quality abnormality estimation setting unit 130 can change the type of image quality abnormality registered by the image quality abnormality type registration unit 131 and displayed on the display unit 44, etc. The processing of the image quality correction unit 140 can change the algorithm for generating the individual corrected image by the individual corrected image generation unit 141, the selection criteria for the estimated values W1 to W5 used by the weighting unit 142 in the weighting calculation, the algorithm for image synthesis by the image synthesis unit 143, etc. The image quality improvement model selectable by the image quality improvement model selection unit 46 may specify a typical combination ^t (W1, W2, W3, W4, W5) of weights that can be overwritten on the weight display unit 44.

画質改善モデル選択部４６で画質改善モデルが切り替えられた結果は、更新ボタン４８の押下によって、補正検査画像表示部４２に表示される補正検査画像に即時に反映される。それに伴い、検査結果画像表示部４３に表示される検査結果画像も更新される。また、画質改善モデルの変更によって重みに変更が生じた場合は、重み表示部４４の重みも同時に変更される。このように、画質改善モデル選択部４６は、各類型の画質異常の重みを変更する重み変更部を構成する。 The result of switching the image quality improvement model in the image quality improvement model selection unit 46 is immediately reflected in the corrected test image displayed in the corrected test image display unit 42 by pressing the update button 48. Accordingly, the test result image displayed in the test result image display unit 43 is also updated. Furthermore, if a change in the weight occurs due to a change in the image quality improvement model, the weight in the weight display unit 44 is also changed at the same time. In this way, the image quality improvement model selection unit 46 constitutes a weight change unit that changes the weight of each type of image quality abnormality.

異常検出モデル選択部４７は、ユーザの操作部５０の操作に基づいて、異常検出処理のモデルを選択する。異常検出処理のモデルは、異常検出部１５０、異常検出設定部１６０、検査結果画像生成部１７０の処理の組合せで構成される。各部の処理のパラメータやアルゴリズムを変えることで、複数の異なる異常検出モデルが画像検査装置１００に予め登録されている。 The anomaly detection model selection unit 47 selects a model for anomaly detection processing based on the user's operation of the operation unit 50. The model for anomaly detection processing is composed of a combination of processing by the anomaly detection unit 150, the anomaly detection setting unit 160, and the inspection result image generation unit 170. By changing the parameters and algorithms of the processing of each unit, multiple different anomaly detection models are pre-registered in the image inspection device 100.

異常検出部１５０の処理については、各類型の異常検出のアルゴリズム等を変えることができる。異常検出設定部１６０の処理については、異常類型登録部１６１が登録する検査対象物の異常の類型等を変えることができる。検査結果画像生成部１７０の処理については、検出された異常の強調表示の態様等を変えることができる。異常検出モデル選択部４７で異常検出モデルが切り替えられた結果は、更新ボタン４８の押下によって、検査結果画像表示部４３に表示される検査結果画像に即時に反映される。 The processing by the anomaly detection unit 150 can change the algorithm for detecting anomalies of each type. The processing by the anomaly detection setting unit 160 can change the type of anomaly of the object to be inspected that is registered by the anomaly type registration unit 161. The processing by the inspection result image generation unit 170 can change the manner in which the detected anomaly is highlighted. The result of switching the anomaly detection model by the anomaly detection model selection unit 47 is immediately reflected in the inspection result image displayed on the inspection result image display unit 43 by pressing the update button 48.

画質改善モデル選択部４６または異常検出モデル選択部４７をユーザが操作部５０を介して押下することで、選択候補の複数のモデルと、それらのモデルを適用した際に得られる補正検査画像または検査結果画像を並べて表示する選択画面に遷移できるようにしてもよい。このとき、画質改善モデル選択部４６または異常検出モデル選択部４７は、画質改善モデルまたは異常検出モデルの選択画面を表示するモデル選択画面表示部を構成する。このようなモデル選択画面において、ユーザは各モデルの効果を確認しながら選択すべきモデルを効果的に検討できる。 By the user pressing the image quality improvement model selection unit 46 or the anomaly detection model selection unit 47 via the operation unit 50, transition may be made to a selection screen that displays, side by side, multiple candidate models for selection and the corrected test image or test result image obtained when those models are applied. In this case, the image quality improvement model selection unit 46 or the anomaly detection model selection unit 47 constitutes a model selection screen display unit that displays a selection screen for an image quality improvement model or anomaly detection model. In such a model selection screen, the user can effectively consider which model to select while checking the effect of each model.

保存ボタン４９１を押下すると、表示画面４０に表示される処理内容が画像検査装置１００のメモリに保存される。左右一対の検査画像選択ボタン４９２を押下すると、検査画像表示部４１に表示される検査画像が切り替わり、それに応じて表示画面４０のその他の部分も更新される。 When the save button 491 is pressed, the processing contents displayed on the display screen 40 are saved in the memory of the image inspection device 100. When the pair of left and right inspection image selection buttons 492 are pressed, the inspection image displayed on the inspection image display unit 41 is switched, and the other parts of the display screen 40 are updated accordingly.

以上、本発明を実施形態に基づいて説明した。実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiments. The embodiments are merely examples, and it will be understood by those skilled in the art that various modifications are possible in the combination of each component and each processing process, and that such modifications are also within the scope of the present invention.

実施形態では、画像検査装置１００の検査対象物としてコークス炉１０を例に説明したが、検査対象物はこれに限定されない。例えば、検査対象物は、ボイラー、建設機械など各種の産業機械（コークス炉を含む）、橋梁などの社会インフラ、環境プラントや水処理施設など各種の産業構造物、またはその他の産業設備でもよく、被検査面は、こうした産業設備の内部または外部の被検査面でもよい。また、これらの被検査面の画像群を撮影するカメラは、被検査面に沿って移動可能な任意の構成の移動体に取り付けることができる。例えば、カメラはいわゆるドローンなどの飛行体に取り付けてもよい。 In the embodiment, a coke oven 10 has been described as an example of an object to be inspected by the image inspection device 100, but the object to be inspected is not limited to this. For example, the object to be inspected may be various industrial machines (including coke ovens) such as boilers and construction machines, social infrastructure such as bridges, various industrial structures such as environmental plants and water treatment facilities, or other industrial facilities, and the surface to be inspected may be an internal or external surface of such industrial facilities. In addition, a camera that captures the images of these surfaces to be inspected can be attached to a mobile object of any configuration that can move along the surface to be inspected. For example, the camera may be attached to an aircraft such as a drone.

コークス炉１０以外の検査対象物において、カメラ３０が撮影する検査画像には、次のような画質異常が生じうる。まず、カメラ３０の撮影状態に起因する画質異常、例えば、ピントまたは焦点のずれ（ボケ）、複数静止画間または動画内の検査対象物の姿勢の変動、視点の異常（非正面視画像）は、コークス炉１０に関する実施形態と同様の理由によって生じる。次に、カメラ３０の置かれる環境に起因する画質異常は、検査対象物の置かれる環境に応じて様々である。例えば、検査対象物が屋外に設置されている場合、雨や雪などの天気の影響で検査画像にノイズが生じる。同様に、強風時の砂埃、電磁波等もノイズの原因となる。夜間などの暗い状況で撮影する場合は、カメラのイメージセンサの暗電流によって白点ノイズも発生する。また、霧、靄、光化学スモッグ等は検査画像のかすみやくもりの原因となる。屋外の日照状況の変化は、検査画像に乱反射や逆光等の光の異常を引き起こす。 In the case of an object to be inspected other than the coke oven 10, the following image quality abnormalities may occur in the inspection image captured by the camera 30. First, image quality abnormalities caused by the shooting condition of the camera 30, such as focus or defocus (blur), changes in the posture of the object to be inspected between multiple still images or in a video, and viewpoint abnormalities (non-frontal view image), occur for the same reasons as in the embodiment related to the coke oven 10. Next, image quality abnormalities caused by the environment in which the camera 30 is placed vary depending on the environment in which the object to be inspected is placed. For example, if the object to be inspected is placed outdoors, noise will occur in the inspection image due to weather such as rain or snow. Similarly, dust and electromagnetic waves during strong winds will also cause noise. When photographing in dark conditions such as at night, white spot noise will also occur due to the dark current of the camera's image sensor. In addition, fog, mist, photochemical smog, etc. will cause the inspection image to become hazy or cloudy. Changes in the sunlight conditions outdoors will cause light abnormalities such as diffuse reflection and backlighting in the inspection image.

なお、実施形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。 The functional configuration of each device described in the embodiments can be realized by hardware resources or software resources, or by the cooperation of hardware and software resources. Processors, ROM, RAM, and other LSIs can be used as hardware resources. Programs such as operating systems and applications can be used as software resources.

１０コークス炉、１１炉壁、２０押出装置、３０カメラ、４０表示画面、４１検査画像表示部、４２補正検査画像表示部、４３検査結果画像表示部、４４重み表示部、４６画質改善モデル選択部、５０操作部、１００画像検査装置、１１０検査画像取得部、１２０画質異常類型推定部、１３０画質異常推定設定部、１３１画質異常類型登録部、１４０画質補正部、１４１個別補正画像生成部、１４２重み付け部、１４３画像合成部、１５０異常検出部、１６０異常検出設定部、１７０検査結果画像生成部、１８０表示制御部。 10 Coke oven, 11 Oven wall, 20 Pushing device, 30 Camera, 40 Display screen, 41 Inspection image display unit, 42 Corrected inspection image display unit, 43 Inspection result image display unit, 44 Weight display unit, 46 Image quality improvement model selection unit, 50 Operation unit, 100 Image inspection device, 110 Inspection image acquisition unit, 120 Image quality abnormality type estimation unit, 130 Image quality abnormality estimation setting unit, 131 Image quality abnormality type registration unit, 140 Image quality correction unit, 141 Individual corrected image generation unit, 142 Weighting unit, 143 Image synthesis unit, 150 Anomaly detection unit, 160 Anomaly detection setting unit, 170 Inspection result image generation unit, 180 Display control unit.

Claims

an image quality abnormality type registration unit that registers types of image quality abnormalities that may occur in an inspection image obtained by photographing an object to be inspected;
an image quality abnormality type estimating unit that estimates a type of image quality abnormality occurring in the photographed inspection image from among the registered types of image quality abnormality based on the photographed inspection image;
and an image quality correction unit that performs image quality correction processing on the captured inspection image in accordance with the estimated type of image quality abnormality to generate a corrected inspection image.

The image inspection device according to claim 1 , wherein the types of image quality abnormalities registered by the image quality abnormality type registration unit include image quality abnormalities caused by the shooting state of an imaging device that captures the inspection image and image quality abnormalities caused by the environment in which the imaging device is placed.

the image quality abnormality type estimating unit outputs an estimate representing a possibility that each of the registered types of image quality abnormality occurs in the photographed inspection image;
The image inspection device of claim 1 or 2, wherein the image quality correction unit generates individual corrected images by performing individual correction processing on the captured inspection image to individually correct each of the estimated types of image quality abnormalities, and generates a composite image by weighting the individual corrected images by the estimated values for each type as the corrected inspection image.

The image inspection device according to claim 1 , further comprising an abnormality detection unit that detects an abnormality in the object to be inspected that appears in the corrected inspection image based on the corrected inspection image.

The image inspection device according to claim 4 , further comprising an inspection result image generating unit configured to generate an inspection result image that highlights the detected abnormality based on the corrected inspection image.

an image quality abnormality type registration unit that registers types of image quality abnormalities that may occur in an inspection image obtained by photographing an object to be inspected;
a weight display unit for displaying a weight of each type of image quality abnormality registered;
an inspection image display unit that generates individual corrected images by performing individual correction processing on the photographed inspection image to individually correct each of the registered types of image quality abnormalities, and displays a composite image obtained by weighting these images by the weight for each type as a corrected inspection image.

The inspection image display device according to claim 6 , further comprising a weight changing unit for changing a weight of each type of image quality abnormality.

The inspection image display device according to claim 6 or 7, further comprising an inspection image display unit that displays the inspection image before correction.

The inspection image display device according to claim 6 , further comprising an inspection result image display unit that displays an inspection result image that highlights an abnormality in the inspection object reflected in the corrected inspection image.

an image quality abnormality type registration step of registering types of image quality abnormalities that may occur in an inspection image obtained by photographing an object to be inspected;
an image quality abnormality type estimating step of estimating a type of image quality abnormality occurring in the photographed inspection image from among the registered types of image quality abnormality based on the photographed inspection image;
and an image quality correction step of generating a corrected inspection image by performing image quality correction processing on the captured inspection image according to the estimated type of image quality abnormality.