JP7603528B2 - 検査支援方法及び検査支援システム - Google Patents

Description

本開示は、検査支援方法及び検査支援システムに関する。

Ｘ線等の放射線を、溶接部を含む構造物に照射して画像を撮影し、当該画像から溶接部の欠陥候補を検出する放射線透過試験が知られている。特許文献１には、放射線透過試験装置で撮影した画像を、識別すべき欠陥の特徴を予め学習させた学習済みモデルによって解析して、欠陥候補を識別する技術について開示されている。特許文献２には、原子力プラントの配管検査において撮影された放射線透過画像を鮮鋭化処理して画質を向上させ、欠陥候補を精度よく検出する技術が開示されている。

特許第２９６８４４２号公報 特許第５７４３９３３号公報

特許文献１、２に開示されているように、放射線透過試験装置で撮影した画像から自動的に欠陥候補を検出する技術が提供されている。検査員は、自動検出された欠陥候補の1つ１つについて、画像を確認して、目視により最終的な判断を行っている。しかし、自動検出された欠陥候補には、過剰検出された欠陥候補が含まれており、検査員による確認作業が負担になっている。

本開示は、上記課題を解決することができる検査支援方法及び検査支援システムを提供する。

本開示の検査支援方法は、放射線透過試験の画像検査を支援する検査支援方法であって、同一の検査対象領域を含む画像を複数取得するステップと、複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出するステップと、複数の前記画像の画質を検査員の視認性を考慮した所定の画質に変換する変換画像を作成するステップと、複数の前記変換画像を用いて、前記変換画像に含まれる前記検査対象領域の欠陥候補を検出するステップと、前記画像および前記変換画像に基づいて検出された前記欠陥候補について、複数の前記画像および複数の前記変換画像を通じた総合的な評価、または、複数の前記画像を通じた総合的な評価と複数の前記変換画像を通じた総合的な評価を行うステップと、を有する。

本開示の検査支援システムは、放射線透過試験の画像検査を支援する検査支援システムであって、同一の検査対象領域を含む画像を複数取得する手段と、複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出する手段と、複数の前記画像の画質を検査員の視認性を考慮した所定の画質に変換する変換画像を作成する手段と、複数の前記変換画像を用いて、前記変換画像に含まれる前記検査対象領域の欠陥候補を検出する手段と、前記画像および前記変換画像に基づいて検出された前記欠陥候補について、複数の前記画像および複数の前記変換画像を通じた総合的な評価、または、複数の前記画像を通じた総合的な評価と複数の前記変換画像を通じた総合的な評価を行う手段と、を備える。

上述の検査支援方法及び検査支援システムによれば、放射線透過試験における欠陥候補の検出精度を向上することができる。

実施形態に係る検査支援システムの一例を示すブロック図である。 実施形態に係る検査支援処理の一例を示すフローチャートである。 実施形態に係る統合自動分析処理の一例を示す第１のフローチャートである。 実施形態に係る統合自動分析処理の一例を示す第２のフローチャートである。 実施形態に係る学習処理の一例を示すフローチャートである。 実施形態に係る自動分析処理の一例を示すフローチャートである。 実施形態に係る自動分析処理の変形例を示すフローチャートである。 実施形態に係る検査支援装置のハードウェア構成の一例を示す図である。

以下、本開示の検査支援方法について、図１～図８を参照して説明する。
＜実施形態＞
（システム構成）
図１は、実施形態に係る検査支援システムの一例を示すブロック図である。
検査支援システム１は、放射線透過試験装置２と、デジタイザ３と、表示装置４と、検査支援装置１０とを備える。放射線透過試験装置２は、被検査体Ｍに放射線を照射し、透過した放射線をフィルムで検出して、被検査体Ｍを撮影したアナログ画像（フィルム）を出力する。放射線透過試験装置２は、被検査体Ｍに複数枚のフィルムを装着し、１回の照射で複数の画像が撮影できるものであってもよい。また、放射線透過試験装置２は、被検査体Ｍを撮影したデジタル画像を出力するものであってもよい。被検査体Ｍは、例えば、溶接部を含む板金、配管などの構造物である。放射線透過試験装置２は、溶接部を含むようにして被検査体Ｍを撮影する。デジタイザ３は、放射線透過試験装置２が撮影したアナログ画像（フィルム）をデジタル画像に変換する。以下、放射線透過試験装置２がアナログ画像（フィルム）を出力し、デジタイザ３によってデジタル画像に変換する場合を例として説明を行うが、放射線透過試験装置２がデジタル画像を出力する場合、デジタイザ３は必要なく、検査支援システム１はデジタイザ３を備えない構成とすることができる。検査支援装置１０は、１つの被検査体Ｍを撮影した複数枚のデジタル画像をデジタイザ３又は放射線透過試験装置２から取得して、被検査体Ｍの欠陥候補を検出する。欠陥候補とは、溶接部に生じている空孔や割れなどの溶接欠陥の可能性が高いと考えられるものである。１つの被検査体Ｍの欠陥候補を検出するために、被検査体Ｍを撮影した複数枚のデジタル画像を用いることで、画像に生じるノイズ等の影響や過剰検出を抑制し、欠陥候補の検出精度を向上する。被検査体Ｍを撮影した複数枚のデジタル画像は、同一の撮影条件（照射線量、被検査体Ｍとの位置関係など）で所定の時間内に撮影されたものであることが好ましく、例えば、複数枚のデジタル画像は、複数のフィルム（フィルムは同じ種類でも異なる種類でもよい。）を重ねて同時に撮影された画像、もしくは放射線透過試験装置２に被検査体Ｍをセットした状態で連続撮影して得られた画像である。検査支援装置１０は、検出した欠陥候補を表示装置４や紙、電子ファイル等へ出力する。表示装置４は、液晶ディスプレイ等を用いて構成される。表示装置４は、被検査体Ｍの画像や検査支援装置１０によって検出された欠陥候補を表示する。紙や電子ファイルへ出力された被検査体Ｍの画像等は検査記録として保管される。

検査支援装置１０は、画像取得部１１と、制御部１２と、学習部１３と、入力受付部１４と、出力部１５と、記憶部１６とを備える。
画像取得部１１は、被検査体Ｍを撮影した複数枚のデジタル画像を取得する。
制御部１２は、被検査体Ｍから欠陥候補を検出する処理を制御する。制御部１２は、位置調整部１２１と、画像処理部１２２と、統合分析部１２３と、を備える。
位置調整部１２１は、複数のデジタル画像について、画像内の検査範囲を示すマーカ情報や画像内の特定の位置における周囲との輝度差などを特徴として、複数のデジタル画像間の位置合わせを行う。

画像処理部１２２は、画像取得部１１が取得したデジタル画像について、ノイズ除去、輝度値の変更、フィルタ処理、複数の画像の統合などの各種画像処理を行う。例えば、画像処理部１２２は、複数のデジタル画像を統合して１つの統合画像を作成する。例えば、画像処理部１２２は、デジタル画像を検査員が目視によって確認しやすいような画質（輝度、コントラスト、解像度、画素数、諧調、ダイナミックレンジなど）を有する画像に変換する。また、画像処理部１２２は、画像内の輝度ムラを除去して均質化したり、複数のデジタル画像の画質を基準となる画質に揃えたりといった処理を行う。

統合分析部１２３は、複数のデジタル画像を用いて、画像から溶接欠陥の候補を検出する処理を行う。欠陥候補の検出は、溶接欠陥が写った画像を学習させて構築した学習済みモデル（検出モデル１６１）を用いて実行する。例えば、統合分析部１２３は、画像取得部１１が取得したデジタル画像から所定の特徴量を算出して、その特徴量を検出モデル１６１に入力する。検出モデル１６１は、その特徴量が示す欠陥の種類とその確信度（confidence value）を出力する。統合分析部１２３は、検出モデル１６１が出力した確信度を欠陥候補の確からしさを表すスコアとして扱い、１つの被検査体Ｍを撮影して得られた複数のデジタル画像について、総合的なスコアを算出する。例えば、統合分析部１２３は、複数のデジタル画像それぞれについて算出されたスコアを合計して総合的なスコアを算出する。また、例えば、統合分析部１２３は、複数のデジタル画像を１枚のデジタル画像に統合した統合画像について算出されたスコアを総合的なスコアとして設定する。総合的なスコアは、複数のデジタル画像を通じて算出されたスコアである。例えば、１０枚のデジタル画像のうちの1枚だけから検出された欠陥候補の総合スコアは、１０枚のデジタル画像の全てから検出された欠陥候補の総合スコアよりも小さな値となる。以下、1枚の画像から検出モデル１６１を用いて欠陥候補を検出する処理を自動分析、Ｎ枚の画像を用いて検出モデル１６１に基づいて欠陥候補を検出し、総合的なスコアを算出する処理を統合自動分析と記載する。

学習部１３は、溶接欠陥が写った画像を学習して、デジタル画像からその画像に含まれる溶接欠陥の種類および確信度、溶接欠陥が写る位置などの情報を出力する検出モデル１６１を作成する。例えば、学習部１３は、欠陥ａ１、欠陥ａ２、・・・が写った画像Ａ、欠陥ｂ１、欠陥ｂ２、・・・が写った画像Ｂなどの学習用のデジタル画像を多数読み込んで、欠陥が写った部分の画像の特徴量と、欠陥ａ１，ａ２・・・などの欠陥の種類との関係を学習し、検出モデル１６１を作成する。

入力受付部１４は、ユーザの指示操作や情報の入力を受け付ける。例えば、ユーザは、統合自動分析の実行を指示する操作を検査支援装置１０へ入力する。入力受付部１４は、入力された操作を受け付け、制御部１２へ出力する。

出力部１５は、統合分析部１２３が検出した欠陥候補や総合的なスコアを表示装置４、電子ファイル、紙等へ出力する。
記憶部１６は、画像取得部１１が取得したデジタル画像や検出モデル１６１などの様々な情報を記憶する。

検査支援装置１０は、通信可能な複数のコンピュータによって構成されていてもよい。また、記憶部１６は、検査支援装置１０とは別体のストレージ装置に構成されていてもよい。また、検査支援システム１は、記憶部１６を含む１台のストレージ装置と、ストレージ装置とネットワークを介して通信可能に接続された複数の検査支援装置１０およびそれぞれの検査支援装置１０ごとに設けられた放射線透過試験装置２とデジタイザ３を含んで構成されていてもよい。

（動作）
次に図２～図７を参照して検査支援装置１０の動作について説明する。
１．全体的な処理の流れ
図２に検査支援装置１０を用いた放射線透過試験の支援処理の全体的な流れを示す。
最初に放射線透過試験装置２を用いて、Ｎ枚の被検査体Ｍの画像をフィルム撮影する（ステップＳ１）。被検査体Ｍの同じ場所を撮像する方法としては、フィルムを変えて繰り返して撮影する方法の他、複数のフィルムを重ねて一度に撮影する方法がある。放射線透過試験装置２は、フィルム撮影されたＮ枚のアナログ画像（フィルム）を出力する。次にデジタイザ３を用いて、Ｎ枚のアナログ画像（フィルム）をデジタル画像へ変換する（ステップＳ２）。次に検査員は、Ｎ枚のデジタル画像を検査支援装置１０へ入力する。検査支援装置１０では、画像取得部１１が、Ｎ枚のデジタル画像を取得して記憶部１６へ記録する（ステップＳ３）。次に検査員は、統合自動分析の実行を指示する。入力受付部１４が統合自動分析の実行指示を受け付け、制御部１２へ出力する。すると、まず、位置調整部１２１が、Ｎ枚のデジタル画像の位置合わせを行う（ステップＳ４）。例えば、位置調整部１２１は、Ｎ枚のデジタル画像のそれぞれに写る所定のマーカ情報に基づいて、当該マーカ情報が写った画素群が重なるようにして、Ｎ枚のデジタル画像の位置を合わせる。あるいは、位置調整部１２１は、Ｎ枚のデジタル画像のそれぞれから、周辺画素とは異なる特徴的且つ局所的な輝度値や特徴量を有する画素群を抽出し、抽出した画素群が重なるようにして、Ｎ枚のデジタル画像の位置をマッチングする。Ｎ枚の画像を同一の撮影条件で撮影した場合、理論上は、デジタル画像のほぼ同じ位置に欠陥が写り込むはずである。実際には、画像に写る欠陥候補の位置や大きさは正確に一致するわけではなく、若干の位置ずれが生じる場合がある。また、放射線の特性上、全体的な輝度レベルが多少異なり、輝度ムラやデジタル画像には含まれるノイズが過剰検出の原因となり得る。ステップＳ４では、画像上の確実な目印を基準として位置合わせを行い、後述処理による検出精度の向上を図る。なお、ステップＳ４の位置合わせは必須ではない。もともとＮ枚のデジタル画像の位置が合っている場合には、ステップＳ４の処理を省略することができる。

次に統合分析部１２３が統合自動分析を行う（ステップＳ５）。統合自動分析では、同じ領域を撮像した複数枚のデジタル画像を用いて自動分析を行うことで、フィルムに起因するノイズやデジタイズに起因するノイズの影響を低減し、自動分析の精度向上を図る。統合自動分析には、次の２通りの構成がある。

（１）デジタル画像を１枚ずつ処理する：Ｎ枚のデジタル画像それぞれに対して自動分析を実行してから、その結果を統合する。統合方法としては、例えば、（ａ）全てのデジタル画像で同じ位置に欠陥候補が検出された場合に、その位置に検出モデル１６１が検出した欠陥があるとみなす方法、（ｂ）ある位置で検出された欠陥候補について、Ｎ枚のデジタル画像それぞれで算出されたスコアを合計した値が所定の閾値以上となると、その位置に検出モデル１６１が検出した欠陥があるとみなす方法、（ｃ）Ｎ枚のうちの所定枚数以上で同じとみなせる位置に所定値以上のスコアで欠陥候補が検出されると、その位置に検出モデル１６１が検出した欠陥があるとみなす方法などがある。この処理については、後に図３を用いてより詳細に説明する。

（２）Ｎ枚のデジタル画像をマージして処理する：まずＮ枚のデジタル画像を１つに統合した統合画像を作成し、統合画像に対して自動分析を行う。デジタル画像を統合する方法としては、複数画像の各画素の輝度値の平均を統合画像の対応する画素の輝度値とする方法がある。この処理については、後に図４を用いてより詳細に説明する。

次に出力部１５は、統合自動分析の結果を表示装置４へ出力する（ステップＳ６）。例えば、出力部１５は、Ｎ枚のデジタル画像または１枚の統合画像を表示して、統合自動分析で検出された欠陥候補の位置や総合的なスコアをそれらの画像に重畳して、又は、画像とは別に、例えば一覧形式で表示する。出力部１５は、例えば、欠陥の種類や、総合的なスコアの大きさに応じて色別に表示してもよい。検査員は、表示された統合自動分析の結果を参照して、放射線透過試験の最終的な評価を行う（ステップＳ７）。最終的な評価とは、統合自動分析によって検出された欠陥候補が、真に欠陥であるか、あるいは過剰検出であるかを判断することである。検査員は、統合自動分析で使用した画像を目視で確認するとともに、総合的なスコアを参考にして最終的な評価を行う。このとき、検査員は、自分が確認しやすいように表示装置４に表示される画像（デジタル画像、統合画像など）にフィルタを掛けられるようにしてもよい。例えば、検査員が、画像に適用するフィルタの種類を指定すると、画像処理部１２２が表示された画像に対して、指定されたフィルタ処理を行う。そして出力部１５は、フィルタ処理後の画像を表示装置４へ出力する。検査員は、様々なフィルタを試行することにより、例えば、注目個所が、画像のノイズなのか本当の欠陥が写っているのかを判断することができる。これにより、検査員は、より正確かつ効率的に最終的な評価を行うことができる。

２．統合自動分析（１枚ずつ処理）
次に図３を用いて、ステップＳ５の統合自動分析において、Ｎ枚のデジタル画像を１枚ずつ自動分析する場合の処理について説明する。
制御部１２は、記憶部１６からＮ枚のデジタル画像のうちの１枚目を読み出して、変数ｊに１を設定する（ステップＳ１１）。制御部１２は、統合分析部１２３に自動分析を指示する。統合分析部１２３は、１枚目のデジタル画像について、検出モデル１６１を用いて自動分析を行う（ステップＳ１２）。例えば、統合分析部１２３は、１枚目のデジタル画像について、所定の特徴量を計算し、その計算結果を検出モデル１６１に入力する。統合分析部１２３は、検出モデル１６１が出力した欠陥候補の検出位置の位置情報（例えば、デジタル画像の所定位置を原点としたときの座標情報）と、欠陥の種類（小さな空洞、接合不良、異材混入など）と、スコア（確信度）とを取得し、１枚目のデジタル画像と対応付けて記憶部１６に記録する。次に制御部１２は、変数ｊがＮ以下かどうかを判定する（ステップＳ１３）。変数ｊがＮ以下の場合（ステップＳ１３；Ｙｅｓ）、制御部１２は、変数ｊに１を加算して（ステップＳ１４）、ステップＳ１２以降の処理を繰り返し、実行する。なお、２枚目以降のデジタル画像の自動分析によって、１枚目で検出された欠陥候補と同じ欠陥候補が検出される場合、図２のステップＳ４で位置合わせを行ったので、１枚目と同様の位置情報で検出される。

変数ｊがＮを上回る場合（ステップＳ１３；Ｎｏ）、統合分析部１２３は、Ｎ枚のデジタル画像に対する自動分析の結果を統合する（ステップＳ１５）。（ａ）例えば、統合分析部１２３は、Ｎ枚のデジタル画像の同じとみなせる位置（欠陥候補が検出されたＮ個の位置の座標情報が完全に一致する場合だけではなく、座標情報が所定の範囲内に含まれる場合を含む）に欠陥候補が検出された場合に、当該位置に溶接欠陥があると判定し、Ｎ枚のスコアの合計や平均値を当該欠陥候補の総合的なスコアとして設定する。（ｂ）例えば、統合分析部１２３は、Ｎ枚のデジタル画像のそれぞれで、同じとみなせる位置で検出された欠陥候補について、その欠陥候補のスコアを合計し、合計値が所定の閾値以上となると、当該位置に溶接欠陥があると判定し、スコアの合計や平均値を当該欠陥候補の総合的なスコアとして設定する。（ｃ）例えば、統合分析部１２３は、Ｎ枚のうちの所定枚数以上で同じとみなせる位置に所定値以上のスコアで欠陥候補が検出されると、当該位置に溶接欠陥があると判定し、スコアの合計や平均値を当該欠陥候補の総合的なスコアとして設定する。統合分析部１２３は、欠陥候補の位置情報、欠陥の種類、総合的なスコアを出力部１５へ出力する。図３で説明した方法によれば、複数のデジタル画像から検出された欠陥だけを欠陥候補として出力するので、画像のノイズによる過剰検出や検出モデル１６１による過剰検出を抑制し、欠陥候補の検出精度を向上することができる。

３．統合自動分析（Ｎ枚をマージして処理）
次に図４を用いて、ステップＳ５の統合自動分析において、Ｎ枚のデジタル画像を１枚の統合画像へ統合した後に自動分析する処理について説明する。
制御部１２は、記憶部１６からＮ枚のデジタル画像を読み出す（ステップＳ２１）。制御部１２は、画像処理部１２２に統合画像の作成を指示する。画像処理部１２２は、Ｎ枚のデジタル画像を統合して統合画像を作成する（ステップＳ２２）。例えば、画像処理部１２２は、ステップＳ４の位置合わせ処理の結果、対応することとなったＮ枚のデジタル画像の各画素の輝度値の平均を算出し、その平均値を対応する画素の輝度値として有する統合画像を作成する。そのほかにも、複数画像の各画素の輝度値を合計した値を統合画像の対応する画素の輝度値に設定して統合画像を作成する方法や、複数画像の各画素の輝度値のうちの最大値や最小値、中央値などを統合画像の対応する画素の輝度値に設定して統合画像を作成する方法などが考えられる。画像処理部１２２は、統合画像を記憶部１６に記録する。次に統合分析部１２３は、統合画像について、検出モデル１６１を用いて自動分析を行う（ステップＳ２３）。例えば、統合分析部１２３は、統合画像について計算した所定の特徴量を検出モデル１６１に入力し、欠陥候補の位置情報と、欠陥の種類と、スコアとを取得し、統合画像と対応付けて記憶部１６に記録する。Ｎ枚をマージして処理する場合には、統合画像に基づいて算出されたスコアが総合的なスコアとなる。統合分析部１２３は、総合的なスコアが所定値以上となるものだけを欠陥候補として選択してもよい。統合分析部１２３は、欠陥候補の位置情報、欠陥の種類、総合的なスコアを出力部１５へ出力する。図４で説明した方法によれば、複数のデジタル画像を平均した１枚のデジタル画像（統合画像）を作成し、作成した統合画像に基づいて欠陥候補の検出を行う。これにより、画像間の画質のばらつきを平滑化し、ノイズ等による過剰検出や検出モデル１６１による過剰検出を抑制し、欠陥候補の検出精度を向上することができる。

次に図５～図７を用いて、図３のステップＳ１２、図４のステップＳ２３の自動分析について説明する。
４．検出モデルの作成
まず、図５を用いて、ステップＳ１２，Ｓ２３の自動分析に用いる検出モデル１６１の作成について説明する。まず、画像取得部１１が、学習用のデジタル画像を複数取得する（ステップＳ３１）。学習用のデジタル画像には、溶接欠陥が写り込んでおり、その欠陥の種類や溶接欠陥が写った位置は事前の分析により特定されている。次に学習部１３が、学習用のデジタル画像を機械学習する（ステップＳ３２）。例えば、学習部１３は、所定の計算方法によってデジタル画像から所定の特徴量を抽出する。学習部１３は、溶接欠陥が写った領域について抽出された特徴量と事前の分析によって特定された溶接欠陥との関係、溶接欠陥が写っていない健全な領域について抽出された特徴量と“溶接欠陥なし”の関係を機械学習により学習し、デジタル画像から抽出した特徴量を入力すると、溶接欠陥の有無や、溶接欠陥が検出できる場合にはその欠陥の種類と確信度、画像内の位置情報を出力する検出モデル１６１を作成する。学習部１３は、作成した検出モデル１６１を記憶部１６に記録する。

なお、検出モデル１６１は、自動分析する画像の性質に合わせて作成してもよい。例えば、図３で説明した処理用に、多数の学習用の画像それぞれを学習データとして検出モデル１６１を作成してもよいし、多数の学習用の画像から同じ検査対象領域を撮影したＮ枚の画像を選択して学習用の統合画像を複数作成し、複数の統合画像を学習データとして検出モデル１６１を作成してもよい。また、次に図６を用いて説明する検査員の視認性を考慮した変換画像と同じ要領で多数の学習用の画像のそれぞれについて変換画像を作成し、これらの変換画像を学習データとして、検出モデル１６１を作成してもよい。また、後に図７を用いて説明するように、多数の学習用の画像のそれぞれについて画質調整を行って、画像間の輝度のばらつきや１枚の画像内の輝度ムラなどを平滑化する画質調整を行い、画質調整後の学習用の画像を学習データとして検出モデル１６１を作成してもよい。

５．自動分析処理
次に、図６を用いて、ステップＳ１２、Ｓ２３の自動分析についてさらに詳しく説明する。すでに説明したように、自動分析は、検査対象のデジタル画像から検出モデル１６１を用いて欠陥候補を検出する処理である。ここでは、自動分析を行う際に、原画像を検査員による視認性を考慮した変換画像に変換し、原画像に加え、変換画像に対して自動分析を実行する処理について説明する。原画像とは、画像取得部１１が取得したデジタル画像、又は画像処理部１２２が作成した統合画像である。

まず、統合分析部１２３が、原画像に対して自動分析を行う（ステップＳ４１）。この処理は、図３のステップＳ１２又は図４のステップＳ２３にて説明した処理と同様である。次に制御部１２が、変換画像を用いて自動分析するかどうかを判定する（ステップＳ４２）。例えば、検査員が、原画像による欠陥検出だけでなく、変換画像による欠陥検出を望む場合、予め変換画像を用いて自動分析する設定を検査支援装置１０へ入力する。この設定入力は、入力受付部１４により取得され、記憶部１６に変換画像を用いた自動分析を行う旨の設定情報が設定される。制御部１２は、この設定情報に基づいて、ステップＳ４２の判定を行う。設定情報が登録されていない場合、制御部１２は、変換画像を用いて自動分析を行わないと判定し（ステップＳ４２；Ｎｏ）、図６の処理を終了する。

設定情報が登録されている場合、制御部１２は、変換画像を用いて自動分析を行うと判定し（ステップＳ４２；Ｙｅｓ）、ステップＳ４３、Ｓ４４の処理を実行する。ステップＳ４３では、制御部１２は、画像処理部１２２に変換画像の作成を指示する。画像処理部１２２は、検査員の視認性を考慮して画像変換を行った変換画像を新たに作成する（ステップＳ４３）。一般に放射線透過試験装置２によって撮影された画像や当該画像から変換されたデジタル画像の輝度分布は、そのままでは、輝度のダイナミックレンジが広すぎて人の目で確認するには不適であることが多い。このような場合、検査員は、原画像の輝度やコントラストを調整して分析を行う。放射線透過試験における原画像の分析（例えば、目視により欠陥候補を確認すること）は官能検査の一面もあることから、原画像だけでなく検査員にとって視認性の良い変換画像を組み合わせて自動分析を行う。これにより、自動分析精度の向上を図ることができる。

例えば、出力部１５が、原画像を表示装置４に出力し、検査員は、輝度やコントラストを調整する指示情報を検査支援装置１０へ入力する。画像処理部１２２は、入力受付部１４を介して、指示情報を取得し、指示情報に従って、原画像の輝度やコントラストを変更し、変更後の変換画像を、出力部１５を介して表示装置４へ出力する。検査員は、原画像が検査に適した変換画像となるまで、輝度等の調整を繰り返す。所望の変換画像が得られると、検査員は、画像の調整完了を検査支援装置１０へ入力する。画像処理部１２２は、現在、表示装置４に出力している画像を検査員の視認性を考慮した変換画像として記憶部１６に記録する。残りのデジタル画像が存在する場合、例えばＮ枚の撮影条件が同じであれば、残りのＮ－１枚のデジタル画像についても１枚目のデジタル画像と同様の処理を行って変換画像を作成してもよいし、撮影条件が異なるような場合、残りのＮ－１枚についても、1枚ずつ検査員が確認しながら変換画像を作成してもよい。

または、目視による検査に適した画質に変換した変換画像を代表画像として予め記憶部１６に登録しておき、画像処理部１２２は、変換対象の画像の輝度やコントラストをこの代表画像に合わせることで変換画像を作成してもよい。例えば、画像処理部１２２は、代表画像の画素ごとの輝度の分布を示す輝度ヒストグラム分布情報を作成する。画像処理部１２２は、変換画像における画素ごとの輝度分布が輝度ヒストグラム分布情報に合うように全画素の輝度の自動調整を行って変換画像を作成してもよい。なお、統合画像を作成する場合、Ｎ枚のデジタル画像それぞれについて変換画像を作成してから、それらを統合して統合画像を作成してもよいし、統合画像を作成してから、その統合画像を変換画像へ変換してもよい。また、変換画像は、原画像よりも情報量が少ない画像であってもよい。

変換画像が得られると、統合分析部１２３が、変換画像に対して自動分析を行う（ステップＳ４４）。統合分析部１２３は、ステップＳ４１と同じ検出モデル１６１を使用してもよいが、変換画像に変換した学習用の画像を学習データとして作成した検出モデル１６１を用いて、変換画像に対する自動分析を行うことが好ましい。

図３のステップＳ１２で変換画像を用いた自動分析を行う場合、統合分析部１２３は、図３のステップＳ１５にて、Ｎ枚の原画像とＮ枚の変換画像に対する自動分析の結果を用いて自動分析結果の統合を行ってもよいし、Ｎ枚の原画像に対する自動分析の結果を統合し、それとは別にＮ枚の変換画像に対する自動分析の結果を統合してもよい。また、図４のステップＳ２３で変換画像を用いた自動分析を行う場合、統合画像について実行した自動分析の結果と変換画像について実行した自動分析の結果を、図３のステップＳ１５と同様にして統合してもよいし、統合画像と変換画像に対する自動分析の結果を統合すること無く別々に扱ってもよい。

６．自動分析処理の変形例
図７に自動分析処理（図６）の変形例を示す。図７の処理では、自動分析に先立って画質を調整し、一定の条件に合わせる処理を行う。放射線透過試験の撮像に際しては、被検査体Ｍの個体差、照射口と被検査体Ｍおよびフィルムとの位置関係の差異（フィルムの重ね合わせ位置による近い、遠いなど）、照射エネルギや照射時間の微妙な差異によって、得られる画像の画質に変化が生じる。これを事前に代表画像（この代表画像は、検査員の視認性を考慮して作成した画像ではなく、例えば、Ｎ枚のデジタル画像のうちの1枚であってもよいし、他の基準となるデジタル画像であってもよい。）の画質に合わせることで、自動分析の精度の向上を図ることが可能になる。この画質調整は、特に１枚ずつ処理する構成の場合（図３）に有効であるが、統合画像を作成して自動分析を行う場合（図４）にも有効である。図７に示す処理例では、自動分析の前に画質調整を行うこととしているが、統合画像を作成する場合には、統合画像の作成前（図４のステップＳ２２の前）に画質の調整を行ってもよい。また、画質の調整を行う場合、画質調整後の学習用の画像を学習データとして作成された検出モデル１６１を用いるか（図３の場合）、画質調整後の学習用の画像から複数の統合画像を作成し、これを学習データとして作成された検出モデル１６１を用いて（図４の場合）、自動分析を行うことが好ましい。

画質調整を行う場合、画像処理部１２２が、デジタル画像に対して画質調整を行う（ステップＳ４０）。例えば、画像処理部１２２は、図６のステップＳ４３の処理と同様にして、代表画像の輝度ヒストグラム分布に原画像の輝度分布を合わせることによって輝度およびコントラストの調整を行う。また、例えば、複数の画像間で輝度のオフセットが異なる場合、例えば、原画像１の各画素の画素値にはオフセット量Ｘ１を加算し、原画像２の各画素の画素値にはオフセット量Ｘ２を加算する等して、画像間の輝度分布を揃えるようにしてもよい。また、放射線透過試験装置２で撮影を行うと、画像の中心（照射口付近）は明るく、周囲に行くほど暗くなる低周波成分の輝度ムラが発生しやすい。そこで、例えば、画像処理部１２２は、原画像を周波数分解して、原画像に低周波成分が含まれることを検出すると、低周波数成分をカットするフィルタを掛けることにより、この輝度ムラを抑制する処理を行う。これらの処理により、自動分析対象の原画像を同等の条件に統一して自動分析を行うことができる。

ステップＳ４１以降の処理については図６と同様である。統合分析部１２３は、画質調整後の原画像に対して自動分析を行う（ステップＳ４１）。変換画像を用いて自動分析する場合（ステップＳ４２；Ｙｅｓ）、画像処理部１２２は、画質調整後の原画像について変換画像を作成する（ステップＳ４３）。すでにＮ枚の原画像は画質調整により、画質が揃っているので、最初の１枚に対して変換画像を作成する処理と同様の処理により、残りの原画像についても変換画像を作成することができる。次に統合分析部１２３は、変換画像に対して自動分析を行う（ステップＳ４４）。

以上説明したように本実施形態によれば、検査員が目視による評価を行う前に、複数の画像に基づいて欠陥候補を検出することができる。複数の画像に基づいて欠陥候補を検出することで、各画像固有の特徴（輝度ムラ、ノイズ）等の影響を低減して、欠陥候補を検出することができる。また、1枚の画像から検出される欠陥候補には、過剰検知が含まれており、検査員の確認作業が負担になっているが、複数枚の画像を用いることで、例えば、少数の画像のみから検出された欠陥候補は過剰検出によるものであり、過半数の画像で検出された欠陥候補は確かに欠陥が生じている可能性が高いといった判断ができるので、検査員の作業負担を軽減することができる。あるいは、少数の画像のみから検出された欠陥候補は検出結果に含めず、過半数の画像で検出された欠陥候補のみを検査員へ提示することで、検査員の確認作業の負担を軽減することができる。また、表示装置４に、分析対象の原画像、変換画像、画質調整済み画像および統合自動分析の結果を表示することで、検査員は、各欠陥候補が持つ特徴（確信度、位置など）を把握できるようになり、自動分析結果に対して最終的な評価を行う際に、円滑かつ簡便に作業できるようになる。これにより、検査員の作業性を向上することができる。

なお、実施形態では、溶接の欠陥候補を検出する例を用いて説明を行ったが、本実施形態の適用先は、放射線透過試験における溶接の欠陥候補の検出に限定されず、放射線透過試験装置の撮影画像に基づく、構造物の他の事項の検出に適用することができる。

図８は、実施形態に係る検査支援装置のハードウェア構成の一例を示す図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。上述の検査支援装置１０は、コンピュータ９００に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。

なお、検査支援装置１０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

＜付記＞
各実施形態に記載の検査支援方法及び検査支援システムは、例えば以下のように把握される。

（１）第１の態様に係る検査支援方法は、放射線透過試験の画像検査を支援する検査支援方法であって、同一の検査対象領域を含む画像を複数取得するステップ（Ｓ３）と、複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出する（デジタル画像、統合画像、変換画像などに対する自動分析）ステップ（Ｓ５、Ｓ１２、Ｓ２３）と、検出された前記欠陥候補について、複数の前記画像を通じた総合的な評価（総合的なスコアの算出）を行うステップ（Ｓ５、Ｓ１５、Ｓ２３）と、を有する。
複数の画像を用いて欠陥候補の検出を行い、その結果を総合的に評価することで、放射線透過試験の画像検査の自動分析の精度を向上することができる。

（２）第２の態様に係る検査支援方法は、（１）の検査支援方法であって、前記画像に写った目印を基準として複数の前記画像の位置合わせを行うステップ（Ｓ４）、をさらに有する。
複数の画像の撮影条件が異なる場合でも位置合わせを行うことで、後続の処理で、異なる位置に存在する欠陥候補を混同する等を防止し、検出精度を確保することができる。

（３）第３の態様に係る検査支援方法は、（１）～（２）の検査支援方法であって、前記欠陥候補を検出するステップでは、複数の前記画像のそれぞれについて前記欠陥候補を検出するとともに検出した前記欠陥候補ごとにその確からしさを示すスコアを算出し（Ｓ１２）、前記評価を行うステップでは、前記欠陥候補が検出された画像の数と前記スコアとに基づいて、前記総合的な評価を行う（Ｓ１５）。
画像に含まれるノイズを低減し、過剰検出を防止することができる。

（４）第４の態様に係る検査支援方法は、（１）～（２）の検査支援方法であって、前記欠陥候補を検出するステップでは、複数の前記画像から作成された統合画像（前記画像の各画素の画素値に基づいて算出された値を対応する画素の輝度値とするようにして作成された統合画像）に基づいて前記欠陥候補を検出するとともに検出した前記欠陥候補の確からしさを示すスコアを算出し（Ｓ２３）、前記評価を行うステップでは、前記統合画像に基づいて検出された前記欠陥候補と前記スコアとに基づいて、前記総合的な評価を行う（Ｓ２３）。
画像に含まれるノイズを低減し、過剰検出を防止することができる。

（５）第５の態様に係る検査支援方法は、（３）～（４）の検査支援方法であって、前記画像と検出された前記欠陥候補および前記スコアを表示するステップ、をさらに有する。
複数の画像ごと（統合画像の場合は統合画像について）に評価結果を表示することで、検査員は、欠陥候補の位置とその確からしさを参考にしながら、目視による最終評価を行うことができ、作業の生産性を向上することができる。

（６）第６の態様に係る検査支援方法は、（１）～（５）の検査支援方法であって、前記欠陥候補を検出するステップでは、複数の前記画像の画質を所定の基準に揃えてから前記欠陥候補を検出する処理を行う（Ｓ３０）。
画像の画質を一定の条件に揃えることで、複数の画像に対して、平等・公平な評価を行うことができる。

（７）第７の態様に係る検査支援方法は、（１）～（６）の検査支援方法であって、前記画像の画質を検査員の視認性を考慮した所定の画質に変換する変換画像を作成するステップ（Ｓ３３）、をさらに有し、前記欠陥候補を検出するステップでは、撮影された前記画像から前記欠陥候補を検出するとともに、前記変換画像から前記欠陥候補を検出し、前記評価を行うステップでは、前記画像および前記変換画像から検出された前記欠陥候補に基づいて、前記総合的な評価を行う。
デジタル画像（ＲＡＷデータ）は画面のダイナミックレンジより大きいダイナミックレンジを有することを前提とした場合、ＲＡＷデータで自動欠陥検出を行ったうえで、人が欠陥を見やすくなるように画質（輝度、コントラスト）調整した後の画像（例えば、８ビットの画像データ）へ変換し、その変換後の画像で欠陥候補の自動検出を行うことで、複数の画像に対してそれぞれ、ＲＡＷデータならびに変換画像における検知結果を得ることができる。これにより、検査員による視認性を向上し、最終的に検出精度の向上を期待することができる。

（８）第８の態様に係る検査支援方法は、（６）～（７）の検査支援方法であって、前記画質は、前記画像の輝度とコントラストである。
画像の輝度とコントラストを調整することができる。

（９）第９の態様に係る検査支援方法は、（１）～（８）の検査支援方法であって、複数の前記画像は、前記検査対象領域を複数回撮影して得られた画像と、複数のフィルムを重ねて前記検査対象領域を撮影して得られた画像と、のうちの少なくとも一方を含む。
複数のフィルムを重ねたり、連続して撮影したりすることにより、検出精度の向上に資する画像(例えば、撮影条件が近しい画像）を複数得ることができる。

（１０）第１０の態様に係る検査支援方法は、（１）～（９）の検査支援方法であって、前記欠陥候補を検出するステップでは、画像の特徴量と欠陥との関係を機械学習して作成された検出モデル１６１を用いて、前記欠陥候補の検出を行う。
検出モデルを作成することにより、自動的に欠陥候補を検出することができる。

（１１）第１１の態様に係る検査支援システムは、放射線透過試験の画像検査を支援する検査支援システム１であって、同一の検査対象領域を含む画像を複数取得する画像取得部１１と、複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出する制御部１２と、を備え、前記制御部１２は、検出した前記欠陥候補について、複数の前記画像を通じた総合的な評価を行う。

１・・・検査支援システム
２・・・放射線透過試験装置
３・・・デジタイザ
４・・・表示装置
１０・・・検査支援装置
１１・・・画像取得部
１２・・・制御部
１２１・・・位置調整部
１２２・・・画像処理部
１２３・・・統合分析部
１３・・・学習部
１４・・・入力受付部
１５・・・出力部
１６・・・記憶部
１６１・・・検出モデル
９００・・・コンピュータ
９０１・・・ＣＰＵ
９０２・・・主記憶装置
９０３・・・補助記憶装置
９０４・・・入出力インタフェース
９０５・・・通信インタフェース

Claims (10)

1. 放射線透過試験の画像検査を支援する検査支援方法であって、
   同一の検査対象領域を含む画像を複数取得するステップと、
   複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出するステップと、
   複数の前記画像の画質を検査員の視認性を考慮した所定の画質に変換する変換画像を作成するステップと、
   複数の前記変換画像を用いて、前記変換画像に含まれる前記検査対象領域の欠陥候補を検出するステップと、
   前記画像および前記変換画像に基づいて検出された前記欠陥候補について、複数の前記画像および複数の前記変換画像を通じた総合的な評価、または、複数の前記画像を通じた総合的な評価と複数の前記変換画像を通じた総合的な評価を行うステップと、
   を有する検査支援方法。
2. 前記画像に写った目印を基準として複数の前記画像の位置合わせを行うステップ、
   をさらに有する請求項１に記載の検査支援方法。
3. 前記画像に含まれる前記検査対象領域の前記欠陥候補を検出するステップでは、複数の前記画像のそれぞれについて前記欠陥候補を検出するとともに検出した前記欠陥候補ごとにその確からしさを示す第１のスコアを算出し、
   前記変換画像に含まれる前記検査対象領域の欠陥候補を検出するステップでは、複数の前記変換画像のそれぞれについて前記欠陥候補を検出するとともに検出した前記欠陥候補ごとにその確からしさを示す第２のスコアを算出し、
   前記評価を行うステップでは、前記欠陥候補が検出された前記画像の数と前記第１のスコアとに基づいて、第１の総合的なスコアを算出し、前記欠陥候補が検出された前記変換画像の数と前記第２のスコアとに基づいて、第２の総合的なスコアを算出し、
   前記画像、前記画像から検出された前記欠陥候補および前記第１の総合的なスコアと、前記変換画像、前記変換画像から検出された前記欠陥候補および前記第２の総合的なスコアと、を出力する、
   請求項１または請求項２に記載の検査支援方法。
4. 前記欠陥候補を検出するステップでは、複数の前記画像および複数の前記変換画像から作成された統合画像に基づいて前記欠陥候補を検出するとともに検出した前記欠陥候補の確からしさを示すスコアを算出し、
   前記評価を行うステップでは、前記統合画像に基づいて検出された前記欠陥候補と前記スコアとに基づいて、総合的なスコアを算出し、
   前記統合画像、前記統合画像から検出された前記欠陥候補および前記総合的なスコアを出力する、
   請求項１または請求項２に記載の検査支援方法。
5. 前記画像に含まれる前記検査対象領域の前記欠陥候補を検出するステップおよび前記変換画像に含まれる前記検査対象領域の欠陥候補を検出するステップでは、複数の前記画像の画質を所定の基準に揃えてから前記欠陥候補を検出する処理を行う、
   請求項１から請求項４の何れか１項に記載の検査支援方法。
6. 前記変換画像を作成するステップでは、前記画像を表示装置に出力し、輝度およびコントラストを調整する指示情報の入力を受け付け、前記指示情報に従って、前記画像の輝度およびコントラストを変更し、変更後の前記変換画像を前記表示装置へ出力するという処理を、検査に適した前記変換画像となるまで繰り返す、
   請求項１から請求項５の何れか１項に記載の検査支援方法。
7. 前記画質は、前記画像の輝度とコントラストである、
   請求項１または請求項５に記載の検査支援方法。
8. 複数の前記画像は、前記検査対象領域を複数回撮影して得られた画像と、複数のフィルムを重ねて前記検査対象領域を撮影して得られた画像と、のうちの少なくとも一方を含む、
   請求項１から請求項７の何れか１項に記載の検査支援方法。
9. 前記欠陥候補を検出するステップでは、画像の特徴量と欠陥との関係を機械学習して作成された検出モデルを用いて、前記欠陥候補の検出を行う、
   請求項１から請求項８の何れか１項に記載の検査支援方法。
10. 放射線透過試験の画像検査を支援する検査支援装置であって、
    同一の検査対象領域を含む画像を複数取得する手段と、
    複数の前記画像を用いて、前記画像に含まれる前記検査対象領域の欠陥候補を検出する手段と、
    複数の前記画像の画質を検査員の視認性を考慮した所定の画質に変換する変換画像を作成する手段と、
    複数の前記変換画像を用いて、前記変換画像に含まれる前記検査対象領域の欠陥候補を検出する手段と、
    前記画像および前記変換画像に基づいて検出された前記欠陥候補について、複数の前記画像および複数の前記変換画像を通じた総合的な評価、または、複数の前記画像を通じた総合的な評価と複数の前記変換画像を通じた総合的な評価を行う手段と、
    を備える検査支援システム。

Images