JP7754486B2 - 接合部のボイド、クラックの可視化装置および接合部のボイド、クラックの可視化方法 - Google Patents

Description

本発明は、透過Ｘ線画像や超音波顕微鏡画像を用いて、電子部品、半導体素子、薄膜デバイス、厚膜デバイス、電子機器等の物体内部または接合部に発生した空間、ボイド・クラックを非破壊で可視化する可視化装置、可視化方法、及び、当該コンピュータプログラム、コンピュータプログラムの操作方法、表示方法等に関するものである。
また、本発明は、機械学習モデルの選択及び適用方式、予測モデルの作成方法、予測モデルの使用方法に関するものである。

電子部品の端子と、電子部品を実装する基板の電極とは、はんだ付けされる。はんだ５の接合部等にはプリヒートやリフロー条件等によりボイド３６が発生する。また、電子部品や基板が熱ストレスによる膨張と収縮を繰り返し、それらの膨張率の違いにより接合部等にクラック３９が発生する。
電子回路の基板歩留まりの問題を改善するためには、非破壊による接合部等のボイド３６やクラック３９の検出と品質の検査が重要となっている。
従来から、はんだ５等の接合部を非破壊で検査する方法として、透過Ｘ線画像や超音波顕微鏡画像を目視で検査する方法が適用されてきた。

目視検査は、僅かな像の変化を捉えることができるが、検査員による良否判定のバラツキが大きく、時間の制限から検査箇所も限定されていた。目視検査では、ボイド３６やクラック３９を正確に検出して測定することは難しく、そのプロセスには時間がかかっていた。

特開２０１２－６８２０９

従来の機械学習モデルを利用した画像検査の手法では、様々な特徴を持つボイド３６やクラック３９をロバスト性高く検出するために、単一の機械学習モデルではなく、撮影対象に合わせた機械学習モデルを複数用意する必要があった。
そのため、未知の撮影対象の画像入力がされた場合には、どの機械学習モデルを適用して予測をするべきか、自動で決定することは困難であった。

これらの課題に対して、本発明は、複数の機械学習モデル中から最適な機械学習モデルを、専用の表示方法を用いて、ユーザが適宜選択できるアプローチをとる。ユーザが最も良い予測結果を得られる機械学習モデルを選択すれば、多種多様なボイド３６やクラック３９を高精度に検出し、従来の検査時間を大幅に短縮することができる。

本発明は、物体内部を可視化するために用いる、複数の機械学習モデルの中から最適な機械学習モデルを限定することを特徴とする物体内部の可視化装置、物体内部の可視化方法、物体内部の可視化装置のコンピュータプログラムに関するものである。

本発明は、パターン分類プログラム１３３と画像スケール調整プログラム１３４により、未知の撮影対象の画像を分類及び調整することで、複数の機械学習モデルの中から最適な機械学習モデルを限定することを特徴とする。

本発明は、前述により限定された候補の機械学習モデル群から最適なものを選択する過程において、本発明のモデル選択プログラム５０４により、機械学習モデルに特別の知識を持たないユーザが最適な機械学習モデルを容易に選択できるような表示方法を持つことを特徴とする。

本発明は、ユーザ編集状況確認プログラム１３５を用いて、予測結果に対するユーザの評価を間接的に取得するアプローチをとることにより、同じ種類の画像入力がされた場合に、どの機械学習モデルを適用するべきかを保持し、ユーザの画像検査の利便性を向上させることを特徴とする。
また、自動検出装置１は、装置全体を制御する制御部１１、主記憶部１２、通信部１３、操作部１４、表示パネル１５、補助記憶部１６を備える。

超音波顕微鏡２、Ｘ線ＣＴ装置３の機器で撮影された画像は、撮影画像アップロードプログラム１０３により、補助記憶部１６にアップロードされ、撮影画像（１）ＤＢに保存される。

本発明は、物体において、Ｘ線装置で取得された透過Ｘ線画像と、Ｘ線ＣＴ装置で取得された断面画像と、超音波装置で取得された超音波画像のうち少なくとも一方の画像から、機械学習モデルを用いて画像データの種類を分類する第１の動作と、画像データ中の対象物の位置や角度やスケールを調整する第２の動作により、物体内部を可視化するために用いる複数の機械学習モデルの中から最適な機械学習モデルを限定する。

また、本発明は、物体において、Ｘ線装置で取得された透過Ｘ線画像と、Ｘ線ＣＴ装置で取得された断面画像と、超音波装置で取得された超音波画像のうち少なくとも一方の画像から、機械学習モデルを用いて前記画像データの種類を分類する第１の動作と、画像データ中の対象物の位置や角度やスケールを調整する第２の動作により、限定された候補の機械学習モデル群から最適なものを選択する過程において、機械学習モデルに特別の知識を持たないユーザが最適な機械学習モデルを容易に選択できるような表示方法を有する。

また、本発明は、物体において、Ｘ線装置で取得された透過Ｘ線画像と、Ｘ線ＣＴ装置で取得された断面画像と、超音波装置で取得された超音波画像のうち少なくとも一方の画像から、機械学習モデルを用いて前記画像データの種類を分類する第１の動作と、画像データ中の対象物の位置や角度やスケールを調整する第２の動作と、ユーザが選択した機械学習モデルを用いて画像データ中の物体内部の可視化をする第３の動作後、その可視化結果に対するユーザの評価を間接的に取得し、選択した機械学習モデルを次回適用するべきかを保持することで、ユーザの画像検査の利便性を向上させる。

単一の機械学習モデルではなく、複数の機械学習モデルを用いて、その中から適切な機械学習モデルを適用するアプローチをとることにより、電子部品等の多種多様なボイド３６やクラック３９を高精度に自動検出することが可能となり、従来の検査時間あるいは検出時間等を大幅に短縮することができる。

本発明の物体内部、接合部の可視化装置の説明図である。 はんだ接合部等の可視化観察画像の説明図である。 本発明の物体内部、接合部の可視化方法における撮影画像からボイド、クラックの領域検出する方法の説明図である。 本発明の物体内部、接合部の可視化方法における撮影画像からボイド、クラックの領域検出する方法の説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部に発生したボイド、クラックを自動検出する際の機械学習用モデル（領域検出）の選択方法を説明する説明図である。 本発明の物体内部、接合部の可視化方法の説明図である。 本発明の物体内部、接合部の可視化方法及び当該コンピュータプログラムの説明図である。 本発明の物体内部、接合部の可視化方法及び当該コンピュータプログラムの説明図である。 本発明の物体内部、接合部の可視化方法及び当該コンピュータプログラム説明図である。 本発明の物体内部、接合部の可視化方法及び当該コンピュータプログラム説明図である。

以下、本発明を当該実施の形態を示す図面に基づいて説明する。明細書で記載する実施形態では、理解を容易にするため、電子部品４のはんだ接合部を例示して説明するが、これに限定されるものではない。

本発明の技術的思想は建築物、電気機器、電子機器、機械部品、機械機器、電子部品、電子部品実装基板、機械部品、機械ジグ、人体内部診断等の多くの物体、多種類の構造・形状に適用することができる。
発明を実施するための形態を説明するための各図面において、同一の機能を有する要素には同一の符号を付し、説明を省略する場合がある。
また、本発明の実施例は、それぞれの実施例を組み合わせることができる。また、一部を他の実施例と組み合わせることができる。
なお、理解を容易にするため、図示を容易にするため等を目的として、拡大、縮小、省略する場合がある。

図１は、ボイド・クラック自動検出（可視化）装置１、超音波顕微鏡２、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置３、及び電子部品４とはんだ５等の接合部の構成を示すブロック図である。

なお、本明細書の実施例において、Ｘ線ＣＴ装置３でパターンを取得するとして説明するが、Ｘ線透視観察装置、超音波顕微鏡２等、他の非破壊観察装置等に置き換えても良い。

また、パターンを取得する装置は、超音波顕微鏡２、Ｘ線ＣＴ３に限定されるものではなく、例えば、発熱分布からなるパターンを測定する赤外線サーモ装置、ガンマ線で物体内部状態を測定あるいは観測するガンマ線測定装置等が例示される。

Ｘ線顕微鏡（Ｘ線ＣＴ等）３は、対象物の内部を非破壊で観察する顕微鏡である。Ｘ線透視観察装置と異なり、試料を透過したＸ線を光等に変換し光学レンズ等により拡大する。

Ｘ線は物質を透過する性質がある。Ｘ線が試料を透過する際に一部は吸収される。吸収の割合は、材料の密度が高く（原子番号が大きい）、厚さが厚いと大きくなるため、透過するＸ線強度が低くなる（例えば、図１７及びその説明を参照）。

対象物内に、ボイド３６、クラック３９が発生していると、ボイド３６、クラック３９部のＸ線透過率が大きくなるため、取得されたパターンにボイド３６、クラック３９が表示される。

Ｘ線ＣＴ装置３は、観察対象のサンプルに対して３６０°(DEG.)のＸ線透過情報を基に、コンピュータで計算処理を行い、試料の３次元データを構築する。回転ピッチを狭くし、より多くの情報を得ることで、精度の高い３次元データを得ることができる。

Ｘ線画像は、基本的には２次元の画像である。ボイド３６、クラック３９は、多数が発生し、発生したボイド３６、クラック３９は３次元的に分布する。したがって、取得されたＸ線画像には、ボイド３６、クラック３９が重なったパターンとなる。

超音波顕微鏡２は、対象物の内部の剥離・ボイド・クラック・異物等の欠陥を非破壊で観察する顕微鏡である。超音波は、異なる物質へ伝播した際に、一部が反射し、一部が透過する。観察対象に、例えば、剥離箇所（空隙）があると、強い反射波が検出される。観察対象に対して平面スキャンし、この反射波が検出される位置をマークしておくことで、剥離箇所（空隙）の２次元的な分布を取得することができる。
画像化した超音波顕微鏡画像も、Ｘ線画像と同様に、ボイド３６、クラック３９が重なったパターンの画像になる。

本発明のボイド・クラック自動検出（可視化）装置１は、ボイド・クラックの位置、発生状態を自動的あるいは所定の操作により観察、検査、判断、判定等を実施し、また、ボイド・クラックを自動的、可視化、検出等をする機能を有する。以降、ボイド・クラック自動検出（可視化）装置は、自動検出装置と呼ぶ。

本発明のＸ線ＣＴ装置３は、対象物内をＸ線が透過する際の「透過しやすさ」、「吸収されやすさ」の違いを利用して、再構成処理を行うことにより、物体の内部構造を得ることができる。

本発明の超音波顕微鏡２は、対象物内を超音波が伝播する際の「透過しやすさ」、「反射しやすさ」の違いを利用して、再構成処理を行うことにより、物体の内部構造を得ることができる。
自動検出装置１は、装置全体を制御する制御部１１、主記憶部１２、通信部１３、操作部１４、表示パネル１５、補助記憶部１６を備える。

自動検出装置１は、例えばデスクトップ型コンピュータ、ノート型パーソナルコンピュータ、タブレット、スマートフォン、インターネット等のコンピュータネットワークを経由して、コンピュータ資源をサービスの形で提供するクラウド環境にあるコンピュータ等で構成することができる。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成することができる。制御部１１はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成してもよい。

主記憶部１２は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。
通信部１３は、ネットワーク１７を介して、自動検出装置１との間で通信を行う機能を有し、所要の情報の送受信を行うことができる。
操作部１４は、例えばハードウェアキーボード、マウス、タッチパネル等で構成される。

表示パネル１５は、液晶パネル又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示パネル等で構成することができる。制御部１１は、表示パネル１５に所要の情報を表示するための制御を行う。

補助記憶部１６は、大容量メモリ、ハードディスク等であり、制御部１１が処理を実行するために必要なプログラム、並びにユーザ認証プログラム１０１、案件管理プログラム１０２、撮影画像アップロードプログラム１０３、機械学習プログラム１１０、自動検出プログラム１１１、解析結果編集閲覧プログラム１１２、解析レポート自動作成プログラム１１３、解析レポート通知プログラム１１４、解析レポート編集閲覧プログラム１１５、パターン分類プログラム１３３、画像スケール調整プログラム１３４、ユーザ編集状況確認プログラム１３５を記憶している。

図１７は本発明の物体内部、接合部の可視化方法の説明図である。可視化する測定あるいは観察対象を電子部品４とした場合における取得範囲を決定あるいは調整するための説明図である。

Ｘ線焦点１６２とＸ線検出器との距離は、Ｘ線焦点からＸ線検出器までの距離１６１とする。Ｘ線焦点１６２と電子部品４との距離は、Ｘ線焦点から資料までの距離１６０とする。

Ｘ線焦点１６２からＸ線が出射される。電子部品４とＸ線焦点１６２であるＸ線焦点から資料までの距離１６０を調整する、あるいは設定することによりＸ線検出器１６３に投影される拡大投影像１６４の大きさが変化する。また、Ｘ線焦点からＸ線検出器までの距離１６１を調整する、あるいは設定する。

Ｘ線ＣＴ３等でデータを取得した際、倍率は、試料の大きさに対するＸ線ＣＴ３の検出器入力面上の拡大投影像１６４の大きさの比であり、Ｘ線焦点１６２からＸ線検出器１６３までの距離１６１÷Ｘ線焦点から試料までの距離１６０で計算できる。Ｘ線焦点１６３から試料までの距離１６０が長くなると倍率は小さくなり、取得範囲が広くなる。

Ｘ線検出器での拡大投影像１６４の大きさを調整あるいは変化させることにより、多くの撮影画像、機械学習用データ等を得ることができる。また、試料としての電子部品４は、回転、傾き調整、左右位置移動等を行うことにより、多くの撮影画像、機械学習用データ等を得ることができる。

補助記憶部１６に記憶されるユーザ認証プログラム１０１、案件管理プログラム１０２、撮影画像アップロードプログラム１０３、機械学習プログラム１１０、自動検出プログラム１１１、解析結果編集閲覧プログラム１１２、解析レポート自動作成プログラム１１３、解析レポート通知プログラム１１４、解析レポート編集閲覧プログラム１１５、パターン分類プログラム１３３、画像スケール調整プログラム１３４、ユーザ編集状況確認プログラム１３５は、各プログラムを読み取り可能に記録した記録媒体１８により提供されてもよい。

記録媒体１８は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）等の可搬型のメモリである。
また、図に示していない読取装置を用いて記録媒体１８から読み取られ、補助記憶部１６にインストールされてもよい。
次に、超音波顕微鏡２やＸ線ＣＴ装置３の機器で撮影された画像が、補助記憶部１６にどのように保存されるかを説明する。

超音波顕微鏡２やＸ線ＣＴ装置３の機器がインターネットに接続されている場合には、超音波顕微鏡２やＸ線ＣＴ装置３の設定情報に基づき、ユーザ認証プログラム１０１により、ユーザ認証が自動的に行われ、案件管理プログラム１０２により、案件登録が自動的に行われる。

よって、超音波顕微鏡２やＸ線ＣＴ装置３の機器で撮影された画像は、撮影画像アップロードプログラム１０３により、補助記憶部１６にアップロードされ、撮影画像（１）ＤＢに保存される。

一方で、超音波顕微鏡２やＸ線ＣＴ装置３の機器がインターネットに接続されていない場合には、機器から撮影された画像を取り出し、インターネットに接続されているコンピュータ等にコピーする。

コンピュータにおいて、ユーザ認証プログラム１０１により、ログイン操作を行い、案件管理プログラム１０２により、案件登録を行う。次に、撮影画像アップロードプログラム１０３により、画像を補助記憶部１６にアップロードすると、撮影画像（１）ＤＢ１０４に保存することができる。

補助記憶部１６には、アップロードされた画像データは撮影画像（１）ＤＢ１０４に、ボイド・クラックが自動検出された結果は解析結果（１）ＤＢ１０５に、それぞれユーザやグループや案件毎に保存される。

自動検出結果から自動測定されるボイド率やクラック率を記した解析レポートは解析レポート（１）ＤＢ１０６に、それぞれユーザやグループや案件毎に保存される。

撮影画像（１）ＤＢ１０４及び解析結果（１）ＤＢ１０５を用いて作成されるデータセットは機械学習用データ（１）ＤＢ１０７に、それぞれユーザやグループや案件毎に保存される。
各データにアクセスできるユーザは、ユーザ認証プログラム１０１により認証を受けたユーザのみである。

補助記憶部１６には、自動検出プログラム１１１を記憶している。この自動検出プログラム１１１は、機械学習用モデル（領域検出）ＤＢ１０９を用いることにより、撮影画像（１）ＤＢ１０４に保存された画像に対して、クラックの自動検出及びクラック率の自動測定を実行する。

また、撮影画像（１）ＤＢ１０４に保存された画像は、一定量毎に一括して処理することができる。この自動検出プログラム１１１の詳細については、後述する。

自動検出プログラム１１１により自動検出及び自動測定された結果は、解析結果（１）ＤＢ１０５に保存される。保存された解析結果データは、解析結果編集閲覧プログラム１１２によって読み出され、ユーザはその解析結果を編集及び閲覧することができる。この編集作業では、ユーザ認証プログラム１０１により許可されたユーザが共同で編集することができる。

解析レポート自動作成プログラム１１３は、撮影画像（１）ＤＢ１０４に保存された画像と、解析結果（１）ＤＢ１０５にある解析結果を読み出し、ユーザの指定したフォーマットに則り、ボイド率やクラック率等の数値データや不具合原因等のテキストデータを自動生成し、解析レポートとしてまとめ、解析レポート（１）ＤＢ１０６に保存する。

新規作成もしくは更新された解析レポートがある場合には、解析レポート通知プログラム１１４により、その内容がメールやメッセージやチャットサービス等を通じてユーザに通知される。ユーザは、解析レポート編集閲覧プログラム１１５を読み出し、その解析レポートを編集及び閲覧することができる。この編集作業では、ユーザ認証プログラムにより許可されたユーザが共同で編集することができる。

補助記憶部１６には、機械学習プログラム１１０を記憶している。この機械学習プログラム１１０は、撮影画像（１）ＤＢ１０４及び解析結果（１）ＤＢ１０５を用いて、機械学習用データ（１）ＤＢを作成し、そのデータセットを用いて機械学習を行い、機械学習用モデル（パターン分類）ＤＢ１０８及び機械学習用モデル（領域検出）ＤＢ１０９を作成する。

機械学習に用いるデータセットについては、ユーザやグループや案件毎に保存されている撮影画像ＤＢ及び解析結果ＤＢを個別に用いる場合もあれば、それらを共有して用いる場合もある。

作成された機械学習用モデル（パターン分類）ＤＢ１０８及び機械学習用モデル（領域検出）ＤＢ１０９は、パターン分類プログラム１３３及び自動検出プログラム１１１で用いられる。そのため、機械学習プログラム１１０は、パターン分類プログラム１３３及び自動検出プログラム１１１が実行されるタイミングとは別のタイミング（例えば、ユーザが本システムを使用していない時間帯等）で実行される。

パターン分類プログラム１３３は、機械学習用モデル（パターン分類）ＤＢ１０８を用いて、図２の縦軸に示すパターン別、特に、電子部品の形状、形態、構造等による分類を行うプログラムである。

画像スケール調整プログラム１３４は、図２の横軸に示すスケール別、特に、拡大縮小、回転、位置の違いを調整するプログラムである。調整方法は、画像中に記載されたスケール値５０１（例えば、１ピクセルが何マイクロメートルに相当するか）を用いる場合、ＢＧＡボール径５０２を用いる場合、部品長５０３を用いる場合等があり、パターン分類プログラム１３３で分類されたパターンにより、特定の調整方法を定義している。この画像スケール調整プログラム１３４により、後段の自動検出プログラム１１１への入力画像のばらつきを少なくし、自動検出結果精度の向上に寄与している。

ユーザ編集状況確認プログラム１３５は、解析結果編集閲覧プログラム１１２等でのユーザの編集状況、例えば、自動検出プログラム１１１の出力結果に対してどのくらい編集がされているのか、閲覧時間等を確認し、後段で説明するモデル選択プログラム５０４の選択結果を保持するかどうかを決定するプログラムである。

図３は、撮影画像群に対して、機械学習プログラム１１０により作成された機械学習用モデル（パターン分類）ＤＢ１０８及び機械学習用モデル（領域検出）ＤＢ１０９を利用して、ボイド３６やクラック３９を自動検出する際のフローチャートを示した説明図である。

まず、超音波顕微鏡２あるいはＸ線ＣＴ３の少なくとも一方を用いて、撮影画像群が入力され、アップロードされる。なお、アップロードとは、案件管理プログラム１０２に保存することが例示される。なお、アップロード先は、クラウドサーバーに限定されるものではなく、例えば、自動検出装置１の機能を有するスマートフォン等であってもよい。

次に、パターン分類プログラム１３３によって、機械学習用モデル（パターン分類）ＤＢ１０８を用いて、電子部品の形状、形態、構造等による分類により、撮影画像群のパターン分類がなされる。

それぞれのパターンに分類された撮影画像群は、画像スケール調整プログラム１３４によって、それぞれのパターンに依る特定の調整方法により、拡大縮小、回転、位置等の画像調整がなされる。

次に、画像調整された撮影画像群に対して、機械学習用モデル（領域検出）ＤＢ１０９の中から適切な機械学習用モデル（領域検出）を用いて、自動検出プログラム１１１によって、画像中のボイド３６やクラック３９の領域が自動検出される。自動検出プログラム１１１の詳細については後述する。

自動検出された結果を、解析結果編集閲覧プログラム１１２によって、ユーザが編集し閲覧することができ、その編集閲覧状況は、ユーザ編集状況確認プログラムによって、モニタリングされている。ユーザ編集状況確認プログラムの詳細については後述する。
図４は、自動検出プログラム１１１及びユーザ編集状況確認プログラム１３４の詳細を示した説明図である。

まず、画像スケール調整プログラム１３４により出力された撮影画像は、その撮影画像が属する案件に、機械学習用モデル（領域検出）が存在するのかどうかを確認する。前述のように、各撮影画像は、それぞれユーザやグループや案件毎に保存されており、その各々には、機械学習用モデル（領域検出）が存在するものもあれば、存在しないものもある。

なぜなら、前述のように、機械学習用モデル（領域検出）を作成する機械学習プログラム１１０は、パターン分類プログラム１３３が実行されるタイミングとは別のタイミング（例えば、ユーザが本システムを使用していない時間帯等）で実行されるからである。

図４中の「本画像が属する案件に機械学習用モデル（領域検出）があるか？」に対して「はい」の場合、つまり、当該撮影画像が属する案件に、機械学習用モデル（領域検出）が存在する場合（ここでは説明のため案件（１）とする）、領域検出予測プログラム５０５は、機械学習用モデル（領域検出）（１）を用いて、画像中のボイド３６やクラック３９を自動検出し、その結果が解析結果（マスク画像）群２２に保存する。

一方、図４中の「本画像が属する案件に機械学習用モデル（領域検出）があるか？」に対して「いいえ」の場合、つまり、当該撮影画像が属する案件に、機械学習用モデル（領域検出）が存在しない場合（ここでは説明のため案件（３）とする）、モデル選択プログラム５０４により、画像中のボイド３６やクラック３９を自動検出するための機械学習用モデル（領域検出）を、機械学習用モデル（領域検出）ＤＢ１０９より選択する。選択方法については、後述する。

ユーザが選択した機械学習用モデル（領域検出）を用いて、先ほどの場合と同様に、領域検出予測プログラム５０５は、画像中のボイド３６やクラック３９を自動検出し、その結果が解析結果（マスク画像）群２２に保存する。

次に、その結果を、解析結果編集閲覧プログラム１１２が読み込み、ユーザが編集し閲覧できるようになる。その際に、ユーザ編集状況確認プログラム１３４は、その結果がどの程度編集されたか、どの程度閲覧されたかを確認する。

図４中の「解析結果が一定程度編集されたか？」に対して「いいえ」の場合、つまり、ユーザ編集状況確認プログラム１３４は、解析結果の編集が少なかった、もしくは、閲覧時間が短かったと判断した場合、前述のモデル選択プログラム５０４によるユーザの機械学習用モデル（領域検出）選択が適切であったと判断し、機械学習用モデルコピープログラム５０６は、ユーザが選択した機械学習用モデル（領域検出）を自身の案件（案件（３））用に、その参照をコピーする。

このコピーにより、今後、自身の案件（案件（３））の撮影画像を扱う際には、モデル選択をすることなく、以前に選択した同じ機械学習用モデルを利用することができる。これにより、ユーザの画像検査の利便性を向上させることができる。

一方、図４中の「解析結果が一定程度編集されたか？」に対して「はい」の場合、つまり、ユーザ編集状況確認プログラム１３４は、解析結果の編集が多かった、もしくは、閲覧時間が長かったと判断した場合、前述のモデル選択プログラム５０４によるユーザの機械学習用モデル（領域検出）選択が適切でなかったと判断し、前述のコピーは行わない。
よって、今後、自身の案件（案件（３））の撮影画像を扱う際には、再度適切な機械学習用モデル（領域検出）を選択することになる。

図５は、モデル選択プログラム１３３の操作画面の説明図である。図５等は、領域検出結果エリア１３７、４つの領域検出結果エリア１３７（領域検出結果エリア１３７ａ、領域検出結果エリア１３７ｂ、領域検出結果エリア１３７ｃ、領域検出結果エリア１３７ｄ）を設けた実施例である。

領域検出結果エリア１３７は、表示領域４０に１領域でもよいし、表示領域４０に４領域以上でもよい。操作状態あるいは使用状況あるいは処理状態に対応させて、表示領域４０に、１つ以上の領域検出結果エリア１３７を発生させる。
表示領域４０は、表示パネル１５に表示させる。また、ユーザが使用する表示装置にオンラインあるいはオフラインで表示させる。

なお、以下の説明において、領域検出結果エリア１３７に表示するパターンとして、ボイド３６を例示して説明するが、ボイド３６に限定するものではなく、クラック３９等の他の評価パターンであってもよいことは言うまでもない。

本発明は、前述により限定された候補の機械学習モデル群から最適なものを選択する過程において、本発明のモデル選択プログラム５０４により、機械学習モデルに特別の知識を持たないユーザが最適な機械学習モデルを容易に選択できるような表示方法を持つことを特徴とする。

本発明は、ユーザ編集状況確認プログラム１３５を用いて、予測結果に対するユーザの評価を間接的に取得するアプローチをとることにより、同じ種類の画像入力がされた場合に、どの機械学習モデルを適用するべきかを保持し、ユーザの画像検査の利便性を向上させることを特徴とする。

表示領域４０に、複数の機械学習用モデル（領域検出）ＤＢ１０９により領域検出された結果を、４画面分割して領域検出結果エリア１３７に表示している。なお、入力デバイスで（指タッチ入力、マウス入力、入力パッド入力等）の操作の理解を容易にするため、入力デバイスでの操作１４０として図示する。

モデル選択プログラム１３３は、候補となる機械学習用モデル（領域検出）による検出結果を表示領域４０に表示する。表示領域４０は複数に区分され、区分された各領域に検出結果を表示する。

入力デバイスでの操作１４０により、領域検出結果エリア１３７ｂの左隅を押すもしくは領域検出結果エリア１３７ｂ上を右方向（矢印方向）にスワイプ操作することで撮影画像の表示１３８ｂへの切り替えが可能となる。なお、切替え時のアニメーション状態を切替えアニメーション１３９として図示している。

図６は、モデル選択プログラム１３３の操作画面の説明図である。図６に図示するように領域検出結果エリア１３７ｂから撮影画像の表示１３８ｂへの表示が遷移する間、表裏表示、ページめくり表示等の切替えアニメーション１３９により変化させることで両者の差分を際立たせる効果を発揮させる。

図７は、モデル選択プログラム１３３の操作画面の説明図である。撮影画像の表示１３８ｂから領域検出結果エリア１３７ｂへの表示切替えは撮影画像の表示１３８ｂの左隅を押すもしくは撮影画像の表示１３８ｂ上を左方向にスワイプ操作することで撮影画像の表示１３８ｂへの切り替えが可能となる。

図８は、モデル選択プログラム１３３の操作画面の説明図である。図８に図示するように、図６と同様に切替えアニメーション効果をつけることも可能である。図８に図示するように撮影画像の表示１３８ｂから領域検出結果エリア１３７ｂに表示が遷移する間、表裏表示、ページめくり表示等の切替えアニメーション１３９により変化させることで両者の差分を際立たせる効果を発揮させる。

図９は、モデル選択プログラム１３３の操作画面の説明図である。選択した領域検出結果エリア１３７ｂを表示領域４０全体に表示するには、領域検出結果エリア１３７ｂの中央付近を押すことで可能である。

例えば、領域検出結果エリア１３７ｂ中央付近を１秒以上の期間、長押しする。領域検出結果エリア１３７ｂの中央付近を押さえることにより、領域検出結果エリア１３７ｂが表示領域４０の全体に表示される。

図１０は、モデル選択プログラム１３３の操作画面の説明図である。図９の実施例において、図６同様に切替えアニメーション効果をつけることもが有効である。領域検出結果エリア１３７ｂの中央付近を押さえることにより、領域検出結果エリア１３７ｂが矢印に図示するように広がる。領域検出結果エリア１３７ｂは表示領域４０の全体に拡大し、また、視覚的に領域検出結果エリア１３７ｂが広がることが認識されるように動作させる。

図１１は、モデル選択プログラム１３３の操作画面の説明図である。分割表示されている領域検出結果エリア１３７（領域検出結果エリア１３７ａ、領域検出結果エリア１３７ｂ、領域検出結果エリア１３７ｃ、領域検出結果エリア１３７ｂ）の各領域のサイズの変更も、分割線のドラッグで可能である。

図１２に図示するように、領域検出結果エリア１３７ａ、領域検出結果エリア１３７ｂ、領域検出結果エリア１３７ｃ、領域検出結果エリア１３７ｂの交差部を押さえ、図１２に図示するように、入力デバイスでの操作１４０を移動させる。

図１２は、モデル選択プログラム１３３の操作画面の説明図である。図１２に図示するように、入力デバイスでの操作１４０する位置を移動させることにより、領域検出結果エリア１３７ａ、領域検出結果エリア１３７ｃ等の表示面積を可変することができる。

図１３は、モデル選択プログラム１３３の操作画面の説明図である。図９の操作と同様に、単一表示となった領域検出結果エリア１３７についても、領域検出結果エリア１３７の左隅を押すもしくは領域検出結果エリア１３７上を右にスワイプ操作することで撮影画像の表示１３８への切り替えが可能となる。採用ボタン（ＯＫ）１４１を押すことで機械学習用モデル（領域検出）の選択を完了することが可能である。

なお、採用ボタンは、”ＯＫ”だけでなく、”戻る”、”更新”等の複数の選択ボタンを表示し、任意の１つ以上のボタンをクリックあるいは選択できるように構成してもよい。

図１４は、モデル選択プログラム１３３の操作画面の説明図である。図６と同様に切替えアニメーション効果をつけることも可能である。図１４に図示するように領域検出結果エリア１３７から撮影画像の表示１３８への表示が遷移する間、表裏表示、ページめくり表示等の切替えアニメーション１３９により変化させることで両者の差分を際立たせる効果を発揮させる。

図１５は、モデル選択プログラム１３３の操作画面の説明図である。撮影画像の表示１３８の左隅を押すもしくは撮影画像の表示１３８上を左にスワイプ操作することで撮影画像の表示１３８への切り替えが可能となる。また、図１３と同様に、採用ボタン１４１を押すことで機械学習用モデル（領域検出）の選択を完了することが可能である。
図１６は、モデル選択プログラム１３３の操作画面の説明図である。図６同様に切替えアニメーション効果をつけることも可能である。

以上の本発明の実施例は、物質内部のボイド３６の検出、可視化装置及び可視化方法等について説明した。クラック３９もＸ線ＣＴ装置３等でパターンを取得することができる。ボイド３６の画像とクラック３９の画像とは異なるが、クラック３９として学習させることにより、クラック３９を検出することができるようになる。したがって、本明細書の実施例においてボイド３６として説明した事項は、クラック３９として置き換えることができることは言うまでもない。

また、パターンは、Ｘ線ＣＴ装置３等による透過Ｘ線画像で取得するだけでなく、例えば、超音波顕微鏡２を用いても、透過Ｘ線画像に対応するパターンを取得することができる。また、ガンマ線装置も使用することができる。したがって、本発明の装置において、Ｘ線ＣＴ装置等のＸ線装置は、超音波顕微鏡等の超音波装置２に置き換えても良いことは言うまでもない。
また、Ｘ線ＣＴ装置３等のＸ線装置と超音波顕微鏡２とを組み合わせて、パターンを取得することにより、ボイド３６、クラック３９等を検出精度が向上する。

以上の実施例は、透過Ｘ線画像におけるボイド３６、クラック３９等の検出する方法あるいは装置であるが、本発明はこれに限定するものではない。例えば、接着樹脂内の気泡、コンクリートブロック内の空間、鉄材料部品内の他の金属の混在物、生物の内蔵内の脂肪粒等、多種多様なものを非破壊で解析、分析できることは言うまでもない。
図１８、図１９、図２０、図２１は、本発明の自動検出方法及びコンピュータプログラムを使用するビジネスモデルの説明図である。

図１８は、第１の実施形態におけるビジネスモデルの説明図である。超音波顕微鏡２、Ｘ線ＣＴ装置３等で撮影した画像を所有する顧客Ａに対して、会社Ａは、図１におけるユーザ認証プログラム１０１、案件管理プログラム１０２、撮影画像アップロードプログラム１０３、機械学習プログラム１１０、自動検出プログラム１１１、解析結果編集閲覧プログラム１１２、解析レポート自動作成プログラム１１３、解析レポート通知プログラム１１４、解析レポート編集閲覧プログラム１１５等を内包したプログラム（以下、「ボイド・クラック自動検出プログラム」とする）を提供もしくは販売する。

顧客Ａは、デスクトップ型コンピュータ、ノート型パーソナルコンピュータ、タブレット、スマートフォン上に、ボイド・クラック自動検出プログラムをインストールし、利用することが可能となる。会社Ａはボイド・クラック自動検出プログラムのライセンス料を顧客Ａから受け取る。

図１９は、第２の実施形態におけるビジネスモデルの説明図である。超音波顕微鏡２、Ｘ線ＣＴ装置３等で撮影した画像を所有していない顧客Ａに対して、会社Ａは、会社Ａの所有する超音波顕微鏡２、Ｘ線ＣＴ装置３等で撮影した画像群と、ボイド・クラック自動検出プログラムを提供もしくは販売する。

顧客Ａは、デスクトップ型コンピュータ、ノート型パーソナルコンピュータ、タブレット、スマートフォン上に、ボイド・クラック自動検出プログラムをインストールし、利用することが可能となる。会社Ａは、画像撮影料及びボイド・クラック自動検出プログラムのライセンス料を顧客Ａから受け取る。

図２０は、第３の実施形態におけるビジネスモデルの説明図である。超音波顕微鏡２、Ｘ線ＣＴ装置３等で撮影した画像を所有する顧客Ａに対して、会社Ａは、ボイド・クラック自動検出プログラムをクラウドサーバー上で動作させる。

顧客Ａは、デスクトップ型コンピュータ、ノート型パーソナルコンピュータ、タブレット、スマートフォンのＷｅｂブラウザを使い、ボイド・クラック自動検出プログラムを利用することができる。会社Ａは、ボイド・クラック自動検出プログラムの利用料を顧客Ａから受け取る。

図２１は、第４の実施形態におけるビジネスモデルの説明図である。超音波顕微鏡２、Ｘ線ＣＴ装置３等で撮影した画像を所有していない顧客Ａに対して、会社Ａは、会社Ａの所有する超音波顕微鏡２、Ｘ線ＣＴ装置３等で撮影した画像群を用意し、ボイド・クラック自動検出プログラムをクラウドサーバー上で動作させる。

顧客Ａは、デスクトップ型コンピュータ、ノート型パーソナルコンピュータ、タブレット、スマートフォンのＷｅｂブラウザを使い、ボイド・クラック自動検出プログラムを利用することができる。会社Ａは、画像撮影料及びボイド・クラック自動検出プログラムの利用料を顧客Ａから受け取る。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。本明細書及び図面に記載した事項あるいは内容は、相互に組み合わせることができることは言うまでもない。

１ ボイド・クラック自動検出装置
２ 超音波顕微鏡
３ Ｘ線ＣＴ装置
４ 電子部品（測定試料）
５ はんだ
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 操作部
１５ 表示パネル
１６ 補助記憶部
１７ ネットワーク
１８ 記録媒体
２１ 撮影画像群
２２ 解析結果（マスク画像）群
３１ パターン分類訓練プログラム
３２ パターン分類予測プログラム
３６ ボイド
３７ 区分（処理単位）
３８ はんだ部
３９ クラック
４０ 表示領域
４１ 領域検出訓練プログラム
４２ 領域検出予測プログラム
１０１ ユーザ認証プログラム
１０２ 案件管理プログラム
１０３ 撮影画像アップロードプログラム
１０４ 撮影画像（１）ＤＢ
１０５ 解析結果（１）ＤＢ
１０６ 解析レポート（１）ＤＢ
１０７ 機械学習用データ（１）ＤＢ
１０８ 機械学習用モデル（パターン分類）ＤＢ
１０９ 機械学習用モデル（領域検出）ＤＢ
１１０ 機械学習プログラム
１１１ 自動検出プログラム
１１２ 解析結果編集閲覧プログラム
１１３ 解析レポート自動作成プログラム
１１４ 解析レポート通知プログラム
１１５ 解析レポート編集閲覧プログラム
１３３ モデル適合プログラム
１３４ 画像スケール調整プログラム
１３５ ユーザ編集状況確認プログラム
１３７ 候補モデルによる領域検出結果エリア
１３８ 撮影画像の表示
１３９ 表裏表示切替えアニメーション
１４０ 入力デバイスでの操作
１４１ 採用ボタン
１６０ Ｘ線焦点から試料までの距離
１６１ Ｘ線焦点からＸ線検出器までの距離
１６２ Ｘ線焦点
１６３ Ｘ線検出器
１６４ 拡大投影像
２０１ パターン分類予測プログラム
２０２ パターンＡ用領域検出予測プログラム
２０３ パターンＢ用領域検出予測プログラム
２０４ パターンＣ用領域検出予測プログラム
３０１ 撮影画像（ＡＢ）ＤＢ
３０２ パターン（ＡＢ）ＤＢ
３０３ データ水増し前処理プログラム
３０４ 機械学習用データ（ＡＢ）ＤＢ
３０５ 機械学習（訓練）プログラム
３０６ 撮影画像群
３０７ 前処理プログラム
３０８ 機械学習（予測）プログラム
３０９ パターン分類結果群
４０１ 撮影画像（Ａ）ＤＢ
４０２ マスク画像（Ａ）ＤＢ
４０３ データ水増し前処理プログラム
４０４ 機械学習用データ（Ａ）ＤＢ
４０５ 機械学習（訓練）プログラム
４０６ 撮影画像群
４０７ 前処理プログラム
４０８ 機械学習（予測）プログラム
４０９ 解析結果（マスク画像）群
５０１ 画像中に記載されたスケール値
５０２ ＢＧＡボール径
５０３ 部品長
５０４ モデル選択プログラム
５０５ 領域検出予測プログラム
５０６ 機械学習用モデルコピープログラム

Claims (10)

1. 接合部の透過Ｘ線画像と断面画像と超音波画像のうち少なくとも１つの画像を取得する画像取得装置と、
   取得した前記画像を、機械学習モデルを用いてパターンに分類するパターン分類プログラムと、
   前記画像の可視化対象物の位置と回転と拡大縮小のうち少なくとも１つを調整する画像調整プログラムと、
   前記画像から可視化対象物を検出する検出プログラムと、
   複数の前記可視化対象物の画像を表示する表示装置と、
   前記可視化対象物の画像閲覧時間を確認する確認プログラムを具備することを特徴とする接合部のボイド、クラックの可視化装置。
2. 接合部の透過Ｘ線画像と断面画像と超音波画像のうち少なくとも１つの画像を取得する画像取得装置と、
   取得した前記画像を、機械学習モデルを用いてパターンに分類するパターン分類プログラムと、
   前記画像の可視化対象物の位置と回転と拡大縮小のうち少なくとも１つを調整する画像調整プログラムと、
   前記画像から可視化対象物を検出する検出プログラムと、
   複数の前記可視化対象物の画像を表示する表示装置と、
   前記表示された複数の可視化対象物の画像から所定の可視化対象物の画像を選択する選択プログラムと、
   前記可視化対象物の画像閲覧時間を確認する確認プログラムを具備することを特徴とする接合部のボイド、クラックの可視化装置。
3. 接合部の透過Ｘ線画像と断面画像と超音波画像のうち少なくとも１つの画像を取得する画像取得装置と、
   取得した前記画像を、機械学習モデルを用いてパターンに分類するパターン分類プログラムと、
   前記画像の可視化対象物の位置と回転と拡大縮小のうち少なくとも１つを調整する画像調整プログラムと、
   前記画像から可視化対象物を検出する検出プログラムと、
   ユーザが前記可視化対象物の画像を閲覧し、前記可視化対象物の画像を選択する選択プログラムと、
   前記可視化対象物の画像閲覧時間を確認する確認プログラムを具備することを特徴とする接合部のボイド、クラックの可視化装置。
4. 接合部の透過Ｘ線画像と断面画像と超音波画像のうち少なくとも１つの画像を取得する画像取得装置と、
   取得した前記画像を、機械学習モデルを用いてパターンに分類するパターン分類プログラムと、
   前記画像の可視化対象物から第１の可視化対象物を検出する検出プログラムと、
   前記第１の可視化対象物の画像を表示する表示装置と、
   前記表示装置に表示された前記第１の可視化対象物の画像から、所定の第２の可視化対象物画像を選択する選択プログラムと、
   前記第１の可視化対象物の画像閲覧時間と、前記第２の可視化対象物の画像閲覧時間を確認する確認プログラムを具備することを特徴とする接合部のボイド、クラックの可視化装置。
5. 前記接合部ははんだ部であり、前記可視化対象物はボイドとクラックのうち少なくとも一方であり、
   前記パターンは、前記接合部の形状または形態または構造に基づくパターンであることを特徴とする請求項１または請求項２または請求項３または請求項４記載の接合部のボイド、クラックの可視化装置。
6. 接合部の透過Ｘ線画像と断面画像と超音波画像のうち少なくとも１つの画像を、機械学習モデルを用いてパターンに分類する第１の動作と、
   前記画像の可視化対象物の位置と回転と拡大縮小のうち少なくとも１つを調整する第２の動作と、
   ユーザが選定した前記可視化対象物の画像に基づいて、複数の前記機械学習モデルから所定の機械学習モデルを選定する第４の動作と、
   前記可視化対象物の画像閲覧時間を確認する第６の動作を有することを特徴とする接合部のボイド、クラックの可視化方法。
7. 接合部の透過Ｘ線画像と断面画像と超音波画像のうち少なくとも１つの画像を、機械学習モデルを用いてパターンに分類する第１の動作と、
   前記画像の可視化対象物の位置と回転と拡大縮小のうち少なくとも１つを調整する第２の動作と、
   前記可視化対象物の画像を表示装置に表示し、ユーザが前記可視化対象物の画像から所定の可視化対象物の画像を選定する第３の動作と、
   ユーザが選定した前記可視化対象物の画像に基づいて、複数の前記機械学習モデルから所定の機械学習モデルを選定する第４の動作と、
   前記可視化対象物の画像閲覧時間を確認する第６の動作を有することを特徴とする接合部のボイド、クラックの可視化方法。
8. 接合部の透過Ｘ線画像と断面画像と超音波画像のうち少なくとも１つの画像を、機械学習モデルを用いてパターンに分類する第１の動作と、
   前記画像の可視化対象物の位置と回転と拡大縮小のうち少なくとも１つを調整する第２の動作と、
   前記可視化対象物の画像を表示装置に表示し、ユーザが前記可視化対象物の画像から所定可視化対象物の画像を選定する第３の動作と、
   ユーザが前記可視化対象物の画像を閲覧した時間に基づいて、前記機械学習モデルが適切か否かを判断し、前記機械学習モデルを変更または保持する第５の動作と、
   前記可視化対象物の画像閲覧時間を確認する第６の動作を有することを特徴とする接合部のボイド、クラックの可視化方法。
9. 前記パターンは、前記接合部の形状または形態または構造に基づくパターンであることを特徴とする請求項６または請求項７または請求項８記載の接合部のボイド、クラックの可視化方法。
10. 前記接合部ははんだ部であり、前記可視化対象物はボイドまたはクラックのうち少なくとも一方であることを特徴とする請求項６または請求項７記載または請求項８の接合部のボイド、クラックの可視化方法。