本実施形態の水漏れ検査システムについて図面を参照しつつ説明する。
[第1実施形態]
<<水漏れ検査システムの構成>>
図1は、第1実施形態における水漏れ検査システム1の構成の一例を示す図である。水漏れ検査システム1は、外部から順次搬入される1つ又は複数の被検査物5の水漏れ検査を行う検査エリア100に対して導入される。各被検査物5に対して水漏れ検査が行われた結果、水漏れがないと判定された被検査物5は検査エリア100の外部に搬出される。他方、被検査物5に水漏れがあると判定された場合にはその旨が報知され、適切な処理(修理、再検査、廃棄等)がなされる。
被検査物5は、その内部に水を収容して所定の動作を行う装置であり、その内部には、水が流通する配管等の流路が設けられている。水漏れ検査システム1は、被検査物5の動作中に、当該被検査物5の表面又はその内部配管の表面等から水漏れが生じていないかを検査する。被検査物5は、例えば、洗濯機、除湿機、加湿器、給湯器である。本実施形態では、被検査物5は洗濯機であるものとする。
検査エリア100は、所定の遮光材や断熱材(例えば樹脂製のシート)によって遮光又は断熱された空間である、第1検査エリア120及び第2検査エリア140を有する。
図1に示すように、第1検査エリア120及び第2検査エリア140には、運搬装置160が設けられている。運搬装置160は、例えばローラコンベアやベルトコンベアであり、設定された速度にて被検査物5を移動させることで検査エリア100内を通過させ、第1検査エリア120及び第2検査エリア140のそれぞれで水漏れ検査を行わせる装置である。運搬装置160は、第1検査エリア120の入口122に配置された被検査物5を第1検査エリア120の出口124まで運搬し、続いて、第2検査エリア140の入口142から第2検査エリア140の出口144まで被検査物5を運搬する。
第1検査エリア120には、可視光カメラ20(可視光画像取得装置)、除湿装置30、及び送風装置40が、それぞれ少なくとも1台以上設置されている。
また、第1検査エリア120には、可視光画像に関する事前検査(後述)のための第1滴下システム400が設けられている。第1滴下システム400は、水を送出する送水装置401(ポンプ等)と、送水装置401からの水が流れる配管412と、各配管412の先端部に設けられ、各配管412からの水を水滴として落下させるノズル402とを備えて構成されている。
可視光カメラ20は、運搬装置160により第1検査エリア120内で被検査物5の可視光画像を複数のタイミングで取得する(なお、可視光画像は静止画でも動画の一部でもよい)。なお、可視光カメラ20は、所定の位置に固定されている。
可視光カメラ20は、被検査物5の表面又はその内部配管の表面で反射した可視光を集光し、これらの表面の濃淡情報を含む画像を生成する。本実施形態では、可視光カメラ20は、撮影時に被検査物5に対してLED(Light Emitting Diode)により可視光を発し、グレースケール画像を生成する機能を備えたカメラ(LED照明付きカメラ)とする。
ここで、図2は、可視光カメラ20の設置方法の一例を示す図である。可視光カメラ20は、被検査物5の表面若しくはその内部配管5f等の表面を降下し、又は被検査物5の表面若しくはその内部配管等の表面から落下する、当該被検査物5から漏れ出した水滴を撮影する。例えば、可視光カメラ20aは、被検査物5の前面のうち特に漏水が起こりやすい衣類投入口5aの表面及びその下方の面5bを撮影するようにその撮影方向が設定さ
れている。可視光カメラ20bは、洗濯機の背面5cを撮影するようにその撮影方向が設定されている。可視光カメラ20cは、洗濯機の下方6を撮影するようにその撮影方向が設定されている。なお、被検査物5と各可視光カメラ20との間の距離は、例えば数十cm程度である。
また、各ノズル402は、当該ノズル402から落下する水滴7が可視光カメラ20の撮影範囲に収まるような所定の位置に固定されている。例えば、各ノズル402の位置は、落下する水滴7が可視光カメラ20と被検査物5との間の中間程度に来るようにする。
なお、このノズル402から落下する水滴7は、第1検査エリア120で検出される、被検査物5からの水滴を想定したものであるので、そのようなサイズの水滴であることが好ましい。
次に、図1に示す第1検査エリア120の除湿装置30は、被検査物5が存在する空間の湿度(第1検査エリア120の湿度)を低下させる装置である。送風装置40は、運搬装置160により第1検査エリア120を移動している被検査物5の表面及び内部配管等の表面に向かって送風を行う装置である。除湿装置30及び送風装置40は、後述するように、第2検査エリア140で行われる被検査物5の水漏れ検査のための前処理装置である。前処理装置は、後述するように、被検査物5の表面及び内部配管等の表面の乾燥を促進させ、第2検査エリア140での水漏れ検査の精度を向上させるために設けられている。
次に、第2検査エリア140には、遠赤外線カメラ50(遠赤外線画像取得装置)、除湿装置30、送風装置40、及び温度測定装置80が設置されている。
また、第2検査エリア140には、遠赤外線画像に関する事前検査(後述)のための第2滴下システム450が設けられている。第2滴下システム450は、水を送出する送水装置405(ポンプ等)と、送水装置405からの水が流れる配管413と、各配管413の先端部に設けられ、各配管413から微細な水滴(例えば、第1検査エリア120において落下する水滴よりもサイズの小さい水滴)を落下させるノズル403と、ノズル403から落下した微細な水滴を受け止める部材である試験板404とを備えて構成されている。
遠赤外線カメラ50は、運搬装置160により第2検査エリア140で被検査物5の遠赤外線画像を取得する。すなわち、遠赤外線カメラ50は、第1検査エリア120でその表面及び内部配管等の表面の乾燥を促進させた被検査物5(表面に漏れ出した水分の一部が気化した被検査物5)の、その表面及び内部配管等の表面の遠赤外線画像を取得する。この遠赤外線画像は、可視光画像と同様に、グレースケール等の濃淡情報を含む画像である。遠赤外線カメラ50は、後述するように多関節ロボット55に取り付けられている。
ここで、図3は、遠赤外線カメラ50の設置方法の一例を示す図である。本実施形態の遠赤外線カメラ50は、第1検査エリア120で検出された水滴よりも微細な残留水分を検出するために用いるため、遠赤外線カメラ50の撮影範囲は狭く設定される(例えば、撮影範囲は一辺が10~20cm程度の矩形の範囲とする)。
そこで、本実施形態の遠赤外線カメラ50は、撮影を迅速に行い、被検査物5が第2検査エリア140を移動中にその表面及び内部配管等の表面の撮影を確実に完了させるべく、多関節ロボット55に取り付けられている。多関節ロボット55は、自律的に、又は後述する画像処理装置200によってその位置及び姿勢を自由に変化させることができる。これにより、遠赤外線カメラ50は、被検査物5の表面及び内部配管等の表面の所望の範
囲の遠赤外線画像を迅速に取得することができる。
具体的には、図3に示すように、遠赤外線カメラ50aは、洗濯機の背面5cを撮影する。また、遠赤外線カメラ50bは、洗濯機の前面の衣類投入口5a、その下方の面5b、及び、洗濯機の下方6を撮影する。さらに、本実施形態において遠赤外線カメラ50aは、多関節ロボット55が洗濯機の下方6に移動することにより、洗濯機の底面5dを洗濯機の下方から撮影する。また、遠赤外線カメラ50aは、被検査物5の内部配管5fも撮影する。
なお、遠赤外線カメラ50の台数は、被検査物5に対する検査時間等に応じて適宜変更することができる。また、遠赤外線カメラ50は防水性が弱いので、予め防水カバーを取り付けてもよい。
試験板404は、被検査物5たる洗濯機の近傍に設けられる。試験板404の表面は遠赤外線を反射しない素材からなり、例えば、表面にアルマイト処理を施した黒色のアルミニウム板、紙、合成樹脂(プラスチック等)の板、等である。
試験板404は、その表面が鉛直上方になるように又は、水平方向から所定角傾斜して固定される。また、試験板404の直上にはノズル403が設けられる。これにより、ノズル403から自然落下した微細な水滴8は、試験板404の表面に到達するようになっている。なお、試験板404及びノズル403は、遠赤外線カメラ50の動作及び移動に支障の無い位置に設けられる。
なお、このノズル403から落下する微細な水滴8は、第2検査エリア140で検出される、被検査物5における残留水分を想定したものであるので、第1検査エリア120のノズル402から落下する水滴7よりも小さいサイズであることが好ましい。
また、ノズル403と試験板404との距離は、試験板404に落下した微細な水滴8が飛散等しないように、あまり長くならないようにすることが好ましい。
次に、図1に示す第2検査エリア140における除湿装置30は、被検査物5が存在する空間の湿度(第2検査エリア140の湿度)を低下させる装置である。また、第2検査エリア140における送風装置40は、運搬装置160により第2検査エリア140を移動している被検査物5の表面及び内部配管等の表面に向かって送風を行う装置である。これらの除湿装置30及び送風装置40は、第1検査エリア120における除湿装置30及び送風装置40と同様のものであり、1台又は複数台設置される。
なお、被検査物5の表面及び内部配管等の表面の乾燥をさらに促進させるため、検査エリア100の各所には、除湿装置30又は送風装置40の他に、前処理装置として、被検査物5が存在する空間の気温(検査エリア100の気温)を上昇させる空調装置、又は、被検査物5の表面及び内部配管等の表面に漏出した水の温度を低下させる装置(例えば、空調機や、被検査物5の表面及び内部配管等の表面を冷却する装置等)を設置してもよい(符号60)。
温度測定装置80は、第2検査エリア140内の雰囲気の温度(気温)を測定する。温度測定装置80は、微細な水滴8が表面に存在する試験板404の温度との温度差を求めるために設置されている。
本実施形態の水漏れ検査は、以上に説明した第1検査エリア120及び第2検査エリア140のそれぞれにおいて行われる。
具体的には、水漏れ検査システム1は、まず、第1検査エリア120に設置された可視光カメラ20により試験的に水滴7を撮影し、さらに、第2検査エリア140に設置された遠赤外線カメラ50により試験的に微細な水滴8の遠赤外線画像を撮影する。水漏れ検査システム1は、これらの撮影画像に水滴7、微細な水滴8がそれぞれ正常に撮影されているか否かを確認する事前点検を行う。
これらの事前点検で異常がなかった場合(成功した場合)、水漏れ検査システム1は、可視光カメラ20により被検査物5の可視光画像を取得し、さらに、遠赤外線カメラ50により被検査物5の遠赤外線画像を取得する。そして、水漏れ検査システム1は、これらの画像に対して所定の画像判定処理を行い、被検査物5における水漏れの有無を判定する。
そして、本実施形態の水漏れ検査システム1は、被検査物5の可視光画像及び遠赤外線画像のそれぞれについて、水漏れが誤検出される被検査物5の部分(実際には水漏れしていない部分)を予め判定処理の対象から除外するため、所定のマスクデータ(可視光マスクデータ、遠赤外線マスクデータ)を生成しておき、これらを用いて、被検査物5の可視光画像及び遠赤外線画像の画像判定処理を行う。
次に、図1に示すように、水漏れ検査システム1には、画像処理装置200が導入されている。画像処理装置200は、検査エリア100又はその他の場所(管理センター等)に設置される情報処理装置(コンピュータ)である。画像処理装置200は、可視光カメラ20、遠赤外線カメラ50、及び温度測定装置80と所定の通信網3を介して通信可能に接続している。通信網3は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット、専用線等の有線又は無線の通信ネットワークである。
ここで、図4は、画像処理装置200の構成の一例を示す図である。画像処理装置200は、ハードウェアとして、CPU(Central Processing Unit)などのプロセッサ20
1と、RAM(Random Access Memory)、ROM(Read Only Memory)等の主記憶装置202と、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の補助記憶装置203と、キーボード、マウス、タッチパネルなどからなる入力装置204と、モニタ(ディスプレイ)等からなる出力装置205と、各装置と通信を行う通信装置206とを備える。
また、画像処理装置200は、カメラ制御部210、水滴判定部220、残留水分判定部230、マスク領域入力部240、及びマスク領域出力部250の各機能を有する。カメラ制御部210は、可視光カメラ20及び遠赤外線カメラ50に対する所定の制御を行う。例えば、カメラ制御部210は、多関節ロボット55を制御して遠赤外線カメラ50を所定の位置に移動させ又は所定の撮影方向に設定させる。また、カメラ制御部210は、所定の複数のタイミング(例えば、所定の時間間隔又は所定の時刻)で可視光カメラ20及び遠赤外線カメラ50に撮影指示の信号を送信し、可視光画像及び遠赤外線画像の撮影を実行させることができる。そして、カメラ制御部210は、可視光カメラ20又は遠赤外線カメラ50が撮影した画像を、通信網3を介して取得し、記憶する。なお、多関節ロボット55は自律的に上記の制御を行ってもよいし、遠赤外線カメラ50に対する制御も多関節ロボット55が行ってもよい。
水滴判定部220は、カメラ制御部210が取得した複数の可視光画像に基づき、被検査物5の表面若しくはその内部配管の表面を降下し、又は、被検査物5若しくはその内部配管から落下する水滴の有無を判定する。すなわち、水滴判定部220は、可視光画像事前点検部229、可視光マスク領域生成部221、及び可視光画像判定部223を備える。
可視光マスク領域生成部221は、前記可視光カメラから、前記被検査物と略同一の構造であって、その表面に水漏れが発生していない構造物の当該表面の第1可視光画像を複数のタイミングで取得し、取得した各第1可視光画像に基づき、階調差が時間の進行と共に所定方向に延伸している、前記可視光画像の特徴的な領域を特定し、特定した前記特徴的な領域及びその周辺領域を可視光マスク領域(可視光マスクデータ)として設定する可視光学習モードを実行する。
可視光画像判定部223は、水が収容されている前記被検査物の表面の第2可視光画像を複数のタイミングで取得し、取得した各第2可視光画像から前記可視光マスク領域に対応する部分を除いた領域をそれぞれ可視光判定領域として特定し、特定した各可視光判定領域に基づいて、階調差が時間の進行と共に所定方向に延伸している、前記可視光判定領域の特徴的な領域を特定した場合に、前記水が収容されている被検査物に水漏れが発生していると判定する可視光検査モードを実行する。
可視光画像事前点検部229は、前記可視光カメラから、所定の位置から落下している水滴の可視光画像を複数のタイミングで取得し、階調差が時間の進行と共に所定方向に延伸している、前記取得した可視光画像の領域が存在すると判定した場合に、前記可視光画像判定部による被検査物の水漏れ検査を実行する。
また、水滴判定部220は、可視光マスク領域追加部225を備える。可視光マスク領域追加部225は、可視光画像判定部223が水漏れを誤検出した場合、その際に使用した可視光画像をマスクデータとして流用する。
すなわち、可視光マスク領域追加部225は、前記可視光画像判定部が前記可視光判定領域の特徴的な領域であると特定した領域に、水漏れが発生していない場合には、前記特徴的な領域を新たな可視光マスク領域として設定する。
残留水分判定部230は、前記カメラ制御部210が取得した遠赤外線画像に基づき、水滴がないと判定された前記被検査物5の表面又はその内部配管の表面に残留する水分の有無を判定する。すなわち、残留水分判定部230は、遠赤外線画像事前点検部239、遠赤外線マスク領域生成部231、及び遠赤外線画像判定部233を備える。
遠赤外線マスク領域生成部231は、前記遠赤外線カメラから、前記被検査物と略同一の構造であって、その表面に水漏れが発生していない構造物の当該表面の第1遠赤外線画像を複数のタイミングで取得し、取得した各第1遠赤外線画像に基づき、前記構造物の表面の平均温度又は、水で満たされている配管表面の平均温度を算出すると共に、前記構造物の表面の温度のうち特に低い温度を特定し、特定した低い温度と前記構造物の表面の平均温度又は、水で満たされている配管表面の平均温度との差が所定値以上の特徴的な領域及びその周辺領域を遠赤外線マスク領域(遠赤外線マスクデータ)として設定する遠赤外線学習モードを実行する。
遠赤外線画像判定部233は、水が収容されている前記被検査物の表面の第2遠赤外線画像を複数のタイミングで取得し、取得した各第2遠赤外線画像から前記遠赤外線マスク領域に対応する部分を除いた領域をそれぞれ遠赤外線判定領域として特定し、特定した各遠赤外線判定領域に基づき、前記遠赤外線判定領域に対応する前記被検査物の表面の平均温度又は、水で満たされている配管表面の平均温度を算出すると共に、前記対応する被検査物の表面の温度のうち特に低い温度を特定し、特定した低い温度と前記構造物の表面の平均温度又は、水で満たされている配管表面の平均温度との差が所定値以上の特徴的な領域を特定した場合に、前記水が収容されている被検査物に水漏れが発生していると判定す
る遠赤外線検査モードを実行する。
遠赤外線画像事前点検部239は、遠赤外線を反射しない表面を有し、その表面に水滴が配置された所定の部材の当該表面の遠赤外線画像を取得し、その表面の平均温度を算出すると共に、当該表面の温度のうち特に低い温度を特定し、特定した低い温度と前記平均温度との差が所定値以上の特徴的な領域を特定した場合に、前記遠赤外線画像判定部による被検査物の水漏れ検査を実行する。
また、残留水分判定部230は、遠赤外線マスク領域追加部235を備える。遠赤外線マスク領域追加部235は、遠赤外線画像判定部233が水漏れを誤検出した場合、その際に使用した遠赤外線画像をマスクデータとして流用する。
すなわち、遠赤外線マスク領域追加部235は、前記遠赤外線画像判定部が前記遠赤外線判定領域の特徴的な領域であると特定した領域に、水漏れが発生していない場合には、当該領域を新たな遠赤外線マスク領域として設定する。
次に、マスク領域入力部240は、可視光マスク領域入力部241及び遠赤外線マスク領域入力部243を備える。
可視光マスク領域入力部241は、その表面に水漏れが発生していない被検査物に対する、前記可視光マスク領域を設定するための入力をユーザから受け付ける。遠赤外線マスク領域入力部243は、その表面に水漏れが発生していない被検査物に対する、前記遠赤外線マスク領域を設定するための入力をユーザから受け付ける。
次に、マスク領域出力部250は、可視光マスク領域出力部251及び遠赤外線マスク領域出力部253を備える。
可視光マスク領域出力部251は、前記設定した可視光マスク領域の情報を出力する。遠赤外線マスク領域出力部253は、前記設定した遠赤外線マスク領域の情報を出力する。
以上のような画像処理装置200の機能は、画像処理装置200のハードウェアによって、もしくは、画像処理装置200のプロセッサ201が、主記憶装置202や補助記憶装置203に記憶されている各プログラムを読み出して実行することにより実現される。
また、これらのプログラムは、例えば、二次記憶デバイスや不揮発性半導体メモリ、ハードディスクドライブ、SSDなどの記憶デバイス、又は、ICカード、SDカード、DVDなどの、情報処理装置で読み取り可能な非一時的データ記憶媒体に格納される。
<<水漏れ検査方法>>
次に、このような水漏れ検査システム1により行われる水漏れ検査方法を説明する。
<メニュー画面>
図5は、画像処理装置200が起動した際に画像処理装置200が表示されるメニュー画面の一例を示す図である。メニュー画面500には、被検査物5に対する水漏れ検査の前に行われる、可視光画像及び遠赤外線画像の撮影に関する点検(事前点検モード)を実行する事前点検モードボタン517と、ユーザからの入力を受け付けた場合に、画像判定処理による各被検査物5の検査(検査モード)を実行する検査モードボタン511と、ユーザからの入力を受け付けた場合に、被検査物5のマスクデータの生成(学習モード)を実行する学習モードボタン515と、ユーザからの入力を受け付けた場合に、事前点検モ
ード、学習モード、及び検査モードを続けて自動的に実行する自動検査モードボタン513とが表示される。
以下、自動検査モードボタン513が押下された場合に行われる水漏れ検査システム1の処理(自動検査処理)について説明する。
<自動検査処理>
図6は、自動検査処理の一例を説明するフロー図である。まず、水漏れ検査システム1は、事前点検モードを実行する(s1、s2)。すなわち、水漏れ検査システム1は、第1滴下システム400が滴下させた水滴を可視光カメラ20が撮影することで、可視光画像に関する事前点検(可視光画像事前点検処理)を実行する(s1)。また、水漏れ検査システム1は、第2滴下システム450が滴下させた水滴を遠赤外線カメラ50が撮影することで、遠赤外線画像に関する事前点検(遠赤外線画像事前点検処理)を実行する(s2)。なお、s1の処理(可視光画像事前点検処理)及びs2の処理(遠赤外線画像事前点検処理)の詳細は後述する。
可視光画像事前点検処理及び遠赤外線画像事前点検処理で異常なしと判定された場合、水漏れ検査システム1は、マスクデータを生成する学習モードを実行する(s3、s4)。すなわち、水漏れ検査システム1は、水漏れが起きないことが確認されている被検査物5(被検査物5とは別個に製造された、被検査物5と略同じ構造を有する、水漏れが起きないことが確認されている試験製品等でもよい)の可視光画像を第1検査エリア120で撮影し、これにより可視光マスクデータを生成する(s3)。また、水漏れ検査システム1は、この被検査物5の遠赤外線画像を第2検査エリア140で撮影し、これにより遠赤外線マスクデータを生成する(s4)。なお、s3の処理(可視光学習処理)及びs4の処理(遠赤外線学習処理)の詳細は後述する。
次に、水漏れ検査システム1は、検査対象の被検査物5(水漏れを起こす可能性がある被検査物5)の水漏れ検査を実行する点検モードを実行する(s5、s7)。
すなわち、水漏れ検査システム1は、検査対象の被検査物5の可視光画像を第1検査エリア120で撮影し、撮影した可視光画像に対して、学習モードで生成した可視光マスクデータによるマスク処理を実行する。そして、水漏れ検査システム1は、マスク処理を行った可視光画像に対する画像判定処理を行うことで、検査対象の被検査物5に水漏れがあるか否か(例えば、水滴が存在するか否か)を判定する(s5)。
また、水漏れ検査システム1は、検査対象の被検査物5の遠赤外線画像を第2検査エリア140で撮影し、撮影した遠赤外線画像に対して、学習モードで生成した遠赤外線マスクデータによるマスク処理を実行する。そして、水漏れ検査システム1は、マスク処理を行った遠赤外線画像に対する画像判定処理を行うことで、検査対象の被検査物5に水漏れがあるか否か(例えば、微細な残留水分が存在するか否か)を判定する(s7)。
なお、s5の処理(可視光画像判定処理)及びs7の処理(遠赤外線画像判定処理)の詳細は後述する。
以上の処理が終了すると、水漏れ検査システム1は、以上と異なる種類の製品(被検査物5)に対して水漏れ検査を行う場合は、その製品について改めて学習モードを実行すべく、s3からの処理を行う(s9:YES)。他方、異なる種類の製品(被検査物5)に対して水漏れ検査を行わない場合は、自動検査処理は終了する(s9:NO、s10)。
次に、自動検査処理における各処理の詳細を説明する。
<事前点検モード:可視光画像事前点検処理>
図7は、可視光画像事前点検処理の一例を説明するフロー図である。まず、第1検査エリア120において、送水装置401が駆動してノズル402に水が供給され、そこから水滴7が落下する(s301)。
第1検査エリア120に設けられている各可視光カメラ20は、所定の時間間隔で、落下している水滴7の可視光画像の撮影を行う(s303)。具体的には、例えば、各可視光カメラ20は、30~60フレーム/秒の撮影間隔で可視光画像の撮影を行う。そして各可視光カメラ20は、撮影した各画像(可視光画像)を画像処理装置200に送信する(s305)。
画像処理装置200は、各可視光画像を受信すると(s307)、受信した各可視光画像に基づき、落下する水滴7(ノズル403から落下する水滴)の有無を判定する処理(
事前水滴判定処理)を行う(s309)。事前水滴判定処理の詳細は後述する。
事前水滴判定処理により、落下する水滴があると判定された場合には(s311:YES)、画像処理装置200は警告を発せず処理を終了する(s312)。
他方、落下する水滴7がないと判定された場合には(s311:NO)、画像処理装置200は警告を発する(例えば、水滴7がない旨を示す所定の画面表示を行う、アラーム音を発する等)(s313)。
第1検査エリア120においては、所定時間内に前記の警告が発せられた場合(異常ありと判定)(s315:YES)、本処理は終了する(s321)。そしてこの場合、検査員等は修復等の措置を実施し、再点検を行う(s317)。例えば、検査員等は、可視光カメラ20の不具合の有無の確認、第1滴下システム400の確認等を行う。
なお、前記の警告は画像処理装置200が発するのではなく、画像処理装置200以外の警告装置(例えば、所定の照明装置やアラーム装置)が警告を発するようにしてもよい。また、画像処理装置200が通信網3を介して可視光カメラ20に所定の警告信号を送信し、可視光カメラ20がその警告を発するようにしてもよい。
他方、第1検査エリア120において、所定時間内に前記の警告が発せられなかった場合(異常なしと判定)(s315:NO)、画像処理装置200は合格の旨を提示し(s319)、処理を終了する(s321)。すなわち、画像処理装置200は、可視光画像の事前点検に成功した旨のメッセージを発し、処理を終了する(例えば、合格の旨を示す所定の画面表示を行う、アラーム音を発する等)。
ここで、前記の事前水滴判定処理の詳細を説明する。
(事前水滴判定処理)
図8は、事前水滴判定処理の詳細を説明するフロー図である。まず画像処理装置200は、受信した各可視光画像に基づき、各可視光画像間の階調差の情報を作成する(s351)。具体的には、例えば、画像処理装置200は、ある時刻での画像と1/30~1/60秒後の画像の同じ位置での階調の差(階調差)を計算する。
そして、画像処理装置200は、s351で生成した階調差の情報に基づき、階調差が大きい領域を、水滴7の存在領域として特定する(s353)。具体的には、例えば、画像処理装置200は、各可視光画像について、階調差が所定の閾値より大きいポイントを全て特定する。
画像処理装置200は、s353で特定した階調差が大きい領域(水滴7の存在領域)
が時間の進行と共に下方の所定方向に延伸しているか否かを判定する(s355)。具体的には、例えば、画像処理装置200は、各可視光画像の時系列(例えば、撮影順)を特定した上で、各可視光画像における前記のポイントの集合がそれぞれ、鉛直下方に連続する点の領域(集合)となっており、かつこの領域の長さ(例えば、ポイントの連続個数)が時間と共に増加して所定の長さ(例えば、所定の個数)に達しているか否かを判定する。なお、この所定の長さは、例えば、可視光カメラ20の撮影間隔(フレーム数)に応じて設定される。
このように、時間の進行と共に下方の所定方向に延伸している階調差の大きい領域があると判定された場合には(s355:YES)、画像処理装置200は、水滴7が落下していると判定し(s357)、事前水滴判定処理は終了する(異常無し)(s359)。他方、時間の進行と共に下方の所定方向に延伸している階調差の大きい領域がないと判定された場合には(s355:NO)、画像処理装置200は、水滴7が落下していないと判定し(異常あり)(s361)、事前水滴判定処理は終了する(s359)。
以上の可視光画像事前点検処理により、第1滴下システム400及び可視光カメラ20が、ノズル402から落下する水滴7を検出することで、水漏れ検査システム1(可視光カメラ20等)の異常を早期に発見することができる。これにより、異常個所を早期に修復することで、検出漏れをなくし、水滴の検出の見逃しを防止できる。
<事前点検モード:遠赤外線画像事前点検処理>
図9は、遠赤外線画像事前点検処理の一例を説明するフロー図である。まず、第2検査エリア140の送水装置405が駆動してノズル403に水が供給され(s401)、そこから微細な水滴8が落下して試験板404の表面に落下する。
なお、この際、第2検査エリア140に設置されている除湿装置30及び送風装置40が稼動し、これらが第2検査エリア140の湿度を下げ、また、試験板404への送風を行っているものとする。
多関節ロボット55に取り付けられた遠赤外線カメラ50は、その表面に微細な水滴8が配置されている試験板404の当該表面を撮影し、その画像(遠赤外線画像)を取得する(s403)。
遠赤外線カメラ50は、撮影した画像(遠赤外線画像)を画像処理装置200に送信する(s405)。
画像処理装置200は、遠赤外線画像を受信すると(s407)、受信した遠赤外線画像に基づき、試験板404の表面に水分が存在しているか否かを判定する処理(事前残留水分判定処理)を実行する(s409)。事前残留水分判定処理の詳細は後述する。
事前残留水分判定処理により、微細な水滴8が存在しないと判定された場合には(s411:NO)、画像処理装置200は、微細な水滴8が検出できなかった旨の警告を発する(例えば、残留水分がない旨を示す所定の画面表示を行う、アラーム音を発する等)(s413)。
他方、事前残留水分判定処理により、微細な水滴8が存在すると判定された場合には(s411:YES)、画像処理装置200は、温度測定装置80が測定した第2検査エリア140の雰囲気の温度と、遠赤外線画像の表面の平均温度との温度差が所定の範囲内であるか否かを判定する(s415)。
当該温度差が所定の範囲内である場合には(s415:YES)、画像処理装置200は、その旨の警告を発する(例えば、所定の画面表示を行う、アラーム音を発する)(s417)。これに対して、当該温度差が所定の範囲内でない場合には(s415:NO)、本処理は終了する(s419)。
所定時間内に前記のいずれかの警告が発せられた場合(異常ありと判定)(s413、s417、s421:YES)、本処理は終了する(s427)。そしてこの場合、第2検査エリア140における検査員等は、異常個所を修復する(s423)。例えば、検査員等は、遠赤外線カメラ50の不具合の有無の確認、第2滴下システム450の確認等を行う。
他方、所定時間内に前記のいずれかの警告が発せられなかった場合(異常なしと判定)(s413、s417、s421:NO)、遠赤外線画像の事前点検は成功したことになり(異常無し)(s425)、処理を終了する(s427)。すなわち、画像処理装置200は、遠赤外線画像の事前点検に成功した旨のメッセージを発し(例えば、合格の旨を示す所定の画面表示を行う、アラーム音を発する等)。
なお、前記の各警告は画像処理装置200が発するのではなく、画像処理装置200以外の所定の警告装置(例えば、所定の照明装置やアラーム装置)が警告を発するようにしてもよい。また、画像処理装置200が通信網3を介して遠赤外線カメラ50に所定の警告信号を送信し、遠赤外線カメラ50がその警告を発するようにしてもよい。
ここで、前記の事前残留水分判定処理の詳細を説明する。
(事前残留水分判定処理)
図10は、事前残留水分判定処理の詳細を説明するフロー図である。まず画像処理装置200は、受信した遠赤外線画像に基づき、この遠赤外線画像に記録されている試験板404の表面の温度分布を算出する(画像を温度に変換する;s451)。
そして、画像処理装置200は、算出した温度分布に基づき、温度が特に低い領域(判定領域)及びその温度を特定すると共に、遠赤外線画像に記録されている試験板404の表面の平均温度を算出する(s453)。
なお、本発明者らは、送風装置40を用いて気化を促進することで特に上記の判定領域(特に温度が低い領域)を特定しやすくなり、遠赤外線画像による残存水分の検出精度を大きく向上させることができることに想到した。
画像処理装置200は、s453で特定した温度と、試験板404の表面の平均温度との差を計算する(s455)。この差が所定の閾値以上である場合には(s455:YES)、画像処理装置200は、微細な水滴8が判定領域に存在すると判定し(s457)、事前残留水分判定処理は終了する(異常なし)(s461)。他方、平均温度と前記の低い温度との差が所定の閾値未満である場合には(s455:NO)、画像処理装置200は、微細な水滴8が判定領域に存在しないと判定し(s459)、事前残留水分判定処理は終了する(異常あり)(s461)。
以上の遠赤外線画像事前点検処理により、第2滴下システム450及び遠赤外線カメラ50が、ノズル403から落下する微細な水滴8を検出することで、自動検査システム1(遠赤外線カメラ50等)の異常を早期に発見することができる。これにより、異常個所を早期に修復することで、検出漏れをなくし、微細な水滴8(残留水分)の検出の見逃しを防止できる。
続いて、学習モードにおける処理について説明する。
<学習モード:可視光学習処理>
図11は、可視光学習処理の一例を説明するフロー図である。まず、第1検査エリア120において、水漏れ検査用マスクの生成の対象となる、(水漏れを起こさない)被検査物5に対して水を供給し、被検査物5の動作(運転)を開始させる(s11)。具体的には、例えば、被検査物5である洗濯機の水貯留部(ドラム等)に水を所定量注入して電源を投入し、洗濯動作を開始させる。この工程は、所定の給水装置によって自動的に行ってもよいし、検査員等が行ってもよい。
水が供給された被検査物5が第1検査エリア120の入口122に搬入されると、第1検査エリア120の運搬装置160が被検査物5の運搬を開始し、可視光カメラ20の撮影領域まで被検査物5を運搬する(s13)。
なお、この際、第1検査エリア120における除湿装置30及び送風装置40が稼動し、これらが第1検査エリア120の湿度を下げ、また、被検査物5への送風を行っているものとする。
第1検査エリア120に設けられている各可視光カメラ20は、被検査物5が自身の撮影範囲に入ったことを検知すると、所定の時間間隔にて被検査物5の撮影を行う(s15)。具体的には、例えば、各可視光カメラ20は、30~60フレーム/秒の撮影間隔で被検査物5の可視光画像(第1可視光画像)の撮影を行う。そして各可視光カメラ20は、撮影した各可視光画像(フレーム)を画像処理装置200に送信する(s17)。
画像処理装置200は、各可視光画像を受信すると(s19)、受信した各可視光画像に基づき、被検査物5の可視光マスクデータを生成する(s21)。この可視光マスクデータ生成処理の詳細は後述する。
可視光マスクデータ生成処理が終了すると、被検査物5は、運搬装置160により第1検査エリア120の出口124から第2検査エリア140に運搬される(s23)。以上により、1台の被検査物5に対する可視光学習処理が終了する。
このとき、可視光マスクデータ生成処理を行った被検査物5の台数が規定台数に達していれば(s25:YES)、可視光学習処理は終了し(s27)、可視光マスクデータ生
成処理を行った被検査物5の台数が規定台数に達していなければ(s25:NO)、残り
の被検査物5に対して可視光学習処理を行うべくs11の処理が繰り返される。
ここで、可視光マスクデータ生成処理の詳細を説明する。
(可視光マスクデータ生成処理)
図12は、可視光マスクデータ生成処理の詳細を説明するフロー図である。まず画像処理装置200は、画像処理装置200から受信した可視光画像に関する、階調差の情報を作成する(s51)。具体的には、例えば、画像処理装置200は、被検査物5の可視光画像内の各ポイントについて、各フレーム間の階調の差分(階調差)を計算する。具体的には、例えば、画像処理装置200は、ある時刻での可視光画像(フレーム)の各ポイントの階調と、その所定時間後(例えば、1/30~1/60秒後)の可視光画像(フレーム)の対応する各ポイントの階調との差(階調差)を計算する。
そして、画像処理装置200は、s51で生成した階調の差分の情報に基づき、可視光画像の領域のうち階調差が大きい特徴的な領域を特定する(s53)。具体的には、例えば、画像処理装置200は、階調差が所定の閾値より大きいポイントを全て特定する。
階調差が大きい特徴的な領域の例としては、一般的には、水滴が存在している領域が考えられる。しかし、可視光マスクデータ生成処理における被検査物5は、水漏れが起きないことが既に確認されている。したがって、ここでの階調差が大きい特徴的な領域とは、例えば、被検査物5の表面のうちで所定の光沢処理が施されている部分、又は、被検査物5又はその内部配管から露出している金属部品(ねじ、金属クリップ等)等の、水と誤検知する可能性がある部分である。
なお、前記の閾値は、事前点検モードや検査モードの場合よりも低く(すなわち、マスクがやや広くなるように設定する)しておくことが好ましい。
画像処理装置200は、s53で特定した、階調差が大きい特徴的な領域が時間の進行と共に下方の所定方向に延伸しているか否かを判定する(s55)。すなわち、画像処理装置200は、水滴と同様の挙動を示しているか否かを判定し、具体的には、例えば、可視光画像の各フレームの時系列を特定した上で、各フレームにおける前記のポイントの集合がそれぞれ、鉛直下方に連続する点の領域(集合)となっており、かつ、この領域の長さ(例えば、ポイントの連続個数)が時間と共に増加して所定の長さ(例えば、所定の個数)に達しているか否かを判定する。なお、この所定の長さは、例えば、可視光カメラ20の撮影間隔(フレーム数)に応じて設定される。
このように、時間の進行と共に下方の所定方向に延伸している階調差の大きい領域があると判定された場合には(s55:YES)、画像処理装置200は、この領域及び当該領域の近傍の周辺領域を被検査物5の可視光マスク領域と判定し、この可視光マスク領域を表すデータ(可視光マスクデータ。例えば、マスク部分の値が0、マスク部分でない部分の値が1である、可視光画像に対応するデータ)を生成して記憶する(s57)。
画像処理装置200は、他に処理していない可視光画像があるか否かを確認し(s59)、他に処理していない可視光画像があればその可視光画像についてs51からの処理を繰り返し(s59:NO)、他に処理していない可視光画像がなければ(s59:YES)、可視光マスクデータ生成処理は終了する(s61)。
このように、被検査物5の可視光画像に対応する可視光マスクデータを生成しておくことで、水滴の誤検知を防止することができる。
次に、学習モードにおける遠赤外線学習処理について説明する。
<学習モード:遠赤外線学習処理>
図13は、遠赤外線学習処理の一例を説明するフロー図である。まず、運搬装置160により、第1検査エリア120から送られてきた(水漏れを起こさない)被検査物5が第2検査エリア140の入口142に進入する(s71)。なお、この際、第2検査エリア140に設置されている除湿装置30及び送風装置40が稼動し、これらが第2検査エリア140の湿度を下げ、また、被検査物5への送風を行っているものとする。
第2検査エリア140に進入した被検査物5が所定の位置に停止すると、多関節ロボット55の先端に設置された遠赤外線カメラ50は、被検査物5の表面の各領域の画像(第1遠赤外線画像)を撮影する(s73)。
遠赤外線カメラ50は、撮影した各遠赤外線画像を画像処理装置200に送信する(s75)。
画像処理装置200は、各遠赤外線画像を受信すると(s77)、受信した各遠赤外線画像に基づき、遠赤外線マスクデータを生成する(s79)。この遠赤外線マスクデータ
生成処理の詳細は後述する。
遠赤外線マスクデータ生成処理が終了すると、被検査物5は、運搬装置160により第2検査エリア140の出口へと運搬される(s81)。以上により、1台の被検査物5に対する遠赤外線学習処理が終了する。
このとき、遠赤外線マスクデータ生成処理を行った被検査物5の台数が規定台数に達していれば(s83:YES)、遠赤外線学習処理は終了し(s85)、遠赤外線マスクデ
ータ生成処理を行った被検査物5の台数が規定台数に達していなければ(s83:NO)
、残りの被検査物5(異なる種類の、水漏れが起きない製品)に対して遠赤外線学習処理を行うべくs71の処理が繰り返される。
ここで、前記の遠赤外線マスクデータ生成処理の詳細を説明する。
(遠赤外線マスクデータ生成処理)
図14は、遠赤外線マスクデータ生成処理の詳細を説明するフロー図である。まず画像処理装置200は、受信した被検査物5の遠赤外線画像から、被検査物5の表面の温度分布を算出する(画像を温度に変換する;s91)。
そして、画像処理装置200は、算出した温度分布に基づき、温度が特に低い被検査物5の特徴的な領域及びその温度を特定すると共に、被検査物5の表面の平均温度又は、水で満たされている配管(被検査物5における配管)の表面の平均温度を算出する(s93)。なお、この場合の温度が特に低い領域は、例えば所定の温度よりも低い温度の領域としてもよいし(その場合の領域の温度は、例えば、被検査物5の表面の平均温度又は、水で満たされている配管表面の平均温度とする)、相対的に温度が低い領域としてもよい。また、所定の温度は、例えば、被検査物5の素材(金属、合成樹脂、ゴム等)が有する比熱に応じて設定される。
温度が特に低い特徴的な領域の例としては、一般的には、水滴が存在している領域であるが、遠赤外線マスクデータ生成処理における被検査物5は、水漏れが起きないことが既に確認されている。したがって、ここでの温度が特に低い領域とは、例えば、被検査物5もしくはその内部配管の表面に露出している金属部品(ねじ、金属クリップ等)等の、水と誤検知する可能性がある部分である。
なお、前記の所定の温度は、事前点検モードや検査モードの場合よりも低く(すなわち、マスクがやや広くなるように設定する)しておくことが好ましい。
画像処理装置200は、s93で特定した温度と、被検査物5の表面の平均温度又は、水で満たされている配管表面の平均温度との差を計算する(s95)。この差が所定の閾値以上である場合には(s95:YES)、画像処理装置200は、s93で特定した温度の領域を特定し(s96)、この領域及び当該領域の近傍の周辺領域(遠赤外線マスク領域)を表すデータ(遠赤外線マスクデータ。例えば、マスク部分の値が0、マスク部分でない部分の値が1である、遠赤外線画像に対応するマトリックスデータ)を記憶する(s98)。
画像処理装置200は、他に処理していない遠赤外線画像があるか否かを確認し(s99)、他に処理していない遠赤外線画像があればその遠赤外線画像についてs91からの処理を繰り返し(s99:YES)、他に処理していない遠赤外線画像がなければ(s99:NO)、遠赤外線マスクデータ生成処理は終了する(s101)。
このように、被検査物5の遠赤外線画像に対応する遠赤外線マスクデータを生成してお
くことで、微細な残留水分の誤検知を防止することができる。
以上の学習モードにより、水漏れ検査システム1は、被検査物5についての、可視光マスクデータ及び遠赤外線マスクデータを生成する。
次に、水漏れ検査システム1は、これらのマスクデータを用いて、水漏れ検査対象の被検査物5の水漏れ検査を行う(点検モード)。まず、点検モードにおける可視光画像判定処理について説明する。
<点検モード:可視光画像判定処理>
図15は、可視光画像判定処理の一例を説明するフロー図である。まず、水漏れ検査の対象となる被検査物5(水漏れしている可能性がある被検査物5)に対して水を供給し、被検査物5の動作(運転)を開始させる(s111)。この点は、可視光学習処理のs11と同様である。
その後に行われるs113、s115、s117の処理(可視光画像の撮影と送信)も、可視光学習処理のs13、s15、s17と同様である。
そして、画像処理装置200は、可視光カメラ20から、複数フレームからなる可視光画像(第2可視光画像)を受信すると(s119)、受信した各画像と、学習モードで生成した可視光マスクデータとに基づき、被検査物5の表面及びその内部配管等の表面を降下し又は被検査物5から落下する水滴(被検査物5の水漏れによる水滴)の有無を判定する処理(可視光画像マスク処理)を行う(s121)。可視光画像マスク処理の詳細は後述する。
可視光画像マスク処理により、降下又は落下する水滴があると判定された場合には(s123:YES)、画像処理装置200は、警告を発する(例えば、水滴がある旨を示す所定の画面表示を行う、アラーム音を発する等)(s125)。なお、降下又は落下する水滴がないと判定された場合には(s123:NO)、画像処理装置200は、警告を発することなく処理を終了する(s127)。
前記の警告が発せられた場合(s129:YES)、第1検査エリア120にでは、検査員等が、被検査物5を不良品と判断し、当該被検査物5が第1検査エリア120の出口124に達するまでに運搬装置160の動作を停止させて被検査物5を運搬装置160から離脱させる(s131)。なお、この作業は、所定の運搬装置等によって自動的に行われてもよい。以上により当該被検査物5に対する第1検査エリア120における水漏れ検査は終了する(s133)。
他方、前記の警告が発せられなかった場合には(s129:NO)、被検査物5は第1検査エリア120の水漏れ検査に合格したことになる(s135)。当該被検査物5は運搬装置160により、第1検査エリア120の出口124から第2検査エリア140に移動する。
なお、前記の警告は画像処理装置200が発するのではなく、画像処理装置200以外の所定の警告装置(例えば、所定の照明装置やアラーム装置)が警告を発するようにしてもよい。また、画像処理装置200が通信網3を介して可視光カメラ20に所定の警告信号を送信し、可視光カメラ20がその警告を発するようにしてもよい。
ここで、前記の可視光画像マスク処理の詳細を説明する。
(可視光画像マスク処理)
図16は、可視光画像マスク処理の詳細を説明するフロー図である。まず画像処理装置200は、可視光カメラ20から受信した被検査物5の各可視光画像(フレーム)に対して、可視光マスクデータによりマスク処理を行う(s150)。
画像処理装置200は、s150でマスク処理をした可視光画像(フレーム)に関する階調差の情報を作成する(s151)。具体的には、例えば、画像処理装置200は、ある時刻での可視光画像(フレーム)内の各ポイントの階調と、その所定時間後(例えば、1/30~1/60秒後)の可視光画像(フレーム)の対応する各ポイントの階調との差(階調差)を計算する。
そして、画像処理装置200は、s151で生成した階調差の情報に基づき、可視光画像の領域のうち階調差が大きい領域を、水滴の存在領域として特定する(s153)。具体的には、例えば、画像処理装置200は、各可視光画像について、階調差が所定の閾値より大きいポイントを全て特定する。
画像処理装置200は、可視光学習モードのs55と同様に、s153で特定した階調差が大きい領域(水滴の存在領域)が時間の進行と共に下方の所定方向に延伸しているか否かを判定する(s155)。
時間の進行と共に下方の所定方向に延伸している、階調差の大きい特徴的な領域があると判定された場合には(s155:YES)、画像処理装置200は、水滴が、被検査物5の表面若しくはその内部配管等の表面を降下し、又は水滴が被検査物5から落下していると判定し(s157)、可視光画像マスク処理は終了する(s159)。他方、時間の進行と共に下方の所定方向に延伸している、階調差の大きい特徴的な領域がないと判定された場合には(s155:NO)、画像処理装置200は、水滴が、被検査物5の表面及びその内部配管等の表面のいずれにおいても降下しておらず、かつ被検査物5から落下していないと判定し(s161)、可視光画像マスク処理は終了する(s159)。
なお、s155において画像処理装置200は、特定した領域の形状が所定の形状(例えば、円状)であるか否かを判定し、特定した領域の形状がその所定の形状であると判定した場合にのみ、その特定した領域を判定対象としてもよい。このように形状の判定を追加的に行うことで、水漏れをより正確に検出することができる。
このように、可視光カメラ20により撮影した可視光画像にマスク処理を行った上で、降下又は落下する水滴を検出することで、被検査物5及びその内部等からの水漏れを誤りなく発見することができる。
続いて、点検モードにおける遠赤外線画像判定処理について説明する。
<点検モード:遠赤外線画像判定処理>
図17は、遠赤外線画像判定処理の一例を説明するフロー図である。まず、運搬装置160により、第1検査エリア120から送られてきた、(水漏れを起こす可能性がある)被検査物5が第2検査エリア140の入口142に進入する(s171)。この点は、遠赤外線学習処理のs71と同様である。
その後に行われるs173、s175の処理(遠赤外線画像の撮影と送信)も、遠赤外線学習処理のs73、s75と同様である。
続いて、画像処理装置200は、遠赤外線カメラ50から遠赤外線画像(第2遠赤外線画像)を受信すると(s177)、受信した遠赤外線画像に基づき、被検査物5の表面及びその内部配管等の表面に水分(可視光カメラ20では検出できなかった微量な水滴や、
移動速度が遅く降下又は落下の判定がなされなかった水滴等)が残留しているか否かを判定する処理(遠赤外線画像マスク処理)を実行する(s179)。遠赤外線画像マスク処理の詳細は後述する。
遠赤外線画像マスク処理により、残留する水分があると判定された場合には(s181:YES)、画像処理装置200は警告を発する(例えば、残留水分がある旨を示す所定の画面表示を行う、アラーム音を発する等)(s183)。他方、残留する水分がないと判定された場合には(s181:NO)、画像処理装置200は、警告を発することなく処理を終了する(s185)。
前記の警告が発せられた場合(s187:YES)、第2検査エリア140では、検査員等が、被検査物5が第2検査エリア140の出口144に達するまでに運搬装置160の動作を一時的に停止させる等して当該被検査物5を運搬装置160から離脱させる(s189)。なお、この作業は、所定の運搬装置等によって自動的に行われてもよい。
他方、前記の警告が発せられなかった場合には(s187:NO)、被検査物5は水漏れ検査に合格したものとして、当該被検査物5は第2検査エリア140の出口144まで移動し、当該被検査物5に対する水漏れ検査は終了する(s190)。
なお、前記の警告は画像処理装置200が発するのではなく、画像処理装置200以外の所定の警告装置(例えば、所定の照明装置やアラーム装置)が警告を発するようにしてもよい。また、画像処理装置200が通信網3を介して遠赤外線カメラ50に所定の警告信号を送信し、遠赤外線カメラ50がその警告を発するようにしてもよい。
ここで、前記の遠赤外線画像マスク処理の詳細を説明する。
(遠赤外線画像マスク処理)
図18は、遠赤外線画像マスク処理の詳細を説明するフロー図である。まず画像処理装置200は、遠赤外線カメラ50から受信した各遠赤外線画像に対して、遠赤外線マスクデータによるマスク処理を行う(s190)。
画像処理装置200は、s190でマスク処理をした遠赤外線画像から、被検査物5の表面の温度分布を算出する(画像を温度に変換する;s191)。
そして、画像処理装置200は、算出した温度分布に基づき、温度が特に低い被検査物5の表面及びその内部配管等の表面の領域と、それらの温度とを特定すると共に、遠赤外線画像に記録されている被検査物5の表面又は、水で満たされている配管(被検査物5における内部配管等)表面の平均温度を算出する(s193)。なお、この場合の領域は、例えば、最低温度を示している場所としてもよいし、所定の温度よりも低い温度の部分の領域としてもよい(その場合の領域の温度は、例えば、被検査物5の表面の平均温度又は、水で満たされている配管表面の平均温度とする)。また、ここでの所定の温度とは、例えば、被検査物5の素材(金属、合成樹脂、ゴム等)が有する比熱に応じて設定される。
なお、本発明者らは、送風装置40を用いて気化を促進することで特に上記の判定領域(特に温度が低い領域)を特定しやすくなり、遠赤外線画像による残存水分の検出精度を大きく向上させることができるという知見を得た。
画像処理装置200は、s193で特定した特に低い温度と、被検査物5の表面の平均温度又は、水で満たされている配管表面の平均温度との差を計算する(s195)。この差が所定の閾値以上である場合には(s195:YES)、画像処理装置200は、残留水分がs193で特定した領域に存在すると判定し(s197)、遠赤外線画像マスク処
理は終了する(s199)。他方、被検査物5の表面の平均温度又は、水で満たされている配管表面の平均温度と前記の低い温度との差が所定の閾値未満である場合には(s195:NO)、画像処理装置200は、残留水分がs193で特定した領域に存在しないと判定し(s201)、遠赤外線画像マスク処理は終了する(s199)。なお、s193で領域(低い温度)が複数特定された場合には、s195の処理は、その領域(低い温度)のそれぞれについて行われてもよい。
なお、s195において画像処理装置200は、特定した領域の形状が所定の形状(例えば、円状)であるか否かを判定し、特定した領域の形状がその所定の形状であると判定した場合にのみ、その特定した領域を判定対象としてもよい。このように形状の判定を追加的に行うことで、残留水分をより正確に検出することができる。
このように、遠赤外線カメラ50により撮影した遠赤外線画像にマスク処理を行うことにより、微細な残留水分を検出することで、被検査物5及びその内部等における残留水分を早期かつ誤りなく発見することができる。
<メニュー画面以外の画面例>
次に、前記したメニュー画面500以外の画面例について説明する。
(学習モード画面)
図19は、メニュー画面500で学習モードボタン515が押下された場合に表示される学習モード画面の一例を示す図である。学習モード画面600には、学習モードを自動的に実行して可視光マスクデータ及び遠赤外線マスクデータを生成するための自動生成開始ボタン611と、撮影された可視光画像及び遠赤外線画像に対してユーザが手動で可視光マスク領域及び遠赤外線マスク領域を設定し可視光データ及び遠赤外線マスクデータを手動で作成するための手動作成ボタン613と、学習モードを終了するための終了ボタン615とが表示される。
(可視光マスクデータ作成中画面)
図20は、学習モード画面600で自動生成開始ボタン611が押下された結果、可視光マスクデータが自動的に作成される際に画像処理装置200に表示される可視光マスクデータ作成中画面の一例を示す図である。可視光マスクデータ作成中画面620には、撮影された可視光画像に対して自動的に生成される各可視光マスク領域301-304の様子が表示され、その後、これらに対応する可視光マスクデータが自動的に作成される。
(遠赤外線マスクデータ作成中画面)
図21は、自動生成開始ボタン611が押下され、遠赤外線マスクデータが自動的に作成される際に画像処理装置200に表示される遠赤外線マスクデータ作成中画面の一例を示す図である。遠赤外線マスクデータ作成中画面640には、撮影された遠赤外線画像に対して自動的に生成される各遠赤外線マスク領域310-313の様子が表示され、その後、これらに対応する遠赤外線マスクデータが自動的に作成される。
(水漏れ検査結果表示画面)
図22は、自動検査処理の結果を示す水漏れ検査結果表示画面の一例を示す図である。水漏れ検査結果表示画面800には、第1検査エリア120で行われた可視光画像による検査の結果を表示する第1表示欄802と、第2検査エリア140で行われた遠赤外線画像による検査の結果を表示する第2表示欄804と、後述するマスク追加ボタン806とが設けられる。第1表示欄802及び第2表示欄804には、検査の結果、水漏れが検知されれば「水漏れ」、水漏れが検知されなければ「合格」、と表示される。
ここで、第1表示欄802及び第2表示欄804が表示するいずれかの検査において、「水漏れ」と表示されているにもかかわらず、その後の検査員等の目視等の確認によって水漏れが生じていない(合格)ことが判明した場合、その検査は、水漏れを誤検知したことになる。
このような場合、ユーザが、水漏れを誤検知した検査の表示欄805を指定した上で、マスク追加ボタン806を押下することにより、画像処理装置200は、水漏れを誤検知した検査で使用された、マスク処理を行う前の画像(可視光画像又は遠赤外線画像)を、新たなマスクデータに変換して記憶する。
図22の例では、第1検査エリア120の可視光検査における被検査物5である「1-2」及び、第2検査エリア140の遠赤外線検査における被検査物5である「2-1」に誤検知があるので、対応するマスク追加ボタン806がそれぞれ押下されると、画像処理装置200は、マスク処理を行う前の可視光画像及び遠赤外線画像に基づき新たな可視光マスクデータ及び遠赤外線マスクデータを生成し記憶する。
このように、水漏れと誤検知した(実際は水漏れをしていない)部分の画像を新たなマスクデータとして追加し学習していくことにより、誤検出を減らしていくことが可能となる。
以上に説明したように、本実施形態の水漏れ検査用マスク生成方法は、まず、(1)表面及び内部配管の表面に水が存在しない被検査物の可視光画像から、階調差が大きい領域が時間の進行と共に所定方向(例えば、下方)に延伸している当該特徴的な領域を特定し、これを含むように可視光マスク領域を設定する。その後、検査対象の被検査物の可視光画像を取得し、この可視光画像から可視光マスク領域を除外した領域に対して、特徴的な領域を特定することにより、水漏れが発生していると判定する。(2)遠赤外線画像についても同様に特徴的な領域すなわち、被検査物の表面の温度のうち特に低い温度と、被検査物の表面の平均温度又は、水で満たされている配管表面の平均温度との差が大きい領域を特定し、これを含むように遠赤外線マスク領域を設定する。その後、検査対象の被検査物の遠赤外線画像を取得し、この遠赤外線画像から遠赤外線マスク領域を除外した領域に対して、特徴的な領域を特定することにより、水分が残留していると判定する。
このように、水が存在しない被検査物の可視光画像及び遠赤外線画像のそれぞれについてマスクデータを生成しておき、これらのマスクデータを利用して、水漏れが発生している可能性がある被検査物の画像判定を行うことで、実際に水漏れがないのに水漏れがあると判定するような、水漏れの誤検出を防ぐことができる。このように、本実施形態の水漏れ検査用マスク生成方法によれば、被検査物からの水漏れを正確に検出することができる。
[第2実施形態]
第1実施形態で示したような水漏れ検査方法の実際の運用においては、様々な検査上の誤差が生じることがある。例えば、被検査物5は、たとえ同種類の製品であっても、各個体ごとに設計上の誤差(筐体や各種部品の寸法等)が生じる。また、被検査物5を運搬装置160により運搬する場合でも、被検査物5の運搬装置160への固定位置は個体ごとに誤差が生じる。このような誤差を考慮しない場合は、撮影される画像にも誤差が生じ、結果として誤検出を生じさせるおそれがある。そこで、本実施形態の水漏れ検査システム1は、このような誤差を加味した水漏れ検査を行う。
<<水漏れ検査システム1の構成>>
本実施形態の水漏れ検査システム1の構成は、画像処理装置200以外は、第1実施形
態と同様である。
図23は、第2実施形態における画像処理装置200の構成の一例を示す図である。同図に示すように、本実施形態の画像処理装置200の構成は第1実施形態と同様であるが、画像処理装置200の水滴判定部220が、さらに可視光誤差データ記憶部227を備える。また、画像処理装置200の残留水分判定部230が、さらに遠赤外線誤差データ記憶部237を備える。
可視光誤差データ記憶部227は、前記被検査物5の前記可視光画像の取得に際して生じる検査上の誤差に対応する前記可視光画像の領域を可視光画像誤差領域として記憶する。
これを利用して、前記可視光マスク領域生成部221は、前記特定した可視光画像判定領域の特徴的な領域とこれに対応する前記可視光画像誤差領域とを前記可視光マスク領域として設定する。
遠赤外線誤差データ記憶部237は、前記被検査物5の前記遠赤外線画像の取得に際して生じる検査上の誤差に対応する前記遠赤外線画像の領域を遠赤外線画像誤差領域として記憶する。
これを利用して、前記遠赤外線マスク領域生成部231は、前記特定した遠赤外線画像判定領域の特徴的な領域とこれに対応する前記遠赤外線誤差領域とを前記遠赤外線マスク領域として設定する。
なお、可視光画像誤差領域及び遠赤外線画像誤差領域の情報は、誤差情報260に記憶されている。
図24は、誤差情報260の一例を示す図である。誤差情報260は、誤差の適用となる画像の種類(可視光画像又は遠赤外線画像)の情報が格納される対象画像261と、対象画像261が示す画像に対して適用される、誤差の種類の情報が格納される誤差種類263と、誤差種類263が示す誤差の具体的な内容(例えば、平面又は空間の所定の範囲)が格納される誤差領域265とを含む各項目を有する、1以上のレコードからなるデータベースである。
誤差種類263は、例えば、被検査物5が有する筐体の誤差、検査中に行われる被検査物5の運転に起因する誤差(被検査物5の振動等)、運搬装置160に被検査物5を設置する際に生じる、被検査物5の位置の誤差、可視光カメラ20又は遠赤外線カメラ50の撮影のための被検査物5の停止位置の誤差、等を含む。
<<水漏れ検査方法>>
本実施形態の水漏れ検査システム1が行う処理は、可視光マスクデータ生成処理及び遠赤外線マスクデータ生成処理以外は、第1実施形態と同様である。そこで、以下では、本実施形態における可視光マスクデータ生成処理及び遠赤外線マスクデータ生成処理を説明する。
(可視光マスクデータ生成処理)
図25は、第2実施形態に係る可視光マスクデータ生成処理の一例を説明するフロー図である。まず、s51、s53の処理(階調差の情報の生成及び階調差が大きい特徴的な領域の特定)は第1実施形態と同様である。
続いて、画像処理装置200は、s53で特定した、階調差が大きい特徴的な領域に対
して、可視光画像誤差領域を追加する(s54)。
具体的には、例えば、画像処理装置200は、誤差情報260のうち、対象画像261に可視光画像が登録されているレコードを全て取得し、取得したレコードの誤差領域265が示す領域を、s53で特定した領域に追加する。
以後、画像処理装置200は、この追加を行った領域に基づき、第1実施形態と同様に、可視光マスクデータを生成して記憶する(s55-s61)。
(遠赤外線マスクデータ生成処理)
図26は、第2実施形態に係る遠赤外線マスクデータ生成処理の一例を説明するフロー図である。まず、s91、s93、s95、s96の処理(温度分布の算出、最低温度の特定、被検査物5の表面の平均温度及び水で満たされている配管表面の平均温度の算出、閾値判定、及び、温度の低い特徴的な領域の特定)は第1実施形態と同様である。
続いて、画像処理装置200は、s96で特定した、温度の低い領域に対して、遠赤外線画像誤差領域を追加する(s97)。
具体的には、例えば、画像処理装置200は、誤差情報260のうち、対象画像261に遠赤外線画像が登録されているレコードを全て取得し、取得したレコードの誤差領域265が示す領域を、s96で特定した領域に追加する。
以後、画像処理装置200は、この追加を行った領域に基づき、第1実施形態と同様に、遠赤外線マスクデータを生成して記憶する(s98-s101)。以上で、遠赤外線マスクデータ生成処理は終了する。
以上の第1、2実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。
例えば、各実施形態では、被検査物5は水を収容するものであるとしたが、水漏れ検査システム1は水の気化熱の大きさを利用して遠赤外線画像による水漏れの検出を行っているため、気化熱が大きい液体(例えば、被検査物5の表面素材より比熱が大きい液体。水との混合物も含む。)を利用して動作を行う物(被検査物5)に対しても適用できる。
また、各実施形態では、被検査物5が洗濯機であるとしたが、洗濯機以外にも、除湿機、加湿器、給湯器、床暖房機等の家電製品の他、自動車部品(ラジエータ等)のように水を入れて使用する装置に幅広く適用することができる。
また、各実施形態の水漏れ検査システム1において重要な要素である被検査物5の表面の水滴(水分)の気化速度は、水温、気温、風速、湿度等によって様々に影響を受ける。したがって、第1検査エリア120及び第2検査エリア140の湿度に応じて除湿装置を新たに設けたり、その他の装置によって水の温度、第1検査エリア120又は第2検査エリア140の気温、又は被検査物5に対する送風の大きさ(風速)を調整したりする必要がある。
以上の本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態の水漏れ検査システムにおいては、前記可視光判定領域の特徴的な領域であると特定した領域に、水漏れが発生していない場合には、前記特徴的な領域を新たな可視光マスク領域として設定する、としてもよい。
また、本実施形態の水漏れ検査システムにおいては、前記遠赤外線判定領域の特徴的な領域であると特定した領域に、水漏れが発生していない場合には、当該領域を新たな遠赤外線マスク領域として設定する、としてもよい。
このように、水漏れがないのに水漏れがあると誤検出した場合、その場合の可視光画像又は遠赤外線画像をマスクデータに変換して記憶しておくことで、以後、記憶したマスクデータに基づいて誤検出を減らすことができる。
また、本実施形態の水漏れ検査システムにおいては、前記被検査物の前記可視光画像の取得に際して生じる検査上の誤差に対応する前記可視光画像の領域を可視光画像誤差領域として記憶し、前記特定した可視光画像判定領域の特徴的な領域とこれに対応する前記可視光画像誤差領域とを前記可視光マスク領域として設定する、としてもよい。
また、本実施形態の水漏れ検査システムにおいては、前記被検査物の前記遠赤外線画像の取得に際して生じる検査上の誤差に対応する前記遠赤外線画像の領域を遠赤外線画像誤差領域として記憶し、前記特定した遠赤外線画像判定領域の特徴的な領域とこれに対応する前記遠赤外線誤差領域とを前記遠赤外線マスク領域として設定する、としてもよい。
このように、被検査物5の可視光画像及び遠赤外線の取得に際して生じる検査上の誤差に対応する画像領域を誤差領域として記憶しておき、この記憶した領域を、可視光画像や遠赤外線画像に関する特徴的な領域に追加することで、検査上生じる誤差を加味した画像判定を行うことができ、水漏れ検査の精度を向上させることができる。
また、本実施形態の水漏れ検査システムにおいては、前記検査上の誤差は、前記被検査物間の形状の誤差、検査中に行われる前記被検査物の運転に起因する当該被検査物の変位の誤差、又は、検査中に行われる前記被検査物の運搬に起因する当該被検査物の変位の誤差、のいずれかを含む、としてもよい。
このような、画像判定に影響を及ぼすような、発生頻度の高い誤差を考慮することで、水漏れ検査の精度を向上させることができる。
また、本実施形態の水漏れ検査システムにおいては、その表面に水漏れが発生していない被検査物に対する、前記可視光マスク領域を設定するための入力をユーザから受け付ける可視光マスク領域入力部を備える、としてもよい。
また、本実施形態の水漏れ検査システムにおいては、その表面に水漏れが発生していない被検査物に対する、前記遠赤外線マスク領域を設定するための入力をユーザから受け付ける、としてもよい。
このように、可視光マスク領域及び遠赤外線マスク領域を設定するための入力をユーザから受け付ける機能を有することで、検査の自由度、柔軟性を高めることができる。
また、本実施形態の水漏れ検査システムにおいては、前記設定した可視光マスク領域の情報を出力する、としてもよい。
また、本実施形態の水漏れ検査システムにおいては、前記設定した遠赤外線マスク領域の情報を出力する、としてもよい。
このように、可視光マスク領域及び遠赤外線マスク領域の情報を出力することで、ユー
ザは、誤検出を招くような被検査物5の領域を確認し、検査の迅速性及び正確性を高めることができる。
また、本実施形態の水漏れ検査システムにおいては、前記可視光カメラから、所定の位置から落下している水滴の可視光画像を複数のタイミングで取得し、階調差が時間の進行と共に所定方向に延伸している、前記取得した可視光画像の領域が存在すると判定した場合に、前記可視光画像による被検査物の水漏れ検査を実行する、としてもよい。
また、本実施形態の水漏れ検査システムにおいては、遠赤外線を反射しない表面を有し、その表面に水滴が配置された所定の部材の当該表面の遠赤外線画像を前記遠赤外線カメラから取得し、その表面の平均温度を算出すると共に、当該表面の温度のうち特に低い温度を特定し、特定した低い温度と前記平均温度との差が所定値以上の特徴的な領域を特定した場合に、前記遠赤外線による被検査物の水漏れ検査を実行する、としてもよい。
このように、所定の位置(ノズル402)から落下している水滴の可視光画像を用いて水滴7が検出できるか否かを事前点検すると共に、その表面に水滴が配置された所定の部材(試験板404)の表面の遠赤外線画像を用いて水滴(微細な水滴8)を検出できるか否かを事前点検することで、被検査物5に対する、可視光画像及び遠赤外線画像による水漏れ及び残留水分の検出を誤りなく行うことができる。
また、本実施形態の水漏れ検査システムにおいては、前記所定の部材は、表面にアルマイト処理を施したアルミニウム板である、としてもよい。
このように、表面にアルマイト処理を施したアルミ板の表面に水滴が配置されることで、各水滴(水滴7、微細な水滴8)による事前点検を誤りなく行うことができる。
また、本実施形態の水漏れ検査システムにおいては、前記構造物及び前記被検査物の表面はそれぞれ、当該構造物及び当該被検査物の筐体の表面及びその内部配管の表面を含む、としてもよい。
このように、筐体の表面及び内部配管の表面に対して前記の各画像処理を行うことで、被検査物からの外部及び内部からの水漏れを誤りなく検出することができる。