JP7568751B2

JP7568751B2 - 画像処理装置

Info

Publication number: JP7568751B2
Application number: JP2022574037A
Authority: JP
Inventors: テイテイ鐘; 象太滝澤
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2021-01-06
Filing date: 2021-12-28
Publication date: 2024-10-16
Anticipated expiration: 2041-12-28
Also published as: DE112021005448T5; WO2022149544A1; TW202228080A; TWI891951B; US20230401842A1; JPWO2022149544A1; CN116601666B; CN116601666A; US12406493B2

Description

本発明は、画像処理装置に関する。

従来より、ロボットが備わる生産ラインで、カメラなどの視覚センサを用いて撮像対象物を検出する場合、照明を適宜に設置し、撮像対象物を見つけやすい画像が撮像できる環境を整えることが、一般的に行われている。

しかし、使用する照明の性能や天井照明などの影響で、必ずしも理想的な照明条件を実現できない場合がある。例えば、撮像範囲の全体の明るさを均一にすることができず、撮像範囲の端の明るさが撮像範囲中央の明るさよりも暗くなる場合がある。撮像範囲の中央と端とで照明ムラがあると、撮像範囲の端でワークが見つかるが撮像範囲の中央ではワークが見つからなかったり、逆に、撮像範囲の中央でワークが見つかるが撮像範囲の端ではワークが見つからなかったりする現象が発生する。

従来手法では、撮像対象物を撮像範囲の端と中央に置き、画像処理装置の教示者は目視で画像処理結果を確認しながら、端と中央の撮像対象物が両方とも見つかるパラメータを手動で調整してきた。

この点、撮像対象物を撮影して画像を取得するための撮影パラメータ（撮像条件）と、画像から撮像対象物を検出するための画像処理パラメータの組み合わせにより構成された複数組のパラメータを手動で入力し、複数組のパラメータ設定に対する、撮影と画像処理とを含む処理シーケンスの実行結果を示す複数の縮小画像を、それぞれ複数の結果画像として表示部に一覧表示させる技術が知られている（例えば、特許文献１参照）。

特開２０１９－２０４１８５号公報

しかし、画像から撮像対象物を検出する画像処理パラメータの良し悪しが数値化できないため、教示者の熟練度によって、画像処理パラメータの調整に個人差が生じるという問題がある。

本開示の一態様は、撮像対象物を検出する画像処理に用いる検出パラメータを自動調整する画像処理装置であって、複数の前記検出パラメータの組み合わせを生成する検出パラメータ生成部と、前記検出パラメータ生成部により生成された前記検出パラメータの組み合わせ毎に、複数の撮像条件を設定する撮像条件設定部と、前記検出パラメータと前記撮像条件との組み合わせ毎に、前記撮像対象物の検出可否を判断する検出可否判断部と、前記検出可否判断部により前記撮像対象物が検出されたと判断された撮像条件の範囲を算出する撮像範囲算出部と、前記撮像範囲算出部により算出された前記撮像条件の範囲が最も広い前記検出パラメータの組み合わせを決定するパラメータ決定部と、を備える画像処理装置である。

一態様によれば、検出パラメータの良し悪しを数値化することにより、教示者の熟練度によらず検出パラメータを調整することが可能となる。

一実施形態に係る画像処理装置の機能ブロック図である。一実施形態に係る画像処理装置の動作を示すフローチャートである。一実施形態に係る画像処理装置の最適パラメータの決定方法を示す表である。一実施形態に係る画像処理装置の最適パラメータの決定方法を示す表である。一実施形態に係る画像処理装置の最適パラメータの決定方法を示す表である。一実施形態に係る画像処理装置の操作画面の例である。

以下、本発明の実施形態について図１～図６を参照することにより説明する。

〔１実施形態の構成〕
図１は、本実施形態に係る画像処理装置１の機能ブロック図である。画像処理装置１は、制御部１０と記憶部２０と操作部３０とを備える。

制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＭＯＳメモリ等を有し、これらはバスを介して相互に通信可能に構成されるものであり、当業者にとって公知のものである。

ＣＰＵは、画像処理装置１を全体的に制御するプロセッサである。該ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従って画像処理装置１全体を制御することで、図１に示すように制御部１０が、検出パラメータ生成部１１、撮像条件設定部１２、検出可否判断部１３、撮像範囲算出部１４、検出パラメータ決定部１５の機能を実現するように構成する。

検出パラメータ生成部１１は、複数の検出パラメータ毎に、複数の検出パラメータの組み合わせを生成する。

「検出パラメータ」は、画像処理アルゴリズムに応じて異なるが、例えば、スコア閾値、コントラスト閾値、歪み許容値などがある。

「スコア閾値」とは、検出結果が検出ＯＫとなるか、検出ＮＧとなるかの閾値である。具体的には、対象物を検出した結果の正しさは１００点満点のスコア（単位は％）で表現される。このスコアが、「スコア閾値」以上であれば検出ＯＫとなり、「スコア閾値」未満であれば検出ＮＧとなる。

「コントラスト閾値」とは、撮像した画像上でどの程度のコントラスト（明暗差）があれば、特徴として認識するのかを示す閾値である。コントラスト閾値として小さい値を設定すると、はっきり見えないものが検出できる一方で、画像処理には時間がかかる。対象物中の単なる汚れ等、コントラストが低いものを誤検出する場合には、コントラスト閾値
を上げる。

「歪み許容値」とは、教示されたモデルと、画像に映っている対象物に当てはめるパターンとの形状のずれ（歪み）を許容する閾値（単位はｐｉｘ）である。歪み許容値として大きい値を指定すれば、形状のずれが大きくなっても検出できるが、誤検出の可能性も高くなる。

撮像条件設定部１２は、検出パラメータ生成部１１により生成された検出パラメータセットの組み合わせ毎に、複数の撮像条件を設定する。
「撮像条件」は撮像装置に応じて異なるが、例えば、撮像装置としてのカメラの露光時間や、撮像に用いる照明の光量や、撮像した画像の縮小率である。

撮像条件設定部１２は、検出パラメータの組み合わせ（検出パラメータセット）として、例えば、スコア閾値、コントラスト閾値、及び歪み許容値の組み合わせを複数セット用意し、セット毎に、カメラの露光時間、撮像に用いる照明の光量、撮像した画像の縮小率等の撮像条件を複数設定する。

なお、複数用意する検出パラメータセットは、各パラメータで設定可能な値の全ての組み合わせとしてもよい。この際、例えばパラメータとして設定可能な範囲を等分割することにより、各パラメータの値を定めてもよい。

あるいは、画像処理装置１のユーザにより、手動である程度調整した値を中心とする所定の範囲で設定可能な値の全ての組み合わせとしてもよい。

検出可否判断部１３は、検出パラメータセットと撮像条件との組み合わせ毎に、撮像対象物の検出可否を判断する。

具体的には、最初に、検出可否判断部１３は、第１の検出パラメータセットを用いて、第１の撮像条件で撮像した場合の、撮像対象物の検出可否を判断する。
次に、検出可否判断部１３は、第１の検出パラメータセットを用いて、第２の撮像条件で撮像した場合の、撮像対象物の検出可否を判断する。
以下同様に、検出可否判断部１３は、第１の検出パラメータセットを用いて、全ての撮像条件で撮像した場合の、撮像対象物の検出可否を判断する。
第１の検出パラメータセットを用いて、全ての撮像条件で撮像した場合の、撮像対象物の検出可否の判断を判断したら、次に、検出可否判断部１３は、第２の検出パラメータセットを用いて、全ての撮像条件で撮像した場合の、撮像対象物の検出可否を判断する。
以下同様に、検出可否判断部１３は、全ての検出パラメータセットにつき、全ての撮像条件で撮像した場合の、撮像対象物の検出可否を判断する。

ここで、検出可否判断部１３は、撮像対象物の検出結果が予め定めた正解条件に合致するか否かに基づいて、検出可否を判断してもよい。

あるいは、検出可否判断部１３は、既知の撮像対象物を実際に検出した検出位置が、当該撮像対象物の既知の設置位置に合致するか否かに基づいて、検出可否を判断してもよい。

正解条件に合致するか否かに基づいて検出可否を判断する場合においては、検出可否を判断するステップ（後述の実施形態の動作では、ステップＳ５）の前に、正解条件を決定するステップを行ってもよい。正解条件の例としては、「検出精度」、「検出位置」、「検出数」、「検出時間」がある。

「検出精度」は、パラメータを変えずに同じ撮像対象物を繰り返し検出したときの検出位置のバラつきである。画像の縮小率を大きくすると、「検出時間」は短くなる一方で、検出精度も低下する。
「検出位置」に基づく正解条件によれば、撮像対象物が検出される位置や範囲を予め指定しておくことで、期待しない位置で検出された場合に、その検出は誤検出であると判断することができる。スコア閾値が低すぎる場合や歪み許容値が大きすぎる場合に、誤検出しやすくなる。

「検出数」に基づく正解条件によれば、実際の検出数が予め設定した検出数と異なる場合に、検出失敗と判断することができる。「検出数」が０の場合には、パラメータが厳しすぎて検出に失敗していると判断できる。逆に「検出数」が期待された数よりも多い場合には、パラメータが緩すぎるため検出に失敗していると判断できる。
「検出時間」は、検出に要した時間のことである。仮に検出に成功していたとしても、「検出時間」が長すぎる場合にはサイクルタイムを満たさないため、採用不可能なパラメータとなる。画像の縮小率が小さい場合や、スコア閾値が小さい場合などには、「検出時間」が長くなる。

撮像範囲算出部１４は、検出可否判断部１３により撮像対象物が検出されたと判断された撮像条件の範囲を算出する。

具体的には、検出可否判断部１３によって、第１の検出パラメータセットを用いて、全ての撮像条件で撮像した場合の、撮像対象物の検出可否が判断された後、撮像範囲算出部１４は、撮像対象物の検出が成功となった撮像条件の範囲を算出する。
次に、検出可否判断部１３によって、第２の検出パラメータセットを用いて、全ての撮像条件で撮像した場合の、撮像対象物の検出可否が判断された後、撮像範囲算出部１４は、撮像対象物の検出が成功となった撮像条件の範囲を算出する。
以下同様に、全ての検出パラメータセットにつき、撮像範囲算出部１４は、撮像対象物の検出が成功となった撮像条件の範囲を算出する。

検出パラメータ決定部１５は、撮像範囲算出部１４により算出された撮像条件の範囲に基づいて、画像処理パラメータセットを決定する。

例えば、検出パラメータ決定部１５は、撮像範囲算出部１４によって算出された撮像条件の範囲が最も広い検出パラメータセットを、実際に使用する画像処理パラメータセットとして決定してもよい。

記憶部２０は、例えば撮像条件設定部１２によって設定される撮像条件、検出可否判断部１３による検出結果、撮像範囲算出部１４によって算出される撮像範囲、検出パラメータ決定部１５によって決定される検出パラメータセットを記憶する。

操作部３０は、検出パラメータと撮像条件の設定と、検出パラメータの調整を実行する。操作部３０は、図６を参照して後述する操作画面を表示するようなモニタによって実現してもよい。この場合、モニタには、画像処理装置１のユーザからの操作を受け付けるタッチパネルが積層される。あるいは、操作部３０は、図６の操作画面に入力するためのキーボードやマウスなどの入力デバイスによって実現してもよい。

別の実施形態として、画像を１つ以上の領域に分割し、それぞれの領域で検出パラメータセットを決定してもよい。

〔２実施形態の動作〕
図２は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。以下、図２を参照することにより、画像処理装置１の動作について説明する。

ステップＳ１において、検出パラメータ生成部１１が、撮像対象物を検出するパラメータセット（検出パラメータセット）を設定する。より詳細には、検出パラメータセットとして、例えば、スコア閾値、コントラスト閾値、歪み許容値を組み合せて初期設定する。

ステップＳ２において、制御部１０が、初期設定したスコア閾値、コントラスト閾値、歪み許容値のうち、スコア閾値の値を０とする。なお、図２に示す例では、後述のように、コントラスト閾値、歪み許容値を初期設定値で固定したまま、スコア閾値を０から１００まで１ずつインクリメントしながら、撮像対象物検出を試行する例について説明するが、本実施形態はこれには限定されない。例えば、スコア閾値と歪み許容値を初期設定値で固定したまま、コントラスト閾値を変化させながら、撮像対象物検出を試行してもよく、スコア閾値とコントラスト閾値を初期設定値で固定したまま、歪み許容値を変化させながら、撮像対象物検出を試行してもよい。

ステップＳ３において、撮像条件設定部１２が撮像条件を設定し、撮像装置で撮像対象物の画像を撮像する。より詳細には、例えば、撮像条件設定部１２が撮像条件として、ある露光時間を設定した上で、視覚センサで撮像対象物の画像を撮像する。

ステップＳ４において、制御部１０が、ステップＳ３において撮像した画像から、検出パラメータを用いて撮像対象物を検出する。

ステップＳ５において、検出可否判断部１３が、撮像対象物の検出がＯＫであると判断した場合（Ｓ５：ＹＥＳ）には、処理はステップＳ６に移行する。検出可否判断部１３が、撮像対象物の検出がＮＧであると判断した場合（Ｓ５：ＮＯ）には、処理はステップＳ７に移行する。

なお、検出可否を判断するステップＳ５の前に、正解条件を決定するステップを行ってもよい。

ステップＳ６において、制御部１０が、スコア閾値に１を加算する。

ステップＳ７において、全ての撮像条件で検出した場合（Ｓ７：ＹＥＳ）には、処理はステップＳ８に移行する。まだ全ての撮像条件で検出していない場合（Ｓ７：ＮＯ）には、処理はステップＳ３に移行し、撮像条件を変更して画像を撮像する。

ステップＳ８において、撮像範囲算出部１４が、撮像対象物が検出されたと判断された撮像条件の範囲を算出し、検出パラメータ決定部１５が、算出された撮像条件の範囲に基づいて、最適な検出パラメータセットを選択し、更新する。

図３～図５は、最適な検出パラメータセットの選択例である。
図３は、照明光量と画像縮小の値を固定し、露光時間を１０ｍｓから４００ｍｓまで変化させた際の、各検出パラメータセットの撮像条件の範囲を示す表である。パラメータセットＡの撮像条件の範囲は、２０ｍｓである。パラメータセットＢの撮像条件の範囲は、２０ｍｓ～３０ｍｓである。パラメータセットＣの撮像条件の範囲は、１０ｍｓ～４０ｍｓである。パラメータセットＤの撮像条件の範囲は、１０ｍｓ～４００ｍｓである。パラメータセットＡからパラメータセットＤの中で、最も撮像条件の範囲が広いのは、パラメータセットＤであるため、検出パラメータ決定部１５は、パラメータセットＤを最適な検出パラメータセットとする。

図４は、露光時間と画像縮小の値を固定し、照明光量を１から１６まで変化させた際の、各検出パラメータセットの撮像条件の範囲を示す表である。パラメータセットＡの照明光量の範囲は、２～３である。パラメータセットＢの照明光量の範囲は、２～４である。パラメータセットＣの照明光量の範囲は、１～４である。パラメータセットＤの撮像条件の範囲は、１～１６である。パラメータセットＡからパラメータセットＤの中で、最も撮像条件の範囲が広いのは、パラメータセットＤであるため、検出パラメータ決定部１５は、パラメータセットＤを最適な検出パラメータセットとする。

図５は、露光時間と照明光量の値を固定し、画像の縮小率を１から１／８まで変化させた際の、各検出パラメータセットの撮像条件の範囲を示す表である。パラメータセットＡの縮小率の範囲は、１～１／２である。パラメータセットＢの縮小率の範囲は、１～１／３である。パラメータセットＣの縮小率の範囲は、１～１／４である。パラメータセットＤの縮小率の範囲は、１～１／８である。パラメータセットＡからパラメータセットＤの中で、最も撮像条件の範囲が広いのは、パラメータセットＤであるため、検出パラメータ決定部１５は、パラメータセットＤを最適な検出パラメータセットとする。
なお、図３～５は一つの撮像条件を変更し、最適な検出パラメータセットを決定したが、これに制限されず、複数の撮像条件を変更し、最適な検出パラメータセットを決定してもよい。

ステップＳ９において、全ての検出パラメータセットを評価した場合（Ｓ９：ＹＥＳ）には、全ての処理を終了する。まだ全ての検出パラメータセットを評価していない場合（Ｓ９：ＮＯ）には、処理はステップＳ１に戻り、撮像対象物を検出する検出パラメータセットを変更する。

〔３実施例〕
図６に、画像処理装置１の操作画面の例を示す。
図６に示す操作画面は、検出パラメータの設定項目と、撮像条件の設定項目と、検出パラメータ決定のボタンと、を備える。
検出パラメータのそれぞれに対し、値の範囲と調整刻みを設定することができる。調整する検出パラメータを追加または削除を行う操作画面をさらに設けてもよい。
撮像条件のそれぞれに対し、値の範囲と調整刻みを設定することができる。撮像条件を追加または削除を行う操作画面をさらに設けてもよい。
検出パラメータと撮像条件の自動調整範囲と調整刻みを各々設定した上で、検出パラメータ決定のボタンを押すと、検出パラメータが調整される。
操作画面のボタンを押す代わりに、検出パラメータを調整するＡＰＩをプログラムから呼び出し、調整を行ってもよい。

〔４実施形態が奏する効果〕
本実施形態に係る画像処理装置（例えば、上記の「画像処理装置１」）は、撮像対象物を検出する画像処理に用いる検出パラメータを自動調整する画像処理装置であって、検出パラメータの組み合わせ毎に、複数の検出パラメータセットを生成する検出パラメータ生成部（例えば、上記の「検出パラメータ生成部１１」）と、検出パラメータ生成部により生成された検出パラメータセットの組み合わせ毎に、複数の撮像条件を設定する撮像条件設定部（例えば、上記の「撮像条件設定部１２」）と、検出パラメータセットと撮像条件との組み合わせ毎に、撮像対象物の検出可否を判断する検出可否判断部（例えば、上記の「検出可否判断部１３」）と、検出可否判断部により撮像対象物が検出されたと判断された撮像条件の範囲を算出する撮像範囲算出部（例えば、上記の「撮像範囲算出部１４」）と、撮像範囲算出部により算出された撮像条件の範囲に基づいて、検出パラメータセットを決定する検出パラメータ決定部（例えば、上記の「検出パラメータ決定部１５」）と、を備える。

検出パラメータの良し悪しを数値化することにより、検出パラメータを自動調整することが可能となる。とりわけ、評価指標を定量化することで、教示者ごとの個人差がなくなり、安定した調整が行える。また、検出パラメータを自動調整することで、室内照明など撮像環境が変わった場合でも、効率よく再調整することができる。

また、パラメータ決定部は、検出パラメータの組み合わせとして、撮像条件の範囲が最も広い検出パラメータの組み合わせを決定してもよい。

これにより、より広範な撮像条件に対応することが可能となる。

また、検出可否判断部は、撮像対象物の検出結果が予め定めた正解条件に合致するか否かに基づいて、検出可否を判断してもよい。

これにより、正解条件を予め人為的に設定したいというニーズに応じることが可能となる。

また、検出可否判断部は、既知の撮像対象物を実際に検出した検出位置が、当該撮像対象物の既知の設置位置に合致するか否かに基づいて、検出可否を判断してもよい。

これにより、撮像対象物の既知の設置位置さえ分かれば、検出可否を判断することが可能となる。

また、上記の画像処理装置は、検出パラメータと撮像条件の設定と、検出パラメータの調整を実行する操作部を更に備えてもよい。

これにより、画像処理装置のユーザが手動で、検出パラメータを調整することが可能となる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

画像処理装置１による画像処理方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、コンピュータ（画像処理装置１）にインストールされる。また、これらのプログラムは、リムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。更に、これらのプログラムは、ダウンロードされることなくネットワークを介したＷｅｂサービスとしてユーザのコンピュータ（画像処理装置１）に提供されてもよい。

１画像処理装置
１０制御部
１１検出パラメータ生成部
１２撮像条件設定部
１３検出可否判断部
１４撮像範囲算出部
１５検出パラメータ決定部（パラメータ決定部）
２０記憶部
３０操作部

Claims

撮像対象物を検出する画像処理に用いる検出パラメータを自動調整する画像処理装置であって、
複数の前記検出パラメータの組み合わせを生成する検出パラメータ生成部と、
前記検出パラメータ生成部により生成された前記検出パラメータの組み合わせ毎に、複数の撮像条件を設定する撮像条件設定部と、
前記検出パラメータと前記撮像条件との組み合わせ毎に、撮像対象物の検出可否を判断する検出可否判断部と、
前記検出可否判断部により前記撮像対象物が検出されたと判断された撮像条件の範囲を算出する撮像範囲算出部と、
前記撮像範囲算出部により算出された前記撮像条件の範囲に基づいて、前記検出パラメータの組み合わせを決定するパラメータ決定部と、
を備える画像処理装置。
前記パラメータ決定部は、前記検出パラメータの組み合わせとして、前記撮像条件の範囲が最も広い前記検出パラメータの組み合わせを決定する、請求項１に記載の画像処理装置。
前記検出可否判断部は、前記撮像対象物の検出結果が予め定めた正解条件に合致するか否かに基づいて、前記検出可否を判断する、請求項１又は請求項２に記載の画像処理装置。
前記検出可否判断部は、既知の前記撮像対象物を実際に検出した検出位置が、当該撮像対象物の既知の設置位置に合致するか否かに基づいて、前記検出可否を判断する、請求項１又は請求項２に記載の画像処理装置。
前記検出パラメータと撮像条件の設定と、検出パラメータの調整を実行する操作部を更に備える、請求項１から請求項４のいずれか１項に記載の画像処理装置。
画像を１つ以上の領域に分割し、それぞれの領域で前記検出パラメータの組み合わせを決定する、請求項１から請求項４のいずれか１項に記載の画像処理装置。