JP7630425B2

JP7630425B2 - 物品を識別するための方法および装置

Info

Publication number: JP7630425B2
Application number: JP2021513836A
Authority: JP
Inventors: キーファーマヌエル; ペニッツヴィリー
Original assignee: Trumpf Werkzeugmaschinen SE and Co KG
Current assignee: Trumpf Werkzeugmaschinen SE and Co KG
Priority date: 2018-09-12
Filing date: 2019-09-03
Publication date: 2025-02-17
Anticipated expiration: 2039-09-03
Also published as: JP2022500757A; US20230118305A1; DE102018215538A1; US11972600B2; CN112703508A; EP3850545A1; WO2020053023A1; CN112703508B

Description

発明の背景
本発明は、物品を識別するための方法および装置に関する。本発明はさらに、工業生産における、そのような方法の使用またはそのような装置の使用に関する。

物品の生産、とりわけ板金部品の生産では、特定のタスクに対応付けることができない物品、とりわけ生産された板金部品がしばしば発見される。物品の廃棄は、資源の浪費であり、さらには、特定のタスクの際に物品が不足してしまう危険性をもたらす。しかしながら、物品の完全な手動識別は、手間がかかり、経験豊富な従業員にしか成功裏に実施できないことが多く、このような従業員は、常に存在するとは限らないか、または物品を識別するために、このような従業員を他の作業から解放しなければならない。これに対して、物品の完全な機械識別は、物品の不十分な画像または不十分な識別プログラムが原因でしばしば失敗する。

発明の課題
したがって、本発明の課題は、偶発的に発見された物品の効果的な対応付けを可能にする方法および装置を提供することである。さらに、本発明の課題は、方法または装置の対応する使用を提供することである。

発明の説明
上記の課題は、本発明によれば、請求項１記載の方法、請求項１２記載の装置、および請求項１６記載の使用によって解決される。従属請求項は、好ましい発展形態を示す。

したがって、本発明は、物品を識別するための方法に関する。物品は、実質的に二次元の物品の形態で、例えば平らな板金部品の形態で、または三次元の物品の形態で、例えば変形された板金部品の形態で構成可能である。識別は、物品の画像を、格納されている物品データに対応付けることにより実施される。これらの物品データは、ＣＡＤデータの形態で格納可能である。本方法は、以下の方法ステップ、すなわち、
Ａ）カメラの形態で構成可能である画像捕捉装置によって物品の画像を作成する方法ステップ、
Ｂ）画像抽出アルゴリズムに基づいて、画像から画像特徴を導出する方法ステップ、
Ｃ）物品抽出アルゴリズムに基づいて、格納されている物品データから物品特徴を導出する方法ステップ、
Ｄ）比較アルゴリズムに基づいて、画像特徴を物品特徴と比較する方法ステップ、および
Ｅ）画像と、格納されている物品データとの対応付け情報を出力する方法ステップ
を有する。

したがって、本発明によれば、識別されるべき物品と、格納されている物品データとの対応付けに関する少なくとも１つの情報を出力することが企図されている。好ましくは、情報は、物品が、格納されている物品データにどのくらいの確率で一致しているかを見て取ることができるように、確率情報の形態で出力される。出力は、例えば、画面上で、スマートグラス上で、またはデータ伝送として実施可能である。有利には、複数の対応付け情報を、確率の表示とともに出力することができる。

本発明によれば、画像と、格納されている物品データとの両方から特徴が抽出される。このことにより、画像と、格納されている物品データとの特に信頼性の高い対応付けが可能になり、ひいては、物品が識別される確率が特に高くなる。

好ましくは、本方法は、以下の方法ステップ、すなわち、
Ｆ）対応付け情報のユーザ評価を読み取る方法ステップ
を有する。

本方法は、この対応付け情報に関するユーザの評価を読み取ることを企図している。ユーザによる評価は、例えば、データ伝送によって、または入力装置、例えばボタン、タッチスクリーン、音声記録、音声認識、もしくは同様の入力装置によって実施可能である。例えば、２つ以上の識別ヒットがユーザに表示され、確率に従ってソートされる場合には、ユーザは、自分の意見に従って実際に一致しているものを選択することができる。つまり、ユーザが、ユーザ評価を与えたということである。このことにより、将来に出力される対応付け情報を改善することが可能になる。

画像抽出アルゴリズムは、画像からデータを読み込み、所定の画像パラメータに基づいてこのデータを処理し、処理されたデータの形態で画像特徴を出力することができる。所定の画像パラメータは、いわゆる重み付き変数を有することができる。重み付き変数の関数および決定については、さらに下の方で説明する。

本方法は、さらに好ましくは、以下の方法ステップ、すなわち、
Ｈ）ユーザ評価に基づいて、画像抽出アルゴリズム、物品抽出アルゴリズム、および／または比較アルゴリズムのパラメータを変更、とりわけ改善、とりわけ最適化する方法ステップ
を有することができる。

パラメータは、いわゆる重み付き変数を有することができる。重み付き変数の決定および関数については、さらに下の方で説明する。

好ましくは、方法ステップＨ）の前、最中、および／または後に、以下の方法ステップ、すなわち、
Ｇ）対応付け情報のユーザ評価を、ユーザ評価結果メモリに保存する方法ステップ
が実施される。

ユーザ評価を保存することにより、多数のユーザ評価を収集することが可能となり、これにより、画像抽出アルゴリズム、物品抽出アルゴリズム、および／または比較アルゴリズムを大幅に改善することができる。

ユーザ評価結果メモリは、クラウドベースで構成可能である。本明細書におけるクラウドベースとは、とりわけ場所的に離れた、好ましくは匿名化されたメモリ装置を意味し、このメモリ装置に、２つ以上の、有利には数百または数千の異なるユーザからのユーザ評価が保存される。これにより、種々異なるユーザが、生産場所に関係なく方法の最適化に寄与することが可能となる。記載している方法は、数万、とりわけ数十万のユーザ評価が読み取られて初めて、圧倒的な大成功、すなわち、正しい対応付けを最高の確率で有している対応付け情報が得られることが判明している。このような大量のデータは、単一の生産施設では１年では達成できないことが多い。その場合には、本方法は、おそらく魅力のないままだったはずである。

画像の作成および撮影は、人間の目に見える波長範囲内で実施可能である。これに代えてまたはこれに加えて、画像の作成を、人間の目には見えない波長範囲内で、例えばＩＲ範囲、ＵＶ範囲、および／または超音波範囲内で実施してもよい。

方法ステップＡ）において、画像捕捉装置によって物品の複数の画像を撮影することができる。方法ステップＢ）において、複数の画像から画像特徴を抽出することができる。方法ステップＥ）において、複数の画像と、格納されている物品との対応付け情報を出力することができる。複数の画像の作成および処理は、とりわけ撮影位置によって引き起こされるアーティファクトの影響が低減されるので、ユーザのための対応付け情報の品質を大幅に改善することが判明している。

好ましくは、画像抽出アルゴリズム、物品抽出アルゴリズム、および／または比較アルゴリズムは、複数のデータ集約ルーチンを有するアルゴリズムを有する。データ集約ルーチンは、複数の「特定されたデータ」を１つの新しいデータパケットに集約するように構成可能である。この新しいデータパケットは、１つまたは複数の数値またはベクトルを有することができる。新しいデータパケットを、「特定されたデータ」として、さらなるデータ集約ルーチンへと完全にまたは部分的に供給することができる。「特定されたデータ」は、例えば、画像データ、物品データ、またはデータ集約ルーチンのうちの１つによって供給されたデータパケットであり得る。特に好ましくは、画像抽出アルゴリズム、物品抽出アルゴリズム、および／または比較アルゴリズムは、複数の接続されたデータ集約ルーチンを有するアルゴリズムの形態で構成されている。とりわけ、数百、とりわけ数千のそのようなデータ集約ルーチンを相互接続することができる。これにより、アルゴリズムの品質および速度が格段に改善される。画像抽出アルゴリズム、物品抽出アルゴリズム、および／または比較アルゴリズムは、重み付き変数を有する関数を有することができる。１つ、とりわけ複数の、特に好ましくは全てのデータ集約ルーチンは、複数の「特定されたデータ」をそれぞれ重み付き変数と組み合わせ、とりわけ乗算し、これらの「特定されたデータ」を「組み合わされたデータ」に変換し、次いで、これらの「組み合わされたデータ」を１つの新しいデータパケットに集約、とりわけ合算するように構成可能である。特に好ましくは、ユーザ評価に基づいて、重み付けの変更、とりわけ重み付き変数の変更が実施される。適切な重み付き変数を決定するために、画像抽出アルゴリズム、物品抽出アルゴリズム、および／または比較アルゴリズムは、データ、とりわけ、それぞれ対応関係が既知である画像データおよび／または物品データを用いることができる。重み付き変数の決定は、好ましくは第１のフェーズで、画像抽出アルゴリズム、物品抽出アルゴリズム、および比較アルゴリズムごとに別々に実施可能である。

画像特徴自体および物品特徴自体を、データパケット、とりわけ複数の構造化されたデータ、とりわけデータベクトルまたはデータ配列とすることができ、これらのデータパケット、とりわけ複数の構造化されたデータ、とりわけデータベクトルまたはデータ配列自体も、例えば、比較アルゴリズムのため、とりわけ比較アルゴリズムのデータ集約ルーチンのための「特定されたデータ」とすることができる。これらの画像特徴および物品特徴の正確な構造を、ユーザ評価の機械分析によって変更、とりわけ改善、好ましくは最適化することができる。

第１のユーザまたは第１のユーザグループのユーザ評価によって変更、とりわけ改善、好ましくは最適化された重み付き変数を、クラウドベースで管理することにより、他のユーザも、各自のアルゴリズムにおいてこれらの重み付き変数を使用して、本方法から利益を得ることができる。

上述したアルゴリズムまたはさらなる二次または上位のアルゴリズムは、いつアルゴリズムのうちの１つまたは全てが、ユーザによって悪いと評価された対応付け情報を所定の累積で出力し、これに基づいて否定メッセージを出力するのかを、監視および認識するように構成可能である。出力は、視覚的に、例えば画面上で、または別の適切な形態で、例えばデータ出力として実施可能である。監視アルゴリズムはさらに、そのような否定メッセージの出力に対して、上述したアルゴリズムのうちの１つまたは複数のアルゴリズムのさらなる特性または相互作用を変更する改善ルーチンによって反応するように構成可能である。

本方法のさらに好ましい実施形態では、物品特徴は、構造データ、材料データ、表面特性データ、および／または熱伝導率データの形態で設けられている。

比較アルゴリズムは、画像特徴と物品特徴との間のスカラー積の形成および／または差の形成を含むことができる。上述した手段は、画像特徴を物品特徴に対応付ける際に、特に効果的であることが判明している。

さらに好ましくは、画像の対応付け情報の出力は、格納されている種々の物品との複数の対応付け確率の出力を含む。これにより、ユーザは、複数の異なる対応付けオプションから選択することができる。これにより、物品の識別を、非常に高い成功確率で実行することができる。

本発明による課題はさらに、物品を、格納されている物品データに対応付けることにより物品を識別するための装置であって、当該装置は、
ａ）物品の画像を作成するための画像捕捉装置、
ｂ）画像から画像特徴を抽出するための画像抽出アルゴリズムを有する画像抽出ユニット、
ｃ）格納されている物品データから物品特徴を抽出するための物品抽出アルゴリズムを有する物品抽出ユニット、
ｄ）画像特徴を物品特徴と比較するための比較アルゴリズムを有する比較ユニット
を有し、
画像抽出アルゴリズム、物品抽出アルゴリズム、および／または比較アルゴリズムは、ユーザ評価に基づいて最適化可能に構成されており、当該装置は、
ｅ）画像捕捉装置によって作成された画像と、格納されている物品データとの対応付け情報を出力するための出力ユニット
を有する、装置によって解決される。

本発明による装置は、好ましくは、本明細書に記載されている方法を実施するように構成されている。

画像捕捉装置は、とりわけ可視光のためのカメラの形態で構成可能である。

本装置は、
ｆ）対応付け情報に関するユーザ評価を読み取るための入力ユニット
をさらに有することができる。

本装置は、
ｇ）対応付け情報のユーザ評価を保存するためのユーザ評価結果メモリ
をさらに有することができる。ユーザ評価結果メモリは、クラウドベースで構成可能である。

画像抽出アルゴリズム、物品抽出アルゴリズム、および／または比較アルゴリズムは、複数の接続されたデータ集約ルーチンを有するアルゴリズムの形態で構成可能である。

特に有利には、本方法および／または本装置は、反射性の物品、とりわけ板金部品を加工するためのコンピュータベースの生産制御を伴う工業生産において使用可能である。従前、画像捕捉装置による板金部品の画像は、輪郭と背景とを区別するのが非常に困難であり、かつ光の反射が誤った輪郭に見せかけるので、識別のために不十分な品質であることが多い。したがって、記載しているアルゴリズムを使用することなく画像データを物品データと比較している方法および装置は、これまでのところ工業生産において成功を収めていない。反射性の物品とは、画像の作成時に輪郭に加えて他のオブジェクトからの不所望な光の反射が発生し得るように光を反射する、滑らかな表面を有する物品を意味する。そのような反射性の物品の例は、金属、ガラス、滑らかな表面を有するプラスチック、コーティングされた材料、例えば、プラスチック、木、金属、ガラス等からなるコーティングされたプレートである。

生産制御が少なくとも部分的にクラウドベースである場合には、特に有利である。その場合には、パラメータ、とりわけ重み付き変数を利用して、第１の生産施設から他の生産施設へとアルゴリズムを変更、とりわけ改善、とりわけ最適化することもでき、その逆も可能である。したがって、はるかに大規模なデータベースが設けられており、それぞれの個々の生産企業のために識別を大幅に改善することができる。

本発明のさらなる利点は、説明および図面から明らかになる。同様にして、上記および下記の特徴は、本発明によれば、それぞれ個別でも、または任意の複数の組み合わせでも使用可能である。図示および説明されている実施形態は、排他的なものとして理解されるべきではなく、むしろ、本発明を描写するための例示的な特徴を有するものである。

本発明による方法または本発明による装置の１つの実施形態の概略図である。

図１は、対応付けなしに発見された物品を識別するための装置１０を示す。物品は、板金部品の形態で構成可能である。物品に対して、物品データ１２が格納されている。発見された物品を物品データ１２に対応付け、これによってこの発見された物品を識別するために、少なくとも１つの画像１４が作成される。

好ましくは、物品データ１２は、ＣＡＤデータの形態で、とりわけＣＡＤデータベースの形態の物品データベース１６に格納されている。

画像１４は、画像捕捉装置１８によって作成される。画像捕捉装置１８は、カメラの形態で構成可能である。

図１に示されている画像１４は、このような画像１４の対応付けが非常に困難であり得ることを示している。これは、とりわけ－図示のように－画像１４が物品の一部のみを示している場合、画像１４が雑然とした背景を背にして行われる場合、および／または物品の表面特性が画像１４の作成を困難にする場合である。

画像特徴２２を抽出するために、画像１４に対して画像抽出アルゴリズム２０が適用される。このことは、図１では、画像１４内の一点鎖線で囲まれた領域に基づいて概略的に示されている。画像抽出アルゴリズム２０は、画像抽出ユニット２４に格納されている。画像抽出アルゴリズム２０は、複数の相互接続された、とりわけ互いに重み付けされたデータ集約ルーチンを有することができる。

物品特徴２８を抽出するために、物品データ１２に対して物品抽出アルゴリズム２６が適用される。このことは、図１では、物品データ１２内の一点鎖線で囲まれた領域に基づいて概略的に示されている。物品抽出アルゴリズム２６は、物品抽出ユニット３０に格納されている。物品抽出アルゴリズム２６は、複数の相互接続された、とりわけ互いに重み付けされたデータ集約ルーチンを有することができる。

画像特徴２２および物品特徴２８は、比較アルゴリズム３２に供給される。比較アルゴリズム３２は、比較ユニット３４に格納されている。比較アルゴリズム３２は、複数の相互接続された、とりわけ互いに重み付けされたデータ集約ルーチンを有することができる。好ましくは、比較アルゴリズム３２は、画像特徴２２と物品特徴２８との間のスカラー積または差を形成するように構成されている。

比較アルゴリズム３２の結果として、対応付け情報３６が出力される。対応付け情報の出力は、出力ユニット３８において実施される。図１に示されているように、複数の物品データ（ここでは３つ；図１では参照記号が付されていない）を表示することができ、それぞれの物品データに関して、それぞれ対応付け確率（ここでは６０％、３５％、および５％）が出力される。これにより、発見された物品と、物品データとの対応付けが、ユーザにとって格段に簡単になる。

今後の対応付けを改善するため、すなわち将来の対応付け情報の品質を向上させるために、装置１０は、入力ユニット４０を有する。入力ユニット４０は、ユーザ評価４２を読み取るように構成されている。次いで、ユーザ評価４２を使用して、画像抽出アルゴリズム２０、物品抽出アルゴリズム２６、および／または比較アルゴリズム３２、またはそれらのパラメータが最適化される。

ユーザ評価４２は、ユーザ評価結果メモリ４４に保存可能であり、したがって、方法または装置１０を多数のユーザ評価４２によって最適化することができる。特に好ましくは、ユーザ評価結果メモリ４４は、クラウドベースで構成されている。これにより、装置全体にわたってユーザ評価４２を、方法または装置１０の最適化に取り入れることができる。

換言すれば、本発明は、物品を認識するための方法および装置１０に関する。とりわけ画像の形態での、物品の少なくとも１つの画像１４が作成される。画像１４に基づいて、画像抽出アルゴリズム２０によって画像特徴２２が特定される。格納されている物品データ１２に基づいて、物品特徴２８が特定され、画像特徴２２と比較され、対応付け情報３６が出力される。本発明によれば、とりわけ、画像抽出アルゴリズム２０および物品抽出アルゴリズム２６の両方を改善するために、ユーザ評価４２を設けることが企図されている。これに代えてまたはこれに加えて、本発明によれば、とりわけ、画像抽出アルゴリズム２０および物品抽出アルゴリズム２６の両方を、複数の相互接続された、好ましくは重み付けられたデータ集約ルーチンに基づいて構成することが企図されている。

１０装置
１２物品データ
１４画像
１６物品データベース
１８画像捕捉装置
２０画像抽出アルゴリズム
２２画像特徴
２４画像抽出ユニット
２６物品抽出アルゴリズム
２８物品特徴
３０物品抽出ユニット
３２比較アルゴリズム
３４比較ユニット
３６対応付け情報
３８出力ユニット
４０入力ユニット
４２ユーザ評価
４４ユーザ評価結果メモリ

Claims

物品の画像（１４）を、格納されている物品データ（１２）に対応付けることにより物品を識別するための方法であって、
当該方法は、以下の方法ステップ、すなわち、
Ａ）画像捕捉装置（１８）によって前記物品の前記画像（１４）を作成する方法ステップ、
Ｂ）画像抽出アルゴリズム（２０）に基づいて、前記画像（１４）から画像特徴（２２）を抽出する方法ステップ、
Ｃ）物品抽出アルゴリズム（２６）に基づいて、前記格納されている物品データ（１２）から物品特徴（２８）を抽出する方法ステップ
を有し、
前記方法ステップＣ）は、前記方法ステップＡ）およびＢ）の前、最中、および／または後に実施可能であり、その後、以下の方法ステップ、すなわち、
Ｄ）比較アルゴリズム（３２）に基づいて、前記画像特徴（２２）を前記物品特徴（２８）と比較する方法ステップ、
Ｅ）前記画像（１４）と、前記格納されている物品データ（１２）との対応付け情報（３６）を出力する方法ステップ、
Ｆ）前記対応付け情報（３６）のユーザ評価（４２）を読み取る方法ステップ、
Ｈ）前記ユーザ評価（４２）に基づいて、前記画像抽出アルゴリズム（２０）、前記物品抽出アルゴリズム（２６）、および／または前記比較アルゴリズム（３２）を最適化する方法ステップ、
が実施され、
前記画像（１４）の前記対応付け情報（３６）の出力は、格納されている種々の物品との対応付け確率の出力を含み、
前記方法ステップＡ）において、前記画像捕捉装置（１８）によって前記物品の複数の画像（１４）が撮影され、
前記方法ステップＢ）において、前記複数の画像（１４）から前記画像特徴（２２）が抽出され、
前記方法ステップＥ）において、前記複数の画像（１４）と、前記格納されている物品との対応付け情報（３６）が出力される、方法。
前記方法ステップＨ）の前、最中、および／または後に、以下の方法ステップ、すなわち、
Ｇ）前記対応付け情報（３６）の前記ユーザ評価（４２）を、ユーザ評価結果メモリ（４４）に保存する方法ステップ
が実施される、請求項１記載の方法。
前記ユーザ評価結果メモリ（４４）は、クラウドベースで構成されている、
請求項２記載の方法。
前記画像（１４）の作成は、人間の目に見える波長範囲内で実施される、
請求項１から３までのいずれか１項記載の方法。
前記画像抽出アルゴリズム（２０）、前記物品抽出アルゴリズム（２６）、および／または前記比較アルゴリズム（３２）は、複数の相互接続されたデータ集約ルーチンを有する、
請求項１から４までのいずれか１項記載の方法。
前記物品特徴（２８）は、構造データおよび／または材料データの形態で設けられている、
請求項１から５までのいずれか１項記載の方法。
前記比較アルゴリズム（３２）は、前記画像特徴（２２）と前記物品特徴（２８）との間のスカラー積の形成および／または差の形成を含む、
請求項１から６までのいずれか１項記載の方法。
物品を、格納されている物品データ（１２）に対応付けることにより物品を識別するための装置（１０）であって、
当該装置（１０）は、
ａ）前記物品の画像（１４）を作成するための画像捕捉装置（１８）、
ｂ）前記画像（１４）から画像特徴（２２）を抽出するための画像抽出アルゴリズム（２０）を有する画像抽出ユニット（２４）、
ｃ）格納されている物品データから物品特徴（２８）を抽出するための物品抽出アルゴリズム（２６）を有する物品抽出ユニット（３０）、
ｄ）前記画像特徴（２２）を前記物品特徴（２８）と比較するための比較アルゴリズム（３２）を有する比較ユニット（３４）
を有し、前記画像抽出アルゴリズム（２０）、前記物品抽出アルゴリズム（２６）、および／または前記比較アルゴリズム（３２）は、ユーザ評価（４２）に基づいて最適化可能に構成されており、当該装置は、
ｅ）前記画像捕捉装置（１８）によって作成された前記画像（１４）と、前記格納されている物品データ（１２）との対応付け情報（３６）を出力するための出力ユニット（３８）と
ｆ）前記対応付け情報（３６）のユーザ評価（４２）を読み取るための入力ユニット（４０）とを有し、
前記画像（１４）の前記対応付け情報（３６）の出力は、格納されている種々の物品との対応付け確率の出力を含み、

前記画像捕捉装置（１８）は、前記物品の複数の画像（１４）を撮影し、
前記画像抽出ユニット（２４）は、前記複数の画像（１４）から前記画像特徴（２２）を抽出し、
前記出力ユニット（３８）は、前記複数の画像（１４）と、前記格納されている物品との対応付け情報（３６）を出力する、装置（１０）。
前記装置（１０）は、
ｇ）前記対応付け情報（３６）の前記ユーザ評価（４２）を保存するためのユーザ評価結果メモリ（４４）
をさらに有する、請求項８記載の装置。
前記画像抽出アルゴリズム（２０）、前記物品抽出アルゴリズム（２６）、および／または前記比較アルゴリズム（３２）は、複数の相互接続されたデータ集約ルーチンを有する、
請求項８または９記載の装置。