JP7604465B2 - 回路図の自動解析のためのシステムおよび方法 - Google Patents

Description

（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる、２０１９年９月１１日に出願された、米国仮特許出願第６２／８９９，０１１号の優先権を主張する。

回路図および配管図ならびに計装図等の工学設計文書は、技師がシステムの組成構成要素、それらの構成要素が接続される方法、および本システムが動作する方を理解することに役立ち得る。システムに関する工学設計文書の完全なセットは、略図、略図内の特定の構成要素についてのより詳細を提供する、構成要素表、およびシステム上で講じられるアクション（例えば、保守アクション、較正等）のリストを含み得る。そのような工学設計文書の一部または全ては、デジタル化されていない場合がある。

本開示は、物理的システムの工学設計文書から物理的システムのデジタル表現を発生させるためのシステム、方法、およびコンピュータプログラム製品を提供する。工学設計文書は、物理的システムの非デジタル回路図と、対応する構成要素表とを含み得る。回路図は、多くの異なるページに及び得る。本明細書に説明されるシステムは、非デジタル回路図内の記号を検出することによって、物理的システムのデジタル表現を発生させることができる。本システムは、次いで、分類子を使用し、検出された記号のそれぞれを特定の構成要素として分類することができる。ある場合には、検出および分類は、単一のアルゴリズムまたはモデル、例えば、オブジェクト検出アルゴリズムによって、同時に実施されることができる。本システムは、加えて、例えば、回路図内の群を境界する破線を検出することによって、構成要素の関連する群をアセンブリとして分類することができる。その後、本システムは、例えば、回路図内の構成要素およびアセンブリを接続する実線を検出することによって、構成要素とアセンブリとの間の接続を決定することができる。ある場合には、本システムはまた、構成要素およびアセンブリのサブセットを構成要素表内のエントリと関連付けることもできる。構成要素表は、回路図が提供しない、ある構成要素についてのより詳細な情報を提供してもよい。最後に、本システムは、構成要素、アセンブリ、接続、および関連付けから物理的システムのデジタル表現を発生させることができる。物理的システムのデジタル表現は、物理的システムのデジタルモデルと、機械可読の部品表とを含んでもよい。デジタルモデルは、構成要素、接続、および物理的システムの状態を定義する、コンピュータコードであってもよい。デジタルモデルは、静的モデルまたは時変モデルであってもよい。

上記に説明されるシステムは、工学設計文書の包括的なデジタルモデルへの迅速かつ正確な変換を促進することができる。具体的には、工学設計文書内のオブジェクトを識別し、分類するための深層学習の本システムの使用は、そのようなデジタルモデルを発生させるために要求される分野の知識（例えば、工学設計文書内で使用される特定の記号の幾何学形状の知識）の量を低減させ得る。代わりに、限定された量の標識訓練データが、非常に正確な深層学習モデルを発生させるために使用されることができる。深層学習の一般性はまた、本明細書に説明される方法が、異なるタイプの工学設計文書を伴う異なる産業を横断して使用されることも可能にする。

一側面では、本開示は、システムの工学設計文書からシステムのデジタル表現を発生させるための方法を提供する。工学設計文書は、１つまたはそれを上回る回路図と、構成要素表とを備えてもよい。本方法は、（ａ）深層学習アルゴリズムを使用して、（ｉ）１つまたはそれを上回る回路図内の複数の記号のそれぞれを構成要素として、および（ｉｉ）関連する記号の各群をアセンブリとして、分類するステップと、（ｂ）構成要素とアセンブリとの間の接続を決定するステップと、（ｃ）構成要素ならびにアセンブリのサブセットを構成要素表内のエントリと関連付けるステップと、（ｄ）構成要素、アセンブリ、接続、および関連付けからシステムのデジタル表現を発生させるステップとを含むことができる。本システムのデジタル表現は、少なくとも、システムのデジタルモデルと、機械可読の部品表とを含んでもよい。

いくつかの実装では、本方法はさらに、（ａ）に先立って、１つまたはそれを上回る回路図から白色空間もしくはノイズを除去することによって、１つまたはそれを上回る回路図を前処理するステップを含む。

いくつかの実装では、本方法はさらに、（ａ）に先立って、１つまたはそれを上回る回路図内で検出するための構成要素のライブラリを決定するステップを含む。いくつかのそのような実装では、本方法はさらに、（ｉ）１つまたはそれを上回る回路図内の個別の記号が、構成要素のライブラリ内に存在しないことを決定するステップと、（ｉｉ）個別の記号およびその対応する構成要素を構成要素のライブラリに追加するステップとを含む。

いくつかの実装では、（ａ）は、２値分類器を使用して、１つまたはそれを上回る回路図内の複数の記号を検出するステップを含む。検出するステップは、スライディングウィンドウアプローチを含んでもよい。深層学習アルゴリズムは、２値分類器を備えてもよい。いくつかの実装では、（ａ）はさらに、マルチクラス深層ニューラルネットワークを使用して、検出された記号のそれぞれを構成要素として分類するステップを含む。深層学習アルゴリズムは、マルチクラス深層ニューラルネットワークを備えてもよい。マルチクラス深層ニューラルネットワークは、フィードフォワードニューラルネットワークと、畳み込みニューラルネットワークとから成る群から選択されてもよい。いくつかの実装では、単一のアルゴリズム（例えば、オブジェクト検出アルゴリズム）が、記号の検出および分類の両方を実施する。

いくつかの実装では、関連する記号の各群をアセンブリとして分類するステップは、群毎に、群を境界する、１つまたはそれを上回る回路図内の破線を検出するステップを含む。

いくつかの実装では、（ｂ）は、構成要素およびアセンブリを接続する実線を検出するステップを含む。実線は、図表探索アルゴリズムを使用してトラバースおよびモデル化されることができる。

いくつかの実装では、（ｃ）は、１つまたはそれを上回る回路図内で、光学文字認識を使用して、構成要素およびアセンブリのサブセット内の構成要素ならびにアセンブリと関連付けられる、識別番号を検出し、識別するステップと、検出された識別番号を構成要素表内の識別番号と整合させるステップとを含む。識別番号を検出するステップは、ハフ変換を使用するステップを含んでもよい。

いくつかの実装では、デジタルモデルは、構成要素、接続、およびシステムの状態を定義する、コンピュータコードを備えることができる。デジタルモデルは、静的モデルであることができる。デジタルモデルは、時変モデルであることができる。

本開示の別の側面は、１つまたはそれを上回るコンピュータプロセッサによる実行に応じて、上記もしくは本明細書の別の場所の方法のうちのいずれかを実装する、機械実行可能コードを備える、非一過性コンピュータ可読媒体を提供する。

本開示の別の側面は、１つまたはそれを上回るコンピュータプロセッサと、それに結合されるコンピュータメモリとを備える、システムを提供する。コンピュータメモリは、１つまたはそれを上回るコンピュータプロセッサによる実行に応じて、上記もしくは本明細書の別の場所の方法のうちのいずれかを実装する、機械実行可能コードを備える。

本開示の付加的側面および利点が、本開示の例証的実施形態のみが示され、説明される、以下の詳細な説明から当業者に容易に明白な状態となるであろう。認識されるであろうように、本開示は、他の異なる実施形態が可能であり、そのいくつかの詳細は、全て本開示から逸脱することなく、種々の明白な点において修正が可能である。故に、図面および説明は、制限的ではなく、本質的に例証的と見なされるべきである。
本発明は、例えば、以下の項目を提供する。
（項目１）
１つまたはそれを上回る回路図と、構成要素表とを備えるシステムの工学設計文書からシステムのデジタル表現を発生させるための方法であって、前記方法は、
（ａ）深層学習アルゴリズムを使用して、（ｉ）前記１つまたはそれを上回る回路図内の複数の記号のそれぞれを構成要素として、および（ｉｉ）関連する記号の各群をアセンブリとして、分類するステップと、
（ｂ）前記構成要素と前記アセンブリとの間の接続を決定するステップと、
（ｃ）前記構成要素および前記アセンブリのサブセットを前記構成要素表内のエントリと関連付けるステップと、
（ｄ）前記構成要素、前記アセンブリ、前記接続、および前記関連付けから前記システムのデジタル表現を発生させるステップであって、前記システムのデジタル表現は、少なくとも、前記システムのデジタルモデルと、機械可読の部品表とを含む、ステップと
を含む、方法。
（項目２）
（ａ）に先立って、前記１つまたはそれを上回る回路図から白色空間またはノイズを除去することによって、前記１つまたはそれを上回る回路図を前処理するステップをさらに含む、項目１に記載の方法。
（項目３）
（ａ）に先立って、前記１つまたはそれを上回る回路図内で検出するための構成要素のライブラリを決定するステップをさらに含む、項目１に記載の方法。
（項目４）
（ｉ）前記１つまたはそれを上回る回路図内の個別の記号が、前記構成要素のライブラリ内に存在しないことを決定するステップと、（ｉｉ）前記個別の記号およびその対応する構成要素を前記構成要素のライブラリに追加するステップとをさらに含む、項目３に記載の方法。
（項目５）
（ａ）は、２値分類器を使用して、前記１つまたはそれを上回る回路図内の前記複数の記号を検出するステップを含み、前記深層学習アルゴリズムは、前記２値分類器を備え、前記検出するステップは、スライディングウィンドウアプローチを含む、項目１に記載の方法。
（項目６）
（ａ）はさらに、マルチクラス深層ニューラルネットワークを使用して、前記検出された記号のそれぞれを構成要素として分類するステップを含み、前記深層学習アルゴリズムは、前記マルチクラス深層ニューラルネットワークを備える、項目５に記載の方法。
（項目７）
（ａ）はさらに、オートエンコーダを使用して、前記検出された記号のそれぞれを構成要素として分類するステップを含み、前記深層学習アルゴリズムは、前記オートエンコーダを備える、項目５に記載の方法。
（項目８）
前記マルチクラス深層ニューラルネットワークは、フィードフォワードニューラルネットワークと、畳み込みニューラルネットワークとから成る群から選択される、項目６に記載の方法。
（項目９）
前記マルチクラス深層ニューラルネットワークは、半教師あり学習プロセスを使用して訓練される、項目６に記載の方法。
（項目１０）
（ａ）は、単一オブジェクト検出アルゴリズムを使用して、前記１つまたはそれを上回る回路図内の前記複数の記号を検出し、分類するステップを含む、項目１に記載の方法。
（項目１１）
関連する記号の各群をアセンブリとして分類するステップは、群毎に、前記群を境界する前記１つまたはそれを上回る回路図内の破線を検出するステップを含む、項目１に記載の方法。
（項目１２）
（ｂ）は、前記構成要素および前記アセンブリを接続する実線を検出するステップを含む、項目１に記載の方法。
（項目１３）
前記検出するステップは、図表探索アルゴリズムを使用するステップを含む、項目１２に記載の方法。
（項目１４）
（ｃ）は、
前記１つまたはそれを上回る回路図内で、光学文字認識を使用して、前記構成要素およびアセンブリのサブセット内の前記構成要素および前記アセンブリと関連付けられる識別番号を検出し、識別するステップと、
前記検出された識別番号を前記構成要素表内の識別番号と整合させるステップと
を含む、項目１に記載の方法。
（項目１５）
前記識別番号を検出するステップは、ハフ変換を使用するステップを含む、項目１４に記載の方法。
（項目１６）
前記デジタルモデルは、前記構成要素、前記接続、および前記システムの状態を定義する、コンピュータコードを備える、項目１に記載の方法。
（項目１７）
前記デジタルモデルは、静的モデルである、項目１６に記載の方法。
（項目１８）
前記デジタルモデルは、時変モデルである、項目１６に記載の方法。
（項目１９）
１つまたはそれを上回る非一過性コンピュータ記憶媒体であって、前記１つまたはそれを上回る非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、１つまたはそれを上回るコンピュータによって実行されると、前記１つまたはそれを上回るコンピュータに、
（ａ）深層学習アルゴリズムを使用して、（ｉ）１つまたはそれを上回る回路図内の複数の記号のそれぞれを構成要素として、および（ｉｉ）関連する記号の各群をアセンブリとして、分類するステップと、
（ｂ）前記構成要素と前記アセンブリとの間の接続を決定するステップと、
（ｃ）前記構成要素および前記アセンブリのサブセットを前記構成要素表内のエントリと関連付けるステップと、
（ｄ）前記構成要素、前記アセンブリ、前記接続、および前記関連付けから前記システムのデジタル表現を発生させるステップであって、前記システムのデジタル表現は、少なくとも、前記システムのデジタルモデルと、機械可読の部品表とを含む、ステップと
を含む動作を実施させるように動作可能である、１つまたはそれを上回る非一過性コンピュータ記憶媒体。
（項目２０）
前記動作はさらに、（ａ）に先立って、前記１つまたはそれを上回る回路図から白色空間またはノイズを除去することによって、前記１つまたはそれを上回る回路図を前処理するステップを含む、項目１９に記載の非一過性コンピュータ記憶媒体。
（項目２１）
前記動作はさらに、（ａ）に先立って、前記１つまたはそれを上回る回路図内で検出するための構成要素のライブラリを決定するステップを含む、項目１９に記載の非一過性コンピュータ記憶媒体。
（項目２２）
前記動作はさらに、（ｉ）前記１つまたはそれを上回る回路図内の個別の記号が、前記構成要素のライブラリ内に存在しないことを決定するステップと、（ｉｉ）前記個別の記号およびその対応する構成要素を前記構成要素のライブラリに追加するステップとを含む、項目２１に記載の非一過性コンピュータ記憶媒体。
（項目２３）
（ａ）は、２値分類器を使用して、前記１つまたはそれを上回る回路図内の前記複数の記号を検出するステップを含み、前記深層学習アルゴリズムは、前記２値分類器を備え、前記検出するステップは、スライディングウィンドウアプローチを含む、項目１９に記載の非一過性コンピュータ記憶媒体。
（項目２４）
（ａ）はさらに、マルチクラス深層ニューラルネットワークを使用して、前記検出された記号のそれぞれを構成要素として分類するステップを含み、前記深層学習アルゴリズムは、前記マルチクラス深層ニューラルネットワークを備える、項目２３に記載の非一過性コンピュータ記憶媒体。
（項目２５）
（ａ）はさらに、オートエンコーダを使用して、前記検出された記号のそれぞれを構成要素として分類するステップを含み、前記深層学習アルゴリズムは、前記オートエンコーダを備える、項目２３に記載の非一過性コンピュータ記憶媒体。
（項目２６）
前記マルチクラス深層ニューラルネットワークは、フィードフォワードニューラルネットワークと、畳み込みニューラルネットワークとから成る群から選択される、項目２４に記載の非一過性コンピュータ記憶媒体。
（項目２７）
前記マルチクラス深層ニューラルネットワークは、半教師あり学習プロセスを使用して訓練される、項目２４に記載の非一過性コンピュータ記憶媒体。
（項目２８）
（ａ）は、単一オブジェクト検出アルゴリズムを使用して、前記１つまたはそれを上回る回路図内の前記複数の記号を検出し、分類するステップを含む、項目１９に記載の非一過性コンピュータ記憶媒体。
（項目２９）
関連する記号の各群をアセンブリとして分類するステップは、群毎に、前記群を境界する前記１つまたはそれを上回る回路図内の破線を検出するステップを含む、項目１９に記載の非一過性コンピュータ記憶媒体。
（項目３０）
（ｂ）は、前記構成要素および前記アセンブリを接続する実線を検出するステップを含む、項目１９に記載の非一過性コンピュータ記憶媒体。
（項目３１）
前記検出するステップは、図表探索アルゴリズムを使用するステップを含む、項目３０に記載の非一過性コンピュータ記憶媒体。
（項目３２）
（ｃ）は、
前記１つまたはそれを上回る回路図内で、光学文字認識を使用して、前記構成要素およびアセンブリのサブセット内の前記構成要素および前記アセンブリと関連付けられる識別番号を検出し、識別するステップと、
前記検出された識別番号を前記構成要素表内の識別番号と整合させるステップと
を含む、項目１９に記載の非一過性コンピュータ記憶媒体。
（項目３３）
前記識別番号を検出するステップは、ハフ変換を使用するステップを含む、項目３２に記載の非一過性コンピュータ記憶媒体。
（項目３４）
前記デジタルモデルは、前記構成要素、前記接続、および前記システムの状態を定義するコンピュータコードを備える、項目１９に記載の非一過性コンピュータ記憶媒体。
（項目３５）
前記デジタルモデルは、静的モデルである、項目３４に記載の非一過性コンピュータ記憶媒体。
（項目３６）
前記デジタルモデルは、時変モデルである、項目３４に記載の非一過性コンピュータ記憶媒体。

（参照による組み込み）
本明細書に言及される全ての公開文書、特許、および特許出願は、各個々の公開文書、特許、または特許出願が、具体的かつ個々に示された場合と同程度に、参照することによって本明細書に組み込まれる。参照することによって組み込まれる公開文書および特許または特許出願は、本明細書に含有される開示と矛盾する範囲で、本明細書が、任意のそのような矛盾する資料に優先する、ならびに／もしくはその上位にあると意図される。

本発明の新規の特徴が、添付の請求項において具体的に記載される。本発明の特徴および利点のより深い理解が、本発明の原理が利用される例証的実施形態を記載する、以下の詳細な説明ならびに付随の図面（また、本明細書では「図（ＦｉｇｕｒｅおよびＦＩＧ．）」）を参照することによって取得されるであろう。

図１は、物理的システムの工学設計文書から物理的システムのデジタル表現を発生させるためのシステムを図式的に図示する。

図２は、検出された記号が、赤色のボックスによって識別される、物理的システムの回路図である。

図３は、検出されたアセンブリが、赤色のボックスによって識別される、物理的システムの回路図である。

図４は、アプリケーションのユーザインターフェース内に表示されるような、例示的デジタルモデルを示す。

図５は、物理的システムの工学設計文書から物理的システムのデジタル表現を発生させるための例示的プロセスのフローチャートである。

図６は、本明細書に提供される方法を実装するようにプログラムされる、または別様に構成される、コンピュータシステムを示す。

詳細な説明
本発明の種々の実施形態が、本明細書に示され、説明されているが、そのような実施形態が、実施例としてのみ提供されることが、当業者に明白となるであろう。多数の変形例、変更、および代用が、本発明から逸脱することなく、当業者に想起され得る。本明細書に説明される本発明の実施形態に対する種々の代替が、採用され得ることを理解されたい。

用語「少なくとも」、「～を上回る」、または「～を上回る、またはそれに等しい」が、一連の２つまたはそれを上回る数値の中の第１の数値に先行する度に、用語「少なくとも」、「～を上回る」、または「～を上回る、またはそれに等しい」は、その一連の数値の中の数値のそれぞれに適用される。例えば、「１、２、または３を上回る、またはそれに等しい」は、「１を上回る、またはそれに等しい」、「２を上回る、またはそれに等しい」、もしくは「３を上回る、またはそれに等しい」と同等である。

用語「～以下」、「～未満」、または「～未満またはそれに等しい」が、一連の２つまたはそれを上回る数値の中の第１の数値に先行する度に、用語「～以下」、「～未満」、または「～未満またはそれに等しい」は、その一連の数値の中の数値のそれぞれに適用される。例えば、「３、２、または１未満またはそれに等しい」は、「３未満またはそれに等しい」、「２未満またはそれに等しい」、もしくは「１未満またはそれに等しい」と同等である。

本開示は、物理的システムの工学設計文書から物理的システムのデジタル表現を発生させるためのシステム、方法、およびコンピュータプログラム製品を提供する。具体的には、本明細書に説明されるシステムは、非デジタル回路図内の記号を検出することによって、物理的システムのデジタル表現を発生させることができる。本システムは、次いで、分類子を使用し、検出された記号のそれぞれを特定の構成要素として分類することができる。本システムは、加えて、例えば、回路図内の群を境界する破線を検出することによって、構成要素の関連する群をアセンブリとして分類することができる。その後、本システムは、例えば、回路図内の構成要素およびアセンブリを接続する実線を検出することによって、構成要素とアセンブリとの間の接続を決定することができる。ある場合には、本システムはまた、構成要素およびアセンブリのサブセットを構成要素表内のエントリと関連付けることもできる。構成要素表は、回路図が提供しない、ある構成要素についてのより詳細な情報を提供してもよい。最後に、本システムは、構成要素、アセンブリ、接続、および関連付けから物理的システムのデジタル表現を発生させることができる。物理的システムのデジタル表現は、システムのデジタルモデルと、機械可読の部品表とを含んでもよい。

図１は、物理的システムの工学設計文書から物理的システムのデジタル表現を発生させるためのシステム１００を図式的に図示する。物理的システムは、例えば、処理パイプラインであってもよい。処理パイプラインは、いくつかの実施例を挙げると、石油およびガス処理パイプライン、化学または材料合成パイプライン（例えば、塗料、肥料、繊維製品、ゴム、鋼鉄、もしくはアルミニウムの合成のためのパイプライン）、薬物合成パイプライン、または食品生産パイプラインであってもよい。物理的システムは、代替として、機械システム、建物、インフラストラクチャ（例えば、道路、橋、電気グリッド、または公営水道システム）、車両、電子デバイス、回路、もしくは同等物であってもよい。一般に、物理的システムは、回路図または略図によって表され得る、任意のシステムであってもよい。

工学設計文書は、物理的システムの非デジタル（例えば、紙）回路図と、対応する構成要素表と、物理的システム上で講じられるアクション（例えば、保守アクション、較正等）のリストとを含んでもよい。

システム１００は、前処理サブシステム１１０を有してもよい。一般に、前処理サブシステム１１０は、後続の処理ステップをより容易にするために回路図を簡潔にすることができる。例えば、前処理サブシステム１１０は、回路図の物理的コピーをデジタル画像（例えば、ポータブルネットワークグラフィックス（ＰＮＧ）またはＪＰＥＧ）に走査し、画像をサイズ変更する、もしくはその色を変更し、画像から縁、白色空間、および他のノイズを除去し、画像から非記号テキストを除去することができる。本開示では、回路図のデジタル画像は、単純に、回路図と称され得る。

システム１００はまた、分類サブシステム１２０を含んでもよい。分類サブシステム１２０は、前処理された回路図を受信し、回路図内の記号、アセンブリ（例えば、記号の関連する群）、および接続を検出し、分類することができる。

分類サブシステム１２０は、検出モジュール１２２と、分類モジュール１２４とを有してもよい。検出モジュール１２２は、回路図内の記号およびアセンブリを検出するように構成されてもよい。すなわち、検出モジュール１２２は、記号と、アセンブリとを含有する回路図の部分と含有しない部分とを区別するように構成されてもよい。回路図内の記号を検出するために、検出モジュール１２２は、回路図の特定の部分が記号であるか、またはそうではないことを示す出力を発生させるように構成される、２値分類器を実装することができる。２値分類器は、深層ニューラルネットワーク、例えば、フィードフォーワードニューラルネットワークまたは畳み込みニューラルネットワーク（ＣＮＮ）であってもよい、もしくはこれは、サポートベクタマシン（ＳＶＭ）、オートエンコーダ、または任意の他の機械学習アルゴリズムもしくはアプローチであってもよい。一実施例では、２値分類器は、ＣＮＮである。ＣＮＮは、少なくとも約１個、２個、３個、４個、５個、６個、７個、８個、９個、１０個、またはそれを上回る畳み込み層を有してもよい。ＲｅＬＵ活性化層および最大プーリング層が、畳み込み層間に散在されてもよい。ＣＮＮはまた、完全結合層を有してもよい。ＣＮＮの出力層は、ある確率を生産する、シグモイドまたはソフトマックス活性化を有してもよい。

２値分類器は、教師あり、半教師あり、または教師なし学習プロセスを使用して訓練されてもよい。１つの実装では、２値分類器は、少量の標識訓練データ（例えば、回路図の一部が、記号を含有するものとして、またはそれを含有しないものとして標識される、回路図）および大量の非標識訓練データ（例えば、回路図の一部が、記号を含有するものとして、もしくはそれを含有しないものとして標識されない、回路図）に基づいて訓練されることができる。図２は、検出された記号が、赤色のボックスによって識別される、物理的システムの回路図である。

ある場合には、検出モジュール１２２は、２値分類器の代わりに、三元分類子を実装してもよい。三元分類子は、２値分類器に類似する構造と、機能とを有し得るが、（１）タグ（すなわち、一般的には、正方形内に内接される丸によって表される、センサのデジタル表現）を含有する、（２）局所的に搭載される器具（すなわち、一般的には、丸によって表される、圧力ゲージまたは温度読取機等の物理的器具）を含有する、もしくは（３）いかなる記号も含有しないものとして、回路図内の面積を分類してもよい。タグおよびＬＭＩは、多くの場合、時系列センサデータベース内に対応するエントリを有するため、重要である。

回路図内の記号を検出するために、検出モジュール１２２は、スライディングウィンドウアプローチを使用してもよい。すなわち、特定の回路図が、複数の重複するウィンドウに分割されてもよい。上記に説明される分類子は、ウィンドウ毎に出力を返してもよい。ウィンドウ毎の出力は、ウィンドウが、その境界内に記号の少なくとも一部を有しているか、または有していないかどうか、もしくはウィンドウが、タグ、ＬＭＩを含有するかどうか、またはいかなる記号も含有していないかどうかを示してもよい。スライディングウィンドウのサイズおよびストライドは、部分的に、記号の平均または中央サイズ、もしくは任意の他の統計メトリックまたは発見的手法に基づいてもよい。一実施例では、ウィンドウは、１００ピクセル×１００ピクセルであってもよい。スライディングウィンドウアプローチの場合では、２値分類器の出力は、特定の構成要素としての分類の前に、後処理ステップを受けてもよい。例えば、非最大抑制アルゴリズムが、出力に適用され、（例えば、ウィンドウの重複に起因して）同一の記号を有する複数のウィンドウのうちの１つまたはそれを上回るものをフィルタ除去してもよい。

回路図内のアセンブリを検出するために、検出モジュール１２２は、記号の群を境界する破線を検出するように構成される、アルゴリズムを実装することができる。そのような破線は、記号がアセンブリの組成構成要素であることを示し得る。図３は、検出されたアセンブリが、赤色のボックスによって識別される、物理的システムの回路図である。

回路図内の接続を検出するために、検出モジュール１２２は、構成要素およびアセンブリを接続する実線を検出するように構成される、類似アルゴリズムを実装することができる。一実施例では、検出モジュール１２２は、図表探索アルゴリズムを使用し、構成要素、および構成要素間の接続を表す、実線をトラバースする。図表探索アルゴリズムは、回路図内の隣接する黒色ピクセルを検出し、それに追随することによって、構成要素および実線をトラバースすることができる。黒色ピクセルは、閾値ピクセル強度を充足する、ピクセルであってもよい。図表探索アルゴリズムは、ピクセルを図表のノードとして表すことができる。特定のピクセルは、構成要素の一部である場合とそうではない場合があり、本情報は、そのピクセルに対応するノード内に含有されることができる。記号は、記号を形成するピクセルに対応するノードの集合として、図表内に表される。図表のエッジは、ノードあたり最大８つのエッジを伴う近隣ピクセル間の連結部であってもよい。記号は、記号を形成するピクセルに対応するノードの集合として、図表内に表される。

略図の本図表表現を用いると、記号間の接続が、深さ優先探索（ＤＦＳ）を通して識別されることができる。具体的には、検出された記号毎に、ＤＦＳが、記号内のノードのうちの１つから初期化される。ＤＦＳは、その黒色ノードに沿って図表をトラバースし、その経路に沿って接続される記号に衝打（し、それを追跡）する。探索は、いったん全ての有効な経路が使い果たされると、終了する。

分類モジュール１２４は、その一方で、検出された記号を構成要素として分類するように構成されてもよい。記号を構成要素として分類するために、分類モジュール１２４は、特定の記号が対応する、複数の構成要素のうちのものを示す出力を発生させるように構成される、マルチクラス深層ニューラルネットワークを実装することができる。複数の構成要素は、マルチクラス深層ニューラルネットワークを訓練するステップに先立って決定されることができる。構成要素は、構成要素ライブラリ内に記憶されることができる。分類の間に、マルチクラス深層ニューラルネットワークが、特定の記号を構成要素として分類することに失敗した場合、これは、記号が新しい記号であることを示し得る。新しい記号は、構成要素ライブラリに追加されることができる。

マルチクラス深層ニューラルネットワークは、例えば、フィードフォワードニューラルネットワークまたはＣＮＮであってもよい。マルチクラス深層ニューラルネットワークは、教師あり、半教師あり、または教師なし学習プロセスを使用して訓練されることができる。１つの実装では、マルチクラス深層ニューラルネットワークは、少量の標識訓練データ（例えば、記号が、対応する特定の構成要素として標識される、回路図）および大量の非標識訓練データ（例えば、記号が、特定の構成要素に対応するものとして標識されない、回路図）に基づいて訓練されることができる。

一般に、本明細書に説明されるニューラルネットワークは、１つまたはそれを上回る入力から１つまたはそれを上回る出力を予測するために動作の複数の層を採用することができる。ニューラルネットワークは、入力層と出力層との間に据え付けられる、１つまたはそれを上回る隠れ層を含んでもよい。各層の出力は、別の層、例えば、次の隠れ層または出力層への入力としての役割を果たし得る。ニューラルネットワークの各層は、層への入力に関して実施されるべき１つまたはそれを上回る変換動作を規定することができる。そのような変換動作は、ニューロンと称され得る。特定のニューロンの出力は、バイアスを用いて調節され、活性化関数、例えば、正規化線形ユニット（ＲｅＬＵ）またはシグモイド関数によって乗算される、ニューロンへの入力の加重和であり得る。ニューラルネットワークを訓練するステップは、入力を、ニューラルネットワークの訓練されていないバージョンまたは部分的に訓練されたバージョンに提供し、予測される出力を発生させるステップと、予測される出力を予期される出力と比較するステップと、予測される出力と予期される出力との間の差異を考慮するようにアルゴリズムの加重およびバイアスを更新するステップとを伴ってもよい。具体的には、費用関数が、予測される出力と予期される出力との間の差異を計算するために使用されることができる。ネットワークの加重およびバイアスに関して費用関数の導関数を算出することによって、加重およびバイアスは、費用関数を最小限化するように複数のサイクルにわたって反復的に調節されることができる。訓練は、予測される出力が、小規模の計算された費用を取得すること等の収束条件を満たすと、完了し得る。

ＣＮＮは、畳み込み層と呼ばれる、いくつかの層内のニューロンが、入力データセットの小さい部分のみからピクセルを受信する、ニューラルネットワークである。これらの小さい部分は、ニューロンの受容野と称され得る。そのような畳み込み層内の各ニューロンは、同一の加重を有し得る。このように、畳み込み層は、入力データセットの任意の部分において特徴を検出することができる。ＣＮＮはまた、フィードフォワードニューラルネットワーク内の従来的な層に類似する、畳み込み層および完全に接続された層内のニューロンクラスタの出力を組み合わせる、プーリング層を有してもよい。ＣＮＮは、特に、画像内のオブジェクト（例えば、製品）を検出し、分類することにおいて優れている場合がある。

ある場合には、分類モジュール１２４は、記号を分類するためにオートエンコーダを実装することができる。オートエンコーダは、エンコーダと、デコーダとを備えてもよい。エンコーダは、入力記号の圧縮された表現を発生させるように構成されてもよく、デコーダは、圧縮された表現から入力記号を再構築するように構成されてもよい。デコーダは、公知の記号の実施例に基づいて（例えば、教師あり学習プロセスを通して）訓練されてもよい。分類モジュール１２４は、所与の入力記号に関するデコーダの出力を、（例えば、距離ベースのアルゴリズム（例えば、コサイン類似度）を使用して）構成要素ライブラリ内の種々の構成要素に関する既知のシグネチャと比較することができる。記号は、最も類似する、または最も近接しているシグネチャを伴う構成要素として分類されてもよい。

ある場合には、単一オブジェクト検出アルゴリズムが、記号を検出し、分類することの両方を行うことができる。そのようなオブジェクト検出アルゴリズムは、上記に説明される形態のうちのいずれかをとり得る。

分類システム１２０は、分類された構成要素およびアセンブリをサブシステム１３０に提供することができる。サブシステム１３０はまた、物理的システムの構成要素表を受信することもできる。サブシステム１３０は、構成要素およびアセンブリのうちのいくつかのものまたは全てを構成要素表内のエントリと関連付けるように構成されることができる。構成要素表は、回路図内に現れない構成要素、例えば、コンデンサのサイズおよび材料の組成についての付加的な情報を提供することができる。

サブシステム１３０は、光学文字認識（ＯＣＲ）モジュール１３２を有してもよい。ＯＣＲモジュール１３２は、分類された構成要素およびアセンブリと関連付けられるテキストを認識するように構成される、ＯＣＲアルゴリズムを実装してもよい。より具体的には、ＯＣＲアルゴリズムは、構成要素およびアセンブリと関連付けられる識別番号を検出し、識別するように構成されてもよい。ある場合には、識別番号は、分類される構成要素およびアセンブリに隣接する丸の中に、または別様にその近傍に位置することができる。そのような場合では、サブシステム１３０は、ハフ変換を使用して、丸を検出することができる。ＯＣＲアルゴリズムは、加えて、構成要素表内で、識別番号と、他のデータとを含む、テキストを認識することができる。ある場合には、テキストは、テキストが画像内に存在する境界ボックスを生産するためにニューラルネットワークを使用するパイプラインである、効率的かつ正確な場面テキスト検出器（ＥＡＳＴ）を使用して検出されることができる。

回路図内の識別番号は、構成要素表内の識別番号に対応することができる。ＯＣＲモジュール１３２は、回路図からの識別番号を整合モジュール１３４に提供することができ、これは、そのような識別番号を構成要素表内の識別番号と整合させ、それによって、対応する構成要素およびアセンブリを構成要素表内のエントリと関連付けることができる。

システム１００は、加えて、モデルビルダサブシステム１４０を含むことができる。モデルビルダサブシステム１４０は、分類サブシステム１２０から分類された構成要素、アセンブリ、および接続を、ならびにサブシステム１３０から関連付けを受信し、物理的システムのデジタル表現を発生させることができる。物理的システムのデジタル表現は、物理的システムのデジタルモデルと、機械可読の部品表とを含んでもよい。機械可読の部品表は、回路図または回路図のセット内の種々の構成要素、構成要素と関連付けられるテキスト、および各構成要素に接続される構成要素を識別する、資産階層表であってもよい。デジタルモデルは、物理的システム内の構成要素、構成要素間の接続、および物理的システムの状態を定義する、コンピュータコードであってもよい。構成要素はさらに、構成要素ライブラリ内に記憶され、デジタルモデルが生成されるときに読み出され得る、それらのパラメータ（例えば、寸法、機能、入力および出力、スループット、動作変数等）によって定義されてもよい。デジタルモデルは、時変モデルまたは静的モデルであることができる。

図１のシステムおよびその構成要素は、１つまたはそれを上回るコンピューティングデバイス上に実装されることができる。コンピューティングデバイスは、サーバ、デスクトップまたはラップトップコンピュータ、電子タブレット、モバイルデバイス、もしくは同等物であることができる。コンピューティングデバイスは、１つまたはそれを上回る場所に位置することができる。コンピューティングデバイスは、汎用目的プロセッサ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または同等物を有することができる。コンピューティングデバイスは、加えて、メモリ、例えば、動的または静的ランダムアクセスメモリ、読取専用メモリ、フラッシュメモリ、ハードドライブ、もしくは同等物を有することができる。メモリは、実行に応じて、コンピューティングデバイスに前処理サブシステム１１０、分類サブシステム１２０、サブシステム１３０、またはモデルビルダサブシステム１４０の機能性を実装させる命令を記憶するように構成されることができる。コンピューティングデバイスは、加えて、ネットワーク通信デバイスを有することができる。ネットワーク通信デバイスは、コンピューティングデバイスが、ネットワークを経由して、相互および任意の数のユーザデバイスと通信することを可能にすることができる。ネットワークは、有線または無線ネットワークであることができる。例えば、ネットワークは、光ファイバネットワーク、Ｅｔｈｅｒｎｅｔ（登録商標）ネットワーク、衛星ネットワーク、セルラーネットワーク、Ｗｉ－Ｆｉ（登録商標）ネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、または同等物であることができる。他の実装では、コンピューティングデバイスは、インターネットを通してアクセス可能である、いくつかの分散型コンピューティングデバイスであることができる。そのようなコンピューティングデバイスは、クラウドコンピューティングデバイスと見なされ得る。

図４は、アプリケーションのユーザインターフェース内に表示されるようなデジタルモデルのある実施例を示す。ユーザインターフェースは、ユーザがデジタルモデルを有効にすることを可能にすることができる。ユーザインターフェースは、認識された構成要素を青色で、認識されたアセンブリを赤色で示すことができる。ユーザインターフェースは、ユーザが構成要素およびアセンブリをタイプによって、またはステータス（例えば、「分類済」もしくは「未分類」）によってフィルタリングすることを可能にすることができる。ユーザインターフェースはまた、ユーザが手動で構成要素およびアセンブリを再分類する、または構成要素およびアセンブリの他のパラメータを編集することも可能にすることができる。

図５は、物理的システムの工学設計文書から物理的システムのデジタル表現を発生させるための例示的プロセスのフローチャートである。工学設計文書は、物理的システムの非デジタル（例えば、紙）回路図および対応する構成要素表であってもよい。本プロセスは、１つまたはそれを上回る場所において適切にプログラムされる、１つまたはそれを上回るコンピュータのシステムによって実施されることができる。

本システムは、非デジタル回路図を前処理するステップ（５１０）を含むことができる。非デジタル回路図を前処理するステップは、非デジタル回路図をデジタル画像に走査するステップと、デジタル画像から白色空間および他のノイズを除去するステップとを伴ってもよい。

本システムは、機械学習アルゴリズムを使用して、（ｉ）前処理された回路図内の複数の記号のそれぞれを構成要素として、および（ｉｉ）関連する記号の各群をアセンブリとして分類することができる（５１０）。機械学習アルゴリズムは、２値分類器ならびにマルチクラス深層ニューラルネットワークまたはオートエンコーダを備えてもよく、記号を構成要素として分類するステップは、２値分類器を使用して記号を検出するステップと、記号のそれぞれを、マルチクラス深層ニューラルネットワークもしくはオートエンコーダを使用して構成要素として分類するステップとを伴ってもよい。マルチクラス深層ニューラルネットワークは、フィードフォワードニューラルネットワークまたは畳み込みニューラルネットワークであってもよい。マルチクラス深層ニューラルネットワークは、半教師あり学習プロセスを使用して訓練されることができる。マルチクラス深層ニューラルネットワークのクラスは、訓練するステップに先立って決定されることができる。クラスは、典型的には、そのタイプの工学設計文書内に見出される構成要素であり得る。回路図のうちの１つの中の個別の記号が、構成要素ライブラリ内に存在しない場合、本システムは、対応する構成要素をライブラリに追加することができる。ある場合には、本システムは、記号を同時に検出し、構成要素として分類する、単一オブジェクト検出アルゴリズムを実装することができる。関連する記号の各群をアセンブリとして分類するステップは、群毎に、群を境界する、１つまたはそれを上回る回路図内の破線を検出するステップを含むことができる。

本システムは、構成要素間の、アセンブリ間の、および構成要素とアセンブリとの間の接続を、これらの種々の組み合わせを接続する実線を検出し、トラバースすることによって決定することができる（５３０）。本システムは、前述で説明されるように、図表探索アルゴリズムを使用して、実線をトラバースすることができる。

本システムは、（ｉ）光学文字認識を使用して、回路図内で、構成要素およびアセンブリと関連付けられる識別番号を検出ならびに識別し、（ｉｉ）検出された識別番号を構成要素表内の識別番号と整合させることによって、構成要素およびアセンブリのサブセットを構成要素表内のエントリと関連付けることができる（５４０）。識別番号を検出し、識別するステップは、ハフ変換を使用し、その中にそれらの識別番号が位置する丸を識別するステップを伴うことができる。丸は、回路図内の対応する構成要素に隣接する、または別様にそれに近接することができる。

分類された構成要素およびアセンブリ、接続、ならびに関連付けを使用して、本システムは、物理的システムのデジタル表現を発生させることができる（５５０）。デジタル表現は、物理的システムのデジタルモデルと、機械可読の部品表とを含むことができる。デジタルモデルは、構成要素、接続、および物理的システムの状態を定義する、コンピュータコードであることができる。デジタルモデルは、静的モデルまたは時変モデルであることができる。
（実施例）

一実施例では、本明細書に説明されるようなシステムは、回路図の面積を、タグ、ＬＭＩを含有するもの、またはいかなる記号も含有しないものとして分類するために、三元ＣＮＮ分類子を有する。ＣＮＮが、ＲｅＬＵ活性化層と最大プーリング層との間に散在される、３つの畳み込み層を有し、続いて、２つの完全に接続される緻密層が続く。第１の隠れ層が、ＲｅＬＵ活性化を伴う６４個のユニットを有する。最終出力層が、入力画像が３つのクラスのそれぞれに属した確率を予測するために、ソフトマックス活性化を伴う３つのユニットを有する。ＣＮＮは、３０８個のタグクロップと、６８７個のＬＭＩクロップとを含む、１８枚の標識された配管図および計装図上で訓練された。訓練の実施例は、回転、偏移、剪断、拡大、および反転によって増強され、ＣＮＮをこれらの変換に対して不変にした。ドロップアウトが、緻密層に適用され、ある正則化を追加し、ＣＮＮの汎化性能を改良した。記号クロップが、訓練（６０％）セットおよび検証（４０％）セットに分裂され、検証セット上での交差エントロピ損失を最小限化するようにネットワークを訓練した。訓練および検証損失の両方が、１００個のエポックの訓練によって収束した。訓練セットおよび検証セットは、次いで、組み合わせられ、１００個のエポックにわたるデータセットの全体に関して最終モデルを訓練した。１１枚の未観察の配管図および計装図では、タグが、０．９５の分類確率閾値を使用して、１００％の精度ならびに９８％の再現率で分類された。ＬＭＩが、０．９５の分類確率閾値を使用して、８５％の精度および９０％の再現率で分類された。

コンピュータシステム
本開示は、本開示の方法を実装するようにプログラムされる、コンピュータシステムを提供する。図６は、図１のシステム１００を実装するようにプログラムされる、または別様に構成される、コンピュータシステム６０１を示す。コンピュータシステム６０１は、加えて、本開示の図５のプロセスの種々の側面を調整する。コンピュータシステム６０１は、ユーザの電子デバイスまたは電子デバイスに対して遠隔で位置するコンピュータシステムであることができる。電子デバイスは、モバイル電子デバイスであることができる。

コンピュータシステム６０１は、シングルコアまたはマルチコアプロセッサ、もしくは並列処理のための複数のプロセッサであり得る、中央処理ユニット（ＣＰＵ、また、本明細書では、「プロセッサ」および「コンピュータプロセッサ」）６０５を含む。コンピュータシステム６０１はまた、メモリまたはメモリ場所６１０（例えば、ランダムアクセスメモリ、読取専用メモリ、フラッシュメモリ）と、電子記憶ユニット６１５（例えば、ハードディスク）と、１つまたはそれを上回る他のシステムと通信するための通信インターフェース６２０（例えば、ネットワークアダプタ）と、キャッシュ、他のメモリ、データ記憶装置、ならびに／もしくは電子ディスプレイアダプタ等の周辺デバイス６２５とを含む。メモリ６１０、記憶ユニット６１５、インターフェース６２０、および周辺デバイス６２５は、マザーボード等の通信バス（実線）を通してＣＰＵ６０５と通信する。記憶ユニット６１５は、データを記憶するためのデータ記憶ユニット（またはデータリポジトリ）であり得るコンピュータシステム６０１は、通信インターフェース６２０の助けを借りてコンピュータネットワーク（「ネットワーク」）６３０に動作的に結合されることができる。ネットワーク６３０は、インターネット、イントラネットおよび／またはエクストラネット、もしくはインターネットと通信するイントラネットおよび／またはエクストラネットであり得る。ネットワーク６３０は、ある場合には、電気通信および／またはデータネットワークである。ネットワーク６３０は、クラウドコンピューティング等の分散コンピューティングを可能にし得る、１つまたはそれを上回るコンピュータサーバを含むことができる。ネットワーク６３０は、ある場合には、コンピュータシステム１１０１の助けを借りて、コンピュータシステム１１０１に結合されるデバイスが、クライアントまたはサーバとして挙動することを可能にし得る、ピアツーピアネットワークを実装することができる。

ＣＰＵ１１０５は、プログラムまたはソフトウェア内で具現化され得る、機械可読命令のシーケンスを実行することができる。命令は、メモリ６１０等のメモリ場所内に記憶されてもよい。命令は、ＣＰＵ６０５にダイレクトされることができ、これは、続けて、本開示の方法を実装するようにＣＰＵ６０５をプログラムまたは別様に構成することができる。ＣＰＵ６０５によって実施される動作の実施例は、フェッチ、デコード、実行、およびライトバックを含むことができる。

ＣＰＵ６０５は、集積回路等の回路の一部であり得る。システム６０１の１つまたはそれを上回る他のコンポーネントが、回路内に含まれることができる。ある場合には、回路は、特定用途向け集積回路（ＡＳＩＣ）である。

記憶ユニット６１５は、ドライバ、ライブラリ、および保存されたプログラム等のファイルを記憶することができる。記憶ユニット６１５は、ユーザデータ、例えば、ユーザ選好およびユーザプログラムを記憶することができる。コンピュータシステム６０１は、ある場合には、イントラネットまたはインターネットを通してコンピュータシステム６０１と通信する遠隔サーバ上等に位置する、コンピュータシステム６０１の外部にある、１つまたはそれを上回る付加的データ記憶ユニットを含むことができる。

コンピュータシステム６０１は、ネットワーク６３０を通して１つまたはそれを上回る遠隔コンピュータシステムと通信することができる。例えば、コンピュータシステム６０１は、ユーザの遠隔コンピュータシステムと通信することができる。遠隔コンピュータシステムの実施例は、パーソナルコンピュータ（例えば、ポータブルＰＣ）、スレートまたはタブレットＰＣ（例えば、Ａｐｐｌｅ（登録商標） ｉＰａｄ（登録商標）、Ｓａｍｓｕｎｇ（登録商標） Ｇａｌａｘｙ Ｔａｂ）、電話、スマートフォン（例えば、Ａｐｐｌｅ（登録商標） ｉＰｈｏｎｅ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）対応デバイス、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、もしくは携帯情報端末を含む。ユーザは、ネットワーク６３０を介してコンピュータシステム６０１にアクセスすることができる。

本明細書に説明されるような方法は、例えば、メモリ６１０または電子記憶ユニット６１５上等、コンピュータシステム６０１の電子記憶場所上に記憶される、機械（例えば、コンピュータプロセッサ）実行可能コードを用いて実装されることができる。機械実行可能または機械可読コードが、ソフトウェアの形態において提供されることができる。使用の間、コードは、プロセッサ６０５によって実行されることができる。ある場合には、コードは、記憶ユニット６１５から読み出され、プロセッサ６０５による迅速なアクセスのためにメモリ６１０上に記憶されることができる。いくつかの状況では、電子記憶ユニット６１５は、除外されることができ、機械実行可能命令は、メモリ６１０上に記憶される。

コードは、事前コンパイルされ、コードを実行するように適合されるプロセッサを有する機械との併用のために構成されることができる、またはランタイムの間にコンパイルされることができる。コードは、コードが事前コンパイルされた様式またはコンパイル直後の方式で実行されることを可能にするように選択され得る、プログラミング言語で供給されることができる。

コンピュータシステム６０１等の本明細書に提供されるシステムおよび方法の側面は、プログラミングにおいて具現化されることができる。本技術の種々の側面は、典型的には、あるタイプの機械可読媒体上で搬送される、またはそれにおいて具現化される機械（もしくはプロセッサ）実行可能コードおよび／または関連付けられるデータの形態における「製品」もしくは「製造品」と考えられ得る。機械実行可能コードは、メモリ（例えば、読取専用メモリ、ランダムアクセスメモリ、フラッシュメモリ）またはハードディスク等の電子記憶ユニット上に記憶されることができる。「記憶」タイプ媒体は、ソフトウェアプログラミングのために任意の時点で非一過性記憶を提供し得る、コンピュータ、プロセッサ、または同等物の有形メモリ、もしくは種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等のその関連付けられるモジュールのうちのいずれかまたは全てを含むことができる。ソフトウェアの全てまたは一部は、随時、インターネットもしくは種々の他の電気通信ネットワークを通して通信されてもよい。そのような通信は、例えば、１つのコンピュータまたはプロセッサから別のものへの、例えば、管理サーバもしくはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのソフトウェアのローディングを可能にし得る。したがって、ソフトウェア要素を保有し得る別のタイプの媒体は、ローカルデバイス間の物理的インターフェースを横断して、有線および光学固定ネットワークを通して、ならびに種々のエアリンクを経由して使用されるもの等、光学、電気、および電磁波を含む。有線または無線リンク、光学リンク、もしくは同等物等のそのような波を搬送する物理的要素はまた、ソフトウェアを保有する媒体と見なされ得る。本明細書に使用されるように、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」等の用語は、実行のためにプロセッサに命令を提供することに関与する、任意の媒体を指す。

故に、コンピュータ実行可能コード等の機械可読媒体は、限定ではないが、有形記憶媒体、搬送波媒体、または物理的伝送媒体を含む、多くの形態をとってもよい。不揮発性記憶媒体は、例えば、図面に示されるデータベース等を実装するために使用され得るもの等、任意のコンピュータまたは同等物内の記憶デバイスのうちのいずれか等の光学もしくは磁気ディスクを含む。揮発性記憶媒体は、そのようなコンピュータプラットフォームのメインメモリ等の動的メモリを含む。有形伝送媒体は、同軸ケーブルと、コンピュータシステム内のバスを備えるワイヤを含む、銅ワイヤおよび光ファイバとを含む。搬送波伝送媒体は、電気または電磁信号、もしくは無線周波数（ＲＦ）および赤外線（ＩＲ）データ通信の間に発生されるもの等の音響または光波の形態をとり得る。コンピュータ可読媒体の一般的な形態は、したがって、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤまたはＤＶＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップもしくはカートリッジ、データまたは命令を転送する搬送波、そのような搬送波を転送するケーブルもしくはリンク、またはそれからコンピュータがプログラミングコードならびに／もしくはデータを読み取り得る任意の他の媒体を含む。コンピュータ可読媒体のこれらの形態のうちの多くは、１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスを実行のためにプロセッサに搬送することに関与してもよい。

コンピュータシステム６０１は、例えば、図４のデジタルモデルを提供するためのユーザインターフェース（ＵＩ）６４０を備える電子ディスプレイ６３５を含む、またはそれと通信することができる。ＵＩの実施例は、限定ではないが、グラフィカルユーザインターフェース（ＧＵＩ）およびウェブベースのユーザインターフェースを含む。

本開示の方法およびシステムは、１つまたはそれを上回るアルゴリズムを用いて実装されることができる。アルゴリズムが、中央処理ユニット６０５による実行に応じて、ソフトウェアを用いて実装されることができる。アルゴリズムは、例えば、本開示に説明されるニューラルネットワークのうちの１つであることができる。

本発明の好ましい実施形態が、本明細書に示され、説明されているが、そのような実施形態が、実施例としてのみ提供されることが、当業者に明白となるであろう。本発明が、本明細書内に提供される具体的実施例によって限定されることを意図していない。本発明は、前述の本明細書を参照して説明されているが、本明細書における実施形態の説明および図は、限定的意味で解釈されることを意味していない。多数の変形例、変更、および代用が、ここで、本発明から逸脱することなく、当業者に想起されるであろう。さらに、本発明の全ての側面が、種々の条件および変数に依存する、本明細書に記載される具体的描写、構成、または相対的割合に限定されないことを理解されたい。本明細書に説明される本発明の実施形態に対する種々の代替物が、本発明を実践する際に採用され得ることを理解されたい。したがって、本発明がまた、任意のそのような代替、修正、変形例、または均等物を網羅することとすることが想定される。以下の請求項が、本発明の範囲を定義すること、およびこれらの請求項ならびにそれらの均等物の範囲内の方法および構造が、それによって網羅されることが意図される。

Claims (34)

1. １つ以上の回路図と、構成要素表とを備えるシステムの工学設計文書から前記システムのデジタル表現を発生させるための方法であって、前記方法は、
   （ａ）深層学習アルゴリズムを使用して、（ｉ）前記１つ以上の回路図内の複数の記号のそれぞれを構成要素として、および（ｉｉ）関連する記号の各群をアセンブリとして、分類することであって、関連する記号の各群をアセンブリとして分類することは、群毎に、前記群を境界する前記１つ以上の回路図内の破線を検出することを含む、ことと、
   （ｂ）前記構成要素と前記アセンブリとの間の接続を決定することと、
   （ｃ）前記構成要素および前記アセンブリのサブセットを前記構成要素表内のエントリと関連付けることと、
   （ｄ）前記構成要素、前記アセンブリ、前記接続、および前記関連付けから前記システムの前記デジタル表現を発生させることであって、前記システムの前記デジタル表現は、少なくとも、前記システムのデジタルモデルと、機械可読の部品表とを含む、ことと
   を含む、方法。
2. （ａ）に先立って、前記１つ以上の回路図から白色空間またはノイズを除去することによって、前記１つ以上の回路図を前処理することをさらに含む、請求項１に記載の方法。
3. （ａ）に先立って、前記１つ以上の回路図内で検出するための構成要素のライブラリを決定することをさらに含む、請求項１に記載の方法。
4. （ｉ）前記１つ以上の回路図内の個別の記号が、前記構成要素のライブラリ内に存在しないことを決定することと、（ｉｉ）前記個別の記号およびその対応する構成要素を前記構成要素のライブラリに追加することとをさらに含む、請求項３に記載の方法。
5. （ａ）は、２値分類器を使用して、前記１つ以上の回路図内の前記複数の記号を検出することを含み、前記深層学習アルゴリズムは、前記２値分類器を備え、前記検出することは、スライディングウィンドウアプローチを含む、請求項１に記載の方法。
6. （ａ）はさらに、マルチクラス深層ニューラルネットワークを使用して、前記検出された記号のそれぞれを構成要素として分類することを含み、前記深層学習アルゴリズムは、前記マルチクラス深層ニューラルネットワークを備える、請求項５に記載の方法。
7. （ａ）はさらに、オートエンコーダを使用して、前記検出された記号のそれぞれを構成要素として分類することを含み、前記深層学習アルゴリズムは、前記オートエンコーダを備える、請求項５に記載の方法。
8. 前記マルチクラス深層ニューラルネットワークは、フィードフォワードニューラルネットワークと、畳み込みニューラルネットワークとから成る群から選択される、請求項６に記載の方法。
9. 前記マルチクラス深層ニューラルネットワークは、半教師あり学習プロセスを使用して訓練される、請求項６に記載の方法。
10. （ａ）は、単一オブジェクト検出アルゴリズムを使用して、前記１つ以上の回路図内の前記複数の記号を検出し、分類することを含む、請求項１に記載の方法。
11. （ｂ）は、前記構成要素および前記アセンブリを接続する実線を検出することを含む、請求項１に記載の方法。
12. 前記検出することは、図表探索アルゴリズムを使用することを含む、請求項１１に記載の方法。
13. （ｃ）は、
    前記１つ以上の回路図内で、光学文字認識を使用して、前記構成要素およびアセンブリのサブセット内の前記構成要素および前記アセンブリと関連付けられる識別番号を検出し、識別することと、
    前記検出された識別番号を前記構成要素表内の識別番号と整合させることと
    を含む、請求項１に記載の方法。
14. 前記識別番号を検出することは、ハフ変換を使用することを含む、請求項１３に記載の方法。
15. 前記デジタルモデルは、前記構成要素、前記接続、および前記システムの状態を定義するコンピュータコードを備える、請求項１に記載の方法。
16. 前記デジタルモデルは、静的モデルである、請求項１５に記載の方法。
17. 前記デジタルモデルは、時変モデルである、請求項１５に記載の方法。
18. １つ以上の非一過性コンピュータ記憶媒体であって、前記１つ以上の非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、１つ以上のコンピュータによって実行されると、前記１つ以上のコンピュータに、
    （ａ）深層学習アルゴリズムを使用して、（ｉ）１つ以上の回路図内の複数の記号のそれぞれを構成要素として、および（ｉｉ）関連する記号の各群をアセンブリとして、分類することであって、関連する記号の各群をアセンブリとして分類することは、群毎に、前記群を境界する前記１つ以上の回路図内の破線を検出することを含む、ことと、
    （ｂ）前記構成要素と前記アセンブリとの間の接続を決定することと、
    （ｃ）前記構成要素および前記アセンブリのサブセットを構成要素表内のエントリと関連付けることと、
    （ｄ）前記構成要素、前記アセンブリ、前記接続、および前記関連付けからシステムのデジタル表現を発生させることであって、前記システムの前記デジタル表現は、少なくとも、前記システムのデジタルモデルと、機械可読の部品表とを含む、ことと
    を含む動作を実施させるように動作可能である、１つ以上の非一過性コンピュータ記憶媒体。
19. 前記動作はさらに、（ａ）に先立って、前記１つ以上の回路図から白色空間またはノイズを除去することによって、前記１つ以上の回路図を前処理することを含む、請求項１８に記載の非一過性コンピュータ記憶媒体。
20. 前記動作はさらに、（ａ）に先立って、前記１つ以上の回路図内で検出するための構成要素のライブラリを決定することを含む、請求項１８に記載の非一過性コンピュータ記憶媒体。
21. 前記動作はさらに、（ｉ）前記１つ以上の回路図内の個別の記号が、前記構成要素のライブラリ内に存在しないことを決定することと、（ｉｉ）前記個別の記号およびその対応する構成要素を前記構成要素のライブラリに追加することとを含む、請求項２０に記載の非一過性コンピュータ記憶媒体。
22. （ａ）は、２値分類器を使用して、前記１つ以上の回路図内の前記複数の記号を検出することを含み、前記深層学習アルゴリズムは、前記２値分類器を備え、前記検出することは、スライディングウィンドウアプローチを含む、請求項１８に記載の非一過性コンピュータ記憶媒体。
23. （ａ）はさらに、マルチクラス深層ニューラルネットワークを使用して、前記検出された記号のそれぞれを構成要素として分類することを含み、前記深層学習アルゴリズムは、前記マルチクラス深層ニューラルネットワークを備える、請求項２２に記載の非一過性コンピュータ記憶媒体。
24. （ａ）はさらに、オートエンコーダを使用して、前記検出された記号のそれぞれを構成要素として分類することを含み、前記深層学習アルゴリズムは、前記オートエンコーダを備える、請求項２２に記載の非一過性コンピュータ記憶媒体。
25. 前記マルチクラス深層ニューラルネットワークは、フィードフォワードニューラルネットワークと、畳み込みニューラルネットワークとから成る群から選択される、請求項２３に記載の非一過性コンピュータ記憶媒体。
26. 前記マルチクラス深層ニューラルネットワークは、半教師あり学習プロセスを使用して訓練される、請求項２３に記載の非一過性コンピュータ記憶媒体。
27. （ａ）は、単一オブジェクト検出アルゴリズムを使用して、前記１つ以上の回路図内の前記複数の記号を検出し、分類することを含む、請求項１８に記載の非一過性コンピュータ記憶媒体。
28. （ｂ）は、前記構成要素および前記アセンブリを接続する実線を検出することを含む、請求項１８に記載の非一過性コンピュータ記憶媒体。
29. 前記検出することは、図表探索アルゴリズムを使用することを含む、請求項２８に記載の非一過性コンピュータ記憶媒体。
30. （ｃ）は、
    前記１つ以上の回路図内で、光学文字認識を使用して、前記構成要素およびアセンブリのサブセット内の前記構成要素および前記アセンブリと関連付けられる識別番号を検出し、識別することと、
    前記検出された識別番号を前記構成要素表内の識別番号と整合させることと
    を含む、請求項１８に記載の非一過性コンピュータ記憶媒体。
31. 前記識別番号を検出することは、ハフ変換を使用することを含む、請求項３０に記載の非一過性コンピュータ記憶媒体。
32. 前記デジタルモデルは、前記構成要素、前記接続、および前記システムの状態を定義するコンピュータコードを備える、請求項１８に記載の非一過性コンピュータ記憶媒体。
33. 前記デジタルモデルは、静的モデルである、請求項３２に記載の非一過性コンピュータ記憶媒体。
34. 前記デジタルモデルは、時変モデルである、請求項３２に記載の非一過性コンピュータ記憶媒体。
    

Images