JP7574145B2 - データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置 - Google Patents
データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置 Download PDFInfo
- Publication number
- JP7574145B2 JP7574145B2 JP2021103906A JP2021103906A JP7574145B2 JP 7574145 B2 JP7574145 B2 JP 7574145B2 JP 2021103906 A JP2021103906 A JP 2021103906A JP 2021103906 A JP2021103906 A JP 2021103906A JP 7574145 B2 JP7574145 B2 JP 7574145B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional space
- data
- parameters
- integer
- regression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2264—Multidimensional index structures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2237—Vectors, bitmaps or matrices
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本開示は、データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置に関する。
近年、ディープラーニングに代表される機械学習を活用した様々な研究開発が進められている。機械学習が利用される利用分野は多岐にわたる。例えば、製造業では、設計支援、生産計画支援などにおいて、新規材料の開発や生産性向上などを目的として、機械学習の技術を設計支援または生産計画支援に応用する取り組みが行われている。
機械学習の前に、多次元データに前処理を適用し、次元削減を行うことが一般的である。次元削減を行うことよって、機械学習を効率的に行うためのデータ圧縮、またはデータの分布を可視化することが可能となる。次元削減の例は、主成分分析(PCA)または独立成分分析(ICA)などである。また、個々のデータ(要素)が含む成分の物理量の単位が異なる場合は、次元削減に用いる各変数に対する重みを同等にするための前処理が行われる。前処理の例は、各変数から平均値を引いて平均を0にする処理(「センタリング」と称される)、各変数を標準偏差で割って標準偏差を1にする処理(「スケーリング」と称される)、または、センタリングおよびスケーリングの組み合わせ(「オートスケーリング」と称される)などである。
特許文献1は、多次元空間から2次元空間に材料パラメータを次元削減する方法を開示している。この次元削減は、2次元座標における、材料パラメータに対応するデータ点の位置を変更することをユーザに許容する。その変更情報に基づいて回帰分析を行うことで、材料パラメータに対するパラメータ重要度が更新される。その後、ユーザによるデータ点の位置変更を反映した多次元の材料パラメータに次元削減が再び適用される。この方法によれば、ユーザの知見を活かした材料特性予測を行うことができるとされている。
特許文献2は、局所的なデータの分布において近傍データを決定するためのパラメータを、次元削減の対象となるデータ群に含まれるデータ間の距離に基づいてデータ毎に決定し、決定したパラメータに基づいてデータの次元削減を行う方法を開示している。次元削減の対象となるデータ群における少なくとも一部のデータ間の距離情報は、ユーザによって入力され得る。この方法によれば、ユーザの意図がより反映された良好な次元削減の結果を得ることができるとされている。
特許文献1および2に開示された方法によれば、適切な次元削減の結果を得るために、次元削減を実行した後、その都度、次元削減後の座標系におけるデータ点の位置を変更することや、データ間の距離情報を入力することがユーザに求められる。このようなインタラクティブなやり取りは、演算装置とユーザとに負荷をかけるだけでなく、処理時間の増加の要因となり得る。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、演算装置に対する負荷または処理時間の増加を抑制し、ユーザからの入力を必要としない、機械学習を効率的に行うためのデータ圧縮、またはデータの分布を可視化するための処理を実現することが可能なデータ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置を提供することにある。
本開示の次元圧縮方法は、m次元(mは3以上の整数)の高次元空間内の、それぞれがm次元ベクトルで表されるデータ群を、n次元(nは2以上m未満の整数)の低次元空間に次元圧縮する方法である。前記次元圧縮方法は、非限定的で例示的な実施形態において、前記高次元空間内の任意の2個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はp個(pはm以上の整数)の第1パラメータを含む、圧縮ステップと、次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、分割された小区間毎に、所属する少なくとも1個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、m個の説明変数、および、前記m個の説明変数に対応したq個(qはm以上の整数)の第2パラメータの関数として表される、分析ステップと、前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記p個の第1パラメータを更新する更新ステップと、を含む。前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップが繰り返して実行される。
本開示のコンピュータプログラムは、m次元(mは3以上の整数)の高次元空間内の、それぞれがm次元ベクトルで表されるデータ群を、n次元(nは2以上m未満の整数)の低次元空間に次元圧縮するために用いる、コンピュータに実行可能なコンピュータプログラムである。前記コンピュータプログラムは、非限定的で例示的な実施形態において、前記高次元空間内の任意の2個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はp個(pはm以上の整数)の第1パラメータを含む、圧縮ステップと、次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、分割された小区間毎に、所属する少なくとも1個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、m個の説明変数、および、前記m個の説明変数に対応したq個(qはm以上の整数)の第2パラメータの関数として表される、分析ステップと、前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記p個の第1パラメータを更新する更新ステップと、をコンピュータに、前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップの順番で繰り返して実行させる。
本開示のデータ次元圧縮装置は、m次元(mは3以上の整数)の高次元空間内の、それぞれがm次元ベクトルで表されるデータ群を、n次元(nは2以上m未満の整数)の低次元空間に次元圧縮する装置である。前記データ次元圧縮装置は、非限定的で例示的な実施形態において、プロセッサと、前記プロセッサの動作を制御するプログラムを記憶するメモリと、を備える。前記プロセッサは、前記プログラムに従って、前記高次元空間内の任意の2個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はp個(pはm以上の整数)の第1パラメータを含む、圧縮ステップと、次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、分割された小区間毎に、所属する少なくとも1個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、m個の説明変数、および、前記m個の説明変数に対応したq個(qはm以上の整数)の第2パラメータの関数として表される、分析ステップと、前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記p個の第1パラメータを更新する更新ステップと、を、前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップの順番で繰り返して実行する。
本開示の例示的な実施形態は、機械学習を効率的に行うためのデータ圧縮、またはデータの分布を可視化するための処理を実現することが可能なデータ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置を提供する。
以下、添付の図面を参照しながら、本開示の実施形態によるデータ次元圧縮方法およびデータ次元圧縮装置を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成または処理に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。また、実質的に同一の構成または処理に同一の参照符号を付す場合がある。
以下の実施形態は例示であり、本開示によるデータ次元圧縮方法およびデータ次元圧縮装置は、以下の実施形態に限定されない。例えば、以下の実施形態で示される数値、形状、材料、ステップ、そのステップの順序などは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
[1.データ次元圧縮装置]
本実施形態に係るデータ次元圧縮装置は、m次元(mは3以上の整数)の高次元空間内のデータ群をn次元(nは2以上m未満の整数)の低次元空間に次元圧縮することが可能である。当該データ次元圧縮装置は、データの次元数をmからn次元数に削減すために用いられる。データ次元圧縮装置は、典型的に、プロセッサと、プロセッサの動作を制御するプログラムを記憶するメモリとを備える。高次元空間内のデータ群に含まれる各データはm次元ベクトルで表される。データ次元圧縮装置に入力するm次元ベクトルはn次元ベクトルに次元削減される。次元削減されたn次元ベクトルは、機械学習の入力データとして扱うことができる。データ次元圧縮装置を用いて、例えば、機械学習を効率的に行うためのデータ圧縮、またはデータの分布を可視化するための処理を行うことが可能である。
本実施形態に係るデータ次元圧縮装置は、m次元(mは3以上の整数)の高次元空間内のデータ群をn次元(nは2以上m未満の整数)の低次元空間に次元圧縮することが可能である。当該データ次元圧縮装置は、データの次元数をmからn次元数に削減すために用いられる。データ次元圧縮装置は、典型的に、プロセッサと、プロセッサの動作を制御するプログラムを記憶するメモリとを備える。高次元空間内のデータ群に含まれる各データはm次元ベクトルで表される。データ次元圧縮装置に入力するm次元ベクトルはn次元ベクトルに次元削減される。次元削減されたn次元ベクトルは、機械学習の入力データとして扱うことができる。データ次元圧縮装置を用いて、例えば、機械学習を効率的に行うためのデータ圧縮、またはデータの分布を可視化するための処理を行うことが可能である。
図1は、データ次元圧縮装置200のハードウェア構成例を示すブロック図である。
データ次元圧縮装置200は、例えば、データベースに蓄積された膨大なデータ(例えばビッグデータ)にアクセスして、次元削減の対象となるデータ群を取得することができる。例えば、本実施形態による次元圧縮を鋼材の製造に適用する場合、データ次元圧縮装置200に入力するデータ群は、製造プロセス、製造条件などの製造実績データおよび材料試験結果に関する情報などを含み得る。
データ次元圧縮装置200は、例えば、入力装置210、表示装置220、通信I/F230、記憶装置240、プロセッサ250、ROM(Read Only Memory)260およびRAM(Random Access Memory)270を備える。これらの構成要素は、バス280を介して相互に通信可能に接続される。
データ次元圧縮装置200は、例えば、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレットコンピュータ、または、クラウドサーバを含むサーバコンピュータとして実現され得る。本実施形態によるデータの次元圧縮を行うための命令群を含むコンピュータプログラム、ソフトウェアまたはファームウェアがデータ次元圧縮装置200に実装される。そのようなコンピュータプログラムは、例えば光ディスクなどの、コンピュータが読み取り可能な記録媒体に記録され、パッケージソフトウェアとして販売され、または、インターネットを介して提供され得る。
入力装置210は、ユーザからの指示をデータに変換してコンピュータに入力するための装置である。入力装置210は、例えばキーボード、マウスまたはタッチパネルである。
表示装置220は、例えば液晶ディスプレイまたは有機ELディスプレイである。表示装置220は、例えば、次元圧縮した後の低次元空間内のデータ群の分布を可視化した画像を表示することができる。データ群の可視化については後述する。
通信I/F230は、例えば、データ次元圧縮装置200とデータベースとの間でデータ通信を行ったり、データ次元圧縮装置200とサーバコンピュータまたは他のパーソナルコンピュータと間で通信を行ったりするためのインタフェースである。データが転送可能であればその形態、プロトコルは限定されない。例えば、通信I/F230は、USB、IEEE1394(登録商標)、またはイーサネット(登録商標)などに準拠した有線通信を行うことができる。通信I/F230は、Bluetooth(登録商標)規格および/またはWi-Fi規格に準拠した無線通信を行うことができる。いずれの規格も、2.4GHz帯または5.0GHz帯の周波数を利用した無線通信規格を含む。
記憶装置240は、例えば磁気記憶装置、光学記憶装置、半導体記憶装置またはそれらの組み合わせである。光学記憶装置の例は、光ディスクドライブまたは光磁気ディスク(MD)ドライブなどである。磁気記憶装置の例は、ハードディスクドライブ(HDD)、フロッピーディスク(FD)ドライブまたは磁気テープレコーダである。半導体記憶装置の例は、ソリッドステートドライブ(SSD)である。
プロセッサ250は、半導体集積回路であり、中央演算処理装置(CPU)またはマイクロプロセッサとも称される。プロセッサ250は、データの次元圧縮のための命令群を記述した、ROM260に格納されたコンピュータプログラムを逐次実行し、所望の処理を実現する。
本実施形態におけるプロセッサ250は、コンピュータプログラムに従って、後述する、圧縮ステップ、分割ステップ、分析ステップおよび更新ステップをこの順番で繰り返して実行するように構成されている。
データ次元圧縮装置200は、プロセッサ250に加えてまたは代えて、CPUを搭載したFPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、ASSP(Application Specific Standard Product)、または、これら回路の中から選択される2つ以上の回路の組み合わせを備え得る。
ROM260は、例えば、書き込み可能なメモリ(例えばPROM)、書き換え可能なメモリ(例えばフラッシュメモリ)、または読み出し専用のメモリである。ROM260は、プロセッサの動作を制御するプログラムを記憶している。ROM260は、単一の記録媒体である必要はなく、複数の記録媒体の集合であり得る。複数の集合体の一部は取り外し可能なメモリであってもよい。
RAM270は、ROM260に格納された制御プログラムをブート時に一旦展開するための作業領域を提供する。RAM270は、単一の記録媒体である必要はなく、複数の記録媒体の集合であり得る。
[2.次元圧縮方法]
図2は、本実施形態に係る次元圧縮方法の処理手順を例示するフローチャートである。
図2は、本実施形態に係る次元圧縮方法の処理手順を例示するフローチャートである。
本実施形態における次元圧縮方法は、圧縮ステップS310と、分割ステップS320と、分析ステップS330と、更新ステップS340と、判定ステップS350とを含む。当該次元圧縮方法は、例えば、上述したデータ次元圧縮装置200に実装することができる。典型的には、それぞれのステップに含まれる処理(またはタスク)は、ソフトウェアのモジュール単位でコンピュータプログラムに記述される。ただし、FPGAなどを用いる場合、一連の処理の全部または一部は、ハードウェア・アクセラレータとして実装され得る。以下の説明において、それぞれの処理を実行する主体は、データ次元圧縮装置200が備えるプロセッサ250とする。
(圧縮ステップS310)
プロセッサ250は、高次元空間内の任意の2個のベクトル間の距離を規定する距離関数を用いて、データ群を高次元空間から低次元空間に次元圧縮する。距離関数はp個の第1パラメータを含む。本実施形態おける第1パラメータの個数pは、高次元空間の次元数mに等しい。ただし、pはm以上の整数、例えば2mまたは3mであり得る。
プロセッサ250は、高次元空間内の任意の2個のベクトル間の距離を規定する距離関数を用いて、データ群を高次元空間から低次元空間に次元圧縮する。距離関数はp個の第1パラメータを含む。本実施形態おける第1パラメータの個数pは、高次元空間の次元数mに等しい。ただし、pはm以上の整数、例えば2mまたは3mであり得る。
次元圧縮の方法として、例えば、自己組織化マップ、カーネル主成分分析(Kernel PCA)、GTM(generative topographic map)またはt-SNE(t-Distributed Stochastic Neighbor Embedding)などのアルゴリズムを用いることができる。本実施形態において、自己組織化マップが次元圧縮に適用される。
本実施形態における距離関数は重み付きユークリッド距離で表される。この場合、整数pは整数mに等しい。p個(つまりm個)の第1パラメータは、それぞれ、任意の2個のベクトル間におけるm次元ベクトルのm個の成分同士の距離を重み付けするm個の重み係数である。ただし、距離空間を形成する距離関数は、重み付きユークリッド距離に限定されず、例えば、マンハッタン距離、または、これよりも一般化されたk-乗平均距離、チェビシェフ距離などで表され得る。
本実施形態におけるm次元ベクトルは、合金材料の化学成分および/または製造条件を成分に含み得る。m次元ベクトルは、例えば、アルミニウム合金の化学成分および/または製造条件を成分に含み得る。製造条件は、アルミニウム合金の圧延材に関連する製造条件を含み得る。
図3は、自己組織化マップの概念を説明するための図である。以下、自己組織化マップはSOMと記載する。SOMはニューラルネットワークの一種である。SOMは、高次元空間にあるデータセットを、データ分布の位相的構造を保存しつつ低次元空間に写像する次元圧縮法である。以降、高次元空間を「観測空間」と記載し、低次元空間を「潜在空間」と記載し、観測空間内にあるデータを「観測データ」と記載する場合がある。SOMにおいて、高次元情報を有する各観測データに対して、データ間の距離が定義される。観測空間におけるこの距離が近いデータ同士が潜在空間上でも近くに配置されるように学習が実行される。
ここで、数学的な定義を行う。先ず、m次元の観測空間X=(Rm,d)と、それに対応する2次元の潜在空間Z=([0,1]2,dz)とを考える。潜在空間から観測空間への連続単射写像をf:Z→Xと記載する。本実施形態において、次元圧縮後のデータに対する考察の容易さを考慮し、潜在空間は2次元空間である。ただし、潜在空間は、3次元以上の空間であり得る。
それぞれの観測データnをxnで表し、観測データ群を含むデータセットをXL=(x1,x2,・・・,xN)と定義する。xnはm次元ベクトルである。また、観測空間X上の各要素(m次元ベクトル)間の距離d:Rm×Rm→Rを任意の2個の要素について定義する。本定義は距離の公理を満たせばよいが、本実施形態における距離関数は、最も一般的なユークリッドノルムをベースとした数1の数式で表される。
次に、潜在空間における各ノードkの座標はζkで表される。この座標を観測空間に移したyk=f(ζk)は参照ベクトルと呼ぶ。SOMの目的は、潜在空間内の全ノードkのそれぞれに対応する観測空間内のykを、XLの分布を上手く説明できるように更新していくことである。これらの数学的な定義によって、連続単射写像fを設計することができる。
SOMの学習法として、オンライン学習法またはバッチ学習法がある。本実施形態では、オフライン環境において現実的な計算時間で学習することが可能となるために、学習に偏りが比較的に出にくいと考えられるバッチ学習法を用いる。
バッチ学習法のアルゴリズムの概要を以下に説明する。
(1)各観測ベクトルxnに最も距離が近い参照ベクトルykn *に対応する、潜在空間におけるノードkn *を勝者ノードと呼ぶ。勝者ノードを全ての観測データnに対して求める。また、観測データnに対応する潜在空間における座標をzn=ζkn *で表す。
(2)各勝者ノードが近傍ノードkに分配する学習量を計算する。潜在空間における距離が勝者ノードkn *に近いノードほど、観測空間内のxnに近づくための学習量が大きくなるよう、近傍関数を学習量の計算に用いる。近傍関数は、例えば数2の数式に示すガウス関数で表すことができる。ここで、σは近傍半径である。
(3)全ての参照ベクトルを数3の数式で表される重み付き平均になるように更新する。
上記の(1)から(3)の処理を、近傍半径σを更新しながら学習が収束するまで繰り返し実行する。
(1)各観測ベクトルxnに最も距離が近い参照ベクトルykn *に対応する、潜在空間におけるノードkn *を勝者ノードと呼ぶ。勝者ノードを全ての観測データnに対して求める。また、観測データnに対応する潜在空間における座標をzn=ζkn *で表す。
(2)各勝者ノードが近傍ノードkに分配する学習量を計算する。潜在空間における距離が勝者ノードkn *に近いノードほど、観測空間内のxnに近づくための学習量が大きくなるよう、近傍関数を学習量の計算に用いる。近傍関数は、例えば数2の数式に示すガウス関数で表すことができる。ここで、σは近傍半径である。
(3)全ての参照ベクトルを数3の数式で表される重み付き平均になるように更新する。
上記の(1)から(3)の処理を、近傍半径σを更新しながら学習が収束するまで繰り返し実行する。
(分割ステップS320)
プロセッサ250は、次元圧縮した後の低次元空間を複数の小区間に分割する。
プロセッサ250は、次元圧縮した後の低次元空間を複数の小区間に分割する。
(分析ステップS330)
プロセッサ250は、分割された小区間毎に、所属する少なくとも1個のデータに基づいて回帰モデルを用いて回帰分析を行い得る。回帰モデルは、m個の説明変数、および、m個の説明変数に対応したq個の第2パラメータの関数として表される。ここで、qはm以上の整数である。本実施形態における回帰モデルは線形重回帰モデル(式)である。この場合、整数qは整数mに等しい。q個(つまりm個)の第2パラメータのそれぞれはm個の偏回帰係数である。ただし、分析ステップにおいて非線形回帰モデルを用いて分析を行うことも可能である。本実施形態において、p=q=mが成立するが、p、qおよびmの関係はこれに限定されない。
プロセッサ250は、分割された小区間毎に、所属する少なくとも1個のデータに基づいて回帰モデルを用いて回帰分析を行い得る。回帰モデルは、m個の説明変数、および、m個の説明変数に対応したq個の第2パラメータの関数として表される。ここで、qはm以上の整数である。本実施形態における回帰モデルは線形重回帰モデル(式)である。この場合、整数qは整数mに等しい。q個(つまりm個)の第2パラメータのそれぞれはm個の偏回帰係数である。ただし、分析ステップにおいて非線形回帰モデルを用いて分析を行うことも可能である。本実施形態において、p=q=mが成立するが、p、qおよびmの関係はこれに限定されない。
プロセッサ250は、分割された小区間毎に、所属する少なくとも1個のデータに基づいて線形重回帰分析を実行する。プロセッサ250は、線形重回帰分析から得られたm個の偏回帰係数の絶対値に基づいて更新パラメータを算出する。
(更新ステップS340)
プロセッサ250は、複数の小区間における回帰分析の結果に基づいて距離関数に含まれるp個の第1パラメータを更新する。換言すると、プロセッサ250は、更新パラメータを用いてp個の第1パラメータを更新する。本実施形態における重み付きユークリッド距離の重み係数は、線形重回帰分析の結果に基づいて更新される。
プロセッサ250は、複数の小区間における回帰分析の結果に基づいて距離関数に含まれるp個の第1パラメータを更新する。換言すると、プロセッサ250は、更新パラメータを用いてp個の第1パラメータを更新する。本実施形態における重み付きユークリッド距離の重み係数は、線形重回帰分析の結果に基づいて更新される。
(判定ステップS350)
プロセッサ250は、次元圧縮の結果が所定の条件を満足するかどうかを判定する。プロセッサ250は、次元圧縮の結果が所定の条件を満足すると判定するとき、次元圧縮の処理を完了する(S350のYes)。プロセッサ250は、次元圧縮の結果が所定の条件を満足しないと判定するとき、再び圧縮ステップS310の処理に戻り(S350のNo)、次元圧縮の結果が所定の条件を満足するまで、圧縮ステップS310、分割ステップS320、分析ステップS330および更新ステップS340を繰り返して実行する。
プロセッサ250は、次元圧縮の結果が所定の条件を満足するかどうかを判定する。プロセッサ250は、次元圧縮の結果が所定の条件を満足すると判定するとき、次元圧縮の処理を完了する(S350のYes)。プロセッサ250は、次元圧縮の結果が所定の条件を満足しないと判定するとき、再び圧縮ステップS310の処理に戻り(S350のNo)、次元圧縮の結果が所定の条件を満足するまで、圧縮ステップS310、分割ステップS320、分析ステップS330および更新ステップS340を繰り返して実行する。
本実施形態における所定の条件は、指定された繰り返し回数である。ただし、所定の条件はこれに限定されない。例えば、圧縮ステップS310、分割ステップS320、分析ステップS330および更新ステップS340の一連の処理が完了するごとに、次元圧縮後のデータの分類結果を可視化した可視化マップが表示装置に表示され得る。ユーザは、その都度、可視化マップを確認し、次元圧縮処理を終了するかどうかを判断してもよい。このように、終了条件は、次元圧縮の実行中に入力装置を介してユーザから次元圧縮装置に入力され得る。
上述した数1の数式に示す距離関数において、重み係数の影響は非常に大きい。例えば、アルミニウム合金の製造工程を例に取る。この製造工程は熱間圧延を含み得る。熱間圧延における変形抵抗を特徴付ける因子となり得る複数の製造データ(または製造パラメータ)を含む観測データ群を次元圧縮の対象とすることができる。その場合、例えば、化学成分であるMgの成分比1%と温度1℃とでは物理量の単位が異なる。単位が同じであっても、例えば、Mgの成分比1%とFeの成分比1%とでは、変形抵抗に与える影響度が異なり得る。このために、機械学習に用いる入力データを含む学習データセットにオートスケーリングを適用し、観測空間内の要素の各成分について平均0、分散1となるような正規化の前処理を行うことが一般的である。しかしながら、入力データの分散が要素の成分の重要度に直接関係しないために、オートスケーリングなどの前処理を適用しても、本来求めたいデータ間の類似度を正しく表現できないという課題がある。
本発明者は、各データに対する目的変数gを予め設定しておき、目的変数gに対して影響度が大きい説明変数ほどその説明変数の重み係数も大きくなるように重み係数を調整する次元圧縮のアルゴリズム(以降、「重み更新アルゴリズム」と呼ぶ場合がある。)に想到した。例えば、上述したアルミニウム合金の熱間圧延における製造データを説明変数として、変形抵抗を目的変数gに設定することができる。または、例えば、熱間仕上げ圧延機における加工中の工具の摩擦状態を目的変数gに設定してもよいし、変形抵抗および摩擦状態の両方を加味した式から導出されるものを目的変数gに設定してもよい。このように、目的変数gは、機械学習(または次元削減)の目的に応じて自由に設定することが可能である。
以下、アルミニウム合金の製造に重み更新アルゴリズムを適用する場合を例に取り、次元圧縮の実装例を説明する。この実装例は、次元圧縮にSOMを適用し、距離関数として重み付きユークリッド距離を採用する。ただし、重み更新アルゴリズムは、機械学習全般に応用可能であり、特に、機械学習を効率的に行うためのデータ圧縮、または、データ分布の可視化において利用され得る。
[3.次元圧縮の実装例]
図4は、次元圧縮の実装例による処理手順を示すフローチャートである。
図4は、次元圧縮の実装例による処理手順を示すフローチャートである。
(ステップS410)
先ず、プロセッサ250は、各成分の重み係数を初期化する。具体的に説明すると、プロセッサ250は、観測空間内のデータ群に含まれる要素の成分ごとに重み係数w=[w1,w2,…,wm]を初期化する。重み係数w=[w1,w2,…,wm]は、例えば、各係数に1/標準偏差を設定することで初期化することができる。
先ず、プロセッサ250は、各成分の重み係数を初期化する。具体的に説明すると、プロセッサ250は、観測空間内のデータ群に含まれる要素の成分ごとに重み係数w=[w1,w2,…,wm]を初期化する。重み係数w=[w1,w2,…,wm]は、例えば、各係数に1/標準偏差を設定することで初期化することができる。
(ステップS420)
プロセッサ250は、各成分の重み係数で規定される距離関数を用いてSOMを実行する。プロセッサ250は、数1の数式で表される距離関数(つまり、重み付きユークリッド距離)を用いてSOMを実行する。
プロセッサ250は、各成分の重み係数で規定される距離関数を用いてSOMを実行する。プロセッサ250は、数1の数式で表される距離関数(つまり、重み付きユークリッド距離)を用いてSOMを実行する。
(ステップS430)
図5は、複数の小区間に分割した潜在空間を模式的に示す図である。図5に、複数の小区間のうちの一部が記載されているが、実際は、小区間が潜在空間に繰り返して配置される。
図5は、複数の小区間に分割した潜在空間を模式的に示す図である。図5に、複数の小区間のうちの一部が記載されているが、実際は、小区間が潜在空間に繰り返して配置される。
プロセッサ250は、図5に例示されるように、潜在空間を複数の小区間に分割し、所属する観測データを小区間毎にリスト化する。ここで、観測データnの最終的な勝者ノードが、潜在空間における小区間s内にある場合において、「小区間sにデータnが所属する」と定義する。小区間の集合をS、潜在区間における小区間s内に存在するノードの集合をKsとすると、sに所属するデータ番号の集合は数4の数式で表される。
(ステップS440)
プロセッサ250は、小区間に所属する全観測データの各成分を説明変数(パラメータ)とする線形重回帰分析を実行する。本来はパラメータに対して非線形な関係のモデルを用いて回帰分析を行うことが望ましいが、小区間であれば線形近似を行うことが可能である。各小区間での線形重回帰分析に用いる回帰モデルは、数5の数式で表される。ここで、gが目的変数であり、xi(i=1,2,3,・・・)が説明変数である。説明変数xiに対応するai、およびbが偏回帰係数である。なお、bは定数項である。
[数5]
ただし、線形重回帰分析が可能か否かの判定において、以下の条件(1)および(2)を満たす小区間のみが対象とされる。
(1)対象の小区間sに所属する観測データの数Ns=|Ds|がm+1よりも大きい。
(2)Ds={n1,n2,・・・,nNs}に対する線形重回帰分析に必要な、数6の数式で表されるデータ行列について、Xs TXsが正則である。
上記の条件(1)および(2)を満たすSの部分集合をSAとする。
プロセッサ250は、小区間に所属する全観測データの各成分を説明変数(パラメータ)とする線形重回帰分析を実行する。本来はパラメータに対して非線形な関係のモデルを用いて回帰分析を行うことが望ましいが、小区間であれば線形近似を行うことが可能である。各小区間での線形重回帰分析に用いる回帰モデルは、数5の数式で表される。ここで、gが目的変数であり、xi(i=1,2,3,・・・)が説明変数である。説明変数xiに対応するai、およびbが偏回帰係数である。なお、bは定数項である。
[数5]
ただし、線形重回帰分析が可能か否かの判定において、以下の条件(1)および(2)を満たす小区間のみが対象とされる。
(1)対象の小区間sに所属する観測データの数Ns=|Ds|がm+1よりも大きい。
(2)Ds={n1,n2,・・・,nNs}に対する線形重回帰分析に必要な、数6の数式で表されるデータ行列について、Xs TXsが正則である。
上記の条件(1)および(2)を満たすSの部分集合をSAとする。
(ステップS450)
プロセッサ250は、全小区間における偏回帰係数の平均値を算出する。ただし、回帰計算の信頼性を考慮するため、プロセッサ250は、小区間毎に以下に記載の処理(I)および(II)を行った上で偏回帰係数の平均値を算出する。ここで、小区間sにおける線形重回帰分析において算出された成分cに対する偏回帰係数をas,c、標準誤差をSEs,cとする。
(I)標準誤差SEs,cの逆数が、指定されたtminを超えるデータのみを対象とする。プロセッサ250は、標準誤差が十分に小さい場合に回帰の信頼性があると判定する。
(II)プロセッサ250は、偏回帰係数の符号が正しいかどうか判定する。符号が正しい場合には、プロセッサ250は偏回帰係数の絶対値を獲得し、符号が正しくない場合には、プロセッサ250は偏回帰係数として0を獲得する。各成分に対する正しい符号を判定するためのルールを予め決定しておき、プロセッサ250は、そのルールに従って数9の数式におけるsgncを+1または-1に設定する。また、ルールが予め設定できない場合、つまり、gに対して正の相関も負の相関もとりうる場合、プロセッサ250は、aと同じ符号として、a≧0のとき、sgncを+1に設定し、a<0のとき、sgncを-1に切替えることで常に符号が正しいという判定を行うことができる。
プロセッサ250は、全小区間における偏回帰係数の平均値を算出する。ただし、回帰計算の信頼性を考慮するため、プロセッサ250は、小区間毎に以下に記載の処理(I)および(II)を行った上で偏回帰係数の平均値を算出する。ここで、小区間sにおける線形重回帰分析において算出された成分cに対する偏回帰係数をas,c、標準誤差をSEs,cとする。
(I)標準誤差SEs,cの逆数が、指定されたtminを超えるデータのみを対象とする。プロセッサ250は、標準誤差が十分に小さい場合に回帰の信頼性があると判定する。
(II)プロセッサ250は、偏回帰係数の符号が正しいかどうか判定する。符号が正しい場合には、プロセッサ250は偏回帰係数の絶対値を獲得し、符号が正しくない場合には、プロセッサ250は偏回帰係数として0を獲得する。各成分に対する正しい符号を判定するためのルールを予め決定しておき、プロセッサ250は、そのルールに従って数9の数式におけるsgncを+1または-1に設定する。また、ルールが予め設定できない場合、つまり、gに対して正の相関も負の相関もとりうる場合、プロセッサ250は、aと同じ符号として、a≧0のとき、sgncを+1に設定し、a<0のとき、sgncを-1に切替えることで常に符号が正しいという判定を行うことができる。
各成分cに対する回帰係数の平均は数8、9の数式から求まる。ここで、Acは成分cに対する偏回帰係数のうち条件(I)を満たすものの集合であり、acは各回帰係数の平均である。なお、本実装例では、偏回帰係数の信頼性の判定に標準誤差が用いられるが、当然、t値またはp値を用いた判定が行われてもよい。
(ステップS460)
プロセッサ250は、偏回帰係数の平均に基づいて各成分cの重み係数wcを更新する。プロセッサ250は、例えば、数10の数式に基づいて重み係数wcをwc newに更新する。ここで、amaxはacの上限値であり、aminはacの下限値である。
プロセッサ250は、偏回帰係数の平均に基づいて各成分cの重み係数wcを更新する。プロセッサ250は、例えば、数10の数式に基づいて重み係数wcをwc newに更新する。ここで、amaxはacの上限値であり、aminはacの下限値である。
(ステップS470)
プロセッサ250は、重み係数の更新の回数が指定された回数Nfに到達したか否かを判定する。更新の回数が回数Nfに到達した場合、プロセッサ250は次元圧縮の処理を終了する。更新の回数が回数Nfに到達していない場合、プロセッサ250は、ステップS420の処理に戻り、更新の回数が回数Nfに到達するまで、ステップS420からS460の処理を繰り返し実行することにより、重み係数を更新する。
プロセッサ250は、重み係数の更新の回数が指定された回数Nfに到達したか否かを判定する。更新の回数が回数Nfに到達した場合、プロセッサ250は次元圧縮の処理を終了する。更新の回数が回数Nfに到達していない場合、プロセッサ250は、ステップS420の処理に戻り、更新の回数が回数Nfに到達するまで、ステップS420からS460の処理を繰り返し実行することにより、重み係数を更新する。
本実装例では、小区間に対し線形重回帰分析を実行したが、他の種類の回帰計算を採用してもよい。例えば、各成分に対応する説明変数の指数に比例するように目的変数を近似することで精度が向上する場合には、その指数を回帰計算のパラメータに採用してもよい。この場合、回帰計算は非線形回帰計算である。このような回帰計算を全小区間で行い、この結果に基づいて距離関数におけるパラメータの更新を繰り返し実行できる限りにおいて、いずれの方法を選択してもよい。
本実施形態によれば、一般的に機械学習の前処理として行われるオートスケーリングなどの処理は特に必要とされない。各成分の物理量の単位の違いという問題が解消され、目的変数に対する各成分、つまり各説明変数の影響度を考慮した次元圧縮を適用すること可能となる。従来のユーザとのインタラクティブなやり取りは要求されず、ユーザの利便性が向上し得る。ただし、各成分の物理量の単位が異なる場合には、オートスケーリングなどの処理を適用して各成分の正規化を行ってから、重み更新アルゴリズムを実行してもよい。
[4.シミュレーション結果]
上述した重み更新アルゴリズムを、アルミニウム合金の熱間圧延の工程に適用し、変形抵抗を特徴付ける複数の製造データ(または製造パラメータ)を含むデータ群を対象とした次元圧縮を試みた。複数の製造パラメータは、合金成分であるSi、Fe、Cu、Mg、Mnの5成分の質量%、圧延条件である圧延材温度(℃)および対数歪にそれぞれ対応した7個のパラメータを含む。各小区間における変形抵抗を目的変数とした線形重回帰モデルは、数11の数式で表される。
[数11]
観測空間は7次元空間であり、観測データは7次元ベクトルで表される。潜在空間は2次元空間である。重み付きユークリッド距離は7個の重み係数を含む。線形重回帰モデルは、7個の説明変数と、7個の説明変数にそれぞれ対応した7個の偏回帰係数と、定数項bとによって表される。10,000コイル分の製造実績データに含まれる、変形抵抗を特徴付ける上記の複数の製造パラメータから10,000個の観測データを生成した。
上述した重み更新アルゴリズムを、アルミニウム合金の熱間圧延の工程に適用し、変形抵抗を特徴付ける複数の製造データ(または製造パラメータ)を含むデータ群を対象とした次元圧縮を試みた。複数の製造パラメータは、合金成分であるSi、Fe、Cu、Mg、Mnの5成分の質量%、圧延条件である圧延材温度(℃)および対数歪にそれぞれ対応した7個のパラメータを含む。各小区間における変形抵抗を目的変数とした線形重回帰モデルは、数11の数式で表される。
[数11]
観測空間は7次元空間であり、観測データは7次元ベクトルで表される。潜在空間は2次元空間である。重み付きユークリッド距離は7個の重み係数を含む。線形重回帰モデルは、7個の説明変数と、7個の説明変数にそれぞれ対応した7個の偏回帰係数と、定数項bとによって表される。10,000コイル分の製造実績データに含まれる、変形抵抗を特徴付ける上記の複数の製造パラメータから10,000個の観測データを生成した。
本シミュレーションにおいて、10,000個の7次元データを含む観測データ群にSOMを適用した。近傍半径は、数12の数式で表現した。数12で表される近傍半径は、繰り返し回数の増加に伴い減少する。ここで、σ0は初期値、σminは下限値、τは近傍半径の縮小スピードを決めるパラメータ、tはSOMアルゴリズムに用いた繰り返し回数である。
SOMの初期化について、一般的にはPCAで次元圧縮を行った結果を初期値としてSOMアルゴリズムを実行する。ただし、重みの更新が十分に進んだ状態において、すなわち、1回当たりの重みの変化が少なくなった後は、初期値として、前回の圧縮処理で更新された参照ベクトルをそのまま引き継ぐことで観測データをより適切に分類できると考えられる。そのため、繰り返し回数がNP未満の場合にはPCAの結果を用いて初期化を行い、繰り返し回数がNP以上の場合には前回の最終値を引き継ぐこととした。
(SOMのシミュレーション条件)
潜在空間の座標系:[-1,1]2;潜在空間内のノード数:900(30×30);初期値σ0:1.0;下限値σmin:0.2;τ:10、SOMにおける繰り返し回数:20
(重み更新アルゴリズムのシミュレーション条件)
小区画のサイズ:7×7(ノード);小区間同士の距離:3(ノード);tmin:3;amin:1/1.2;amax:1.2;繰り返し回数Nf:40;Np:25
潜在空間の座標系:[-1,1]2;潜在空間内のノード数:900(30×30);初期値σ0:1.0;下限値σmin:0.2;τ:10、SOMにおける繰り返し回数:20
(重み更新アルゴリズムのシミュレーション条件)
小区画のサイズ:7×7(ノード);小区間同士の距離:3(ノード);tmin:3;amin:1/1.2;amax:1.2;繰り返し回数Nf:40;Np:25
<比較例>
本実施形態による重み更新アルゴリズムを適用せずに、一般的に機械学習の前処理として行われるオートスケーリングのみを適用した場合におけるSOMの結果を吟味した。図6Aから図6Cは、比較例によるSOMのシミュレーション結果を示す。合金成分であるSi、Fe、Cu、Mg、Mnの5成分を全て表示するのは困難であるために、それぞれの成分の質量%の組み合わせに基づいてラベリングした結果を可視化した合金分類の可視化マップが図6Aに示されている。図6Bに圧延材温度の等高線が示され、図6Cに対数歪の等高線が示されている。ここで、可視化マップおよび等高線図のそれぞれにおいて、縦軸および横軸は、それぞれ、30×30の各ノードに対応したインデクス(IDX)を示す。
本実施形態による重み更新アルゴリズムを適用せずに、一般的に機械学習の前処理として行われるオートスケーリングのみを適用した場合におけるSOMの結果を吟味した。図6Aから図6Cは、比較例によるSOMのシミュレーション結果を示す。合金成分であるSi、Fe、Cu、Mg、Mnの5成分を全て表示するのは困難であるために、それぞれの成分の質量%の組み合わせに基づいてラベリングした結果を可視化した合金分類の可視化マップが図6Aに示されている。図6Bに圧延材温度の等高線が示され、図6Cに対数歪の等高線が示されている。ここで、可視化マップおよび等高線図のそれぞれにおいて、縦軸および横軸は、それぞれ、30×30の各ノードに対応したインデクス(IDX)を示す。
各成分の不偏標準偏差の逆数を重みとして単純に設定したときの数1の数式を距離関数として定義し、これにより、正規化を行う場合と同じ結果が得られるようにした。潜在空間を小区間に分割し、各成分に対する偏回帰係数の平均値を算出した。偏回帰係数の平均値は、Si、Fe、Cu、Mn、Mg、対数歪、温度の順に、0.45、0.53、1.93、2.10、7.31、1.25、1.75であった。
図6Aに示されるように、変形抵抗として最も対角にあるべき1000系と5000系とが隣接して配置されており、代わりに3000系と5000系とが対角に配置されている。これは、各偏回帰係数の平均値について、Mgの値(7.31)が他の成分に比べて大きくなっていることから理解されるように、重みの正規化を行うと、Mgの重みが過小評価されるためである。比較例から、Mgの含有量が多い5000系と純アルミ系である1000系との間の距離が正確に表現できていないことが分かる。
<実施例>
一般的に機械学習の前処理として行われるオートスケーリングを適用せず、代わりに、本実施形態による重み更新アルゴリズムを適用した場合におけるSOMの結果を吟味した。本来は、重みの初期値の正規化を行うことが望ましいが、今回は重み更新アルゴリズムの効果を明確に示す意図で、全ての成分に対する重みの初期値を1とした。
一般的に機械学習の前処理として行われるオートスケーリングを適用せず、代わりに、本実施形態による重み更新アルゴリズムを適用した場合におけるSOMの結果を吟味した。本来は、重みの初期値の正規化を行うことが望ましいが、今回は重み更新アルゴリズムの効果を明確に示す意図で、全ての成分に対する重みの初期値を1とした。
繰り返し回数Nfを40に設定し、図4に例示される処理手順に従って合計40回重み係数を更新した。図7Aは、重み更新の繰り返し回数に対する各成分の重み係数の変化、つまり、重み係数の推移を示すグラフである。図7Bは、重み更新の繰り返し回数に対する各偏回帰係数の平均値の変化を示すグラフである。図7A及び図7Bにおける横軸は重み更新の繰り返し回数を示す。図7Aにおけるグラフ右側の縦軸は、温度の成分に対する重み係数を示し、グラフ左側の縦軸は、温度以外の成分、すなわち、Si、Fe、Cu、Mg、Mnの質量%、対数歪の成分に対する重み係数を示す。図7Bにおける縦軸は各成分の偏回帰係数の平均値を示す。
図7Aに示す重み係数の推移の結果から、40回の重み更新により各成分の重み係数はある一定の値に収束していることが分かる。さらには、図7Aに示す重み係数の推移、および図7Bに示す各偏回帰係数の平均値の変化から、潜在空間の小区間における影響係数(または平均)が1に近づくように重み係数が更新されていることが分かる。ただし、これは小区間における影響係数の平均であり、大域的な影響の大きさを表すものではない。図7Bに示すグラフの結果から、偏回帰係数の平均値は、全体として1に収束していることが分かる。
図8Aから図8Eは、それぞれ、繰り返し回数が0、5、10、20、40回のときの合金分類の可視化マップを示す。図9Aから図9Eは、それぞれ、繰り返し回数が0、5、10、20、40回のときの圧延材温度の等高線を示す。図10Aから図10Eは、それぞれ、繰り返し回数が0、5、10、20、40回のときの対数歪の等高線を示す。
繰り返し回数が0回のときは、1000系同士が対角に離れて配置されている。1000系と5000系とが近くに配置されている。温度の影響が過剰に評価され、結果として、ほぼ温度の因子だけで合金が分類されている。これらの問題は、温度の1℃と合金成分の質量1%との物理量の単位の違いによる影響が大きいことに起因している。
繰り返し回数が増えるにつれて、1000系と5000系との配置関係が変化し、繰り返し回数が40回のときは、1000系と5000系とが対角に配置されていることが分かる。全体としても単連結になっており、同一の合金種が分離されていないことが確認できる。また、図9Eおよび図10Eに、それぞれ、1000系内の温度および対数歪の違いが示されている。同じ合金内であっても温度および対数歪の違いを明確に表現できていることが確認できる。本実施形態による実装例によれば7個の全成分を考慮した適切かつ明確な合金の分類が実現できていることが分かる。
本実施形態によるデータ次元圧縮方法は、次元圧縮した後の低次元空間内のデータ群を可視化した画像を表示装置に表示させるステップをさらに含み得る。例えば、図8Aから図8Eにそれぞれ例示される合金分類の可視化マップは、1ループ分の次元圧縮処理が終了するごとに、次元圧縮の結果として表示装置に表示され得る。例えば、ユーザは、表示装置に表示される合金分類の可視化マップの変化を確認しながら、次元圧縮処理を終了するかどうかを判断することができる。
本発明者は、本実施形態による次元圧縮のアルゴリズムをアルミニウム合金の熱間圧延の工程に適用し、圧延材温度を特徴付ける複数の製造データ(または製造パラメータ)を含むデータ群を対象とした次元圧縮をさらに試みた。
図11は、アルミニウム合金の熱間仕上げに用いる、4スタンドで構成された4段圧延機の概略構成を示す模式図である。図11において、最終スタンドが破線で囲まれている。
図11に例示される4個のスタンド110で構成されたアルミ熱間仕上げ圧延機を対象としたシミュレーションを行った。圧延材(ワーク)100の温度が変化する要因としては、加工または摩擦による発熱、空冷またはクーラントによる冷却、ワークロール(WR)101との接触による抜熱等が考えられる。なお、クーラントスプレーの機構は、スタンド入側に圧延材を直接冷却するための板冷却スプレー、各スタンドにおけるWRを冷却するためのWR冷却スプレー、およびWRと圧延材の間の潤滑のための潤滑スプレーを有する。
一般的に最終スタンドの出側温度、つまり、圧延機出側における圧延材温度の制御に、圧延機のWRの回転速度を変化させることで、クーラントおよびWRとの接触による抜熱時間を調整する方法が適用される。このように、WRの回転速度を変化させることで出側温度を制御することができる。
本シミュレーションにおける次元圧縮の対象は、圧延材温度を特徴付ける複数の製造パラメータを含むデータ群である。製造パラメータとして、温度および速度計算に大きな影響を与える、入側板冷却総流量、前段2スタンドのWR冷却総流量、最終スタンドを含む後段2スタンドのWR冷却総流量、前段2スタンドの潤滑総流量、後段2スタンドの潤滑総流量[kl/min]、入側温度、出側温度、クーラント温度[℃]、および、上がり板厚[mm]の9個を選定した。
回帰モデルにおいて、上記の9個の製造パラメータを説明変数とし、最終スタンドのWR周速[m/s]を目的変数とした。数13の数式で表される回帰モデルを用いて各小区間における線形重回帰分析を実行した。
[数13]
[数13]
観測空間は9次元空間であり、観測データは9次元ベクトルで表される。潜在空間は2次元空間である。重み付きユークリッド距離は、9個の重み係数を含む。線形重回帰モデルは、9個の説明変数と、9個の説明変数にそれぞれ対応した9個の偏回帰係数とによって表される。10,000コイル分の製造実績データに含まれる、圧延材温度を特徴付ける上述した複数の製造データに基づいて10,000個の観測データを生成した。
シミュレーションに用いた各パラメータの値、及び、重み更新アルゴリズムのシミュレーション条件は、tmin(=0.4)を除いて、変形抵抗のシミュレーションのときに設定したものと同じである。全ての成分に対する重みの初期値を1とした。繰り返し回数Nfを40に設定し、図4に例示される処理手順に従って合計40回重み係数を更新した。
図12Aは、重み更新の繰り返し回数に対する、クーラント流量に関連する各成分の重み係数の変化、つまり、重み係数の推移を示すグラフである。図12Bは、重み更新の繰り返し回数に対する、クーラント流量に関連しない各成分の重み係数の推移を示すグラフである。図12Cは、重み更新の繰り返し回数に対する各偏回帰係数の平均値の変化を示すグラフである。図12A,12B及び12Cにおける横軸は重み更新の繰り返し回数を示す。図12Aにおける縦軸は、各流量[kl/min]に対する重み係数を示す。図12Bにおけるグラフ右側の縦軸は、板厚[mm]に対する重み係数を示し、グラフ左側の縦軸は、各温度[℃]に対する重み係数を示す。図12Cにおける縦軸は各成分の偏回帰係数の平均値を示す。
図12Aおよび12Bに示される重み係数の推移の結果から、40回の重み更新により各成分の重み係数はある一定の値に収束していることが分かる。図12Aに示す結果から、クーラント流量の重み係数に着目すると、潤滑下流成分の重み係数、入側板冷却成分の重み係数、その他の成分の重み係数の順で大きくなることが確認できる。クーラント流量の重み係数を含む全ての重み係数は、最終スタンドのWR周速への影響度を表している。WR冷却については、上流側よりも下流側の、WR周速への影響度が大きいことが確認できる。図12Bに示す結果から、温度に関連する各成分の重み係数に着目すると、クーラント温度、出側温度、入側温度の重み係数は、この順番で大きくなることが確認できる。これらの傾向は定性的な分析に一致する。
図12Cに示すグラフの結果から、偏回帰係数の平均値は、やや大きく変動するものの、全体としては1に収束していることが分かる。
上述したシミュレーション結果から、入力データの分散がその成分の重要性を表現しているわけではないことが確認できた。本実施形態によるデータ次元圧縮法を導入することで、目的に応じた距離関数を定義することによって、SOMによる分類を適切に行うことができる。変形抵抗に関するデータまたは圧延材温度に関するデータという全く異なるデータ群に、目的変数に対する各成分の影響度を考慮した次元圧縮を適用すること可能となる。
本開示の技術は、機械学習全般に応用可能であり、特に、機械学習を効率的に行うためのデータ圧縮、または、データ分布の可視化において利用され得る。
100 :圧延材(ワーク)
101 :ワークロール(WR)
110 :スタンド
200 :データ次元圧縮装置
210 :入力装置
220 :表示装置
230 :通信I/F
240 :記憶装置
250 :プロセッサ
260 :ROM
270 :RAM
280 :バス
101 :ワークロール(WR)
110 :スタンド
200 :データ次元圧縮装置
210 :入力装置
220 :表示装置
230 :通信I/F
240 :記憶装置
250 :プロセッサ
260 :ROM
270 :RAM
280 :バス
Claims (12)
- m次元(mは3以上の整数)の高次元空間内の、それぞれがm次元ベクトルで表されるデータ群を、n次元(nは2以上m未満の整数)の低次元空間に次元圧縮する方法であって、
前記高次元空間内の任意の2個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はp個(pはm以上の整数)の第1パラメータを含む、圧縮ステップと、
次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、
分割された小区間毎に、所属する少なくとも1個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、m個の説明変数、および、前記m個の説明変数に対応したq個(qはm以上の整数)の第2パラメータの関数として表される、分析ステップと、
前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記p個の第1パラメータを更新する更新ステップと、
を含み、
前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップを繰り返して実行する、方法。 - 前記圧縮ステップにおいて、自己組織化マップを次元圧縮に適用する、請求項1に記載の方法。
- 前記距離関数は重み付きユークリッド距離で表され、ここで、整数pは整数mに等しく、
前記p個の第1パラメータは、それぞれ、前記任意の2個のベクトル間におけるm個の成分同士の距離を重み付けするm個の重み係数である、請求項1または2に記載の方法。 - 前記回帰モデルは線形重回帰モデルである、請求項1から3のいずれかに記載の方法。
- 前記q個の第2パラメータは、m個の偏回帰係数であり、ここで、整数qは整数mに等しく、
分割された小区間毎に前記分析ステップにおいて実行した線形重回帰分析から得られた前記m個の偏回帰係数の絶対値に基づいて更新パラメータを算出し、
前記更新ステップにおいて、前記更新パラメータを用いて前記p個の第1パラメータを更新する、請求項4に記載の方法。 - 前記低次元空間は2次元空間である、請求項1から5のいずれかに記載の方法。
- 前記p個の第1パラメータを初期化する初期化ステップを含む、請求項1から6のいずれかに記載の方法。
- 次元圧縮した後の前記低次元空間内のデータ群を可視化した画像を表示装置に表示させる表示ステップを含む、請求項1から7のいずれかに記載の方法。
- 前記m次元ベクトルは、合金材料の化学成分および/または製造条件を成分に含む、請求項1から8のいずれかに記載の方法。
- 前記製造条件は、アルミニウム合金の圧延材に関連する製造条件を含む、請求項9に記載の方法。
- m次元(mは3以上の整数)の高次元空間内の、それぞれがm次元ベクトルで表されるデータ群を、n次元(nは2以上m未満の整数)の低次元空間に次元圧縮するために用いるコンピュータプログラムであって、
前記高次元空間内の任意の2個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はp個(pはm以上の整数)の第1パラメータを含む、圧縮ステップと、
次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、
分割された小区間毎に、所属する少なくとも1個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、m個の説明変数、および、前記m個の説明変数に対応したq個(qはm以上の整数)の第2パラメータの関数として表される、分析ステップと、
前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記p個の第1パラメータを更新する更新ステップと、
をコンピュータに、前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップの順番で繰り返して実行させる、コンピュータプログラム。 - m次元(mは3以上の整数)の高次元空間内の、それぞれがm次元ベクトルで表されるデータ群を、n次元(nは2以上m未満の整数)の低次元空間に次元圧縮するデータ次元圧縮装置であって、
プロセッサと、
前記プロセッサの動作を制御するプログラムを記憶するメモリと、
を備え、
前記プロセッサは、前記プログラムに従って、
前記高次元空間内の任意の2個のベクトル間の距離を規定する距離関数を用いて、前記データ群を前記高次元空間から前記低次元空間に次元圧縮する圧縮ステップであって、前記距離関数はp個(pはm以上の整数)の第1パラメータを含む、圧縮ステップと、
次元圧縮した後の前記低次元空間を複数の小区間に分割する分割ステップと、
分割された小区間毎に、所属する少なくとも1個のデータに基づいて回帰モデルを用いて回帰分析を行う分析ステップであって、前記回帰モデルは、m個の説明変数、および、前記m個の説明変数に対応したq個(qはm以上の整数)の第2パラメータの関数として表される、分析ステップと、
前記複数の小区間における回帰分析の結果に基づいて前記距離関数に含まれる前記p個の第1パラメータを更新する更新ステップと、
を、前記圧縮ステップ、前記分割ステップ、前記分析ステップおよび前記更新ステップの順番で繰り返して実行する、データ次元圧縮装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021103906A JP7574145B2 (ja) | 2021-06-23 | 2021-06-23 | データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置 |
| US18/573,981 US12253993B2 (en) | 2021-06-23 | 2022-06-10 | Data dimensionality reduction method, computer program, and data dimensionality reduction device |
| PCT/JP2022/023422 WO2022270332A1 (ja) | 2021-06-23 | 2022-06-10 | データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021103906A JP7574145B2 (ja) | 2021-06-23 | 2021-06-23 | データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023003005A JP2023003005A (ja) | 2023-01-11 |
| JP7574145B2 true JP7574145B2 (ja) | 2024-10-28 |
Family
ID=84543831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021103906A Active JP7574145B2 (ja) | 2021-06-23 | 2021-06-23 | データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12253993B2 (ja) |
| JP (1) | JP7574145B2 (ja) |
| WO (1) | WO2022270332A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7849993B2 (ja) * | 2022-03-22 | 2026-04-22 | キオクシア株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
| EP4432136A1 (en) * | 2023-03-15 | 2024-09-18 | Rohde & Schwarz GmbH & Co. KG | Computer-implemented data processing method, and measurement system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509180A (zh) | 2018-10-24 | 2019-03-22 | 东华大学 | 基于机器视觉的金属纽扣瑕疵检测方法 |
| JP2020128962A (ja) | 2019-02-12 | 2020-08-27 | 株式会社日立製作所 | 材料特性予測装置および材料特性予測方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011070503A (ja) * | 2009-09-28 | 2011-04-07 | Mitsubishi Chemical Engineering Corp | 配合設計支援システム及び方法 |
| JP5755516B2 (ja) * | 2011-06-17 | 2015-07-29 | セコム株式会社 | 物体形状推定装置 |
| JP6547275B2 (ja) * | 2014-10-29 | 2019-07-24 | 株式会社リコー | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
| JP6789762B2 (ja) * | 2016-11-02 | 2020-11-25 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| CA3018334A1 (en) * | 2017-09-21 | 2019-03-21 | Royal Bank Of Canada | Device and method for assessing quality of visualizations of multidimensional data |
-
2021
- 2021-06-23 JP JP2021103906A patent/JP7574145B2/ja active Active
-
2022
- 2022-06-10 WO PCT/JP2022/023422 patent/WO2022270332A1/ja not_active Ceased
- 2022-06-10 US US18/573,981 patent/US12253993B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509180A (zh) | 2018-10-24 | 2019-03-22 | 东华大学 | 基于机器视觉的金属纽扣瑕疵检测方法 |
| JP2020128962A (ja) | 2019-02-12 | 2020-08-27 | 株式会社日立製作所 | 材料特性予測装置および材料特性予測方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US12253993B2 (en) | 2025-03-18 |
| WO2022270332A1 (ja) | 2022-12-29 |
| US20240211457A1 (en) | 2024-06-27 |
| JP2023003005A (ja) | 2023-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chang et al. | Phase prediction and effect of intrinsic residual strain on phase stability in high-entropy alloys with machine learning | |
| JP2022552980A5 (ja) | ||
| CN111250548B (zh) | 一种基于核偏最小二乘结合支持向量机的板凸度预测方法 | |
| JP2008546046A (ja) | マハラノビスの距離の遺伝的アルゴリズムの方法及びシステム | |
| JP7574145B2 (ja) | データ次元圧縮方法、コンピュータプログラムおよびデータ次元圧縮装置 | |
| CA3157288A1 (en) | Systems and methods for identifying influential training data points | |
| CN111069328A (zh) | 一种基于粒子群算法的等温挤压工艺参数优化方法 | |
| JP2013143031A (ja) | 予測方法、予測システムおよびプログラム | |
| Tang et al. | Gene selection for microarray data classification via subspace learning and manifold regularization | |
| CN113763031B (zh) | 一种商品推荐方法、装置、电子设备及存储介质 | |
| CN104077303B (zh) | 用于呈现数据的方法和装置 | |
| US12380256B2 (en) | Techniques for generating subjective style comparison metrics for B-reps of 3D CAD objects | |
| CN111368837B (zh) | 一种图像质量评价方法、装置、电子设备及存储介质 | |
| JP2011221642A (ja) | 品質予測装置、品質予測方法、コンピュータプログラム、およびコンピュータ読み取り可能な記録媒体 | |
| CN111482467A (zh) | 一种轧机参数管理方法 | |
| Hu et al. | An eigenvector based center selection for fast training scheme of RBFNN | |
| Zhang et al. | Application and research of improved probability matrix factorization techniques in collaborative filtering | |
| US20220374717A1 (en) | Method and apparatus for energy-aware deep neural network compression | |
| Kout et al. | Tool-adaptive offset paths on triangular mesh workpiece surfaces | |
| JP2011008562A (ja) | プラント制御情報生成装置及び方法、並びにそのためのコンピュータプログラム | |
| EP4198831A1 (en) | Automated feature engineering for predictive modeling using deep reinforcement learning | |
| Kruglov et al. | Quantile based decision making rule of the neural networks committee for ill-posed approximation problems | |
| US20220156416A1 (en) | Techniques for comparing geometric styles of 3d cad objects | |
| Tian et al. | High dimension feature extraction based visualized SOM fault diagnosis method and its application in p-xylene oxidation process | |
| CN118098431A (zh) | 基于混沌粒子群算法优化随机森林的热连轧跑偏预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240917 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241016 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7574145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |