JP7629285B2 - 機械学習方法、コンピュータプログラム、機械学習装置及び成形機 - Google Patents

Description

本発明は、機械学習方法、コンピュータプログラム、機械学習装置及び成形機に関する。

強化学習により、成形機の成形条件に係る変動パラメータ（成形条件）を適切に調整することができる射出成形機システムがある（例えば、特許文献１）。

特開２０１９－１６６７０２号公報

しかしながら、特許文献１に係る射出成形機システムにおいては、強化学習中、機械を専有する必要がある上に、樹脂材料は廃材となるので、学習工数の短縮が依然として望まれる。

本発明の目的は、成形機の成形条件を調整する学習モデルの機械学習において、学習用データを収集するための成形機を用いた実成形工数を削減することができる機械学習方法、コンピュータプログラム、機械学習装置及び成形機を提供することにある。

本態様に係る機械学習方法は、成形機を用いた実成形に係る物理量を観測して得られる観測データが入力された場合、実成形により得られる成形品の不良度を低減させる前記成形機の成形条件に係る変動パラメータを出力する学習モデルの機械学習方法であって、流体解析装置に変動パラメータ及び固定パラメータを設定して成形工程をシミュレートし、シミュレーションにより得られた成形品の不良度に関連する不良関連パラメータを取得し、取得した不良関連パラメータに基づいて、成形品の不良度を算出し、前記流体解析装置に設定した変動パラメータと、算出された不良度に応じた報酬とを用いて前記学習モデルを機械学習させる。

本態様に係るコンピュータプログラムは、成形機を用いた実成形に係る物理量を観測して得られる観測データが入力された場合、実成形により得られる成形品の不良度を低減させる前記成形機の成形条件に係る変動パラメータを出力する学習モデルを、コンピュータに機械学習させるためのコンピュータプログラムであって、流体解析装置に変動パラメータ及び固定パラメータを設定して成形工程をシミュレートし、シミュレーションにより得られた成形品の不良度に関連する不良関連パラメータを取得し、取得した不良関連パラメータに基づいて、成形品の不良度を算出し、前記流体解析装置に設定した変動パラメータと、算出された不良度に応じた報酬とを用いて前記学習モデルを機械学習させる処理をコンピュータに実行させる。

本態様に係る機械学習装置は、成形機を用いた実成形に係る物理量を観測して得られる観測データが入力された場合、実成形により得られる成形品の不良度を低減させる前記成形機の成形条件に係る変動パラメータを出力する学習モデルを機械学習させる機械学習装置であって、流体解析装置に変動パラメータ及び固定パラメータを設定して成形工程をシミュレートさせるシミュレーション処理部と、該流体解析装置によるシミュレーションにより得られた成形品の不良度に関連する不良関連パラメータを取得する取得部と、該取得部にて取得した不良関連パラメータに基づいて、成形品の不良度を算出する算出部と、前記流体解析装置に設定した変動パラメータと、算出された不良度とを用いて前記学習モデルを機械学習させる学習処理部とを備える。

本態様に係る成形機は、上記機械学習装置を備え、前記学習モデルから出力される変動パラメータを用いて実成形を行う。

本発明によれば、成形機の成形条件を調整する学習モデルの機械学習において、学習用データを収集するための成形機を用いた実成形工数を削減することができる。

本実施形態に係る成形機システムの構成例を説明する模式図である。 本実施形態に係る成形機システムの構成例を示すブロック図である。 本実施形態に係る成形機システムの機能ブロック図である。 成形品の一例を示す模式図である。 本実施形態に係る強化学習の概要を示す概念図である。 学習フェーズにおけるプロセッサの前段の処理手順を示すフローチャートである。 学習フェーズにおけるプロセッサの後段の処理手順を示すシーケンス図である。 運用フェーズにおけるプロセッサの処理手順を示すシーケンス図である。

本発明の実施形態に係る機械学習方法、コンピュータプログラム、機械学習装置及び成形機の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

以下、本発明をその実施形態を示す図面に基づいて具体的に説明する。
図１は本実施形態に係る成形機システムの構成例を説明する模式図、図２は本実施形態に係る成形機システムの構成例を示すブロック図、図３は本実施形態に係る成形機システムの機能ブロック図、図４は成形品６の一例を示す模式図である。本実施形態に係る成形機システムは、変動パラメータ調整装置１を有する成形機２と、測定部３と、流体解析装置４とを備える。

成形機２は、例えば射出成形機、中空成形機、フィルム成形機、押出機、二軸スクリュ押出機、紡糸押出機、造粒機、マグネシウム射出成形機等である。以下、本実施形態では成形機２が射出成形機であるものとして説明する。成形機２は、射出装置２１と、当該射出装置２１の前方に配置される型締装置２２と、成形機２の動作を制御する制御装置２３とを備える。

射出装置２１は、加熱シリンダと、当該加熱シリンダ内で回転方向と軸方向とに駆動可能に設けられているスクリュと、当該スクリュを回転方向に駆動する回転モータと、スクリュを軸方向に駆動するモータ等から構成されている。

型締装置２２は、金型を開閉させ、射出装置２１から射出された溶融樹脂が金型に充填される際、金型が開かないように金型を締め付けるトグル機構と、当該トグル機構を駆動するモータとを備える。

制御装置２３は、射出装置２１及び型締装置２２の動作を制御する。本実施形態に係る制御装置２３は、変動パラメータ調整装置１を備える。変動パラメータ調整装置１は、成形機２の成形条件に係る変動パラメータを調整する装置であり、特に本実施形態に係る変動パラメータ調整装置１は、成形品６の不良度が低減されるように変動パラメータを調整する機能を有する。

成形機２には、樹脂温度、金型温度、射出保圧時間、計量値、Ｖ／Ｐ切替位置、保圧圧力、射出速度等の成形条件を定めるパラメータが設定され、当該パラメータに従って動作する。最適なパラメータは成形機２の環境、成形品６によって異なる。
なお、Ｖ／Ｐ切替位置は、射出成形における射出速度制御と射出圧力制御との切替位置である。射出速度制御は、スクリュの速度を制御することによって樹脂材料の射出を制御する制御方式であり、射出圧力制御は、スクリュに加わる圧力を制御することによって樹脂材料の射出を制御する方式である。

これらのパラメータのうち、変動パラメータ調整装置１による調整対象のパラメータを変動パラメータ、調整対象ではないパラメータを固定パラメータと呼ぶ。樹脂温度、金型温度、射出保圧時間、計量値は固定パラメータである。計量値、Ｖ／Ｐ切替位置、保圧圧力、射出速度は変動パラメータである。なお、ここで説明した固定パラメータは、成形機２及び流体解析装置４の双方で用いられるパラメータであるが、実機である成形機２にはこれらの固定パラメータ以外にも、ノズル温度、シリンダ温度、ホッパ温度、型締力等、多数のパラメータが設定される。また、スクリュ径等、流体解析装置４にだけ設定される固定パラメータもある。以下、説明を簡単にするために、成形機２及び流体解析装置４の双方に設定される固定パラメータを考える。
固定パラメータのうち、学習用データを収集するために意図的に成形品６の不良を発生させるためのパラメータを不良生成パラメータと呼ぶ。不良生成パラメータは、例えば計量値である。不良生成パラメータの計量値を変動させることによって、成形品６のバリ、ショート等の不良を意図的に発生させることができる。

測定部３は、成形機２による成形が実行された際、実成形に係る物理量を測定する装置である。測定部３は、測定処理によって得られた物理量データを変動パラメータ調整装置１へ出力する。物理量には、温度、位置、速度、加速度、電流、電圧、圧力、時間、画像データ、トルク、力、歪、消費電力等がある。

測定部３によって測定される情報は、例えば成形機情報、成形品情報等を含む。
成形機情報は、温度計、圧力計、速度測定器、加速度測定器、位置センサ、タイマ、重量計等を用いて測定して得た、樹脂温度、金型温度、計量値、保圧圧力、射出速度等の情報を含む。
成形品情報は、例えば成形品６を撮像して得たカメラ画像、レーザ変位センサにて得た成形品６の変形量、光学的計測器にて得られた成形品６の色度、輝度等の光学的計測値、重量計にて計測された成形品６の重量、強度計測器にて測定された成形品６の強度等の情報を含む。成形品情報は、成形品６が正常であるか否か、不良タイプ、不良の程度を表現しており、報酬の計算にも利用される。本実施形態の成形品情報は、少なくとも成形品６のバリ及びショートを検出するための情報を含む。

流体解析装置４は、成形条件である固定パラメータ及び変動パラメータを３次元の流体解析モデルに設定し、有限要素法、境界要素法等の数値解析によって、樹脂成形加工における金型内の樹脂温度、樹脂圧力、金型に対する樹脂材料の体積充満率等をシミュレートする数値解析シミュレータである。数値解析の手法は特に限定されるものではない。
流体解析装置４は、変動パラメータ調整装置１との間でデータを受け渡しすることができる。具体的には、変動パラメータ調整装置１は、固定パラメータ及び変動パラメータを流体解析装置４に与えて流体解析の開始を指示する。固定パラメータは、例えば、スクリュ径、樹脂の種類、樹脂温度、金型温度、射出保圧時間、計量値を含む。変動パラメータは、樹脂材料の計量値、Ｖ／Ｐ切替位置、保圧圧力、射出速度を含む。
流体解析装置４は、与えられたパラメータ条件に従って、成形工程をシミュレートし、シミュレーション結果を変動パラメータ調整装置１へ出力する。シミュレーション結果は、成形品６の不良度に関連する不良関連パラメータを含む。
流体解析装置４は、成形工程における金型内の樹脂温度、樹脂圧力、体積充満率等をシミュレートすることができるが、バリ、ショート等の不良そのものは通常正確には再現できず、不良状態を直接的に示した情報を変動パラメータ調整装置１へ出力することができない。そこで、成形品６の不良状態を推定するための情報として不良関連パラメータを変動パラメータ調整装置１へ出力する。不良関連パラメータは、例えば成形品６の先端最大樹脂圧力、金型における樹脂材料の体積充満率、圧力、温度、Ｖ／Ｐ切替位置、Ｖ／Ｐ切替圧力、粘度、固相率、スキン層厚み、充填速度、充填加速度、せん断応力、応力、密度、せん断速度、せん断エネルギ、熱伝導率、比熱、又は樹脂と金型の界面温度を含む。先端最大樹脂圧力は、成形品６の先端部６ｂ（図４参照）における圧力であり、バリに関連する情報である。先端最大樹脂圧力が大きすぎると、バリが発生することになる。体積充満率は、ショートに関連する情報である。体積充満率が１００％又は所定の閾値に満たない場合、ショートが発生することになる。

変動パラメータ調整装置１は、コンピュータであり、図２に示すようにハードウェア構成としてプロセッサ１１（機械学習装置）、記憶部１２及び図示しない入出力インタフェース等を備える。プロセッサ１１は、ＣＰＵ（Central Processing Unit）、マルチコアＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＮＰＵ（Neural Processing Unit）等の演算回路、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の内部記憶装置、Ｉ／Ｏ端子等を有する。プロセッサ１１は、後述の記憶部１２が記憶するコンピュータプログラム１２ａを実行することにより、物理量取得部１３、制御部１４、学習器１５として機能する。なお、変動パラメータ調整装置１の各機能部は、ソフトウェア的に実現しても良いし、一部又は全部をハードウェア的に実現しても良い。

記憶部１２は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の不揮発性メモリである。記憶部１２は、成形機２を用いた実成形に係る物理量を観測して得られる観測データが入力された場合、実成形により得られる成形品６の不良度を低減させる変動パラメータを出力する学習モデルの機械学習処理、学習モデルを用いた変動パラメータの調整処理をコンピュータに実行させるためのコンピュータプログラム１２ａを記憶している。本実施形態では、プロセッサ１１ないし学習器１５は、モデルベース型の強化学習を行い、後述の状態表現マップ１２ｂを生成する。記憶部１２は、学習器１５によって生成される状態表現マップ１２ｂを記憶する。なお、本実施形態に係る上記学習モデルは、状態表現マップ１２ｂ、状態表現部１５ａ及び変動パラメータ出力部１５ｃ等で構成される。

本実施形態に係るコンピュータプログラム１２ａは、記録媒体５にコンピュータ読み取り可能に記録されている態様でも良い。記憶部１２は、図示しない読出装置によって記録媒体５から読み出されたコンピュータプログラム１２ａを記憶する。記録媒体５はフラッシュメモリ等の半導体メモリである。また、記録媒体５はＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＢＤ（Blu-ray(登録商標)Disc）等の光ディスクでも良い。更に、記録媒体５は、フレキシブルディスク、ハードディスク等の磁気ディスク、磁気光ディスク等であっても良い。更にまた、図示しない通信網に接続されている図示しない外部サーバから本実施形態に係るコンピュータプログラム１２ａをダウンロードし、記憶部１２に記憶させても良い。

物理量取得部１３は、成形機２による成形が実行されたときに測定部３にて測定され、出力された物理量データを取得する。物理量取得部１３は、取得した物理量データを制御部１４へ出力する。

制御部１４は、図３に示すように、観測部１４ａ、報酬算出部１４ｂ、修正部１４ｃ及び不良度変換部１４ｄを有する。観測部１４ａ及び修正部１４ｃには、測定部３から出力された物理量データが入力される。不良度変換部１４ｄには、流体解析装置４から出力された不良関連パラメータが入力される。

観測部１４ａは、物理量データを分析することによって成形機２及び成形品６の状態を観測し、観測して得た観測データを学習器１５の状態表現部１５ａへ出力する。物理量データは情報量が大きいため、観測部１４ａは、物理量データの情報を圧縮した観測データを生成すると良い。観測データは、成形機２の状態、成形品６の状態等を示す情報である。
例えば、観測部１４ａは、カメラ画像及びレーザ変位センサの計測値に基づいて、成形品６の外観的特徴を示す特徴量、成形品６の寸法、面積、体積、光学部品（成形品６）の光軸ずれ量等を示す観測データを算出する。また、観測部１４ａは、射出速度、射出圧力、保圧等の時系列波形データに対して前処理を実行し、当該時系列波形データの特徴量を観測データとして抽出すると良い。なお、時系列波形の時系列データ、時系列波形を表した画像データを観測データとしても良い。
また、観測部１４ａは、物理量データを分析することによって成形品６の不良度を算出し、算出して得た不良度を報酬算出部１４ｂへ出力する。不良度は、例えば、バリ面積、及びショート面積である。

不良度変換部１４ｄは、流体解析装置４から出力された不良関連パラメータを、不良度に変換する関数（関連付け情報）を備える。不良度変換部１４ｄは、不良関連パラメータを当該関数に入力することによって、不良度を算出し、算出して得た不良度を報酬算出部１４ｂへ出力する。当該関数の作成方法は後述する。
なお、関数は一例であり、不良関連パラメータと、不良度とを関連付けることができれば、その関連付け方法は特に限定されるものではない。例えば、関数に代えて、不良関連パラメータと、不良度とを対応付けたテーブルを用いてもよい。

報酬算出部１４ｂは、観測部１４ａ及び不良度変換部１４ｄから出力された不良度に基づいて変動パラメータの良し悪しの基準になる報酬データを算出し、算出して得た報酬データを学習器１５の状態表現部１５ａへ出力する。

修正部１４ｃは、学習器１５から出力された変動パラメータを必要に応じて修正し、修正後の変動パラメータを成形機２及び流体解析装置４へ出力する。例えば、変動パラメータに上限値、下限値等が設けられている場合、成形条件に係る値が当該上限値又は下限値を超えないように変動パラメータを修正するとよい。修正部１４ｃは、修正を要しない場合、学習器１５から出力された変動パラメータをそのまま成形機２及び流体解析装置４へ出力する。

学習器１５は、成形機２の状態を表現した状態表現マップ１２ｂ（環境モデル）を学習し、当該状態表現マップ１２ｂを用いて変動パラメータを決定するモデルベース型の強化学習を行う。学習器１５は、図３に示すように、状態表現部１５ａ、状態表現学習部１５ｂ及び変動パラメータ出力部１５ｃを有する。

本実施形態に係る成形装置システムは、状態表現マップ１２ｂの学習を行う学習フェーズと、状態表現マップ１２ｂを用いて変動パラメータを最適化し成形を行う運用フェーズとを有する。成形装置システムは、図示しない操作パネルにて、学習フェーズと、運用フェーズとの切り替えを受け付けると良い。

実機である成形機２を用いた実成形による学習用データの収集及び学習方法を説明する。状態表現マップ１２ｂの学習を行う学習フェーズにある場合、状態表現部１５ａには、観測部１４ａから出力される観測データと、報酬算出部１４ｂから出力される報酬データと、変動パラメータ出力部１５ｃから出力される変動パラメータとが入力される。状態表現部１５ａは状態表現学習部１５ｂを備え、当該状態表現学習部１５ｂは、入力された観測データ、変動パラメータ及び報酬データに基づいて、状態表現マップ１２ｂを学習する。

状態表現マップ１２ｂは、例えば、観測データ（状態ｓ）と、変動パラメータ（行動ａ）とが入力された場合、当該状態ｓで変動パラメータ（行動ａ）を設定することに対する報酬ｇと、次状態ｓ´への状態遷移確率（確信度）Ｐｔとを出力するモデルである。報酬ｇは、状態ｓにおいて、ある変動パラメータ（行動ａ）を設定したときに得られる成形品６が正常である否かを示す情報といえる。

状態表現学習部１５ｂは、学習用データである経験データ（状態ｓ、行動ａ，次状態ｓ´、報酬ｇ）又は履歴データに基づいて、状態表現マップ１２ｂを作成ないし更新する。例えば、状態表現学習部１５ｂは、（状態ｓ、行動ａ，次状態ｓ´）への訪問回数ｎを、（状態ｓ，行動ａ，任意の次状態ｓ´∈Ｓ）への訪問回数Σｎで除した値に相当する状態遷移確率Ｐｔを、最尤推定法、ベイズ推定等を用いて算出すると良い。また、状態表現部１５ａは、（状態ｓ，行動ａ）における報酬和Ｇを、（状態ｓ，行動ａ，任意の次状態ｓ´）への訪問回数Σｎで除した値に相当する報酬ｇ（成形品６の良否を示す情報）を、最尤推定法、ベイズ推定等を用いて算出すると良い。
また、状態表現マップ１２ｂは、ニューラルネットワークを用いた学習済モデルを用いて構成しても良い。ニューラルネットワークは、入力層、一又は複数の隠れ層及び出力層を有する公知の構成である。状態表現学習部１５ｂは、ニューラルネットワークに学習用データの（状態ｓ，行動ａ）が入力された場合、当該ニューラルネットワークから（次状態ｓ´，報酬ｇ）が出力されるように、当該ニューラルネットワークを学習させると良い。

作成された状態表現マップ１２ｂを用いて成形機２を動作させる運用フェーズにある場合、状態表現部１５ａには、観測データと、変動パラメータ出力部１５ｃから出力される変動パラメータとが入力される。状態表現部１５ａは、現在の状態を示す観測データ及び変動パラメータを状態表現マップ１２ｂに入力し、現在の状態を起点とした次状態ｓ´への状態遷移確率Ｐｔ及び報酬ｇを示す状態表現データを求め、当該状態表現データを変動パラメータ出力部１５ｃへ出力する。

変動パラメータ出力部１５ｃは、状態表現部１５ａから出力された状態表現データに基づいて、所定の目的関数が最大となる変動パラメータを決定し、決定された変動パラメータを修正部１４ｃ及び状態表現部１５ａへ出力する。例えば、変動パラメータ出力部１５ｃは、価値反復法等の動的計画法、線形計画法等の公知の手法を用いて変動パラメータを決定する。

変動パラメータ出力部１５ｃは、図示しない切替部、第１評価部、第２評価部及び変動パラメータ決定部を備える。

切替部は、運用フェーズにある場合、状態表現データを第１評価部へ出力し、学習フェーズにある場合、状態表現データを第２評価部へ出力する。

第１評価部は、正常な成形品６が得られる状態になるように変動パラメータを調整するための第１目的関数を有する。第１評価部は、第１目的関数に状態表現データ及び変動パラメータを入力することによって期待リターン（割引累積報酬）である評価値を算出する。期待リターンは、将来得られるであろう報酬和の期待値である。

第２評価部は、状態表現マップ１２ｂを探索すべく、成形品６の状態が変化するように変動パラメータを調整するための第２目的関数を有する。第２評価部は、第２目的関数に状態表現データ及び変動パラメータを入力することによって、例えば成形機２の状態及び変動パラメータに対する成形結果が未知である程、即ち試行回数が少ない程、値が大きくなる評価値を算出する。なお、第２評価部は、いわゆるε-greedy法、ＵＣＢ１等の探索手法を用いて評価値を算出しても良い。

変動パラメータ決定部は、運用フェーズにある場合、第１評価部にて算出される評価値が最大になる変動パラメータを決定し、学習フェーズにある場合、第２評価部にて算出される評価値が最大になる変動パラメータを決定する。変動パラメータ出力部１５ｃは、変動パラメータ決定部にて決定された変動パラメータを状態表現部１５ａ及び修正部１４ｃへ出力する。
なお、変動パラメータ決定部は、学習フェーズにおける１ステップ当たりの変動パラメータの変更量が、運用フェーズにおける１ステップ当たりの変動パラメータの変更量よりも大きくなるように、変動パラメータを決定すると良い。また、変動パラメータ調整装置１は、１ステップ当たりの変動パラメータの変更量の設定を、図示しない操作パネルにてオペレーターから受け付けるように構成しても良い。変動パラメータ決定部は、状態表現マップ１２ｂの更新を行う場合、受け付けた変更量で変動パラメータを変更し、状態表現マップ１２ｂを探索し、更新する。金型、成形機２、周辺機器の機種、樹脂の物性が大きく変化した場合、学習フェーズにおける変動パラメータの変更量を大きく設定すると良い。

図５は本実施形態に係る強化学習の概要を示す概念図である。本実施形態に係る強化学習は、実機である成形機２を用いた成形結果と、流体解析装置４を用いたシミュレーション結果とを併用して強化学習を行う。

まず成形機２に固定パラメータ及び変動パラメータを設定して実成形を行う。そして実成形により得られる成形品６の不良度に応じた報酬データと、実成形に係る物理量を観測して得られる観測データとを学習器１５に入力し、学習器１５は機械学習を行う。学習器１５は、現在の観測データに基づく最適な変動パラメータを成形機２及び流体解析装置４へ出力する。つまり、成形品６に不良が生じている場合、学習器１５は成形品６の不良度を低減させる変動パラメータを出力する。なお、強化学習により状態表現マップ１２ｂを作成する際、不良生成パラメータを変動させることによって、意図的に成形品６の不良が生ずる事象を作りだし、不良が発生した際の最適な変動パラメータを学習させる。実成形を繰り返し実行し、状態表現マップ１２ｂを生成することもできるが、強化学習中の樹脂材料は廃材となってしまう。
そこで、流体解析装置４を利用して強化学習を行う。具体的には、学習器１５から出力された変動パラメータを流体解析装置４に設定して成形工程をシミュレートする。シミュレーションにより得られた成形品６の不良度に関連する不良関連パラメータは、成形品６の不良度に変換され、不良度に応じた報酬データが算出される。報酬データと、観測データとを学習器１５に入力し、学習器１５は機械学習を行う。なお、観測データのうち、成形機２の状態を示すデータについては、実成形に係る物理量を測定して得られた観測値を固定値として利用する。以下、流体解析装置４によるシミュレートと、機械学習を繰り返し実行することによって、状態表現マップ１２ｂを学習させることができる。

以下、本実施形態に係る機械学習方法の詳細を説明する。
［成形機２と流体解析装置４の合わせ込み］
図６は、学習フェーズにおけるプロセッサ１１の前段の処理手順を示すフローチャートである。以下の処理は、作業者が行ってもよいし、一部又は全部の処理をプロセッサ１１が自動で行ってもよい。まず、固定パラメータと、変動パラメータとを成形機２に設定し、成形機２を用いた実成形を行う（ステップＳ１１）。ここでは、不良生成パラメータと、変動パラメータとを適当に振って実成形を複数回行う。

次いで、ステップＳ１１の実成形の結果に基づいて、不良生成パラメータ及び変動パラメータの上下限値を決定する（ステップＳ１２）。

次いで、ステップＳ１２で決定した上下限値の範囲内で変動パラメータ及び不良生成パラメータを振り、成形機２を用いた実成形を行い（ステップＳ１３）、実成形に用いた変動パラメータと、実成形により得られた成形品６の不良度とを収集する（ステップＳ１４）。

次いで、ある一の固定パラメータ（以下、所定パラメータと呼ぶ）以外の成形条件をステップＳ１３と同条件とし、成形機２に設定する実機用の所定パラメータの値に変更を加えて得られる複数のシミュレーション用の所定パラメータを流体解析装置４に設定して成形工程をシミュレートする（ステップＳ１５）。つまり、複数のシミュレーション用の所定パラメータは、実機用の所定パラメータと異なる値であり、実機用と異なる値のシミュレーション用の所定パラメータを流体解析装置４に設定して成形工程をシミュレートする。そして、成形機２を用いた実成形の結果と、流体解析装置４を用いたシミュレーション結果とが整合するようにシミュレーション用の所定固定パラメータを特定する（ステップＳ１６）。
同じ固定パラメータ及び変動パラメータを成形機２及び流体解析装置４に設定しても、成形結果、つまり成形品６の状態は異なる。このため、実成形の結果と、シミュレーション結果とを合わせ込む必要がある。当該合わせ込みは、流体解析装置４に設定する所定固定パラメータを調整することにより行う。
例えば、当該合わせ込みは、流体解析装置４に設定する樹脂温度を調整することにより行うとよい。成形機２に設定される樹脂温度は、金型では無く、射出装置２１の所定部位の温度である。一方、流体解析装置４に設定される樹脂温度は、金型へ樹脂が注入される注入部位６ａ（図４参照）の温度である。一般的に、注入部位６ａの樹脂温度は、射出装置２１の所定部位の樹脂温度に比べて低いと予想される。このため、流体解析装置４に設定する樹脂温度を、実機の成形機２に設定する樹脂温度に比べて低い樹脂温度に設定する。

次いで、樹脂温度以外の成形条件をステップＳ１３と同条件とし、ステップＳ１６で特定した樹脂温度を流体解析装置４に設定して成形工程をシミュレートする（ステップＳ１７）。

そして、成形機２に変動パラメータを設定して行った実成形により得られる成形品６の不良度と、成形機２に設定した変動パラメータと同じ変動パラメータを用いたシミュレーションにより得られる不良関連パラメータとを関連付ける関数を特定する（ステップＳ１８）。不良関連パラメータと、不良度との関連付けを行う際、必要に応じて解析モデルや解析手法の修正を行い、ヒューリスティックに、不良関連パラメータと不良度との関数近似の性能を高めるとよい。
なお、上記の通り、関数は一例であり、不良関連パラメータと、不良度とを関連付けることができれば、その関連付け方法は特に限定されるものではなく、例えば関数に代えて、不良関連パラメータと、不良度とを対応付けたテーブルを特定してもよい。

図７は、学習フェーズにおけるプロセッサ１１の後段の処理手順を示すシーケンス図である。図７に示すステップＳ３１～ステップＳ３７は実機である成形機２を用いた実成形により学習用のデータを収集する処理であり、ステップＳ３８～ステップＳ４４の処理では、流体解析装置４を用いた成形工程のシミュレーションにより学習用のデータを収集する処理である。データ収集は複数回行われる。少なくとも初回は、実機である成形機２を用いて学習用データの収集が行われる。２回目以降は実成形又はシミュレーションにより学習用データの収集が行われる。２回目以降、全ての学習用データをシミュレーションで収集してもよいし、一部をシミュレーションで収集するようにしてもよい。具体的なデータ収集処理手順は以下の通りである。

［実成形による学習用データ収集］
まず測定部３は、成形機２が成形を実行したときに、当該成形機２及び成形品６に係る物理量を測定し、測定して得た物理量データを制御部１４へ出力する（ステップＳ３１）。

制御部１４は、測定部３から出力された物理量データを取得し、取得した物理量データに基づく観測データを生成し、生成した観測データを学習器１５へ出力する（ステップＳ３２）。

学習器１５の状態表現部１５ａは、観測部１４ａから出力された観測データを取得し、観測データを状態表現マップ１２ｂに適用することによって、状態表現データを作成し、作成した状態表現データを変動パラメータ出力部１５ｃへ出力する（ステップＳ３３）。変動パラメータ出力部１５ｃは、状態表現部１５ａから出力された状態表現データに基づいて、成形機２の変動パラメータを決定し、決定した変動パラメータを状態表現部１５ａ及び制御部１４へ出力する（ステップＳ３４）。例えば、変動パラメータ出力部１５ｃは、上述したように第２目的関数から得られる評価値が最大となる変動パラメータを決定する。

制御部１４の修正部１４ｃは、必要に応じて変動パラメータを修正し、修正された変動パラメータを成形機２へ出力する（ステップＳ３５）。成形機２は、変動パラメータを設定し、当該変動パラメータに従って成形処理を行う。成形機２の動作及び成形品６に係る物理量は測定部３に入力される。成形処理は複数回、繰り返し行われても良い。測定部３は、成形機２が成形を実行したときに、当該成形機２及び成形品６に係る物理量を測定し、測定して得た物理量データを制御部１４の観測部１４ａへ出力する（ステップＳ３６）。

観測部１４ａは、測定部３から出力された物理量データを取得し、取得した物理量データに基づく観測データを生成し、生成した観測データを学習器１５へ出力する（ステップＳ３７）。また、報酬算出部１４ｂは、測定部３にて測定された物理量データに基づいて、成形品６の不良度に応じて定まる報酬データを算出し、算出した報酬データを学習器１５へ出力する（ステップＳ３７）。

［シミュレーションによる学習用データ収集］
一方で、学習器１５の状態表現部１５ａは、観測部１４ａから出力された観測データを取得し、観測データ等を状態表現マップ１２ｂに適用することによって、状態表現データを作成し、作成した状態表現データを変動パラメータ出力部１５ｃへ出力する（ステップＳ３８）。変動パラメータ出力部１５ｃは、状態表現部１５ａから出力された状態表現データに基づいて、成形機２の変動パラメータを決定し、決定した変動パラメータを状態表現部１５ａ及び制御部１４へ出力する（ステップＳ３９）。

制御部１４の修正部１４ｃは、必要に応じて変動パラメータを修正し、修正された変動パラメータを流体解析装置４へ出力する（ステップＳ４０）。流体解析装置４は、固定パラメータ及び変動パラメータを設定し、当該変動パラメータに従って成形処理を行う（ステップＳ４１）。流体解析装置４は、成形工程のシミュレーションにより得られた不良関連パラメータを制御部１４へ出力する（ステップＳ４２）。

制御部１４の不良度変換部１４ｄは、流体解析装置４から出力された不良関連パラメータを、ステップＳ１８で特定した関数に入力することによって、当該不良関連パラメータを成形品６の不良度に変換し、変換した不良度を報酬算出部１４ｂへ出力する（ステップＳ４３）。

報酬算出部１４ｂは、不良度に応じて定まる報酬データを算出し、算出した報酬データを学習器１５へ出力する（ステップＳ４４）。
制御部１４は上記ステップＳ３１～ステップＳ４４の処理によって学習用データを収集することができる。

そして、学習器１５の状態表現学習部１５ｂは、観測部１４ａから出力された観測データと、報酬算出部１４ｂから出力された報酬データと、変動パラメータ出力部１５ｃから出力された変動パラメータとに基づいて、状態表現のモデルを更新する（ステップＳ４５）。状態表現学習部１５ｂは、例えば最尤推定法、ベイズ推定等を用いて、状態表現のモデルを更新すれば良い。

なお、状態表現マップ１２ｂの機械学習を行う際、不良生成パラメータを変動させることによって、意図的に成形品６の不良度を発生させたり、変動パラメータを大きく変動させたりするが、観測データを固定することを踏まえて、実成形によるランダム探索の際に、観測データを振り過ぎない等の考慮をするとよい。

図８は、運用フェーズにおけるプロセッサの処理手順を示すシーケンス図である。測定部３は、成形機２が成形を実行したときに、当該成形機２及び成形品６に係る物理量を測定し、測定して得た物理量データを制御部１４へ出力する（ステップＳ５１）。

制御部１４は、測定部３から出力された物理量データを取得し、取得した物理量データに基づく観測データを生成し、生成した観測データを学習器１５へ出力する（ステップＳ５２）。

学習器１５の状態表現部１５ａは、観測部１４ａから出力された観測データを取得し、観測データを状態表現マップ１２ｂに適用することによって、状態表現データを作成し、作成した状態表現データを変動パラメータ出力部１５ｃへ出力する（ステップＳ５３）。変動パラメータ出力部１５ｃは、状態表現部１５ａから出力された状態表現データに基づいて、成形機２の変動パラメータを決定し、決定した変動パラメータを状態表現部１５ａ及び制御部１４へ出力する（ステップＳ５４）。例えば、変動パラメータ出力部１５ｃは、上述したように第１目的関数から得られる評価値が最大となる変動パラメータを決定する。

制御部１４の修正部１４ｃは、必要に応じて変動パラメータを修正し、修正された変動パラメータを流体解析装置４へ出力する（ステップＳ５５）。流体解析装置４は、固定パラメータ及び変動パラメータを設定し、当該変動パラメータに従って成形処理を行う（ステップＳ５６）。流体解析装置４は、成形工程のシミュレーションにより得られた不良関連パラメータを制御部１４へ出力する（ステップＳ５７）。

制御部１４の不良度変換部１４ｄは、流体解析装置４から出力された不良関連パラメータを、ステップＳ１８で特定した関数に入力することによって、当該不良関連パラメータを成形品６の不良度に変換し、変換した不良度を報酬算出部１４ｂへ出力する（ステップＳ５８）。
成形品６の不良が解消されていない場合、ステップＳ５３～ステップＳ５８の処理を繰り返し実行することによって、変動パラメータを調整するとよい。

報酬算出部１４ｂは、不良度に応じて定まる報酬データを算出し、算出した報酬データを学習器１５へ出力する（ステップＳ５９）。

ステップＳ５９以下の処理を説明する。
学習器１５の状態表現部１５ａは、観測部１４ａから出力された観測データを取得し、観測データを状態表現マップ１２ｂに適用することによって、状態表現データを作成し、作成した状態表現データを変動パラメータ出力部１５ｃへ出力する（ステップＳ５９）。変動パラメータ出力部１５ｃは、状態表現部１５ａから出力された状態表現データに基づいて、成形機２の変動パラメータを決定し、決定した変動パラメータを状態表現部１５ａ及び制御部１４へ出力する（ステップＳ６０）。

制御部１４の修正部１４ｃは、必要に応じて変動パラメータを修正し、修正された変動パラメータを成形機２へ出力する（ステップＳ６１）。測定部３は、成形機２が成形を実行したときに、当該成形機２及び成形品６に係る物理量を測定し、測定して得た物理量データを制御部１４の観測部１４ａへ出力する（ステップＳ６２）。以下、上記ステップＳ５１～ステップＳ６２の処理を繰り返し実行することにより、成形品６に不良が発生しないよう、成形機２に設定する変動パラメータを自動的に調整することができる。

このように構成された本実施形態に係る機械学習方法、コンピュータプログラム１２ａ、機械学習装置及び成形機２によれば、実成形に加えてシミュレーション結果を利用することによって、学習用データを収集するための成形機２を用いた実成形工数を削減することができ、学習器１５をより効率的に学習させることができる。

また、流体解析装置４に設定する樹脂温度を、実機である成形機２に設定する樹脂温度より低い樹脂温度に設定することによって、シミュレーション結果と、実成形の結果とを簡易に合わせ込むことができる。

更に、シミュレーションにより得られる不良関連パラメータを成形品６の不良度に変換することによって、流体解析装置４と、学習器１５とを連結されることができ、シミュレーション結果を用いた強化学習が可能になる。
具体的には、先端最大樹脂圧力、体積充満率を成形品６の不良度に変換することによって、流体解析装置４と、学習器１５とを連結されることができ、シミュレーション結果を用いた強化学習が可能になる。

更にまた、状態表現マップ１２ｂの作成を強化学習させる際に必要な観測データとして、実成形により得られた観測データを用いることによって、学習器１５を強化学習させることができる。

更にまた、変動パラメータである樹脂材料の計量値、Ｖ／Ｐ切替位置、保圧圧力、射出速度を調整することによって、成形品６の不良を低減することができる。

なお、本実施形態では、変動パラメータ調整装置１及び機械学習装置を成形機２に備える例を説明したが、変動パラメータ調整装置１及び機械学習装置の一方又は双方を成形機２と別体で構成してもよい。また、変動パラメータ調整処理又は機械学習処理をクラウドで実行するように構成してもよい。

また、本実施形態では主にモデルベースの強化学習を説明したがモデルフリーベースの強化学習に本発明を適用してもよい。

更に、本実施形態では主に射出成形機である成形機２の変動パラメータを調整する例を説明したが、押出機等の他の成形機２に本発明を適用してもよい。

１ 変動パラメータ調整装置
２ 成形機
３ 測定部
４ 流体解析装置
５ 記録媒体
６ 成形品
１１ プロセッサ
１２ 記憶部
１２ａ コンピュータプログラム
１２ｂ 状態表現マップ
１３ 物理量取得部
１４ 制御部
１４ａ 観測部
１４ｂ 報酬算出部
１４ｃ 修正部
１４ｄ 不良度変換部
１５ 学習器
１５ａ 状態表現部
１５ｂ 状態表現学習部
１５ｃ 変動パラメータ出力部
２１ 射出装置
２２ 型締装置
２３ 制御装置

Claims (13)

1. 成形機を用いた実成形に係る物理量を観測して得られる観測データが入力された場合、実成形により得られる成形品の不良度を低減させる前記成形機の成形条件に係る変動パラメータを出力する学習モデルの機械学習方法であって、
   前記成形機に設定する樹脂温度よりも低い樹脂温度を流体解析装置に設定して成形工程をシミュレートし、
   前記成形機を用いた実成形の結果と、前記流体解析装置を用いたシミュレーション結果とが整合するようにシミュレーション用の樹脂温度を決定し、
   前記流体解析装置に変動パラメータと、決定したシミュレーション用の前記樹脂温度を含む固定パラメータとを設定して成形工程をシミュレートし、
   シミュレーションにより得られた成形品の不良度に関連する不良関連パラメータを取得し、
   取得した不良関連パラメータに基づいて、成形品の不良度を算出し、
   前記流体解析装置に設定した変動パラメータと、算出された不良度に応じた報酬とを用いて前記学習モデルを機械学習させる
   機械学習方法。
2. 成形機を用いた実成形に係る物理量を観測して得られる観測データが入力された場合、実成形により得られる成形品の不良度を低減させる前記成形機の成形条件に係る変動パラメータを出力する学習モデルの機械学習方法であって、
   流体解析装置に変動パラメータ及び固定パラメータを設定して成形工程をシミュレートし、
   シミュレーションにより得られた成形品の不良度に関連するパラメータであって、少なくとも金型温度、先端最大樹脂圧力又は充填速度を含む不良関連パラメータを取得し、
   取得した不良関連パラメータに基づいて、成形品の不良度を算出し、
   前記流体解析装置に設定した変動パラメータと、算出された不良度に応じた報酬とを用いて前記学習モデルを機械学習させる
   機械学習方法。
3. 前記成形機に設定する実機用の固定パラメータを変動させた値を、シミュレーション用の固定パラメータとして前記流体解析装置に設定して成形工程をシミュレートし、
   前記成形機を用いた実成形の結果と、前記流体解析装置を用いたシミュレーション結果とが整合するようにシミュレーション用の固定パラメータを決定する
   請求項１又は請求項２に記載の機械学習方法。
4. 成形機に変動パラメータ及び固定パラメータを設定して行った実成形により得られる成形品の不良度と、成形機に設定した変動パラメータ及び固定パラメータと同じ変動パラメータ及び固定パラメータを用いたシミュレーションにより得られる不良関連パラメータとを関連付ける関連付け情報を特定し、
   特定された前記関連付け情報を用いて、不良関連パラメータから成形品の不良度を算出する
   請求項１から請求項３のいずれか１項に記載の機械学習方法。
5. 固定値である観測データと、前記流体解析装置に設定した変動パラメータと、シミュレーションにより得られる不良関連パラメータに係る不良度に応じた報酬とに基づいて、前記学習モデルを強化学習させる
   請求項１から請求項４のいずれか１項に記載の機械学習方法。
6. 前記成形機に変動パラメータ及び固定パラメータを設定して行った実成形に係る物理量を観測して得られる観測データと、前記成形機に設定した変動パラメータと、実成形により得られる不良度に応じた報酬とに基づいて、前記学習モデルを強化学習させると共に、固定値である観測データと、前記流体解析装置に設定した変動パラメータと、シミュレーションにより得られる不良関連パラメータに係る不良度に応じた報酬とに基づいて、前記学習モデルを強化学習させる
   請求項１から請求項５のいずれか１項に記載の機械学習方法。
7. 前記固定値である観測データは、
   前記成形機に変動パラメータを設定して行った実成形に係る物理量を観測して得られる一の観測データである
   請求項５又は請求項６に記載の機械学習方法。
8. 変動パラメータは、
   射出成形における射出速度制御と射出圧力制御との切替位置、射出速度、又は保圧圧力を含む
   請求項１から請求項７のいずれか１項に記載の機械学習方法。
9. 成形機を用いた実成形に係る物理量を観測して得られる観測データが入力された場合、実成形により得られる成形品の不良度を低減させる前記成形機の成形条件に係る変動パラメータを出力する学習モデルを、コンピュータに機械学習させるためのコンピュータプログラムであって、
   前記成形機に設定する樹脂温度よりも低い樹脂温度を流体解析装置に設定して成形工程をシミュレートし、
   前記成形機を用いた実成形の結果と、前記流体解析装置を用いたシミュレーション結果とが整合するようにシミュレーション用の樹脂温度を決定し、
   前記流体解析装置に変動パラメータと、決定したシミュレーション用の前記樹脂温度を含む固定パラメータとを設定して成形工程をシミュレートし、
   シミュレーションにより得られた成形品の不良度に関連する不良関連パラメータを取得し、
   取得した不良関連パラメータに基づいて、成形品の不良度を算出し、
   前記流体解析装置に設定した変動パラメータと、算出された不良度に応じた報酬とを用いて前記学習モデルを機械学習させる
   処理を前記コンピュータに実行させるコンピュータプログラム。
10. 成形機を用いた実成形に係る物理量を観測して得られる観測データが入力された場合、実成形により得られる成形品の不良度を低減させる前記成形機の成形条件に係る変動パラメータを出力する学習モデルを、コンピュータに機械学習させるためのコンピュータプログラムであって、
    流体解析装置に変動パラメータ及び固定パラメータを設定して成形工程をシミュレートし、
    シミュレーションにより得られた成形品の不良度に関連するパラメータであって、少なくとも金型温度、先端最大樹脂圧力又は充填速度を含む不良関連パラメータを取得し、
    取得した不良関連パラメータに基づいて、成形品の不良度を算出し、
    前記流体解析装置に設定した変動パラメータと、算出された不良度に応じた報酬とを用いて前記学習モデルを機械学習させる
    処理を前記コンピュータに実行させるコンピュータプログラム。
11. 成形機を用いた実成形に係る物理量を観測して得られる観測データが入力された場合、実成形により得られる成形品の不良度を低減させる前記成形機の成形条件に係る変動パラメータを出力する学習モデルを機械学習させる機械学習装置であって、
    流体解析装置に変動パラメータ及び固定パラメータを設定して成形工程をシミュレートさせるシミュレーション処理部と、
    該流体解析装置によるシミュレーションにより得られた成形品の不良度に関連する不良関連パラメータを取得する取得部と、
    該取得部にて取得した不良関連パラメータに基づいて、成形品の不良度を算出する算出部と、
    前記流体解析装置に設定した変動パラメータと、算出された不良度とを用いて前記学習モデルを機械学習させる学習処理部と
    を備え、
    前記固定パラメータは樹脂温度を含み、
    前記シミュレーション処理部は、
    前記成形機に設定する樹脂温度よりも低い樹脂温度を前記流体解析装置に設定して成形工程をシミュレートし、
    前記成形機を用いた実成形の結果と、前記流体解析装置を用いたシミュレーション結果とが整合するようにシミュレーション用の樹脂温度を決定する
    機械学習装置。
12. 成形機を用いた実成形に係る物理量を観測して得られる観測データが入力された場合、実成形により得られる成形品の不良度を低減させる前記成形機の成形条件に係る変動パラメータを出力する学習モデルを機械学習させる機械学習装置であって、
    流体解析装置に変動パラメータ及び固定パラメータを設定して成形工程をシミュレートさせるシミュレーション処理部と、
    該流体解析装置によるシミュレーションにより得られた成形品の不良度に関連するパラメータであって、少なくとも金型温度、先端最大樹脂圧力又は充填速度を含む不良関連パラメータを取得する取得部と、
    該取得部にて取得した不良関連パラメータに基づいて、成形品の不良度を算出する算出部と、
    前記流体解析装置に設定した変動パラメータと、算出された不良度とを用いて前記学習モデルを機械学習させる学習処理部と
    を備える機械学習装置。
13. 請求項１１又は請求項１２に記載の機械学習装置を備え、
    前記学習モデルから出力される変動パラメータを用いて実成形を行う成形機。

Images