JP7570004B2

JP7570004B2 - 研磨加工システム、学習装置、学習装置の学習方法

Info

Publication number: JP7570004B2
Application number: JP2019027271A
Authority: JP
Inventors: 慶太郎藤井; 正行高橋
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2019-02-19
Filing date: 2019-02-19
Publication date: 2024-10-21
Anticipated expiration: 2039-02-19
Also published as: JP2020131353A; CN111571424A; CN111571424B; US11833635B2; US20200262023A1

Description

本発明は、研磨加工システム、学習装置、学習方法に関する。

従来、研磨加工、中でもポリシングの一種であるＣＭＰ（ＣｈｅｍｉｃａｌＭｅｃｈａｎｉｃａｌＰｏｌｉｓｈｉｎｇ）は、一般的に定盤の上に貼り付けられた研磨パッドに対して、ワークを研磨ヘッドにより押し付けながら回転させつつ、研磨パッド上にスラリーを供給して、ワークと研磨パッド間にスラリーを介在させることでワークの研磨加工を行う機械研磨技術が知られており、主に半導体の基板部品の研磨加工工程に利用されている。

この研磨加工工程は、スラリーの化学的な作用によりワークを易加工化し、砥粒の作用によりワークの研磨を行う工程であり、現在でも一般的にはプレストンの法則（または、プレストンの式）といった経験則による研磨レートの概算に基づきワークの研磨を行う不安定なプロセスである。

また研磨加工工程は、ワークは常に研磨パッドと研磨ヘッドに挟まれている状態であるため、研磨中のプロセスの状態を測定することが難しいことから研磨中のフィードバック調整が困難であるとともに、研磨パッドの表面の状態変化により研磨中のプロセスの状態も変化するため、制御が難しい。

例えば、特許文献１には、ニュートラルネットワークに研磨パッドのドレッシング条件、研磨パッドの表面性状の計測データ、研磨結果データを入力し、所定のプログラムに従って各データの相関関係を演算して学習しておく技術が開示されている。この技術によれば研磨パッドの表面をドレッシングする際の推定ドレッシング条件データが割り出され、オペレータは、割り出された推定ドレッシング条件データによりドレッシング部を駆動して研磨パッドのドレッシングを行う。

特開２０１８－１１８３７２号公報

しかしながら、特許文献１の技術では、ワークの研磨加工工程の実行中に発生するリアルタイムデータに基づいて研磨加工工程の状態を評価し、この評価に基づき研磨加工工程を修正することは困難である。

本発明の目的は、ワークの研磨中に発生するリアルタイムデータに基づいて研磨加工工程状態を評価することにより、研磨加工工程を安定化させようとするものである。

本発明の研磨加工システムは、定盤の研磨パッド上のワークに研磨ヘッドにより荷重を加え、前記研磨パッドにスラリーを供給し、前記定盤と前記研磨ヘッドをそれぞれ回転させることによって前記ワークの研磨加工を実行する研磨加工装置と、学習装置と、から構成される研磨加工システムであって、前記学習装置は、前記研磨加工装置の研磨ヘッドの回転トルクの変化量データ、前記研磨ヘッドの水平荷重の変化量データ及び前記研磨ヘッドの内周側と外周側との温度差の変化量データと、第１の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第１の行動価値関数を更新し、前記温度差の変化量データが所定の範囲内に収まると、前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データと、第２の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第２の行動価値関数を更新することで、研磨加工における研磨条件を決定する。

また、本発明の研磨加工システムは、前記研磨加工装置は、前記研磨加工の実行中において研磨ヘッドの回転トルクを測定するトルク測定部を、さらに含み、前記測定値は、前記研磨加工の実行中における前記研磨ヘッドの回転トルクの変化量データを含む。

また、本発明の研磨加工システムは、前記研磨加工装置は、前記研磨加工の実行中において研磨ヘッドの水平荷重を測定する荷重測定部を、さらに含み、前記測定値は、前記研磨加工の実行中における前記研磨ヘッドの水平荷重の変化量データを含む。

また、本発明の研磨加工システムは、前記研磨加工装置は、前記研磨加工の実行中において研磨ヘッドの温度を少なくとも２点以上で測定する温度測定部を、さらに含み、前記測定値は、前記研磨加工の実行中における前記研磨ヘッドの内周側と外周側との温度差の変化量データを含む。

また、本発明の学習装置は、定盤の研磨パッド上のワークに研磨ヘッドにより荷重を加え、前記研磨パッドにスラリーを供給し、前記定盤と前記研磨ヘッドをそれぞれ回転させることによって前記ワークの研磨加工を実行する研磨加工装置の研磨ヘッドの回転トルクの変化量データ、前記研磨ヘッドの水平荷重の変化量データ及び前記研磨ヘッドの内周側と外周側との温度差の変化量データと、第１の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第１の行動価値関数を更新し、前記温度差の変化量データが所定の範囲内に収まると、前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データと、第２の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第２の行動価値関数を更新することで、研磨加工における研磨条件を決定する学習部を備える。

また、本発明の学習装置の学習方法は、定盤の研磨パッド上のワークに研磨ヘッドにより荷重を加え、前記研磨パッドにスラリーを供給し、前記定盤と前記研磨ヘッドをそれぞれ回転させることによって前記ワークの研磨加工を実行する研磨加工装置の研磨ヘッドの回転トルクの変化量データ、前記研磨ヘッドの水平荷重の変化量データ及び前記研磨ヘッドの内周側と外周側との温度差の変化量データと、第１の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第１の行動価値関数を更新するステップと、前記温度差の変化量データが所定の範囲内に収まると、前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データと、第２の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第２の行動価値関数を更新するステップと、研磨加工における研磨条件を決定するステップと、をコンピュータが実行する。

本発明によれば、ワークの研磨中に発生するリアルタイムデータに基づいて研磨加工工程状態を評価することができるため、これにより研磨加工工程を安定化させることが可能である。

本発明の実施形態に係る研磨加工システムの構成を示す図である。本発明の実施形態に係る研磨中における研磨ヘッドの回転トルクと研磨時間との関係を示すグラフである。本発明の実施形態に係る研磨中の研磨ヘッドにかかる水平荷重と研磨時間との関係を示すグラフである。本発明の実施形態に係る研磨中の研磨ヘッドの内周側と外周側との温度差と研磨時間との関係を示すグラフである。本発明の実施形態に係るワークの外周側と中心側との摩擦距離差と、定盤と研磨ヘッドの回転数差との関係を示すグラフである。本発明の実施形態に係る学習処理の概要を示す図である。本発明の実施形態に係る前半学習処理を示すフローチャートである。本発明の実施形態に係る後半学習処理を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。

（研磨加工システムについて）
図１は、本発明の実施形態に係る研磨加工システムの構成を示す図である。

研磨加工システム１は、ワークの研磨加工を実行する研磨加工装置１０と、研磨加工装置１０からの状態変数により強化学習を実行する学習装置２０と、から構成される。

なお、図１および以下の説明において、入出力インタフェース等についての図示、説明は省略する。

（研磨加工装置について）
研磨加工装置１０は、研磨処理部１１、研磨条件設定部１２、測定部１３、状態演算部１４および状態変数記憶部１５から構成される。

研磨処理部１１は、ワーク表面の化学機械研磨（以下、研磨という）を実行するためのものあって、既に公知の技術であるため詳細な説明は省略する。

研磨処理部１１には、ワーク表面を研磨中の研磨ヘッドの回転トルクを検出するためのトルク検出センサ（図示なし）、ワーク表面を研磨中の研磨ヘッドにかかる水平方向の荷重を検出するための荷重検出センサ（図示なし）、ワーク表面を研磨中の研磨ヘッドの内周側の温度を検出するための第１温度検出センサ（図示なし）、ワーク表面を研磨中の研磨ヘッドの外周側の温度を検出するための第２温度検出センサ（図示なし）、定番の回転数を検出するための第１回転数検出センサ（図示なし）、研磨ヘッドの回転数を検出するための第２回転数検出センサ（図示なし）等が設けられており、これらの各センサにより検出された検出データは測定部１３に入力される。

また研磨処理部１１からは測定部１３に対して、研磨開始を示す研磨開始データ、研磨終了を示す研磨終了データ、スラリーの温度データ、研磨パッド等の各種パーツが交換されたことを示すパーツ交換データ、研磨ヘッド研磨処理部１１にて発生した各種エラーを示すエラーデータ等の各種データが送信される。

研磨条件設定部１２は、研磨対象となるワークについての研磨条件データを、研磨処理部１１に設定するためのものである。また、研磨処理部１１に設定した研磨条件データを状態変数記憶部１５に出力する。

研磨条件設定部１２から研磨処理部１１に設定される研磨条件データとしては、例えば、定番回転数、研磨ヘッド回転数、スラリー温度、ドレッシングの有無等がある。なお、ワークの研磨条件データは、オペレータもしくは図示しない研磨加工システム集中管理コンピュータ等により入力されることによって設定される。

測定部１３は、研磨実行中の研磨処理部１１についての各種測定を実行するためのものである。

測定部１３は上述した各検出センサからの検出データと各種データを受信する。測定部１３は、トルク測定部の一例であるトルク検出センサにより検出されたトルクデータを受信することにより、ワーク表面の研磨開始から研磨終了までにおける研磨ヘッドの回転トルクを単位時間毎に測定する。また測定部１３は、荷重測定部の一例である荷重検出センサにより検出された荷重データを受信することにより、ワーク表面の研磨開始から研磨終了までにおける研磨ヘッドにかかる水平方向の荷重を単位時間毎に測定する。測定された回転トルクを示す回転トルクデータと水平方向の荷重を示す水平荷重データは状態演算部１４に送信される。

また測定部１３は、温度測定部の一例である第１温度検出センサにより検出された研磨ヘッドの内周側温度データと第２温度検出センサにより検出された研磨ヘッドの外周側温度データとを受信することにより、ワーク表面の研磨開始から研磨終了までにおける経過時間に対する内周側温度と外周側温度とを単位時間毎に測定する。測定された内周側温度を示す内周側温度データと外周側温度を示す外周側温度データは状態演算部１４に送信される。

また測定部１３は、時間測定部の一例である。測定部１３は、研磨パッドが交換されたことを示す交換データを受信することより交換前の研磨パッドに対する使用累積時間をリセットし、新たな研磨パッドによる使用累積時間を測定（計時）する。測定された使用累積時間を示す使用累積時間データは状態演算部１４に送信される。

また測定部１３は、第１回転数検出センサにより検出された定番の回転数データと第２回転数検出センサにより検出された研磨ヘッドの回転数データとを受信することにより、研磨中における定番の回転数と研磨ヘッドの回転数とを単位時間毎に測定する。測定された定番の回転数を示す定番回転数データと研磨ヘッドの回転数を示す研磨ヘッド回転数データは状態演算部１４に送信される。

状態演算部１４は、上述した測定部１３から各種測定データを受信し、設定時間（例えば、図６にて後述するサンプル加工時間）内における各種変化量を更新するために演算する。演算された変化量は変化量データとして状態変数記憶部１５に出力され、状態変数記憶部１５に状態変数として記憶される。

状態演算部１４は、回転トルクデータを受信すると、設定時間内における研磨ヘッドの回転トルクの変化量を演算する。また、水平荷重データを受信すると、設定時間内における研磨ヘッドの水平荷重の変化量を演算する。また、内周側温度データと外周側温度データとを受信すると、設定時間内における研磨ヘッドの内周側と外周側との温度差の変化量を演算する。演算された各変化量を変化量データとして状態変数記憶部１５に出力する。

状態変数記憶部１５は、上述した状態演算部１４から出力された研磨ヘッドの回転トルクの変化量データ、研磨ヘッドの水平荷重の変化量データ、研磨ヘッドの内周側と外周側との温度差の変化量データ等と、上述した研磨条件設定部１２から出力された研磨条件データ（定番回転数、研磨ヘッド回転数、研磨荷重、スラリー温度、スラリーｐＨ、スラリー流量、加工時間、研磨パッドの種類、ドレッシングの有無等）を状態変数（状態データ）として記憶する。なお、状態変数記憶部１５は新たな状態変数を受信した場合、受信した状態変数を学習装置２０に送信する。送信された状態変数は学習装置２０の状態変数入力部２１により受信される。

研磨加工装置１０に含まれるそれぞれの構成は、独立して存在していても良く、その場合は無線又は有線によって接続され、データ等のやり取りを行うことが好ましい。例えば、研磨処理部１１は一般的な化学機械研磨を行う装置であり、研磨条件設定部１２はタッチパネルやキーボード等の入力機能を有する装置であり、状態演算部１４や状態変数記憶部１５はＣＰＵを有するコンピュータである。

（学習装置について）
学習装置２０は、状態変数入力部２１および学習部２２から構成される。

状態変数入力部２１は、上述した状態変数記憶部１５から送信された状態変数を受信し、学習部２２に送信する。

学習部２２は、状態変数履歴記憶部２３、学習処理部２４および修正研磨条件決定部２５から構成される。

状態変数履歴記憶部２３は、上述した状態変数入力部２１から送信された状態変数を、状態変数の履歴データとして記憶する。各状態変数（研磨ヘッドの回転トルクの変化量データ、研磨ヘッドの水平荷重の変化量データ、研磨ヘッドの内周側と外周側との温度差の変化量データ、定番回転数、研磨ヘッド回転数、スラリー温度、ドレッシングの有無等）は受信日時と対応付けられて記憶される。

学習処理部２４は、上述した状態変数履歴記憶部２３に記憶された状態変数の履歴データを適宜用いて、Ｑ学習の手法により行動価値関数を最適化するために更新する。なお、学習処理部２３が実行する学習処理についての説明は、図６、図７、図８を用いて後述する。

修正研磨条件決定部２５は、上述した状態変数入力部２１から送信された状態変数と、学習処理部２４より最適化された行動価値関数に基づいて、現在の研磨条件を修正するための条件である修正研磨条件を決定する。修正研磨条件決定部２５には、修正研磨条件を決定するための条件修正モデルが登録されており、上述した学習処理部２４によって最適化された行動価値関数を適用することにより、精度の高い修正研磨条件を決定することができる。決定した修正研磨条件は、上述した研磨加工装置１０の研磨処理部１１に送信される。

ここで、本実施形態に係る研磨加工システムにおいて、上述した状態変数として、研磨ヘッドの回転トルクの変化量、研磨ヘッドの水平荷重の変化量、研磨ヘッドの内周側と外周側との温度差の変化量を扱う根拠を図２～図５を用いて説明する。

（研磨ヘッドの回転トルクと研磨時間との関係）
図２は、ワーク表面を研磨中の研磨ヘッドの回転トルクと研磨時間との関係を示すグラフである。

図２（ａ）は研磨パッドに目詰まりが生じた場合を示すグラフであり、図２（ｂ）は研磨パッドに目つぶれが生じた場合を示すグラフである。

一般的に、研磨パッドに目詰まりが生じた場合や目つぶれが生じた場合には、研磨パッドとワークとの間の摩擦係数が正常状態と比べて変化するため、これにより研磨ヘッドの回転トルクが変化することが知られている。

まず図２（ａ）を参照し研磨パッドに目詰まりが生じた場合について説明する。図２（ａ）に示すように研磨パッドに目詰まりが生じた場合、研磨ヘッドの回転トルクは（ア）から（イ）の時間経過の範囲では正常回転トルク（正常回転トルク範囲）の値であるが、時間（イ）以降では回転トルクは徐々に増加していく。これは研磨パッドに生じた目詰まりが研磨ヘッドの回転に対して抵抗として作用することにより、ワーク表面と研磨パッドとの間の摩擦係数が増加していくためである。

次に図２（ｂ）を参照し研磨パッドに目つぶれが生じた場合について説明する。図２（ｂ）に示すように研磨パッドに目つぶれが生じた場合、研磨ヘッドの回転トルクは（ウ）から（エ）の時間経過の範囲では正常回転トルク（正常回転トルク範囲）の値であるが、時間（エ）以降では回転トルクは徐々に減少していく。これは研磨パッドに生じた目つぶれによりワーク表面と研磨パッドとの間の接触面積が減少することにより、ワーク表面と研磨パッドとの間の摩擦係数が減少していくためである。

このように、ワーク表面を研磨中の研磨ヘッドの回転トルクに変化があった場合は、研磨パッドに目詰まり或いは目つぶれが発生している可能性が高い。よって、本実施形態においては研磨ヘッドの回転トルクの変化量を評価した評価結果を直ちに研磨加工装置１０の研磨処理部１１にフィードバック送信するようにしている。なお、研磨パッドに目詰まり或いは目つぶれが発生している場合、これを解決する方法としては研磨パッドのドレッシングを行うことである。

（研磨ヘッドにかかる水平荷重と研磨時間との関係）
図３は、ワーク表面を研磨中の研磨ヘッドにかかる水平荷重と研磨時間との関係を示すグラフである。

図３（ａ）は研磨パッドに目詰まりが生じた場合を示すグラフであり、図３（ｂ）は研磨パッドに目つぶれが生じた場合を示すグラフである。

一般的に、研磨パッドに目詰まりが生じた場合や目つぶれが生じた場合には、研磨パッドとワークとの間の摩擦係数が正常状態と比べて変化するため、これにより研磨ヘッドの水平荷重が変化することが知られている。

まず図３（ａ）を参照し、研磨パッドに目詰まりが生じた場合について説明する。図３（ａ）に示すように研磨パッドに目詰まりが生じた場合、研磨ヘッドにかかる水平荷重は正常荷重（正常荷重範囲）の値である（ア）から（イ）以降のように水平荷重は増加していく。これは研磨パッドに生じた目詰まりが研磨ヘッドの回転に対して抵抗として作用することにより、ワーク表面と研磨パッドとの間の摩擦係数が増加していくためである。

次に図３（ｂ）を参照し研磨パッドに目つぶれが生じた場合について説明する。図３（ｂ）に示すように研磨パッドに目つぶれが生じた場合、研磨ヘッドにかかる水平荷重は正常荷重（正常荷重範囲）の値である（ウ）から（エ）以降のように回転トルクは減少していく。これは研磨パッドに生じた目つぶれによりワーク表面と研磨パッドとの間の接触面積が減少することにより、ワーク表面と研磨パッドとの間の摩擦係数が減少していくためである。

このように、ワーク表面を研磨中の研磨ヘッドにかかる水平荷重に変化があった場合は、研磨パッドに目詰まり或いは目つぶれが発生している可能性が高い。よって、本実施形態においては研磨ヘッドにかかる水平荷重の変化量を評価した評価結果を直ちに研磨加工装置１０の研磨処理部１１にフィードバック送信するようにしている。なお、研磨パッドに目詰まり或いは目つぶれが発生している場合、これを解決する方法としては研磨パッドのドレッシングを行うことである。

（研磨ヘッドの内周側と外周側との温度差と研磨時間との関係）
図４は、ワーク表面を研磨中の研磨ヘッドの内周側と外周側との温度差と研磨時間との関係を示すグラフである。

元来研磨は、厚みばらつきがあるワークを平坦化することが目的である。通常はワークにかかる圧力は、ワークの厚みが薄い個所よりも厚い箇所のほうがかかる圧力が高くなるため早く研磨される。つまり研磨加工工程は、ワークの厚みばらつきに対応して自動的に平坦化がなされるはずのプロセスである。しかしながら、現実にはそのようにはいかず、研磨加工工程に工夫を凝らして平坦化を実現している。

そこで、本実施形態では研磨加工工程を、積極的にワークの厚い箇所を除去する粗加工域（粗加工プロセス）と、ワークの厚みばらつきに起因する圧力分布により平坦化を行う仕上げ加工域（仕上げ加工プロセズ）の２つのプロセスに分割することにより、研磨時間の短縮と高平坦化を実現するようにした。

ここで研磨加工工程を、粗加工プロセスと仕上げ加工プロセスの２つのプロセスに分割することを実現するために、研磨レートの圧力分布とワークの厚みばらつきを評価する方法を考える。プレストンの法則より、研磨レートはワークにかかる圧力と、ワークと研磨パッドとの間の相対速度に比例すると考えられている。その中でも研磨中に大きく変化するパラメータは、ワークの厚みばらつきによって変化するワークにかかる圧力である。

一方で、研磨中に生じる加工熱は、大きく分けて研磨パッドとワークとの間の摩擦によって生じる熱と、スラリーとワークとの化学反応によって生じる熱の２つ種類があり、中でも摩擦による摩擦熱が多くを占めている。摩擦熱は摩擦係数、圧力、相対速度、摺動時間に比例して高くなるが、これらのパラメータの中で研磨中に大きく変化するパラメータは上述の通り圧力である。

よって研磨中に生じる加工熱は、加工熱の伝播先である研磨ヘッドの内周側と外周側との温度差の変化を評価することによって、研磨レートの圧力分布とワークの厚みばらつき変化を評価することができる。

図４を参照し、粗加工域における研磨開始から間もない時間である（ア）においては、ワークの厚みばらつきが大きいことに起因する圧力分布の大きさにより、研磨ヘッドの内周側と外周側との間の温度差が大きくなる。研磨加工条件を大きく変更しない限りこの温度差はワークの厚みばらつきの変化に応じて変化していく。ワーク表面が平坦になるにしたがい研磨ヘッドの内周側と外周側との間の温度差は小さくなっていく。よって、温度差の変化が収束した時間である（イ）においては圧力分布の変化が収束していること、すなわちワークがある程度平坦化されたことを示しているため粗加工域が終了したことになる。つまり粗加工域では、研磨ヘッドの内周側と外周側との間の温度差を早く収束させることで研磨時間の短縮化が実現できる。

温度差の変化が収束した時間である（イ）以降は仕上げ加工域であり、基本的には温度差が０で一定となる研磨加工を行いワークの厚みばらつきによる自動的な平坦化がなされることが理想である。しかしながら、研磨パッド上に供給されたスラリーはワークの外周側から流入しワークの中心側に向かうため、スラリーによる冷却効果が表面で不均一となりワーク表面にて温度分布が発生する。研磨レートは温度の影響も受け、温度が高いほど研磨レートも増加するため、ワークの外周側と中心側とにおいて研磨レートに分布が生じる。また、一方でワーク表面の加工温度が研磨ヘッドに伝わるまでに研磨パッドを介するため、研磨ヘッドの温度分布を均一にしたとしてもワーク表面の温度分布が均一になるとは限らない。

そこで、研磨ヘッドの内周側と外周側との温度差をワークの平坦化に最適となる温度差Ｔ_ｓを設定し、（ウ）以降は研磨ヘッドの温度差をＴ_ｓ付近に維持することによってワークの高平坦化が実現できる。

（ワークの外周側と中心側との摩擦距離差と、定盤と研磨ヘッドの回転数差との関係）
図５は、ワークの外周側と中心側との摩擦距離（相対速度の時間積分値）の差と、定盤と研磨ヘッドの回転数の差との関係を示すグラフである。

上述した研磨ヘッドの内周側と外周側との温度差を評価することで研磨時間の短縮化とワークの高平坦化を実現するためには、ワーク表面の温度分布を制御する方法が必要であり、以下において説明を行う。

ワーク表面の温度分布を制御する方法としては定盤と研磨ヘッドとの回転数に差を設けることが挙げられる。図５は定盤と研磨ヘッドとの回転数に回転数差を設定することによって、定盤と研磨ヘッドとの相対速度を時間積分した摩擦距離がワーク表面内において分布を持つことを示している。摩擦熱は相対速度と摺動時間に比例するためワーク表面に摩擦距離の分布を持たせることで、ワーク表面に温度分布を生じさせることができる。また、同じ回転数差であっても、定番または研磨ヘッドのいずれかの回転数を変更（ここでは、定盤の回転数を変更）することによって、図５の実線と点線が示す違いのように摩擦距離差の量が変化する。

逆に、ワーク表面の温度分布を均一にしたい場合、定盤と研磨ヘッドの回転数を同一にすることで、摩擦距離分布は均一となり加工熱に起因するワーク表面内の温度分布は均一化される。

また、ワーク表面の温度分布は供給するスラリーの温度によっても制御することができる。上述したようにスラリーはワークの外周側から流入し中心付近に向かうため、スラリーの温度を低くすることでワークの外周側の温度を低下させることができ、スラリーの温度を高くすることでワーク外周側の温度低下を抑えることができる。

以上のことから、本実施形態の研磨加工システムでは、状態変数として、研磨ヘッドの回転トルクの変化量データ、研磨ヘッドの水平荷重の変化量データ、研磨ヘッドの内周側と外周側との温度差の変化量データを用いることにより、研磨加工工程における研磨時間の短縮化と高平坦化を実現する。その際においては、リアルタイムに状態変数から評価を行って評価結果をフィードバックする必要があるため、条件修正モデルの学習方法は強化学習の手法が望ましい。そこで、学習部２２における条件修正モデルの学習処理について説明する。

（学習処理の概要）
図６は、学習装置２０の学習部２２における学習処理の概要を示す図である。

学習処理は、上述した学習部２２にて実行される。学習部２２が実行する学習処理は強化学習の手法を用いており、最適な行動価値関数Ｑ（ｓ，ａ）を学習する。ｓは状態を示すパラメータであって上述した状態変数であり、ａは行動を示すパラメータであって上述した修正研磨条件決定部２５から研磨加工装置１０にフィードバック送信される修正研磨条件である。状態変数の各値のふるまいによって望ましい結果が得られた場合には報酬ｒが与えられる。

学習処理は、上述した図４の粗加工域における前半学習処理と、仕上げ加工域における後半学習処理の２つの学習処理に分かれている。前半学習処理と後半学習処理とでは、それぞれ報酬ｒの与え方が異なっており、前半学習処理では最適な行動価値関数Ｑ_１（ｓ，ａ）を求め、後半学習処理では最適な行動価値関数Ｑ_２（ｓ，ａ）を求める。

学習処理においては、サンプリング時間内における研磨ヘッドの内周側と外周側との温度差Ｔｓの変化量が、予め設定された０付近の範囲内に収まった場合、前半学習処理から後半学習処理に切り替わる。なお、ここでのサンプリング時間は、この時間内で研磨加工工程を評価する必要がため十分な時間が必要であり、例えば、総研磨時間の１０分の１ほどが望ましい。

（前半学習処理）
図７は、上述した学習部２２の学習処理部２４において実行されるワーク研磨中の前半学習処理のフローチャートである。

まずステップＳ１において学習処理部２４は、０以上１以下の値であるεを用いて１－εの確率により行動価値関数に基づいて複数の研磨条件のうち少なくとも１つを選択し、その値の増減または維持する。そして、残りのεの確率でランダムに研磨条件の選定および値の変更を行う。ただし、ここでは研磨条件のうちスラリー温度の変更は不可とする。これは後述するステップＳ２の処理に用いる研磨ヘッドの内周側と外周側との温度差を、可能な限りワークの厚みのバラつきによるものにするためである。

次にステップＳ２において学習処理部２４は、ステップＳ１の処理を実行してからのサンプリング時間となるまでの間に、状態変数のうち、研磨ヘッドの内周側と外周側との温度差の変化量データの累積値を評価し、温度差の累積減少量が予め設定された基準値よりも増加していると判断した場合、ステップＳ３に処理を進める一方、温度差の累積減少量が予め設定された基準値よりも増加していないと判断した場合、ステップＳ８に処理を進める。

次にステップＳ３において学習処理部２４は、報酬ｒを増加させる。

次にステップＳ４において学習処理部２４は、ステップＳ１を実行してからサンプリング時間が経過するまでの間に、状態変数のうち、研磨ヘッドの回転トルクの変化量データの最大値とその平均値を評価し、それぞれの値が予め設定された基準値に対して一定の範囲内にあると判断した場合、ステップＳ５に処理を進める一方、研磨ヘッドの回転トルクの変化量データの最大値とその平均値が予め設定された基準値に対して一定の範囲内にないと判断した場合、ステップＳ８に処理を進める。

次にステップＳ５において学習処理部２４は、報酬ｒを増加させる。

次にステップＳ６において学習処理部２４は、ステップＳ１を実行してからサンプリング時間が経過するまでの間に、状態変数のうち、研磨ヘッドの水平荷重の変化量データの最大値とその平均値を評価し、それぞれの値が予め設定された基準値に対して一定の範囲内にあると判断した場合、ステップＳ７処理を進める一方、研磨ヘッドの水平荷重の変化量データの最大値とその平均値が予め設定された基準値に対して一定の範囲内にないと判断した場合、ステップＳ８に処理を進める。

次にステップＳ７において学習処理部２４は、報酬ｒを増加させる。

次にステップＳ８において学習処理部２４は、報酬ｒを減少（または維持）させる。

次にステップＳ９において学習処理部２４は、Ｑ学習の手法により行動価値関数Ｑ_１（ｓ，ａ）の更新を行う。行動価値関数は行動ａの動機となる関数であるため、最適化された行動価値関数によって最適な行動ａ、すなわち最適な修正研磨条件を得ることができる。Ｑ学習は行動価値関数の最適化方法の１つであり、次の（式１）によって更新される。

ここで、ｓ_ｔは時刻ｔにおける状態ｓであり、ａ_ｔは時刻ｔにおける行動ａである。行動ａ_ｔにより次の状態ｓ_ｔ＋１と移り、そこでの報酬ｒ_ｔ＋１が求められる。αは０以上１以下の学習率と呼ばれるパラメータであり、γは０以上１以下の割引率と呼ばれるパラメータである。ｍａｘの付いた項は次の状態における最大となる行動価値関数であり、この項と報酬の項により行動価値関数の最適化が進む。

以上の前半学習処理を学習処理部２４が繰り返し実行することによって行動価値関数は最適化されていき、報酬ｒが最大となるように行動ａがなされることになる。よって、修正研磨条件決定部２５は、状態変数と前半学習処理部より最適化された行動価値関数に基づいて、現在の研磨条件を修正するための条件である修正研磨条件を決定することができる。

なお、上述したステップＳ２、Ｓ４、Ｓ６の各判定処理は、少なくともいずれかの判定処理のうち１つの判定処理さえ実行すれば、それ以外の判定処理を省略してもよい。また、判定処理を省略する場合、その判定処理の結果による報酬の増加処理や減少処理も省略してもよい。

（後半学習処理）
図８は、上述した学習部２２の学習処理部２４において実行されるワーク研磨中の後半学習処理のフローチャートである。基本的には図７に示した前半学習処理と同じフローチャートであって、図７と異なる点はステップＳ１２の処理における判定条件である。なお、以下の説明では図７と同様の処理を実行する処理ステップについての説明は省略する。

まず学習処理部２４は、ステップＳ１１の処理を実行する。本処理は、上述したステップＳ１と同様の処理である。

次にステップＳ１２において学習処理部２４は、ステップＳ１１の処理を実行してからのサンプリング時間となるまでの間に、状態変数のうち、研磨ヘッドの内周側と外周側との温度差の変化量データの累積値を評価し、その温度差が予め設定された基準範囲内にあると判断した場合、ステップＳ１３に処理を進める一方、その温度差が予め設定された基準範囲にないと判断した場合、ステップＳ１８に処理を進める。

次に学習処理部２４は、ステップＳ１３の処理を実行する。本処理は、上述したステップＳ３と同様の処理である。

次に学習処理部２４は、ステップＳ１４の処理を実行する。本処理は、上述したステップＳ４と同様の処理である。

次に学習処理部２４は、ステップＳ１５の処理を実行する。本処理は、上述したステップＳ５と同様の処理である。

次に学習処理部２４は、ステップＳ１６の処理を実行する。本処理は、上述したステップＳ６と同様の処理である。

次に学習処理部２４は、ステップＳ１７の処理を実行する。本処理は、上述したステップＳ７と同様の処理である。

次に学習処理部２４は、ステップＳ１８の処理を実行する。本処理は、上述したステップＳ８と同様の処理である。

次にステップＳ１９において学習処理部２４は、Ｑ学習の手法により行動価値関数Ｑ_２（ｓ，ａ）の更新を行う。本処理は、上述したステップＳ９と同様の処理である。

以上の後半学習処理を学習処理部２４が繰り返し実行することによって行動価値関数は最適化されていき、報酬ｒが最大となるように行動ａがなされることになる。よって、修正研磨条件決定部２５は、状態変数と後半学習処理部より最適化された行動価値関数に基づいて、現在の研磨条件を修正するための条件である修正研磨条件を決定することができる。

なお、上述したステップＳ１２、Ｓ１４およびＳ１６の各判定処理は、少なくともいずれかの判定処理のうち１つの判定処理さえ実行すれば、それ以外の判定処理を省略してもよい。また、判定処理を省略する場合、その判定処理の結果による報酬の増加処理や減少処理も省略してもよい。

本発明によれば、研磨加工工程における各測定データと研磨条件とから求められた修正研磨条件をリアルタイムに研磨加工装置にフィードバックすることができる。また、学習部２２により研磨条件の修正を行うための行動価値関数の最適化がなされるため、リアルタイムで安定した研磨加工工程を実現できる。

１研磨加工システム
１０研磨加工装置
１１研磨処理部
１２研磨条件設定部
１３測定部
１４状態演算部
１５状態変数記憶部
２０学習装置
２１状態変数入力部
２２学習部
２３状態変数履歴記憶部
２４学習処理部
２５修正研磨条件決定部

Claims

定盤の研磨パッド上のワークに研磨ヘッドにより荷重を加え、前記研磨パッドにスラリーを供給し、前記定盤と前記研磨ヘッドをそれぞれ回転させることによって前記ワークの研磨加工を実行する研磨加工装置と、
学習装置と、から構成される研磨加工システムであって、
前記学習装置は、
前記研磨加工装置の研磨ヘッドの回転トルクの変化量データ、前記研磨ヘッドの水平荷重の変化量データ及び前記研磨ヘッドの内周側と外周側との温度差の変化量データと、第１の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第１の行動価値関数を更新し、
前記温度差の変化量データが所定の範囲内に収まると、前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データと、第２の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第２の行動価値関数を更新することで、
研磨加工における研磨条件を決定する、
研磨加工システム。
前記研磨加工装置は、
前記研磨加工の実行中において研磨ヘッドの回転トルクを測定するトルク測定部を、さらに含む、
請求項１に記載の研磨加工システム。
前記研磨加工装置は、
前記研磨加工の実行中において研磨ヘッドの水平荷重を測定する荷重測定部を、さらに含む、
請求項１または２に記載の研磨加工システム。
前記研磨加工装置は、
前記研磨加工の実行中において研磨ヘッドの温度を少なくとも２点以上で測定する温度測定部を、さらに含む、
請求項１から３のいずれか１項に記載の研磨加工システム。
定盤の研磨パッド上のワークに研磨ヘッドにより荷重を加え、前記研磨パッドにスラリーを供給し、前記定盤と前記研磨ヘッドをそれぞれ回転させることによって前記ワークの研磨加工を実行する研磨加工装置の研磨ヘッドの回転トルクの変化量データ、前記研磨ヘッドの水平荷重の変化量データ及び前記研磨ヘッドの内周側と外周側との温度差の変化量データと、第１の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第１の行動価値関数を更新し、
前記温度差の変化量データが所定の範囲内に収まると、前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データと、第２の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第２の行動価値関数を更新することで、
研磨加工における研磨条件を決定する学習部を備える、
学習装置。
定盤の研磨パッド上のワークに研磨ヘッドにより荷重を加え、前記研磨パッドにスラリーを供給し、前記定盤と前記研磨ヘッドをそれぞれ回転させることによって前記ワークの研磨加工を実行する研磨加工装置の研磨ヘッドの回転トルクの変化量データ、前記研磨ヘッドの水平荷重の変化量データ及び前記研磨ヘッドの内周側と外周側との温度差の変化量データと、第１の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第１の行動価値関数を更新するステップと、
前記温度差の変化量データが所定の範囲内に収まると、前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データと、第２の行動価値関数に従って前記回転トルクの変化量データ、前記水平荷重の変化量データ及び前記温度差の変化量データから決定された研磨条件とに基づき報酬を決定し、前記報酬に従って前記第２の行動価値関数を更新するステップと、
研磨加工における研磨条件を決定するステップと、
をコンピュータが実行する学習方法。