JP7699849B2 - ３次元スキャンデータから補綴物を自動で生成する方法、３次元スキャンデータから補綴物を自動で生成するジェネレータ、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、３次元スキャンデータから補綴物を自動で生成する方法、３次元スキャンデータから補綴物を自動で生成するジェネレータ、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体に関し、より詳しくは、幾何学的深層学習（geometric deep learning）を用いて、補綴物の製作時間を短縮させる、３次元スキャンデータから補綴物を自動で生成する方法、３次元スキャンデータから補綴物を自動で生成するジェネレータ、及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体に関する。

３次元口腔スキャンデータは、歯牙及び口腔又はそれを倣うか又は再構成した対象を、３次元スキャナでスキャンしたデータをいう。インレー（inlay）、オンレー（onlay）、クラウン（crown）などの補綴治療、インプラント（implant）、矯正などの歯科治療は、患者の口腔データを取得して、補綴物又はインプラントデザイン、矯正器製作などに用いられる。

従来は、アルジネート（alginate）などを用いて、口腔を直接模した後、手作業で補綴物を製作する方式が主に利用されている。解剖学的に正しい補綴物を作るため、歯科医又は歯科技工士は、周辺歯の摩耗程度を把握し、歯牙の番号と対合歯の噛合情報を複合的に理解した後、結果物を生成する。従来の補綴物生成方法は、このような情報を考えて、一般の歯牙形状を基に、人が手作業で各患者の口腔状態に合わせて修正することができる。

また、従来は、補綴物の生成過程が手作業で行われるので、歯科医又は歯科技工士の作業疲労度が増加し、結果物の正確度及び生産性が減少するという問題がある。また、作業者の熟練度によって、補綴物の品質と所要時間の偏差が大きいという問題がある。

本発明の目的は、幾何学的深層学習を用いて、補綴物の製作時間を短縮させる、３次元スキャンデータから補綴物を自動で生成する方法を提供することである。

本発明の他の目的は、３次元スキャンデータから補綴物を自動で生成するジェネレータを提供することである。

本発明の更に他の目的は、前記３次元スキャンデータから補綴物を自動で生成する方法を、コンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することである。

本発明の目的を実現するための一実施形態に係る３次元スキャンデータから補綴物を自動で生成する方法は、３次元スキャンデータから調製済み歯の調製済み情報を抽出するステップと、前記調製済み情報を基に、前記３次元スキャンデータを投影した２次元投影画像を生成するステップと、２次元エンコーダ及び３次元デコーダを含む敵対的生成ネットワークを用いて、前記２次元投影画像を基に、３次元補綴物を生成するステップとを含むことを特徴とする。

更に、前記調製済み歯のマージンラインを抽出するステップを含み、前記調製済み情報を抽出するステップは、前記マージンラインを用いて抽出した調製済みメッシュデータを用いて、前記調製済み情報を抽出する。

前記調製済み情報は、前記調製済み歯の位置を含み、前記調製済み歯の前記位置は、前記調製済みメッシュデータの重心である。

前記調製済み情報は、前記調製済み歯の位置を含み、前記調製済み歯の前記位置は、前記マージンラインの中心である。

前記調製済み情報は、前記調製済み歯の方向を含み、前記調製済み歯の前記方向は、前記調製済みメッシュデータの面のノーマルベクトルを用いて決められる。

前記調製済み歯の前記方向がｄであり、前記調製済みメッシュデータの面の数がＮであり、前記ノーマルベクトルが

であり、xoptは、前記調製済みメッシュデータのポイントのノーマルベクトルが隠されない方向であり、Ｔは、行列の行と列を交換する入れ替え関数であるとき、

を満たす。

前記調製済み情報は、前記調製済み歯の位置及び前記調製済み歯の方向を含み、前記２次元投影画像は、投影平面を用いて生成され、前記投影平面は、前記調製済み歯の前記位置から所定の距離だけ離れて配置され、前記調製済み歯の対合歯又は前記調製済み歯の隣接歯が見えるように定義される。

前記２次元投影画像の画素値は、前記投影平面から前記投影平面のノーマルベクトル方向に光線を発したとき、前記３次元スキャンデータにぶつかる最も近い点までの距離に定義される。

前記２次元エンコーダは、前記２次元投影画像を受信して、潜在ベクトルを出力する。

前記３次元デコーダは、前記潜在ベクトルを受信して、前記３次元補綴物をなす点の座標を生成する。

更に、前記敵対的生成ネットワークの学習に用いられる補綴物正解データを生成するステップを含み、前記補綴物正解データを生成するステップは、前記調製済み歯に対応する第１の正解データを、ディフォーマブルレジストレーションを用いて、連結関係が固定した第２の正解データに変換する。

前記補綴物正解データを生成するステップは、正六面体形状の最初モデルを８等分し、且つ、前記最初モデルが前記第１の正解データの形状に近くなるように変形して、前記第２の正解データを生成する。

更に、前記敵対的生成ネットワークを学習するステップを含み、前記敵対的生成ネットワークを学習するステップは、補綴物正解データを３次元エンコーダに入力して、潜在ベクトルを生成し、前記潜在ベクトルを前記３次元デコーダに入力して、前記補綴物正解データに復元させる第１の学習ステップを含む。

前記敵対的生成ネットワークを学習するステップは、更に、ジェネレータを用いて、学習３次元補綴物を生成し、ディスクリミネータを用いて、前記学習３次元補綴物がトゥルーであるか否かを判断する第２の学習ステップを含む。

前記ジェネレータは、前記２次元エンコーダと、前記第１の学習ステップで学習された前記３次元デコーダとを含み、前記ディスクリミネータは、前記第１の学習ステップで学習された前記３次元エンコーダを含む。

前記敵対的生成ネットワークを学習するステップにおいて、学習目的関数は、正解メッシュデータのポイント及び予測メッシュデータのポイントの間の距離差を比較するロスを用い、前記正解メッシュデータのポイントの数は、前記予測メッシュデータのポイントの数と同一であり、
前記ロスがＬであり、前記正解メッシュデータのポイントの数をＸ、前記正解メッシュデータのポイントを

、前記予測メッシュデータのポイントを

とするとき、

を満たす。

前記調製済み歯に対応する第１の正解データを、ディフォーマブルレジストレーションを用いて、連結関係が固定した第２の正解データに変換し、前記補綴物正解データは、前記第２の正解データである。

本発明の目的を実現するための一実施形態に係る３次元スキャンデータから補綴物を自動で生成するジェネレータは、２次元エンコーダと、３次元デコーダとを含む。前記２次元エンコーダは、３次元スキャンデータの調製済み歯に対する２次元投影画像を受信して、潜在ベクトルを出力する。前記３次元デコーダは、前記潜在ベクトルを受信して、前記調製済み歯に対する３次元補綴物をなす点の座標を生成する。

前記３次元スキャンデータから補綴物を自動で生成する方法を、コンピュータで実行させるためのプログラムは、コンピュータ読み取り可能な記録媒体に記録される。

本発明による３次元スキャンデータから補綴物を自動で生成する方法によると、前記３次元スキャンデータから、調製済み歯の調製済み情報が自動で抽出され、前記調製済み情報を基に、前記３次元スキャンデータを投影した２次元投影画像が生成され、２次元エンコーダ及び３次元デコーダを含む敵対的生成ネットワークを用いて、３次元補綴物を自動で生成することができる。

本発明の補綴物自動生成方法では、補綴物の２次元座標を生成して、３次元座標に復元せず、２次元エンコーダ及び３次元デコーダを含む敵対的生成ネットワークを用いて、補綴物の３次元座標を直接生成するので、２次元座標を３次元座標に復元するための複雑な後処理が不要である。

また、本発明の補綴物自動生成方法では、補綴物の３次元座標を直接生成するので、噛合面に対する情報が不足して、２次元座標を３次元座標に復元し難い前歯部領域にも適用することができる。

このように、前記３次元スキャンデータから補綴物が自動で生成されて、補綴物の製作時間及び過程を短縮することができ、補綴物の品質を向上することができる。

図１は、本発明の一実施形態に係る３次元スキャンデータから補綴物を自動で生成する方法を示すフローチャートである。 図２は、図１の３次元スキャンデータから補綴物を自動で生成する方法を示す詳細フローチャートである。 図３は、図２の調製済み歯のマージンラインを示す図である。 図４は、図１の調製済み歯の調製済み情報を抽出するステップを示す図である。 図５は、図１の２次元投影画像を生成するステップを示す図である。 図６は、図１の３次元補綴物モデルを生成するステップで用いる敵対的生成ネットワークを示す図である。 図７は、図６の敵対的生成ネットワークの学習に用いられる正解データを生成する方法を示す図である。 図８は、図６の敵対的生成ネットワークを学習する方法を示す図である。

本文に示されている本発明の実施形態に対して、特定の構造的乃至機能的説明は、単に、本発明の実施形態を説明するための目的として例示しており、本発明の実施形態例は、様々な形態で実施することができ、本文で説明された実施形態に限定されることと解釈されてはいけない。

本発明は、多様な変更を加えることができ、様々な形態を有することができ、特定の実施形態を図面に例示し、本文で詳細に説明しようとする。しかし、これは、本発明を特定の開示形態について限定しようとすることではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むことと理解されなければいけない。

第１、第２のなどの用語は、様々な構成要素を説明することに用いられるが、前記構成要素は、前記用語により限定されてはいけない。前記用語は、１つの構成要素を他の構成要素から区別する目的として使われる。例えば、本発明の権利範囲から逸脱しない状態で、第１の構成要素は、第２の構成要素と指し示すことができ、同様に、第２の構成要素も第１の構成要素と指し示すことができる。

ある構成要素が他の構成要素に「連結されて」いるか、「接続されて」いるとしたときは、その他の構成要素に直接的に連結又は接続されていることもできるが、中間に他の構成要素が存在することもできると理解すべきである。一方、ある構成要素が他の構成要素に「直接連結されて」いるか、「直接接続されて」いるとしたときは、中間に他の構成要素が存在しないことと理解すべきである。構成要素間の関係を説明する他の表現、すなわち、「～間に」と「直ぐ～間に」、又は「～に隣接する」と「～に直接隣接する」なども同様に解釈されるべきである。

本出願で使用した用語は、単に、特定の実施形態を説明するために使われており、本発明を限定しようとする意図ではない。単数の表現は、文脈上、明白に異なることを意味しない限り、複数の表現を含む。本出願において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、パーツ、又はこれらを組み合わせるものが存在することを指定しようとすることであり、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、パーツ、又はこれらを組み合わせたものの存在又は付加可能性を予め排除しないことと理解すべきである。

異なって定義しない限り、技術的や科学的な用語を含めて、ここで使われる全ての用語は、本発明が属する技術分野における通常の知識を有する者にとって、一般に理解されることと同様な意味を有している。一般に使われる辞典に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈されるべきであり、本出願で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されない。

一方、ある実施形態が異なって具現可能な場合に、特定のブロック内に明記された機能又は動作がフローチャートに明記した手順と異なって起きることもできる。例えば、連続する２つのブロックが、実際には実質的に同時に行われることもでき、関連する機能又は動作によっては、前記ブロックが逆に行われることもできる。

以下、添付の図面を参照して、本発明の好適な実施形態をより詳細に説明する。図面上の同一の構成要素に対しては、同一の符号を付し、同一の構成要素に対して重複した説明は、省略する。

図１は、本発明の一実施形態に係る３次元スキャンデータから補綴物を自動で生成する方法を示すフローチャートである。

図１に示しているように、本実施形態による３次元スキャンデータから補綴物を自動で生成する方法は、３次元スキャンデータから調製済み歯の調製済み情報を抽出するステップ（ステップＳ１００）と、前記調製済み情報を基に、前記３次元スキャンデータを投影した２次元投影画像を生成するステップ（ステップＳ２００）と、２次元エンコーダ及び３次元デコーダを含む敵対的生成ネットワーク（generative adversarial network）を用いて、前記２次元投影画像を基に、３次元補綴物を生成するステップ（ステップＳ３００）とを含む。

本実施形態の３次元スキャンデータから補綴物を自動生成する方法は、コンピューティング装置により行われる。

図２は、図１の３次元スキャンデータから補綴物を自動で生成する方法を示す詳細フローチャートである。図３は、図２の調製済み歯のマージンラインを示す図である。

図１乃至図３を参照すると、前記３次元スキャンデータから補綴物を自動で生成する方法は、前記調製済み歯のマージンライン（Margin Line、ML）を抽出するステップを更に含む。

本発明を利用するために、３次元スキャナから調製済み歯と共に、顎弓をスキャンした３次元スキャンデータ（３次元メッシュデータ）、及び前記調製済み歯のマージンライン（ML）が必要である。

ここで、前記３次元スキャンデータとは、歯牙及び口腔又はそれに倣うか再構成した対象を、３次元スキャナでスキャンしたデータをいう。例えば、前記３次元スキャンデータは、３次元点（vertex）と、前記点を連結して生成された三角形面（Triangle）又は四角形面（Rectangle）を含むメッシュ（Mesh）データである。前記３次元スキャンデータのファイル拡張子には制限がなく、例えば、ply、obj、stlのいずれか１つである。

ここで、前記調製済み歯は、クラウンのために用意された歯牙を意味し、前記調製済み歯は、歯牙の一部を削った歯牙を意味する。具体的に、シングルクラウンを生成するために、全体的な自然歯を消す磁出して、補綴物を被せやすいようにする過程が必要であり、この過程を経た自然歯を、前記調製済み歯と称する。また、前記マージンライン（ML）とは、前記調製済み歯の縁部を意味する。前記マージンライン（ML）は、前記調製済み歯と歯茎の境界部を示す。

図３には、前記調製済み歯の前記マージンライン（ML）を示している。例えば、前記マージンライン（ML）は、前記３次元スキャンデータから自動で抽出される。例えば、前記マージンライン（ML）は、前記３次元スキャンデータから人工知能神経網を用いて、自動で抽出される。

例えば、前記マージンライン（ML）を抽出するステップは、前記３次元スキャンデータから、前記調製済み歯に対応する部分スキャンデータを抽出するステップと、変換行列を用いて、前記部分スキャンデータを所定の２次元空間内にマッピングするステップと、前記２次元空間内にマッピングされたデータから曲率値を判断して、２次元マージンラインを得るステップと、前記変換行列の逆行列を用いて、前記２次元マージンラインを、３次元マージンラインに変換するステップとを含む。

例えば、前記曲率値は、最大曲率値、最小曲率値、ガウス曲率値、及び平均曲率値のいずれか１つである。

前記歯牙の上面の場合、曲率値が比較的一定の値を有する。一方、歯牙と歯牙の境界部、又は、歯牙と歯茎が当接する部分では、前記曲率値が大きく変化する。そこで、前記曲率値を用いて、前記歯牙のマージンライン（ML）を判断することができる。

図４は、図１の調製済み歯の調製済み情報を抽出するステップ（ステップＳ１００）を示す図である。

図１乃至図４を参照すると、前記３次元スキャンデータを、ディープラーニングモデルの入力に入れるためには、前記３次元スキャンデータの調製済み歯に対する調製済み情報を抽出する過程（Prep Info Extractor）が必要である。

例えば、前記調製済み情報を抽出するステップ（ステップＳ１００）は、前記マージンライン（ML）を用いて抽出した調製済みメッシュデータを用いて、前記調製済み情報を抽出する。

例えば、前記調製済み情報は、前記調製済み歯の位置（p）及び方向（d）を含む。例えば、前記調製済み歯の前記位置（p）は、前記調製済みメッシュデータの重心（Prep center）である。

例えば、前記調製済み歯の位置がｐであり、前記調製済みメッシュデータの頂点の数がＫであり、前記頂点が、

であるとき、

を満たす。

これとは異なり、前記調製済み歯の前記位置（p）は、前記マージンライン（ML）の中心であるもある。

前記調製済み歯の前記方向（d）は、前記調製済みメッシュデータの面のノーマルベクトルを用いて、決められる。前記調製済み歯の前記方向（d）は、前記調製済み歯の突出方向を示す。前記調製済み歯の前記方向（d）は、前記調製済み歯に補綴物モデルが挿入される方向（Insertion Direction）を示す。

例えば、前記調製済み歯の前記方向がｄであり、前記調製済みメッシュデータの面の数がＮであり、前記ノーマルベクトルが

であり、x_optは、前記調製済みメッシュデータの点のノーマルベクトルが隠されない方向であり、Ｔは、行列の行と列を交換する入れ替え関数であるとき、

を満たす。

方向ｘにおいて、ノーマルベクトルｎが隠されないということを式で表すと、ｘ^Ｔｎ＞０であり、ｘとｎの間の角度が鋭角という意味である。ｘとｎの間の角度が鋭角であると、ｘ^Ｔｎ＞０であり、ｘとｎの間の角度が直角であると、ｘ^Ｔｎ＝０であり、ｘとｎの間の角度が鈍角であると、ｘ^Ｔｎ＜０になる。そのため、xoptは、各調製済みメッシュデータの面におけるノーマルベクトルとの角の平均値が最も低い方向という。

図５は、図１の２次元投影画像を生成するステップ（ステップＳ２００）を示す図である。

図１乃至図５を参照すると、前記調製済み歯の前記位置（p）及び方向（d）を基に、前記３次元スキャンデータを投影した２次元投影画像（Projected Images）を生成することができる。

前記３次元スキャンデータから補綴物を自動で生成する方法は、２次元投影画像を生成するステップ（ステップＳ２００）に前もって、前記３次元スキャンデータを所定の座標系の原点に所定の座標系の方向に整列するステップを更に含む。このように整列された３次元スキャンデータを、processed 3D Modelsと称する。

前記２次元投影画像は、投影平面（A_d1、A_d2、A_d3）を用いて、生成される。前記投影平面（A_d1、A_d2、A_d3）は、前記調製済み歯の前記位置（p）から所定の距離離れて配置され、前記調製済み歯の対合歯、又は前記調製済み歯の隣接歯が見えるように定義する。

例えば、前記３次元スキャンデータが上顎データ又は下顎データの１つだけを含む場合、前記２次元投影画像は、前記調製済み歯の隣接歯がよく見えるように定義する。

例えば、前記３次元スキャンデータが上顎データ及び下顎データをペアに含む場合、前記２次元投影画像は、前記調製済み歯の対合歯及び隣接歯がよく見えるように定義する。

前記２次元投影画像の画素値は、前記投影平面（A_d1、A_d2、A_d3）から、前記投影平面（A_d1、A_d2、A_d3）のノーマルベクトル（d₁、d₂、d₃）の方向に光線を発したとき、前記３次元スキャンデータにぶつかる最も近い点までの距離と定義する。これとは異なり、前記２次元投影画像の画素値は、前記投影平面（A_d1、A_d2、A_d3）から、前記投影平面（A_d1、A_d2、A_d3）のノーマルベクトル（d₁、d₂、d₃）の方向に光線を発したとき、前記３次元スキャンデータの透視図と定義することもできる。

図５では、前記２次元投影画像の数が３つの場合を示しているが、本発明は、これに限定されない。

図６は、図１の３次元補綴物モデルを生成するステップ（ステップＳ３００）で用いられる敵対的生成ネットワークを示す図である。

図１乃至図６を参照すると、前記敵対的生成ネットワークは、幾何学AI（Geometric AI）とも呼ばれる。

前記幾何学AIの入力は、前記２次元投影画像であり、前記幾何学AIの出力は、３次元補綴物モデルである。ここで、前記３次元補綴物モデルは、３次元シングルクラウンモデル（3D Crown Model）である。

前記敵対的生成ネットワークは、２次元エンコーダ（Image Encoder）、及び３次元デコーダ（Mesh Decoder）を含む。前記２次元エンコーダは、前記２次元投影画像を受信して、潜在ベクトルを出力する。前記３次元デコーダは、前記潜在ベクトルを受信して、前記３次元補綴物をなす点の座標を生成することができる。

具体的に、前記２次元エンコーダは、Ｍ枚の

サイズの投影された画像データを入側に受け、エンコードされた潜在ベクトル（latent vector）を出側に提供する関数である。

前記３次元デコーダでは、前記２次元エンコーダで作られた前記潜在ベクトルを入側に受け、最終的にクラウンモデルに該当する３次元出力を作り出す。

本発明では、連結関係が固定したデータに対して学習するため、前記３次元出力は、メッシュの各点の位置だけを予測することができる。これにより、定型化データのための２次元畳み込みではなく、非定型データに適用可能な演算を使用する。例えば、前記３次元デコーダは、GCN、ChebConv、GraphConv、PointNetConv、DynamicEdgeConv、SpiralConvなどのグラフ畳み込み演算を活用することができる。

図５に示しているように、２次元投影画像により、３次元クラウンメッシュを生成する。前記幾何学AIは、多方向で得た前記２次元投影画像を組み合わせて、前記３次元クラウンメッシュを生成する。前記敵対的生成ネットワークは、２次元画像情報を理解する画像デコーダと、２次元で理解した情報を３次元に再解析するメッシュデコーダとからなる。

図７は、図６の敵対的生成ネットワークの学習に用いられる正解データを生成する方法を示す図である。

図１乃至図７を参照すると、前記３次元スキャンデータから補綴物を自動で生成する方法は、前記敵対的生成ネットワークの学習に用いられる補綴物正解データを生成するステップを更に含む。前記補綴物正解データを生成するステップは、前記調製済み歯に対応する第１の正解データ（CR1）を、ディフォーマブルレジストレーションを用いて、連結関係が固定した第２の正解データ（CR2）に変換する。

例えば、前記補綴物正解データを生成するステップは、正六面体形状の最初モデル（M1）を８等分して、前記最初モデル（M1）が前記第１の正解データ（CR1）の形状に近くなるように変形して、前記第２の正解データ（M2）を生成することができる。

具体的に説明すると、本発明で提案する３次元クラウンモデルを生成するためには、前記幾何学AIの学習が必要である。前記幾何学AIの学習のためには、前記調製済み歯を含む３次元スキャンデータ、及び前記調製済み歯に対応する歯科技工士が作った実際クラウンメッシュデータ（CR1）が必要である。しかし、各患者の歯牙形態と特徴点の位置が異なり、スキャンデータの形状が一定でないため、歯科技工士が作ったクラウンメッシュデータ（CR1）をモデル学習にそのまま使用することは不自然である。

これに対する解決策として、歯科技工士が作ったクラウンメッシュデータ（CR1）を、一般の歯牙形状を代表するポリゴンメッシュ（歯牙ライブラリ）、正六面体の最初モデル、又は、球形最初モデルにディフォーマブルレジストレーション（deformable registration）する方法が用いられる。ディフォーマブルレジストレーションとは、不定の性質（連結関係）を有したソースメッシュを、既に定義されたターゲットメッシュの連結関係で合わせるようにする方法を言う。

それぞれの歯科技工士が作ったクラウンメッシュデータ（CR1）は、性質（連結関係）が互いに異なるが、前記ディフォーマブルレジストレーションを用いると、前記クラウンメッシュデータ（CR1）の性質を同一にすることができる。

図６から見るように、ディフォーマブルレジストレーションする方法として、メッシュシュリンクラップ（Mesh shrink wrapping）手法が用いられる。これは、正六面体のquad meshを多数のステップを経て分割し、且つ、ターゲット形状（CR1）を有するメッシュ形状に作り出す方式である。このように性質が同一になったクラウンメッシュデータ（CR2）は、モデルの訓練の正解データとして用いる。

すなわち、図６のメッシュシュリンクラップ手法により、正六面体形状の初期メッシュ（M1）にステップ別アルゴリズムを適用して、Ｍ２、Ｍ３、Ｍ４、Ｍ５などの中間データを生成し、最終的に前記第１の正解データ（CR1）のような形状を有した連結関係が固定した第２の正解データ（CR2）を生成することができる。

図８は、図６の敵対的生成ネットワークを学習する方法を示す図である。

図１乃至図８を参照すると、前記３次元スキャンデータから補綴物を自動で生成する方法は、前記敵対的生成ネットワークを学習するステップを更に含む。

前記敵対的生成ネットワークを学習するステップは、補綴物正解データ（例えば、図７のCR2）を、３次元エンコーダ（Mesh Encoder）に入力して、潜在ベクトル（Z）を生成し、前記潜在ベクトルを前記３次元デコーダ（Mesh Decoder）に入力して、前記補綴物正解データ（例えば、図７のCR2）に復元させる第１の学習ステップ（Training Stage 1）を含む。ここで、前記補綴物正解データは、前記第２の正解データ（CR2）である。

例えば、前記敵対的生成ネットワークを学習するステップは、ジェネレータ（generator）を用いて、学習３次元補綴物を生成し、ディスクリミネータ（discriminator）を用いて、前記学習３次元補綴物がトゥルー（True）であるか、フェイク（Fake）であるかを判断する第２の学習ステップ（Training Stage 2）を更に含む。

例えば、前記ジェネレータは、前記２次元エンコーダ（Image Encoder）と、前記第１の学習ステップ（Training Stage 1）で学習された前記３次元デコーダ（Pretained Mesh Decoder）を含む。前記ディスクリミネータは、前記第１の学習ステップ（Training Stage 1）で学習された前記３次元エンコーダ（Pretained Mesh Encoder）を含む。

前記敵対的生成ネットワークを学習するステップにおいて、学習目的関数は、正解メッシュデータの点、及び予測メッシュデータの点の間の距離差を比較するロス（loss）を用いる。前記正解メッシュデータの点の数は、前記予測メッシュデータの点の数と同じである。前記ロスがＬであり、前記正解メッシュデータの点の数をＸ、前記正解メッシュデータの点を

、前記予測メッシュデータの点を

とすると、

を満たす。

具体的に説明すると、敵対的生成ネットワークは、２つのモデルジェネレータ及びディスクリミネータを含む。敵対的生成ネットワークは、さらに良い結果を有するために、下記のような最適化方法を用いる。

連結関係が固定しているので、正解データの点

とディープラーニングモデルが予測した点

は、一対一対応する。そこで、chamfer lossのような複雑度の高いlossを使わなくてもよい。本発明で提案するディープラーニングモデルを訓練するために、簡単なL₁ L₂ lossで訓練することができる。

学習は、２つのステップからなる。第１の学習ステップ（Training Stage 1）において、まず、潜在ベクトル（Z）から３次元補綴物データを表現するために、メッシュデコーダを学習させる。これは、オートエンコーダ（autoencoder）の訓練方式を用いる。メッシュエンコーダの入力で正解データ（CR2）を入れ、正解データ（CR2）のサイズを潜在空間のベクトル（Z）で圧縮し膨張して、元の状態に復元する過程を繰り返す。かくして、メッシュエンコーダ及びメッシュデコーダが固定した連結関係を理解できるようにする。

第２の学習ステップ（Training Stage 2）として、敵対的生成ネットワーク（GAN）構造モデルを学習させる。ジェネレータは、２次元画像から特徴ベクトルを抽出する画像エンコーダと、前記第１の学習ステップ（Training 1）で学習させたメッシュデコーダとから構成されており、ディスクリミネータは、前記第１の学習ステップ（Training 1）で学習させたメッシュエンコーダから構成されている。前記ジェネレータが２次元投影画像を用いて、３次元補綴物データを作ると、ディスクリミネータは、これが如何にリアルであるかを判別し、判別した情報をジェネレータに提供することで、前記ジェネレータが訓練される。このように訓練した前記ジェネレータは、結果物は、別の複雑なアルゴリズムなく、簡単な後処理だけでも、使用可能な３次元補綴物である。

本実施形態によると、前記３次元スキャンデータから、調製済み歯の調製済み情報が自動で抽出され、前記調製済み情報を基に、前記３次元スキャンデータを投影した２次元投影画像が生成され、２次元エンコーダ及び３次元デコーダを含む敵対的生成ネットワークを用いて、３次元補綴物を自動で生成することができる。

本発明の補綴物自動生成方法では、補綴物の２次元座標を生成して、３次元座標に復元することなく、２次元エンコーダ及び３次元デコーダを含む敵対的生成ネットワークを用いて、補綴物の３次元座標を直接生成するので、２次元座標を３次元座標に復元するための複雑な後処理が不要である。

また、本発明の補綴物自動生成方法では、補綴物の３次元座標を直接生成するので、噛合面に対する情報が不足して、２次元座標を３次元座標で復元し難い前歯部領域にも適用することができる。

このように、前記３次元スキャンデータから、補綴物が自動生成されることで、補綴物の製作時間及び過程を短縮することができ、補綴物の品質を向上することができる。

本発明の一実施形態によると、前記実施例による３次元スキャンデータから補綴物を自動で生成する方法を、コンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。前記方法は、コンピュータで実行されるプログラムで作成可能であり、コンピュータ読取り可能媒体を用いて、前記プログラムを動作させる汎用デジタルコンピュータで具現可能である。また、前記方法で用いられたデータの構造は、コンピュータ読取り可能媒体に、複数の手段により記録される。前記コンピュータ読取り可能媒体は、プロラム命令、データファイル、データ構造などを、単独又は組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特に設計され構成されたものや、コンピュータソフトウェア分野の通常の技術者に公知されて使用可能なものである。コンピュータ読取り可能な記録媒体としては、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、プロプティカルディスクのような磁気-光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し、実行するように特に構成されたハードウェア装置が含まれる。プログラム命令としては、コンパイラーにより作られるような機械語コードだけでなく、インタプリターなどを用いて、コンピュータにより実行される高級言語コードを含む。前述したハードウェア装置は、本発明の動作を行うために、１つ以上のソフトウェアモジュールとして作動するように構成される。

また、前述した３次元スキャンデータから補綴物を自動で生成する方法は、記録媒体に格納されるコンピュータにより実行されるコンピュータプログラム、又は、アプリケーションの形態にも具現可能である。

［産業上利用可能性］
本発明は、３次元スキャンデータから補綴物を自動で生成する方法及びこれをコンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体に関し、補綴物の製作のための手間を短縮し、補綴物の正確度及び生産性を向上することができる。

前記では、本発明の好適な実施形態を参照して説明したが、該当技術分野における熟練した当業者は、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で、本発明を様々に修正及び変更できることを理解するだろう。

Claims (13)

1. ３次元スキャンデータから調製済み歯の調製済み情報を抽出するステップと、
   前記調製済み情報を基に、前記３次元スキャンデータを投影した２次元投影画像を生成するステップと、
   ２次元エンコーダ及び３次元デコーダを含む敵対的生成ネットワークを用いて、前記２次元投影画像を基に、３次元補綴物データを生成するステップと、
   を含み、
   前記調製済み歯は、自然歯の一部を削った歯であり、
   更に、前記調製済み歯のマージンラインを抽出するステップを含み、
   前記調製済み情報を抽出するステップは、前記マージンラインを用いて抽出した調製済みメッシュデータを用いて、前記調製済み情報を抽出し、
   前記調製済み情報は、前記調製済み歯の位置及び前記調製済み歯の方向を含み、
   前記２次元投影画像は、投影平面を用いて生成され、
   更に、前記敵対的生成ネットワークの学習に用いられる補綴物正解データを生成するステップを含み、
   前記補綴物正解データを生成するステップは、前記調製済み歯に対応する第１の正解データを、ディフォーマブルレジストレーションを用いて、連結関係が固定した第２の正解データに変換し、
   更に、前記敵対的生成ネットワークを学習するステップを含み、
   前記敵対的生成ネットワークを学習するステップは、補綴物正解データを３次元エンコーダに入力して、潜在ベクトルを生成し、前記潜在ベクトルを前記３次元デコーダに入力して、前記補綴物正解データに復元させる第１の学習ステップを含み、
   前記補綴物正解データは、前記第２の正解データであり、
   前記敵対的生成ネットワークを学習するステップは、更に、
   ジェネレータを用いて、学習３次元補綴物データを生成し、ディスクリミネータを用いて、前記学習３次元補綴物データがトゥルーであるか否かを判断する第２の学習ステップを含むことを特徴とする３次元スキャンデータから補綴物データを自動で生成する方法。
2. 前記調製済み歯の前記位置は、前記調製済みメッシュデータの重心であることを特徴とする、
   請求項１に記載の３次元スキャンデータから補綴物データを自動で生成する方法。
3. 前記調製済み歯の前記位置は、前記マージンラインの中心であることを特徴とする、
   請求項１に記載の３次元スキャンデータから補綴物データを自動で生成する方法。
4. 前記調製済み歯の前記方向は、前記調製済みメッシュデータの面のノーマルベクトルを用いて決められることを特徴とする、
   請求項１に記載の３次元スキャンデータから補綴物データを自動で生成する方法。
5. 前記調製済み歯の前記方向がｄであり、前記調製済みメッシュデータの面の数がＮであり、前記ノーマルベクトルが
   
   であり、xoptは、前記調製済みメッシュデータの点のノーマルベクトルが隠されない方向であり、Ｔは、行列の行と列を交換する入れ替え関数であるとき、
   
   を満たすことを特徴とする、
   請求項４に記載の３次元スキャンデータから補綴物データを自動で生成する方法。
6. 前記投影平面は、前記調製済み歯の前記位置から所定の距離だけ離れて配置され、前記調製済み歯の対合歯又は前記調製済み歯の隣接歯が見えるように定義されることを特徴とする、
   請求項１に記載の３次元スキャンデータから補綴物データを自動で生成する方法。
7. 前記２次元投影画像の画素値は、前記投影平面から前記投影平面のノーマルベクトル方向に光線を発したとき、前記３次元スキャンデータにぶつかる最も近い点までの距離に定義されることを特徴とする、
   請求項６に記載の３次元スキャンデータから補綴物データを自動で生成する方法。
8. 前記２次元エンコーダは、前記２次元投影画像を受信して、潜在ベクトルを出力することを特徴とする、
   請求項１に記載の３次元スキャンデータから補綴物データを自動で生成する方法。
9. 前記３次元デコーダは、前記潜在ベクトルを受信して、前記３次元補綴物データをなす点の座標を生成することを特徴とする、
   請求項８に記載の３次元スキャンデータから補綴物データを自動で生成する方法。
10. 前記補綴物正解データを生成するステップは、正六面体形状の最初モデルを８等分し、且つ、前記最初モデルが前記第１の正解データの形状に近くなるように変形して、前記第２の正解データを生成することを特徴とする、
    請求項１に記載の３次元スキャンデータから補綴物データを自動で生成する方法。
11. 前記ジェネレータは、前記２次元エンコーダと、前記第１の学習ステップで学習された前記３次元デコーダとを含み、
    前記ディスクリミネータは、前記第１の学習ステップで学習された前記３次元エンコーダを含むことを特徴とする、
    請求項１に記載の３次元スキャンデータから補綴物データを自動で生成する方法。
12. 前記敵対的生成ネットワークを学習するステップにおいて、学習目的関数は、正解メッシュデータのポイント及び予測メッシュデータのポイントの間の距離差を比較するロスを用い、
    前記正解メッシュデータのポイントの数は、前記予測メッシュデータのポイントの数と同一であり、
    前記ロスがＬであり、前記正解メッシュデータのポイントの数をＸ、前記正解メッシュデータのポイントを
    
    、前記予測メッシュデータのポイントを
    
    とするとき、
    
    を満たすことを特徴とする、
    請求項１に記載の３次元スキャンデータから補綴物データを自動で生成する方法。
13. 請求項１乃至１２のいずれか一項の方法を、コンピュータで実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。