JP7564637B2 - 情報処理システム、情報処理方法、及び制御プログラム - Google Patents

Description

本発明は、ユーザの口腔状態に適したオーラルケア商品等の推奨される情報を提示することが可能となる、情報処理システム、情報処理方法、及び制御プログラムに関する。

歯ブラシを購入する際、自分の口腔状態に最適な商品であるかどうかの判断は難しい。本出願人はすでに、歯ブラシに装着するセンサ付きの端末（センサーデバイス）から当該ユーザの日常のオーラルケアの実態（歯ブラシを用いて口腔内のどの部分をどのような動かし方・強さ・時間でブラッシングしているか等）について情報を取得し、このような日常のオーラルケアの実態とユーザの属性情報（年齢等）とに基づき、当該ユーザに推奨する歯磨きブラッシングを改善するための情報やその他オーラルケア商品の情報などを提供するシステムが提案されている（特許文献１）。

このシステムはユーザの日常のオーラルケアの実態をセンサデバイスを用いて主に「ケア操作の内容」を把握し、これに基づいて口腔内の状態を推測し、改善を提案するものであり、実際にユーザの口腔内の状態を把握するものではない。昨今は問診で、適切な歯ブラシを推奨するサービスが提供されているが、これも主観的なものである。

これに対し、口腔内の状態をセンサで把握することも勿論可能である。特許文献２では、歯科診療用として口腔内の歯のパノラマ画像（実画像／Ｘ線画像）を撮影できる撮像デバイスが提案されている。しかし、いずれにしても専用のセンサデバイスが必要となり、ユーザが日常これを利用することは容易ではない。

特開２０１７－６０６６１号公報 特開２０１２－１５７６８３号公報

そこで、本発明が前述の状況に鑑み、解決しようとするところは、ユーザが手軽に自身の口腔内の状態を提供でき、この口腔内の状態に基づいて当該ユーザに適した、推奨されるオーラルケア情報（商品、ケア改善情報など）を取得できるシステムを提供する点にある。

そこで、本発明者は上述の現況に鑑み、鋭意検討した結果、スマートフォンなどの情報端末に搭載されたカメラ等で、ユーザ自身で撮影した前歯のみの写真データを、画像認識ＡＩ（人工知能）を用いることで、歯科医や歯科衛生士による口腔全体の問診を行うことなしでも、ユーザの口腔状態に最適なオーラルケア商品を推奨できるシステムを発案した。すなわち本発明は、以下の発明を包含する。

（１） オーラルケアに関する情報を記憶するオーラルケア情報記憶部と、口腔の少なくとも一部の歯列を含む歯列画像を取得する画像取得部と、前記画像取得部が取得した歯列画像に基づき、歯又は歯肉に関する口腔状態を判定する口腔状態判定部と、前記口腔状態判定部が判定した口腔状態を入力として、前記オーラルケア情報記憶部に記憶されたオーラルケアに関する情報のうち、推奨される情報を抽出する情報抽出部とを備え、前記口腔状態判定部は、機械学習機構を有し、該機械学習機構による学習結果を参照して上記口腔状態を判定することを特徴とする情報処理システム。

（２） 前記口腔状態判定部は、前記画像取得部が取得した歯列画像について、歯又は歯肉に関する口腔状態の判定が可能か否かを判定する評価可否判定部を備え、判定が可能な歯列画像に基づき、前記口腔状態を判定する、（１）記載の情報処理システム。

（３） 前記画像取得部が取得した歯列画像について、顔を検出する顔検出部を更に備え、前記口腔状態判定部は、前記顔検出部で顔が検出された歯列画像について前記口腔状態を判定する、（１）又は（２）記載の情報処理システム。

（４） 前記口腔の本人から申告された歯又は歯肉に関する症状を含む申告情報を取得する申告情報取得部を備え、口腔状態判定部は、前記歯列画像および前記申告情報に基づき、歯又は歯肉に関する口腔状態を判定する（１）～（３）の何れかに記載の情報処理システム。

（５） 前記画像取得部が取得する歯列画像が、撮像手段により口腔を外側から撮像してなる歯列画像であり、前記口腔状態判定部は、前記歯列画像の下顎側の歯列の画像に基づき、前記口腔状態としての歯肉退縮を判定し、前記歯列画像の上顎側の歯列および下顎側の歯列の一方又は双方の画像に基づき、前記口腔状態としての歯間空隙を判定する（１）～（４）の何れかに記載の情報処理システム。

（６） 前記口腔状態判定部は、前記歯列画像の下顎側の歯列の画像について、前記口腔状態としての歯肉退縮を評価可能か否かを判定する第１の評価可否判定部を備え、評価可能な画像に基づき、前記歯肉退縮を判定し、且つ、前記歯列画像の上顎側の歯列および下顎側の歯列の一方又は双方の画像について、前記口腔状態としての歯間空隙を評価可能か否かを判定する第２の評価可否判定部を備え、評価可能な画像に基づき、前記歯間空隙を判定する、（５）記載の情報処理システム。

（７） オーラルケアに関する情報を記憶するオーラルケア情報記憶部を有したシステムにより実行される情報処理方法であって、口腔の少なくとも一部の歯列を含む歯列画像を取得する画像取得手順と、前記画像取得手順において取得した歯列画像に基づき、歯又は歯肉に関する口腔状態を判定する口腔状態判定手順と、前記口腔状態判定手順において判定された口腔状態を入力として、前記オーラルケア情報記憶部に記憶されたオーラルケアに関する情報のうち、推奨される情報を抽出する情報抽出手順とを含み、前記口腔状態判定手順は、システムが有する機械学習機構により、該機械学習機構による学習結果を参照して上記口腔状態を判定する情報処理方法。

（８） 前記口腔状態判定手順は、画像取得手順において取得した歯列画像について、歯又は歯肉に関する口腔状態の判定が可能か否かを判定する評価可否判定手順を含み、判定が可能な歯列画像に基づき、前記口腔状態を判定する（７）記載の情報処理方法。

（９） 前記画像取得手順において取得した歯列画像について、顔を検出する顔検出手順を更に含み、口腔状態判定手順は、前記画像取得手順において取得した歯列画像のうち、前記顔検出手順で顔が検出された歯列画像に基づき、歯又は歯肉に関する口腔状態を判定する、（７）又は（８）記載の情報処理方法。

（１０） 前記画像取得手順において取得する歯列画像が、撮像手段により口腔を外側から撮像してなる歯列画像であり、前記口腔状態判定手順は、前記歯列画像の下顎側の歯列の画像に基づき、前記口腔状態としての歯肉退縮を判定する手順と、前記歯列画像の上顎側の歯列および下顎側の歯列の一方又は双方の画像に基づき、前記口腔状態としての歯間空隙を判定する手順を含む、（７）～（９）の何れかに記載の情報処理方法。

（１１） 前記口腔状態判定手順は、前記歯列画像の下顎側の歯列の画像について、前記口腔状態としての歯肉退縮を評価可能か否かを判定し、評価可能な画像に基づき、前記歯肉退縮を判定する手順と、前記歯列画像の上顎側の歯列および下顎側の歯列の一方又は双方の画像について、前記口腔状態としての歯間空隙を評価可能か否かを判定し、評価可能な画像に基づき、前記歯間空隙を判定する手順とを含む、（１０）記載の情報処理方法。

（１２） （１）～（６）の何れかに記載の情報処理システムとしてコンピュータを機能させるための制御プログラムであって、上記画像取得部、上記口腔状態判定部、及び上記情報抽出部としてコンピュータを機能させるための制御プログラム。

以上にしてなる本願発明によれば、口腔の少なくとも一部の歯列を含む歯列画像を撮像手段で撮像すれば、この歯列画像に基づき、口腔状態判定部が機械学習機構を用いて、歯又は歯肉に関する口腔状態を判定し、これに基づき情報抽出部が当該ユーザに適したオーラルケアに関する情報を抽出して、ユーザに提供することができる。

撮像手段は、近年、普及している携帯電話（スマートフォン等）その他に通常装着されており、口を開いて可能な範囲の歯列を外側から撮影することは容易である。したがって、ユーザは手軽に自身の口腔内の状態を上記歯列画像として提供でき、推奨されるオーラルケア情報（商品、ケア改善情報など）を取得できる。また、一部の歯列の画像からでも機械学習で口腔内の状態を予測できるため、撮像手段による画像取得の仕方が少々悪くてもエラーになることなく判定を実行させることができる。

また、口腔状態判定部が、画像取得部の取得した歯列画像について、歯又は歯肉に関する口腔状態の判定が可能か否かを判定する評価可否判定部を備え、評価可能な歯列画像について前記口腔状態を判定するものでは、評価可能な歯列画像に絞ったうえで、効率よく口腔状態を判定することができる。

また、画像取得部が取得した歯列画像について、顔を検出する顔検出部を更に備え、口腔状態判定部が顔検出部で顔が検出された歯列画像について口腔状態を判定するものでは、顔以外の物体を誤って口領域と判断して次のステップに進めてしまうリスクを最小化できる。すなわち、一般的に、機械学習をベースとした判定モデルに未学習データを入力した場合、学習時の判定比率に合わせて判断することが多く、比率が多い方の判定になりやすいことから、顔以外の写真を歯列画像であるとして通してしまうと、以降のフローでも評価できる歯列であると判定してしまうリスクがあるが、このようなリスクを避けることができる。

また、口腔の本人から申告された歯又は歯肉に関する症状を含む申告情報を取得する申告情報取得部を備え、口腔状態判定部が、上記歯列画像に加え、前記申告情報に基づき、歯又は歯肉に関する口腔状態を判定するものでは、画像からでは導き出せない状態を当該申告情報によって、より正確に判定でき、推奨情報の確からしさを向上させることになる。

また、前記画像取得部が取得する歯列画像が、撮像手段により口腔を外側から撮像してなる歯列画像であり、前記口腔状態判定部は、前記歯列画像の下顎側の歯列の画像に基づき、前記口腔状態としての歯肉退縮を判定し、前記歯列画像の上顎側の歯列および下顎側の歯列の一方又は双方の画像に基づき、前記口腔状態としての歯間空隙を判定するものでは、外側から撮像した歯列画像であっても、効率的かつ精度よく各判定を行うことができる。

とくに、口腔状態判定部が、前記歯列画像の下顎側の歯列の画像について、前記口腔状態としての歯肉退縮を評価可能か否かを判定する第１の評価可否判定部を備え、評価可能な画像に基づき、前記歯肉退縮を判定し、且つ、前記歯列画像の上顎側の歯列および下顎側の歯列の一方又は双方の画像について、前記口腔状態としての歯間空隙を評価可能か否かを判定する第２の評価可否判定部を備え、評価可能な画像に基づき、前記歯間空隙を判定するものでは、このように評価項目各々で評価可不可判定を設けることで、撮り直しの発生率を出来るだけ下げ、使いやすいシステムとすることが可能となる。すなわち、複数の評価項目について一括で評価可否の判定を行った場合、各評価項目で判断に必要な情報量が異なることから、最も情報量を要するものに合わせた厳しい判定となり、取り直しの発生率が上がってしまうが、本例によればこれを回避することができる。

本発明の代表的な実施形態にかかる情報処理システムの概略構成を示すブロック図。 同じく情報処理システムによる処理手順を示すフロー図。 （ａ）は撮像手段で得られる歯列画像の一例を示す説明図、（ｂ）は該歯列画像のうち口腔（歯列）部分を拡大した説明図。 口腔状態判定部の構成の一例を示すブロック図。 教師付けされたデータが学習用データとテスト用データに分割され、学習用データが訓練用データと検証用データに分割されることを示す概念図。 実施例の評価可否判定部（第２の評価可否判定部）の人工知能モデルの性能を示す図。

次に、本発明の実施形態を添付図面に基づき詳細に説明する。

本実施形態にかかる情報処理システム１は、図１に示すように、処理装置２、記憶手段３、申告手段４、撮像手段５、情報表示部６および学習データ入力手段７を備えた、単または複数の情報処理装置１０で構成されている。情報処理装置１０は、具体的には処理装置２を中心に、記憶手段３、ポインティングデバイスやキーボード、タッチパネルなどの入力手段、ディスプレイなどの表示手段、その他図示しない通信制御部などを備えるコンピュータ装置である。

このような情報処理装置１０は、歯科医やオーラルケア商品を販売している店舗などに設置される専用の装置でもよいし、汎用のパーソナルコンピュータでもよい。ユーザが携帯するスマートフォンなどでもよい。

処理装置２は、マイクロプロセッサなどのＣＰＵを主体に構成され、図示しないＲＡＭ、ＲＯＭからなる記憶部を有して各種処理動作の手順を規定するプログラムや処理データが記憶される。記憶手段３は、情報処理装置１０内外のメモリやハードディスクなどからなる。情報処理装置１０に通信接続された他のコンピュータのメモリやハードディスクなどで一部又は全部の記憶部の内容を記憶してもよい。

処理装置２は、機能的には、申告手段４により入力される、口腔の本人から申告された歯又は歯肉に関する症状を含む申告情報を、記憶手段３のユーザ情報記憶部３１内の申告情報記憶部３１ａに記憶する処理を行う申告情報取得部２１と、撮像手段５により取得・送信されるユーザの歯列画像を取得し、ユーザ情報記憶部３１内の画像情報記憶部３１ｂに記憶する処理を行う画像取得部２２と、画像取得部２２が取得した歯列画像について、顔を検出する顔検出部２６と、画像取得部２２が取得した歯列画像について、手ブレやピンぼけがないか判定を行う手ブレ・ピンぼけ判定部２７と、前記申告情報および歯列画像に基づき、歯又は歯肉に関する口腔状態を判定し、該口腔状態の情報をユーザ情報記憶部３１内の口腔状態記憶部３１ｃに記憶する処理を行う口腔状態判定部２３と、前記口腔状態を入力として、オーラルケア情報記憶部３３に記憶されたオーラルケアに関する情報のうち推奨される情報を抽出する情報抽出部２４と、該情報をディスプレイに表示させる等してユーザに提示する情報出力処理部２５とを備えており、これらの処理機能は上記プログラムにより実現される。

申告情報取得部２１が取得する申告情報は、口腔の本人が申告する歯又は歯肉に関する症状を含む情報であり、歯肉炎症の症状（歯磨き時の出血の有無、程度）、知覚過敏の程度、口臭が気になるか否か、喫煙の有無、普段使用しているオーラルケア商品の情報、年齢や性別等の属性情報などが該当する。申告情報を入力する申告手段４は、上述のポインティングデバイスやキーボード、タッチパネルなどの入力手段を用いることができる。申告は口腔の本人であるユーザ自身が入力してもよいし、歯科医や店員などが本人に問診、ヒアリング等しながら入力してもよい。

画像取得部２２が取得する歯列画像は、撮像手段５により口腔を外側から撮像してなる歯列画像であり、口腔の少なくとも一部の歯列を含んでいる。図３（ａ）は、歯列画像５０の一例である。図示のように口腔の近くに定規５１やその寸法が広く知られている物（硬貨、歯ブラシのヘッド部など）をあてて歯列画像５０に一緒に写り込むようにすれば、歯の大きさＷ（上顎側の中切歯２本の幅）を判定することが可能である。ただし、この歯の大きさについては、上述の申告情報に基づいて判定することとすれば、歯列画像５０に上記定規５１等を写り込ませて撮影する手間を省くことができる。

撮像手段５はＣＣＤカメラなどが該当し、情報処理装置１０を構成するユーザのスマートフォンが備えるＣＣＤカメラでもよいし、情報処理装置１０を構成する専用のコンピュータ装置などに接続された外付けカメラ（例えば広角カメラや360度カメラ）、口腔内カメラなども該当する。３Ｄ撮影や口腔内３Ｄスキャンカメラ等の活用も可能である。口腔状態判定部２３が歯列画像から「歯又は歯肉に関する口腔状態」を判定するために用いる対象部位としては、歯間・歯肉辺縁・歯面（通常のカメラ撮影の場合は主に頬側）・歯列に着目することが好ましい。歯間部位からは、歯間が空いているかどうかにより歯間空隙の状態を、プラークが蓄積しているかどうかによりプラーク蓄積の有無を、う蝕があるかどうかにより隣接面う蝕の有無を判定できる。歯肉辺縁部位からは、歯肉が下がっているかどうかにより歯肉退縮の症状を、歯肉が腫れているまたは歯肉の色が赤みを帯びているかどうかにより歯肉炎症の症状を、プラークが蓄積しているかどうかによりプラーク蓄積の有無を、う蝕があるかどうかにより根面う蝕の有無を判定できる。歯面（頬側）からは、歯があるべきところにあるかどうかで欠損の症状を、着色の色と着色の付き方（例：タバコが原因の場合は前歯歯頸部に着色が偏るという仮説）により着色の有無及びその原因を、歯冠部が削れているかどうかにより食いしばりや歯軋りの有無を判定できる。このように、歯や歯肉の状態に関する項目を細分化し、個々の項目の判定を統合することで口腔状態を総合的に判断することが望ましい。

顔検出部２６は、画像取得部２２が取得した歯列画像について、顔を検出し、顔が検出できない場合は歯列の画像ではないと判定し、以後のステップを止めて撮り直しをさせるためのものである。具体的には、たとえばGoogle Cloud Vision APIなど、種々の公知の人工知能による顔検出機能を広く用いることができ、該顔検出機能により口の領域を切り出し、口腔状態を判定するために必要な程度、歯列が十分に写っているか否かを判定することもできる。

手ブレ・ピンぼけ判定部２７は、判定に適した画像特徴量（ラプラシアンフィルタ係数など）を画像から算出し、その値からピンボケの有無を判定する公知の方法を用いることができる。複数の画像特徴量を組み合わせて判定に用いることで、より様々な手ブレ・ピンぼけタイプの写真を手ブレ・ピンぼけとして検出することが期待できる。更に、一つの写真から得られる複数の画像特徴量を一つのベクトルとして、ベクトル間の手ブレ・ピンぼけの有無の判別にサポートベクターマシンやロジスティック回帰といった機械学習手法を用いる方法も考えられる。

本発明では、ユーザーは多種多様な端末及び撮影環境で撮影することが想定され、手ブレ・ピンぼけの有無にかかわらず、得られる各データのベクトルは高次元空間上で点在した分布を形成すると考えられる。このような場合に、画像特徴量の値からルールベース（値が所定の閾値以上かどうかで判別）で手ブレ・ピンぼけを判定するのではなく、より複雑な判別の境界面を学習出来るサポートベクターマシンなどの機械学習手法を用いて、画像特徴量の結果を組み合わせたベクトルから手ブレ・ピンぼけ判定を行った方が良い精度が期待できるため好ましい。

口腔状態判定部２３で判定される「歯又は歯肉に関する口腔状態」の具体的な例としては、歯の大きさ、歯間空隙の有無・程度、歯肉炎症の有無・程度、歯肉退縮の有無・程度以外に、歯並びや歯の形状、歯並びが正常でない（叢生）か否か、歯と歯茎の歯肉側の境界の腫れ具合、歯の着色状態（着色の色の違いや歯への着色の仕方）、象牙質の露出の有無・程度、歯の表面の削れ方、歯の楔状欠損（歯茎寄りの歯の部分の削れ）や歯折（歯の折れ）の有無・程度、歯や歯肉の濡れ度合い、歯の喪失や力が入りにくい歯の状態、口を閉じた時の顔の見た目（例えばほうれい線の深さ）から予測する筋肉の衰えの程度、口腔内の開け具合に基づく口腔周辺の筋肉の衰えの程度（縦方向の開き具合から舌骨上筋、外側翼突筋などの衰えの程度を判定し、横方向の開き具合から上唇挙筋、下唇下制筋など衰えの程度を判定する等）が挙げられる。

口腔状態判定部２３は、歯列画像に加えて申告情報に基づき歯又は歯肉に関する口腔状態を判定することで、画像からでは導き出せない状態を当該申告情報によって、より正確に判定することができる。これにより、機械学習する人工知能の予測精度も向上する。ユーザ毎の歯列特徴という観点以外に、開口に関わる筋肉や顎骨格の問題等により、上顎及び下顎の歯間・歯肉辺縁・歯面・歯列の全てが観察することが難しい場合も考えられるため、その場合は最低限必要な項目を判定の目的により設定し、単一もしくは複数部位の組み合わせを用いて判定を行うことが好ましい。例えば、一般的に上顎は歯肉側を深く写しづらいため、歯肉辺縁部位の判定は下顎を用いて行い、歯間や歯面(頬側)部位の判定は両顎を用いて行う方法が考えられる。また、口腔画像の上下方向ではなく左右方向に関しても、奥歯になるにつれピントが合わず画質が落ちるという問題があるため、歯科臨床的な観点で最低限必要な範囲を評価対象に設定することが好ましい。例えば、歯肉退縮については中切歯～犬歯中央部までを評価対象とする。

すなわち、歯又は歯肉に関する口腔状態として、たとえば歯の大きさ、歯間空隙の有無・程度、歯肉退縮の有無・程度を口腔状態判定部２３が判定する場合、歯列画像の上顎側の歯列の画像に基づき、「歯の大きさ」（たとえば前歯である中切歯２本分の幅寸法）を判定し、歯列画像の下顎側の歯列の画像に基づき、「歯肉退縮」を判定し、歯列画像の上顎側の歯列および下顎側の歯列の一方又は双方の画像に基づき、「歯間空隙の有無・程度」を判定することが効率的でありかつ精度が向上するため好ましい。

一般的に口を開けたとき、上顎より下顎の方が歯肉が露出しやすく、「歯肉退縮」や「歯間空隙の有無・程度」は主に下顎の歯列に基づき判定することが効率的でありかつ精度が向上する。他方、「歯の大きさ」については、上顎側の歯の大きさが推奨歯ブラシのサイズを選択するときに特に重要であるから、上顎側の歯列に基づき判定する。また、歯間空隙は歯によってばらつきが大きいことから、下顎側のみでなく上顎側の状態も考慮に入れることが、精度向上のうえで重要であることから、上顎側および下顎側の双方の歯列に基づき総合判定する。

図３（ｂ）は、歯列画像５０のうちの口腔部分の拡大図である。上記のとおり、「歯肉退縮」は下顎側の歯列のうち、犬歯Ｌ３の根元部９の画像領域を用いて判定することが効率的である。「歯間空隙の有無・程度」は、主に下顎の歯列のうち、中切歯Ｌ１同士の隙間８、中切歯Ｌ１と側切歯Ｌ２との隙間８の画像領域を用いるとともに、上顎の歯列の中切歯Ｕ１同士の隙間８、中切歯Ｕ１と側切歯Ｕ２との隙間８の画像領域も用いて総合的に判定することが好ましい。したがって、この画像領域が認識できない歯列画像については、エラー判定を出力するとともにユーザに対して再度の撮り直しを促すようにすることも好ましい。また、叢生（数歯にわたって歯が傾斜、あるいは転位して重なり合っている状態）の場合、叢生部位の歯肉辺縁が写しにくくなるため、歯肉退縮や歯肉炎症、歯肉辺縁部位のプラークやう蝕について、画像からは直接判定することが難しい。そこで、叢生以外の部位から一般的な口腔状態の判定をする方法も可能である。例えば、歯列を上下に２分割し、叢生が発生している部位が上顎または下顎のいずれかであることを判定し、もう片方の顎部位で口腔状態を判定する方法が考えられる。

口腔状態判定部２３は、機械学習機構２３０を有し、該機械学習機構２３０による学習結果を参照して上記口腔状態を判定する。機械学習機構２３０の学習方法は、ニューラルネットワークによるディープラーニングなどの任意の手法を用いることができる。

より具体的に、使用するアルゴリズムとしては、サポートベクターマシンのようないわゆる古典的な機械学習手法や、深層学習を用いることが出来る。深層学習では、一からネットワーク構造を構築する方法も考えられるが、ImageNetなどの大規模な画像データセットを予め学習済の学習済モデルを今回の課題に合わせて微改良して使用する転移学習と呼ばれる手法も有望である。学習済モデルとしては、画像分類の課題で一般的な畳み込みニューラルネットワーク（Convolutional Neural Network）をアルゴリズムのベースとしたResNetやDenseNet、MobileNetなどが候補の例として考えられる。

本例では、学習データ入力手段７から教師付けの学習データを入力する等して、学習により獲得したモデルパラメータを記憶手段３の学習データ記憶部３２に蓄積して行われる。たとえば口腔内の歯列全体の画像モデルとその教師付けのスコア（歯又は歯肉に関する口腔状態、たとえば上記例では歯の大きさ以外の「歯間空隙」や「歯肉退縮」の「有り」／「無し」・有りの場合の程度（重症度）など）が学習データとして入力される。また、これらの際に、少なくとも人間による教師付け（アノテーション）は口腔の一部を見て行うが、機械学習モデルの入力とする際は人間と同様に口腔画像のうち評価に用いた部分をトリミングする方法と、口腔全体を入力とする方法が考えられる。

なお、このような学習データにより教師付けの際、「有り」（正例）の発生頻度が低いときには、同様の集団であれば予測時も正例の発生頻度が低くなる。そこで、正例、負例の境界域が確定していない場合、一旦３段階（明らかに正、若干正、明らかに負）または４段階等で教師付けを行い、発生頻度や正例・負例の分離精度を見ながら境界域を決めることが好ましい。

口腔状態判定部２３が判定する「歯又は歯肉に関する口腔状態」として、各歯ごとの状態を判定することも好ましい例である。このように各歯ごとの状態を判定することにより、具体的にどの部分がどうであるか、という部位毎の状態判定ができ、仮に口腔全体の状態として悪いと判定される場合（たとえば歯肉退縮していると判定される場合）に、具体的にどの部分に起因しているのか（どの歯の歯肉が退縮しているのか）を判定できるため、「オーラルケアに関する情報」として特定部位のポイントケア用のオーラルケア情報の推奨をする等、よりユーザの個別の状態に合わせたレコメンド設計が期待でき、ユーザの理解を深めることもできる。また、このように各歯ごとの状態を判定できれば、叢生が発生している歯を特異的に検出し、叢生の歯以外を口腔状態判定に用いる方法が考えられる。叢生部位を特定することで、叢生部位と、それ以外の部位を具体的に口腔画像上で提示しながら、異なる最適なオーラルケア情報を推奨することも可能となる。
また、公知の顔検出機能（Google Cloud Vision APIなど）を用いて、口の左右両端、上顎中央及び下顎中央の検出座標値に基づき、口検出の矩形領域を上下に２分割して上顎領域と下顎領域とを分け、モデルに入力する方法も好ましい例である。上顎と下顎の分離境界がブレる可能性があるが、口腔判定に必要な情報は矩形領域の縦方向の両端のため、分離境界のブレによる大きな影響はない。

教師付けは、ディープラーニングのネットワーク構造を一から構築する方法以外に、画像認識コンペ優勝等の既存のモデルの転移学習を用いる方法も可能である。歯列画像に画像処理を行って教師データの水増し（Data Augmentation）を行うことも好ましい。教師データの水増しは、一般的に用いられているようにノイズの増大化、コントラストや明るさの調整、平均化フィルタ、拡大、縮小、反転（左右／上下）、回転、シフト、部分マスク、トリミング、変形、変色などの処理手法を用いることができ、本実施形態では、とくに口腔部分の歯列の切り出しの範囲のブレが考えられるため、複数の切り出し範囲パターンで同じ教師付けをしたデータセットを学習することが効果的である。

このように教師付けされたデータは、図５に例示されるように、学習用データとテスト用データに所定の比率、たとえば８：２の比率でデータを分割し、更に学習用データは、訓練用データと検証用データに所定の比率、たとえば７：３の比率でデータを分割することが好ましい。データはランダムになるよう分割され、訓練用データと検証用データを用いて作成した人工知能（AI）モデルの汎化性能をテスト用データで評価することができる。

このような機械学習機構２３０を設けることで、たとえば前歯の表側（頬側）から裏側（舌側、口蓋側）の状態を精度よく予測・判定したり、前歯から奥歯（臼歯部）の状態を精度よく予測・判定することができる。

口腔状態判定部２３は、歯列画像について口腔状態の判定が可能か否かを判定する評価可否判定部を備え、該評価可否判定部により判定が可能な歯列画像に絞ったうえで、当該歯列画像に基づき口腔状態を判定することが好ましい。図４は、口腔状態判定部２３として、歯肉退縮の有無・程度を判定する歯肉退縮判定部２３２、歯間空隙の有無・程度を判定する歯間空隙判定部２３４、および歯並びが正常か否か判定する叢生判定部２３６を備える場合に、歯列画像から各判定部による評価が可能か否か判定する評価可否判定部（２３１／２３３／２３５）を各々備えた例を示している。

ここで、第１の評価可否判定部２３１および歯肉退縮判定部２３２は、下顎側の歯列の画像に基づいて判定することが好ましい。また、第２の評価可否判定部２３３および歯間空隙判定部２３４は、上顎側と下顎側の双方の歯列画像について、それぞれ判定することが好ましい。また、第３の評価可否判定部２３５は、口腔全体の歯列画像について判定し、叢生判定部２３６は上顎側と下顎側の双方の歯列画像について、それぞれ判定することが好ましい。

これら口腔状態判定部２３のうち第１の評価可否判定部２３１、歯肉退縮判定部２３２、第２の評価可否判定部２３３、歯間空隙判定部２３４、叢生判定部２３６の各判定部の機械学習機構２３０としては、画像分類の課題設定となるため、畳み込みニューラルネットワーク（Convolutional Neural Network）のアルゴリズムをベースとした手法を採用できる。ただし、ユーザーの撮影環境や撮影端末違いなどによる写り方の違いが生じるため、通常の畳み込みニューラルネットワークの手法だと、このような撮影環境などの違いが判定に影響してしまうリスクがある。

そこで、画像分類を行う手前の層で、データとして似ているものをデータ間の距離として近く、似ていないものを距離として遠くなるように、特徴ベクトルを生成する、距離学習（Metric learning）を用いることが好ましい。これにより、判別においては非本質的な撮影環境によるブレを無視して、判別に重要な情報（例えば歯間空隙であれば歯と歯の間の隙間の程度）を距離の違いとして学習することで精度向上が期待でき、未学習の撮影環境パターンでもきちんと判別できるといった汎化性能も期待することができる。

歯列画像から叢生判定部２３６による評価が可能か否か判定する第３の評価可否判定部２３５の機械学習機構２３０としても、画像分類の課題設定となるため、一般的には、教師有り学習の画像分類の課題として畳み込みニューラルネットワークのアルゴリズムをベースとした手法を用いる。同手法では、評価可能な画像データと評価不能な画像データの双方の特徴を学習し、推論時には未知の画像データに対してどちらに属するかを確率的に予測する。但し今回の判定器は次の（ｉ）～（ｉｉｉ）の問題点がある。

（ｉ）検出すべき評価不能データが多種多様であるため、評価不能なデータのパターンを学習するために通常よりもデータが必要である点。判定フローの最初の方に位置するため、顔検出及び手振れ・ピンぼけの判定を通過した写真は全て含まれるため、評価不能データのパターンが多種多様となる。
（ｉｉ）評価不能の判定基準が緩いため、評価不能データの枚数が少ない点。これは、叢生評価可能の基準が緩い（ハグキまで見えなくとも叢生の評価付けは可能）ためである。
（ｉｉｉ）多種多様な評価不能データはそもそも得られにくい点。すなわち、正しい撮影方法を提示してデータを収集するため、評価不能データはそもそも得られにくい。意図的に評価不能データを作成するにしても、潜在的な評価不能データも含めて網羅的にデータを得るのは難しい。

このような問題点があることから、今回の課題では上記のような一般的な手法で精度を出すのは難しい。そこで、評価可能データと評価不能データの双方の特徴を学習するのではなく、評価可能データの評価可能らしさの特徴のみを学習し、似つかわしくないデータを検出する異常検知の手法を用いることが好ましい。異常検知の手法としては、局所密度を元に異常度を算出するLocal outlier factorなどが挙げられる。また、局所密度はデータ間の距離に依存するため、異常度を算出する手前の処理で、データとして似ているものをデータ間の距離として近く、似ていないものを距離として遠くなるように、異常度を算出するための特徴ベクトルを生成する距離学習(Metric learning)と呼ばれる手法を用いることも好ましい。更に、顔検出の技術を使う場合は、最も一般的な評価不能なパターンである口を閉じてしまう例を、上唇と下唇の距離と基準（例えば左目と右目の間の距離）との相対比率から、一定の閾値で除外する方法と組み合わせる方法も好ましい。

情報抽出部２４は、口腔状態判定部２３で判定された口腔状態に基づき、ユーザに最適なオーラルケアの情報をオーラルケア情報記憶部３３から抽出する。上述の具体的な例では、歯肉炎症の有無、歯肉退縮の有無、歯の大きさ、歯間空隙の有無の４つの口腔状態（判定結果）に基づき、推奨されるオーラルケア情報を抽出する。抽出方法は、たとえば所定の推奨ロジック（たとえば多変量解析など）に基づき、口腔状態（判定結果）から複数パターンの推奨されるオーラルケア具の組みあわせを抽出したり、最適な歯ブラシのヘッドサイズの提示やケアの方法など、当該ユーザに適したオーラルケア情報を抽出する。歯面（頬側）から補綴物の有無、種類を判定することで、補綴物特有のオーラルケア情報を追加で推奨する方法も考えられる。

たとえば、歯肉退縮の原因としては、磨き過ぎの場合と磨きが甘い場合とがあるが、後者の場合は歯肉の炎症も起きている場合が多いので、歯列画像や申告情報から判定される歯肉炎症状態と合わることで、いずれかを区別できる。情報抽出部２４も、口腔状態判定部２３と同様、機械学習により分析し、推測のうえ抽出することも好ましい。

また、口腔状態判定部２３で歯並びが正常でない（叢生）と判定された場合には、歯が前に出るため歯肉退縮の部分が撮像手段５による歯列画像に写りにくく歯肉退縮の有無を正確に判定できないことや、叢生特有の歯垢の溜まりやすさ等の傾向があることから、情報抽出部２４による抽出方法のロジックが通常の歯列の場合と異なるように設定されることが好ましい。たとえば、叢生の場合は、歯肉炎症の有無及び歯の大きさの２つの判定ロジックから、複数パターンの推奨されるオーラルケア具の組みあわせを抽出したり、叢生の場合に特有な追加のケア方法など、当該ユーザに適したオーラルケア情報を抽出する。すなわち、歯科臨床的な観点では、叢生かどうかにより最終的なアウトプットである推奨オーラルケア情報が異なる。例えば、歯間清掃具に関する推奨情報は歯間空隙の状態に基づきカスタマイズするが、叢生の場合は歯間空隙の有無に関わらず叢生部位の磨き易さの観点で歯間清掃具に関する推奨情報を決める方法が望ましく、更には叢生特有のオーラルケアアイテムを追加で推奨する方法が望ましい。

「オーラルケアに関する情報」の例としては、市販されている歯ブラシや歯間清掃具等の各種オーラルケア商品の種類・使用方法、オーラルケア商品の適正な選択基準や選択方法、最適な口腔ケア方法、年齢や性別の違いや妊産婦、乳幼児、要介護者により生じるオーラルトラブルとその予防や対処方法、最新のオーラル関連研究の紹介、義歯やインプラントに関する基礎知識、義歯に生じやすいトラブルとその予防方法、歯周病に関する予防や対処方法等の情報などが挙げられる。

また、次のような情報も「オーラルケアに関する情報」として好ましい。
・喪失リスクが高いと予測される歯（歯肉炎、歯周炎の進行により歯肉が退縮し、炎症が起きている（歯と歯茎の歯肉側の境界が腫れ気味）と喪失リスクが高い。）
・歯の着色の色の違いや歯への着色の仕方から推測される着色の原因（ヤニ、ポリフェノール、タンニン等）、歯垢、根面う蝕の存在
・象牙質の露出度や歯肉退縮等の状態から予測される知覚過敏リスク
・歯の表面の削れ方から予測される楔状欠損（歯茎寄りの歯の部分が削れる）、歯折（歯が折れる）のリスクや歯軋りの有無
・歯や歯肉の濡れ度合いから予測される口臭、口腔の不快感、う蝕、歯周病のリスク（口腔乾燥は口臭の原因や口腔の不快感だけでなく、菌が増殖しやすくなりう蝕、歯周病のリスクともなる。）
・歯垢が溜まりやすい部分の推測（たとえばハザードマップ的な表現）
・歯垢を強調した画像
・歯の喪失や力が入りにくい歯の状態から予測される、噛む力の衰え、オーラルフレイルのリスク
・口腔の開き具合から予測される、口腔周辺の筋肉の衰えのリスク（縦方向の開き具合は、舌骨上筋、外側翼突筋などと関係し、横方向の開き具合は、上唇挙筋、下唇下制筋などと関係する。）

また、ユーザのセンサ付きの端末（センサーデバイス）から当該ユーザの日常のオーラルケアの実態について情報を取得する情報取得部を設けたものでは、情報抽出部２４は、口腔状態判定部２３で判定された口腔状態に加えて、このような日常のオーラルケアの実態に基づき、ユーザにより適したオーラルケアの情報をオーラルケア情報記憶部３３から抽出することができる。このようなセンサーデバイスとしては、たとえば、特開２０１７－６０６６１号公報に記載の口腔ケアサポートシステムの歯ブラシ用アタッチメント端末などのセンサー付きオーラルデバイスがあり、このデバイスからの情報を通信回線を通じて取得するようにすればよい。

このようなデバイスから取得するオーラルケアの実態としては、たとえば歯磨き行為のパターンとして、スイッチ信号により取得される歯ブラシの日時、タイマーにより取得されるブラッシング時間、ジャイロセンサにより取得されるブラッシング部位、加速度センサにより取得されるブラッシング速度、歪みゲージや圧力センサにより取得されるブラッシング圧などが該当する。

さらに、口腔状態判定部２３で判定された歯の大きさや歯の形状から、その人に最適なカスタマイズ歯ブラシを処方する仕組みも可能である。このようなカスタマイズ歯ブラシは３Ｄプリンタ技術で実現可能である。

情報出力処理部２５は、情報抽出部２４が抽出した「オーラルケアに関する情報」をディスプレイに表示させる等してユーザに提示する。ユーザのスマートフォンに送信して画面に表示させるようにしてもよい。ユーザは提示された情報に基づき、推奨される商品や情報を知り、活用することが可能となる。

図２は、本実施形態の情報処理システム１による処理手順を示すフロー図である。
まず、申告手段４を通じてユーザである口腔の本人が、歯又は歯肉に関する症状を含む情報を申告し、申告情報取得部２１がこの申告情報を取得して申告情報記憶部３１ａに記憶する（Ｓ１）。続けて、撮像手段５を通じてユーザが口の画像を写し、画像取得部２２が当該歯列画像を取得し、画像情報記憶部３１ｂに記憶する（Ｓ２）。

次に、顔検出部２６が、画像取得部２２が取得した歯列画像について、顔を検出し、顔が検出できない場合は歯列の画像ではないと判定し、以後のステップを止めて撮り直しをさせる（Ｓ３）。Ｓ３で顔を検出できた場合は、次に、手ブレ・ピンぼけ判定部２７が、同じく歯列画像について、機械学習手法を用いる等して手ブレ・ピンぼけの有無を判定し、手ブレ・ピンぼけがあると判定された場合は、以後のステップを止めて撮り直しをさせる（Ｓ４）。

Ｓ４で手ブレ・ピンぼけが無いと判定された場合は、次に、口腔状態判定部２３は、機械学習機構２３０を用いて、前記申告情報記憶部３１ａに記憶されたユーザの申告情報、および画像情報記憶部３１ｂに記憶した当該ユーザの歯列情報、および学習データ記憶部３２の学習データに基づき、歯の大きさ、歯間空隙の有無・程度、歯肉炎症の有無・程度、歯肉退縮の有無・程度、叢生の有無など、当該ユーザの歯又は歯肉に関する口腔状態を判定し、該判定された口腔状態の情報を口腔状態記憶部３１ｃに記憶する（Ｓ５）。

ここで、叢生の有無を含む複数の口腔状態を判定する場合については、叢生がある場合に他の判定に大きく影響を及ぼすことから、最初の段階で叢生の有無を判定し、叢生がなければ他の口腔状態も判定することが好ましい。また、歯列画像の上顎側、下顎側の双方について叢生の有無を判定する場合には、いずれか一方で叢生ありの判定が出れば、全体として叢生ありと判定し、双方で叢生が無かった場合に限り、叢生なしと判定することが好ましい。

次に、情報抽出部２４が、前記口腔状態記憶部３１ｃに記憶された口腔状態に基づき、所定の推奨ロジックを用いて、当該ユーザに最適なオーラルケアの情報をオーラルケア情報記憶部３３から抽出し（Ｓ６）、情報出力処理部２５が該抽出された情報を情報表示部６に表示することでユーザに提示する（Ｓ７）。

以上、本発明の実施形態について説明したが、本発明はこうした実施例に何ら限定されるものではなく、例えば、処理装置をコンピュータによるソフトウエア処理で構成する代わりに、一部又は全部をハードウエア処理回路で構成することも好ましく、この場合、機械学習機構として人工知能用処理回路を用いることもでき、本発明の要旨を逸脱しない範囲において種々なる形態で実施し得ることは勿論である。

次に、口腔状態判定部２３、手ブレ・ピンぼけ判定部２７について、各判定部の確からしさ、本例では人工知能（ＡＩ）モデルの性能を確認した結果について説明する。なお、ここでは上顎側の歯間空隙判定の前提となる評価可否判定部（第２の評価可否判定部）について、人工知能モデル性能を確認した結果のみ示すが、他の判定部についても、同様の性能が得られることを確認している。

明らかに評価不能である画像（削除対象）及び、削除対象を除外した写真での再仕分けで評価不能と教師付けした画像（空隙評価不能画像）を評価不能ラベルとした。

結果を下記表２、表３および図６に示す。評価不能データの方が少ないという偏りのあるデータとなっているが、枚数が少ないにも関わらず、評価不能データも９０%以上の正解率で予測出来ていることが確認できる。

また、テスト用データにおいて、評価可能と予測したデータのうち９３%が実際に評価可能となっており（Precisionの指標での予測）、実際に評価可能なデータのうち評価可能と予測できているデータは９６%（Recallの指標での予測）という結果であり、概ね評価可否判定部として精度の高い予測が出来ていることが確認された。

１ 情報処理システム
２ 処理装置
３ 記憶手段
４ 申告手段
５ 撮像手段
６ 情報表示部
７ 学習データ入力手段
８ 隙間
９ 根元部
１０ 情報処理装置
２１ 申告情報取得部
２２ 画像取得部
２３ 口腔状態判定部
２３０ 機械学習機構
２４ 情報抽出部
２５ 情報出力処理部
２６ 顔検出部
２７ 手ブレ・ピンぼけ判定部
３１ ユーザ情報記憶部
３１ａ 申告情報記憶部
３１ｂ 画像情報記憶部
３１ｃ 口腔状態記憶部
３２ 学習データ記憶部
３３ オーラルケア情報記憶部
５０ 歯列画像
５１ 定規
２３１ 第１の評価可否判定部
２３２ 歯肉退縮判定部
２３３ 第２の評価可否判定部
２３４ 歯間空隙判定部
２３５ 第３の評価可否判定部
２３６ 叢生判定部
Ｌ１ 中切歯
Ｌ２ 側切歯
Ｌ３ 犬歯
Ｕ１ 中切歯
Ｕ２ 側切歯

Claims (9)

1. オーラルケアに関する情報を記憶するオーラルケア情報記憶部と、
   口腔の少なくとも一部の歯列を含む歯列画像を取得する画像取得部と、
   画像認識を行う機械学習機構を有し、該機械学習機構によって、前記画像取得部が取得した歯列画像に基づき、歯又は歯肉に関する口腔状態を判定する口腔状態判定部と、
   所定の推奨ロジック又は機械学習に基づき、前記口腔状態判定部が判定した前記口腔状態から、前記オーラルケア情報記憶部に記憶されたオーラルケアに関する情報のうち、推奨される情報を抽出する情報抽出部とを備え、
   前記口腔状態判定部は、前記画像取得部が取得した歯列画像について、前記機械学習機構によって、評価可能な画像データの特徴を学習し、前記歯又は歯肉に関する口腔状態の評価が可能か否かを判定する評価可否判定部を備え、前記評価可否判定部によって口腔状態の評価が可能であると判定された歯列画像に基づき、前記口腔状態を判定することを特徴とする情報処理システム。
2. 前記画像取得部が取得した歯列画像について、顔を検出する顔検出部を更に備え、
   前記口腔状態判定部は、前記顔検出部で顔が検出された歯列画像について前記口腔状態を判定する、
   請求項１記載の情報処理システム。
3. 前記画像取得部が取得する歯列画像が、撮像手段により口腔を外側から撮像してなる歯列画像であり、
   前記口腔状態判定部は、
   前記歯列画像の下顎側の歯列の画像に基づき、前記口腔状態としての歯肉退縮を判定し、
   前記歯列画像の上顎側の歯列および下顎側の歯列の一方又は双方の画像に基づき、前記口腔状態としての歯間空隙を判定する請求項１又は２に記載の情報処理システム。
4. 前記口腔状態判定部は、
   前記歯列画像の下顎側の歯列の画像について、前記口腔状態としての歯肉退縮を評価可能か否かを判定する、前記評価可否判定部としての第１の評価可否判定部を備え、評価可能な画像に基づき、前記歯肉退縮を判定し、
   且つ、前記歯列画像の上顎側の歯列および下顎側の歯列の一方又は双方の画像について、前記口腔状態としての歯間空隙を評価可能か否かを判定する、前記評価可否判定部としての第２の評価可否判定部を備え、評価可能な画像に基づき、前記歯間空隙を判定する、
   請求項３記載の情報処理システム。
5. オーラルケアに関する情報を記憶するオーラルケア情報記憶部を有したシステムにより実行される情報処理方法であって、
   口腔の少なくとも一部の歯列を含む歯列画像を取得する画像取得手順と、
   システムが有する画像認識を行う機械学習機構によって、前記画像取得手順において取得した歯列画像に基づき、歯又は歯肉に関する口腔状態を判定する口腔状態判定手順と、
   所定の推奨ロジック又は機械学習に基づき、前記口腔状態判定手順において判定された前記口腔状態から、前記オーラルケア情報記憶部に記憶されたオーラルケアに関する情報のうち、推奨される情報を抽出する情報抽出手順とを含み、
   口腔状態判定手順は、前記画像取得手順において取得した歯列画像について、前記機械学習機構によって、評価可能な画像データの特徴を学習し、歯又は歯肉に関する口腔状態の判定が可能か否かを判定する評価可否判定手順を含み、前記評価可否判定手順によって口腔状態の評価が可能であると判定された歯列画像に基づき、前記口腔状態を判定する情報処理方法。
6. 前記画像取得手順において取得した歯列画像について、顔を検出する顔検出手順を更に含み、
   口腔状態判定手順は、前記画像取得手順において取得した歯列画像のうち、前記顔検出手順で顔が検出された歯列画像に基づき、歯又は歯肉に関する口腔状態を判定する、
   請求項５記載の情報処理方法。
7. 前記画像取得手順において取得する歯列画像が、撮像手段により口腔を外側から撮像してなる歯列画像であり、
   前記口腔状態判定手順は、
   前記歯列画像の下顎側の歯列の画像に基づき、前記口腔状態としての歯肉退縮を判定する手順と、
   前記歯列画像の上顎側の歯列および下顎側の歯列の一方又は双方の画像に基づき、前記口腔状態としての歯間空隙を判定する手順を含む、請求項５又は６に記載の情報処理方法。
8. 前記口腔状態判定手順は、前記評価可否判定手順として、
   前記歯列画像の下顎側の歯列の画像について、前記口腔状態としての歯肉退縮を評価可能か否かを判定し、評価可能な画像に基づき、前記歯肉退縮を判定する手順と、
   前記歯列画像の上顎側の歯列および下顎側の歯列の一方又は双方の画像について、前記口腔状態としての歯間空隙を評価可能か否かを判定し、評価可能な画像に基づき、前記歯間空隙を判定する手順とを含む、
   請求項７記載の情報処理方法。
9. 請求項１～４の何れか１項に記載の情報処理システムとしてコンピュータを機能させるための制御プログラムであって、上記画像取得部、上記口腔状態判定部、及び上記情報抽出部としてコンピュータを機能させるための制御プログラム。

Images