JP6936826B2 - 画像処理装置、表示システム、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、表示システム、画像処理方法、および画像処理プログラムに関し、特に、口腔内の複数の歯牙を含む歯列の画像を処理する画像処理装置、該画像を表示する表示システム、該画像を処理する画像処理方法、および該画像を処理する画像処理プログラムに関する。

従来、三次元スキャナで口腔内の歯列をスキャンし、該三次元的にスキャンした歯列の画像を表示装置に表示させる技術が提案されている。たとえば、特許文献１に記載の技術では、歯列画像をどこまでスキャンできたかをユーザに認識させるように、歯列の画像を表示装置に表示させる技術が提案されている。

特開２０１７−２０９３０号公報

ところで、口腔内の歯列のスキャン中に、スキャンしきれていない撮り残し部分の有無を確認する確認処理をユーザが行いたい場合がある。特許文献１記載の技術では、スキャン中に一視点からの歯列画像のみを表示していたため、他の視点を含めて確認処理を行なうためには、マウスなどを操作して、歯列の画像を回転させる必要がある。ところが、ユーザがスキャン中に外部機器に触れることは衛生的に好ましくない。そこで、衛生面を考慮して、ユーザが手袋を装着して外部機器に触れること、および外部機器にディスポーザブルなカバーを装着させることが考えられる。しかしながら、手袋やカバーを用いると手間が増えるため、ユーザによる歯列画像の確認処理の利便性が低下するという問題があった。

本発明は、上記問題点を解決するためになされたものであり、ユーザによる歯列画像の確認処理の利便性を向上させる画像処理装置、表示システム、画像処理方法、および画像処理プログラムを提供することを目的とする。

ある実施の形態に従う画像処理装置は、口腔内の複数の歯牙を含む歯列の三次元データを取得する取得部と、前記歯列に対する視点が異なる複数の画像の画像データを、前記取得部により取得された前記三次元データに基づいて生成する生成部と、前記生成部により生成された前記画像データを表示部に出力する出力部とを備え、前記生成部は、前記複数の画像の画像データとして、第１視点方向からの前記歯列を示す第１画像データと、前記第１視点方向と正の所定角度をなす第２視点方向からの前記歯列を示す第２画像データと、前記第１視点方向と負の前記所定角度をなす第３視点方向からの前記歯列を示す第３画像データとを生成し、前記第１画像データに基づく第１画像の両隣に、前記第２画像データに基づく第２画像と前記第３画像データに基づく第３画像とが位置し、かつ、前記第１画像、前記第２画像、および前記第３画像の位置関係が対応して前記表示部が表示するように、前記第１画像データ、前記第２画像データ、および、前記第３画像データを調整する。

別の局面によれば、表示システムは、口腔内の複数の歯牙を含む歯列の三次元データを生成する三次元スキャナと、画像処理装置と、表示部とを備え、前記画像処理装置は、前記三次元スキャナから、前記三次元データを取得する取得部と、前記歯列に対する視点が異なる複数の画像の画像データを、前記取得部により取得された前記三次元データに基づいて生成する生成部と、前記生成部により生成された前記画像データを前記表示部に出力する出力部とを備え、前記表示部は、前記出力部から出力された前記画像データに基づき前記複数の画像を表示し、前記生成部は、前記複数の画像の画像データとして、第１視点方向からの前記歯列を示す第１画像データと、前記第１視点方向と正の所定角度をなす第２視点方向からの前記歯列を示す第２画像データと、前記第１視点方向と負の前記所定角度をなす第３視点方向からの前記歯列を示す第３画像データとを生成し、前記第１画像データに基づく第１画像の両隣に、前記第２画像データに基づく第２画像と前記第３画像データに基づく第３画像とが位置し、かつ、前記第１画像、前記第２画像、および前記第３画像の位置関係が対応して前記表示部が表示するように、前記第１画像データ、前記第２画像データ、および、前記第３画像データを調整する。

別の局面によれば、画像処理方法は、口腔内の複数の歯牙を含む歯列の三次元データを取得するステップと、前記歯列に対する視点が異なる複数の画像の画像データを、前記三次元データに基づいて生成するステップと、前記画像データを表示部に出力するステップとを備え、前記三次元データに基づいて生成するステップは、前記複数の画像の画像データとして、第１視点方向からの前記歯列を示す第１画像データと、前記第１視点方向と正の所定角度をなす第２視点方向からの前記歯列を示す第２画像データと、前記第１視点方向と負の前記所定角度をなす第３視点方向からの前記歯列を示す第３画像データとを生成するステップと、前記第１画像データに基づく第１画像の両隣に、前記第２画像データに基づく第２画像と前記第３画像データに基づく第３画像とが位置し、かつ、前記第１画像、前記第２画像、および前記第３画像の位置関係が対応して前記表示部が表示するように、前記第１画像データ、前記第２画像データ、および、前記第３画像データを調整するステップとを含む。

別の局面によれば、画像処理プログラムは、コンピュータに、口腔内の複数の歯牙を含む歯列の三次元データに基づいて、前記歯列に対する視点が異なる複数の画像の画像データを生成して、該画像データを表示部に出力するステップを実行させ、前記三次元データに基づいて生成するステップは、前記複数の画像の画像データとして、第１視点方向からの前記歯列を示す第１画像データと、前記第１視点方向と正の所定角度をなす第２視点方向からの前記歯列を示す第２画像データと、前記第１視点方向と負の前記所定角度をなす第３視点方向からの前記歯列を示す第３画像データとを生成するステップと、前記第１画像データに基づく第１画像の両隣に、前記第２画像データに基づく第２画像と前記第３画像データに基づく第３画像とが位置し、かつ、前記第１画像、前記第２画像、および前記第３画像の位置関係が対応して前記表示部が表示するように、前記第１画像データ、前記第２画像データ、および、前記第３画像データを調整するステップとを含む。

本発明に係る画像処理装置、表示システム、画像処理方法、および画像処理プログラムによれば、ユーザによる歯列画像の確認処理についての利便性を向上させることができる。

本実施の形態に係る表示システムの構成例を示す図である。 比較例の表示部に表示される画像の一例である。 本実施の形態の表示部が表示する一例である。 画像の表示態様と、該態様の内容との対応関係を示した図である。 本実施の形態の表示部の表示画像の一例を示す図である。 三次元スキャナの使用を説明するための図である。 三次元スキャナのスキャンと、マルチ画像とのイメージを示す図である。 下顎の歯列の全体（歯列弓）を撮像する場合を説明するための図である。 画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の機能構成例を示す図である。 スキャン中の表示システムのフローチャートを説明するための図である。 マルチ画像データ生成処理のフローチャートである。 非スキャン中の表示システムのフローチャートを説明するための図である。 実施の形態２の表示部が表示する画面の一例である。 実施の形態３の表示部が表示する画面の一例である。 視点方向設定画面の一例である。 実施の形態５の表示部が表示する画面の一例である。 実施の形態６の画像処理装置の機能構成例を示す図である。 実施の形態７の表示部が表示する画面の一例である。 実施の形態８に係る表示システムの構成例を示す図である。 実施の形態８の表示部が表示する画面の一例である。

以下、本発明に係る実施の形態について図面を参照して説明する。
（実施の形態１）
［表示システム１００の構成］
図１は、本発明の実施の形態１に係る表示システム１００の構成を示すブロック図である。図１に示す表示システム１００は、三次元スキャナ８０と、画像処理装置４０と、表示部５０（表示装置ともいう。）とを含む。三次元スキャナ８０と、画像処理装置４０とは有線または無線で接続されている。また、三次元スキャナ８０と、表示部５０とは、有線または無線で接続されている。

ユーザ（術者）により三次元スキャナ８０は、口腔内に差込まれる。三次元スキャナ８０は、ユーザの操作により、対象物の三次元データを取得する。換言すれば、三次元スキャナ８０は、極小期間Ｔ（たとえば、０．１秒）経過毎に、対象物を撮像する。三次元スキャナ８０は、撮像する毎に、該撮像により三次元データを取得する。三次元スキャナ８０は、取得された三次元データを、画像処理装置４０に送信する。

本実施の形態では、「対象物」は、口腔内の歯列２００および歯肉である。以下では、対象物は、歯列２００および歯肉であるとして説明する。三次元データは、座標情報と、該座標情報に対応づけられている色情報とを含む。座標情報は、たとえば、Ｘ軸座標と、Ｙ軸座標と、Ｚ軸座標とを含む。色情報は、たとえば、ＲＧＢの情報を含む。

三次元スキャナ８０は、図示していないが、歯列２００に投影するパターンを生成するための光学部品（パターン生成素子）および光源、パターンを歯列２００の表面に結像するためのレンズ部品、焦点位置を変化させることが可能な焦点可変部、投影したパターンを撮像する光学センサ（ＣＣＤイメージセンサやＣＭＯＳイメージセンサなど）を有している。なお、三次元スキャナ８０は、合焦法の原理を用いて三次元形状を取得する構成としてもよい。また、三次元スキャナ８０は、他の原理、たとえば、共焦点法等の原理を用いて三次元形状を取得する構成でもよい。つまり、三次元スキャナ８０は、光学的な手法を用いて三次元形状を取得する構成であればいずれの原理を用いた構成であってもよい。

三次元スキャナ８０の外部には、スキャンボタン８０２が配置される。スキャンボタン８０２は、ユーザが操作可能なボタンである。スキャンボタン８０２に対して、ユーザは種々の操作を行うことが可能である。以下では、種々の操作として、第１操作、第２操作、および第３操作を含む。たとえば、第１操作は、短押し操作である。第２操作は、長押し操作である。第３操作は、２回操作（ダブルクリック）である。第１操作は、たとえば、三次元スキャナ８０で対象物を連続的に撮影して三次元データを取得するスキャンモードを開始させる操作である。また、第１操作は、スキャンモード開始中にはスキャンモードを停止させる操作でもある。第２操作は、画像処理装置４０がマルチ表示モードを開始させる操作である。マルチ表示モードは、図３および図５（Ｂ）に示すように、複数の画像を合成したマルチ画像を表示部５０に表示するモードである。第３操作は後述の対象歯牙を選択する操作である。

三次元スキャナ８０には、モーションセンサ８０４が内蔵されている。モーションセンサ８０４は、ユーザの三次元スキャナ８０に対する動作を検出する。モーションセンサ８０４は、たとえば、加速度センサである。

画像処理装置４０は、三次元スキャナ８０から送信された三次元データに対して画像処理を実行することにより画像データを生成する。画像処理装置４０は、たとえば、汎用コンピュータで実現されてもよいし、画像処理装置４０専用のコンピュータで実現されてもよい。汎用コンピュータは、たとえば、ＰＣ（personal computer）としてもよく、タブレットとしてもよい。なお、三次元データに対して画像処理を実行して画像データを生成するための演算の少なくとも一部は、画像処理装置４０のＣＰＵによってソフトウェアとして実現されてもよいし、該ＣＰＵとは別に処理を行うハードウェアとして実現されてもよい。

画像処理装置４０は、画像データを外部に出力する。図１の例では、「外部」とは表示部５０である。

表示部５０は、画像処理装置４０の制御の元、種々の画像を表示する。典型的には、表示部５０は、画像処理装置４０で得られた画像データに基づいた画像を表示領域５０Ａに表示する。表示部５０は、三次元スキャナ８０で取得した三次元データに基づいて、対象物の画像を表示する。表示部５０は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electroluminescence）ディスプレイ、タブレット、スマートグラス、ヘッドマウントディスプレイ、および空中ディスプレイなどのうちいずれかで構成されてもよい。

次に、表示システム１００の使用方法の一例を簡単に説明する。ユーザは、画像処理装置４０の電源（図示せず）をＯＮにすることにより、画像処理装置４０を起動する。次に、画像処理装置４０は、ユーザの操作に基づいて、三次元スキャナ８０でスキャン可能状態となる。画像処理装置４０は、たとえば、ユーザがスキャン用のアプリケーションを立ち上げることにより、三次元スキャナ８０でスキャン可能状態となる。また、画像処理装置４０は、たとえば、ユーザの操作により院内のサーバやクラウドサーバと所定のＷｅｂブラウザで接続することにより、三次元スキャナ８０でスキャン可能状態となるようにしてもよい。本実施の形態では、画像処理装置４０は、たとえば、ユーザの操作により院内のサーバやクラウドサーバと所定のＷｅｂブラウザで接続することにより、三次元スキャナ８０でスキャン可能状態となる構成を採用している。

次に、ユーザは、所定のＷｅｂブラウザ上で院内のサーバやクラウドサーバに保存されている患者名を指定し、アプリケーションからスキャンアイコン（図示せず）を指定する。次に、三次元スキャナ８０の電源をＯＮにする。次に、ユーザは手袋などを装着して、三次元スキャナ８０を患者の口腔内に挿入する。次に、ユーザは、口腔内において三次元スキャナ８０のスキャンボタン８０２を第２操作することにより、三次元スキャナ８０はスキャン処理を開始する。また、三次元スキャナ８０のスキャン処理中に、スキャンボタン８０２を第２操作することにより、該スキャン処理は終了する（停止する）。

［表示部での表示内容］
図２は比較例の表示システムの表示部に表示される画像の一例である。なお、図２で示すように、以下では、口腔内の歯牙のうち右側の最も奥の臼歯と、左側の最も奥の臼歯とを結ぶ線の方向の軸を「Ｘ軸」とする。Ｘ軸は、口腔の幅方向でもある。歯牙の高さ方向の軸を「Ｚ軸」とする。Ｘ軸およびＺ軸に直交する軸を「Ｙ軸」とする。Ｙ軸は、口腔の奥行方向でもある。なお、図２および後述の表示部が表示する画像に、Ｘ軸、Ｙ軸、およびＺ軸が記載されているが、実際には、表示部は、Ｘ軸、Ｙ軸、およびＺ軸を表示しない。

図２の例では、下顎の歯列画像が表示されている。ここで、ユーザは、該表示されている歯列画像について、スキャンできなかった箇所などを確認したい場合がある。ここで、図２の例では、一視点からの歯列画像のみが表示されている。したがって、口腔内の歯列のスキャン中において、スキャンしきれなかった箇所などを確認する場合には、ユーザは、表示装置に接続されているマウス（図示せず）などを操作して、歯列の画像を回転させて、スキャンされていない部分などの有無をユーザが確認する必要がある。しかしながら、スキャン中にマウスなどの外部機器に触れることは衛生的に好ましくない。衛生面を考慮して、ユーザが手袋を装着して外部機器に触れること、および外部機器にディスポーザブルなカバーを装着させることも考えられるが、手袋やカバーを用いると手間が増えるため、ユーザによる歯列画像の確認処理の利便性が低下するという問題がある。また、手袋やカバーのコスト高になるという問題もある。以下では、図２に示す画像を「一視点画像」ともいう。

図３は、本実施の形態の表示システム１００の表示部５０が表示する一例である。図３に示すように本実施の形態の表示部５０は、歯列２００に対する視点が異なる複数の画像（図３の例では、第１画像３０１と第２画像３０２と第３画像３０３）を表示する。したがって、ユーザは表示されている歯列画像を回転させることなく、歯列画像に対して複数の方向から見た画像を認識することができ、結果として、ユーザはスキャンしきれなかった箇所などを確認することができる。よって、ユーザは、外部機器などを操作する必要がないことから、ユーザが手袋を装着すること、および外部機器にディスポーザブルなカバーを装着させる必要もない。以上により、本実施の形態によれば、ユーザによる歯列画像の確認処理の利便性を向上させることができる。

次に、図３の詳細を説明する。以下では、第１画像３０１と第２画像３０２と第３画像３０３とまとめて「マルチ画像」ともいう。図３のマルチ画像は、歯列２００のうちの右側の奥の臼歯３７５をメインとした画像である。図３の例では，表示部５０は、第１画像３０１と、第２画像３０２と、第３画像３０３とを表示する。

第１画像３０１は、第１視点方向からの歯列２００（第１視点方向から見た歯列２００）を示す画像である。第２画像３０２は、第２視点方向からの歯列２００（第２視点方向から見た歯列２００）を示す画像である。第３画像３０３は、第３視点方向からの歯列２００（第３視点方向から見た歯列２００）を示す画像である。第１視点方向、第２視点方向、および第３視点方向のそれぞれは、図７の第１視点方向Ｄ１、第２視点方向Ｄ２、および第３視点方向Ｄ３に対応する。

第１視点方向（第１画像３０１の視点方向）は、臼歯３７５の咬合面３８１に対する視点からの方向である。または、第１視点方向は、臼歯３７５の高さ方向（Ｚ軸方向）でもある。第２視点方向（第２画像３０２の視点方向）は、臼歯３７５の舌側面３８２に対する視点からの方向である。第３視点方向（第３画像３０３の視点方向）は、臼歯３７５の頬側面３８３に対する視点からの方向である。

換言すると、第１視点方向は、臼歯３７５の咬合面３８１に対して垂直方向または略垂直方向である。第２視点方向は、歯列２００の方向（図３の例では、Ｙ軸方向）に対して垂直または略垂直であり、かつ第１視点方向に対して垂直または略垂直である。つまり、第２視点方向は、歯列２００の方向および第１視点方向に対して垂直または略垂直である。第３視点方向は、歯列２００の方向（図３の例では、Ｙ軸方向）に対して垂直または略垂直であり、かつ第１視点方向に対して垂直または略垂直である。つまり、第３視点方向は、歯列２００の方向および第１視点方向に対して垂直または略垂直である。

また、第２視点方向は、下顎の臼歯３７５の歯列２００については、舌側面３８２への方向であり、第３視点方向は、頬側面３８３への方向である。つまり、第３視点方向は、第２視点方向とは逆方向である。

表示部５０は、第１画像３０１、第２画像３０２、および第３画像３０３の近傍には、第１画像３０１、第２画像３０２、および第３画像３０３を示す付加情報を表示する。第１画像３０１の第１付加情報３５１は、「Ｍａｉｎ Ｖｉｅｗ」という文字である。第２画像３０２の第２付加情報３５２は、「Ｖｉｅｗ１」という文字である。第３画像３０３の第３付加情報３５３は、「Ｖｉｅｗ２」という文字である。

以下では、ユーザが、特に確認したい歯牙を「対象歯牙３６０」という。本実施の形態では、たとえば、スキャン前にユーザが周辺機器（後述の図９のキーボード６０１およびマウス６０２）などを操作することにより、対象歯牙３６０を示す情報（たとえば、歯牙の識別情報（識別番号））を入力できる。画像処理装置４０は、該対象歯牙３６０を示す情報に基づいて、対象歯牙３６０を特定することができる。対象歯牙３６０は、いずれの歯牙であってもよい。対象歯牙３６０は、たとえば、支台歯である。表示部５０は、対象歯牙３６０をユーザが特定可能な対象歯牙情報３１０を表示する。図３の例では、対象歯牙情報３１０は、「Ａ」という文字である。対象歯牙３６０は、ユーザが注目する歯牙である。

また、ユーザは、第３操作を実行することにより、対象歯牙３６０を特定するようにしてもよい。たとえば、ユーザは、対象歯牙としたい歯牙に対して三次元スキャナ８０の撮像面を向けて第３操作を実行する。このような操作であっても、ユーザは対象歯牙３６０を指定することができる。

表示部５０は、対象歯牙３６０のような歯牙のみならず歯肉３６５の画像である歯肉画像も表示する。

表示部５０は、第１画像３０１中の対象歯牙３６０が表示領域５０Ａの略中央部に位置するように、複数の画像（第１画像３０１、第２画像３０２および第３画像３０３）が合成されたマルチ画像を表示する。さらに表示部５０は、表示領域５０Ａにおいて、第１画像３０１、第２画像３０２、および第３画像３０３の位置関係を表示領域におけるＸ座標位置またはＹ座標位置の何れかを同一にして表示する。図３の例では、表示部５０は、第１画像３０１、第２画像３０２、および第３画像３０３の位置関係について、Ｙ座標において同一となるように第１画像３０１、第２画像３０２、および第３画像３０３を表示する。ここで、「Ｙ座標において同一となる」とは、第１画像３０１、第２画像３０２、および第３画像３０３それぞれにおいて対応する箇所のＹ座標が同一となることをいう。対応する箇所とは、たとえば、任意の歯牙としてもよい。任意の歯牙とは、たとえば、対象歯牙３６０である。

図３の例では、画像処理装置４０の制御の元、表示部５０は、一点鎖線Ｌで示すように、第１画像３０１の対象歯牙３６０、第２画像３０２の対象歯牙３６０、および第３画像３０３の対象歯牙３６０の位置関係について、Ｙ座標が同一となるように第１画像３０１、第２画像３０２、および第３画像３０３を表示する。なお、変形例として、表示部５０が、「Ｙ座標が略同一となる」ように、第１画像３０１、第２画像３０２、および第３画像３０３を表示するようにしてもよい。ここで、略同一とは、Ｙ座標において、所定数の画素分、第１画像３０１、第２画像３０２、および第３画像３０３のうち少なくとも１つの画像が、他の画像よりもずれることをいう。所定数は、少ない数であることが好ましく、所定数は、たとえば、「３」である。

画像処理装置４０の制御の元、表示部５０は、第１画像３０１を基準として、該第１画像３０１のＸ軸負方向の位置に第２画像３０２を表示する。つまり、第２画像３０２は、第１画像３０１に対して該第１画像３０１に含まれる歯牙の舌側面側に配置される。また、画像処理装置４０の制御の元、表示部５０は、第１画像３０１を基準として、該第１画像３０１のＸ軸正方向の位置に第３画像３０３を表示する。つまり、第３画像３０３は、第１画像３０１に対して該第１画像３０１に含まれる唇側面側に配置される。

ところで、ユーザによる三次元スキャナ８０の移動速度などによっては、三次元スキャナ８０により適切に口腔内が撮像されない場合がある。たとえば、ユーザによる三次元スキャナ８０の移動速度が速い場合には、三次元スキャナ８０により適切に撮像されない箇所が存在する場合がある。

そこで、本実施の形態では、表示部５０は、適切に撮像されなかった箇所などを種々の態様で表示することができる。たとえば、表示部５０は、三次元スキャナ８０により取得された三次元データの量に応じた態様でマルチ画像を表示する。図３の例では、表示部５０は、補完画像３１２と、促進画像３１４と、透明領域３１６とを表示する。図３の例では、補完画像３１２は、斜線が右下がりであるハッチングが付された画像である。図３の例では、促進画像３１４は、斜線が右上がりであるハッチングが付された画像である。透明領域３１６は、三次元データが欠損している箇所を示す領域である。図３の例では、透明領域３１６は、表示領域５０Ａの背景色と同一の色となる。

表示部５０は、促進画像３１４を、主に、対象歯牙３６０（ユーザが注目している歯牙）に重畳した箇所、および対象歯牙３６０の近傍の箇所に表示する。対象歯牙３６０は、ユーザにとって重要な歯牙（ユーザが注目している歯牙）である。促進画像３１４は、ユーザにとって重要である対象歯牙３６０の箇所および対象歯牙３６０の近傍の箇所において、三次元データの量が足りないことを示す画像である。つまり、促進画像３１４は、「該促進画像３１４が表示されている部分を再度、スキャンさせることをユーザに促進する画像」である。換言すると、促進画像３１４は、該促進画像３１４が表示されている箇所を再度、スキャンしないと、三次元スキャナ８０により取得された三次元データの精度が低い状態が維持される旨をユーザに認識させる画像でもある。また、促進画像３１４は、該促進画像３１４が表示されている箇所を再度、スキャンしないと、後工程である補綴物の設計などに悪影響を及ぼす旨をユーザに認識させる画像でもある。

また、表示部５０は、補完画像３１２を、対象歯牙３６０に重畳した箇所、および対象歯牙３６０の近傍の箇所のいずれとも異なる箇所（つまり、対象歯牙３６０から離れた箇所）に表示する。補完画像３１２は、簡略化して言及すると、「該補完画像３１２が表示されている箇所は三次元データが少し足りないので補完した」ことをユーザに認識させるための画像である。

透明領域３１６は、三次元データが欠損している箇所を示す領域である。透明領域３１６は、表示領域５０Ａの背景色と同一の色となる。透明領域３１６は、「補完画像３１２および促進画像３１４と比較して、多くの三次元データが足りていない」ことをユーザに認識させるための領域である。

図４は、表示部５０での画像の表示態様と、該表示態様の内容との対応を簡単に示したものである。図４では、補完画像３１２は、「補完箇所」と示されている。図４では、促進画像３１４は、「促進箇所」と示されている。図４では、透明領域３１６は、「欠損箇所」と示されている。

なお、対象歯牙３６０が特定されていない場合には、表示部５０は、促進画像３１４を表示せずに、少し三次元データが足りない箇所に補完画像３１２を表示する。また、表示部５０は、多くの三次元データが足りていない箇所では、透明領域３１６を表示する。

図５は、本実施の形態の表示部５０の表示画像の一例を示す図である。図５（Ａ）は、表示部５０が、図２に示す一視点画像を表示している例を示す図である。図５（Ｂ）は、表示部５０が、図３に示すマルチ画像を表示している例を示す図である。なお、本実施の形態では、「一視点画像」は、ユーザが画像処理装置４０の周辺機器（マウス６０２など）を操作することにより、表示領域５０Ａにおいて回転させることができるように表示される画像である。本実施の形態では、ユーザの操作（後述するスキャンボタン８０２の第２操作）に応じて、表示部５０は、図５（Ａ）に示す一視点画像と、図５（Ｂ）に示すマルチ画像とのいずれかを表示可能である。図５（Ａ）に示すように、一視点画像を表示する表示モードを「一視点表示モード」という。図５（Ｂ）に示すようにマルチ画像（第１画像３０１、第２画像３０２および第３画像３０３）を表示する表示モードを「マルチ表示モード」という。「マルチ表示モード」は、「マルチビューモード」ともいう。なお、本実施の形態では、デフォルトのモードとして、「一視点表示モード」が設定されている。また、三次元スキャナ８０によるスキャンが行われているときを、「スキャン中」という。三次元スキャナ８０によるスキャンが行われていないときを、「非スキャン中」という。

たとえば、スキャン中において、「一視点表示モード」に設定されているときに、ユーザによりスキャンボタン８０２に対して第２操作（長押し操作）が実行されたときには、表示システム１００は、図５（Ｂ）に示す「マルチ表示モード」に切換える。また、スキャン中において、「マルチ表示モード」中に設定されているときに、ユーザによりスキャンボタン８０２の第２操作（長押し操作）が実行されたときには、表示システム１００は、図５（Ａ）に示す「一視点表示モード」に切換える。また、非スキャン中においては、ユーザが、たとえば、画像処理装置４０の周辺機器（マウスなど）を操作することにより、「一視点表示モード」および「マルチ表示モード」のいずれかに切換えることができる。なお、非スキャン中においては、三次元スキャナ８０を口腔内に挿入しているわけではないので、ユーザが画像処理装置４０の周辺機器に触れても衛生面の点で問題がない場合がある。この場合には、ユーザは、画像処理装置４０の周辺機器（マウスなど）を操作してもよい。

「一視点表示モード」は、表示される画像は一視点からの画像であり、かつ歯列の画像を全体的に表示するモードである。たとえば、図５（Ａ）の例では、頬側面からの右の歯牙の画像と、舌側面からの左の歯牙の画像とが表示されている。一方、「マルチ画像モード」は、表示される画像は複数視点からの画像であり、かつ歯列の画像を局所的に表示するモードである。このように、スキャン中および非スキャン中のいずれにおいても、ユーザの操作に応じて「一視点表示モード」および「マルチ表示モード」のいずれかに切換可能であることから、ユーザの利便性を向上させることができる。

［三次元スキャナの使用について］
図６は、三次元スキャナ８０の使用を説明するための図である。本実施の形態では、図６に示すように、三次元スキャナ８０の製造メーカは、ユーザに対して、三次元スキャナ８０のスキャン開始位置を最も奥の臼歯３７５の咬合面３８１とすることを推奨している。たとえば、三次元スキャナ８０の説明書などで、三次元スキャナ８０のスキャン開始位置を最も奥の臼歯３７５の咬合面３８１とすることを推奨している。また、たとえば、ユーザがスキャンを開始する前の所定のタイミングにおいて、表示システム１００は、スキャン開始位置を最も奥の臼歯３７５の咬合面３８１とすることを促進する促進制御を実行するようにしてもよい。促進制御は、たとえば、表示部５０が「スキャン開始位置を最も奥の臼歯の咬合面としてください」という文字画像を表示する制御である。また、促進制御は、たとえば、画像処理装置４０が、「スキャン開始位置を最も奥の臼歯３７５の咬合面３８１としてください」といった音声を出力する制御であってもよい。

本実施の形態では、三次元スキャナ８０により最初（初期）に撮像される箇所は、臼歯３７５の咬合面３８１であることが想定されている。

図７は、三次元スキャナ８０のスキャンと、マルチ画像との関係を示す図である。図７に示すように、たとえば、歯列２００に対して、三次元スキャナ８０によるスキャン方向が、第１視点方向Ｄ１である場合には、表示部５０は、第１視点方向Ｄ１からの（第１視点方向Ｄ１から見た）第１画像３０１と、第２視点方向Ｄ２からの（第２視点方向Ｄ２から見た）第２画像３０２と、第３視点方向Ｄ３からの（第３視点方向Ｄ３から見た）第３画像３０３とを表示する。

図８は、ユーザが、三次元スキャナ８０により、下顎の歯列２００の全体（歯列弓）を撮像する場合を説明するための図である。図８の例では、矢印Ｐに示すように、歯列弓の歯列方向に沿って、撮像される。また、右の最も奥の臼歯２６０がスキャン開始の歯牙であり、左側の最も奥の臼歯２６２がスキャン終了の歯牙である。

画像処理装置４０からの後述のマルチ画像データに基づいて、表示部５０は、第１画像３０１、第２画像３０２、および第３画像３０３の相対的な表示位置として三次元スキャナ８０の移動方向に応じた表示位置に、マルチ画像を表示する。画像処理装置４０は、三次元スキャナ８０に内蔵されているモーションセンサ８０４からのモーション信号（図１０参照）に基づいて、三次元スキャナ８０の移動方向を特定できる。

たとえば、略Ｙ軸方向である歯列（範囲αの歯列）の方向に沿って、三次元スキャナ８０が歯列２００を撮像した場合には、図８の画像Ｇ１（図３と同一の画面）に示すように、第１画像３０１を表示領域５０Ａの中央に表示し、該第１画像３０１のＸ軸負方向の位置に第２画像３０２を表示し、該第１画像３０１のＸ軸正方向の位置に第３画像３０３を表示する。つまり、略Ｙ軸方向である歯列（範囲αの歯列）の方向に沿って、三次元スキャナ８０により撮像された場合には、表示部５０は、第１画像３０１を表示するとともに、第１画像３０１のＸ軸方向の両隣に第２画像３０２および第３画像３０３を表示する。

次に、略Ｘ軸方向である歯列（範囲βの歯列）の方向に沿って、三次元スキャナ８０が歯列２００を撮像した場合には、表示部５０は、画像Ｇ２を表示する。次に、画像Ｇ２を説明する。

画像Ｇ２に示すように、略Ｘ軸方向である歯列（範囲βの歯列）の方向に沿って、三次元スキャナ８０が歯列２００を撮像した場合には、表示部５０は、歯列２００に対する視点が異なる複数の画像（図８の例では、第１画像４０１と第２画像４０２と第３画像４０３）を表示する。

第１画像４０１は、第１視点方向からの歯列２００（第１視点方向から見た歯列２００）を示す画像である。第２画像４０２は、第２視点方向からの歯列２００（第２視点方向から見た歯列２００）を示す画像である。第３画像４０３は、第３視点方向からの歯列２００（第３視点方向から見た歯列２００）を示す画像である。

第１視点方向（第１画像４０１の視点方向）は、切歯４２（範囲βの歯牙）の切端４２１に対する視点からの方向である。第２視点方向（第２画像４０２の視点方向）は、舌側面４２２に対する視点からの方向である。第３視点方向（第３画像４０３の視点方向）は、唇側面４２３に対する視点からの方向である。

換言すると、第１視点方向は、切歯４２の高さ方向（Ｚ軸方向）である。第２視点方向は、歯列２００の方向（図８の例では、Ｘ軸方向）に対して垂直または略垂直であり、かつ第１視点方向に対して垂直または略垂直である。つまり、第２視点方向は、歯列２００の方向および第１視点方向に対して垂直または略垂直である。第３視点方向は、歯列２００の方向（図３の例では、Ｘ軸方向）に対して垂直または略垂直であり、かつ第１視点方向に対して垂直または略垂直である。つまり、第３視点方向は、歯列２００の方向および第１視点方向に対して垂直または略垂直である。

また、第２視点方向は、下顎の切歯４２の歯列２００については、舌側面４２２への方向であり、第３視点方向は、唇側面４２３への方向である。つまり、第３視点方向は、第２視点方向とは逆方向である。

図８の画像Ｇ２の例では、表示部５０は、第１画像４０１、第２画像４０２、および第３画像４０３の位置関係について、Ｘ座標において同一となるように第１画像４０１、第２画像４０２、および第３画像４０３を表示する。ここで、「Ｘ座標において同一となる」とは、第１画像４０１、第２画像４０２、および第３画像４０３それぞれにおいて対応する箇所のＸ座標が同一となることをいう。

なお、変形例として、表示部５０が、「Ｘ座標が略同一となる」ように、第１画像４０１、第２画像４０２、および第３画像４０３を表示するようにしてもよい。

また、表示部５０は、第１画像４０１を基準として、該第１画像４０１のＹ軸正方向の位置に第２画像４０２を表示する。また、表示部５０は、第１画像４０１を基準として、該第１画像４０１のＹ軸負方向の位置に第３画像４０３を表示する。

また、本実施の形態では、犬歯については、範囲αの歯列に含まれるとする。つまり、犬歯が三次元スキャナ８０により撮像される場合には、表示部５０は、図３の態様で、第１画像３０１、第２画像３０２、および第３画像３０３を表示する。

つまり、表示部５０により表示される画像が下顎の右側の臼歯３７５および犬歯を含む場合には、第１画像３０１は、咬合面３８１に対する視点からの画像である。また、第２画像３０２は、側面（たとえば、舌側面３８２）に対する視点からの画像である。また、第３画像３０３は、側面（たとえば、頬側面３８３）に対する視点からの画像である。

また、表示部５０により表示される画像が下顎の切歯４２を含む場合には、第１画像４０１は、切端４２１に対する視点からの画像である。また、第２画像４０２は、側面（たとえば、舌側面４２２）に対する視点からの画像である。また、第３画像４０３は、側面（たとえば、唇側面４２３）に対する視点からの画像である。

なお、特に図示しないが、表示部５０により表示される画像が下顎の左側の臼歯および犬歯を含む場合には、第１画像は、臼歯および犬歯の咬合面に対する視点からの画像である。また、第２画像は、臼歯および犬歯の側面（たとえば、頬側面）に対する視点からの画像である。また、第３画像は、臼歯および犬歯の側面（たとえば、舌側面）に対する視点からの画像である。

また、表示部５０により表示される画像が上顎の右側の臼歯および犬歯を含む場合には、第１画像は、臼歯および犬歯の咬合面に対する視点からの画像である。また、第２画像は、臼歯および犬歯の側面（たとえば、口蓋側面）に対する視点からの画像である。また、第３画像は、臼歯および犬歯の側面（たとえば、頬側面）に対する視点からの画像である。

また、表示部５０により表示される画像が上顎の左側の臼歯および犬歯を含む場合には、第１画像は、臼歯および犬歯の咬合面に対する視点からの画像である。また、第２画像は、臼歯および犬歯の側面（たとえば、頬側面）に対する視点からの画像である。また、第３画像は、臼歯および犬歯の側面（たとえば、口蓋側面）に対する視点からの画像である。

表示部５０により表示される画像が上顎の切歯を含む場合には、第１画像は、切歯の切端に対する視点からの画像である。また、第２画像は、切歯の側面（たとえば、口蓋側面）に対する視点からの画像である。また、第３画像は、切歯の側面（たとえば、唇側面）に対する視点からの画像である。

［画像処理装置のハードウェア構成］
図９は、画像処理装置４０のハードウェア構成の一例を示す図である。図９に示すように、画像処理装置４０は、主なハードウェア要素として、スキャナインターフェース１０２と、ディスプレイインターフェース１０３と、スピーカインターフェース１０４と、周辺機器インターフェース１０５と、ネットワークコントローラ１０６と、メディア読取装置１０７と、メモリ１０９と、演算装置１３０とを備える。

スキャナインターフェース１０２は、三次元スキャナ８０を接続するためのインターフェースであり、画像処理装置４０と三次元スキャナ８０との間のデータの入出力を実現する。

ディスプレイインターフェース１０３は、表示部５０を接続するためのインターフェースであり、画像処理装置４０と表示部５０との間のデータの入出力を実現する。表示部５０は、
スピーカインターフェース１０４は、スピーカ４００を接続するためのインターフェースであり、画像処理装置４０とスピーカ４００との間のデータの入出力を実現する。

周辺機器インターフェース１０５は、キーボード６０１およびマウス６０２などの周辺機器を接続するためのインターフェースであり、画像処理装置４０と周辺機器との間のデータの入出力を実現する。

ネットワークコントローラ１０６は、ネットワークを介して、外部の装置（図示せず）との間でデータを送受信する。ネットワークコントローラ１０６は、たとえば、イーサネット（登録商標）、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式に対応する。

メディア読取装置１０７は、リムーバブルディスク５５０に格納されているスキャン情報などの各種データを読み出す。

メモリ１０９は、演算装置１３０が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ１０９は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスを含む。また、メモリ１０９は、ＲＯＭ（Read Only Memory）などの揮発性メモリデバイスを含む。

演算装置１３０は、各種のプログラムを実行することで、画像処理装置４０の各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置１３０は、たとえば、ＣＰＵ（Central Processing Unit）１３２、ＦＰＧＡ（Field-Programmable Gate Array）１３４、およびＧＰＵ（Graphics Processing Unit）１３６などで構成される。ＣＰＵ１３２は、メモリ１０９に格納されているプログラムに基づいて、種々の処理（画像データ生成処理）を実行する。なお、ＦＰＧＡ１３４が省略された演算装置でもよい。

［画像処理装置４０の機能構成例］
図１０は、画像処理装置４０の機能構成例を示す図である。画像処理装置４０は、取得部５０２と、出力部５０６と、記憶部５０８と、制御部５１０とを有する。取得部５０２は、スキャナインターフェース１０２に対応する。出力部５０６は、ディスプレイインターフェース１０３に対応する。記憶部５０８は、メモリ１０９に対応する。なお、取得部５０２，および出力部５０６は、それぞれ制御部５１０の機能として解釈されてもよい。記憶部５０８は、画像データ、および各種のフラグなどを記憶する。フラグは、たとえば、「一視点表示モード」を示すフラグ、および「マルチ表示モード」を示すフラグなどを含む。以下では、「一視点表示モード」に制御されていることを示すフラグを、「一視点表示フラグ」という。また、「マルチ表示モード」に制御されていることを示すフラグを、「マルチ表示フラグ」という。制御部５１０は、演算装置１３０に対応する。

制御部５１０は、生成部５０４の機能を有する。生成部５０４は、さらに、第１画像生成部５０４１と、第２画像生成部５０４２と、第３画像生成部５０４３と、調整部５０５０との機能を含む。なお、便宜上、図１０において、第１画像生成部５０４１と、第２画像生成部５０４２と、第３画像生成部５０４３とを個別に記載しているが、生成部５０４が、第１画像生成部５０４１と、第２画像生成部５０４２と、第３画像生成部５０４３の処理を実行するようにしてもよい。

三次元スキャナ８０は、該三次元スキャナ８０が、口腔内の歯列を撮像することにより得られた三次元データを画像処理装置４０に対して送信する。前述のように、三次元スキャナ８０は、極小期間Ｔが経過する毎に、撮像を行う。したがって、三次元データは、極小期間Ｔが経過する毎に三次元スキャナ８０から画像処理装置４０に対して送信される。

三次元スキャナ８０は、該三次元スキャナ８０に配置されているスキャンボタン８０２（図１参照）が操作されたときには、該操作されたことを示すボタン信号を、画像処理装置４０に送信する。たとえば、ユーザによりスキャンボタン８０２が第２操作されたときには、三次元スキャナ８０は、ボタン信号として第２操作信号を画像処理装置４０に対して送信する。第２操作信号は、本開示の「所定の信号」に対応する。

三次元スキャナ８０は、該三次元スキャナ８０に内蔵されているモーションセンサ８０４（図１参照）が検出したユーザの動作を示すモーション信号を、画像処理装置４０に送信する。モーション信号は、たとえば、三次元スキャナ８０の移動方向を示す信号である。画像処理装置４０は、該モーション信号に基づいて、たとえば、三次元スキャナ８０の移動方向が切り替わったことなどを特定できる。たとえば、図８で説明したように、歯列弓の歯列方向（矢印Ｐ）に沿ってユーザにより三次元スキャナ８０が移動された場合において、画像処理装置４０は、三次元スキャナ８０の移動方向がＹ軸方向からＸ軸方向に切り替わったことなどを、モーション信号に基づいて特定できる。

取得部５０２は、三次元スキャナ８０から、三次元データ、ボタン信号（第２操作信号）、およびモーション信号を取得する。

生成部５０４は、三次元スキャナ８０からの三次元データに基づいて、後述する一視点画像データおよびマルチ画像データ３０１５を生成する。以下では、一視点画像データおよびマルチ画像データ３０１５をまとめて「画像データ」ともいう。

まず、生成部５０４による一視点画像データの生成手法について説明する。生成部５０４は、取得部５０２が取得した三次元データに基づいて、一視点画像データを生成する。一視点画像データは、表示部５０が図５（Ａ）に示す一視点画像を表示するためのデータである。生成部５０４は、取得部５０２で取得した三次元データを表示用のフォーマット（以下、「表示用フォーマット」という。）に変換することにより、一視点画像データを生成する。生成部５０４は、該三次元データを受信する毎に、一視点画像データに変換するとともに、該変換された一視点画像データを記憶部５０８に記憶する（蓄積する）。制御部５１０は、この蓄積により、記憶部５０８内の一視点画像データを増加更新する。

次に、生成部５０４によるマルチ画像データの生成手法について説明する。生成部５０４は、取得部５０２が取得した三次元データに基づいて、マルチ画像データも生成する。生成部５０４は、表示用フォーマットに変換する前の三次元データに基づいてマルチ画像データを生成する。また、生成部５０４は、生成したマルチ画像データを表示用フォーマットに変換するようにしてもよい。また、生成部５０４は、生成したマルチ画像データを表示用フォーマットに変換しないようにしてもよい。なお、生成部５０４は、表示用フォーマットに変換した後の三次元データに基づいてマルチ画像データを生成ようにしてもよい。

一方で、画像処理装置４０は、補綴物の設計の際に必要となる所定のフォーマットに、三次元データを変換して記憶部５０８に記憶する。所定のフォーマットは、たとえば、ＳＴＬフォーマット（Standard Triangulated Language）である。高品質の補綴物を設計するためには、適切な密度で精度の高い三次元位置の三次元データが必要となる。このため前述したように、促進画像３１４を表示させることによって、必要とされるデータに満たない箇所の再スキャンをユーザに促進している。

マルチ画像データは、表示部５０が図３に示すマルチ画像を表示するためのデータである。マルチ画像データは、第１画像データ３０１１と、第２画像データ３０１２と、第３画像データ３０１３とを含む。第１画像データ３０１１は、第１画像３０１の画像データである。第２画像データ３０１２は、第２画像３０２の画像データである。第３画像データ３０１３は、第３画像３０３の画像データである。

また、本実施の形態では、生成部５０４は、三次元スキャナ８０により撮像された口腔内の全ての歯列のマルチ画像データを生成する。したがって、画像処理装置４０の制御の元、表示部５０は、全ての歯列のマルチ画像（複数視点からの画像）を表示することができる。従って、ユーザは、全ての歯列についての複数視点からの画像を確認することができる。

なお、変形例として、生成部５０４は、対象歯牙３６０を含む範囲であって、対象歯牙３６０から予め定められた範囲内のみの歯列のマルチ画像データを生成するようにしてもよい。予め定められた範囲は、たとえば、図３に示す範囲である。この変形例では、生成部５０４は、この予め定められた範囲外の歯列のマルチ画像データを生成しない。たとえば、生成部５０４は、図３に示すマルチ画像に基づくマルチ画像データを生成し、図３に示す歯列以外の歯列（予め定められた範囲外の歯列）のマルチ画像データを生成しない。たとえば、生成部５０４は、図３に示すように対象歯牙が下顎の歯牙に含まれている場合には、図３に示す対象歯牙を含む歯列のマルチ画像データを生成し、下顎のうち図３に示す範囲外の歯列のマルチ画像データ、および上顎の歯列についてのマルチ画像データは生成しない。このような変形例であれば、全ての歯列のマルチ画像データを生成する画像処理装置と比較して、マルチ画像データを生成する処理の負担を軽減できる。

本実施の形態では、第１画像生成部５０４１は、第１画像３０１（図３参照）の第１画像データ３０１１を生成する。第２画像生成部５０４２は、第２画像３０２の第２画像データ３０１２を生成する。第３画像生成部５０４３は、第３画像３０３の第３画像データ３０１３を生成する。本実施の形態では、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３は、それぞれ二次元の画像データである。二次元の画像データは、たとえば、二次元の座標情報（Ｘ座標およびＹ座標）と、該座表情報に対応づけられた色情報（たとえば、ＲＧＢ）とを含む。

生成部５０４による第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３の生成手法について説明する。本実施の形態では、第１画像生成部５０４１は、第１視点方向Ｄ１からの歯列２００を示す第１画像３０１の第１画像データ３０１１を生成する。図６などでも説明したように、三次元スキャナ８０の製造メーカは、ユーザに対して、三次元スキャナ８０のスキャン開始位置を最も奥の臼歯３７５の咬合面３８１とすることを推奨している。したがって、第１画像生成部５０４１は、スキャン処理が開始されたときに（スキャンボタン８０２が第２操作されたときに）に最初に撮像された画像（咬合面３８１の画像）の画像データを、第１画像データ３０１１として生成する。たとえば、第１画像生成部５０４１は、取得部５０２から送信された三次元データから、第１画像データ３０１１を抽出する。

また、第２画像生成部５０４２は、取得部５０２から送信された三次元データから、第２視点方向Ｄ２からの歯列２００を示す第２画像３０２の第２画像データ３０１２を抽出することにより、該第２画像データ３０１２を生成する。たとえば、第２画像生成部５０４２は、取得部５０２から送信された三次元データに対して、第２視点方向Ｄ２に対応する角度（たとえば、図７などに示す９０度）回転させる回転行列を乗算することにより、該第２画像データ３０１２を生成する。

また、第３画像生成部５０４３は、取得部５０２から送信された三次元データから、第３視点方向Ｄ３からの歯列２００を示す第３画像３０３の第３画像データ３０１３を抽出することにより、該第３画像データ３０１３を生成する。たとえば、第３画像生成部５０４３は、取得部５０２から送信された三次元データに対して、第３視点方向Ｄ３に対応する角度（たとえば、図７などに示す９０度）回転させる回転行列を乗算することにより、該第３画像データ３０１３を生成する。

なお、第１画像生成部５０４１、第２画像生成部５０４２、および第３画像生成部５０４３はそれぞれ他の演算により、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を生成するようにしてもよい。たとえば、第１画像生成部５０４１は、取得部５０２から送信された三次元データのうち、咬合面に対応する三次元データを第１画像データ３０１１として抽出するようにしてもよい。また、第２画像生成部５０４２は、取得部５０２から送信された三次元データのうち、第１画像データ３０１１として抽出した三次元データから、第２視点方向Ｄ２に対応する角度（たとえば、図７などに示す９０度）の部分の三次元データを第２画像データ３０１２として抽出するようにしてもよい。また、第３画像生成部５０４３は、取得部５０２から送信された三次元データのうち、第１画像データ３０１１として抽出した三次元データから、第３視点方向Ｄ３に対応する角度（たとえば、図７などに示す９０度）の部分の三次元データを第３画像データ３０１３として抽出するようにしてもよい。

また、三次元スキャナ８０の製造メーカは、ユーザに対して、三次元スキャナ８０のスキャン開始位置を最も奥の臼歯３７５の咬合面３８１とすることを推奨している。このため、三次元スキャナ８０により初期に撮像されるのは臼歯３７５を含む歯列であり、この歯列の咬合面３８１に対する視点方向が第１視点方向Ｄ１となる。画像処理装置４０は、第１視点方向Ｄ１をＸ軸方向へ角度θ変換した方向を第２視点方向Ｄ２として、歯列の側面が含まれる画像の第２画像データ３０１２を生成する。本実施の形態の所定角度θは、９０度である。なお、角度θは、９０度未満の角度としてもよく、たとえば、３０度または４５度としてもよい。また、画像処理装置４０は、第１視点方向Ｄ１をＸ軸方向へ角度−θ変換した方向を第３視点方向Ｄ３として、歯列の側面が含まれる画像の第３画像データ３０１３を生成する。

第２画像データ３０１２および第３画像データ３０１３に基づいて、歯列の側面方向を視点とした第２画像３０２および第３画像３０３の一部に咬合面が表示される。つまり、咬合面３８１をメインとする第１画像３０１が表示されるとともに、歯列の側面をメインとしつつ咬合面３８１の一部を含む第２画像３０２および第３画像３０３が表示される。その結果、ユーザは第１画像３０１、第２画像３０２、および第３画像３０３のそれぞれの関係性を、共通する咬合面３８１に基づいて認識し易くなる。

調整部５０５０は、第１画像３０１と第２画像３０２と第３画像３０３とを表示部５０に表示させる際の第１画像３０１と第２画像３０２と第３画像３０３との表示の位置関係が対応するように、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を調整する。たとえば、生成部５０４は、生成した第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を所定のワーク領域（たとえば、記憶部５０８などの領域）に一旦格納して、該ワーク領域において、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を調整する。

前述のように、三次元スキャナ８０のスキャン開始位置は、臼歯３７５の咬合面３８１であることから、図８の記載に基づくと、三次元スキャナ８０の移動方向は、Ｙ軸方向となる。生成部５０４が、モーション信号に基づいて、三次元スキャナ８０の移動方向がＹ軸方向であると判断している場合には、生成部５０４は、図３に示すような画面が表示されるように、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を調整する。

たとえば、調整部５０５０は、第１画像３０１、第２画像３０２、および第３画像３０３の位置関係について、表示領域５０ＡでのＹ座標が同一となるように、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を調整する。

また、調整部５０５０が、モーション信号に基づいて、三次元スキャナ８０の移動方向がＸ軸方向であると判断している場合には、生成部５０４は、図８の画像Ｇ２に示すような画面が表示されるように、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を調整する。

たとえば、調整部５０５０は、第１画像４０１、第２画像４０２、および第３画像４０３の位置関係について、表示領域５０ＡでのＸ座標が同一となるように、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を調整する。

調整部５０５０による調整は、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３の座標情報（Ｘ座標、およびＹ座標）と、色情報とを変更することにより実現される。

なお、本実施の形態では、生成部５０４は、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を生成する生成ステップ、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を調整する調整ステップとを分けて説明した。しかしながら、生成部５０４は、生成ステップと調整ステップとを同一に行うようにしてもよい。たとえば、生成部５０４は、第１視点方向Ｄ１からの歯列２００を示す第１画像３０１と、第１視点方向Ｄ１とは異なる第２視点方向Ｄ２からの歯列２００を示す第２画像３０２と、第１視点方向Ｄ１および第２視点方向Ｄ２とは異なる第３視点方向Ｄ３からの歯列２００を示す第３画像３０３との位置関係が対応して表示部５０で表示されるように、第１画像データ３０１１と、第２画像データ３０１２と、第３画像データ３０１３とを生成するようにしてもよい。

調整部５０５０は、該調整された第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を、マルチ画像データ３０１５として出力する。また、調整部５０５０は、該マルチ画像データ３０１５を記憶部５０８に記憶させる。

出力部５０６は、該マルチ画像データ３０１５を表示部５０に対して出力する。表示部５０は、該画像データに基づいて、画像を表示する。

また、本実施の形態では、出力部５０６は、一視点表示モードに制御されているときには（スキャンボタン８０２が第２操作されていないときには）、一視点画像データを表示部５０に出力する。一方、出力部５０６は、マルチ表示モードに制御されているときには（スキャンボタン８０２が第２操作されたときには）、マルチ画像データ３０１５を表示部５０に出力する。

なお、本実施の形態では、一視点表示モードにおいては、表示部５０により表示される一視点画像と、記憶部５０８に記憶されている一視点画像データに基づく一視点画像とは同一である（同期している）。また、本実施の形態では、マルチ表示モードにおいては、表示部５０により表示されるマルチ画像と、記憶部５０８に記憶されているマルチ画像データ３０１５に基づくマルチ画像とは同一である（同期している）。なお、変形例として、マルチ表示モードにおいては、記憶部５０８は、撮像された歯列２００の全てについての第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を記憶する一方、表示部５０は、対象歯牙３６０についての第１画像３０１、第２画像３０２、および第３画像３０３を表示するようにしてもよい。

表示部５０は、出力部５０６から出力された画像データに基づいた画像を表示する。たとえば、出力部５０６から一視点画像データが出力された場合には、表示部５０は、一視点画像（図２参照）を表示する。また、出力部５０６からマルチ画像データ３０１５が出力された場合には、表示部５０は、マルチ画像（図８の画像Ｇ１または画像Ｇ２）を表示する。

次に、生成部５０４による画像データの生成の観点で、図４で説明した補完画像３１２、促進画像３１４、および透明領域３１６を説明する。図４にも示したように、補完画像３１２は、補完箇所を示し、促進画像３１４は、促進箇所を示し、透明領域３１６は、欠損箇所を示す。

本実施の形態では、生成部５０４は、取得部５０２により取得された三次元データの量に応じて、画像データを生成する。さらに、本実施の形態では、所定の領域Ｒが予め定められている。

以下に、所定の領域Ｒを説明する。所定の領域Ｒは、たとえば、表示領域５０Ａのうちの一部の領域をいう。また、所定の領域Ｒは、たとえば、三次元スキャナ８０が１回の撮像により取得される三次元データで表示される表示領域５０Ａでの領域である。所定の領域Ｒは、たとえば、表示領域５０ＡをＮ（Ｎは２以上の整数）等分した１つの領域である。また、所定の領域Ｒの全ての画素に画像を表示できる三次元データの量をＤｍａｘとする。なお、所定の領域Ｒは他の領域としてもよい。

取得部５０２が取得した三次元データの量が、所定の領域ＲにおいてＤｍａｘであれば、取得部５０２は、１００％の三次元データを取得したことになる。一方、所定の領域Ｒにおいて、三次元データの量が、Ｄｍａｘ未満であれば、所定の領域Ｒにおいて、三次元データの量が不足していることになる。また、本実施の形態では、三次元データの量について第１閾値Ｔｈ１と、第２閾値Ｔｈ２とが定められている。

第１閾値Ｔｈ１はＤｍａｘであるとし、第２閾値Ｔｈ２は、Ｄｍａｘに所定の係数を乗算した値であり、たとえば、第２閾値Ｔｈ２は、「０．７×Ｄｍａｘ」とする。なお、第１閾値Ｔｈ１は、本開示の「閾値」に対応する。なお、変形例として、第１閾値Ｔｈ１は、Ｄｍａｘに対して１に近い係数（たとえば、０．９９）を、Ｄｍａｘに乗算した値としてもよい。

生成部５０４は、所定の領域Ｒにおける三次元データの量ＤがＤｍａｘであると判断した場合には、該所定の領域Ｒにおいて、三次元データは充足しているということであるから、何ら画像を付加しない。

一方、生成部５０４は、所定の領域Ｒにおける三次元データの量ＤがＤｍａｘ未満であり、第２閾値Ｔｈ２以上であると判断した場合（つまり、Ｄｍａｘ＞Ｄ≧Ｔｈ（＝０．７×ｍａｘ）であると判断した場合）には、所定の領域Ｒにおいて、三次元データが少し欠損しているということである。生成部５０４は、所定の領域Ｒにおいて、欠損している箇所（以下、「第１欠損箇所」という。）を特定する。さらに、補完画像３１２（図３参照）の補完画像データを生成する。生成部５０４は、第１欠損箇所に対して補完画像データを付与する。補完画像データは、本開示の「第１付与データ」に対応する。

また、ユーザにより対象歯牙３６０が指定されている場合において、生成部５０４は、第１欠損箇所が該対象歯牙３６０の近傍の箇所であるか否かを判断する。たとえば、第１欠損箇所と、該対象歯牙３６０の箇所との間の画素数が予め定められた閾値Ｅ以上であると判断した場合には、生成部５０４は、第１欠損箇所が該対象歯牙３６０の近傍の箇所ではないと判断する。一方、第１欠損箇所と、該対象歯牙３６０の箇所との間の画素数が閾値Ｅ未満であると判断した場合には、生成部５０４は、第１欠損箇所が該対象歯牙３６０の近傍の箇所であると判断する。生成部５０４が、第１欠損箇所が該対象歯牙３６０の近傍の箇所であると判断した場合には、促進画像３１４の促進画像データを生成する。生成部５０４は、第１欠損箇所に対して促進画像データを付与する。補完画像データは、本開示の「第２付与データ」に対応する。なお、生成部５０４が、第１欠損箇所が該対象歯牙３６０の近傍の箇所ではないと判断した場合には、補完画像３１２の補完画像データを生成する。生成部５０４は、該第１欠損箇所に対して補完画像データを付与する。

また、所定の領域Ｒにおける三次元データの量ＤがＤ＜第２閾値Ｔｈ２（＝０．７×Ｄｍａｘ）であると判断した場合には、生成部５０４は、所定の領域Ｒにおいて、三次元データが多く欠損しているということである。生成部５０４は、所定の領域Ｒにおいて、欠損している箇所（以下、「第２欠損箇所」という。）については、何ら画像データを付与しない。

本実施の形態において、所定の領域Ｒにおける三次元データの量Ｄが、第２閾値Ｔｈ２以上であれば、「三次元データが充足している」という。一方、所定の領域Ｒにおける三次元データの量Ｄが、第２閾値Ｔｈ２未満であれば、「三次元データが充足していない」という。つまり、生成部５０４は、三次元データが充足している箇所のみの画像データを生成する。

このように、生成部５０４は、第１欠損箇所に対して補完画像データを付与することにより、図３に示すように表示部５０に補完画像３１２を表示させることができる。また、生成部５０４は、第１欠損箇所に対して促進画像データを付与することにより、図３に示すように表示部５０に促進画像３１４を表示させることができる。また、生成部５０４は、三次元データが充足している箇所のみの画像データを生成することにより、図３に示すように表示部５０に透明領域３１６を表示させることができる。

なお、第１閾値Ｔｈ１および第２閾値Ｔｈ２の少なくとも一方は、補完画像３１２を生成するか否かの判断と、促進画像３１４を生成するか否かの判断とで異なるようにしてもよい。また、生成部５０４による、三次元データの量の判断については上記の手法に限られず他の手法を用いるようにしてもよい。

［表示システムのフローチャート］
図１１は、三次元スキャナ８０のスキャン中の表示システム１００のフローチャートを説明するための図である。図１１を用いて、三次元スキャナ８０のスキャン中の表示システム１００の処理を説明する。なお、図１１に示すフローチャートに示されるスキャン中処理は、所定の条件が成立したときに開始される。所定の条件は、たとえば、三次元スキャナ８０および画像処理装置４０のそれぞれの電源がＯＮにされ、画像処理装置４０においてスキャン用のアプリケーションが立ち上がっており、かつ三次元スキャナ８０のスキャンボタン８０２が第１操作されてスキャンモードが開始されるという条件である。なお、表示部５０は、表示部５０の電源がＯＮされている場合において、画像処理装置４０からの画像データを受信するタイミングで、該画像データに基づいた画像を表示する。

ステップＳ１０１において三次元スキャナ８０は口腔内の歯列２００を撮像することにより、三次元データを取得し、画像処理装置４０に対して送信する。所定の場合（たとえば、再びスキャンボタン８０２が第１操作された場合、あるいは、電源がＯＦＦにされた場合など）以外は、図１１に示すステップＳ１０１〜ステップS１１０までの処理が極小期間Ｔ（たとえば、０．１秒）経過毎に繰り返される。つまり、三次元スキャナ８０は、所定の場合以外は所定周期で三次元データの取得と送信を繰り返す。

次に、ステップＳ１０２において、三次元スキャナ８０の制御部（図示せず）は、第２操作フラグを記憶部５０８に格納しているか否かを判断する。第２操作フラグは、たとえば、スキャンボタン８０２に対して第２操作されたことを示すフラグである。なお、前述したように、スキャンボタン８０２に対する第２操作は、表示システム１００においてマルチ表示モードに制御するための操作である。第２操作フラグの格納は、たとえば、三次元スキャナ８０の所定の記憶領域を用いて実現される。

次に、ステップＳ１０４において、三次元スキャナ８０の制御部は、スキャンボタン８０２が第２操作されたか否かを判断する。ステップＳ１０４において、三次元スキャナ８０の制御部が、スキャンボタン８０２が第２操作されたと判断した場合には（ステップＳ１０４でＹＥＳ）、処理は、ステップＳ１０６に進む。また、ステップＳ１０４において、三次元スキャナ８０の制御部が、スキャンボタン８０２が第２操作されていないと判断した場合には（ステップＳ１０４でＮＯ）、処理は、ステップＳ１１０に進む。

ステップＳ１０６において、三次元スキャナ８０の制御部は、ボタン信号として、第２操作信号を画像処理装置４０に対して送信する。その後、ステップＳ１０８において、三次元スキャナ８０の制御部は、第２操作フラグを三次元スキャナ８０の不揮発性メモリに格納する。その後、処理は、ステップＳ１１０に進む。

ステップＳ１１０において、三次元スキャナ８０の制御部は、スキャンボタン８０２への第１操作が実行されたか否かを判断する。スキャン中のスキャンボタン８０２への第１操作は、該スキャン処理を終了させる操作である。三次元スキャナ８０の制御部が、スキャンボタン８０２への第１操作が実行されたと判断した場合には、（ステップＳ１１０でＹＥＳ）、処理は終了して非スキャン中の状態となる。

一方、三次元スキャナ８０の制御部が、スキャンボタン８０２への第１操作が実行されていないと判断した場合には、（ステップＳ１１０でＮＯ）、処理はステップＳ１０１に戻る。ステップＳ１０１で三次元スキャナ８０は、再び撮像を行う。三次元スキャナ８０の制御部は、スキャンボタン８０２への第１操作が実行されるまでは、ステップＳ１０１〜ステップＳ１１０の処理が繰り返して実行することにより、極小期間Ｔ経過毎に、対象物を撮像する。

なお、図１１の例では、三次元スキャナ８０は、ステップＳ１０１の処理と、ステップＳ１０２〜ステップＳ１０８の処理とを直列的に実行するとして説明した。しかしながら、変形例として、三次元スキャナ８０は、ステップＳ１０１の処理と、ステップＳ１０２〜ステップＳ１０８の処理とを並列的に実行するようにしてもよい。

次に、画像処理装置４０の処理を説明する。ステップＳ１０１において三次元スキャナ８０により送信された三次元データを、ステップＳ２０１において画像処理装置４０の取得部５０２は取得する。

次に、ステップＳ２０２において、生成部５０４は、ステップＳ２０１で取得した三次元データに基づいて、一視点画像データを生成する。次に、ステップＳ２０４において、生成部５０４は、ステップＳ２０１で取得した三次元データに基づいて、マルチ画像データ３０１５を生成する。ステップＳ２０４での一視点画像データの生成処理は、図１２で説明する。

次に、ステップＳ２０６において、制御部５１０は、第２操作信号を受信しているか否かを判断する。ここで、第２操作信号は、ステップＳ１０６で送信される信号である。ステップＳ２０６でＹＥＳと判断された場合には、処理は、ステップＳ２０７に進む。一方、ステップＳ２０６でＮＯと判断された場合には、処理は、ステップＳ２０８に進む。ステップＳ２０７において、制御部５１０は、マルチ表示フラグを記憶部５０８に記憶する。

次に、ステップＳ２０８において、制御部５１０は、マルチ表示フラグが記憶部５０８に格納されているか否かを判断する。ステップＳ２０８において、制御部５１０が、マルチ表示フラグが格納されていると判断した場合には（ステップＳ２０８でＹＥＳ）、処理はステップＳ２１２に進む。ステップＳ２０８でＹＥＳと判断される場合とは、画像処理装置４０が第２操作信号を受信したときである。なお、制御部５１０は、ラストメモリ制御により、ユーザによって電源を切られる直前の表示モードを記憶しておき、次の電源投入時に投入前のモードを引き継いで制御を行うようにしてもよい。

一方、ステップＳ２０８において、制御部５１０が、マルチ表示フラグが格納されていないと判断した場合には（ステップＳ２０８でＮＯ）、処理はステップＳ２１４に進む。ステップＳ２０８でＮＯと判断される場合とは、画像処理装置４０が第２操作信号を受信していないときである。

ステップＳ２１２において、出力部５０６は、ステップＳ２０７で生成されたマルチ画像データ３０１５を表示部５０に出力する。ステップＳ２１４において、出力部５０６は、ステップＳ２０２で生成された一視点画像データを表示部５０に出力する。

次に、表示部５０の処理を説明する。ステップＳ３０２において、表示部５０は、画像データを受信する。この画像データは、ステップＳ２１２で送信されたマルチ画像データ３０１５、またはステップＳ２１４で送信された一視点画像データである。次に、ステップＳ３０４において、表示部５０は、ステップＳ３０２で受信した画像データ（マルチ画像データ３０１５または一視点画像データ）を送信する。たとえば、ステップＳ３０２で受信した画像データが一視点画像データである場合には、表示部５０は、該一視点画像データに基づいて図２の画像（一視点画像）を表示する。また、ステップＳ３０２で受信した画像データがマルチ画像データ３０１５である場合には、表示部５０は、該マルチ画像データ３０１５に基づいて図３の画像（マルチ画像）を表示する。

図１２は、マルチ画像データ生成処理のフローチャートである。図１２を用いて、生成部５０４によるマルチ画像データ生成処理を説明する。図１２に示すように、ステップＳ４０２において、第１画像生成部５０４１は、受信した三次元データから第１画像データ３０１１を生成する。次に、ステップＳ４０４において、第２画像生成部５０４２は、受信した三次元データから第２画像データ３０１２を生成する。次に、ステップＳ４０６において、第３画像生成部５０４３は、受信した三次元データから第３画像データ３０１３を生成する。次に、ステップＳ４０８において、調整部５０５０は、三次元スキャナ８０の移動方向に基づいて（モーション信号に基づいて）、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を調整する。図１２のマルチ画像データ生成処理により、生成部５０４は、第１画像３０１、第２画像３０２、および第３画像３０３のそれぞれに含まれる歯列の位置に基づいて、第１画像３０１を中央に第２画像３０２および第３画像３０３が第１画像３０１の両側に配置して表示されるように、マルチ画像データ３０１５を生成する。

図１３は、三次元スキャナ８０の非スキャン中の表示システム１００のフローチャートを説明するための図である。図１３を用いて、三次元スキャナ８０の非スキャン中の表示システム１００の主な処理を説明する。画像処理装置４０は、マルチ画像表示操作が実行されたか否かを判断する。ここで、マルチ画像表示操作は、たとえば、画像処理装置の周辺機器に対して実行される操作である。

画像処理装置４０が、マルチ画像表示操作が実行されたと判断するまでステップＳ４５０の判断処理を繰り返す。ステップＳ４５０においてＹＥＳと判断された場合には、処理は、ステップ２０４に移行する。以降の処理は、図１１と同様なので、説明を繰り返さない。

［小括］
（１） 本実施の形態の画像処理装置４０の生成部５０４は、歯列２００に対する視点が異なる複数の画像の画像データを、取得部５０２により取得された三次元データに基づいて生成する。本実施の形態では、「歯列２００に対する視点が異なる複数の画像」は、図３および図７に示すように、歯列２００に対する第１視点方向Ｄ１からの第１画像３０１と、歯列２００に対する第２視点方向Ｄ２からの第２画像３０２と、歯列２００に対する第３視点方向Ｄ３からの第３画像３０３とである。また、これらの複数の画像の画像データは、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３である。

出力部５０６は、生成部５０４により生成されたマルチ画像の画像データ（マルチ画像データ３０１５）を表示部５０に出力することにより、表示部５０は、マルチ画像を表示する。したがって、ユーザは表示されている歯列画像を回転させることなく、歯列画像に対して複数の方向から見た画像を認識することができ、結果として、ユーザはスキャンできなかった箇所などを確認することができる。よって、ユーザは、外部機器などを操作する必要がないことから、ユーザが手袋を装着すること、および外部機器にディスポーザブルなカバーを装着させる必要もない。以上により、本実施の形態の画像処理装置４０および表示システム１００は、ユーザによる歯列画像の確認処理の利便性を向上させることができる。

（２） 生成部５０４は、複数の画像の画像データとして、第１視点方向Ｄ１からの歯列２００を示す第１画像データ３０１１と、第２視点方向Ｄ２からの歯列２００を示す第２画像データ３０１２と、第３視点方向Ｄ３からの歯列２００を示す第３画像データ３０１３とを生成する。さらに、生成部５０４のうちの調整部５０５０は、第１画像データ３０１１に基づく第１画像３０１と、第２画像データ３０１２に基づく第２画像３０２と、第３画像データ３０１３に基づく第３画像３０３とを、表示部５０に表示させる際の第１画像３０１と第２画像３０２と第３画像３０３との位置関係が対応するように、第１画像データ３０１１と第２画像データ３０１２と第３画像データ３０１３とを調整する。このような調整により、表示部５０は、図３に示すように、第１画像３０１と、第２画像３０２と、第３画像３０３との位置関係が対応するように、第１画像３０１と、第２画像３０２と、第３画像３０３とを表示することができる。したがって、本実施の形態の画像処理装置４０および表示システム１００は、第１画像３０１と、第２画像３０２と、第３画像３０３との位置関係をユーザに認識させるように、第１画像３０１と、第２画像３０２と、第３画像３０３とを表示することができる。

（３） 調整部５０５０は、表示部５０での表示の位置関係を、表示領域５０ＡにおけるＸ座標位置またはＹ座標位置の何れかが同一となるように、第１画像データと第２画像データとを調整する。たとえば、調整部５０５０は、図８に示したように、三次元スキャナ８０が、略Ｙ軸方向に移動している場合には、図３に示すように、第１画像３０１と、第２画像３０２と、第３画像３０３のそれぞれの対応箇所のＹ座標が同一となるように調整する。これにより、表示部５０は、第１画像３０１と、第２画像３０２と、第３画像３０３のそれぞれの対応箇所のＹ座標が同一となるように第１画像３０１と、第２画像３０２と、第３画像３０３のそれぞれを表示する。したがって、本実施の形態の画像処理装置４０および表示システム１００は、第１画像３０１と、第２画像３０２と、第３画像３０３との位置関係をユーザに直感的に認識させることができる。また、図８に示したように、三次元スキャナ８０が、略Ｘ軸方向に移動している場合には、図３に示すように、第１画像４０１と、第２画像４０２と、第３画像４０３のそれぞれの対応箇所のＸ座標が同一となるように調整する。これにより、表示部５０は、第１画像４０１と、第２画像４０２と、第３画像４０３のそれぞれの対応箇所のＸ座標が同一となるように第１画像４０１と、第２画像４０２と、第３画像４０３のそれぞれを表示する。したがって、本実施の形態の画像処理装置４０および表示システム１００は、第１画像４０１と、第２画像４０２と、第３画像４０３の位置関係を、ユーザに直感的に認識させることができる。

（４） 本実施の形態では、三次元スキャナ８０の製造メーカは、ユーザに対して、三次元スキャナ８０のスキャン開始位置を最も奥の臼歯３７５の咬合面３８１とすることを推奨している。つまり、本実施の形態では、ユーザにより臼歯３７５の咬合面３８１が撮像されることが想定されている。生成部５０４の第１画像生成部５０４１は、初期（初期段階）に取得された歯列２００に対する方向を第１視点方向Ｄ１として第１画像データ３０１１を生成する。さらに、生成部５０４は、図７および図８に示すように、歯列２００の方向および第１視点方向Ｄ１に対して直角方向または略直角方向を第２視点方向Ｄ２として第２画像データ３０１２を生成する。生成部５０４は、図７および図８に示すように、第２視点方向Ｄ２と逆方向の第３視点方向Ｄ３として第３画像データ３０１３を生成する。

したがって、表示部５０は、第１画像３０１と、歯列２００の方向および第１視点方向Ｄ１に対して直角方向または略直角方向である第２視点方向Ｄ２の第２画像３０２と、第２視点方向Ｄ２とは逆方向である第３視点方向Ｄ３の第３画像３０３とを表示することができる。したがって、本実施の形態の画像処理装置４０および表示システム１００は、第１視点方向Ｄ１、第２視点方向Ｄ２、および第３視点方向Ｄ３それぞれからの歯列画像をユーザに認識することができる。

（５） 生成部５０４は、三次元スキャナ８０により撮像される歯牙の種別に応じて視点を変化させて画像データを生成する。たとえば、三次元スキャナ８０により撮像される歯牙が臼歯３７５および犬歯である場合、つまり、三次元スキャナ８０による撮像範囲が、範囲αである場合には、第１視点方向Ｄ１を咬合面３８１に対する方向とし、第２視点方向Ｄ２を舌側面３８２に対する方向とし、第３視点方向Ｄ３を頬側面３８３に対する方向として、第１画像データ３０１１、第２画像データ３０１２、および第３画像データ３０１３を生成する。したがって、歯牙の種別に応じた視点の画像をユーザに認識させることができる。

（６） たとえば、画像データが、図３および図８の画像Ｇ１に示すように臼歯３７５および犬歯のうち少なくとも一方の画像データを含む場合に、第１画像３０１は、咬合面３８１に対する視点からの画像である。また、第２画像３０２および第３画像３０３は、側面（舌側面３８２、頬側面３８３など）に対する視点からの画像である。したがって、表示部５０に、咬合面３８１に対する視点からの第１画像３０１を表示できるとともに、側面に対する視点からの第２画像３０２および第３画像３０３を表示できる。したがって、ユーザは、臼歯３７５および犬歯の全ての箇所について、スキャンされていない部分などの有無を確認できる。

（７） たとえば、画像データが、図８の画像Ｇ２に示すように、切歯４２の画像データを含む場合に、第１画像４０１は、切端４２１に対する視点からの画像である。また、第２画像４０２は、側面（舌側面４２２、唇側面４２３など）に対する視点からの画像である。したがって、ユーザは、切歯４２の全ての箇所について、スキャンされていない部分などの有無を確認できる。

（８） 取得部５０２は、図１０に示すように、三次元スキャナ８０から、三次元データと所定の信号（第２操作信号）を取得する。さらに、生成部５０４は、第２操作信号を取得したタイミング（図１１のステップＳ２０６）と略同一のタイミング（図１１のステップＳ２０１）で取得する３次元データに基づいて、マルチ画像データ３０１５を生成する。つまり、ユーザは、画像処理装置４０の周辺機器を操作せずに、三次元スキャナ８０のスキャンボタン８０２を操作することにより、マルチ表示モードに制御させることができる。したがって、ユーザの利便性を向上させることができる。なお、変形例として、画像処理装置４０が第２操作信号を取得するタイミングと、画像処理装置４０が３次元データを取得するタイミングとは同一であるとしてもよい。

（９） マルチ画像データ３０１５は、図３に示すように、歯肉３６５の一部の画像データを含む。したがって、表示部５０は、歯牙のみならず、歯肉３６５も表示することができる。したがって、本実施の形態の画像処理装置４０および表示システム１００は、歯牙のみならず歯肉３６５についても、スキャンされていない部分などの有無をユーザに確認させることができる。

（１０） 生成部５０４は、取得部５０２により取得された三次元データの量に応じて、マルチ画像データ３０１５を生成する。その結果、取得された三次元データの量に応じて、第１画像３０１、第２画像３０２、および第３画像３０３を表示する。したがって、取得された三次元データの量などをユーザに認識させることができる。

（１１） 生成部５０４は、三次元データが充足しているマルチ画像データ３０１５を生成する。表示部５０は、該マルチ画像データ３０１５に基づいて、マルチ画像を表示することから、表示部５０は、三次元データが充足していない領域（第２欠損箇所）として、透明領域３１６（図３参照）を表示する。したがって、本実施の形態の画像処理装置４０および表示システム１００は、ユーザに、三次元データが充足している領域を認識させることができる。

（１２） 生成部５０４は、取得部５０２により取得された三次元データの量が所定の領域Ｒにおける予め定められた閾値（本実施の形態では、第１閾値Ｔｈ１（Ｄｍａｘ））未満である箇所を示す補完画像データを生成する。さらに、生成部５０４は、予め定められた閾値未満である第１欠損箇所に対して、該補完画像データを付与した後に、マルチ画像データ３０１５を表示部５０に送信する。その結果、表示部５０は、図３に示すように、補完画像３１２を表示できる。したがって、本実施の形態の画像処理装置４０および表示システム１００は、三次元データが少し足りないことを、ユーザに認識させることができる。

（１３） 生成部５０４は、第１欠損箇所が、対象歯牙３６０の近傍であると判断した場合には、促進画像３１４の促進画像データを生成する。生成部５０４は、第１欠損箇所に対して促進画像データを付与した後に、マルチ画像データ３０１５を表示部５０に送信する。その結果、表示部５０は、図３に示すように、促進画像３１４を表示できる。したがって、本実施の形態の画像処理装置４０および表示システム１００は、該促進画像３１４が表示されている部分に対して再度スキャンさせることをユーザに促進することができる。

（１４） また、生成部５０４は、対象歯牙３６０の近傍の第１欠損箇所に対して促進画像データを付与する。対象歯牙３６０は、ユーザにより指定された箇所に含まれる歯牙である。つまり、対象歯牙３６０は、ユーザが注目している歯牙である。この対象歯牙３６０の近傍において三次元データが欠損している場合には、ユーザに再度スキャンさせるべきである。したがって、表示部５０は、ユーザに指定された対象歯牙３６０の近傍に促進画像３１４を表示することにより、該促進画像３１４が表示されている部分に対して再度スキャンさせることをユーザに適切に促進することができる。

（実施の形態２）
図１４は、実施の形態２の表示部５０が表示する画面の一例である。実施の形態１では、図３に示したように、第１画像３０１と、第２画像３０２と、第３画像３０３とのＹ軸方向のサイズが同一である。実施の形態２においては、図１４に示すように、第１画像３０１を中心にして、その左に図３の第２画像３０２の一部分を抜き出した第２画像３３１２を表示し、第１画像３０１の右に図３の第３画像３０３の一部分を抜き出した第３画像３３１３を表示する。図１４に示すように、第２画像３３１２および第３画像３３１３は、いずれも対象歯牙３６０をほぼ中心にして抜き出した画像である。このように、実施の形態２においては、表示部５０は、対象歯牙３６０の近傍のみの第２画像３３１２と、対象歯牙３６０の近傍のみの第３画像３３１３を表示する。換言すると、表示部５０は、対象歯牙３６０の近傍以外の部分の第２画像を表示しないとともに、対象歯牙３６０の近傍以外の部分の第３画像を表示しない。対象歯牙３６０の近傍とは、たとえば、対象歯牙３６０の隣接する歯牙が表示される範囲である。なお、変形例として、画像処理装置４０の制御の元、表示部５０は、第１画像３０１では表示されている領域であって、図１４において第２画像３３１２および第３画像３３１３で表示されていない領域（対象歯牙３６０から離れた領域）については、視認性を低下させて表示するようにしてもよい。「視認性を低下させる」とは、たとえば、「解像度および明るさなどの画質を低下させる」ことなどをいう。

次に、実施の形態２での生成部５０４の制御を説明する。第２画像生成部５０４２は、ユーザにより指定された対象歯牙３６０の位置を特定する。第２画像生成部５０４２は、特定した対象歯牙３６０の位置から予め定められた範囲Ｕ内の第２画像データのみを生成する。一方、第２画像生成部５０４２は、この予め定められた範囲Ｕ外の画像データは生成しない。予め定められた範囲内の第２画像データが、「対象歯牙３６０の近傍の領域内の画像データ」に対応する。

また、第３画像生成部５０４３は、ユーザにより指定された対象歯牙３６０の位置を特定する。第３画像生成部５０４３は、特定した対象歯牙３６０の位置から予め定められた範囲内の第３画像データのみを生成する。一方、第３画像生成部５０４３は、この予め定められた範囲外の画像データは生成しない。予め定められた範囲内の第３画像データが、「対象歯牙３６０の近傍の領域内の画像データ」に対応する。

実施の形態２の生成部５０４は、ユーザにより第１画像３０１において指定された位置（実施の形態２では、対象歯牙３６０）の近傍の領域のみを示す第２画像データおよび第３画像データを生成する。その結果、表示部５０は、ユーザにより第１画像３０１において指定された位置の近傍の領域のみを示す第２画像３３１２および第３画像３３１３を表示することができる。したがって、実施の形態２の表示部５０は、第２画像３３１２および第３画像３３１３において、ユーザが注目している箇所のみを表示することができる。

実施の形態２によれば、実施の形態１のように、第１画像３０１、第２画像３０２および第３画像３０３を表示する場合と比較して、表示する情報量を少なくすることができる。以上により、実施の形態２の画像処理装置４０および表示システム１００は、ユーザのマルチ画像に対する確認処理の負担を軽減できる。

（実施の形態３）
図１５は、実施の形態３の表示部５０が表示する画面の一例である。実施の形態３の表示部５０は、ユーザによる指定領域を示す情報を表示する。実施の形態３では、ユーザによる指定領域を示す情報を、カーソル３５０として説明する。実施の形態３では、表示部５０は、第１画像３０１にカーソル３５０を表示する。また、表示部５０は、カーソル３５０内の画像のみの第２画像３３１２および第３画像３３１３を表示し、カーソル３５０以外の画像の第２画像および第３画像を表示しない。

また、ユーザは、三次元スキャナ８０を動かすことにより、該動きに応じて、表示領域５０Ａ内でカーソル３５０を移動させることができる。たとえば、ユーザが、三次元スキャナ８０の撮像面を有する端部を上に向けると、表示領域５０Ａ内において、カーソル３５０は上に移動する。ユーザが、三次元スキャナ８０の撮像面を有する端部を下に向けると、表示領域５０Ａ内において、カーソル３５０は下に移動する。

図１５（Ａ）の例では、対象歯牙３６０が、カーソル３５０内に属していない状態を示す。この状態では、表示部５０が、第１画像３０１のうちカーソル３５０内の画像のみの側面を示す第２画像３３１２および第３画像３３１３を表示する。たとえば、ユーザが対象歯牙３６０の側面を見たいと感じた場合に、ユーザは三次元スキャナ８０の撮像面を有する端部を下に向ける。そうすると、表示領域５０Ａ内において、カーソル３５０は下に移動する。図１５（Ｂ）に示すように、カーソル３５０内に、対象歯牙３６０が属したとする。この場合に、表示部５０は、第１画像３０１のうちカーソル３５０内の画像のみの側面を示す第２画像３３１２および第３画像３３１３を表示する。これにより、ユーザは、対象歯牙３６０の側面を示す第２画像３３１２および第３画像３３１３を認識することができる。

また、実施の形態３では、表示部５０は、第１画像３０１のうちカーソルで指定されている領域内の画像のＹ軸座標と、第２画像３３１２および第３画像３３１３のＹ軸座標とが同一となるように、第２画像３３１２および第３画像３３１３を表示する。

次に、実施の形態３での生成部５０４の制御を説明する。第１画像生成部５０４１は、モーションセンサ８０４による検出結果を示すモーション信号を取得する。第１画像生成部５０４１は、該モーション信号に基づいて、指定範囲の座標を特定する。第１画像生成部５０４１は、該特定した指定範囲の座標に基づいて、カーソルデータを生成する。第１画像生成部５０４１は、第１画像データ３０１１を生成し、該第１画像データ３０１１に対して、カーソルデータを付与する。

また、第２画像生成部５０４２は、該モーション信号に基づいて、指定範囲の座標を特定する。第２画像生成部５０４２は、生成した第２画像データに対して、該特定した指定範囲内の第２画像データを抽出して、特定した指定範囲外の第２画像データを破棄する。第２画像生成部５０４２は、該抽出した第２画像データを調整部５０５０に出力する。変形例として、第２画像生成部５０４２は、特定した指定範囲内のみの第２画像データを生成するようにしてもよい。第２画像生成部５０４２は、該生成した第２画像データを調整部５０５０に出力する。

また、第３画像生成部５０４３は、該モーション信号に基づいて、指定範囲の座標を特定する。第３画像生成部５０４３は、生成した第３画像データに対して、該特定した指定範囲内の第３画像データを抽出して、特定した指定範囲外の第３画像データを破棄する。第３画像生成部５０４３は、該抽出した第３画像データを調整部５０５０に出力する。変形例として、第３画像生成部５０４３は、特定した指定範囲内のみの第３画像データを生成するようにしてもよい。第３画像生成部５０４３は、該生成した第３画像データを調整部５０５０に出力する。

次に、調整部５０５０は、指定範囲の座標を特定する。そして、調整部５０５０は、第１画像３０１のうち指定範囲内の画像のＹ軸座標と、第２画像３３１２および第３画像３３１３のＹ軸座標とが同一となるように、第２画像データおよび第３画像データを調整する。調整部５０５０は、カーソルデータが付与された第１画像データ３０１１、調整部５０５０により調整された第２画像データ、および調整部５０５０により調整された第３画像データを出力部５０６を介して、表示部５０に送信する。

このように、実施の形態３の生成部５０４は、モーションセンサ８０４の検出結果に応じた指定領域の第２画像データおよび第３画像データを生成する。したがって、実施の形態３の表示部５０は、ユーザが所望する指定範囲での第２画像３３１２および第３画像３３１３を表示することができる。よって、ユーザの利便性を向上させることができる。

（実施の形態４）
実施の形態１、実施の形態２、および実施の形態３では、第１視点方向Ｄ１、第２視点方向Ｄ２、および第３視点方向Ｄ３は予め定められている。実施の形態４の画像処理装置４０は、ユーザから複数の視点（視点方向）が入力される視点入力部を有する。ユーザは、視点入力部に対して視点を入力することにより、ユーザは、視点方向を決定できる。以下に、視点入力部の一例を説明する。

ユーザは、画像処理装置４０の周辺機器を操作することにより、視点方向設定モードに制御させることができる。画像処理装置４０は、視点方向設定モードに制御すると、表示部５０に視点方向設定画面を表示させる。図１６は、視点方向設定画面の一例である。図１６（Ａ）に示すように表示部５０は、三次元的に歯列画像６５１を表示する。この歯列画像６５１の画像データは、画像処理装置４０のメモリ１０９などに予め記憶されているデータである。

ユーザは、マウス６０２を操作することにより、視点方向の視点を決定する。たとえば、ユーザはマウス６０２を操作することにより、ポインタ（図示せず）を表示領域５０Ａ内において移動させて、図１６（Ａ）に示すように、所望の箇所でマウス６０２をクリックすると、表示部５０は、視点を示す視点画像６０３を表示させる。視点画像６０３は、視点方向の視点を示す画像である。その後、ユーザは、表示領域５０Ａ内の所望の方向に沿って、マウス６０２のドラッグ操作を行うことにより、図１６（Ｂ）に示すように、表示部５０は、視点画像６０３から視点方向を示す矢印画像６０４を表示させる。視点画像６０３と矢印画像６０４が、視点方向を特定する視点方向画像６１０を構成する。

ユーザは、複数の視点方向を設定することができる。図１６（Ｃ）の例は、画像処理装置４０において、３つの視点方向が設定されている。つまり、図１６（Ｃ）の例は、表示部５０が３つの視点方向画像６１０を表示している例である。このように、視点入力部は、表示部５０と、マウス６０２などから構成される。

実施の形態４の生成部５０４は、視点入力部から入力された視点に係るマルチ画像データ３０１５を生成する。これにより、表示部５０は、ユーザが入力した視点に係るマルチ画像を表示することができる。したがって、実施の形態４の画像処理装置４０は、ユーザの所望の視点に係るマルチ画像を表示させることができることから、ユーザの利便性を向上させることができる。

なお、実施の形態４で説明した視点入力部は一例であり、他の構成により、ユーザに視点を入力させるようにしてもよい。たとえば、視点入力部は、ユーザに視点の角度を入力させるようにしてもよい。

（実施の形態５）
ユーザによっては、たとえば、第２画像が第１画像に対していずれの視点であるかを分かり難いと感じるユーザがいる。そこで、実施の形態５の画像処理装置４０は、第２画像が第１画像に対していずれの視点であるかをユーザに分かり易くする。ところで、実施の形態４では、視点入力部から、ユーザが所望する視点を入力できるとして説明した。該視点入力部から入力した視点の数が多いと、ユーザがマルチ画像を視認し難くなってしまう。実施の形態５の画像処理装置４０は、視点の数が多くなっても、ユーザにマルチ画像を認識させやすくする。

図１７は、実施の形態５の表示部５０が表示する画面の一例である。図１７の例では、ユーザにより４つの視点が設定された場合を示す。図１７の例での表示部５０は、第１画像７０１を表示領域５０Ａの中央に表示するとともに、表示部５０は、第２画像７０２と、第３画像７０３と、第４画像７０４と、第５画像７０５とを表示する。なお、実施の形態５において、設定される視点の数は１以上であればよく４つの視点に限定されない。

第１画像７０１は、右の奥の臼歯を示す画像である。第２画像７０２は、第１画像７０１が示す歯列について、奥から舌側面に対する視点方向の画像である。第３画像７０３は、第１画像７０１が示す歯列について、奥から頬側面に対する視点方向の画像である。第４画像７０４は、第１画像７０１が示す歯列について、手前から舌側面に対する視点方向の画像である。第５画像７０５は、第１画像７０１が示す歯列について、手前から頬側面に対する視点方向の画像である。

また、表示部５０は、第１画像７０１と第２画像７０２との間に、第２視点画像７０２１を表示する。表示部５０は、第１画像７０１と第３画像７０３との間に、第３視点画像７０３１を表示する。表示部５０は、第１画像７０１と第４画像７０４との間に、第４視点画像７０４１を表示する。表示部５０は、第１画像７０１と第５画像７０５との間に、第５視点画像７０５１を表示する。

第２視点画像７０２１は、奥から舌側面に対する視点方向を示す矢印の画像である。第３視点画像７０３１は、奥から頬側面に対する視点方向を示す矢印の画像である。第４視点画像７０４１は、手前から舌側面に対する視点方向を示す矢印の画像である。第５視点画像７０５１は、手前から頬側面に対する視点方向を示す矢印の画像である。

次に、生成部５０４の制御について説明する。実施の形態５の生成部５０４は、第１画像生成部５０４１と、第２画像生成部５０４２と、第３画像生成部５０４３との他に、特に図示しないが、第４画像生成部と、第５画像生成部とを有する。第１画像生成部５０４１は、第１画像データを生成する。第２画像生成部５０４２は、第２画像データを生成する。第３画像生成部５０４３は、第３画像データを生成する。第４画像生成部５０４４は、第４画像データを生成する。第５画像生成部５０４５は、第５画像データを生成する。

第１画像データは、第１画像７０１の画像データである。第２画像データは、第２画像７０２の画像データである。第３画像データは、第３画像７０３の画像データである。第４画像データは、第４画像７０４の画像データである。第５画像データは、第５画像７０５の画像データである。

さらに、生成部５０４は、第２視点画像データと、第３視点画像データと、第４視点画像データと、第５視点画像データとを生成する。第２視点画像データは、第２視点画像７０２１の画像データである。第３視点画像データは、第３視点画像７０３１の画像データである。第４視点画像データは、第４視点画像７０４１の画像データである。第５視点画像データは、第５視点画像７０５１の画像データである。

また、調整部５０５０は、第２画像７０２と、第３画像７０３と、第４画像７０４と、第５画像７０５と、第２視点画像７０２１と、第３視点画像７０３１と、第４視点画像７０４１と、第５視点画像７０５１とが図１７に示す表示態様となるように、第１画像データと、第２画像データと、第３画像データと、第４画像データと、第５画像データと、第２視点画像データと、第３視点画像データと、第４視点画像データと、第５視点画像データとを調整する。

実施の形態５の生成部５０４は、少なくとも第２画像７０２（実施の形態５では、第２画像７０２と、第３画像７０３と、第４画像７０４と、第５画像７０５）が第１画像７０１に対していずれの視点であるかを示す視点データ（第２視点画像データと、第３視点画像データと、第４視点画像データと、第５視点画像データ）を生成する。したがって、表示部５０は、図１７に示すような画面を表示する。よって、実施の形態５の画像処理装置４０は、少なくとも第２画像７０２が、第１画像７０１に対していずれの視点であるかをユーザに分かり易くすることができる。

（実施の形態６）
実施の形態１では、スキャン前にユーザが周辺機器（キーボード６０１およびマウス６０２）などを操作することにより、対象歯牙３６０を示す情報（たとえば、歯牙の識別情報（識別番号））を入力するとして説明した。実施の形態６では、画像処理装置が、対象歯牙を特定する。実施の形態６では、対象歯牙は支台歯であるとする。なお、対象歯牙はいずれの歯牙であってもよく、たとえば、対象歯牙は齲歯であってもよい。

たとえば、実施の形態６に係る画像処理装置は、画像処理装置が有するＡＩ（人工知能：Artificial Intelligence）を利用して、三次元スキャナ８０によって取得された三次元データに基づき、支台歯を自動的に特定する。なお、画像処理装置による支台歯を特定する処理を「特定処理」とも称する。

図１８は、実施の形態６の画像処理装置４０Ａの機能構成例を示す図である。画像処理装置４０Ａと、図１０の画像処理装置４０とを比較すると、画像処理装置４０Ａは、特定部４２０を有する一方、画像処理装置４０は特定部４２０を有さない点で両者は異なる。

特定部４２０は、推定モデル１１４と、特定用プログラム１２０とを含む。特定用プログラム１２０は、取得部５０２が取得した三次元データに対応する歯牙の特徴に基づき、推定モデル１１４を用いて歯列から支台歯を特定する。推定モデル１１４は、ニューラルネットワークと、該ニューラルネットワークのパラメータとを含む。パラメータは、重みとバイアスとを含む。

取得部５０２により取得された三次元データは、特定部４２０に入力される。この三次元データは、複数の歯牙が含まれる一視点画像に対応するデータである。特定部４２０の特定用プログラム１２０は、取得部５０２からの三次元データを受信すると、該三次元データに含まれる特徴量（複数の歯牙の特徴量）を抽出し、該特徴量をニューラルネットワークの入力層に入力する。特徴量は、たとえば、いずれの値であってもよく、たとえば、三次元データの色情報などである。ニューラルネットワークにおいては、たとえば、ニューラルネットワークの中間層によって、入力された位置情報の値に対して重み付け係数が乗算されたり所定のバイアスが加算されたりするとともに所定の関数による計算が行われる。ニューラルネットワークの出力層からは、中間層での計算結果であるスコアが出力される。さらに、特定用プログラム１２０は、スコアと、予め定められた判定値とを比較することにより、支台歯を特定する。なお、ニューラルネットワークによる計算および判定については、三次元データに基づき支台歯の有無を識別できるものであれば、いずれの手法が用いられてもよい。

推定モデル１１４のニューラルネットワークにおいては、中間層が多層構造になることで、ディープラーニングによる処理が行われる。実施の形態６においては、３次元画像に特化した識別処理を行う特定用プログラム１２０として、たとえば、VoxNet、3DShapeNets、Multi-View CNN、RotationNet、OctNet、FusionNet、PointNet、PointNet++、SSCNet、およびMarrNetなどが用いられるが、その他のプログラムが用いられてもよい。また、ニューラルネットワークの仕組みには既存のものが適用されてもよい。

次に、推定モデル１１４の学習について説明する。推定モデル１１４は、たとえば、学習用データを利用した教師あり学習で学習されることで最適化（調整）される。実施の形態６では、学習用データは、支台歯を含む歯牙の特徴量と、該特徴量に対応づけられた正解スコア（ラベル）とを含む。推定モデル１１４の学習の際には、推定モデル１１４に対して、学習用データが入力される。推定モデル１１４に対して学習用データが入力された場合のスコア（推定結果）が、正解スコアに近づくように、ニューラルネットワークのパラメータを更新する。このように、推定モデル１１４は、歯牙の特徴を含む三次元データと、三次元データを用いた対象歯牙の特定結果（たとえば、スコア）とに基づき学習される。

特定部４２０が、支台歯を特定すると支台歯の三次元データを制御部５１０に出力する。生成部５０４は、支台歯の三次元データに基づいて、第１画像データ、第２画像データ、および第３画像データを生成する。その結果、表示部５０は、たとえば、図３に示すように、支台歯が含まれるマルチ画像（第１画像３０１、第２画像３０２、および第３画像）を表示することができる。

実施の形態６の特定部４２０は、支台歯（ユーザが注目する歯牙）を特定して、該支台歯を含むマルチ画像を表示することができる。したがって、ユーザは事前に支台歯を特定するための情報を入力する必要が無いことから、衛生面を向上させることができ、ユーザの利便性を向上させることができる。また、支台歯を確認するために、三次元スキャナ８０によるスキャンを中断させる必要がなく、スキャンの時間を短縮させることができる。

（実施の形態７）
図１９は、実施の形態７を説明するための図である。実施の形態７では、表示部５０は、ユーザの操作に応じて、第１表示状態および第２表示状態のいずれかに切換えることができる。ユーザの操作は、たとえば、画像処理装置４０の周辺機器（キーボード６０１、およびマウス６０２など）への操作である。

図１９（Ａ）は、表示部５０が、マルチ画像と、他のコンテンツ５２０（他の画像）とを表示する状態である。他のコンテンツ５２０とは、マルチ画像とは異なる画像である。たとえば、図１９の所定の制御を開始させるためのスタートボタン、およびアプリケーションのアイコン画像などを含む。図１９（Ｂ）は、表示部５０が、他のコンテンツ５２０を表示せずに、マルチ画像のみを表示する状態である。

また、図１９（Ａ）での第１表示状態は、所定倍率で、マルチ画像を表示する低倍率表示状態でもある。一方、図１９（Ｂ）での第２表示状態は、所定倍率よりも高い倍率で、マルチ画像を表示する高倍率表示状態でもある。

実施の形態７によれば、表示部５０は、マルチ画像と他のコンテンツ５２０とを表示する第１表示状態（図１９（Ａ）参照）と、マルチ画像の画像のみを表示する第２表示状態（図１９（Ｂ）参照）とのいずれかにユーザの操作に応じて切換可能である。したがって、ユーザは、該ユーザが所望する画像を表示させることができることから、ユーザの利便性を向上させることができる。

また、実施の形態７によれば、表示部５０は、マルチ画像を所定倍率で表示する低倍率表示状態（図１９（Ａ）参照）と、マルチ画像を所定倍率よりも高い倍率で表示する高倍率表示状態（図１９（Ｂ）参照）のいずれかにユーザの操作に応じて切換可能である。したがって、ユーザは、該ユーザが所望する倍率でマルチ画像を表示させることができることから、ユーザの利便性を向上させることができる。

実施の形態７の変形例として、低倍率表示状態および高倍率表示状態の双方は、他のコンテンツ５２０を表示せずにマルチ画像のみを表示する状態としてもよい。また、低倍率表示状態および高倍率表示状態の双方は、マルチ画像と、他のコンテンツ５２０とを表示する状態としてもよい。第１表示状態および第２表示状態の画像の倍率は同一でもよい。

（実施の形態８）
図２０は、実施の形態８を説明するための図である。図１の例での表示システム１００は、１つの表示部（表示部５０）を含むとして説明した。実施の形態８の表示システム１００Ａは、２つの表示部（第１表示部５１および第２表示部５２）を含む。第１表示部５１は、表示領域５１Ａに画像を表示する。第２表示部５２は、表示領域５２Ａに画像を表示する。

図２１は、第１表示部５１および第２表示部５２が表示する画面の一例である。図２１（Ａ）は、第１表示部５１が、マルチ画像と、他のコンテンツ５２０とを表示することを示す図である。図２１（Ｂ）は、第２表示部５２が、他のコンテンツ５２０を表示せずに、マルチ画像のみを表示することを示す図である。

また、図２１（Ａ）に示すように、第１表示部５１は、所定倍率で、マルチ画像を表示する。一方、図２１（Ｂ）に示すように、第２表示部５２は、所定倍率よりも高い倍率で、マルチ画像を表示する。

実施の形態８によれば、第１表示部５１は、マルチ画像と他のコンテンツ５２０とを表示する（図２１（Ａ）参照）一方、第２表示部５２は、マルチ画像の画像のみを表示する（図２１（Ｂ）参照）。したがって、ユーザは、該ユーザが所望する画像を表示させることができることから、ユーザの利便性を向上させることができる。

また、実施の形態８によれば、第１表示部５１は、マルチ画像を所定倍率で表示する一方（図２１（Ａ）参照）、第２表示部５２は、マルチ画像を所定倍率よりも高い倍率で表示する（図２１（Ｂ）参照）。したがって、ユーザは、該ユーザが所望する倍率でマルチ画像を表示させることができることから、ユーザの利便性を向上させることができる。

実施の形態７の変形例として、第１表示部５１および第２表示部５２は、他のコンテンツ５２０を表示せずにマルチ画像のみを表示するようにしてもよい。また、第１表示部５１および第２表示部５２は、マルチ画像と、他のコンテンツ５２０とを表示するようにしてもよい。また、第１表示部５１および第２表示部５２の画像の表示倍率は同一でもよい。

（変形例）
（１） 前述の実施の形態では、取得部５０２は、三次元スキャナ８０から三次元データを取得するとして説明した。しかしながら、三次元データの取得元は、他であってもよい。たとえば、三次元スキャナ８０と、画像処理装置４０とを所定のネットワークで接続させるようにしてもよい。この場合には、三次元データの取得元は、ネットワークとなる。また、三次元データを記憶媒体に記憶させるようにしてもよい。この場合には、三次元データの取得元は、記憶媒体となる。

また、前述の実施の形態では、出力部５０６は、表示部５０にマルチ画像データを出力するとして説明した。しかしながら、出力部５０６の出力先は、他であってもよい。出力先は、プリンタであってもよい。出力部５０６の出力先は、記憶媒体としてもよい。この場合には、この記憶媒体にマルチ画像データが記憶される。また、画像処理装置４０と、表示部５０とを所定のネットワークで接続させるようにしてもよい。この場合には、出力部５０６の出力先は、ネットワークである。

（２） 前述の実施形態では、三次元スキャナ８０により最初（初期）に撮像される箇所は、臼歯３７５の咬合面３８１であることが想定されているとして説明した。しかしながら、画像処理装置４０が、臼歯３７５の咬合面３８１を特定するようにしてもよい。

一般的に、臼歯の端部（歯牙の歯肉とは反対側の部分）は、歯牙の色となる領域の面積が、他の歯牙の端部よりも大きい。以下では、歯牙の色を白色という。換言すれば、臼歯の端部を示す座標（たとえば、Ｚ座標）において、臼歯の方が他の歯牙よりも白色となる領域の面積は大きい。

そこで、本変形例では、生成部５０４は、取得部５０２が取得した三次元データのうちＺ座標が予め定められたＺ座標範囲に属する三次元データを抽出する。そして、生成部５０４は、該抽出した三次元データのうち白色を示す三次元データの量が、予め定められた閾値以上であるか否かを判断する。白色を示す三次元データの量が、予め定められた閾値以上であるということは、該三次元データに対応する箇所は、臼歯３７５の咬合面３８１である可能性が高い。そこで、生成部５０４は、白色を示す三次元データの量が、閾値以上であると判断した場合には、該三次元データの抽出元の三次元データは咬合面３８１の三次元データであると判断する。一方、生成部５０４は、白色を示す三次元データの量が、閾値未満であると判断した場合には、該三次元データの抽出元の三次元データは咬合面３８１以外の三次元データであると判断する。

以上の手法により、生成部５０４は、取得部５０２が取得した三次元データが咬合面３８１を示す三次元データであるか否かを判断するようにしてもよい。

また、生成部５０４は、他の手法により、咬合面３８１を特定するようにしてもよい。たとえば、実施の形態６で説明したＡＩを用いて咬合面３８１を特定するようにしてもよい。

（３） 前述の実施の形態では表示部５０は、３以上の画像（第１画像３０１、第２画像３０２、および第３画像３０３）を表示するとして説明した。しかしながら、表示部５０が表示する画像の数は、「２」としてもよく、「４」以上としてもよい。たとえば、表示部５０は、第１画像３０１と第２画像３０２とを表示するようにしてもよい。

（４） 前述の実施の形態の表示システムは、一視点画像の表示と、マルチ画像の表示とを切換えることができるとして説明した。しかしながら、表示システムは、一視点画像を表示せずに、マルチ画像を表示するようにしてもよい。

（５） 前述した画像処理装置の処理の少なくとも一部を、他の装置が実行するようにしてもよい。他の装置は、たとえば、三次元スキャナおよび表示部のうち少なくとも１つを含むようにしてもよい。

（６） 前述の実施の形態では、スキャンボタン８０２を第２操作する前においては、画像処理装置は、一視点表示モードに制御し、スキャンボタン８０２を第２操作したときに、画像処理装置は、マルチ表示モードに制御するとして説明した。しかしながら、たとえば、ユーザによる操作が継続されている期間（たとえば、ユーザによりスキャンボタン８０２への操作が継続されているとき）期間に、画像処理装置は、マルチ表示モードに制御する構成を採用してもよい。この構成を採用している画像処理装置は、ユーザによる操作が継続されている期間以外の期間では、一視点表示モードに制御する。

（７） 前述の実施の形態では、調整部５０５０が、第１画像データ、第２画像データ、および第３画像データを調整するとして説明した。しかしながら、調整部５０５０による調整処理を実行しないようにしてもよい。このような構成によれば調整部５０５０による調整処理の負担を削減できる。

（８） 前述の実施の形態では、表示部５０が表示するマルチ画像（第１画像３０１、第２画像３０２、第３画像３０３など）の全ては、二次元的な画像であるとして説明した。しかしながら、表示部５０が表示するマルチ画像の少なくとも１つの画像を、一視点画像として表示するようにしてもよい。

（９） 図１１の例では、取得部５０２が三次元データを取得したことを条件に、生成部５０４は、マルチ画像データを生成するとして説明した（図１１のステップＳ２０１およびステップＳ２０４）。しかしながら、生成部５０４がマルチ画像データを生成する条件は他の条件としてもよい。たとえば、この条件は、第２操作信号を受信するという条件としてもよい。

（１０） 実施の形態２においては、図１４に示すように、画像処理装置４０は、対象歯牙３６０の近傍のみの第２画像３３１２と、対象歯牙３６０の近傍のみの第３画像３３１３とを表示部５０に表示させるとして説明した。しかしながら、変形例として、ユーザにより対象歯牙３６０が指定されていない場合であっても、画像処理装置４０の制御の元、表示部５０は、図１４に示すように第１画像３０１を中心にして、第１画像３０１の左に第２画像３０２の一部分を抜き出した第２画像３３１２を表示し、第１画像３０１の右に図３の第３画像３０３の一部分を抜き出した第３画像３３１３を表示するようにしてもよい。以下、この表示を「抜き出し表示」という。

本変形例によれば、画像処理装置４０は、ユーザにより対象歯牙３６０が指定されていない場合であっても、抜き出し表示を実行することにより、スキャン中の歯牙を表示領域５０Ａの略中央部に表示させることができる。その結果、ユーザは、表示領域５０Ａの略中央部に表示される歯牙が、スキャン中の画像であることを認識できる。

さらに、画像処理装置４０は、スキャン中は抜き出し表示を実行し、ユーザにより第１操作がなされてスキャンが停止された場合において、ユーザにより後発的に指定された対象歯牙３６０について抜き出し表示を表示部５０に実行させるようにしてもよい。該特定は、たとえば、ユーザによる指定に基づく特定、および画像処理装置４０がＡＩ機能などを用いた特定などを含む。これにより、ユーザは歯列弓のうち所望の範囲をスムーズにスキャンできるとともに、その後は、撮り残しがあってはならない対象歯牙３６０のみのスキャン状況を確認することができる。

（１１） また、画像処理装置４０は、第２画像３３１２および第３画像３３１３（図１４参照）を所定倍率で拡大して表示部５０に表示させる構成を採用するようにしてもよい。このような構成が採用された場合には、画像処理装置４０は、第１画像３０１、第２画像３３１２、および第３画像３３１３それぞれの対象歯牙３６０のＸ軸方向またはＹ軸方向の中心位置が同一または略同一となるようにマルチ画像データ３０１５を生成する。表示部５０が、このマルチ画像データ３０１５に基づいた画像を表示することにより、歯列の側面の画像（第２画像３３１２および第３画像３３１３）を拡大して表示できる。したがって、ユーザは、重要な対象歯牙３６０の取り残しやすい箇所である側面を確認し易くなる。また、この所定倍率は、ユーザが設定可能としてもよい。

また、前述の実施の形態、および変形例のいずれかに対して、前述の実施の形態、および変形例の少なくとも一部を適用するようにしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

４０，４０Ａ 画像処理装置、５０ 表示部、５０Ａ，５１Ａ，５２Ａ 表示領域、５１ 第１表示部、５２ 第２表示部、８０ 三次元スキャナ、１００，１００Ａ 表示システム、１０２ スキャナインターフェース、１０３ ディスプレイインターフェース、１０４ スピーカインターフェース、１０５ 周辺機器インターフェース、１０６ ネットワークコントローラ、１０９ メモリ、１１４ 推定モデル、１２０ 特定用プログラム、１３０ 演算装置、３０１，４０１，７０１ 第１画像、３０２，４０２，７０２，３３１２ 第２画像、３０３，４０３，７０３，３３１３ 第３画像、３１０ 対象歯牙情報、３１２ 補完画像、３１４ 促進画像、３１６ 透明領域、３５０ カーソル、３５１ 第１付加情報、３５２ 第２付加情報、３５３ 第３付加情報、３６０ 対象歯牙、４００ スピーカ、４２０ 特定部、５０２ 取得部、５０４ 生成部、５０６ 出力部、５０８ 記憶部、５１０ 制御部、５２０ コンテンツ、５５０ リムーバブルディスク、６０１ キーボード、６０２ マウス、６０３ 視点画像、６０４ 矢印画像、６１０ 視点方向画像、６５１ 歯列画像、８０２ スキャンボタン、８０４ モーションセンサ。

Claims (27)

1. 口腔内の複数の歯牙を含む歯列の三次元データを取得する取得部と、
   前記歯列に対する視点が異なる複数の画像の画像データを、前記取得部により取得された前記三次元データに基づいて生成する生成部と、
   前記生成部により生成された前記画像データを表示部に出力する出力部とを備え、
   前記生成部は、
   前記複数の画像の画像データとして、第１視点方向からの前記歯列を示す第１画像データと、前記第１視点方向と正の所定角度をなす第２視点方向からの前記歯列を示す第２画像データと、前記第１視点方向と負の前記所定角度をなす第３視点方向からの前記歯列を示す第３画像データとを生成し、
   前記第１画像データに基づく第１画像の両隣に、前記第２画像データに基づく第２画像と前記第３画像データに基づく第３画像とが位置し、かつ、前記第１画像、前記第２画像、および前記第３画像の位置関係が対応して前記表示部が表示するように、前記第１画像データ、前記第２画像データ、および、前記第３画像データを調整する、画像処理装置。
2. 前記所定角度は、９０度、略９０度、４５度、略４５度、３０度、および略３０度の少なくとも１つを含む、請求項１に記載の画像処理装置。
3. 前記取得部は、三次元スキャナから前記三次元データを取得し、
   前記生成部は、前記三次元スキャナのスキャン中に、該三次元スキャナの撮像面が向けられた歯牙についての前記第１画像データ、前記第２画像データ、および前記第３画像データを生成する、請求項１または請求項２に記載の画像処理装置。
4. 前記生成部は、前記位置関係を、前記表示部の表示領域におけるＸ座標位置またはＹ座標位置の何れかが同一または略同一となるように、前記第１画像データと前記第２画像データとを調整する、請求項１〜請求項３のいずれか１項に記載の画像処理装置。
5. 前記生成部は、前記第１画像においてユーザより指定された位置の近傍の領域のみを示す前記第２画像データを生成する、請求項１〜請求項４のいずれか１項に記載の画像処理装置。
6. 前記画像データが、臼歯および犬歯のうち少なくとも一方の画像データを含む場合に、
   前記第１画像は、咬合面に対する視点からの画像であり、
   前記第２画像は、側面に対する視点からの画像である、請求項１〜請求項５のいずれか１項に記載の画像処理装置。
7. 前記画像データが、切歯の画像データを含む場合に、
   前記第１画像は、切端に対する視点からの画像であり、
   前記第２画像は、側面に対する視点からの画像である、請求項１〜請求項５のいずれか１項に記載の画像処理装置。
8. 前記生成部は、前記第２画像が前記第１画像に対していずれの視点であるかを示す視点データを生成する、請求項１〜請求項７のいずれか１項に記載の画像処理装置。
9. 前記取得部は、三次元スキャナから前記三次元データを取得し、
   前記三次元スキャナは、ユーザの前記三次元スキャナに対する動作を検出するセンサを含み、
   前記生成部は、前記センサの検出結果に応じた指定領域の第２画像データを生成する、請求項１〜請求項８のいずれか１項に記載の画像処理装置。
10. 前記取得部は、三次元スキャナから、前記三次元データと所定の信号とを取得し、
    前記生成部は、前記所定の信号を取得したタイミングと同一のタイミングまたは略同一のタイミングで取得する３次元データに基づいて前記複数の画像の画像データを生成する、請求項１〜請求項９のいずれか１項に記載の画像処理装置。
11. 前記生成部は、歯牙の種別に応じて視点を変化させて前記画像データを生成する、請求項１〜請求項１０のいずれか１項に記載の画像処理装置。
12. 前記画像データは、歯肉の一部の画像データを含む、請求項１〜請求項１１のいずれか１項に記載の画像処理装置。
13. 前記生成部は、前記取得部により取得された前記三次元データの量に応じて、前記複数の画像の画像データを生成する、請求項１〜請求項１２のいずれか１項に記載の画像処理装置。
14. 前記生成部は、前記三次元データが充足している箇所のみの前記複数の画像の画像データを生成する、請求項１３に記載の画像処理装置。
15. 前記生成部は、前記三次元データの量が所定の領域において予め定められた閾値未満である箇所に第１付与データを付与する、請求項１３または請求項１４に記載の画像処理装置。
16. 前記生成部は、再度、スキャンさせることをユーザに促進する箇所に第２付与データを付与する、請求項１３〜請求項１５のいずれか１項に記載の画像処理装置。
17. 前記促進する箇所は、ユーザにより指定された箇所に含まれる、請求項１６に記載の画像処理装置。
18. 前記取得部が取得した前記三次元データに対応する歯牙の特徴に基づき、ニューラルネットワークを含む推定モデルを用いて、前記歯列から対象歯牙を特定する特定部をさらに備え、
    前記推定モデルは、歯牙の特徴を含む前記三次元データと、前記三次元データを用いた前記対象歯牙の特定結果とに基づき学習される、請求項１〜請求項１７のいずれか１項に記載の画像処理装置。
19. 前記対象歯牙は、支台歯である、請求項１８に記載の画像処理装置。
20. ユーザから前記複数の視点が入力される視点入力部をさらに備え、
    前記生成部は、前記視点入力部に入力された前記複数の視点に係る前記画像データを生成する、請求項１〜請求項１９のいずれか１項に記載の画像処理装置。
21. 口腔内の複数の歯牙を含む歯列の三次元データを生成する三次元スキャナと、画像処理装置と、表示部とを備える表示システムであって、
    前記画像処理装置は、
    前記三次元スキャナから、前記三次元データを取得する取得部と、
    前記歯列に対する視点が異なる複数の画像の画像データを、前記取得部により取得された前記三次元データに基づいて生成する生成部と、
    前記生成部により生成された前記画像データを前記表示部に出力する出力部とを備え、
    前記表示部は、前記出力部から出力された前記画像データに基づき前記複数の画像を表示し、
    前記生成部は、
    前記複数の画像の画像データとして、第１視点方向からの前記歯列を示す第１画像データと、前記第１視点方向と正の所定角度をなす第２視点方向からの前記歯列を示す第２画像データと、前記第１視点方向と負の前記所定角度をなす第３視点方向からの前記歯列を示す第３画像データとを生成し、
    前記第１画像データに基づく第１画像の両隣に、前記第２画像データに基づく第２画像と前記第３画像データに基づく第３画像とが位置し、かつ、前記第１画像、前記第２画像、および前記第３画像の位置関係が対応して前記表示部が表示するように、前記第１画像データ、前記第２画像データ、および、前記第３画像データを調整する、表示システム。
22. 前記表示部は、
    前記複数の画像と、他のコンテンツとを表示する第１表示状態と、
    前記複数の画像のみを表示する第２表示状態とのいずれかに切換可能である、請求項２１に記載の表示システム。
23. 前記表示部は、
    前記複数の画像と、他のコンテンツとを表示する第１表示部と、
    前記複数の画像のみを表示する第２表示部とを含む、請求項２１に記載の表示システム。
24. 前記表示部は、
    前記複数の画像を所定倍率で表示する低倍率表示状態と、
    前記複数の画像を前記所定倍率よりも高い倍率で表示する高倍率表示状態のいずれかに切換可能である、請求項２１または請求項２２に記載の表示システム。
25. 前記表示部は、
    前記複数の画像を所定倍率で表示する第１表示部と、
    前記複数の画像を前記所定倍率よりも高い倍率で表示する第２表示部とを含む、請求項２１または請求項２２に記載の表示システム。
26. 口腔内の複数の歯牙を含む歯列の三次元データを取得するステップと、
    前記歯列に対する視点が異なる複数の画像の画像データを、取得された前記三次元データに基づいて生成するステップと、
    生成された前記画像データを表示部に出力するステップとを備え、
    前記三次元データに基づいて生成するステップは、
    前記複数の画像の画像データとして、第１視点方向からの前記歯列を示す第１画像データと、前記第１視点方向と正の所定角度をなす第２視点方向からの前記歯列を示す第２画像データと、前記第１視点方向と負の前記所定角度をなす第３視点方向からの前記歯列を示す第３画像データとを生成するステップと、
    前記第１画像データに基づく第１画像の両隣に、前記第２画像データに基づく第２画像と前記第３画像データに基づく第３画像とが位置し、かつ、前記第１画像、前記第２画像、および前記第３画像の位置関係が対応して前記表示部が表示するように、前記第１画像データ、前記第２画像データ、および、前記第３画像データを調整するステップとを含む、画像処理方法。
27. コンピュータに、
    口腔内の複数の歯牙を含む歯列の三次元データを取得するステップと、
    前記歯列に対する視点が異なる複数の画像の画像データを、取得された前記三次元データに基づいて生成するステップと、
    生成された前記画像データを表示部に出力するステップとを実行させ、
    前記三次元データに基づいて生成するステップは、
    前記複数の画像の画像データとして、第１視点方向からの前記歯列を示す第１画像データと、前記第１視点方向と正の所定角度をなす第２視点方向からの前記歯列を示す第２画像データと、前記第１視点方向と負の前記所定角度をなす第３視点方向からの前記歯列を示す第３画像データとを生成するステップと、
    前記第１画像データに基づく第１画像の両隣に、前記第２画像データに基づく第２画像と前記第３画像データに基づく第３画像とが位置し、かつ、前記第１画像、前記第２画像、および前記第３画像の位置関係が対応して前記表示部が表示するように、前記第１画像データ、前記第２画像データ、および、前記第３画像データを調整するステップとを含む、画像処理プログラム。

Images