JP7675374B2 - 口腔内カメラ、照明制御装置及び照明制御方法 - Google Patents
口腔内カメラ、照明制御装置及び照明制御方法 Download PDFInfo
- Publication number
- JP7675374B2 JP7675374B2 JP2024501386A JP2024501386A JP7675374B2 JP 7675374 B2 JP7675374 B2 JP 7675374B2 JP 2024501386 A JP2024501386 A JP 2024501386A JP 2024501386 A JP2024501386 A JP 2024501386A JP 7675374 B2 JP7675374 B2 JP 7675374B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- color temperature
- intraoral camera
- area
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0676—Endoscope light sources at distal tip of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Epidemiology (AREA)
- Signal Processing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Endoscopes (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Multimedia (AREA)
Description
本開示は、口腔内カメラ、照明制御装置及び照明制御方法に関する。
特許文献1には、口腔内を照明する光源(照明部)と、光源から照射された口腔内からの反射光を受光する受光部(撮影部)とを備える口腔内観察装置(口腔内カメラ)が開示されている。
ところで、口腔内を撮影する口腔内カメラにおいては、歯垢の付着などの歯牙の状態を正確に取得することが望まれる。
そこで、本開示は、歯牙の状態を正確に取得することができる口腔内カメラ、照明制御装置及び照明制御方法を提供する。
本開示の一態様に係る口腔内カメラは、ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部と、前記歯牙に光を照射する照明部と、前記画像データに基づく前記歯牙からの反射光の第1色温度が前記照明部の第2色温度に基づくターゲット色温度に近づくように、前記照明部の照射強度及び色温度の少なくとも一方を制御する照明制御部と、を備える。
本開示の一態様に係る照明制御装置は、ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部と、前記歯牙に光を照射する照明部とを備える口腔内カメラにおける前記照明部を制御する照明制御装置であって、前記撮影部が生成した前記画像データを取得する取得部と、前記画像データに基づく前記歯牙からの反射光の第1色温度が前記照明部の第2色温度に基づくターゲット色温度に近づくように、前記照明部の照射強度及び色温度の少なくとも一方を制御する照明制御部とを備える。
本開示の一態様に係る照明制御方法は、ユーザの口腔内の歯牙を撮影することで画像データを生成し、前記歯牙に光を照射し、前記画像データに基づく前記歯牙からの反射光の第1色温度が照明部の第2色温度に基づくターゲット色温度に近づくように、前記照明部の照射強度及び色温度の少なくとも一方を制御する。
本開示は、歯牙の状態を正確に取得することができる口腔内カメラ、照明制御装置及び照明制御方法を提供できる。
本開示の第1態様に係る口腔内カメラは、ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部と、前記歯牙に光を照射する照明部と、前記画像データに基づく前記歯牙からの反射光の第1色温度が前記照明部の第2色温度に基づくターゲット色温度に近づくように、前記照明部の照射強度及び色温度の少なくとも一方を制御する照明制御部と、を備える。
これにより、歯牙の位置によらずターゲット色温度に近い色温度の画像データを撮影することができるので、外光などの影響により画像データの色温度が異なってしまうことを抑制することができる。口腔内カメラは、例えば、色温度制御で外光の影響を減らすことでホワイトバランスゲインを照明部(例えば、照明部の発光素子)に合わせてほぼ固定値化しやすくなるので、環境によるばらつきの少ない歯垢検出が可能となる。よって、本開示の一態様に係る口腔内カメラは、外光などの影響がある場合であっても、歯牙の状態を正確に取得することができる。
また、本開示の第2態様に係る口腔内カメラは、第1態様に係る口腔内カメラであって、例えば、前記照明制御部は、前記第1色温度が前記ターゲット色温度を含む所定範囲内になるように前記照明部の照射強度及び色温度の少なくとも一方を制御してもよい。
これにより、歯牙の位置によらず反射光の色温度を所定範囲内となるように照明部が制御されるので、口腔内カメラは、歯牙の状態をより正確に取得することができる。
また、本開示の第3態様に係る口腔内カメラは、第1態様又は第2態様に係る口腔内カメラであって、例えば、前記撮影部が撮影した第1画像データに基づいて、前記撮影部が撮影する前記歯牙の位置を判定する判定部をさらに備え、前記照明制御部は、さらに前記判定部の判定結果を用いて、前記照明部の照射強度及び色温度の少なくとも一方を制御してもよい。
これにより、歯牙の位置に応じて照明部の照射強度及び色温度の少なくとも一方が制御されるので、口腔内カメラは、歯牙の状態をより正確に取得することができる。
また、本開示の第4態様に係る口腔内カメラは、第3態様に係る口腔内カメラであって、例えば、前記判定部は、前記第1画像データと、標準的な歯牙の形状を示す第2画像データとに基づいて、前記撮影部が撮影する前記歯牙の位置を判定してもよい。
これにより、標準的な歯牙の形状を示す第2画像を用いて歯牙の位置を容易に判定することができる。
また、本開示の第5態様に係る口腔内カメラは、第3態様に係る口腔内カメラであって、例えば、予め撮影された、前記口腔内カメラを使用するユーザの歯列を含む口腔内の第3画像データを記憶する記憶部をさらに備え、前記判定部は、前記第1画像データと、前記第3画像データとに基づいて、前記撮影部が撮影する前記歯牙の位置を判定してもよい。
これにより、ユーザ自身の歯牙の画像データから歯牙の位置を判定することができるので、歯牙の位置の判定精度が向上する。
また、本開示の第6態様に係る口腔内カメラは、第3態様に係る口腔内カメラであって、例えば、前記口腔内カメラを使用するユーザに対して、歯列を区分することで定義される前記口腔内の複数の領域のうち前記撮影部に撮影させる領域を通知するための通知情報を送信する通信部をさらに備え、前記判定部は、前記通知情報が示す前記領域が前記ユーザに通知された後に前記撮影部が撮影した画像を、前記領域を撮影した画像であると判定してもよい。
これにより、撮影している歯牙の位置を判定する処理を省略することができるので、口腔内カメラにおける処理量の低減につながる。
また、本開示の第7態様に係る口腔内カメラは、第1態様~第6態様のいずれかに係る口腔内カメラであって、例えば、前記ターゲット色温度は、前記口腔内カメラを前記口腔内に入れてから最初に撮影された歯牙の色温度に基づいて設定され、前記照明制御部は、口腔内の全領域にわたって、前記第1色温度が前記設定された前記ターゲット色温度に近づくように、前記照明部の照射強度及び色温度の少なくとも一方を制御してもよい。
これにより、他の歯牙の色温度を最初に撮影された歯牙の色温度に近づけることができる。
また、本開示の第8態様に係る口腔内カメラは、第1態様~第6態様のいずれかに係る口腔内カメラであって、例えば、前記照明制御部は、歯列を区分することで定義される前記口腔内の複数の領域のうち前記照明部から照射される光の影響を強く受けている光沢領域の色温度に基づいて前記照明部の照射強度及び色温度の少なくとも一方を制御してもよい。
これにより、他の領域を光沢領域の色温度に近づけることができる。
また、本開示の第9態様に係る照明制御装置は、ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部と、前記歯牙に光を照射する照明部とを備える口腔内カメラにおける前記照明部を制御する照明制御装置であって、前記撮影部が生成した前記画像データを取得する取得部と、前記画像データに基づく前記歯牙からの反射光の第1色温度が前記照明部の第2色温度に基づくターゲット色温度に近づくように、前記照明部の照射強度及び色温度の少なくとも一方を制御する照明制御部とを備える。また、本開示の第10態様に係る照明制御方法は、ユーザの口腔内の歯牙を撮影することで画像データを生成し、前記歯牙に光を照射し、前記画像データに基づく前記歯牙からの反射光の第1色温度が照明部の第2色温度に基づくターゲット色温度に近づくように、前記照明部の照射強度及び色温度の少なくとも一方を制御する。
これにより、上記の口腔内カメラと同様の効果を奏する。
また、本開示の第11態様に係る口腔内カメラは、例えば、ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部と、歯列を区分することで定義される前記口腔内の複数の領域のうち前記撮影部が撮影する領域を検出する領域検出部と、検出された前記領域に光を照射する照明部と、検出された前記領域に基づいて前記照明部の照射強度を制御する照明制御部と、を備えてもよい。
これにより、撮影部が撮影する領域に応じた照射強度の光を照明部が照射するので、口腔内カメラは照明部の照射強度を適切に制御することができる。
また、本開示の第12態様に係る口腔内カメラは、第11態様に係る口腔内カメラであって、例えば、前記複数の領域は、前歯を含む第1領域と、前記第1領域より奥側の第2領域とを含み、前記照明制御部は、前記第1領域と前記第2領域とで前記照明部の照射強度を異ならせてもよい。
これにより、口腔内カメラは、第1領域と第2領域とで照明部の照射強度を異ならせるので、照明部の照射強度をより適切に制御することができる。
また、本開示の第13態様に係る口腔内カメラは、第11態様又は第12態様に係る口腔内カメラであって、例えば、前記照明制御部は、前記第1領域の照射強度より前記第2領域の照射強度の方が高くなるように前記照明部を制御してもよい。
これにより、第1領域に外光が照射されている場合に、第1領域を撮影した画像と第2領域を撮影した画像との明るさを近づけることができる。なお、外光とは、照明部が照射する光以外の光であり、例えば、照明光、太陽光などが例示される。
また、本開示の第14態様に係る口腔内カメラは、第11態様~第13態様のいずれかに係る口腔内カメラであって、例えば、前記領域検出部は、さらに、前記撮影部が撮影する領域を、前記口腔内の頬側及び舌側のいずれから撮影しているかを検出し、前記照明制御部は、前記撮影部が前記頬側から前記領域を撮影している場合と、前記撮影部が前記舌側から前記領域を撮影している場合とで、前記照明部の照射強度を異ならせてもよい。
これにより、口腔内カメラは、撮影部が頬側及び舌側のいずれから撮影しているかに応じて(つまり、撮影部の撮影方向に応じて)照明部の照射強度を異ならせるので、照明部の照射強度をさらに適切に制御することができる。
また、本開示の第15態様に係る口腔内カメラは、第13態様に係る口腔内カメラであって、例えば、前記領域検出部は、さらに、前記撮影部が撮影する領域を、前記口腔内の頬側及び舌側のいずれから撮影しているかを検出し、前記照明制御部は、前記第1領域を前記舌側から撮影しているか前記頬側から撮影しているかに応じた前記照明部の制御である第1制御と、前記第2領域を前記舌側から撮影しているか前記頬側から撮影しているかに応じた前記照明部の制御である第2制御を行い、前記第1制御と前記第2制御とは、互いに異なる制御であってもよい。
これにより、口腔内カメラは、第1領域と第2領域とで照明部の照射強度の制御内容を異ならせるので、照明部の照射強度をさらに適切に制御することができる。
また、本開示の第16態様に係る口腔内カメラは、第15態様に係る口腔内カメラであって、例えば、前記照明制御部は、前記第1制御において、前記第1領域を前記ユーザの正面側から撮影している場合、前記第1領域を前記頬側から撮影している場合に比べて、照射強度が高くなるように前記照明部を制御し、前記第2制御において、前記第2領域を前記舌側から撮影している場合、前記第2領域を前記頬側から撮影している場合に比べて、照射強度が低くなるように前記照明部を制御してもよい。
これにより、口腔内カメラは、第1領域をユーザの正面側から撮影した画像(外光の影響を受けやすい画像)と第1領域を舌側から撮影した画像(外光の影響を受けにくい画像)との明るさを近づけることができる。また、口腔内カメラは、第2領域を舌側から撮影した画像(外光の影響を受けやすい画像)と第2領域を頬側から撮影した画像(外光の影響を受けにくい画像)との明るさを近づけることができる。よって、口腔内カメラは、外光の影響の違いにより領域ごとに明るさが異なる画像データが生成されることを抑制できるように、照明部の照射強度を適切に制御することができる。
また、本開示の第17態様に係る口腔内カメラは、第11態様~第16態様のいずれかに係る口腔内カメラであって、例えば、前記複数の領域は、上顎の領域に含まれる2以上の領域と、下顎の領域に含まれる2以上の領域とを含んでもよい。
これにより、口腔内カメラは、照射強度をより細かく制御することができる。
また、本開示の第18態様に係る口腔内カメラは、第11態様~第17態様のいずれかに係る口腔内カメラであって、例えば、多軸加速度センサの出力に基づいて前記撮影部の姿勢を検出する姿勢検出部を備え、前記領域検出部は、検出された前記姿勢に基づいて前記撮影部が撮影する領域を検出してもよい。
これにより、口腔内カメラは、撮影部の姿勢に基づいて、撮影対象の領域を検出することができる。
また、本開示の第19態様に係る口腔内カメラは、第11態様~第18態様のいずれかに係る口腔内カメラであって、例えば、前記領域検出部は、前記画像データに映る歯牙の種類を特定し、特定した前記歯牙の種類に基づいて前記撮影部が撮影する領域を検出してもよい。
これにより、口腔内カメラは、撮影部が撮影した画像データを用いて、撮影対象の領域を検出することができる。つまり、口腔内カメラは、撮影対象の領域を検出するための専用の構成を備えていなくてもよい。よって、口腔内カメラは、簡易な構成で、照明部の照射強度を適切に制御することができる。
また、本開示の第20態様に係る口腔内カメラは、第18態様に係る口腔内カメラであって、例えば、前記撮影部の所定の姿勢である初期姿勢を取得し、前記領域検出部は、検出した前記姿勢を前記初期姿勢を用いて補正し、補正された前記姿勢に基づいて、前記複数の領域のうち前記撮影部が撮影する領域を検出してもよい。
これにより、口腔内カメラは、ユーザの姿勢に応じて撮影部の姿勢を補正することで、ユーザの姿勢によらず照明部の照射強度を適切に制御することができる。
また、本開示の第21態様に係る照明制御方法は、ユーザの口腔内の歯牙を撮影することで画像データを生成し、歯列を区分することで定義される前記口腔内の複数の領域のうち撮影部が撮影する領域を検出し、検出された前記領域に基づいて、検出された前記領域に光を照射する照明部の照射強度を制御する。
これにより、上記口腔内カメラシステムと同様の効果を奏する。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
また、本明細書において、平行、一致、直交などの要素間の関係性を示す用語、及び、リング状などの要素の形状を示す用語、並びに、数値、及び、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数%程度(あるいは、10%程度)の差異をも含むことを意味する表現である。
(実施の形態1)
以下、本実施の形態に係る口腔内カメラ及び照明制御方法について、図1~図5を参照しながら説明する。
以下、本実施の形態に係る口腔内カメラ及び照明制御方法について、図1~図5を参照しながら説明する。
[1-1.口腔内カメラシステムの構成]
まず、本実施の形態に係る口腔内カメラを備える口腔内カメラシステムの構成について、図1及び図2を参照しながら説明する。図1は、本実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。
まず、本実施の形態に係る口腔内カメラを備える口腔内カメラシステムの構成について、図1及び図2を参照しながら説明する。図1は、本実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。
図1に示すように、口腔内カメラ10は、片手で取り扱うことが可能な歯ブラシ状の筺体を備え、その筺体は、歯列撮影時にユーザの口腔内に配置されるヘッド部10aと、ユーザが把持するハンドル部10bと、ヘッド部10a及びハンドル部10bを接続するネック部10cとを備える。
撮影部21は、ヘッド部10aとネック部10cとに組み込まれている。撮影部21は、その光軸LA上に配置された撮像素子(図示しない)とレンズ(図示しない)とを有する。
撮像素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)センサ又はCCD(Charge Coupled Device)素子などの撮影デバイスであって、レンズによって歯牙の像が結像される。その結像した像に対応する信号(画像データ)を、撮像素子は外部に出力する。
また、口腔内カメラ10は、撮影時に撮影対象の歯牙に対して光を照射する照明部(照明デバイス)として、複数の第1~第4のLED(Light Emitting Diode)23A~23Dを搭載している。第1~第4のLED23A~23Dは、例えば白色LEDである。
図2は、本実施の形態に係る口腔内カメラシステムの概略的構成図である。
図2に示すように、本実施の形態に係る口腔内カメラシステムは、概略的には、撮影部21が撮影する口腔内の領域に応じた照射強度で照明部が光を照射して歯列を撮影するように構成されている。なお、撮影部21が撮影する口腔内の領域(撮影領域)は、撮影部21が現在撮影している領域、又は、これから撮影を行う領域である。
図2に示すように、口腔内カメラシステムは、口腔内カメラ10と、携帯端末50とを備える。口腔内カメラシステムでは、口腔内カメラ10が口腔内の複数の領域それぞれを撮影する場合、外光の影響の程度によらず撮影した各画像の明るさを同等にするために、撮影部21が撮影する口腔内の領域に応じて照明部23の照射強度を制御する。外光とは、照明部23が照射する光以外の光であり、例えば、照明光、太陽光などが例示される。
携帯端末50は、例えば、無線通信可能なスマートフォン又はタブレット端末等である。携帯端末50は、入力デバイス及び出力デバイスとして、例えば歯列画像を表示可能なタッチスクリーン52を備える。携帯端末50は、口腔内カメラシステムのユーザインタフェースとして機能する。
口腔内カメラ10は、ハード部20と、信号処理部30と、通信部40とを備える。
ハード部20は、口腔内カメラ10における物理的な要素であり、撮影部21と、センサ部22と、照明部23と、操作部24とを有する。
撮影部21は、ユーザの口腔内の歯牙を撮影することで画像データを生成する。撮影部21は、カメラ制御部31からの制御信号を受け付け、受け付けた制御信号に応じて、撮影などの動作を実行し、撮影で得た動画又は静止画の画像データを画像処理部32に出力する。撮影部21は、上記の撮像素子とレンズとを有する。撮影部21は、撮影部の一例である。画像データは、複数本の歯牙が映る歯列画像であるが、少なくとも1本の歯牙が映る画像であればよい。
センサ部22は、口腔内カメラ10の姿勢を検出するためのセンシングを行うセンサである。センサ部22は、例えば、撮影部21の姿勢及び/又は動きに応じた加速度及び/又は角加速度などの情報(センシングデータ)を生成し、生成した情報を領域検出部33に出力する。センサ部22は、例えば、三軸の加速度センサと三軸のジャイロセンサとを有する六軸センサであるが、多軸(例えば、x、y、zの三軸)の加速度センサであってもよい。例えば、図1に示すように、z軸は光軸LAと一致し、y軸は撮像面と平行であり、かつ口腔内カメラの長手方向に延び、x軸は撮像面と平行であり、y軸と直交する。なお、撮影部21の姿勢とは、撮影部21の撮影方向によって定まる姿勢であり、例えば、撮影部21の三次元姿勢である。x軸、y軸及びz軸は、例えば、三次元直交座標系の三軸を示している。
センサ部22としては、ピエゾ抵抗タイプ、静電容量タイプ、もしくは熱検知タイプのMEMS(Micro Electro Mechanical Systems)センサが用いられてもよい。また特に図示しないが、各軸のセンサの感度のバランス、感度の温度特性、温度ドリフトなどを補正するための補正回路をセンサ部22に設けるとよい。また、動加速度成分、ノイズなどを除去するためのバンドパスフィルタ(ローパスフィルタ)をセンサ部22に設けてもよい。また、センサ部22は、加速度センサの出力波形を平滑化することによりノイズを低減してもよい。
照明部23は、口腔内の複数の領域のうち、撮影部21が撮影する領域に光を照射する。照明部23は、例えば、領域検出部33により検出された領域に光を照射する。照明部23は、上記の複数の第1~第4のLED23A~23Dを有する。複数の第1~第4のLED23A~23Dは、例えば、撮影領域に対して互いに異なる方向から光を照射する。これにより、撮影領域に影が発生することを抑制することができる。
複数の第1~第4のLED23A~23Dのそれぞれは、少なくとも調光が制御可能に構成される。複数の第1~第4のLED23A~23Dのそれぞれは、調光及び調色が制御可能に構成されてもよい。複数の第1~第4のLED23A~23Dは、撮影部21を囲むように配置される。
照明部23は、撮影領域に応じて照射強度(発光強度)が制御される。複数の第1~第4のLED23A~23Dのそれぞれは、一律に照射強度が制御されてもよいし、互いに異なるように照射強度が制御されてもよい。なお、照明部23が有するLEDの数は特に限定されず、1つであってもよいし、5つ以上であってもよい。また、照明部23は、光源としてLEDを有することに限定されず、他の光源を有していてもよい。
操作部24は、ユーザからの操作を受け付ける。操作部24は、例えば、押しボタンにより構成されるが、音声により操作を受け付ける構成であってもよい。
また、ハード部20は、さらに、口腔内カメラ10の各構成要素に電力を供給する電池(例えば、二次電池)、商用電源に接続された外部の充電器によってワイヤレス充電されるためのコイル、構図調節及びピント調節の少なくとも一方に必要なアクチュエータなどを備えていてもよい。
信号処理部30は、後述する様々な処理を実行するCPU(Central Processing Unit)又はMPU(Micro Processor Unit)などにより実現される各機能構成部と、各機能構成部に様々な処理を実行させるためのプログラムを記憶するRAM、ROMなどのメモリ部35とを有する。信号処理部30は、カメラ制御部31と、画像処理部32と、領域検出部33と、照明制御部34と、メモリ部35とを有する。
カメラ制御部31は、例えば、口腔内カメラ10のハンドル部10bに搭載され、撮影部21を制御する。カメラ制御部31は、例えば、画像処理部32からの制御信号及び領域検出部33の検出結果の少なくとも1つに応じて撮影部21の絞り及びシャッタスピードの少なくとも1つを制御する。検出結果は、撮影部21の撮影領域の検出結果である。カメラ制御部31は、例えば、撮影領域が口腔内の前側(例えば、図4に示す上顎前及び下顎前の領域)である場合、撮影領域が前側以外(例えば、図4に示す上顎左、上顎右、下顎左及び下顎右の領域)である場合に比べて絞りを絞るように、撮影部21を制御してもよい。また、カメラ制御部31は、上顎左、上顎前、上顎右、下顎左、下顎前、下顎右の6つの領域のそれぞれで絞りの設定値が異なるように撮影部21を制御してもよい。なお、領域と絞り及びシャッタスピードの設定値とが対応付けられたテーブルは、予め設定されておりメモリ部35に記憶されている。
画像処理部32は、例えば、口腔内カメラ10のハンドル部10bに搭載され、領域検出部33からの検出結果に基づいて、撮影部21が撮影した歯列画像(画像データ)を取得し、その取得した歯列画像に対して画像処理を実行し、その画像処理後の歯列画像をカメラ制御部31及び領域検出部33に出力する。また、画像処理部32は、画像処理後の歯列画像をメモリ部35に出力し、画像処理後の歯列画像をメモリ部35に記憶させてもよい。画像処理部32は、撮影部21から画像データを取得する取得部として機能してもよい。
画像処理部32は、例えば、回路で構成され、例えば歯列画像に対してノイズ除去、AWB(Automatic White Balance)処理、輪郭強調処理などの画像処理を実行する。画像処理は、例えば、領域検出部33における精度を向上させるために行われる。画像処理部32は、例えば、歯列画像が所定以上の明るさ(画素値)の画像データである場合、歯列画像の明るさを下げてから輪郭強調処理を行ってもよい。歯列画像の明るさとは、例えば、各画素の画素値の最大値、平均値、中央値などであるが、これらに限定されない。
画像処理部32は、領域検出部33の検出結果に応じて画像処理の処理内容を変更してもよい。画像処理部32は、撮影領域が上顎左、上顎前、上顎右、下顎左、下顎前、下顎右の6つの領域のいずれであるかに応じて画像処理の処理内容を変更してもよい。
なお、画像処理部32から出力された歯列画像(画像処理後の歯列画像)は、通信部40を介して携帯端末50に送信され、送信された歯列画像が携帯端末50のタッチスクリーン52に表示されてもよい。これにより、ユーザに歯列画像を提示することができる。
領域検出部33は、歯列を区分することで定義される口腔内の複数の領域のうち撮影部21が撮影する領域を検出する。複数の領域については図3及び図4を用いて後述する。
領域検出部33は、撮影部21からの画像データ、及び、センサ部22からのセンシングデータの少なくとも1つを用いて、複数の領域のうち撮影部21が撮影する領域を検出(判定)する。領域検出部33は、画像データに映る歯牙の種類(図3を参照)を特定し、特定した歯牙の種類に基づいて撮影部21が撮影する領域を検出してもよい。領域検出部33は、画像データを入力とし、画像データに映る歯牙の種類を出力するように学習された機械学習モデルを用いて画像データに映る歯牙の種類を特定してもよいし、予め取得された各歯牙の画像データとの一致度合いから画像データに映る歯牙の種類を特定してもよい。また、領域検出部33は、画像データ及びセンシングデータを入力とし、画像データに映る歯牙の種類を出力するように学習された機械学習モデルを用いて画像データに映る歯牙の種類を特定してもよい。なお、画像データから歯牙を特定する方法は、上記に限定されず既存のいかなる方法が用いられてもよい。
また、領域検出部33は、センシングデータに基づいて撮影部21の姿勢を検出し、検出した姿勢に基づいて撮影部21が撮影する領域を検出してもよい。領域検出部33は、撮影部21の姿勢を検出する姿勢検出部として機能してもよい。センシングデータに基づいて撮影部21の姿勢を検出する方法は、後述する。
なお、領域検出部33は、撮影部21が撮影する領域が、前歯を含む第1領域(例えば、図4に示す上顎前及び下顎前の領域)と、第1領域より口腔内の奥側の第2領域(例えば、図4に示す上顎左、上顎右、下顎左及び下顎右の領域)とのいずれであるかを少なくとも検出すればよい。第1領域及び第2領域は、歯列を区分することで定義される口腔内の複数の領域の一例である。前歯は、例えば、中切歯及び側切歯の少なくとも一方を含む。
照明制御部34は、例えば、口腔内カメラ10のハンドル部10bに搭載され、領域検出部33の検出結果に応じて、第1~第4のLED23A~23Dの発光態様を制御する。照明制御部34は、領域検出部33により検出された撮影領域に基づいて照明部23の照射強度を制御する。照明制御部34による照射強度の制御については、後述する。なお、発光態様の制御には、照明部23の点灯及び消灯の制御、並びに、調色の制御が含まれる。照明制御部34は、例えば回路で構成される。
また、照明制御部34は、例えば、ユーザが携帯端末50のタッチスクリーン52に対して口腔内カメラ10を起動させる操作を実行すると、携帯端末50から対応する信号が通信部40を介して信号処理部30に送信される。信号処理部30の照明制御部34は、受信した信号に基づいて、第1~第4のLED23A~23Dの発光態様を制御する。
メモリ部35は、上記のプログラム以外に、撮影部21によって撮影された歯列画像(画像データ)及び種々の設定データなどを記憶する。設定データには、複数の領域と、当該複数の領域のそれぞれの照射強度とが対応付けられたテーブルが含まれる。メモリ部35は、例えば、RAM、ROMなどの半導体メモリにより実現されるがこれに限定されない。メモリ部35は、記憶部の一例である。
また、信号処理部30は、さらに、口腔内カメラ10のハンドル部10bに搭載され、構図調節機構のアクチュエータと焦点調節機構のアクチュエータとを制御するレンズドライバ(図示しない)、及び、電池の電力を分配する電源制御部(図示しない)を有していてもよい。レンズドライバ及び電源制御部は、例えば回路で構成される。
例えば、ユーザが携帯端末50のタッチスクリーン52に対して構図調節又はピント調節に関する操作を実行すると、携帯端末50から対応する信号が通信部40を介して信号処理部30に送信される。信号処理部30は、受信した信号に基づいて、構図調節又はピント調節を実行するようにレンズドライバに制御信号を送信する。また、例えば、信号処理部30が画像処理部32からの歯列画像に基づいて構図調節又はピント調節に必要なアクチュエータの制御量を演算し、その演算された制御量に対応する制御信号がレンズドライバに送信されてもよい。
通信部40は、携帯端末50と無線通信を行う無線通信モジュールである。通信部40は、例えば、口腔内カメラ10のハンドル部10bに搭載され、信号処理部30からの制御信号に基づいて、携帯端末50と無線通信を行う。通信部40は、例えばWiFi(登録商標)、Bluetooth(登録商標)などの既存の通信規格に準拠した無線通信を携帯端末50との間で実行する。通信部40を介して、口腔内カメラ10から歯牙が映る歯列画像が携帯端末50に送信されたり、携帯端末50から口腔内カメラ10に操作信号が送信される。
ここで、口腔内の複数の領域について、図3及び図4を参照しながら説明する。図3は、口腔内の歯牙を示す図である。歯牙の種類とは、例えば、図3に示す中切歯、側切歯、犬歯等であり、歯牙の位置とは、上顎、下顎、右側、左側等である。
図4は、本実施の形態に係る口腔内の領域の例を示す図である。図4では、例えば、口腔内の複数の歯牙が、上顎左、上顎前、上顎右、下顎左、下顎前、下顎右の6つの領域に分割される。6つの領域は、歯列を区分することで定義される口腔内の複数の領域の一例である。なお、ここでは、6つの領域に分割される例を示すが、領域の数は任意でよい。また、上顎と下顎との2つの領域に分割されてもよい。また、各領域は、撮影方向によりさらに分割されてもよい。例えば、図4に示すように、各領域は、頬側と舌側とに2つの撮影方向に分割されてもよい。また、ここでは、各歯牙が、複数の領域に重複して属さない例を示したが、一部の歯牙が2以上の領域に属してもよい。例えば、隣接する2つの領域の境界付近の歯牙は、当該2つの領域の両方に属してもよい。例えば、図4において上顎前の左端の3番の犬歯は、上顎前及び上顎左の両方に属してもよい。
また、図3及び図4に示すように、口腔内の複数の領域は、上顎の領域に含まれる2以上の領域(上顎左、上顎前、上顎右)と、下顎の領域に含まれる2以上の領域(下顎左、下顎前、下顎右)とを含む。
このような口腔内カメラ10によれば、撮影部21が撮影する口腔内の領域に応じて、照明部23の照射強度を制御することができる。例えば、ユーザが口腔内カメラ10を口腔内の任意の位置に移動させた場合、口腔内カメラ10は、当該位置において撮影部21が撮影する口腔内の領域を検出し、検出した領域に応じた照射強度の光を照射することができる。
以下、加速度センサのセンシングデータからこの領域及び撮影方向を判定する方法の具体例の一例を説明する。まず、領域検出部33は、z軸方向の加速度センサの出力Azに基づき、上顎か下顎かを判定する。ここで、上顎の歯列を撮影するときは撮像面が少なからず上向きになり、下顎の歯列を撮影するときは撮像面が少なからず下向きになる。よって、領域検出部33は、Az>0の場合は画像データに対応する領域が下顎であり、Az≦0の場合は画像データに対応する領域が上顎であると判定する。
次に、上顎と判定された場合、上顎のどの領域であるかを判定する方法を説明する。領域検出部33は、y軸方向の加速度センサの出力Ayに基づいて前歯か否かを判定する。ここで、前歯を撮影するときは口腔内カメラ10が比較的水平になるが、臼歯を撮影するときは唇との干渉があるため口腔内カメラ10が斜めにならざるをえない。よって、領域検出部33は、Ay≦閾値aの場合は上顎前と判定する。水平及び斜めは、姿勢の一例である。
さらに、領域検出部33は、上顎前と判定した場合、x軸方向の加速度センサの出力Axに基づいて頬側か舌側かを判定する。ここで、頬側と舌側とでは撮像面の向きが反転する。よって、領域検出部33は、Ax>0の場合に「上顎前頬側」と判定し、Ax≦0の場合に「上顎前舌側」と判定する。
一方、領域検出部33は、上顎前でないと判定した場合、x軸方向の加速度センサの出力Axに基づいて撮像面の向きを判定する。具体的には、領域検出部33は、Ax>0の場合に「上顎右頬側又は上顎左舌側」と判定し、Ax≦0の場合に「上顎左頬側又は上顎右舌側」と判定する。
さらに、そこで領域検出部33は、前回の処理で判定された領域に基づき、領域の絞り込みを行う。具体的には、領域検出部33は、上顎右頬側か上顎左舌側かを判定する場合、前回の領域が「上顎前頬側、上顎右頬側、上顎右舌側、下顎前頬側、下顎右頬側、下顎右舌側」のいずれかであれば、現在の領域が「上顎右頬側」であると推定し、前回の領域が「上顎前舌側、上顎左頬側、上顎左舌側、下顎前舌側、下顎左頬側、下顎左舌側」のいずれかであれば、現在の領域が「上顎左舌側」であると推定する。
また、領域検出部33は、上顎左頬側か上顎右舌側かを判定する場合、前回の領域が「上顎前頬側、上顎左頬側、上顎左舌側、下顎前頬側、下顎左頬側、下顎左舌側」のいずれかの場合に、現在の領域が「上顎左頬側」であると推定し、前回の領域が「上顎前舌側、上顎右頬側、上顎右舌側、下顎前舌側、下顎右頬側、下顎右舌側」のいずれかであれば、現在の領域が「上顎右舌側」であると推定する。これは、撮像面の移動量及び向き変更がなるべく少なくなるように撮像面の移動が行われる蓋然性が高いことを利用している。
また、下顎に対しても同様の判定が用いられる。具体的には、領域検出部33は、y軸方向の加速度センサの出力Ayに基づいて前歯か否かを判定する。具体的には、領域検出部33は、Ay≦閾値bの場合に下顎前と判定する。
下顎前と判定した場合、領域検出部33は、x軸方向の加速度センサの出力Axに基づいて頬側か舌側かを判定する。具体的には、領域検出部33は、Ax<0の場合に「下顎前頬側」と判定し、Ax≧0の場合に「下顎前舌側」と判定する。
一方、領域検出部33は、下顎前でないと判定した場合、x軸方向の加速度センサの出力Axに基づいて撮像面の向きを判定する。具体的には、領域検出部33は、Ax>0の場合に「下顎右頬側又は下顎左舌側」と判定し、Ax≦0の場合に「下顎左頬側又は下顎右舌側」と判定する。
また、領域検出部33は、下顎右頬側か下顎左舌側かを判定する場合、前回の領域が「下顎前頬側、下顎右頬側、下顎右舌側、下顎前頬側、上顎右頬側、上顎右舌側」のいずれかであれば、現在の領域が「下顎右頬側」であると推定し、前回の領域が「下顎前舌側、下顎左頬側、下顎左舌側、上顎前舌側、上顎左頬側、上顎左舌側」のいずれかであれば、現在の領域が「下顎左舌側」であると推定する。
また、領域検出部33は、下顎左頬側か下顎右舌側かを判定する場合、前回の領域が「下顎前頬側、下顎左頬側、下顎左舌側、上顎前頬側、上顎左頬側、上顎左舌側」のいずれかの場合に、現在の領域が「下顎左頬側」であると推定し、前回の領域が「下顎前舌側、下顎右頬側、下顎右舌側、上顎前舌側、上顎右頬側、上顎右舌側」のいずれかであれば、現在の領域が「下顎右舌側」であると推定する。
以上の処理によって、現在の領域が、「上顎前頬側」、「上顎前舌側」、「上顎右頬側」、「上顎左舌側」、「上顎左頬側」、「上顎右舌側」、「下顎前頬側」、「下顎前舌側」、「下顎右頬側」、「下顎左舌側」、「下顎左頬側」、「下顎右舌側」のいずれかに特定される。
なお、上記判定アルゴリズムはあくまでも一例であり、加速度センサの出力Ax、Ay、Azから領域を特定できるのであればどのような判定アルゴリズムが用いられてもよい。例えばAx、Ay、Azの値をそのまま判定の変数として用いるのでなく、Ax、Ay、Azを適宜組み合わせることで得られる2次変数を判定に用いてもよい。2次変数は、たとえば、Ay/Az、Ax・Ax+Ay・Ay、Az-Axなど、任意に設定できる。あるいは、各軸の加速度情報Ax、Ay、Azを、角度情報(姿勢角)α、β、γに変換した後で、領域を判定してもよい。例えば、重力加速度方向に対するx軸の角度をロール角α、重力加速度方向に対するy軸の角度をピッチ角β、重力加速度方向に対するz軸の角度をヨー角γのように定義してもよい。また、各判定に用いる閾値は臨床実験等の結果から決定することができる。
また、上記説明では、撮影方向として頬側と舌側との2方向を判定しているが、さらに、歯冠側を含む3方向を判定してもよい。例えば、歯冠側の撮影時には、頬側及び舌側の撮影時よりも撮像面がより水平になることを利用して、撮影方向が歯冠側であるかを判定できる。
上記では、センサ部22が有する三軸の加速度センサを用いて撮影部21の領域及び撮影方向を判定する例を説明したが、三軸のジャイロセンサを用いて撮影部21の領域及び撮影方向を判定してもよい。三軸のジャイロセンサは、例えば、それぞれx軸周りの移動による角度の変化量、y軸周りの移動による角度の変化量、及びz軸周りの移動による角度の変化量を出力する。すなわち、三軸のジャイロセンサの場合には、x軸、y軸及びz軸の初期状態を任意に設定した状態で、それぞれの軸の変化量を加算していき、撮影部21の領域及び口腔内カメラ10の撮像面の向き(撮影方向)を判定してもよい。
なお、三軸の加速度センサと三軸のジャイロセンサとを両方組合せることで、撮影部21の領域及び口腔内カメラ10の撮像面の向きを判定してもよい。
[1-2.口腔内カメラの動作]
次に、上記のように構成される口腔内カメラ10の動作(照明制御方法)について、図5を参照しながら説明する。図5は、本実施の形態に係る口腔内カメラ10の動作を示すフローチャートである。以下では、領域検出部33がセンシングデータを使って撮影部21が撮影する領域を検出する例について説明する。
次に、上記のように構成される口腔内カメラ10の動作(照明制御方法)について、図5を参照しながら説明する。図5は、本実施の形態に係る口腔内カメラ10の動作を示すフローチャートである。以下では、領域検出部33がセンシングデータを使って撮影部21が撮影する領域を検出する例について説明する。
図5に示すように、ユーザが口腔内カメラ10を用いて、自身の口腔内の歯牙及び歯茎を撮影することで画像データが生成される(S10)。画像データは、撮影部21から画像処理部32に出力される。画像処理部32は、撮影部21からの画像データに対して画像処理を実行し、その画像処理後の画像データをカメラ制御部31及び領域検出部33に出力する。ステップS10では、例えば、初期設定として登録されている照射強度で照明部23が光を照射するように制御されてもよい。
次に、領域検出部33は、ステップS10で撮影されたときに取得されたセンサ部22のセンシングデータに基づいて、撮影部21の姿勢を検出する(S20)。例えば、センシングデータは、画像データのフレームごとに取得されてもよい。
次に、領域検出部33は、撮影部21の姿勢に基づいて、口腔内の複数の領域のうち、撮影部21が撮影する領域を検出する(S30)。領域検出部33は、例えば、図4に示す6つの領域のいずれの領域を撮影部21が撮影しているかを検出する。また、領域検出部33は、さらに、撮影部21の撮影方向を検出してもよい。領域検出部33は、例えば、舌側から上顎前の領域を撮影している、ユーザの正面側(口腔の外部から口腔の内部に向けて)から下顎前を撮影しているかなどの、領域及び撮影方向を検出してもよい。また、領域検出部33は、撮影部21の姿勢に基づいて、撮影部21が撮影する領域が第1領域であるか否かを検出してもよい。領域検出部33は、検出した領域(検出結果)を示す情報を照明制御部34に出力する。
次に、照明制御部34は、領域検出部33により検出された領域に応じて照明部23の照射強度を制御する(S40)。これにより、照明制御部34は、撮影部21が撮影する領域に応じた明るさで照明部23を発光させることができる。ステップS40で照明制御部34により照射強度が制御された後に撮影部21により撮影領域(歯牙)が撮影されることで、所望の明るさの画像データを取得することができる。
なお、ステップS10は実行されなくてもよい。また、ステップS20~S40の処理が実行されるタイミングは特に限定されず、所定の時間間隔ごとに実行されてもよいし、撮影部21の姿勢及び位置の少なくとも一方が所定以上変化するごとに実行されてもよい。
ここで、領域検出部33が検出した領域と、照明制御部34の制御内容との組み合わせの一例について説明する。まずは、複数の領域が第1領域及び第2領域を含む場合について説明する。
複数の領域が第1領域及び第2領域を含む場合、照明制御部34は、第1領域と第2領域とで照明部23の照射強度を異ならせるように照明部23を制御してもよい。照明制御部34は、第1領域の照射強度より第2領域の照射強度の方が高くなるように照明部23を制御してもよい。
次に、撮影部21の撮影方向によって照射強度を異ならせる場合について説明する。具体的には、撮影部21が領域を口腔内の頬側及び舌側のいずれから撮影しているかによって、照射強度を異ならせる場合について説明する。
領域検出部33は、ステップS30において、撮影部21が撮影した画像データ、及び、撮影部21の姿勢の少なくとも1つに基づいて、さらに、撮影部21が撮影する領域を、口腔内の頬側及び舌側のいずれから撮影するかを検出する。領域検出部33は、撮影部21が撮影する領域、及び、頬側及び舌側のいずれから撮影するか(例えば、撮影方向)を照明制御部34に出力する。
照明制御部34は、撮影部21が撮影する領域及び撮影部21の撮影方向と、照射強度とが対応付けられたテーブルに基づいて、当該領域及び当該撮影方向に応じた照射強度を決定する。照明制御部34は、撮影部21が頬側から当該領域を撮影している場合と、撮影部21が舌側から当該領域を撮影している場合とで、照射強度が異なるように照明部23を制御する。つまり、照明制御部34は、同じ領域であっても撮影方向が異なる場合、照射強度を異ならせるように照明部23を制御する。この場合、図4の例では、撮影部21が撮影する領域及び撮影部21の撮影方向の組み合わせが12通りあり、12通りのそれぞれに照射強度が対応付けられたテーブルが事前に作成される。
例えば、現在の領域が上顎前及び下顎前の領域(第1領域)であり舌側から撮影している場合、当該領域をユーザの正面側から撮影している場合に比べて照射強度が高くなるように照明部23を制御する。これは、第1制御の一例である。また、現在の領域が上顎右、上顎左、下顎右及び下顎左の領域(第2領域)であり舌側から撮影している場合、当該領域を頬側から撮影している場合に比べて照射強度が低くなるように照明部23を制御する。これは、第2制御の一例である。
このように、照明制御部34は、第1制御と第2制御とで、照明部23の照射強度(照射強度の高低の関係)を互いに異なるように制御してもよい。
また、照明制御部34は、上顎前から上顎右及び上顎左に向かうにつれ、及び、下顎前から下顎右及び下顎左に向かうにつれ段階的に照射強度が高くなるように照明部23を制御してもよい。
(実施の形態1の変形例)
上述した口腔内カメラ10の姿勢に基づく歯牙の領域及び撮影方向等の判定(領域情報の生成)は、ユーザが直立した状態又は椅子に座った状態等のユーザが前を向いている状態を想定している。一方で、歯科医等が患者の歯牙を撮影する場合には、ユーザ(患者)が仰向けになっている状態で撮影が行われる場合がある。このような場合には、鉛直軸と歯牙との関係が、ユーザが前を向いている状態と異なるため正しく判定を行うことができない可能性がある。以下では、このような場合にも正しく判定を行うことができる方法を説明する。
上述した口腔内カメラ10の姿勢に基づく歯牙の領域及び撮影方向等の判定(領域情報の生成)は、ユーザが直立した状態又は椅子に座った状態等のユーザが前を向いている状態を想定している。一方で、歯科医等が患者の歯牙を撮影する場合には、ユーザ(患者)が仰向けになっている状態で撮影が行われる場合がある。このような場合には、鉛直軸と歯牙との関係が、ユーザが前を向いている状態と異なるため正しく判定を行うことができない可能性がある。以下では、このような場合にも正しく判定を行うことができる方法を説明する。
図6は、本変形例に係る、起立した状態のユーザBDに対する射影面の関係を示す図である。ここで、射影面は、ユーザBDを基準とした仮想の平面であり、前額面110、矢状面111、水平面112の3つからなる。前額面110は、ユーザBDの身体を前後に二分し、かつ床面に垂直な面である。矢状面111は、ユーザBDの身体を前から後ろに通り、ユーザBDの身体を左右に二分し、かつ床面と垂直な面である。水平面112は、床面と平行な面であり、ユーザBDの身体を上下に二分する面であり、前額面110及び矢状面111の双方に垂直な面である。
また、運動軸は垂直軸、矢状-水平軸、前額-水平軸に分けられる。図6に示すx軸は「前額-水平軸」である。矢状-水平軸は、左右方向の軸であり、矢状面111での前後屈、及び屈曲伸展等の運動の回転軸である。図6に示すy軸は「矢状-水平軸」である。矢状-水平軸は、前後方向の軸であり、前額面110での側屈、及び内外転等の運動の回転軸である。図6に示すz軸は「垂直軸」である。垂直軸は、垂直方向の軸であり、水平面112での回旋等の運動の回転軸である。
図7及び図8は、本変形例に係る、口腔内カメラ10の使用時におけるユーザBDの姿勢の例を示す図である。
図7に示すように、ユーザBDが口腔内カメラ10を直立した状態又は椅子に座った姿勢で使用する場合、ユーザは起立した状態と見做すことができる。このとき、ユーザBDの身体の垂直軸Z0(z軸)は床面に対して垂直であり、ユーザBDの身体の垂直軸Z0と重力加速度の作用方向は一致している。
一方、図8に示すように、例えば、ユーザBDが歯科治療台に載った状態で歯科医が口腔内カメラ10を使用する場合、ユーザBDの身体の上半身の前額面110は、治療台の背凭れに沿って傾く。すなわち、ユーザBDの前額面110が傾斜したことで、ユーザBDが直立した状態での身体の垂直軸Z0に対して、背凭れに沿って上半身を傾けた状態のユーザの垂直軸Z1は傾くことになる。
図9は、本変形例に係る画像処理を示すフローチャートである。図9は、上記のようにユーザBDの姿勢が変化する場合の領域検出部33における領域検出処理のフローチャートである。まず、領域検出部33は、口腔内カメラ10の初期姿勢を取得し、保持する(S110)。具体的には、ユーザの操作に基づき、ユーザの操作が行われた状態における口腔内カメラ10の姿勢が初期姿勢として取得される。例えば、携帯端末50に対するユーザの操作に基づき初期姿勢が取得される。又は、口腔内カメラ10に設けられたボタン等が押下されることで初期姿勢が取得される。例えば、六軸センサであるセンサ部22で得られた、鉛直方向を基準とした三軸の姿勢情報が初期姿勢として取得される。この初期姿勢は、携帯端末50又は口腔内カメラ10に保持される。
初期姿勢は、口腔内カメラ10の撮像面が前歯の前面と平行となり、かつ、撮像面における平面視において口腔内カメラ10の軸方向が前歯の高さ方向と一致する状態であってもよい。ここで軸方向とは、例えば、口腔内カメラ10において、口腔内カメラ10の長手方向の中心を通り、ハンドル部10bからヘッド部10aへ向かう方向である。また、軸方向とは、例えば、撮像面(画像データ)の垂直方向(列方向)の中心を通る方向である。
なお、初期姿勢が取得される状態は、この例に限定されず、いずれか1以上歯牙を基準とした任意の状態でよい。例えば、前歯以外の歯牙が用いられてもよい。また、初期状態が「口腔内カメラ10の軸方向が前歯の高さ(縦)方向と一致する状態」である例について説明したが、「口腔内カメラ10の軸方向が前歯の高さ方向と直交する状態(口腔内カメラ10の軸方向が前歯の幅(横)方向と一致する状態)」であってもよい。なお、携帯端末50が上記の状態をとるようにユーザに指示し、初期姿勢に用いられる状態は、当該指示に基づきユーザがとった口腔内カメラ10の姿勢であってもよい。
また、初期姿勢として、ユーザの姿勢と口腔内カメラ10の姿勢との関係が予め定められた関係となっている状態における口腔内カメラ10の姿勢が取得されてもよい。初期姿勢は、ユーザBDの前額面110と撮影部の撮像面とが平行であり、かつ、撮像面における平面視においてユーザBDの垂直軸Z1と軸方向LBとが一致する状態である。
なお、初期姿勢が取得される状態は、この例に限定されず、ユーザBDの姿勢と口腔内カメラ10の姿勢とを対応付け可能な任意の姿勢であってもよい。また、ユーザBDの姿勢は、前額面110、矢状面111、水平面112、垂直軸、矢状-水平軸、及び、前額-水平軸のうちの1つ又は複数を用いて定義されてもよい。例えば、ここでは、「口腔内カメラ10の軸方向LBが垂直軸Z1と一致する状態」が指定されているが、「口腔内カメラ10の軸方向LBが垂直軸Z1と直交する状態(軸方向LBが前額-水平軸と一致する状態)」が用いられてもよい。
次に、上述した歯牙の撮影が行われる。具体的には、領域検出部33は、歯牙の撮影中に得られた口腔内カメラ10の姿勢を、初期姿勢を用いて補正する(S120)。つまり、領域検出部33は、初期姿勢を用いて、口腔内カメラ10の姿勢が、ユーザが前を向いている状態と同じになるように口腔内カメラ10の姿勢を補正する。
最後に、領域検出部33は、補正後の姿勢に基づき、上述した、歯牙の領域及び撮影方向等の判定(領域情報の生成)を行う(S130)。
以上により、領域検出部33は、ユーザの姿勢に応じて口腔内カメラ10の姿勢を補正することで、領域検出の精度を向上できる。これにより、照明制御部34は、ユーザの姿勢によらず照明部23の照射強度を適切に制御することができる。
(実施の形態2)
以下では、本実施の形態に係る口腔内カメラについて、図10及び図11を参照しながら説明する。なお、以下では、実施の形態1との相違点を中心に説明し、実施の形態1と同一又は類似の内容については説明を省略又は簡略化する。
以下では、本実施の形態に係る口腔内カメラについて、図10及び図11を参照しながら説明する。なお、以下では、実施の形態1との相違点を中心に説明し、実施の形態1と同一又は類似の内容については説明を省略又は簡略化する。
[2-1.口腔内カメラシステムの構成]
まず、本実施の形態に係る口腔内カメラシステムの構成について、図10を参照しながら説明する。図10は、本実施の形態に係る口腔内カメラシステムの概略的構成図である。本実施の形態に係る口腔内カメラシステムは、主に、ハード部20aが口腔内カメラ11の姿勢を検出するためのセンサ(例えば、三軸の加速度センサ及び三軸のジャイロセンサ)を備えていない点、及び、信号処理部30aが歯牙からの反射光の色温度を制御する点において、実施の形態1に係る口腔内カメラシステムと相違する。なお、歯牙からの反射光は、歯牙からの直接反射光(ハレーション領域)を含む。また、反射光には、照明部23からの光が歯牙で反射された光と、外光が歯牙で反射された光とが含まれ得る。
まず、本実施の形態に係る口腔内カメラシステムの構成について、図10を参照しながら説明する。図10は、本実施の形態に係る口腔内カメラシステムの概略的構成図である。本実施の形態に係る口腔内カメラシステムは、主に、ハード部20aが口腔内カメラ11の姿勢を検出するためのセンサ(例えば、三軸の加速度センサ及び三軸のジャイロセンサ)を備えていない点、及び、信号処理部30aが歯牙からの反射光の色温度を制御する点において、実施の形態1に係る口腔内カメラシステムと相違する。なお、歯牙からの反射光は、歯牙からの直接反射光(ハレーション領域)を含む。また、反射光には、照明部23からの光が歯牙で反射された光と、外光が歯牙で反射された光とが含まれ得る。
図10に示すように、口腔内カメラ11は、ハード部20aと、信号処理部30aと、通信部40とを備える。
ハード部20aは、実施の形態1に係るハード部20からセンサ部22(図2を参照)を除いた構成を有する。なお、ハード部20aは、口腔内カメラ11の姿勢を検出する以外のセンサを有していてもよい。
また、撮影部21は、画像データとしてカラー画像データを生成可能に構成される。撮影部21は、例えば、カラーカメラを含んで構成される。なお、本実施の形態における画像データは、特段の記載がない限りカラー画像データを意味する。
照明部23は、調光及び調色の少なくとも一方を制御可能に構成される。照明部23は、例えば、異なる2つの色温度の白色光を出射可能に構成されてもよい。また、照明部23は、歯垢検出のための照明光を出射する。
信号処理部30aは、実施の形態1に係る信号処理部30の領域検出部33に替えて判定部36を有する。
判定部36は、撮影部21が撮影した画像データ(第1画像データの一例)に基づいて、撮影部21が撮影する歯牙の位置(口腔内の位置又は口腔内の領域(例えば、図3及び図4を参照))を判定する。
判定部36は、例えば、歯牙の形状から撮影部21が現在撮影する歯牙の位置を判定してもよい。判定部36は、例えば、取得した画像データと、標準的な歯牙の形状を示す画像データ(第2画像データの一例)とに基づいて、撮影部21が現在撮影する歯牙の位置を判定してもよい。第2画像データは、予め取得され、メモリ部35に記憶されている。
また、判定部36は、取得した画像データと、口腔内カメラ11を使用するユーザの歯列を含む口腔内の画像データ(第3画像データの一例)とに基づいて、撮影部21が現在撮影する歯牙の位置を判定してもよい。第3画像データは、当該ユーザの口腔内を予め撮影することで取得され、予めメモリ部35に記憶されている。この場合、口腔内カメラ11は、第3画像データを登録する登録モードと、登録された第3画像データを用いて撮影部21が現在撮影する歯牙の位置を判定する判定モードとを有していてもよい。なお、メモリ部35には、照明部23の発光素子(例えば、LED)の色温度(例えば、カタログ値又は実測値)が記憶されていてもよい。
また、判定部36は、通知情報が示す領域がユーザに通知された後に撮影部21が撮影した画像を、当該領域を撮影した画像であると判定してもよい。判定部36は、通知情報を受信したこと、及び、通知情報が示す領域をタッチスクリーン52に表示させたことの少なくとも一方を示す情報を携帯端末50から通信部40を介して受信すると、当該情報を受信した後に撮影部21が撮影した画像を、当該領域を撮影した画像であると判定してもよい。
照明制御部34は、画像データに基づいて、口腔内における歯牙の位置に寄らずに(つまり、外光の影響に寄らずに)、歯牙からの反射光の色温度(第1色温度の一例)が所望の色温度に近づく、又は、所望の色温度範囲内となるように照明部23の照明光を制御する。照明制御部34は、例えば、口腔内の全領域にわたって、設定された色温度又は色温度範囲を維持するように、照明部23の照射強度及び色温度の少なくとも一方を制御する。
所望の色温度及び所望の色温度範囲は、照明部23が有する発光素子(例えば、第1~第4のLED23A~23D(図1を参照))が出射する白色光の色温度に基づいて設定されてもよい。所望の色温度及び所望の色温度範囲は、照明部23の色温度(第2色温度の一例)に基づいて設定されるターゲット色温度を含む。ターゲット色温度は、例えば、照明部23の発光素子の色温度に基づいて設定されてもよい。ターゲット色温度は、例えば、発光素子の中心波長に応じた色温度であるが、これに限定されない。
所望の色温度は、例えば、ターゲット色温度である。また、所望の色温度範囲は、ターゲット色温度を基準とした色温度であり、ターゲット色温度に対して±300K以下の範囲であってもよいし、より好ましくは±200K以下範囲であってもよいし、さらに好ましくは±100K以下範囲であってもよい。
照明制御部34は、例えば、画像データに基づく歯牙からの反射光の第1色温度がターゲット色温度に近づくように、照明部23の照射強度及び色温度の少なくとも一方を制御してもよい。例えば、照明制御部34は、第1色温度がターゲット色温度を含む所定範囲内になるように照明部23の照射強度及び色温度の少なくとも一方を制御してもよい。
なお、ターゲット色温度は、口腔内カメラ11を口腔内に入れてから最初に撮影された歯牙の色温度(反射光の色温度)に基づいて設定されてもよい。このような最初に撮影された歯牙の色温度は、発光素子が出射する光の色温度に応じた色温度であり、照明部23の第2色温度に基づくターゲット色温度の一例である。なお、最初に歯牙を撮影するときの照明部23の照明光の色温度は、予め設定された色温度に設定されてもよい。最初に撮影される歯牙は、前歯であってもよいし、奥歯であってもよい。最初に撮影される歯牙が前歯である場合、奥歯の色温度が前歯の色温度に近づくように照明部23が制御され、最初に撮影される歯牙が奥歯である場合、前歯の色温度が奥歯の色温度に近づくように照明部23が制御される。なお、奥歯の色温度とは、奥歯により反射された反射光であり、撮影部21が受光した反射光の色温度を意味する。他の同様の表現も同じ意味である。
また、照明制御部34は、さらに判定部36の判定結果を用いて、照明部23の照射強度及び色温度の少なくとも一方を制御してもよい。照明制御部34は、例えば、奥歯側を撮影している場合、前歯側を撮影している場合に比べて、照明光の照射強度を低くしてもよい。
また、照明制御部34は、歯列を区分することで定義される口腔内の複数の領域(図4を参照)のうち、照明部23から照射される光の影響を強く受けている光沢領域の色温度に基づいて照明部23の照射強度を制御してもよい。光沢領域とは、画像データ(カラー画像データ)において照射している光による反射の影響を強く受けている領域である。光沢領域は、画像データにおけるRGBそれぞれの3つのサブピクセルの画素値(つまり、赤画素値(X)、緑画素値(Y)、及び、青画素値(Z))が閾値以上である領域である。閾値は、例えば、10bit表現において900であるがこれに限定されない。なお、X、Y、Zは、おおむねR、G、Bに対応した色であり、原刺激とも称される。
通信部40は、口腔内カメラ11を使用するユーザに対して、歯列を区分することで定義される口腔内の複数の領域のうち撮影部21に撮影させる領域を通知するための通知情報を、ユーザの携帯端末50に送信する。
携帯端末50は、通知情報を受信すると、通知情報が示す領域をタッチスクリーン52に表示させる。携帯端末50は、通知情報を受信したこと、及び、通知情報が示す領域をタッチスクリーン52に表示させたことの少なくとも一方を示す情報を口腔内カメラ11に送信してもよい。
登録モードでは、例えば、ユーザに対して撮影する歯牙の位置(又は領域)がタッチスクリーン52により表示され、表示後(例えば、領域を表示したことを示す情報を受信した後)に取得された歯牙の画像データを、表示した位置の歯牙の画像データであるとして当該画像データがメモリ部35に記憶されてもよい。登録モードでは、ユーザの全ての歯牙に対して画像データが取得される。
[2-2.口腔内カメラの動作]
次に、上記のように構成される口腔内カメラ11の動作(照明制御方法)について、図11を参照しながら説明する。図11は、本実施の形態に係る口腔内カメラ11の動作を示すフローチャートである。図11に示す各動作は、歯牙ごと又は歯牙領域ごとに実行される。例えば、照明部23の照射強度及び色温度の少なくとも一方の制御は、歯牙ごと又は歯牙領域ごとに個別に実行される。
次に、上記のように構成される口腔内カメラ11の動作(照明制御方法)について、図11を参照しながら説明する。図11は、本実施の形態に係る口腔内カメラ11の動作を示すフローチャートである。図11に示す各動作は、歯牙ごと又は歯牙領域ごとに実行される。例えば、照明部23の照射強度及び色温度の少なくとも一方の制御は、歯牙ごと又は歯牙領域ごとに個別に実行される。
図11に示すように、撮影部21は、照明部23が照射した光が歯牙で反射された反射光を受光する(S210)。撮影部21は、反射光を受光することで画像データを生成し、画像処理部32に出力する。
次に、判定部36は、画像データに基づいて、反射光の色温度を検出する(S220)。判定部36は、画像データから歯牙からの反射光の色温度を検出する。具体的には、判定部36は、画像データから原刺激(X、Y、Z)を取得し、原刺激(X、Y、Z)から反射光の色温度を算出する。
なお、ステップS220で算出される色温度は、1つの歯牙内の色温度の平均値であってもよいし、最大値、最小値、最頻値、中央値などであってもよい。
次に、判定部36は、ステップS220で検出した色温度が所定範囲内(例えば、所望の色温度範囲内)であるか否かを判定する(S230)。判定部36は、所定範囲をメモリ部35から読み出してもよいし、メモリ部35に記憶されている照明部23の発光素子の色温度から所定範囲を算出してもよい。
次に、照明制御部34は、判定部36がステップS220で検出した色温度が所定範囲内であると判定した場合(S230でYes)、照明部23の照射強度及び色温度を変更せず、判定部36がステップS220で検出した色温度が所定範囲以内ではないと判定した場合(S230でNo)、照明部23の照射強度及び色温度の少なくとも一方を、歯牙からの反射光の色温度がターゲット色温度に近づくように制御する(S240)。
照明制御部34は、ステップS230でNoの場合、例えば、照明部23の色温度を変化させずに照射強度を高くすることで、反射光における照明部23の照明光の割合を増やす制御を行ってもよい。また、照明制御部34は、ステップS230でNoの場合、反射光の色温度がターゲット色温度に近づくように照明部23の照明光の色温度を制御してもよい。照明制御部34は、互いに色温度が異なる2つの発光素子へ供給される電流量を制御することにより、照明部23の照明光の色温度を制御してもよい。
(その他の実施の形態)
以上、本開示の実施の形態に係る口腔内カメラシステム等について説明したが、本開示は、この実施の形態に限定されるものではない。
以上、本開示の実施の形態に係る口腔内カメラシステム等について説明したが、本開示は、この実施の形態に限定されるものではない。
例えば、上記説明では、歯牙を撮影することを主目的とした口腔内カメラを用いる例を説明したが、口腔内カメラは、カメラを備える口腔内ケア機器であってもよい。例えば、口腔内カメラは、カメラを備える口腔内洗浄機等であってもよい。
また、上記各実施の形態等に係る照明部は、1つの発光部(例えば、1つのLED)により実現されてもよい。また、照明部は、例えば、リング状に形成されていてもよい。
また、上記各実施の形態等に示される信号処理部は、単独の装置(照明制御装置)として実現されてもよい。そのような照明制御装置は、例えば、ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部と、歯牙に光を照射する照明部とを備える口腔内カメラにおける照明部とを制御するための装置として実現される。
また、上記各実施の形態に係る口腔内カメラシステムが備える各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、本開示の一態様は、口腔内カメラにより実行される照明制御方法等として実現されてもよい。また、本開示の一態様は、照明制御方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。
また、上記各実施の形態等に係る口腔内カメラは、単一の装置として実現されてもよいし、複数の装置により実現されてもよい。口腔内カメラが複数の装置によって実現される場合、当該口腔内カメラが有する各構成要素は、複数の装置にどのように振り分けられてもよい。例えば、操作部は、携帯端末が有していてもよく、この場合、タッチパネルなどにより構成されていてもよい。通信部は、携帯端末の操作部が受け付けた操作に対応する制御信号を携帯端末から受信する。また、例えば、口腔内カメラの信号処理部の機能構成の少なくとも1つは、携帯端末又は携帯端末と通信可能なサーバ(例えば、クラウドサーバ)により実現されてもよい。口腔内カメラが複数の装置で実現される場合、当該複数の装置間の通信方法は、特に限定されず、無線通信であってもよいし、有線通信であってもよい。また、装置間では、無線通信及び有線通信が組み合わされてもよい。なお、クラウドサーバは、携帯端末に対してインターネットなどを介して通信可能なサーバであって、携帯端末に口腔内カメラを使用するためのアプリケーションを提供してもよい。例えば、ユーザがアプリケーションをクラウドサーバからダウンロードして携帯端末にインストールする。また、クラウドサーバは、口腔内カメラによって撮影された歯列画像を、携帯端末を介して取得してもよい。
また、上記各実施の形態等では口腔内の複数の領域は2以上の歯牙を含む例(図4を参照)について説明したが、複数の領域のそれぞれに含まれる歯牙の数は特に限定されず1つであってもよい。例えば、複数の歯牙のそれぞれが1つの領域を構成していてもよい。つまり、歯牙の数だけ領域が存在していてもよい。
また、上記各実施の形態等における、複数の領域と、当該複数の領域のそれぞれの照射強度とが対応付けられたテーブルは、複数種類メモリ部に記憶されていてもよい。例えば、口腔内カメラの使用環境(例えば、屋内、屋外、歯医者、住居、外光の種類等)ごとに作成されており、ユーザの操作部への操作等により適宜選択されてもよい。
また、上記各実施の形態等に係る照明制御部は、口腔内カメラを使用する空間の照度(外光の照度)が所定値以下である場合、撮影部21が撮影する領域に応じた照明部の照射強度の制御を行わなくてもよい。空間の照度は、例えば、携帯端末から取得されてもよい。
また、上記各実施の形態等に係る領域検出部の姿勢の検出の他の例として、加速度センサからx軸、y軸、z軸それぞれの出力Ax、Ay、Azを取得し、ジャイロセンサからx軸、y軸、z軸それぞれの出力Bx、By、Bzを取得してもよい。Axはx軸方向の加速度センサの出力(x軸方向の加速度成分)であり、Ayはy軸方向の加速度センサの出力(y軸方向の加速度成分)であり、Azはz軸方向の加速度センサの出力(z軸方向の加速度成分)である。Bxはx軸まわりのジャイロセンサの出力(x軸まわりの角速度成分)であり、Byはy軸まわりのジャイロセンサの出力(y軸まわりの角速度成分)であり、Bzはz軸まわりのジャイロセンサの出力(z軸まわりの角速度成分)である。合成ベクトルA(Ax、Ay、Az)の大きさが、重力加速度相当の所定の閾値より小さい場合には、領域検出部は、口腔内カメラが静止しているものと判定し、加速度センサの出力Ax、Ay、Azが、口腔内カメラの三次元姿勢を表す姿勢ベクトルとなる。また、合成ベクトルA(Ax、Ay、Az)の大きさが上記閾値より大きい場合には、領域検出部は口腔内カメラが移動しているものと判定し、ジャイロセンサの出力Bx、By、Bzに基づいて、直近で口腔内カメラが静止しているものと判定されたときからのx軸、y軸、z軸まわりの各軸まわりの口腔内カメラの角度変化量を求め、直近で口腔内カメラが静止しているものと判定されたときの合成ベクトルA(Ax、Ay、Az)を求めた角度変化量で回転させ、姿勢ベクトルとする。このような姿勢ベクトルは、撮影部の姿勢を示す。なお、領域検出部の姿勢の検出方法はこれに限定されず、既存のいかなる方法が用いられてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
また、本開示の一態様は、図5、図9及び図11のいずれかに示される照明制御方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。
また、例えば、プログラムは、コンピュータに実行させるためのプログラムであってもよい。また、本開示の一態様は、そのようなプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布又は流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
以上、一つ又は複数の態様に係る口腔内カメラシステム等について、各実施の形態等に基づいて説明したが、本開示は、この各実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
本開示は、口腔内カメラシステムに適用できる。
10、11 口腔内カメラ
10a ヘッド部
10b ハンドル部
10c ネック部
20、20a ハード部
21 撮影部
22 センサ部
23 照明部
23A 第1のLED
23B 第2のLED
23C 第3のLED
23D 第4のLED
24 操作部
30、30a 信号処理部
31 カメラ制御部
32 画像処理部
33 領域検出部(姿勢検出部)
34 照明制御部
35 メモリ部(記憶部)
36 判定部
40 通信部
50 携帯端末
52 タッチスクリーン
110 前額面
111 矢状面
112 水平面
10a ヘッド部
10b ハンドル部
10c ネック部
20、20a ハード部
21 撮影部
22 センサ部
23 照明部
23A 第1のLED
23B 第2のLED
23C 第3のLED
23D 第4のLED
24 操作部
30、30a 信号処理部
31 カメラ制御部
32 画像処理部
33 領域検出部(姿勢検出部)
34 照明制御部
35 メモリ部(記憶部)
36 判定部
40 通信部
50 携帯端末
52 タッチスクリーン
110 前額面
111 矢状面
112 水平面
Claims (10)
- ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部と、
前記歯牙に光を照射する照明部と、
前記画像データに基づく前記歯牙からの反射光の第1色温度が前記照明部の第2色温度に基づくターゲット色温度に近づくように、前記照明部の照射強度及び色温度の少なくとも一方を制御する照明制御部と、を備える
口腔内カメラ。 - 前記照明制御部は、前記第1色温度が前記ターゲット色温度を含む所定範囲内になるように前記照明部の照射強度及び色温度の少なくとも一方を制御する
請求項1に記載の口腔内カメラ。 - 前記撮影部が撮影した第1画像データに基づいて、前記撮影部が撮影する前記歯牙の位置を判定する判定部をさらに備え、
前記照明制御部は、さらに前記判定部の判定結果を用いて、前記照明部の照射強度及び色温度の少なくとも一方を制御する
請求項1又は2に記載の口腔内カメラ。 - 前記判定部は、前記第1画像データと、標準的な歯牙の形状を示す第2画像データとに基づいて、前記撮影部が撮影する前記歯牙の位置を判定する
請求項3に記載の口腔内カメラ。 - 予め撮影された、前記口腔内カメラを使用するユーザの歯列を含む口腔内の第3画像データを記憶する記憶部をさらに備え、
前記判定部は、前記第1画像データと、前記第3画像データとに基づいて、前記撮影部が撮影する前記歯牙の位置を判定する
請求項3に記載の口腔内カメラ。 - 前記口腔内カメラを使用するユーザに対して、歯列を区分することで定義される前記口腔内の複数の領域のうち前記撮影部に撮影させる領域を通知するための通知情報を送信する通信部をさらに備え、
前記判定部は、前記通知情報が示す前記領域が前記ユーザに通知された後に前記撮影部が撮影した画像を、前記領域を撮影した画像であると判定する
請求項3に記載の口腔内カメラ。 - 前記ターゲット色温度は、前記口腔内カメラを前記口腔内に入れてから最初に撮影された歯牙の色温度に基づいて設定され、
前記照明制御部は、口腔内の全領域にわたって、前記第1色温度が前記設定された前記ターゲット色温度に近づくように、前記照明部の照射強度及び色温度の少なくとも一方を制御する
請求項1又は2に記載の口腔内カメラ。 - 前記照明制御部は、歯列を区分することで定義される前記口腔内の複数の領域のうち前記照明部から照射される光の影響を強く受けている光沢領域の色温度に基づいて前記照明部の照射強度及び色温度の少なくとも一方を制御する
請求項1又は2に記載の口腔内カメラ。 - ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部と、前記歯牙に光を照射する照明部とを備える口腔内カメラにおける前記照明部を制御する照明制御装置であって、
前記撮影部が生成した前記画像データを取得する取得部と、
前記画像データに基づく前記歯牙からの反射光の第1色温度が前記照明部の第2色温度に基づくターゲット色温度に近づくように、前記照明部の照射強度及び色温度の少なくとも一方を制御する照明制御部とを備える
照明制御装置。 - ユーザの口腔内の歯牙を撮影することで画像データを生成し、
前記歯牙に光を照射し、
前記画像データに基づく前記歯牙からの反射光の第1色温度が照明部の第2色温度に基づくターゲット色温度に近づくように、前記照明部の照射強度及び色温度の少なくとも一方を制御する
照明制御方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022022756 | 2022-02-17 | ||
| JP2022022756 | 2022-02-17 | ||
| PCT/JP2023/005005 WO2023157842A1 (ja) | 2022-02-17 | 2023-02-14 | 口腔内カメラ、照明制御装置及び照明制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2023157842A1 JPWO2023157842A1 (ja) | 2023-08-24 |
| JP7675374B2 true JP7675374B2 (ja) | 2025-05-13 |
Family
ID=87578317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024501386A Active JP7675374B2 (ja) | 2022-02-17 | 2023-02-14 | 口腔内カメラ、照明制御装置及び照明制御方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20250113986A1 (ja) |
| EP (1) | EP4480388A4 (ja) |
| JP (1) | JP7675374B2 (ja) |
| CN (1) | CN118660665A (ja) |
| WO (1) | WO2023157842A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025197661A1 (ja) * | 2024-03-22 | 2025-09-25 | パナソニックIpマネジメント株式会社 | 歯周疾患検出システム、歯周疾患検出方法及びプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011143131A (ja) | 2010-01-18 | 2011-07-28 | Panasonic Corp | 口腔内カメラと、そのホワイトバランス制御方法 |
| WO2015166728A1 (ja) | 2014-05-01 | 2015-11-05 | ソニー株式会社 | 照明装置及び照明装置の制御方法並びに画像取得システム |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4288553B2 (ja) * | 2000-07-25 | 2009-07-01 | 富士フイルム株式会社 | カメラのストロボ装置 |
| JP5325381B2 (ja) | 2006-10-02 | 2013-10-23 | 株式会社ジーシー | 口腔内観察装置 |
| JP5154108B2 (ja) * | 2007-03-14 | 2013-02-27 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| JP2009000344A (ja) * | 2007-06-22 | 2009-01-08 | Olympus Corp | 内視鏡装置 |
| US20100268069A1 (en) * | 2009-04-16 | 2010-10-21 | Rongguang Liang | Dental surface imaging using polarized fringe projection |
| WO2014073642A1 (ja) * | 2012-11-09 | 2014-05-15 | 富士フイルム株式会社 | カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム |
| WO2016113745A1 (en) * | 2015-01-18 | 2016-07-21 | Dentlytec G.P.L. Ltd | System, device, and method for dental intraoral scanning |
| WO2016185734A1 (ja) * | 2015-05-20 | 2016-11-24 | オリンパス株式会社 | 内視鏡システム |
| JP6366546B2 (ja) * | 2015-07-13 | 2018-08-01 | 株式会社モリタ製作所 | 口腔内三次元計測装置、口腔内三次元計測方法及び口腔内三次元計測結果の表示方法 |
| MX2018012631A (es) * | 2016-04-13 | 2019-07-08 | Inspektor Res Systems B V | Examinación dental de dos frecuencias. |
| US9681799B1 (en) * | 2016-05-26 | 2017-06-20 | Dental Smartmirror, Inc. | Controlling an intraoral mirror with an integrated camera, and applications thereof |
| US10595966B2 (en) * | 2016-11-04 | 2020-03-24 | Align Technology, Inc. | Methods and apparatuses for dental images |
| US10695150B2 (en) * | 2016-12-16 | 2020-06-30 | Align Technology, Inc. | Augmented reality enhancements for intraoral scanning |
| US10547780B2 (en) * | 2018-05-14 | 2020-01-28 | Abdul Abdulwaheed | Body part color measurement detection and method |
| GB202018542D0 (en) * | 2020-11-25 | 2021-01-06 | Alero Tannhelsesenter As | Illumination sources and method for dental transillumination |
| CN116723786A (zh) * | 2021-01-20 | 2023-09-08 | 高露洁-棕榄公司 | 口内诊断装置和使用其的方法 |
| KR102516823B1 (ko) * | 2021-01-26 | 2023-04-03 | 주식회사 메디트 | 3차원 스캔 시스템, 및 그 동작 방법 |
| WO2023012792A1 (en) * | 2021-08-03 | 2023-02-09 | Dentlytec G.P.L. Ltd | Intraoral scanning |
-
2023
- 2023-02-14 CN CN202380020875.5A patent/CN118660665A/zh active Pending
- 2023-02-14 US US18/834,478 patent/US20250113986A1/en active Pending
- 2023-02-14 WO PCT/JP2023/005005 patent/WO2023157842A1/ja not_active Ceased
- 2023-02-14 JP JP2024501386A patent/JP7675374B2/ja active Active
- 2023-02-14 EP EP23756367.1A patent/EP4480388A4/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011143131A (ja) | 2010-01-18 | 2011-07-28 | Panasonic Corp | 口腔内カメラと、そのホワイトバランス制御方法 |
| WO2015166728A1 (ja) | 2014-05-01 | 2015-11-05 | ソニー株式会社 | 照明装置及び照明装置の制御方法並びに画像取得システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2023157842A1 (ja) | 2023-08-24 |
| CN118660665A (zh) | 2024-09-17 |
| WO2023157842A1 (ja) | 2023-08-24 |
| US20250113986A1 (en) | 2025-04-10 |
| EP4480388A4 (en) | 2025-05-07 |
| EP4480388A1 (en) | 2024-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6935036B1 (ja) | 統合されたカメラを有する歯科ミラーおよびそのアプリケーション | |
| US12295810B2 (en) | Digital dental tray configured to enable 3D model generation | |
| JP7220569B2 (ja) | 撮像支援装置、スキャナシステム、および撮像支援方法 | |
| JP2012157692A (ja) | 口腔内撮影表示システム | |
| EP4295746B1 (en) | Intraoral camera system and image display method | |
| US20250117982A1 (en) | Image processing method, image processing device, and recording medium | |
| JP7675374B2 (ja) | 口腔内カメラ、照明制御装置及び照明制御方法 | |
| US12387474B2 (en) | Intraoral camera system, tooth identification method, control method, and recording medium | |
| US12521006B2 (en) | Intraoral camera system and image capturing operation determination method | |
| JP7784630B2 (ja) | 歯垢検出装置、歯垢検出方法及びプログラム | |
| EP4480387A1 (en) | Intraoral camera system and signal processing method | |
| JP2022127947A (ja) | 口腔内カメラシステム及び歯牙列モデル生成方法 | |
| CN122003202A (zh) | 图像处理方法、图像处理装置以及程序 | |
| WO2025079525A1 (ja) | 画像処理方法、画像処理装置及びプログラム | |
| WO2025173550A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| WO2025182844A1 (ja) | 画像処理方法、画像処理装置、及び、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250401 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250416 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7675374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |