JP6900994B2

JP6900994B2 - Line-of-sight detection device and line-of-sight detection method

Info

Publication number: JP6900994B2
Application number: JP2019226262A
Authority: JP
Inventors: 修二箱嶋
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2015-12-01
Filing date: 2019-12-16
Publication date: 2021-07-14
Anticipated expiration: 2035-12-01
Also published as: JP2020038734A

Description

本発明は、視線検出装置及び視線検出方法に関する。 The present invention relates to a line-of-sight detection device and a line-of-sight detection method.

操作者又は被験者がモニタ画面などの観察面上で注視している位置を検出する、視線検出装置が提案されている。顔に装置を取り付けることなく被験者の視線方向を非接触で検出する方法として、被験者の眼球に検出光を照射し、検出光が照射された眼球の画像から瞳孔中心と角膜曲率中心とを算出し、角膜曲率中心から瞳孔中心へ向かうベクトルを被験者の視線方向として検出する方法がある。 A line-of-sight detection device has been proposed that detects a position where an operator or a subject is gazing on an observation surface such as a monitor screen. As a method of detecting the subject's line-of-sight direction in a non-contact manner without attaching a device to the face, the subject's eyeball is irradiated with the detection light, and the pupil center and the corneal curvature center are calculated from the image of the eyeball irradiated with the detection light. , There is a method of detecting a vector from the center of curvature of the cornea to the center of the pupil as the line-of-sight direction of the subject.

特許第２７３９３３１号公報Japanese Patent No. 2739331

瞳孔中心は、眼球の画像から算出される。瞳孔中心が正確に算出されないと、被験者の視点を正確に検出することが困難となる。 The center of the pupil is calculated from the image of the eyeball. If the center of the pupil is not calculated accurately, it becomes difficult to accurately detect the viewpoint of the subject.

本発明は、瞳孔中心を正確に算出して被験者の視点を正確に検出できる視線検出装置及び視線検出方法を提供することを目的とする。 An object of the present invention is to provide a line-of-sight detection device and a line-of-sight detection method capable of accurately calculating the center of the pupil and accurately detecting the viewpoint of a subject.

本発明は、被験者の眼球に検出光を照射する光源と、前記検出光が照射された前記眼球の画像から、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置と角膜反射の中心を示す角膜反射中心の位置とを検出する位置検出部と、前記光源の位置と前記角膜反射中心の位置とから、左右それぞれの眼球の角膜曲率半径を算出する曲率半径算出部と、前記瞳孔中心の位置と前記角膜曲率半径とから、左右それぞれの眼球の視点を検出する視点検出部と、前記眼球の画像から、左右それぞれの眼球の瞳孔の大きさを示す瞳孔パラメータを抽出する抽出部と、左の眼球の視点と右の眼球の視点とを前記瞳孔パラメータに基づいて補正して合成視点を算出する補正部と、を備える。 The present invention indicates the position of the center of the pupil indicating the center of the pupil of each of the left and right eyes and the center of the corneal reflection from the image of the light source that irradiates the eyeball of the subject with the detection light and the image of the eyeball irradiated with the detection light. A position detection unit that detects the position of the center of corneal reflection, a radius of curvature calculation unit that calculates the radius of curvature of the left and right eyes from the position of the light source and the position of the center of corneal reflection, and the position of the center of the pupil. A viewpoint detection unit that detects the viewpoints of the left and right eyeballs from the eyeball radius of curvature, an extraction unit that extracts pupil parameters indicating the size of the pupils of the left and right eyeballs from the image of the eyeball, and the left It is provided with a correction unit that corrects the viewpoint of the eyeball and the viewpoint of the right eyeball based on the pupil parameters to calculate the composite viewpoint.

本発明に係る視線検出装置及び視線検出方法は、瞳孔中心を正確に算出して被験者の視点を正確に検出できるという効果を奏する。 The line-of-sight detection device and the line-of-sight detection method according to the present invention have the effect of accurately calculating the center of the pupil and accurately detecting the viewpoint of the subject.

図１は、１つの光源を使用した場合の被験者の目の様子を示す図である。FIG. 1 is a diagram showing the appearance of the eyes of a subject when one light source is used. 図２は、２つの光源を使用した場合の被験者の目の様子を示す図である。FIG. 2 is a diagram showing the appearance of the eyes of a subject when two light sources are used. 図３は、本実施形態の表示部、ステレオカメラ、赤外線光源及び被験者の配置の一例を示す図である。FIG. 3 is a diagram showing an example of the arrangement of the display unit, the stereo camera, the infrared light source, and the subject of the present embodiment. 図４は、本実施形態の表示部、ステレオカメラ、赤外線光源及び被験者の配置の一例を示す図である。FIG. 4 is a diagram showing an example of the arrangement of the display unit, the stereo camera, the infrared light source, and the subject of the present embodiment. 図５は、診断支援装置の機能の概要を示す図である。FIG. 5 is a diagram showing an outline of the functions of the diagnostic support device. 図６は、図５に示す各部の詳細な機能の一例を示すブロック図である。FIG. 6 is a block diagram showing an example of detailed functions of each part shown in FIG. 図７は、１つの光源を用いると仮定した場合の処理の概要を説明する図である。FIG. 7 is a diagram illustrating an outline of processing when it is assumed that one light source is used. 図８は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。FIG. 8 is a diagram illustrating an outline of processing executed by the diagnostic support device of the present embodiment. 図９は、瞳孔中心位置と角膜曲率中心位置との距離を算出するキャリブレーション処理を説明するための図である。FIG. 9 is a diagram for explaining a calibration process for calculating the distance between the center position of the pupil and the center position of the curvature of the cornea. 図１０は、本実施形態のキャリブレーション処理の一例を示すフローチャートである。FIG. 10 is a flowchart showing an example of the calibration process of the present embodiment. 図１１は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。FIG. 11 is a diagram showing a method of calculating the position of the center of curvature of the cornea using the distance obtained in advance. 図１２は、本実施形態の視線検出処理の一例を示すフローチャートである。FIG. 12 is a flowchart showing an example of the line-of-sight detection process of the present embodiment. 図１３は、本実施形態のステレオカメラで撮影された被験者の目の一例を示す模式図である。FIG. 13 is a schematic view showing an example of the eyes of a subject photographed by the stereo camera of the present embodiment. 図１４は、本実施形態の瞳孔の面積の算出方法を示す模式図である。FIG. 14 is a schematic view showing a method of calculating the area of the pupil of the present embodiment. 図１５は、本実施形態の表示部の表示例を示す図である。FIG. 15 is a diagram showing a display example of the display unit of the present embodiment. 図１６は、変形例の算出処理を説明するための図である。FIG. 16 is a diagram for explaining the calculation process of the modified example. 図１７は、変形例の算出処理の一例を示すフローチャートである。FIG. 17 is a flowchart showing an example of the calculation process of the modified example.

以下、本発明に係る視線検出装置及び視線検出方法の実施形態について図面を参照しながら詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、以下では、視線検出結果を用いて被験者の診断を支援する診断支援装置に視線検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。 Hereinafter, embodiments of the line-of-sight detection device and the line-of-sight detection method according to the present invention will be described in detail with reference to the drawings. The present invention is not limited to this embodiment. In addition, an example in which the line-of-sight detection device is used as a diagnostic support device that supports the diagnosis of the subject by using the line-of-sight detection result will be described below. Applicable devices are not limited to diagnostic support devices.

本実施形態の視線検出装置は、２ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出装置は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心の位置及び角膜曲率半径を高精度に算出する。 The line-of-sight detection device of the present embodiment detects the line of sight using lighting units installed at two locations. In addition, the line-of-sight detection device of the present embodiment calculates the position of the center of corneal curvature and the radius of curvature of the cornea with high accuracy by using the result of measuring by having the subject gaze at one point before detecting the line of sight.

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。 The illumination unit is an element that includes a light source and can irradiate the eyeball of the subject with light. The light source is an element that generates light, such as an LED (Light Emitting Diode). The light source may be composed of one LED, or may be configured by combining a plurality of LEDs and arranging them in one place. In the following, "light source" may be used as a term for the illumination unit in this way.

視点検出を精度良く行うためには、瞳孔の位置を正しく検出できることが重要となっている。近赤外の光源を点灯させカメラで撮影した場合、カメラと光源との距離が一定以上離れていると、瞳孔は他の部分より暗くなることがわかっている。この特徴を用いて瞳孔位置が検出される。 In order to detect the viewpoint with high accuracy, it is important to be able to correctly detect the position of the pupil. It is known that when a near-infrared light source is turned on and a photograph is taken with a camera, the pupil becomes darker than other parts when the distance between the camera and the light source is a certain distance or more. Pupil position is detected using this feature.

本実施形態では、２台のカメラに対して、光源をそれぞれのカメラの外側に２ヶ所配置する。そして、これらの２つの光源を相互に異なるタイミングで点灯させ、点灯している光源からの距離が長い方（遠い方）のカメラで撮影する。これにより、瞳孔をより暗く撮影し、瞳孔と他の部分とを、より高精度に区別することが可能となる。 In the present embodiment, for two cameras, two light sources are arranged outside each camera. Then, these two light sources are turned on at different timings, and the camera with the longer distance (farther) from the lit light source takes a picture. This makes it possible to photograph the pupil darker and distinguish the pupil from other parts with higher accuracy.

この場合、点灯させる光源が異なるため、通常のステレオ方式による三次元計測を単純に適用することができない。すなわち、視点を求める際の光源と角膜反射とを結ぶ直線を世界座標で算出することができない。そこで本実施形態では、２つのタイミングでの、撮像に用いるカメラ相互の位置関係、及び、点灯させる光源相互の位置関係を、仮想的な光源の位置を示す仮想光源位置に対してそれぞれ対称とする。そして、２つの光源それぞれの点灯時に得られる２つの座標値を、左カメラによる座標値及び右カメラによる座標値として世界座標に変換する。これにより、２つの光源それぞれの点灯時に得られる角膜反射の位置を用いて、仮想光源と角膜反射とを結ぶ直線を世界座標で算出すること、及び、この直線に基づき視点を算出することが可能となる。 In this case, since the light sources to be turned on are different, it is not possible to simply apply the three-dimensional measurement by the normal stereo method. That is, it is not possible to calculate the straight line connecting the light source and the corneal reflex when obtaining the viewpoint in world coordinates. Therefore, in the present embodiment, the positional relationship between the cameras used for imaging and the positional relationship between the light sources to be turned on at the two timings are symmetrical with respect to the virtual light source position indicating the position of the virtual light source. .. Then, the two coordinate values obtained when the two light sources are turned on are converted into world coordinates as the coordinate value by the left camera and the coordinate value by the right camera. This makes it possible to calculate the straight line connecting the virtual light source and the corneal reflex in world coordinates using the position of the corneal reflex obtained when each of the two light sources is lit, and to calculate the viewpoint based on this straight line. It becomes.

図１は、１つの光源を使用した場合の被験者の目１１の様子を示す図である。図１に示すように、虹彩１２と瞳孔１３との暗さの差が十分ではなく、区別が困難となる。図２は、２つの光源を使用した場合の被験者の目２１の様子を示す図である。図２に示すように、虹彩２２と瞳孔２３との暗さの差は、図１と比較して大きくなっている。 FIG. 1 is a diagram showing the state of the eyes 11 of a subject when one light source is used. As shown in FIG. 1, the difference in darkness between the iris 12 and the pupil 13 is not sufficient, and it becomes difficult to distinguish them. FIG. 2 is a diagram showing the state of the eyes 21 of the subject when two light sources are used. As shown in FIG. 2, the difference in darkness between the iris 22 and the pupil 23 is larger than that in FIG.

図３及び図４は、本実施形態の表示部、ステレオカメラ、赤外線光源及び被験者の配置の一例を示す図である。 3 and 4 are diagrams showing an example of the arrangement of the display unit, the stereo camera, the infrared light source, and the subject of the present embodiment.

図３に示すように、本実施形態の診断支援装置は、表示部１０１と、ステレオカメラを構成する右カメラ１０２ａ及び左カメラ１０２ｂと、ＬＥＤ光源１０３ａ，１０３ｂと、を含む。右カメラ１０２ａ及び左カメラ１０２ｂは、表示部１０１の下に配置される。ＬＥＤ光源１０３ａ，１０３ｂは、右カメラ１０２ａ及び左カメラ１０２ｂそれぞれの外側の位置に配置される。ＬＥＤ光源１０３ａ，１０３ｂは、例えば波長８５０［ｎｍ］の近赤外線を照射する光源である。図３では、９個のＬＥＤによりＬＥＤ光源１０３ａ，１０３ｂを構成する例が示されている。なお、右カメラ１０２ａ及び左カメラ１０２ｂは、波長８５０［ｎｍ］の近赤外光を透過できるレンズを使用する。なお、ＬＥＤ光源１０３ａ，１０３ｂと、右カメラ１０２ａ及び左カメラ１０２ｂとの位置を逆にして、ＬＥＤ光源１０３ａ，１０３ｂが、右カメラ１０２ａ及び左カメラ１０２ｂそれぞれの内側の位置に配置されていてもよい。 As shown in FIG. 3, the diagnostic support device of the present embodiment includes a display unit 101, a right camera 102a and a left camera 102b constituting a stereo camera, and LED light sources 103a and 103b. The right camera 102a and the left camera 102b are arranged below the display unit 101. The LED light sources 103a and 103b are arranged at positions outside the right camera 102a and the left camera 102b, respectively. The LED light sources 103a and 103b are light sources that irradiate near infrared rays having a wavelength of, for example, 850 [nm]. FIG. 3 shows an example in which the LED light sources 103a and 103b are configured by nine LEDs. The right camera 102a and the left camera 102b use a lens capable of transmitting near-infrared light having a wavelength of 850 [nm]. The LED light sources 103a and 103b may be arranged at positions inside the right camera 102a and the left camera 102b by reversing the positions of the right camera 102a and the left camera 102b. ..

図４に示すように、ＬＥＤ光源１０３ａ，１０３ｂは、被験者の眼球１１１に向かって検出光である近赤外光を照射する。ＬＥＤ光源１０３ａを照射したときに左カメラ１０２ｂで撮影を行い、ＬＥＤ光源１０３ｂを照射したときに右カメラ１０２ａで撮影を行う。右カメラ１０２ａ及び左カメラ１０２ｂと、ＬＥＤ光源１０３ａ，１０３ｂとの位置関係を適切に設定することにより、撮影される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。したがって、瞳孔１１２及び角膜反射１１３の画像上の位置を２台のカメラ（右カメラ１０２ａ及び左カメラ１０２ｂ）それぞれで取得することができる。 As shown in FIG. 4, the LED light sources 103a and 103b irradiate the subject's eyeball 111 with near-infrared light which is detection light. When the LED light source 103a is irradiated, the left camera 102b takes a picture, and when the LED light source 103b is irradiated, the right camera 102a takes a picture. By appropriately setting the positional relationship between the right camera 102a and the left camera 102b and the LED light sources 103a and 103b, the pupil 112 is reflected at low brightness and becomes dark in the captured image, and becomes a virtual image in the eyeball 111. The resulting corneal reflex 113 is reflected at high brightness and becomes bright. Therefore, the positions of the pupil 112 and the corneal reflex 113 on the image can be acquired by each of the two cameras (right camera 102a and left camera 102b).

さらに２台のカメラにより得られる瞳孔１１２及び角膜反射１１３の位置から、瞳孔１１２及び角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。 Further, the three-dimensional world coordinate values of the positions of the pupil 112 and the corneal reflex 113 are calculated from the positions of the pupil 112 and the corneal reflex 113 obtained by the two cameras. In the present embodiment, the three-dimensional world coordinates are the Y coordinate (+ on the top), the X coordinate (+ on the right), and the Z coordinate (+ on the right), with the center position of the screen of the display unit 101 as the origin. The front is +).

図５は、診断支援装置１００の機能の概要を示す図である。図５では、図３及び図４に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図５に示すように、診断支援装置１００は、右カメラ１０２ａと、左カメラ１０２ｂと、左カメラ１０２ｂ用のＬＥＤ光源１０３ａと、右カメラ１０２ａ用のＬＥＤ光源１０３ｂと、スピーカ２０５と、駆動・ＩＦ（interface）部３１３と、制御部３００と、記憶部１５０と、表示部１０１と、を含む。図５において、表示画面２０１は、右カメラ１０２ａ及び左カメラ１０２ｂとの位置関係を分かりやすく示しているが、表示画面２０１は表示部１０１において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。 FIG. 5 is a diagram showing an outline of the functions of the diagnosis support device 100. FIG. 5 shows a part of the configuration shown in FIGS. 3 and 4, and a configuration used for driving this configuration or the like. As shown in FIG. 5, the diagnostic support device 100 includes a right camera 102a, a left camera 102b, an LED light source 103a for the left camera 102b, an LED light source 103b for the right camera 102a, a speaker 205, and a drive / IF. (Interface) unit 313, control unit 300, storage unit 150, and display unit 101 are included. In FIG. 5, the display screen 201 clearly shows the positional relationship between the right camera 102a and the left camera 102b, but the display screen 201 is a screen displayed on the display unit 101. The drive unit and the IF unit may be integrated or separate.

スピーカ２０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。 The speaker 205 functions as a voice output unit that outputs a voice or the like for calling attention to the subject at the time of calibration or the like.

駆動・ＩＦ部３１３は、ステレオカメラに含まれる各部を駆動する。また、駆動・ＩＦ部３１３は、ステレオカメラに含まれる各部と、制御部３００とのインタフェースとなる。 The drive / IF unit 313 drives each unit included in the stereo camera. Further, the drive / IF unit 313 serves as an interface between each unit included in the stereo camera and the control unit 300.

制御部３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信ＩＦと、各部を接続するバスを備えているコンピュータなどにより実現できる。 The control unit 300 includes, for example, a control device such as a CPU (Central Processing Unit), a storage device such as a ROM (Read Only Memory) or a RAM (Random Access Memory), and a communication IF that connects to a network for communication. This can be achieved by a computer equipped with a bus that connects each part.

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部１０１に表示する画像等を記憶する。表示部１０１は、診断のための対象画像等、各種情報を表示する。 The storage unit 150 stores various information such as a control program, a measurement result, and a diagnosis support result. The storage unit 150 stores, for example, an image or the like to be displayed on the display unit 101. The display unit 101 displays various information such as a target image for diagnosis.

図６は、図５に示す各部の詳細な機能の一例を示すブロック図である。図６に示すように、制御部３００には、表示部１０１と、駆動・ＩＦ部３１３が接続される。駆動・ＩＦ部３１３は、カメラＩＦ３１４，３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。 FIG. 6 is a block diagram showing an example of detailed functions of each part shown in FIG. As shown in FIG. 6, the display unit 101 and the drive / IF unit 313 are connected to the control unit 300. The drive / IF unit 313 includes cameras IF 314 and 315, an LED drive control unit 316, and a speaker drive unit 322.

駆動・ＩＦ部３１３には、カメラＩＦ３１４，３１５を介して、それぞれ、右カメラ１０２ａ及び左カメラ１０２ｂが接続される。駆動・ＩＦ部３１３がこれらのカメラを駆動することにより、被験者を撮像する。右カメラ１０２ａからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ１０２ｂとＬＥＤ駆動制御部３１６とに入力される。これにより、ＬＥＤ光源１０３ａ，１０３ｂを発光させ、それに対応して左右カメラによる画像を取り込んでいる。 The right camera 102a and the left camera 102b are connected to the drive / IF unit 313 via the cameras IF314 and 315, respectively. The drive / IF unit 313 drives these cameras to image the subject. A frame synchronization signal is output from the right camera 102a. The frame synchronization signal is input to the left camera 102b and the LED drive control unit 316. As a result, the LED light sources 103a and 103b are made to emit light, and the images taken by the left and right cameras are captured correspondingly.

スピーカ駆動部３２２は、スピーカ２０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。 The speaker drive unit 322 drives the speaker 205. The diagnosis support device 100 may include an interface (printer IF) for connecting to a printer as a printing unit. Further, the printer may be configured to be provided inside the diagnosis support device 100.

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、点灯制御部３５１と、位置検出部３５２と、曲率半径算出部３５３と、視線検出部３５４と、視点検出部３５５と、出力制御部３５６と、抽出部３５７と、補正部３５８と、を備えている。 The control unit 300 controls the entire diagnosis support device 100. The control unit 300 includes a lighting control unit 351, a position detection unit 352, a radius of curvature calculation unit 353, a line-of-sight detection unit 354, a viewpoint detection unit 355, an output control unit 356, an extraction unit 357, and a correction unit 358. And have.

制御部３００に含まれる各要素（点灯制御部３５１、位置検出部３５２、曲率半径算出部３５３、視線検出部３５４、視点検出部３５５、出力制御部３５６、抽出部３５７、及び、補正部３５８）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。 Each element included in the control unit 300 (lighting control unit 351, position detection unit 352, curvature radius calculation unit 353, line-of-sight detection unit 354, viewpoint detection unit 355, output control unit 356, extraction unit 357, and correction unit 358). May be realized by software (program), may be realized by a hardware circuit, or may be realized by using software and a hardware circuit together.

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。 When realized by a program, the program is a file in an installable format or an executable format, and is a CD-ROM (Compact Disk Read Only Memory), a flexible disk (FD), a CD-R (Compact Disk Recordable), or a DVD ( It is recorded on a computer-readable recording medium such as Digital Versatile Disk) and provided as a computer program product. The program may be stored on a computer connected to a network such as the Internet and provided by downloading via the network. Further, the program may be configured to be provided or distributed via a network such as the Internet. Further, the program may be configured to be provided by incorporating it into a ROM or the like in advance.

点灯制御部３５１は、ＬＥＤ駆動制御部３１６を用いて、ＬＥＤ光源１０３ａ，１０３ｂの点灯を制御する。例えば点灯制御部３５１は、ＬＥＤ光源１０３ａ，１０３ｂを、相互に異なるタイミングで点灯するように制御する。タイミングの差（時間）は、例えば、被験者の視線の移動等による視線検出結果への影響が生じない時間として予め定められた時間とすればよい。 The lighting control unit 351 controls the lighting of the LED light sources 103a and 103b by using the LED drive control unit 316. For example, the lighting control unit 351 controls the LED light sources 103a and 103b so as to light at different timings from each other. The timing difference (time) may be, for example, a predetermined time as a time during which the movement of the subject's line of sight does not affect the line-of-sight detection result.

位置検出部３５２は、近赤外光が照射されステレオカメラにより撮像された被験者の左右の眼球の画像から、左右それぞれの眼球の瞳孔を示す瞳孔領域、及び、左右それぞれの眼球の角膜反射を示す角膜反射領域を検出する。また位置検出部３５２は、瞳孔領域に基づき、左右それぞれの眼球の瞳孔の中心を示す瞳孔中心の位置を検出する。例えば位置検出部３５２は、瞳孔領域の輪郭上の複数の点を選択し、選択した複数の点を通る円の中心を、瞳孔中心の位置として算出する。同様に、位置検出部３５２は、角膜反射領域に基づき、左右それぞれの眼球の角膜反射の中心を示す角膜反射中心の位置を検出する。 The position detection unit 352 shows the pupil region showing the pupils of the left and right eyeballs and the corneal reflex of each of the left and right eyeballs from the images of the left and right eyeballs of the subject imaged by the stereo camera irradiated with near infrared light. Detect the corneal reflex area. Further, the position detection unit 352 detects the position of the center of the pupil indicating the center of the pupil of each of the left and right eyes based on the pupil region. For example, the position detection unit 352 selects a plurality of points on the contour of the pupil region, and calculates the center of the circle passing through the selected plurality of points as the position of the center of the pupil. Similarly, the position detection unit 352 detects the position of the corneal reflex center indicating the center of the corneal reflex of each of the left and right eyes based on the corneal reflex region.

曲率半径算出部３５３は、仮想光源位置と角膜反射中心とを結ぶ第１直線から、角膜曲率中心の位置を算出する。また、曲率半径算出部３５３は、仮想光源位置と角膜反射中心の位置とから、被験者の左右それぞれの眼球の角膜表面と角膜曲率中心との距離である角膜曲率半径を算出する。 The radius of curvature calculation unit 353 calculates the position of the center of curvature of the cornea from the first straight line connecting the position of the virtual light source and the center of reflection of the cornea. Further, the radius of curvature calculation unit 353 calculates the radius of curvature of the cornea, which is the distance between the corneal surface of each of the left and right eyes of the subject and the center of corneal curvature, from the position of the virtual light source and the position of the center of corneal reflex.

曲率半径算出部３５３は、目標位置を被験者に注視させたときに算出された瞳孔中心及び角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ第２直線と、角膜反射中心と仮想光源位置とを結ぶ第１直線と、の交点を算出する。算出された交点が、角膜曲率中心である。曲率半径算出部３５３は、瞳孔中心と角膜曲率中心との距離を算出し、記憶部１５０に記憶する。また、曲率半径算出部３５３は、角膜表面と角膜曲率中心との距離である角膜曲率半径を算出し、記憶部１５０に記憶する。 The radius of curvature calculation unit 353 uses the pupil center and the corneal reflex center calculated when the subject gazes at the target position, and uses the second straight line connecting the pupil center and the target position, the corneal reflex center, and the virtual light source position. The intersection of the first straight line connecting the above and the first straight line is calculated. The calculated intersection is the center of curvature of the cornea. The radius of curvature calculation unit 353 calculates the distance between the center of the pupil and the center of curvature of the cornea and stores it in the storage unit 150. Further, the radius of curvature calculation unit 353 calculates the radius of curvature of the cornea, which is the distance between the surface of the cornea and the center of curvature of the cornea, and stores it in the storage unit 150.

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面２０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部３５６が、表示画面２０１上の目標位置（中央位置）に、被験者に注視させる目標画像等を表示する。これにより、被験者に目標位置を注視させることができる。 The target position may be a position that is predetermined and can calculate three-dimensional world coordinate values. For example, the center position of the display screen 201 (the origin of the three-dimensional world coordinates) can be set as the target position. In this case, for example, the output control unit 356 displays a target image or the like to be watched by the subject at the target position (center position) on the display screen 201. As a result, the subject can be made to gaze at the target position.

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、及び、表示態様が他の領域と異なる画像などを目標画像として用いることができる。 The target image may be any image as long as it can draw the subject's attention. For example, an image in which the display mode such as brightness and color changes, an image in which the display mode is different from other regions, and the like can be used as the target image.

なお、目標位置は表示画面２０１の中央位置に限られるものではなく、任意の位置でよい。表示画面２０１の中央位置を目標位置とすれば、表示画面２０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。 The target position is not limited to the center position of the display screen 201, and may be any position. If the center position of the display screen 201 is set as the target position, the distance from an arbitrary end of the display screen 201 is minimized. Therefore, for example, it is possible to make the measurement error at the time of line-of-sight detection smaller.

瞳孔中心と角膜曲率中心との距離の算出及び角膜曲率半径の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。視線検出時には、曲率半径算出部３５３は、仮想光源位置と角膜反射中心とを結ぶ第１直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出可能である。曲率半径算出部３５３は、仮想光源位置と、表示部上の目標画像を示す所定の位置と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心の位置を算出し、角膜曲率半径を算出する。 The processing up to the calculation of the distance between the center of the pupil and the center of curvature of the cornea and the calculation of the radius of curvature of the cornea is performed in advance, for example, before the actual line-of-sight detection is started. At the time of line-of-sight detection, the radius of curvature calculation unit 353 can calculate the position where the distance from the pupil center is the distance calculated in advance on the first straight line connecting the virtual light source position and the corneal reflex center as the corneal curvature center. Is. The radius of curvature calculation unit 353 calculates the position of the center of corneal curvature from the position of the virtual light source, the predetermined position showing the target image on the display unit, the position of the center of the pupil, and the position of the center of corneal reflex, and the corneal curvature calculation unit 353. Calculate the radius.

視線検出部３５４は、瞳孔中心の位置と角膜曲率半径又は角膜曲率中心の位置とから、被験者の左右それぞれの眼球の視線方向を検出する。例えば視線検出部３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。 The line-of-sight detection unit 354 detects the line-of-sight direction of each of the left and right eyeballs of the subject from the position of the center of the pupil and the position of the radius of curvature of the cornea or the position of the center of curvature of the cornea. For example, the line-of-sight detection unit 354 detects the direction from the center of curvature of the cornea to the center of the pupil as the line-of-sight direction of the subject.

視点検出部３５５は、視線検出部３５４において瞳孔中心の位置と角膜曲率半径又は角膜曲率中心の位置とから検出された視線方向から、被験者の左右それぞれの眼球の視点を検出する。視点検出部３５５は、例えば、表示画面２０１で被験者が注視する点である視点（注視点）を検出する。視点検出部３５５は、例えば図４のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の視点として検出する。 The viewpoint detection unit 355 detects the viewpoints of the left and right eyes of the subject from the line-of-sight directions detected from the position of the center of the pupil and the position of the radius of curvature of the cornea or the position of the center of curvature of the cornea by the line-of-sight detection unit 354. The viewpoint detection unit 355 detects, for example, the viewpoint (gaze point) that is the point on which the subject gazes on the display screen 201. The viewpoint detection unit 355 detects the intersection of the line-of-sight vector represented by the three-dimensional world coordinate system as shown in FIG. 4 and the XY plane as the viewpoint of the subject.

抽出部３５７は、左右カメラにより撮像された被験者の左右の眼球の画像から、左右それぞれの眼球の瞳孔の大きさを示す瞳孔パラメータを抽出する。本実施形態において、瞳孔パラメータは、左右カメラにより撮像された画像において取得される左右それぞれの眼球の瞳孔の面積である。抽出部３５７は、被験者の左右の眼球の画像から、左の眼球の瞳孔の面積と、右の眼球の瞳孔の面積とを抽出する。 The extraction unit 357 extracts pupil parameters indicating the size of the pupils of the left and right eyeballs from the images of the left and right eyeballs of the subject captured by the left and right cameras. In the present embodiment, the pupil parameter is the area of the pupil of each of the left and right eyes acquired in the images captured by the left and right cameras. The extraction unit 357 extracts the area of the pupil of the left eyeball and the area of the pupil of the right eyeball from the images of the left and right eyeballs of the subject.

補正部３５８は、視点検出部３５５で検出された右の眼球の視点と左の眼球の視点とを瞳孔パラメータに基づいて補正して、合成視点を算出する。 The correction unit 358 corrects the viewpoint of the right eyeball and the viewpoint of the left eyeball detected by the viewpoint detection unit 355 based on the pupil parameters, and calculates the composite viewpoint.

出力制御部３５６は、表示部１０１及びスピーカ２０５などに対する各種情報の出力を制御する。本実施形態において、出力制御部３５６は、補正部３５８で算出された被験者の合成視点を表示部１０１に表示させる。また、出力制御部３５６は、表示部１０１上の目標位置に目標画像を出力させる。また、出力制御部３５６は、診断画像、及び、評価部による評価結果などの表示部１０１に対する出力を制御する。 The output control unit 356 controls the output of various information to the display unit 101, the speaker 205, and the like. In the present embodiment, the output control unit 356 causes the display unit 101 to display the composite viewpoint of the subject calculated by the correction unit 358. Further, the output control unit 356 causes the target image to be output to the target position on the display unit 101. Further, the output control unit 356 controls the output of the diagnostic image and the evaluation result by the evaluation unit to the display unit 101.

図７は、１つの光源を用いると仮定した場合の処理の概要を説明する図である。図３から図６で説明した要素については同一の符号を付し説明を省略する。図７の例では、２つのＬＥＤ光源１０３ａ，１０３ｂの代わりに、１つのＬＥＤ光源２０３が用いられる。 FIG. 7 is a diagram illustrating an outline of processing when it is assumed that one light source is used. The elements described with reference to FIGS. 3 to 6 are designated by the same reference numerals and the description thereof will be omitted. In the example of FIG. 7, one LED light source 203 is used instead of the two LED light sources 103a and 103b.

瞳孔中心４０７及び角膜反射中心４０８は、それぞれ、１つのＬＥＤ光源２０３を点灯させた際に検出される瞳孔中心、及び、角膜反射中心を表している。角膜反射中心４０８は、ＬＥＤ光源２０３と角膜曲率中心４１０とを結んだ直線上に存在し、その位置は角膜曲率中心４１０と角膜表面との中間点に現れる。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。ＬＥＤ光源２０３は、ここでは１個のＬＥＤとしているが、数個の小さいＬＥＤを組み合わせて１ヵ所に配置されたものであっても構わない。 The pupil center 407 and the corneal reflex center 408 represent the pupil center and the corneal reflex center detected when one LED light source 203 is turned on, respectively. The corneal reflex center 408 exists on a straight line connecting the LED light source 203 and the corneal curvature center 410, and its position appears at the midpoint between the corneal curvature center 410 and the corneal surface. The corneal curvature radius 409 represents the distance from the corneal surface to the corneal curvature center 410. Although the LED light source 203 is regarded as one LED here, it may be a combination of several small LEDs and arranged in one place.

図８は、本実施形態の診断支援装置１００により実行される処理の概要を説明する図である。図３から図６で説明した要素については同一の符号を付し説明を省略する。 FIG. 8 is a diagram illustrating an outline of processing executed by the diagnosis support device 100 of the present embodiment. The elements described with reference to FIGS. 3 to 6 are designated by the same reference numerals and the description thereof will be omitted.

角膜反射点６２１は左カメラ１０２ｂで撮影したときの画像上の角膜反射点を表す。角膜反射点６２２は右カメラ１０２ａで撮影したときの画像上の角膜反射点を表す。本実施形態では、右カメラ１０２ａと右カメラ用のＬＥＤ光源１０３ｂ、及び、左カメラ１０２ｂと左カメラ用のＬＥＤ光源１０３ａは、例えば右カメラ１０２ａと左カメラ１０２ｂの中間位置を通る直線に対して左右対称の位置関係にある。このため、右カメラ１０２ａと左カメラ１０２ｂの中間位置（仮想光源位置）に仮想光源３０３があるとみなすことができる。角膜反射点６２４は、仮想光源３０３に対応する角膜反射点を表す。角膜反射点６２１の座標値と角膜反射点６２２の座標値を、左右カメラの座標値を三次元世界座標に変換する変換パラメータを用いて変換することにより、角膜反射点６２４の世界座標値が算出される。仮想光源３０３と角膜反射点６２４を結ぶ直線５２３上に角膜曲率中心５０５が存在する。角膜曲率中心５０５の位置及び角膜表面の位置が算出されることにより、角膜曲率半径５０９が算出される。このように、図７で表した光源が１ヵ所の視線検出方法と同等の方法で視点検出が可能である。 The corneal reflex point 621 represents a corneal reflex point on the image when taken by the left camera 102b. The corneal reflex point 622 represents the corneal reflex point on the image when taken by the right camera 102a. In the present embodiment, the right camera 102a and the LED light source 103b for the right camera, and the left camera 102b and the LED light source 103a for the left camera are left and right with respect to a straight line passing through an intermediate position between the right camera 102a and the left camera 102b, for example. There is a symmetrical positional relationship. Therefore, it can be considered that the virtual light source 303 is located at an intermediate position (virtual light source position) between the right camera 102a and the left camera 102b. The corneal reflex point 624 represents a corneal reflex point corresponding to the virtual light source 303. The world coordinate value of the corneal reflex point 624 is calculated by converting the coordinate value of the corneal reflex point 621 and the coordinate value of the corneal reflex point 622 using the conversion parameter that converts the coordinate values of the left and right cameras into three-dimensional world coordinates. Will be done. The corneal curvature center 505 exists on a straight line 523 connecting the virtual light source 303 and the corneal reflection point 624. The corneal curvature radius 509 is calculated by calculating the position of the corneal curvature center 505 and the position of the corneal surface. As described above, the light source shown in FIG. 7 can detect the viewpoint by the same method as the line-of-sight detection method at one place.

なお右カメラ１０２ａと左カメラ１０２ｂとの位置関係、及び、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとの位置関係は、上述の位置関係に限られるものではない。例えば同一の直線に対して、それぞれの位置関係が左右対称となる関係であってもよいし、右カメラ１０２ａと左カメラ１０２ｂと、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとは同一直線上になくてもよい。 The positional relationship between the right camera 102a and the left camera 102b and the positional relationship between the LED light source 103a and the LED light source 103b are not limited to the above-mentioned positional relationship. For example, the positional relationship may be symmetrical with respect to the same straight line, or the right camera 102a and the left camera 102b, and the LED light source 103a and the LED light source 103b may not be on the same straight line. Good.

図９は、視線検出又は視点検出を行う前に、角膜曲率中心６１５の位置、及び、瞳孔中心６１１の位置と角膜曲率中心６１５の位置との距離６１６を算出するキャリブレーション処理を説明するための図である。図３から図６で説明した要素については同一の符号を付し説明を省略する。 FIG. 9 is for explaining a calibration process for calculating the position of the corneal curvature center 615 and the distance 616 between the position of the pupil center 611 and the position of the corneal curvature center 615 before performing the line-of-sight detection or the viewpoint detection. It is a figure. The elements described with reference to FIGS. 3 to 6 are designated by the same reference numerals and the description thereof will be omitted.

目標位置６０５は、表示部１０１上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部１０１の画面の中央位置としている。直線６１３は、仮想光源３０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる注視点である目標位置６０５と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。角膜曲率半径６０９は、角膜表面と角膜曲率中心６１５との距離である。曲率半径算出部３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６及び角膜曲率半径６０９を算出して記憶部１５０に記憶する。 The target position 605 is a position for displaying a target image or the like at a point on the display unit 101 so that the subject can look at it. In the present embodiment, the position is set to the center position of the screen of the display unit 101. The straight line 613 is a straight line connecting the virtual light source 303 and the corneal reflex center 612. The straight line 614 is a straight line connecting the target position 605, which is the gazing point of the subject, and the pupil center 611. The center of curvature of the cornea 615 is the intersection of the straight line 613 and the straight line 614. The corneal curvature radius 609 is the distance between the corneal surface and the corneal curvature center 615. The radius of curvature calculation unit 353 calculates the distance 616 between the center of pupil 611 and the center of curvature of the cornea 615 and the radius of curvature 609 of the cornea and stores them in the storage unit 150.

図１０は、本実施形態のキャリブレーション処理の一例を示すフローチャートである。出力制御部３５６は、表示部１０１の画面上の１点に目標画像を再生し（ステップＳ１０１）、被験者にその１点を注視させる。次に、点灯制御部３５１は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源１０３ａ，１０３ｂのうち一方を被験者の眼に向けて点灯させる（ステップ１０２）。制御部３００は、左右カメラ（右カメラ１０２ａ，左カメラ１０２ｂ）のうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の眼を撮像する（ステップＳ１０３）。次に、点灯制御部３５１は、ＬＥＤ光源１０３ａ，１０３ｂのうち他方を被験者の眼に向けて点灯させる（ステップＳ１０４）。制御部３００は、左右カメラのうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の眼を撮像する（ステップＳ１０５）。 FIG. 10 is a flowchart showing an example of the calibration process of the present embodiment. The output control unit 356 reproduces the target image at one point on the screen of the display unit 101 (step S101), and causes the subject to gaze at that one point. Next, the lighting control unit 351 uses the LED drive control unit 316 to light one of the LED light sources 103a and 103b toward the eyes of the subject (step 102). The control unit 300 takes an image of the subject's eye with the camera of the left and right cameras (right camera 102a, left camera 102b) that has a longer distance from the lit LED light source (step S103). Next, the lighting control unit 351 lights the other of the LED light sources 103a and 103b toward the eyes of the subject (step S104). The control unit 300 takes an image of the subject's eye with the camera having the longer distance from the lit LED light source among the left and right cameras (step S105).

なお、点灯したＬＥＤ光源からの距離が長いカメラ以外のカメラによる撮像を停止しなくてもよい。すなわち、少なくとも点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の眼を撮像し、撮像した画像が座標算出等に利用可能となっていればよい。 It is not necessary to stop the imaging by a camera other than the camera having a long distance from the lit LED light source. That is, it suffices that the eye of the subject is imaged by at least the camera having a longer distance from the lit LED light source, and the captured image can be used for coordinate calculation and the like.

ステップＳ１０５の後、左の眼球である左眼についての処理と、右の眼球である右眼についての処理とが別々に実施される。まず、左眼についてのキャリブレーション処理について説明する。 After step S105, the process for the left eye, which is the left eyeball, and the process for the right eye, which is the right eyeball, are performed separately. First, the calibration process for the left eye will be described.

ＬＥＤ光源１０３ａ又はＬＥＤ光源１０３ｂの照射により、左眼の瞳孔領域は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、左眼の角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、位置検出部３５２は、撮像された画像から左眼の瞳孔領域を検出し、左眼の瞳孔中心の位置を示す座標を算出する。位置検出部３５２は、例えば左眼を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔領域として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、位置検出部３５２は、撮像された画像から左眼の角膜反射領域を検出し、角膜反射中心の位置を示す座標を算出する。なお、位置検出部３５２は、左右カメラで取得した２つの画像それぞれに対して、左眼の瞳孔中心の座標値及び角膜反射中心の座標値を算出する（ステップＳ１０６Ｌ）。 By irradiating the LED light source 103a or the LED light source 103b, the pupil region of the left eye is detected as a dark portion (dark pupil). Further, a virtual image of the corneal reflex of the left eye is generated as the reflection of the LED irradiation, and the corneal reflex point (corneal reflex center) is detected as a bright portion. That is, the position detection unit 352 detects the pupil region of the left eye from the captured image and calculates the coordinates indicating the position of the center of the pupil of the left eye. The position detection unit 352 detects, for example, a region having a predetermined brightness or less including the darkest portion in a certain region including the left eye as a pupil region, and corneal reflexes in a region having a predetermined brightness or more including the brightest portion. Detect as. Further, the position detection unit 352 detects the corneal reflex region of the left eye from the captured image and calculates the coordinates indicating the position of the corneal reflex center. The position detection unit 352 calculates the coordinate value of the center of the pupil of the left eye and the coordinate value of the center of the corneal reflex for each of the two images acquired by the left and right cameras (step S106L).

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。 The left and right cameras are calibrated in advance by the stereo calibration method in order to acquire the three-dimensional world coordinates, and the conversion parameters are calculated. As the stereo calibration method, any conventional method such as a method using Tsai's camera calibration theory can be applied.

位置検出部３５２は、この変換パラメータを使用して、左右カメラの座標から、左眼の瞳孔中心と角膜反射中心を三次元世界座標に変換する（ステップＳ１０７Ｌ）。例えば位置検出部３５２は、ＬＥＤ光源１０３ａが点灯されたときに左カメラ１０２ｂにより撮像された画像から得られた座標を左カメラの座標とし、ＬＥＤ光源１０３ｂが点灯されたときに右カメラ１０２ａにより撮像された画像から得られた座標を右カメラの座標として、変換パラメータを用いて三次元世界座標への変換を行う。この結果得られる世界座標値は、仮想光源３０３から光が照射されたと仮定したときに左右カメラで撮像された画像から得られる世界座標値に対応する。曲率半径算出部３５３は、求めた角膜反射中心の世界座標と、仮想光源３０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ１０８Ｌ）。次に、曲率半径算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心の世界座標と、左眼の瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ１０９Ｌ）。曲率半径算出部３５３は、ステップＳ１０８Ｌで算出した直線とステップＳ１０９Ｌで算出した直線との交点を求め、この交点を左眼の角膜曲率中心とする（ステップＳ１１０Ｌ）。曲率半径算出部３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０に記憶する（ステップＳ１１１Ｌ）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。 Using this conversion parameter, the position detection unit 352 converts the pupil center and the corneal reflex center of the left eye from the coordinates of the left and right cameras into three-dimensional world coordinates (step S107L). For example, the position detection unit 352 uses the coordinates obtained from the image captured by the left camera 102b when the LED light source 103a is turned on as the coordinates of the left camera, and captures the image by the right camera 102a when the LED light source 103b is turned on. Using the coordinates obtained from the obtained image as the coordinates of the right camera, conversion to three-dimensional world coordinates is performed using the conversion parameters. The world coordinate values obtained as a result correspond to the world coordinate values obtained from the images captured by the left and right cameras when it is assumed that the light is emitted from the virtual light source 303. The radius of curvature calculation unit 353 obtains a straight line connecting the obtained world coordinates of the corneal reflex center and the world coordinates of the center position of the virtual light source 303 (step S108L). Next, the radius of curvature calculation unit 353 calculates a straight line connecting the world coordinates of the center of the target image displayed at one point on the screen of the display unit 101 and the world coordinates of the center of the pupil of the left eye (step S109L). ). The radius of curvature calculation unit 353 obtains an intersection of the straight line calculated in step S108L and the straight line calculated in step S109L, and sets this intersection as the center of corneal curvature of the left eye (step S110L). The radius of curvature calculation unit 353 calculates the distance between the center of the pupil and the center of the corneal curvature at this time and stores it in the storage unit 150 (step S111L). The stored distance is used to calculate the center of curvature of the cornea during subsequent viewpoint (line of sight) detection.

キャリブレーション処理で表示部１０１上の１点を見つめる際の瞳孔中心と角膜曲率中心との距離は、表示部１０１内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。 The distance between the center of the pupil and the center of curvature of the cornea when looking at one point on the display unit 101 in the calibration process is kept constant within the range in which the viewpoint in the display unit 101 is detected. The distance between the center of the pupil and the center of curvature of the cornea may be obtained from the average of all the values calculated during the reproduction of the target image, or may be obtained from the average of several values calculated during the reproduction. May be good.

曲率半径算出部３５３は、左眼の角膜曲率半径を算出する（ステップＳ１１２Ｌ）。曲率半径算出部３５３は、算出した左眼の角膜曲率半径ｒ１を記憶部１５０に記憶する（ステップＳ１１３Ｌ）。 The radius of curvature calculation unit 353 calculates the radius of curvature of the cornea of the left eye (step S112L). The radius of curvature calculation unit 353 stores the calculated radius of curvature r1 of the left eye in the storage unit 150 (step S113L).

以上、左眼の角膜曲率半径の記憶までの手順について説明した。左眼についてのステップＳ１０６ＬからステップＳ１１３Ｌと同様の手順が、右眼についても実施され（ステップＳ１０６ＲからステップＳ１１３Ｒ）、右眼の角膜曲率半径が算出され記憶される。右眼の角膜曲率半径の記憶までの手順についての説明は省略する。 The procedure for memorizing the radius of curvature of the cornea of the left eye has been described above. The same procedure as for steps S106L to S113L for the left eye is also performed for the right eye (steps S106R to S113R), and the corneal radius of curvature of the right eye is calculated and stored. The description of the procedure up to the memory of the radius of curvature of the cornea of the right eye will be omitted.

図１１は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。 FIG. 11 is a diagram showing a method of calculating the corrected position of the corneal curvature center by using the distance between the pupil center and the corneal curvature center obtained in advance when performing the viewpoint detection. The gazing point 805 represents a gazing point obtained from the center of curvature of the cornea calculated using a general radius of curvature value. The gazing point 806 represents the gazing point obtained from the center of curvature of the cornea calculated using the distance obtained in advance.

瞳孔中心８１１及び角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、及び、角膜反射中心の位置を示す。直線８１３は、仮想光源３０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前のキャリブレーション処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、及び、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示部１０１の画面上の注視点は、注視点８０５から注視点８０６に補正される。 The pupil center 811 and the corneal reflex center 812 indicate the position of the pupil center and the position of the corneal reflex center calculated at the time of viewpoint detection, respectively. The straight line 813 is a straight line connecting the virtual light source 303 and the corneal reflex center 812. The corneal curvature center 814 is the position of the corneal curvature center calculated from a general radius of curvature value. The distance 815 is the distance between the center of the pupil and the center of curvature of the cornea calculated by the prior calibration process. The corneal curvature center 816 is the position of the corneal curvature center calculated using the distance obtained in advance. The corneal curvature center 816 is obtained because the corneal curvature center exists on the straight line 813 and the distance between the pupil center and the corneal curvature center is 815. As a result, the line-of-sight 817 calculated when a general radius of curvature value is used is corrected to the line-of-sight 818. Further, the gazing point on the screen of the display unit 101 is corrected from the gazing point 805 to the gazing point 806.

図１２は、本実施形態の視線検出処理の一例を示すフローチャートである。まず、図１２に示すステップＳ２０１からステップＳ２０４までの処理が実施される。ステップＳ２０１からステップＳ２０４は、図１０のステップＳ１０２からステップＳ１０５と同様であるため説明を省略する。 FIG. 12 is a flowchart showing an example of the line-of-sight detection process of the present embodiment. First, the processes from step S201 to step S204 shown in FIG. 12 are carried out. Since steps S201 to S204 are the same as steps S102 to S105 in FIG. 10, description thereof will be omitted.

ステップＳ２０４の後、左の眼球である左眼についての処理と、右の眼球である右眼についての処理とが別々に実施される。まず、左眼についての視線検出処理について説明する。なお、図１２に示すステップＳ２０５ＬからステップＳ２０７Ｌまでの処理は、図１０のステップＳ１０６ＬからステップＳ１０８Ｌまでの処理と同様であるため説明を省略する。 After step S204, the process for the left eye, which is the left eyeball, and the process for the right eye, which is the right eyeball, are performed separately. First, the line-of-sight detection process for the left eye will be described. Since the processing from step S205L to step S207L shown in FIG. 12 is the same as the processing from step S106L to step S108L in FIG. 10, the description thereof will be omitted.

視線検出部３５４は、被験者の左眼の瞳孔中心及び角膜反射中心の世界座標値を算出し、図１０のステップＳ１１３Ｌで記憶部１５０に記憶した角膜曲率半径ｒ１に基づいて、被験者の左眼の角膜曲率中心を算出する（ステップＳ２０８Ｌ）。曲率半径算出部３５３は、ステップＳ２０７Ｌで算出した直線上であって、図１０のステップＳ１１３Ｌで記憶部１５０に記憶した角膜曲率半径ｒ１の角膜曲率中心と等しい位置を左眼の角膜曲率中心として算出する。 The line-of-sight detection unit 354 calculates the world coordinate values of the pupil center and the corneal reflex center of the subject's left eye, and based on the corneal radius of curvature r1 stored in the storage unit 150 in step S113L of FIG. The center of curvature of the cornea is calculated (step S208L). The radius of curvature calculation unit 353 calculates the position on the straight line calculated in step S207L and equal to the center of corneal curvature of the corneal radius of curvature r1 stored in the storage unit 150 in step S113L of FIG. 10 as the center of corneal curvature of the left eye. To do.

視線検出部３５４は、左眼の瞳孔中心と角膜曲率中心とを結ぶ視線ベクトルを求める（ステップＳ２０９Ｌ）。この視線ベクトルが、被験者の左眼が見ている視線方向を示している。視点検出部３５５は、左眼の視線ベクトルと表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ２１０Ｌ）。この値が、被験者の左眼が注視する表示部１０１上の１点を世界座標で表した座標値である。視点検出部３５５は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ１，ｙ１）に変換する。これにより、被験者の左眼が見つめる表示部１０１上の視点の位置が算出される（ステップＳ２１１Ｌ）。 The line-of-sight detection unit 354 obtains a line-of-sight vector connecting the center of the pupil of the left eye and the center of curvature of the cornea (step S209L). This line-of-sight vector indicates the line-of-sight direction seen by the subject's left eye. The viewpoint detection unit 355 calculates the three-dimensional world coordinate value of the intersection of the line-of-sight vector of the left eye and the screen of the display unit 101 (step S210L). This value is a coordinate value representing one point on the display unit 101 that the left eye of the subject gazes at in world coordinates. The viewpoint detection unit 355 converts the obtained three-dimensional world coordinate values into coordinate values (x1, y1) represented by the two-dimensional coordinate system of the display unit 101. As a result, the position of the viewpoint on the display unit 101 that the left eye of the subject looks at is calculated (step S211L).

抽出部３５７は、左眼の画像から、左眼の瞳孔の大きさを示す瞳孔パラメータとして、左眼の瞳孔の面積を算出する（ステップＳ２１２Ｌ）。抽出部３５７は、左眼の視点の位置が算出されたときの、その左眼の瞳孔の面積を算出する。換言すれば、同じフレームで得られた画像から、左眼の視点の位置の検出と、左眼の瞳孔の面積の検出とが実施される。 The extraction unit 357 calculates the area of the pupil of the left eye from the image of the left eye as a pupil parameter indicating the size of the pupil of the left eye (step S212L). The extraction unit 357 calculates the area of the pupil of the left eye when the position of the viewpoint of the left eye is calculated. In other words, the position of the viewpoint of the left eye and the area of the pupil of the left eye are detected from the images obtained in the same frame.

ステレオカメラで撮影される左眼の画像は、撮影が実施されるタイミングによって異なる可能性が高い。例えば、被験者がまばたきしたり伏し目になったりした場合、図１３の模式図に示すように、瞳孔２３の一部又は全部が瞼２４で隠れる。その場合、ステレオカメラで撮影される画像において、瞳孔２３の面積は小さくなる。一方、被験者が眼を大きく見開いた場合、ステレオカメラで撮影される画像において、瞳孔２３の面積は大きくなる。 The image of the left eye taken by the stereo camera is likely to differ depending on the timing at which the shooting is performed. For example, when the subject blinks or becomes prone, part or all of the pupil 23 is hidden by the eyelids 24, as shown in the schematic diagram of FIG. In that case, the area of the pupil 23 becomes smaller in the image taken by the stereo camera. On the other hand, when the subject has his eyes wide open, the area of the pupil 23 becomes large in the image taken by the stereo camera.

図１４は、撮影された画像において瞳孔２３の面積を求める方法を模式的に示す図である。瞳孔２３とその周囲の虹彩２２又は瞼２４とのコントラストは異なる。したがって、そのコントラストの違いから、画像において瞳孔２３の外形又は輪郭が規定される。外形が規定された瞳孔２３に配置される画素の数が導出されることにより、１つの画素の面積と、その画素の数とに基づいて、瞳孔２３の面積が算出される。 FIG. 14 is a diagram schematically showing a method of obtaining the area of the pupil 23 in the captured image. The contrast between the pupil 23 and the iris 22 or eyelid 24 around it is different. Therefore, the outer shape or contour of the pupil 23 is defined in the image due to the difference in contrast. By deriving the number of pixels arranged in the pupil 23 whose outer shape is defined, the area of the pupil 23 is calculated based on the area of one pixel and the number of the pixels.

以上、左眼の視点の座標値（ｘ１，ｙ１）の算出（ステップＳ２１１Ｌ）及び左眼の瞳孔の面積の算出（ステップＳ２１２Ｌ）までの手順について説明した。左眼についてのステップＳ２０５ＬからステップＳ２１２Ｌと同様の手順が、右眼についても実施される（ステップＳ２０５ＲからステップＳ２１２Ｒ）。ステップＳ２１１Ｒにおいては右眼の視点の座標値（ｘ２，ｙ２）が算出され、ステップＳ２１２Ｒにおいては右眼の瞳孔の面積が算出される。右眼の瞳孔の面積の算出までの手順についての説明は省略する。 The procedure up to the calculation of the coordinate values (x1, y1) of the viewpoint of the left eye (step S211L) and the calculation of the area of the pupil of the left eye (step S212L) has been described above. The same procedure as for steps S205L to S212L for the left eye is also performed for the right eye (steps S205R to S212R). In step S211R, the coordinate values (x2, y2) of the viewpoint of the right eye are calculated, and in step S212R, the area of the pupil of the right eye is calculated. The description of the procedure up to the calculation of the area of the pupil of the right eye will be omitted.

左眼の視点の位置及びその視点のときの左眼の瞳孔の面積が算出され、右眼の視点の位置及びその視点のときの右眼の瞳孔の面積が算出された後、補正部３５８は、左眼の視点と右眼の視点とを瞳孔パラメータに基づいて補正して合成視点を算出する（ステップＳ２１３）。 After the position of the viewpoint of the left eye and the area of the pupil of the left eye at that viewpoint are calculated, the position of the viewpoint of the right eye and the area of the pupil of the right eye at that viewpoint are calculated, and then the correction unit 358 , The viewpoint of the left eye and the viewpoint of the right eye are corrected based on the pupil parameters to calculate the composite viewpoint (step S213).

補正部３５８は、左眼の視点の位置と右眼の視点の位置とを、ステップＳ２１２Ｌ，Ｓ２１２Ｒで算出された左眼の瞳孔の面積及び右眼の瞳孔の面積に基づいて補正する。左眼の視点の位置の座標値が（ｘ１，ｙ１）であり、右眼の視点の位置の座標値が（ｘ２，ｙ２）であり、左眼の瞳孔の面積がＳＬであり、右眼の瞳孔の面積がＳＲである場合、補正部３５８は、以下の（１）式の演算処理を実施して、合成視点（ｘａ，ｙａ）の位置を算出する。 The correction unit 358 corrects the position of the viewpoint of the left eye and the position of the viewpoint of the right eye based on the area of the pupil of the left eye and the area of the pupil of the right eye calculated in steps S212L and S212R. The coordinate value of the position of the viewpoint of the left eye is (x1, y1), the coordinate value of the position of the viewpoint of the right eye is (x2, y2), the area of the pupil of the left eye is SL, and the area of the pupil of the right eye is SL. When the area of the pupil is SR, the correction unit 358 performs the arithmetic processing of the following equation (1) to calculate the position of the composite viewpoint (xa, ya).

（ｘａ，ｙａ）
＝（ｘ１，ｙ１）×ＳＬ／（ＳＲ＋ＳＬ）＋（ｘ２，ｙ２）×ＳＲ／（ＳＲ＋ＳＬ）
…（１）
（１）式に示すように、補正部３５８による補正は、左右の瞳孔の面積ＳＬ，ＳＲを使って、左眼の視点の位置及び右眼の視点の位置に重みを付与することを含む。補正部３５８は、抽出された瞳孔パラメータに基づいて、左右の眼球の瞳孔のうち瞳孔パラメータ（瞳孔の面積）が大きい方の眼球の視点の位置に付与する重みを、瞳孔パラメータ（瞳孔の面積）が小さい方の眼球の視点の位置に付与する重みよりも大きくする。例えば、左眼の瞳孔の面積ＳＬが右眼の瞳孔の面積ＳＲよりも大きい場合、左眼の視点に付与される重みは、右眼の視点に付与される重みよりも大きい。 (Xa, ya)
= (X1, y1) x SL / (SR + SL) + (x2, y2) x SR / (SR + SL)
… (1)
As shown in the equation (1), the correction by the correction unit 358 includes giving weights to the position of the viewpoint of the left eye and the position of the viewpoint of the right eye by using the areas SL and SR of the left and right pupils. Based on the extracted pupil parameters, the correction unit 358 assigns a weight to the position of the viewpoint of the eyeball having the larger pupil parameter (pupil area) among the pupils of the left and right eyes, the pupil parameter (pupil area). Is greater than the weight given to the position of the viewpoint of the smaller eyeball. For example, when the area SL of the pupil of the left eye is larger than the area SR of the pupil of the right eye, the weight given to the viewpoint of the left eye is larger than the weight given to the viewpoint of the right eye.

瞳孔中心は、画像に現れている瞳孔領域の輪郭上の複数の点が選択され、選択された複数の点を通る円の中心として算出される。一般に、瞳孔の面積が大きいほど、瞳孔が瞼で隠れている割合が少なくなり、瞳孔中心を正確に求めることができる。そのため、左眼と右眼との合成視点を算出する場合、瞳孔の面積が大きい方の眼球の視点に付与する重みを、瞳孔の面積が小さい方の眼球の視点に付与する重みよりも大きくすることにより、合成視点の位置（ｘａ，ｙａ）を精度良く算出することができる。 The pupil center is calculated as the center of a circle in which a plurality of points on the contour of the pupil region appearing in the image are selected and pass through the selected points. In general, the larger the area of the pupil, the smaller the proportion of the pupil hidden by the eyelids, and the more accurately the center of the pupil can be obtained. Therefore, when calculating the combined viewpoint of the left eye and the right eye, the weight given to the viewpoint of the eye with the larger pupil area is larger than the weight given to the viewpoint of the eye with the smaller pupil area. As a result, the position (xa, ya) of the composite viewpoint can be calculated with high accuracy.

出力制御部３５６は、算出された座標値（ｘａ，ｙａ）を有する合成視点を表示部１０１に表示する（ステップＳ２１４）。 The output control unit 356 displays the composite viewpoint having the calculated coordinate values (xa, ya) on the display unit 101 (step S214).

図１５は、ステップＳ２１４において出力制御部３５６により表示部１０１に表示される視点の一例を示す図である。図１５に示すように、表示部１０１には、指標画像Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５が表示される。被験者の眼球の動き方を評価するために、左右両方の眼球の視点が、指標画像Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５の順番で移動するように、被験者に指示がなされる。 FIG. 15 is a diagram showing an example of a viewpoint displayed on the display unit 101 by the output control unit 356 in step S214. As shown in FIG. 15, the index images C1, C2, C3, C4, and C5 are displayed on the display unit 101. In order to evaluate the movement of the subject's eyeball, the subject is instructed to move the viewpoints of both the left and right eyeballs in the order of the index images C1, C2, C3, C4, and C5.

左右両方の眼球の視点が合成された合成視点を示すプロット点Ｐが表示部１０１に表示される。視点の検出及び合成が実施された後、診断支援装置１００に設けられた操作入力部が操作者又は被験者によって操作され、その操作によりプロット点Ｐが表示部１０１に表示される。視点の検出は、左右カメラから出力されるフレーム同期信号の周期（例えば５０［ｍｓｅｃ］毎）に実施される。したがって、プロット点Ｐの間隔が大きいほど視点の動きが速いことを示す。 A plot point P indicating a composite viewpoint in which the viewpoints of both the left and right eyes are combined is displayed on the display unit 101. After the viewpoint is detected and synthesized, the operation input unit provided in the diagnosis support device 100 is operated by the operator or the subject, and the plot point P is displayed on the display unit 101 by the operation. The viewpoint is detected at intervals of frame synchronization signals output from the left and right cameras (for example, every 50 [msec]). Therefore, it is shown that the larger the interval between the plot points P, the faster the movement of the viewpoint.

以上説明したように、本実施形態によれば、左右それぞれの眼球の瞳孔の大きさを示す瞳孔パラメータが抽出され、その瞳孔パラメータに基づいて左の眼球の視点の位置と右の眼球の視点の位置とが補正されて合成視点が算出されるので、合成視点の位置を精度良く算出することができる。 As described above, according to the present embodiment, the pupil parameters indicating the size of the pupils of the left and right eyeballs are extracted, and the position of the viewpoint of the left eyeball and the viewpoint of the right eyeball are based on the pupil parameters. Since the position is corrected and the composite viewpoint is calculated, the position of the composite viewpoint can be calculated with high accuracy.

また、一般に、瞳孔の面積が大きいほど、瞳孔が瞼で隠れている割合が少なくなり、瞳孔中心を正確に求めることができる。そのため、瞳孔パラメータとして瞳孔の面積を採用することにより、合成視点の位置を精度良く算出することができる。 In general, the larger the area of the pupil, the smaller the proportion of the pupil hidden by the eyelids, and the more accurately the center of the pupil can be obtained. Therefore, by adopting the pupil area as the pupil parameter, the position of the composite viewpoint can be calculated with high accuracy.

また、左右の眼球のうち瞳孔の面積が大きいほど、その眼球の視点の位置に付与する重みを大きくすることにより、合成視点の位置は精度良く算出される。 Further, as the area of the pupil of the left and right eyeballs is larger, the weight given to the position of the viewpoint of the eyeball is increased, so that the position of the composite viewpoint is calculated more accurately.

また、精度良く算出された合成視点が表示部１０１に表示されることにより、操作者又は被験者は、表示部１０１を見て視点の動きを正確に把握することができる。 Further, since the synthesized viewpoint calculated with high accuracy is displayed on the display unit 101, the operator or the subject can accurately grasp the movement of the viewpoint by looking at the display unit 101.

なお、瞳孔パラメータは、画像において取得される瞳孔の面積でなくてもよい。画像において取得される瞳孔の外形でもよいし、瞳孔の輪郭の円弧部分の長さでもよいし、画像における瞳孔の縦横比でもよい。瞳孔の輪郭の円弧部分が長いことは被験者の瞼が開いていることを意味し、瞳孔の輪郭の円弧部分が短いことは被験者の瞼が閉じていることを意味する。また、瞳孔の横の寸法と縦の寸法とが近似していることは被験者の瞼が開いていることを意味し、瞳孔の横の寸法が縦の寸法よりも大きいことは被験者の瞼が閉じていることを意味する。
（変形例）
瞳孔中心位置と角膜曲率中心位置との距離を算出するキャリブレーション処理は、図９及び図１０で説明した方法に限られるものではない。以下では、算出処理の他の例について図１６及び図１７を用いて説明する。 The pupil parameter does not have to be the area of the pupil acquired in the image. It may be the outer shape of the pupil acquired in the image, the length of the arc portion of the contour of the pupil, or the aspect ratio of the pupil in the image. A long arc of the contour of the pupil means that the subject's eyelids are open, and a short arc of the contour of the pupil means that the subject's eyelids are closed. Also, if the horizontal and vertical dimensions of the pupil are similar, it means that the subject's eyelids are open, and if the horizontal dimension of the pupil is larger than the vertical dimension, the subject's eyelids are closed. It means that it is.
(Modification example)
The calibration process for calculating the distance between the center position of the pupil and the center position of the curvature of the cornea is not limited to the method described with reference to FIGS. 9 and 10. In the following, another example of the calculation process will be described with reference to FIGS. 16 and 17.

図１６は、本変形例の算出処理を説明するための図である。図３から図６及び図９で説明した要素については同一の符号を付し説明を省略する。 FIG. 16 is a diagram for explaining the calculation process of this modified example. The elements described with reference to FIGS. 3 to 6 and 9 are designated by the same reference numerals and the description thereof will be omitted.

線分１１０１は、目標位置６０５と仮想光源位置とを結ぶ線分（第１線分）である。線分１１０２は、線分１１０１と平行で、瞳孔中心６１１と直線６１３とを結ぶ線分（第２線分）である。本変形例では、以下のように、線分１１０１、線分１１０２を用いて瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。 The line segment 1101 is a line segment (first line segment) connecting the target position 605 and the virtual light source position. The line segment 1102 is a line segment (second line segment) that is parallel to the line segment 1101 and connects the center of the pupil 611 and the straight line 613. In this modification, the distance 616 between the pupil center 611 and the corneal curvature center 615 is calculated and stored using the line segment 1101 and the line segment 1102 as follows.

図１７は、本変形例の算出処理の一例を示すフローチャートである。なお、図１７は、左右の眼球のうち一方の眼球についての処理を示す。 FIG. 17 is a flowchart showing an example of the calculation process of this modified example. Note that FIG. 17 shows processing for one of the left and right eyeballs.

ステップＳ６０１からステップＳ６０９は、図１０のステップＳ１０１ＬからステップＳ１０９Ｌと同様であるため説明を省略する。 Since steps S601 to S609 are the same as steps S101L to S109L in FIG. 10, the description thereof will be omitted.

曲率半径算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心と、仮想光源位置とを結ぶ線分（図１６では線分１１０１）を算出するとともに、算出した線分の長さ（Ｌ１１０１とする）を算出する（ステップＳ６１０）。 The radius of curvature calculation unit 353 calculates a line segment (line segment 1101 in FIG. 16) connecting the center of the target image displayed at one point on the screen of the display unit 101 and the position of the virtual light source, and the calculated line segment. The length of the line segment (L1101) is calculated (step S610).

曲率半径算出部３５３は、瞳孔中心６１１を通り、ステップＳ６１０で算出した線分と平行な線分（図１６では線分１１０２）を算出するとともに、算出した線分の長さ（Ｌ１１０２とする）を算出する（ステップＳ６１１）。 The radius of curvature calculation unit 353 passes through the center of the pupil 611, calculates a line segment parallel to the line segment calculated in step S610 (line segment 1102 in FIG. 16), and calculates the length of the line segment (L1102). Is calculated (step S611).

曲率半径算出部３５３は、角膜曲率中心６１５を頂点とし、ステップＳ６１０で算出した線分を底辺とする三角形と、角膜曲率中心６１５を頂点とし、ステップＳ６１１で算出した線分を底辺とする三角形とが相似関係にあることに基づき、瞳孔中心６１１と角膜曲率中心６１５との間の距離６１６を算出する（ステップＳ６１２）。例えば曲率半径算出部３５３は、線分１１０１の長さに対する線分１１０２の長さの比率と、目標位置６０５と角膜曲率中心６１５との間の距離に対する距離６１６の比率と、が等しくなるように、距離６１６を算出する。 The radius of curvature calculation unit 353 includes a triangle having the center of curvature of the corneum 615 as the apex and a line segment calculated in step S610 as the base, and a triangle having the center of curvature of the corneum 615 as the apex and the line segment calculated in step S611 as the base. The distance 616 between the center of the pupil 611 and the center of curvature of the corneum 615 is calculated based on the similarity between the two (step S612). For example, the radius of curvature calculation unit 353 makes the ratio of the length of the line segment 1102 to the length of the line segment 1101 equal to the ratio of the distance 616 to the distance between the target position 605 and the center of curvature of the corneum 615. , Calculate the distance 616.

距離６１６は、以下の（２）式により算出することができる。なおＬ６１４は、目標位置６０５から瞳孔中心６１１までの距離である。 The distance 616 can be calculated by the following equation (2). L614 is the distance from the target position 605 to the center of the pupil 611.

距離６１６＝（Ｌ６１４×Ｌ１１０２）／（Ｌ１１０１−Ｌ１１０２）・・・（２）
曲率半径算出部３５３は、算出した距離６１６を記憶部１５０などに記憶する（ステップＳ６１３）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。 Distance 616 = (L614 x L1102) / (L1101-L1102) ... (2)
The radius of curvature calculation unit 353 stores the calculated distance 616 in the storage unit 150 or the like (step S613). The stored distance is used to calculate the center of curvature of the cornea during subsequent viewpoint (line of sight) detection.

１１目、１２虹彩、１３瞳孔、２１目、２２虹彩、２３瞳孔、２４瞼、
１００診断支援装置、１０１表示部、１０２ａ右カメラ、１０２ｂ左カメラ、
１０３ａＬＥＤ光源、１０３ｂＬＥＤ光源、１１１眼球、１１２瞳孔、
１１３角膜反射、１５０記憶部、２０１表示画面、２０３ＬＥＤ光源、
２０５スピーカ、３００制御部、３０３仮想光源、３１３駆動・ＩＦ部、
３１４カメラＩＦ、３１５カメラＩＦ、３１６ＬＥＤ駆動制御部、
３２２スピーカ駆動部、３５１点灯制御部、３５２位置検出部、
３５３曲率半径算出部、３５４視線検出部、３５５視点検出部
３５６出力制御部、３５７抽出部、３５８判定部、４０７瞳孔中心、
４０８角膜反射中心、４０９角膜曲率半径、５０５角膜曲率中心、
５０９角膜曲率半径、５２３直線、６０５目標位置、６０９角膜曲率半径、
６１１瞳孔中心、６１２角膜反射中心、６１３直線、６１４直線、
６１５角膜曲率中心、６１６距離、６２１角膜反射点、６２２角膜反射点、
６２４角膜反射点、８０５注視点、８０６注視点、８１１瞳孔中心、
８１２角膜反射中心、８１３直線、８１４角膜曲率中心、８１５距離、
８１６角膜曲率中心、８１７視線、８１８視線

11th eye, 12 iris, 13 pupil, 21st eye, 22 iris, 23 pupil, 24 eyelids,
100 diagnostic support device, 101 display unit, 102a right camera, 102b left camera,
103a LED light source, 103b LED light source, 111 eyeballs, 112 pupils,
113 corneal reflex, 150 storage, 201 display screen, 203 LED light source,
205 speaker, 300 control unit, 303 virtual light source, 313 drive / IF unit,
314 camera IF, 315 camera IF, 316 LED drive control unit,
322 speaker drive unit, 351 lighting control unit, 352 position detection unit,
353 Curvature radius calculation unit, 354 line-of-sight detection unit, 355 viewpoint detection unit, 356 output control unit, 357 extraction unit, 358 judgment unit, 407 pupil center,
408 corneal reflex center, 409 corneal radius of curvature, 505 corneal curvature center,
509 Corneal radius of curvature, 523 straight line, 605 target position, 609 corneal radius of curvature,
611 Pupil center, 612 corneal reflex center, 613 straight line, 614 straight line,
615 Center of corneal curvature, 616 distance, 621 corneal reflex points, 622 corneal reflex points,
624 Corneal reflex point, 805 gaze point, 806 gaze point, 811 pupil center,
812 corneal reflex center, 813 straight line, 814 corneal curvature center, 815 distance,
816 corneal curvature center, 817 line of sight, 818 line of sight

Claims

A light source that irradiates the subject's eyeball with detection light,
From the image of the eye to the detection light is irradiated, a position detector for detecting the position of the corneal reflection center indicating the center position and the corneal reflection of the pupil center indicating the center of the pupil of the left and right eye,
A radius of curvature calculation unit that calculates at least one of the corneal curvature radius and the corneal curvature center position of the left and right eyes from the position of the light source and the position of the corneal reflex center .
A viewpoint detection unit that detects the viewpoints of the left and right eyeballs from the position of the center of the pupil and the radius of curvature of the cornea or the position of the center of curvature of the cornea.
An extraction unit that extracts pupil parameters indicating the size of the pupils of the left and right eyeballs from the image of the eyeballs, and an extraction unit.
A correction unit that corrects the viewpoint of the left eyeball and the viewpoint of the right eyeball based on the pupil parameters to calculate the composite viewpoint, and
A line-of-sight detection device.

The pupil parameter includes the area of the pupil of each of the left and right eyes acquired in the image of the eyeball.
The line-of-sight detection device according to claim 1.

Based on the extracted pupil parameters, the correction unit imparts a weight to the viewpoint of the eyeball having the larger pupil parameter among the pupils of the left and right eyeballs to the viewpoint of the eyeball having the smaller pupil parameter. Make it larger than the weight to be
The line-of-sight detection device according to claim 1 or 2.

Further comprising an output control unit for displaying the synthetic viewpoint issued calculated on the display unit,
The line-of-sight detection device according to any one of claims 1 to 3.

The process of irradiating the subject's eyeball with the detection light emitted from the light source,
From the image of the eyeball irradiated with the detection light, a process of detecting the position of the pupil center indicating the center of the pupil of each of the left and right eyeballs and the position of the corneal reflex center indicating the center of the corneal reflex,
A process of calculating at least one of the corneal curvature radius and the corneal curvature center position of the left and right eyeballs from the position of the light source and the position of the corneal reflex center.
A process of detecting the viewpoints of the left and right eyeballs from the position of the center of the pupil and the radius of curvature of the cornea or the position of the center of curvature of the cornea.
A process of extracting pupil parameters indicating the size of the pupils of the left and right eyeballs from the image of the eyeballs, and
A process of correcting the viewpoint of the right eyeball and the viewpoint of the left eyeball based on the pupil parameters to calculate a composite viewpoint, and
Line-of-sight detection method including.

On the computer
The step of irradiating the subject's eyeball with the detection light emitted from the light source,
From the image of the eyeball irradiated with the detection light, a step of detecting the position of the pupil center indicating the center of the pupil of each of the left and right eyeballs and the position of the corneal reflex center indicating the center of the corneal reflex,
A step of calculating at least one of the corneal curvature radius and the corneal curvature center position of the left and right eyeballs from the position of the light source and the position of the corneal reflex center.
A step of detecting the viewpoints of the left and right eyeballs from the position of the center of the pupil and the position of the radius of curvature of the cornea or the position of the center of curvature of the cornea.
A step of extracting pupil parameters indicating the size of the pupils of the left and right eyeballs from the image of the eyeballs, and
A step of correcting the viewpoint of the right eyeball and the viewpoint of the left eyeball based on the pupil parameters to calculate the composite viewpoint, and
A line-of-sight detection program that runs.