JP6217446B2 - 制御装置、診断支援装置、制御方法及び制御プログラム - Google Patents

Description

本発明は、診断を支援する技術に関する。

最近、発達障がい者が増加傾向にあると言われている。発達障がいは、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障がいの診断支援装置が求められている。

発達障がい早期発見のためには、例えば１歳半検診時に診断できることが理想的である。発達障がい児の特徴として、人物より幾何学模様を好んで見る傾向が挙げられる。カメラで人の顔を撮影して、角膜反射と瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障がいを診断支援する方法が提案されている。

特開２００５−１８５４３１号公報 特開２００８−１２５６１９号公報 特開２００５−１９８７４３号公報 特開２０１１−２０６５４２号公報

Karen Pierce、"Preference for Geometric Patterns Early in Life as a Risk Factor for Autism"、Arch Gen Psychiatry 2011;68（1）:101-109．

しかしながら、従来の注視点を検出する方法では、被験者へ提示する診断画像によっては適切に診断を支援できない場合があり、さらに高精度の検出方法が求められていた。

上記課題を解決するために、本発明のある態様の制御装置は、自然画像と模様画像とを組み合わせた診断画像を表示部に表示する制御装置において、第一の診断画像表示部に表示し、前記第一の診断画像を表示した後に、前記第一の診断画像に比べ自然画像の部分と模様画像とが類似している第二の診断画像を表示部に表示する出力制御部を備える。
本発明の別の態様は診断支援装置であり、前記出力制御部と、被験者を撮像する撮像部と、撮像部により撮像された撮像画像から、被験者の視線方向を検出する視線検出部と、視線方向に基づいて、表示部の表示領域における前記被験者の視点を検出する視点検出部とを備える。
本発明の別の態様は制御方法であり、自然画像と模様画像とを組み合わせた診断画像の表示を制御する制御方法において、第一の診断画像を表示した後に、前記第一の診断画像に比べ自然画像の部分と模様画像とが類似している第二の診断画像を表示部に表示するステップを有する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、診断の精度を向上できるという効果を奏する。

第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。 第１の実施形態の診断支援装置の機能の概要を示す図である。 図２に示す各部の詳細な機能の一例を示すブロック図である。 赤外線光源の発光タイミングと左右カメラの撮影タイミングとの関係の一例を示す図である。 二台のカメラを使用した場合の目及び距離の検出の一例を示す図である。 第１の実施形態における診断画像の一例を示す図である。 第１の実施形態における診断画像の一例を示す図である。 第１の実施形態における診断画像の一例を示す図である。 第１の実施形態における診断画像の一例を示す図である。 第１の実施形態における診断画像の一例を示す図である。 第１の実施形態における診断映像を表示する場合のタイムチャートの一例を示す図である。 第１の実施形態における定型発達の被験者の注視点位置の割合を示す図である。 第１の実施形態における発達障がいの被験者の注視点位置の割合を示す図である。 第１の実施形態における診断画像の一例である。 第１の実施形態における診断画像の一例である。 第１の実施形態における診断支援処理の一例を示すフローチャートである。 第１の実施形態における診断支援処理の一例を示すフローチャートである。 第１の実施形態における診断支援処理の一例を示すフローチャートである。 図１９は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図２０は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図２１は、診断支援装置の機能の概要を示す図である。 図２２は、図２１に示す各部の詳細な機能の一例を示すブロック図である。 図２３は、第２の実施形態の診断支援装置により実行される処理の概要を説明する図である。 図２４は、２つの光源を用いる方法と、１つの光源を用いる第２の実施形態との違いを示す説明図である。 図２５は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図２６は、第２の実施形態の算出処理の一例を示すフローチャートである。 図２７は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図２８は、第２の実施形態の視線検出処理の一例を示すフローチャートである。

以下、本発明の制御装置、診断支援装置、制御方法及び制御プログラムについて、添付図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図１に示すように、本実施形態では、表示画面１０１の下側に、１組のステレオカメラ１０２を配置する。ステレオカメラ１０２は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ２０２と左カメラ２０４とを備えている。

右カメラ２０２および左カメラ２０４の各レンズの直前には、円周方向に赤外ＬＥＤ（Light Emitting Diode）光源２０３および２０５がそれぞれ配置される。赤外ＬＥＤ光源２０３および２０５は、発光する波長が相互に異なる内周のＬＥＤと外周のＬＥＤとを含む。赤外ＬＥＤ光源２０３および２０５により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献２に記載された方法などを適用できる。

視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示画面１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図２は、診断支援装置１００の機能の概要を示す図である。図２では、図１に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０４と、赤外ＬＥＤ光源２０３および２０５と、スピーカ１０５と、駆動・ＩＦ（InterFace）部２０８と、制御部３００と、記憶部１５０と、表示部２１０と、を含む。図２において、表示画面１０１は、右カメラ２０２および左カメラ２０４との位置関係を分かりやすく示しているが、表示画面１０１は表示部２１０において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部２１０に表示する画像等を記憶する。表示部２１０は、診断のための対象画像等、各種情報を表示する。

図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。図３に示すように、制御部３００（制御装置）には、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０４が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。

図４は、赤外線光源の発光タイミングと左右カメラの撮影タイミングとの関係の一例を示す図である。右カメラ２０２からはフレーム同期信号ＦＳが出力される。フレーム同期信号ＦＳは、左カメラ２０４とＬＥＤ駆動制御部３１６とに入力される。これにより、第１フレームで、タイミングをずらして左右の波長１の赤外線光源（波長１−ＬＥＤ３０３、波長１−ＬＥＤ３０５）を発光させ、それに対応して左右カメラ（右カメラ２０２、左カメラ２０４）による画像を取り込み、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（波長２−ＬＥＤ３０４、波長２−ＬＥＤ３０６）を発光させ、それに対応して左右カメラによる画像を取り込んでいる。以降、フレーム同期信号ＦＳに従い、第１フレームおよび第２フレームの処理が繰り返される。

図３に戻り、赤外ＬＥＤ光源２０３は、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５は、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。

波長１−ＬＥＤ３０３、３０５は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６は、波長２の赤外線を照射する。

波長１および波長２は、それぞれ例えば９００ｎｍ未満の波長および９００ｎｍ以上の波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。なお、照射する赤外線の波長については、上記に限らず、波長１の赤外線を照射して瞳孔で反射された反射光を撮像した結果と、波長２の赤外線を照射して瞳孔で反射された反射光を撮像した結果とで、差が出せるものであればよい。

スピーカ駆動部３２２は、スピーカ１０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、視線検出部３５１と、視点検出部３５２と、出力制御部３５３と、評価部３５４と、を備えている。制御部３００はＰＣ（Personal Computer）等の制御装置であってもよい。

視線検出部３５１は、撮像部（ステレオカメラ１０２）により撮像された撮像画像から、被験者の視線（視線方向）を検出する。視線を検出する処理には、被験者の目の位置を検出する処理が含まれる。視点検出部３５２は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５２は、例えば、表示画面１０１に表示された対象画像のうち、被験者が注視する点である視点（注視点）を検出する。視線検出部３５１による視線検出方法、および、視点検出部３５２による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献３と同様に、ステレオカメラを用いて被験者の視線方向および注視点を検出する場合を例に説明する。

この場合、まず視線検出部３５１は、ステレオカメラ１０２で撮影された画像から、被験者の視線方向を検出する。視線検出部３５１は、例えば、特許文献１および２に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、視線検出部３５１は、波長１の赤外線を照射して撮影した画像と、波長２の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。視線検出部３５１は、左右のカメラ（右カメラ２０２、左カメラ２０４）で撮影された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置（目の位置）を算出する。また、視線検出部３５１は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、視線検出部３５１は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。

なお、被験者の目の位置および視線の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の目の位置および視線を検出してもよい。

視点検出部３５２は、例えば図１のような座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって注視点を計測してもよい。

図５は、２台のカメラ（右カメラ２０２、左カメラ２０４）を使用した場合の目および距離の検出の一例を示す図である。２台のカメラは、事前にステレオ較正法によるカメラキャリブレーション理論を適用し、カメラパラメータを求めておく。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。右カメラ２０２で撮影された画像から検出した目の位置と、左カメラ２０４で撮影された画像から検出した目の位置と、カメラパラメータとを用いて、世界座標系における目の３次元座標が得られる。これにより、目とステレオカメラ１０２間の距離、および、瞳孔座標を推定することができる。瞳孔座標とは、ＸＹ平面上での被験者の目（瞳孔）の位置を表す座標値である。瞳孔座標は、例えば、世界座標系で表される目の位置をＸＹ平面に投影した座標値とすることができる。通常は、左右両目の瞳孔座標が求められる。表示画面１０１には、診断画像４０１が表示される。後述するように、診断画像４０１は、表示画面１０１の表示領域内に表示する自然画と、表示領域に含まれる部分領域に表示する、自然画と類似する模様を含む模様画像と、を含む。

模様画像は、例えば１以上の幾何学模様を含む画像（幾何学画像）である。自然画は、幾何学画像以外の、自然物または自然物を連想させるような画像であればよい。例えば、人物、動物、植物、および自然の景観などをカメラで撮像した画像（静止画、動画）を自然画として用いてもよい。また、人物および動物などを模したキャラクタの画像（静止画、動画）を自然画として用いてもよい。

図３に戻り、出力制御部３５３は、表示部２１０およびスピーカ１０５などに対する各種情報の出力を制御する。例えば、出力制御部３５３は、診断画像４０１、および、評価部３５４による評価結果などの表示部２１０に対する出力を制御する。出力制御部３５３は、複数の診断画像を表示する。例えば、出力制御部３５３は、第１診断画像を表示部２１０に表示させた後、第１診断画像とは模様画像の位置や輝度、色相、彩度等が異なる第２診断画像を表示部２１０に表示させてもよい。この場合、視点検出部３５２は、第１診断画像および第２診断画像が表示されたときの被験者の視点をそれぞれ検出する。複数の診断画像を用いることにより、より高精度な視点の検出、および、診断支援が可能となる。

評価部３５４は、診断画像と、視点検出部３５２により検出された注視点とに基づいて、発達障がいの程度に関する指標として評価値を算出する。評価部３５４は、例えば、後述する図６から図１０などの診断画像を表示した際の被験者の注視点の位置に基づいて、模様画像を見ている時間に対する自然画を見ている時間の割合を評価値として算出し、評価値が低いほど、発達障がいの可能性が高いことを示すような評価値を算出する。評価部３５４は、診断画像と注視点とに基づいて、評価値を算出すればよく、その算出方法は、実施の形態に限定されるものではない。

図６〜図１０は、第１の実施形態における診断画像４０１（４０１ａ〜４０１ｅ）の一例を示す説明図である。なお、以下では診断画像として動画を用いる例を説明する。診断画像は動画に限られるものではなく、例えば複数の静止画を診断画像として用いてもよい。本実施形態では、表示領域の大部分を人物の映像（人物映像）が占める映像を診断画像として用いている。このような映像は、定型発達の被験者が好んで見る傾向が強い。この映像の一部の領域Ｆ（部分領域）に、幾何学的な模様の映像（幾何学模様映像）を表示させる。幾何学的な模様は、発達障がいの被験者が好んで見る傾向が強い。実験の結果、発達障がいの被験者は、ジュリア集合やマンデルブロート集合などによるフラクタル映像などを特に好んで見ることを確認している。発達障がいの被験者は幾何学模様画像を好んで見る傾向が強いが、人物画像と幾何学画像とが類似している場合幾何学模様画像に気づかない場合もある。そこで、本実施形態では診断開始期間において、幾何学模様画像を診断画像内で目立たせる構成とし、発達障がいの被験者が幾何学模様画像に気づくようにしている。なお、自然画像（人物画像を含む）部分と幾何学模様画像とが類似するとは、一例として後述する色、輝度、彩度等が類似することが挙げられる。

ここで重要なことは、領域Ｆの映像が周囲の人物映像に対して、診断を開始した直後の期間（以下、診断期間Ａと呼ぶこともある）において、大きく目立つことにある。定常発達の被験者は、周囲の人物映像を好んで見る傾向が強いため、幾何学模様画像にはじめに注意を引いても診断を開始してからある程度時間が経過した診断期間（診断期間Ａが終了した後の期間、以下、診断期間Ｂと呼ぶこともある）においては周囲の人物映像を見る傾向がある。この診断期間Ｂにおいて、診断を開始した直後の期間と比較して、幾何学模様画像を目立たなくすることにより定常発達の被験者はより周囲の人物映像を見る傾向となる。一方で発達障がいの被験者は幾何学模様画像を好む傾向が強いため、幾何学模様画像が存在することを知らせるために診断を開始した直後の期間で目立たせるようにする。いったん幾何学模様の存在に気づくことにより、診断期間Ｂにおいて自然画像と幾何学模様画像との類似度合いを高くすることで、幾何学模様画像が周囲の人物映像と比べ目立たなくした場合においても、発達障がいの被験者は継続して幾何学模様画像を見る傾向が強い。したがって、診断期間Ｂにおいて、定常発達の被験者と発達障がいの被験者との幾何学模様画像を見る割合の差が大きくなる。

図６から図１０は、図１１のタイムチャートにおける連続的に変化する診断画像を取り出したものである。図６は表示開始時（０秒）、図７は２秒後、図８は３秒後、図９は６秒後、図１０は８秒後の映像である。なお、これらの時間は一例である。図１１のタイムチャートでは、映像全体は８秒であり、診断開始直後の３秒（診断期間Ａ、図６、図７、図８）は診断画像における自然画像と幾何学模様画像との差が大きい（類似度合いが低い）期間であり、後半の３秒から８秒（診断期間Ｂ、図８、図９、図１０）は診断画像における自然画像と幾何学模様画像との差が小さい（類似度合いが高い）期間である。診断画像における自然画像と幾何学模様画像との差が大きい（類似度合いが低い）とは、例えば自然画像と幾何学模様画像との間の色、輝度、彩度の差が大きい場合等がある。自然画像と幾何学模様画像の差については、自然画像の一部分と幾何学模様画像とを比較してもよい。また診断期間Ａに含まれる複数の幾何学模様画像の変化量を診断期間Ｂに含まれる複数の幾何学模様画像の変化量と比べ、大きくするようにしてもよい。この一例として幾何学模様画像を直前の幾何学模様画像と比べ、時間経過とともに、色、輝度、彩度を大きく変化させることや、幾何学模様画像が動画で提供される場合は、その映像の変化量（例えば回転等）を大きくするようにしてもよい。前述したように診断を開始した直後の表示期間（診断期間Ａ）においては、被験者に幾何学模様画像に気づいてもらえるように自然画像と幾何学模様画像との色、輝度、彩度の差を大きくすることや幾何学模様画像の変化量を大きくすることで幾何学模様画像を目立たせる。一方、診断期間Ａの後の期間である診断期間Ｂでは、自然画像と幾何学模様との色、輝度、彩度の差を診断期間Ａと比べ小さくする（類似度合いを高くする）ことや診断期間Ａと比べ変化量を小さくし、診断画像内の幾何学模様画像をあまり目立たないようにしている。診断期間Ｂにおいて、自然画像と幾何学模様画像との差は以下の範囲内に収まることが好ましい。マンセル表色系において、色相であれば、マンセル色相環２０色の場合、当該色の隣接それぞれ３色以内である。例えば、赤の類似の範囲は、赤みの紫・赤紫・紫みの赤・黄みの赤・黄赤・赤みの黄である。マンセル表色系において、輝度（明度）であれば、明度差３以内、彩度であれば彩度差が６以内である。
なお、図１１のタイムチャートでは、診断画像の変化量について３秒を境に大きく変更しているが、時間が経過するにつれ、徐々に変化させるようにしてもよい。

図１２は、定型発達の被験者に本装置で診断画像を視聴した時の注視点位置の割合の一例を示す図である。図１２の上段は診断期間Ａにおける、診断開始から３秒経過するまでの被験者の注視点位置の割合を示している。図１２の下段は診断期間Ｂにおける、３秒経過後から８秒経過後までの被験者の注視点位置の割合を示すものである。定型発達の被験者は、診断期間Ａでは人物（自然画）を注視する割合（Ｎ１）より幾何学模様を注視する割合（Ｇ１）が大きく、診断期間Ｂでは人物（自然画）を注視する割合（Ｎ２）が、幾何学模様を見る割合（Ｇ２）より大きくなっている。

図１３は、発達障がいの被験者に本装置で診断画像を視聴した時の注視点位置の割合を示す一例である。図１３の上段は診断期間Ａにおける、診断開始から３秒経過するまでの被験者の注視点位置の割合を示すものである。図１３の下段は診断期間Ｂにおける３秒経過後から８秒経過後までの被験者の注視点位置の割合を示すものである。診断期間Ａでは発達障がいの被験者は、幾何学模様を注視する割合（Ｇ３）が大きく、診断期間Ｂではさらに幾何学模様画像を注視する割合（Ｇ４）が大きくなっている。また発達障がいの被験者の診断期間Ａにおける人物（自然画）を注視する割合（Ｎ３）及び診断期間Ｂにおける人物（自然画）を注視する割合（Ｎ４）はいずれも小さくなっている。

定型発達の被験者と発達障がいの被験者とを比較すると、診断期間Ｂの幾何学模様を注視する割合の差（図１２のＧ２と図１３のＧ４との差）が大きくなっている。したがって、診断期間Ｂの幾何学模様を注視する割合を調べることにより、定型発達の被験者と発達障がいの被験者の判別の一つの指針となる。

図１４は、表示部２１０に表示される画像の座標についての説明図である。説明のため、表示部２１０上の座標は左上が原点となっており、上下をＹ座標（下が＋）、横をＸ座標（向かって右が＋）としている。説明の都合上、前述の注視点検出用の世界座標（空間座標）とは異なる。

図１４の例では、表示部２１０の画素数は、Ｘｍａｘ×Ｙｍａｘである。領域Ｆの左辺のＸ座標をＸ１、右辺のＸ座標をＸ２、上辺のＹ座標をＹ１、下辺のＹ座標をＹ２とする。このような映像および座標を用いた診断処理の詳細はフローチャート図１６〜図１８（後述）を用いて説明する。

図１５は、これまでの説明で用いた映像（図６〜図１１、図１４）と異なる映像（診断映像）の一例を示す図である。図１５の診断映像では映像の内容や幾何学模様の画像領域が、図６〜図１０、図１４の画像と異なっている。なお、図１５と図６〜図１０、図１４とは、少なくとも幾何学模様画像の領域の位置が異なっていればよい。

図１５において、領域Ｆの左辺のＸ座標をＸ３、右辺のＸ座標をＸ４、上辺のＹ座標をＹ３、下辺のＹ座標をＹ４とする。このような映像および座標を用いた診断処理の詳細はフローチャート図１６〜図１８（後述）を用いて説明する。

なお、図１４および図１５では、各診断画像の領域Ｆの位置が、異なっている。具体的には、表示画面１０１の表示領域の中心を対称点として点対称となっている。このように表示することにより、いずれの方向から画面を見るか、などの被験者の視聴の傾向を診断することが可能となるともに、この視聴者の傾向を除外して診断を行うことが可能となる。

次に、このように構成された第１の実施形態にかかる診断支援装置１００による診断支援処理について図１６〜図１８を用いて説明する。図１６〜図１８は、本実施形態における診断支援処理の一例を示すフローチャートである。

最初に図１６を用いて、１つの映像により診断支援する場合のフローチャートを説明する。１つの映像は、例えば図１１のタイムチャートで表示される連続的に変化する診断画像である。例えば図６から図１０で示すような複数の診断画像により構成される。図６は表示開始時、図７は２秒後、図８は３秒後、図９は６秒後、図１０は８秒後の映像である。ここで図６、図７は診断を開始した直後の期間（診断期間Ａ）で表示される映像（第一の診断画像）であり、図９、図１０は診断を開始した後所定の期間経過した期間（診断期間Ｂ）で表示される映像（第二の診断画像）である。診断期間Ｂで表示される診断画像（第二の診断画像）は、診断期間Ａで表示される診断画像（第一の診断画像）と比較して自然画像の部分と幾何学模様画像が類似しているという特徴がある。以下では、自然画（人物映像を含む）と幾何学模様映像とは、予め合成されているものとする。

まず、制御部３００は、映像の再生を開始する（ステップＳ１００１）。次に、制御部３００は、映像の再生時間より僅かに短い時間を計測するタイマをリセットする（ステップＳ１００２）。次に、制御部３００は、領域Ｆ内を注視した時にカウントアップするカウンタ１と、領域Ｆ外を注視した時にカウントアップするカウンタ２をリセットする（ステップＳ１００３）。次に所定時間（３秒）が経過したかを確認する（ステップＳ１００４）。所定時間が経過すると次のステップへ移行する。映像の再生の開始から所定時間が経過するまでの期間は前述の診断期間Ａに対応する。

なお、以下に説明する注視点測定は、例えば、同期して撮像するステレオカメラ１０２の１フレームごとに行う。すなわち所定の時間間隔ごとに注視点を測定する。従って、カウンタ１およびカウンタ２のカウント値は、それぞれ領域Ｆ内および領域Ｆ外の注視時間に対応する。

次に、視線検出部３５１および視点検出部３５２は、注視点検出を行う（ステップＳ１００５）。次に、制御部３００は、注視点検出が失敗したか否かを判断する（ステップＳ１００６）。例えば、瞬きなどにより瞳孔および角膜反射の画像が得られない場合に、注視点検出が失敗する。また、注視点が表示部２１０の画面内に存在しない場合（表示部２１０の画面以外を見ていた場合）も、視点検出が失敗する。

注視点検出に失敗した場合（ステップＳ１００６：Ｙｅｓ）、カウンタ１、カウンタ２に影響させないため、ステップＳ１００７〜ステップＳ１０１２までの処理をスキップして、ステップＳ１０１３に移動する。

注視点検出が成功した場合（ステップＳ１００６：Ｎｏ）、制御部３００は、表示部２１０上の注視点のＸ座標「ｘ」がＸ１より大きいかを調べる（ステップＳ１００７）。大きい場合（ステップＳ１００７：Ｙｅｓ）、制御部３００は、「ｘ」がＸ２より小さいかを調べる（ステップＳ１００８）。小さい場合（ステップＳ１００８：Ｙｅｓ）、制御部３００は、表示部２１０上の注視点のＹ座標「ｙ」がＹ１より大きいかを調べる（ステップＳ１００９）。大きい場合（ステップＳ１００９：Ｙｅｓ）、制御部３００は、「ｙ」がＹ２より小さいかを調べる（ステップＳ１０１０）。「ｙ」がＹ２より小さい場合（ステップＳ１０１０：Ｙｅｓ）、注視点が領域Ｆ内に存在することになる。従って、制御部３００は、カウンタ１をカウントアップする（ステップＳ１０１２）。「ｙ」がＹ２より小さくない場合（ステップＳ１０１０：Ｎｏ）、被験者は領域Ｆ外の人物映像等を見ていたことになる。従って、制御部３００は、カウンタ２をカウントアップする（ステップＳ１０１１）。同様に、「ｘ」がＸ１より大きくない場合（ステップＳ１００７：Ｎｏ）、「ｘ」がＸ２より小さくない場合（ステップＳ１００８：Ｎｏ）、および、「ｙ」がＹ１より大きくない場合（ステップＳ１００９：Ｎｏ）、制御部３００は、カウンタ２をカウントアップする（ステップＳ１０１１）。

次に、映像の終了を確認するため、制御部３００は、タイマの完了を調べる（ステップＳ１０１２）。例えば、制御部３００は、タイマの値が映像の終了時間に対応する所定値に達した場合に、タイマが完了したと判定する。タイマが完了していない場合（ステップＳ１０１３：Ｎｏ）、ステップＳ１００５に戻り処理を繰り返す。

タイマが完了した場合（ステップＳ１０１３：Ｙｅｓ）、制御部３００は、映像の再生を停止させる（ステップＳ１０１４）。ステップＳ１００４により所定時間が経過した後、ステップＳ１０１３でタイマが完了するまでの期間は、診断期間Ｂに対応する。次に、制御部３００は、カウンタ１のデータ（値）を出力する（ステップＳ１０１５）。カウンタ１のデータは、領域Ｆ内の注視時間に対応する。次に、制御部３００は、カウンタ２のデータ（値）を出力する（ステップＳ１０１６）。カウンタ２のデータは、領域Ｆ外の注視時間に対応する。次に評価部３５４は、カウンタ１とカウンタ２の割合を計算する（ステップＳ１０１７）。評価部３５４は、算出した評価値を出力する（ステップＳ１０１８）。例えば、評価部３５４は、カウンタ２の値に対するカウンタ１の値の割合を表す評価値を算出する。このような評価値は、発達障がいの可能性の指針になる。なお、評価値の算出方法はこれに限られるものではない。自然画および模様画像のいずれを注視しているかを判定可能な値であればどのような評価値を用いてもよい。領域Ｆを注視した割合が高いほど、被験者が発達障がいである可能性が高くなる。

図１７および図１８は、２つの映像により診断支援する場合のフローチャートを示す。図１７および図１８で表示される２つの映像は、例えばそれぞれ図１１のタイムチャートで表示される診断映像である。２つの映像のうち１番目の映像を映像１とする。ここで映像１は図１１のタイムチャートで表示される連続的に変化する診断画像である。図１１のタイムチャートにおいて、図６は表示開始時、図７は２秒後、図８は３秒後、図９は６秒後、図１０は８秒後の映像である。ここで図６、図７は診断を開始した直後の期間（診断期間Ａ）で表示される映像（第一の診断画像）であり、図９、図１０は診断を開始した後所定の期間経過した期間（診断期間Ｂ）で表示される映像（第二の診断画像）である。診断期間Ｂで表示される診断画像（第二の診断画像）は、診断期間Ａで表示される診断画像（第一の診断画像）と比較して自然画像の部分と幾何学模様画像が類似しているという特徴がある。
次に２つの映像のうち２番目の映像を映像２とする。ここで映像２は図１１のタイムチャートで表示される連続的に変化する診断画像である。映像２は図１４及び図１５で示されるように、少なくとも幾何学模様の領域の位置が異なっている。例えば表示開始時は図６に対して幾何学模様の領域の位置を異ならせた診断画像、２秒後は図７に対して幾何学模様の領域の位置を異ならせた診断画像、３秒後は図８に対して幾何学模様の領域の位置を異ならせた診断画像、６秒後は図９に対して幾何学模様の領域の位置を異ならせた診断画像、９秒後は図１０に対して幾何学模様の領域の位置を異ならせた診断画像である。一例として、これら診断画像はそれぞれ、幾何学模様画像の領域の位置以外は図６から図１０とそれぞれ同様である。診断期間Ａに対応する期間に提供される診断画像は第三の診断画像、診断期間Ｂに対応する期間に提供される診断画像は第四の診断画像である。診断期間Ｂで表示される診断画像（第四の診断画像）は、診断期間Ａで表示される診断画像（第三の診断画像）と比較して自然画像の部分と幾何学模様画像が類似しているという特徴がある。図１６と同様に自然画（人物映像を含む）と幾何学模様映像とは予め合成されているものとする。映像１（第一の診断画像、第二の診断画像）と映像２(第三の診断画像、第四の診断画像)は連結され、１つの連続した映像であってもよい。映像１と映像２とは、それぞれ診断期間Ａと診断期間Ｂとに対応する所定の時間で構成されている。

図１７は、２つの映像のうち１番目の映像（映像１）を表示するときの処理に相当する。ステップＳ１１０１〜ステップＳ１１１３までは、図１６のステップＳ１００１〜ステップＳ１０１３までと同様である。図１７では、まだ映像再生を停止させないため、図１６のステップＳ１０１４に相当する処理は削除される。ステップＳ１１１４〜ステップＳ１１１７までは、図１４のステップＳ１０１５〜ステップＳ１０１８までと同様である。 なお、この例ではカウンタ１およびカウンタ２の役割は図１６とは異なる。

図１７および図１８では、カウンタ１およびカウンタ２は、２つの映像である映像１（第１診断映像）および映像２（第２診断映像）が再生される時間を通して計数されるカウンタである。すなわち２つの映像全体としての計数を行う。ただし、映像１の終了時に、映像１としての計数結果とその割合が出力される（ステップＳ１１１４〜Ｓ１１１７）。 その後、映像２でも継続して計数を行い、合計値が出力される（ステップＳ１１３３〜Ｓ１１３６）。

図１８について説明する。図１８は、２つの映像のうち２番目の映像（映像２）を表示するときの処理に相当する。ステップＳ１１１８の直前に、映像２の再生が開始している。

制御部３００は、映像２の再生時間より僅かに短い時間を計測するタイマをリセットする（ステップＳ１１１８）。次に、制御部３００は、映像２において領域Ｆ内を注視した時にカウントアップするカウンタ３と、領域Ｆ外を注視した時にカウントアップするカウンタ４をリセットする（ステップＳ１１１９）。次に所定時間（３秒）が経過したかを確認する（ステップＳ１１２０）。所定時間が経過すると次のステップへ移行する。

次に、視線検出部３５１および視点検出部３５２は、注視点検出を行う（ステップＳ１１２１）。次に、制御部３００は、注視点検出が失敗したか否かを判断する（ステップＳ１１２２）。

注視点検出に失敗した場合（ステップＳ１１２２：Ｙｅｓ）、カウンタ３、カウンタ４に影響させないため、ステップＳ１１２３〜ステップＳ１１３０までの処理をスキップして、ステップＳ１１３１に移動する。

注視点検出が成功した場合（ステップＳ１１２２：Ｎｏ）、制御部３００は、表示部２１０上の注視点のＸ座標「ｘ」がＸ３より大きいかを調べる（ステップＳ１１２３）。大きい場合（ステップＳ１１２３：Ｙｅｓ）、制御部３００は、「ｘ」がＸ４より小さいかを調べる（ステップＳ１１２４）。小さい場合（ステップＳ１１２４：Ｙｅｓ）、制御部３００は、表示部２１０上の注視点のＹ座標「ｙ」がＹ３より大きいかを調べる（ステップＳ１１２５）。大きい場合（ステップＳ１１２５：Ｙｅｓ）、制御部３００は、「ｙ」がＹ４より小さいかを調べる（ステップＳ１１２６）。「ｙ」がＹ４より小さい場合（ステップＳ１１２６：Ｙｅｓ）、注視点が領域Ｆ内に存在することになる。従って、制御部３００は、カウンタ１をカウントアップするとともに（ステップＳ１１２９）、カウンタ３をカウントアップする（ステップＳ１１３０）。「ｙ」がＹ４より小さくない場合（ステップＳ１１２６：Ｎｏ）、被験者は領域Ｆ外の人物映像等を見ていたことになる。従って、制御部３００は、カウンタ２をカウントアップするとともに（ステップＳ１１２７）、カウンタ４をカウントアップする（ステップＳ１１２８）。

次に、映像の終了を確認するため、制御部３００は、タイマの完了を調べる（ステップＳ１１３１）。タイマが完了していない場合（ステップＳ１１３１：Ｎｏ）、ステップＳ１１２１に戻り処理を繰り返す。

タイマが完了した場合（ステップＳ１１３１：Ｙｅｓ）、制御部３００は、映像の再生を停止させる（ステップＳ１１３２）。次に、制御部３００は、カウンタ１のデータを出力する（ステップＳ１１３３）。カウンタ１のデータは、映像１と映像２とを再生した場合の領域Ｆ内の注視時間に対応する。次に、制御部３００は、カウンタ２のデータを出力する（ステップＳ１１３４）。カウンタ２のデータは、映像１と映像２とを再生した場合の領域Ｆ外の注視時間に対応する。次に、評価部３５４は、カウンタ１とカウンタ２の割合を表す評価値を計算する（ステップＳ１１３５）。評価部３５４は、この評価値を出力する（ステップＳ１１３６）。

また、評価部３５４は、カウンタ３のデータを出力する（ステップＳ１１３７）。カウンタ３のデータは、映像２における領域Ｆ内の注視時間に対応する。次に、評価部３５４は、カウンタ４のデータを出力する（ステップＳ１１３８）。カウンタ４のデータは、映像２における領域Ｆ外の注視時間に対応する。次に、評価部３５４は、カウンタ３とカウンタ４の割合を表す評価値を計算する（ステップＳ１１３９）。評価部３５４は、この評価値を出力する（ステップＳ１１４０）。

映像１としての計数結果とその割合（ステップＳ１１１４〜Ｓ１１１７）と、映像２と
しての計数結果とその割合（ステップＳ１１３７〜Ｓ１１４０）を比較することにより、被験者の傾向を知ることができる。例えば、画面の右側から見る傾向がある場合は、映像１では領域Ｆ内のカウント値が上がり、映像２では領域Ｆ内のカウント値が下がる傾向がある。両方バランスしている場合には中央部分から見始めて自分の嗜好にあわせて注視していると考えられる。

第１の実施形態において、映像１と映像２を用いた評価について、被験者の画面を注視する傾向について用いることを説明した。領域Ｆを注視した割合を示す評価値については、映像１と映像２を利用して、より大きな値または小さな値を採用し、最終的な評価値としてもよい。また、２つの評価値を平均して最終的な評価値を求めるようにしてもよい。

以上のように、第１の実施形態によれば、例えば以下のような効果が得られる。
（１）人物映像中に、幾何学的な模様の領域を配置し、その部分が領域外の映像部分と輝度、色相、および、彩度などの表示態様が近い部分と組み合わせて構成し、徐々に形状が変化するようにした。これにより、定型の被験者は当該領域に気が付きにくくなる一方、発達障がいの被験者は当該領域を的確に見つけることができる。従って、従来より、注視点の差が大きくなり、検出精度が向上する。
（２）画面の中心を中心とした幾何学模様領域を点対称に変更しながら、複数回測定する。これにより、特定の方向を見る傾向のある被験者に対して、その傾向を相殺できる。

（第２の実施形態）
第２の実施形態では、第１の実施形態よりも一層、装置構成を簡略化できる視線検出装置および視線検出方法を実現する。

以下に、第２の実施形態の視線検出装置および視線検出方法を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に視線検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。

本実施形態の視線検出装置（診断支援装置）は、１ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の視線検出装置（診断支援装置）は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

図１９および２０は、第２の実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。なお、第１の実施形態と同様の構成については同一の符号を付し、説明を省略する場合がある。

図１９に示すように、第２の実施形態の診断支援装置は、表示部２１０と、ステレオカメラ２１０２と、ＬＥＤ光源２１０３と、を含む。ステレオカメラ２１０２は、表示部２１０の下に配置される。ＬＥＤ光源２１０３は、ステレオカメラ２１０２に含まれる２つのカメラの中心位置に配置される。ＬＥＤ光源２１０３は、例えば波長８５０ｎｍの近赤外線を照射する光源である。図１９では、９個のＬＥＤによりＬＥＤ光源２１０３（照明部）を構成する例が示されている。なお、ステレオカメラ２１０２は、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。

図２０に示すように、ステレオカメラ２１０２は、右カメラ２２０２と左カメラ２２０３とを備えている。ＬＥＤ光源２１０３は、被験者の眼球１１１に向かって近赤外光を照射する。ステレオカメラ２１０２で取得される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ２２０２、左カメラ２２０３）それぞれで取得することができる。

さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示画面１０１の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図２１は、第２の実施形態の診断支援装置２１００の機能の概要を示す図である。図２１では、図１９および２０に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２１に示すように、診断支援装置２１００は、右カメラ２２０２と、左カメラ２２０３と、ＬＥＤ光源２１０３と、スピーカ１０５と、駆動・ＩＦ（interface）部２０８と、制御部２３００と、記憶部１５０と、表示部２１０と、を含む。図２１において、表示画面１０１は、右カメラ２２０２および左カメラ２２０３との位置関係を分かりやすく示しているが、表示画面１０１は表示部２１０において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

駆動・ＩＦ部２０８は、ステレオカメラ２１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ２１０２に含まれる各部と、制御部２３００とのインタフェースとなる。

制御部２３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆと、各部を接続するバスを備えているコンピュータなどにより実現できる。

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部２１０に表示する画像等を記憶する。表示部２１０は、診断のための対象画像等、各種情報を表示する。

図２２は、図２１に示す各部の詳細な機能の一例を示すブロック図である。図２２に示すように、制御部２３００には、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２２０２、左カメラ２２０３が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。

スピーカ駆動部３２２は、スピーカ１０５を駆動する。なお、診断支援装置２１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置２１００の内部に備えるように構成してもよい。

制御部２３００は、診断支援装置２１００全体を制御する。制御部２３００は、第１算出部２３５１と、第２算出部２３５２と、第３算出部２３５３と、視線検出部２３５４と、視点検出部２３５５と、出力制御部２３５６と、評価部２３５７と、を備えている。なお、視線検出装置としては、少なくとも第１算出部２３５１、第２算出部２３５２、第３算出部２３５３、および、視線検出部２３５４が備えられていればよい。

制御部２３００に含まれる各要素（第１算出部２３５１、第２算出部２３５２、第３算出部２３５３、視線検出部２３５４、視点検出部２３５５、出力制御部２３５６、および、評価部２３５７）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１算出部２３５１は、ステレオカメラ２１０２により撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置（第１位置）を算出する。第２算出部２３５２は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置（第２位置）を算出する。

第３算出部２３５３は、ＬＥＤ光源２１０３と角膜反射中心とを結ぶ直線と、から角膜曲率中心（第３位置）を算出する。例えば、第３算出部２３５３は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、第３算出部２３５３が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、第３算出部２３５３は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心とＬＥＤ光源２１０３とを結ぶ直線と、の交点（第４位置）を算出する。そして第３算出部２３５３は、瞳孔中心と算出した交点との距離（第１距離）を算出し、例えば記憶部１５０に記憶する。

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面１０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部２３５６が、表示画面１０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

なお、目標位置は表示画面１０１の中央に限られるものではなく、任意の位置でよい。表示画面１０１の中央を目標位置とすれば、表示画面１０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、第３算出部２３５３は、ＬＥＤ光源２１０３と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。

視線検出部２３５４は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部２３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

視点検出部２３５５は、検出された視線方向を用いて被験者の視点を検出する。視点検出部２３５５は、例えば、表示画面１０１で被験者が注視する点である視点（注視点）を検出する。視点検出部２３５５は、例えば図２０のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。

出力制御部２３５６は、表示部２１０およびスピーカ１０５などに対する各種情報の出力を制御する。例えば、出力制御部２３５６は、表示部２１０上の目標位置に目標画像を出力させる。また、出力制御部２３５６は、診断画像、および、評価部２３５７による評価結果などの表示部２１０に対する出力を制御する。

診断画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含む診断画像を用いてもよい。

評価部２３５７は、診断画像と、視点検出部２３５５により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部２３５７は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。

出力制御部２３５６が第１の実施形態と同様の診断画像を表示し、評価部２３５７が第１の実施形態の評価部３５４と同様の評価処理を行ってもよい。言い換えると、第１の実施形態の視線検出処理（視線検出部３５１）を、第２の実施形態の視線検出処理（第１算出部２３５１、第２算出部２３５２、第３算出部２３５３、視線検出部２３５４）で置き換えてもよい。これにより、第１の実施形態の効果に加えて、第２の実施形態の効果（装置構成の簡略化など）を達成可能となる。

図２３は、本実施形態の診断支援装置２１００により実行される処理の概要を説明する図である。図１９〜図２２で説明した要素については同一の符号を付し説明を省略する。

瞳孔中心４０７および角膜反射中心４０８は、それぞれ、ＬＥＤ光源２１０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。

図２４は、２つの光源（照明部）を用いる方法（以下、方法Ａとする）と、１つの光源（照明部）を用いる本実施形態との違いを示す説明図である。図１９〜図２２で説明した要素については同一の符号を付し説明を省略する。

方法Ａは、ＬＥＤ光源２１０３の代わりに、２つのＬＥＤ光源５１１、５１２を用いる。方法Ａでは、ＬＥＤ光源５１１を照射したときの角膜反射中心５１３とＬＥＤ光源５１１とを結ぶ直線５１５と、ＬＥＤ光源５１２を照射したときの角膜反射中心５１４とＬＥＤ光源５１２とを結ぶ直線５１６との交点が算出される。この交点が角膜曲率中心５０５となる。

これに対し、本実施形態では、ＬＥＤ光源２１０３を照射したときの、角膜反射中心５２２とＬＥＤ光源２１０３とを結ぶ直線５２３を考える。直線５２３は、角膜曲率中心５０５を通る。また角膜の曲率半径は個人差による影響が少なくほぼ一定の値になることが知られている。このことから、ＬＥＤ光源２１０３を照射したときの角膜曲率中心は、直線５２３上に存在し、一般的な曲率半径値を用いることにより算出することが可能である。

しかし、一般的な曲率半径値を用いて求めた角膜曲率中心の位置を使用して視点を算出すると、眼球の個人差により視点位置が本来の位置からずれて、正確な視点位置検出ができない場合がある。

図２５は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図１９〜図２２で説明した要素については同一の符号を付し説明を省略する。

目標位置６０５は、表示部２１０上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示画面１０１の中央位置としている。直線６１３は、ＬＥＤ光源２１０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。第３算出部２３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図２６は、本実施形態の算出処理の一例を示すフローチャートである。

まず出力制御部２３５６は、表示画面１０１上の１点に目標画像を再生し（ステップＳ１０１）、被験者にその１点を注視させる。次に、制御部２３００は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源２１０３を被験者の目に向けて点灯させる（ステップＳ１０２）。制御部２３００は、左右カメラ（右カメラ２２０２、左カメラ２２０３）で被験者の目を撮像する（ステップＳ１０３）。

ＬＥＤ光源２１０３の照射により、瞳孔部分は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、第１算出部２３５１は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。また、第２算出部２３５２は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、第１算出部２３５１および第２算出部２３５２は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ１０４）。

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

第１算出部２３５１および第２算出部２３５２は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ１０５）。第３算出部２３５３は、求めた角膜反射中心の世界座標と、ＬＥＤ光源２１０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ１０６）。次に、第３算出部２３５３は、表示画面１０１の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ１０７）。第３算出部２３５３は、ステップＳ１０６で算出した直線とステップＳ１０７で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ１０８）。第３算出部２３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ１０９）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

算出処理で表示部２１０上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部２１０内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

図２７は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、ＬＥＤ光源２１０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示画面１０１上の注視点は、注視点８０５から注視点８０６に補正される。

図２８は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図２８の視線検出処理を実行することができる。診断処理では、図２８の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部２３５７による評価処理などが実行される。

ステップＳ２０１〜ステップＳ２０５は、図２６のステップＳ１０２〜ステップＳ１０６と同様であるため説明を省略する。

第３算出部２３５３は、ステップＳ２０５で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ２０６）。

視線検出部２３５４は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ２０７）。このベクトルが、被験者が見ている視線方向を示している。視点検出部２３５５は、この視線方向と表示画面１０１との交点の三次元世界座標値を算出する（ステップＳ２０８）。この値が、被験者が注視する表示部２１０上の１点を世界座標で表した座標値である。視点検出部２３５５は、求めた三次元世界座標値を、表示部２１０の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ２０９）。これにより、被験者が見つめる表示部２１０上の視点（注視点）を算出することができる。

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）光源（照明部）を２ヶ所に配置する必要がなく、１ヵ所に配置した光源で視線検出を行うことが可能となる。
（２）光源が１ヵ所になったため、装置をコンパクトにすることが可能となり、コストダウンも実現できる。

１００ 診断支援装置、１０１ 表示画面、１０２ ステレオカメラ、１０５ スピーカ、１５０ 記憶部、２０２ 右カメラ、２０３ 赤外ＬＥＤ光源、２０４ 左カメラ、２０５ 赤外ＬＥＤ光源、２０８ 駆動・ＩＦ部、２１０ 表示部、３００ 制御部（制御装置）、３５１ 視線検出部、３５２ 視点検出部、 ３５３ 出力制御部、 ３５４ 評価部

Claims (9)

1. 人物、動物、または植物を含む自然画像と幾何学模様を含む模様画像とを組み合わせた診断画像を表示部に表示する制御装置において、
   第一の診断画像を表示部に表示し、前記第一の診断画像を表示した後に、前記第一の診断画像に比べ自然画像の部分と模様画像とが類似している第二の診断画像を表示部に表示する出力制御部を備える制御装置。
2. 前記出力制御部は、
   前記第二の診断画像を表示した後に、前記第一の診断画像と模様画像の位置が少なくとも異なるとともに前記第二の診断画像に比べ自然画像の部分と模様画像とが類似しない第三の診断画像を表示部に表示し、前記第三の診断画像を表示した後に、前記第二の診断画像と模様画像の位置が少なくとも異なるとともに前記第三の診断画像に比べ自然画像と模様画像とが類似している第四の診断画像を表示部に表示することを特徴とする請求項１記載の制御装置。
3. 前記第二の診断画像は、前記第一の診断画像に比べ前記自然画像の部分と模様画像との、色相、輝度、彩度のうちの少なくとも一つが類似することを特徴とする請求項１または２のいずれかに記載の制御装置。
4. 請求項１〜３のいずれかに記載の出力制御部と、
   被験者を撮像する撮像部と、
   前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、
   前記視線方向に基づいて、表示部の表示領域における前記被験者の視点を検出する視点検出部と、
   を備えたことを特徴とする診断支援装置。
5. 前記視点検出部は、前記第二の診断画像を表示している場合に視点を検出することを特徴とする請求項４記載の診断支援装置。
6. 前記自然画像及び前記模様画像のいずれかを注視しているかを判定する評価部をさらに備えることを特徴とする請求項４または５のいずれかに記載の診断支援装置。
7. 光を照射する光源を含む照明部と、
   前記照明部によって光が照射され、前記撮像部によって撮像された被験者の眼球の画像から瞳孔の中心を示す第１位置を算出する第１算出部と、
   撮像された前記眼球の画像から角膜反射の中心を示す第２位置を算出する第２算出部と、
   前記光源と前記第２位置とを結ぶ直線に基づいて、角膜曲率中心を示す第３位置を算出する第３算出部と、をさらに備え、
   前記視線検出部は、前記第１位置と前記第３位置に基づいて前記被験者の視線を検出すること、
   を特徴とする請求項４から６のいずれかに記載の診断支援装置。
8. 人物、動物、または植物を含む自然画像と幾何学模様を含む模様画像とを組み合わせた診断画像の表示を制御する制御方法において、
   第一の診断画像を表示した後に、前記第一の診断画像に比べ自然画像の部分と模様画像とが類似している第二の診断画像を表示部に表示するステップを有する、
   制御方法。
9. 人物、動物、または植物を含む自然画像と幾何学模様を含む模様画像とを組み合わせた診断画像の表示を制御する制御装置のコンピュータに、
   第一の診断画像を表示した後に、前記第一の診断画像に比べ自然画像の部分と模様画像とが類似している第二の診断画像を表示部に表示するステップを実行させる、
   制御プログラム。