JP6003277B2 - 診断支援装置および診断支援方法 - Google Patents

Description

本発明は、診断支援装置および診断支援方法に関する。

最近、発達障害者が増加傾向にあると言われている。発達障害は、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障害の診断支援装置が求められている。

発達障害早期発見のためには、例えば１歳半検診時に診断できることが理想的である。また、検診時の使用について配慮することが必要である。発達障害児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。カメラで人の顔を撮影して、角膜反射と瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障害を診断支援する方法が提案されている。

特開２０１１−２０６５４２号公報 特開２００８−１２５６１９号公報 特開２００５−１９８７４３号公報 特開２００７−２１３３７７号公報

特許文献１では、目領域と、確実に観察対象者の口が含まれる口領域とを特定し、目領域に注視点座標が検出された動画像のフレーム数、口領域に注視点座標が検出された動画像のフレーム数、目領域の外に注視点座標が検出された動画像のフレーム数、および、計算対象の全フレーム数を算出する方法が提示されているが、さらに高精度の検出方法が求められていた。

本発明は、上記に鑑みてなされたものであって、診断の精度を向上できる診断支援装置および診断支援方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、対象者を含む画像を表示部に表示する表示制御部と、前記画像を複数の領域に分割する分割部と、前記複数の領域のうち、特定要素の画像を含む特定領域を検出する領域検出部と、前記画像における被験者の視点を検出する視点検出部と、前記視点が前記特定領域に含まれるか否かを判断し、判断結果に基づいて前記被験者の発達障害の程度を判定する判定部と、前記画像内での前記特定要素の画像の位置を検出する位置検出部と、を備え、前記特定要素は、前記対象者の右目および左目であり、前記位置検出部は、前記画像内での前記右目の画像の位置である右目位置、および、前記画像内での前記左目の画像の位置である左目位置を検出し、前記分割部は、いずれか２つの前記領域の境界が、前記右目位置および前記左目位置の中心を通るように前記分割位置を変更する、ことを特徴とする。また、本発明は、対象者を含む画像を表示部に表示する表示制御部と、前記画像を複数の領域に分割する分割部と、前記複数の領域のうち、特定要素の画像を含む特定領域を検出する領域検出部と、前記画像における被験者の視点を検出する視点検出部と、前記視点が前記特定領域に含まれるか否かを判断し、判断結果に基づいて前記被験者の発達障害の程度を判定する判定部と、複数の前記領域間での前記視点の移動パターンを検出するパターン検出部と、を備え、前記判定部は、前記移動パターンと、前記視点の予め定められた移動のパターンを表す基準パターンとを比較することにより、前記被験者の発達障害の程度を判定する、ことを特徴とする。

また、本発明は、対象者を含む画像を表示部に表示する表示制御ステップと、前記画像を複数の領域に分割する分割ステップと、前記複数の領域のうち、特定要素の画像を含む特定領域を検出する領域検出ステップと、前記画像における被験者の視点を検出する視点検出ステップと、ＣＰＵに含まれる評価部が、前記視点が前記特定領域に含まれるか否かを判断し、判断結果に基づいて前記被験者の発達障害の程度を判定する判定ステップと、前記画像内での前記特定要素の画像の位置を検出する位置検出ステップと、を含み、前記特定要素は、前記対象者の右目および左目であり、前記位置検出ステップは、前記画像内での前記右目の画像の位置である右目位置、および、前記画像内での前記左目の画像の位置である左目位置を検出し、前記分割ステップは、いずれか２つの前記領域の境界が、前記右目位置および前記左目位置の中心を通るように前記分割位置を変更する、ことを特徴とする。また、本発明は、対象者を含む画像を表示部に表示する表示制御ステップと、前記画像を複数の領域に分割する分割ステップと、前記複数の領域のうち、特定要素の画像を含む特定領域を検出する領域検出ステップと、前記画像における被験者の視点を検出する視点検出ステップと、ＣＰＵに含まれる評価部が、前記視点が前記特定領域に含まれるか否かを判断し、判断結果に基づいて前記被験者の発達障害の程度を判定する判定ステップと、複数の前記領域間での前記視点の移動パターンを検出するパターン検出ステップと、を含み、前記判定ステップは、前記移動パターンと、前記視点の予め定められた移動のパターンを表す基準パターンとを比較することにより、前記被験者の発達障害の程度を判定する、ことを特徴とする。

本発明にかかる診断支援装置および診断支援方法は、診断の精度を向上できるという効果を奏する。

図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。 図２は、第１の実施形態の診断支援装置の機能の概要を示す図である。 図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。 図４は、第１の実施形態における診断支援処理の一例を示すフローチャートである。 図５は、表示部に表示される画像の一例を示す図である。 図６は、注視点検出結果の一例を示す図である。 図７は、図６の対象画像の分割例を示す模式図である。 図８は、ブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。 図９は、ブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。 図１０は、注視点検出結果の一例を示す図である。 図１１は、図１０の対象画像の分割例を示す模式図である。 図１２は、ブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。 図１３は、ブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。 図１４は、第２の実施形態の制御部の構成例を示すブロック図である。 図１５は、第２の実施形態における診断支援処理の一例を示すフローチャートである。 図１６は、図６の対象画像の分割例を示す模式図である。 図１７は、ブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。 図１８は、ブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。 図１９は、図１０の対象画像の分割例を示す模式図である。 図２０は、ブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。 図２１は、ブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。 図２２は、第３の実施形態の制御部の構成例を示すブロック図である。 図２３は、第３の実施形態における診断支援処理の一例を示すフローチャートである。 図２４は、第３の実施形態で用いる対象画像の一例を示す図である。 図２５は、第３の実施形態で用いる対象画像の一例を示す図である。 図２６は、第３の実施形態で用いる対象画像の一例を示す図である。

以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。

（第１の実施形態）
上述の特許文献１では、目領域と口領域とを定め、各領域に注視点座標が検出された動画像のフレーム数を用いて、発達障害を診断している。しかし、例えば目領域は確実に対象者（観察対象者）の目が含まれるように大きく定められている。従って、被験者が実際には対象者の目を注視していない場合であっても、目を注視していると誤って判断する可能性がある。また、特許文献１の方法では、例えば対象者が変わった場合や、対象者が撮像領域内で動いた場合など、カメラで撮影された対象者の画像が変更される場合がある。一方、各領域は対象者によらず固定で定められる。このため、対象者の画像が変更されることにより、例えば実際の対象者の画像内の目の位置が目領域から外れる可能性がある。このように、特許文献１のような方法では、診断の精度が低下する可能性があった。

そこで、第１の実施形態では、表示部に表示する画像を複数の領域（ブロック）に分割し、対象者の特定の要素（目、口など）が含まれるブロックを特定する。その後、特定したブロックを被験者が注視するかなどを判断する。これにより、対象者の画像が変更される場合であっても、特定の要素が含まれるブロックを適切に特定でき、診断の精度が低下することを回避できる。

第１の実施形態は、被験者の観察する対象となる診断用画像（対象画像）を表示部（モニタ）に表示して被験者の発達障害を診断する例である。図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図１に示すように、第１の実施形態では、表示部１０１の横近傍に、１組のステレオカメラ１０２を配置する。ステレオカメラ１０２は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ２０２と左カメラ２０４とを備えている。

右カメラ２０２および左カメラ２０４の各レンズの直前には、円周方向に赤外ＬＥＤ（Light Emitting Diode）光源２０３および２０５がそれぞれ配置される。赤外ＬＥＤ光源２０３および２０５は、発光する波長が相互に異なる内周のＬＥＤと外周のＬＥＤとを含む。赤外ＬＥＤ光源２０３および２０５により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献２に記載された方法などを適用できる。

視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図２は、診断支援装置１００の機能の概要を示す図である。図２では、図１に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０４と、赤外ＬＥＤ光源２０３および２０５と、スピーカ１０５と、駆動・ＩＦ部２０８と、制御部３００と、表示部１０１と、表示部２１０と、を含む。

スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する。

駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。

表示部１０１は、対象画像を表示する。表示部２１０は、装置の操作や、診断支援結果を表示する。

図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。図３に示すように、制御部３００には、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０４が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。

右カメラ２０２からはフレーム同期信号が出力される。フレーム同期信号は、左カメラ２０４とＬＥＤ駆動制御部３１６とに入力される。これにより、第１フレームで、タイミングをずらして左右の波長１の赤外線光源（波長１−ＬＥＤ３０３、波長１−ＬＥＤ３０５）を発光させ、それに対応して左右カメラ（右カメラ２０２、左カメラ２０４）による画像を取り込み、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（波長２−ＬＥＤ３０４、波長２−ＬＥＤ３０６）を発光させ、それに対応して左右カメラによる画像を取り込んでいる。

赤外ＬＥＤ光源２０３は、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５は、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。

波長１−ＬＥＤ３０３、３０５は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６は、波長２の赤外線を照射する。

波長１および波長２は、それぞれ例えば９００ｎｍ未満の波長および９００ｎｍ以上の波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。

スピーカ駆動部３２２は、スピーカ１０５を駆動する。

制御部３００は、診断支援装置１００全体を制御して、結果を表示部２１０およびスピーカ１０５などに出力する。制御部３００は、表示制御部３５１と、分割部３５２と、領域検出部３５３と、視点検出部３５４と、判定部３５５と、を備えている。

表示制御部３５１は、表示部１０１および表示部２１０に対する各種情報の表示を制御する。例えば、表示制御部３５１は、対象者の画像（対象画像）を表示部１０１に表示する。また、表示制御部３５１は、診断結果を表示部２１０に表示する。

分割部３５２は、表示部２１０に表示される画像を複数の領域に分割する。

領域検出部３５３は、分割された領域のうち、特定要素の画像を含む特定領域を検出する。特定要素とは、例えば、対象者の目および口の少なくとも一方である。なお、特定要素はこれに限られるものではない。例えば、対象者以外の動作する物体を特定要素としてもよい。

視点検出部３５４は、被験者の視点を検出する。本実施形態では、視点検出部３５４は、例えば、被験者の母親の画像などを含む表示部１０１に表示された対象画像のうち、被験者が注視する点である視点を検出する。視点検出部３５４による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献３と同様に、ステレオカメラ１０２を用いて被験者の視点を検出する場合を例に説明する。

この場合、まず視点検出部３５４は、ステレオカメラ１０２で撮影された画像から、被験者の視線方向を検出する。視点検出部３５４は、例えば、特許文献１および２に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、視点検出部３５４は、波長１の赤外線を照射して撮影した画像と、波長２の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。視点検出部３５４は、左右のカメラ（右カメラ２０２、左カメラ２０４）で撮影された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置を算出する。また、視点検出部３５４は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、視点検出部３５４は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。

視点検出部３５４は、例えば図１のような座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって視点を計測してもよい。

なお、被験者の視点の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の視点を検出してもよい。

判定部３５５は、視点検出部３５４によって検出された視点が、領域検出部３５３によって検出された特定領域に含まれるか否かを判断する。判定部３５５は、判断結果に基づいて被験者の発達障害の程度を判定する。

制御部３００および制御部３００内の各部の一部または全部は、ハードウェアにより実現してもよいし、ＣＰＵなどにより実行されるソフトウェア（プログラム）により実現してもよい。

本実施形態の診断支援装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の診断支援装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の診断支援装置１００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態の診断支援装置１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の診断支援装置１００で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

次に、このように構成された第１の実施形態にかかる診断支援装置１００による診断支援処理について説明する。図４は、第１の実施形態における診断支援処理の一例を示すフローチャートである。なお、本実施形態では被験者が対象画像の人物の目を見る割合が規定値（例えば６０％）以上であるか否かを判断基準とする。

まず、表示制御部３５１は、被験者が見る人物（対象者）の顔の画像を含む対象画像を表示部１０１に表示する（ステップＳ１０１）。図５は、表示部１０１に表示される画像の一例を示す図である。図５では、対象画像として、対象者の顔の画像５０１を含む画像が表示される例が示されている。顔の画像５０１は、対象者の目５０２を含んでいる。

次に、制御部３００は、注視点の計測が終了するまで、表示部１０１に対する被験者の注視点座標を検出し、検出した座標を保存し続ける（ステップＳ１０２〜ステップＳ１０５）。

具体的には、視点検出部３５４は、瞳孔中心と角膜反射位置との関係を用いて、被験者の視線方向を計算する（ステップＳ１０２）。視点検出部３５４は、視線方向と表示部１０１（図１ではＸＹ平面）との交点（注視点）を検出する（ステップＳ１０３）。視点検出部３５４は、検出した注視点の座標値を記憶部（図示せず）等に保存する（ステップＳ１０４）。

制御部３００は、計測が終了したか否かを判断する（ステップＳ１０５）。制御部３００は、例えば、予め定められた計測時間を経過したか、または、予め定められた個数分の注視点の座標値が得られたか、などによって計測が終了したかを判断する。計測時間（回数）および座標値の個数は、被験者の年齢や状況を考慮して適切な値を決定する。

計測が終了していない場合（ステップＳ１０５：Ｎｏ）、ステップＳ１０２に戻り処理を繰り返す。計測が終了した場合（ステップＳ１０５：Ｙｅｓ）、制御部３００は、計測した座標値を用いた診断処理を実行する（ステップＳ１０６〜ステップＳ１１１）。なお、座標値の検出処理（ステップＳ１０１〜ステップＳ１０５）を実行しながら、診断処理（ステップＳ１０６〜ステップＳ１１１）も実行するように構成してもよい。図４のように検出処理と診断処理とを分離すれば、処理負荷を分散することができる。

図６〜図９は注視点検出結果の一例を示す図である。図６の画像は、図５の画像上に被験者の注視点を示す複数のマーカ６０１を重ねて表示した画像の例である。表示制御部３５１は、図６のような画像を、被験者用の表示部１０１および結果出力用の表示部２１０の少なくとも一方に表示する。

診断処理では、まず、分割部３５２が、対象画像全体を複数のブロックに分割する（ステップＳ１０６）。本実施形態では、分割部３５２は、対象画像を横方向に２３分割し、縦方向に３３分割している。なお、分割方法はこれに限られるものではなく、対象画像を複数の領域に分割する方法であればあらゆる方法を適用できる。例えば、分割数は２３および３３に限られるものではない。また、分割して得られる領域の形状は矩形（正方形）に限られるものではなく、任意の形状とすることができる。

図７は、図６の対象画像の分割例を示す模式図である。なお、図７の下部は説明のために一部のブロック（目の画像付近のブロック）を拡大したものである。Ａ−０〜Ａ−１１およびＢ−０〜Ｂ−６は、横方向に１２個、縦方向に７個並んだ各ブロックを特定するための情報であり、説明の便宜上付与したものである。

図４に戻り、領域検出部３５３は、分割されたブロックのうち、特定要素として人物の目が含まれているブロック（特定領域）を抽出する（ステップＳ１０７）。領域検出部３５３は、例えば、パターンマッチングなどの一般的に利用されている画像認識技術を用いて、画像から目を検出する。そして、領域検出部３５３は、検出した目が含まれるブロックを特定領域として検出する。なお、ブロックの検出（抽出）方法はこれに限られるものではない。例えば、表示する対象画像が事前に分かっている場合等であれば、目が含まれているブロックを予め手作業によって設定しておく方法を用いてもよい。

次に、判定部３５５は、ブロックごとの注視点の検出回数をカウントする（ステップＳ１０８）。例えば、判定部３５５は、ステップＳ１０４で記憶された注視点の座標値と、ステップＳ１０６で分割された各ブロックの座標値等を参照し、各ブロックに含まれる注視点の個数をカウントする。このカウント値が、ブロックごとの注視点の検出回数に相当する。

図８および図９は、それぞれのブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。図９では、説明のために、目の画像が含まれているブロック（特定領域）の背景を灰色としている。

図４に戻る。判定部３５５は、検出された注視点が特定領域に含まれるか否かを判断する。判定部３５５は、予め決められたルールと判断結果とから、被験者の発達障害の程度を判定する。上述のように、本実施形態では、判定部３５５は、被験者が対象画像の人物の目を見る割合が規定値以上であるか否かをルールとして発達障害の程度を判定する（ステップＳ１０９）。

図６の例では、以下のように判定される。
注視点全体の検出回数＝５７
人物の目が含まれているブロックを見た回数＝３７
人物の目を見た割合＝３７／５７＝６４．９％

仮に規定値を６０％と仮定すると、割合が規定値を超えているため発達障害の可能性は低いと判断される。なお、図８（図９）内では注視点の検出回数は５１である。図６に示すように、目の周辺以外でも注視点が検出されるため、注視点全体の検出回数は５７としている。

次に別の判定例を図１０〜図１３に示す。図１０の画像は、図５の画像上に被験者の注視点を示す複数のマーカ１００１を重ねて表示した画像の例である。図１１は、図１０の対象画像の分割例を示す模式図である。図１２および図１３は、それぞれのブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。図１３では、説明のために、目の画像が含まれているブロック（特定領域）の背景を灰色としている。

図１０の例では、以下のように判定される。
注視点全体の検出回数＝４４
人物の目が含まれているブロックを見た回数＝４
人物の目を見た割合＝４／４４＝９．１％

同様に規定値を６０％と仮定すると、図１０の診断例では規定値を大きく下回るため発達障害の可能性が高いと判断される。

このように、本実施形態では、検出された被験者の視線位置をブロック単位で扱うことにより、数値化された明確な判断ルールに基づいた診断支援を行うことが可能になる。また、本実施形態では、対象者の特定要素（目、口など）が含まれるブロックを特定し、特定したブロックを被験者が注視するかによって発達障害を判定する。これにより、対象者の画像が変更される場合であっても、特定要素が含まれるブロックを適切に特定でき、診断の精度が低下することを回避できる。

（第２の実施形態）
第１の実施形態では、対象画像内の特定要素（目、口など）の位置と無関係に、対象画像をブロック（領域）に分割していた。この方法では、例えば、あるブロックの端部に目の端部のみが含まれるように対象画像が分割される場合がありうる。例えば図７の例で対象者の左目が少し左にずれて表示されたとすると、Ａ−１１、Ｂ−２に対応するブロック（以下、ブロック１１−２という）、および、Ａ−１１、Ｂ−３に対応するブロック（以下、ブロック１１−３という）が、このようなブロック（端部に目の端部が含まれるブロック）に相当する。そしてこの場合、ブロック１１−２およびブロック１１−３は、目が含まれるブロック（特定領域）となる。従って、ブロック１１−２およびブロック１１−３を注視した回数が、本来、対象者の目を注視した回数としてカウントすべきでない場合であっても、注視した回数に誤ってカウントされるという可能性が生じうる。

そこで、第２の実施形態では、対象画像から対象者の目の位置を検出し、検出した目の位置を基準として、対象画像を複数のブロック（領域）に分割する。これにより、特定要素（目など）を注視していないにも関わらず、目を注視したと判定される可能性を低減できるようになる。なお、分割の基準位置とする特定要素は目に限られず、口およびその他の物体の位置を基準とし分割してもよい。

図１４は、第２の実施形態の制御部３００−２の構成例を示すブロック図である。なお、制御部３００−２以外の機能は、第１の実施形態の診断支援装置１００の機能の概要を示す図２と同様であるため、説明を省略する。

図１４に示すように、制御部３００−２は、表示制御部３５１と、分割部３５２−２と、領域検出部３５３と、視点検出部３５４と、判定部３５５と、位置検出部３５６−２と、を備えている。

第２の実施形態では、位置検出部３５６−２を追加したこと、および、分割部３５２−２の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる制御部３００のブロック図である図３と同様であるので、同一符号を付し、ここでの説明は省略する。

位置検出部３５６−２は、対象画像内での特定要素（目など）の画像の位置（座標）を検出する。特定要素を目とする場合は、位置検出部３５６−２は、対象画像内での対象者の右目および左目それぞれの座標値（右目位置および左目位置）を検出する。

分割部３５２−２は、位置検出部３５６−２によって検出された位置に応じて対象画像内でのブロック（領域）の分割位置を変更する。例えば、分割部３５２−２は、いずれか２つのブロック間の境界が、右目位置および左目位置の略中心を通るように分割位置を変更する。略中心とは、例えば、右目位置および左目位置中心から予め定められた範囲内の位置である。

次に、このように構成された第２の実施形態にかかる診断支援装置による診断支援処理について説明する。図１５は、第２の実施形態における診断支援処理の一例を示すフローチャートである。なお、本実施形態では被験者が対象画像の人物の目を見る割合が規定値（例えば６０％）以上であるか否かを判断基準とする。

ステップＳ２０１からステップＳ２０５までは、第１の実施形態にかかる診断支援装置１００の診断支援処理を示す図４のステップＳ１０１からステップＳ１０５までと同様の処理なので、その説明を省略する。

本実施形態では、位置検出部３５６−２が、対象画像内の人物の目の位置の座標を求める（ステップＳ２０６）。位置検出部３５６−２は、例えば、パターンマッチングなどの一般的に利用されている画像認識技術を用いて、画像から目を検出する。そして、位置検出部３５６−２は、検出した目の中心位置などを、人物の目の位置の座標として検出する。なお、目の位置の検出方法はこれに限られるものではない。例えば、表示する対象画像が事前に分かっている場合等であれば、目の位置を予め手作業によって設定しておく方法を用いてもよい。

次に、分割部３５２−２は、検出された座標を元に対象画像全体を複数のブロックに分割する（ステップＳ２０７）。図１６は、図６の対象画像の分割例を示す模式図である。図１６に示すように、本実施形態では、分割部３５２−２は、左右の目の間隔ａと同じ高さおよび幅の正方形の中心を、それぞれ両目の中心と一致するように並べたブロックに分割する。この方法により画像中の目の位置と被験者の視線位置との関係をより的確に捉えることが可能になる。

なお、目の位置を基準とした対象画像の分割方法は図１６の例に限られるものではない。少なくともいずれかのブロックの境界が、両目の中心位置付近を通るように分割する方法であれば、図７と同様の効果を得ることができる。例えば、図１６に示す各ブロックをさらに縦にｍ分割（ｍは２以上の整数）、横にｎ分割（ｎは２以上の整数）するように構成してもよい。また、分割して得られる領域の形状は矩形（正方形）に限られるものではなく、任意の形状とすることができる。

図１５のステップＳ２０８〜ステップＳ２１２は、第１の実施形態にかかる診断支援装置１００の診断支援処理を示す図４のステップＳ１０７からステップＳ１１１までと同様の処理なので、その説明を省略する。

次に、第２の実施形態での診断支援処理の具体例について図１７および図１８を用いて説明する。図１７および図１８は、それぞれのブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。図１８では、説明のために、目の画像が含まれているブロック（特定領域）の背景を灰色としている。Ａ−０〜Ａ−５およびＢ−０〜Ｂ−３は、横方向に６個、縦方向に４個並んだ各ブロックを特定するための情報であり、説明の便宜上付与したものである。以下では、Ａ−ｘ（ｘは０〜５）、Ｂ−ｙ（ｙは０〜３）に対応するブロックをブロックｘ−ｙのように表す。

判定部３５５は、ブロックごとの注視点の検出回数をカウントする。図１７および図１８の例では、検出回数は以下のようになる。
ブロック３−０：１
ブロック１−１：３
ブロック２−１：１５
ブロック３−１：１９
ブロック２−２：２
ブロック３−２：１
上記以外：０

判定部３５５は、被験者が対象画像の人物の目を見る割合が規定値以上であるか否かをルールとして発達障害の程度を判定する。図１７の例では、以下のように判定される。
注視点全体の検出回数＝１＋３＋１５＋１９＋２＋１＝４１
人物の目が含まれているブロックを見た回数＝１５＋１９＝３４
人物の目を見た割合＝３４／４１＝８２．９％

仮に規定値を６０％と仮定すると、割合が規定値を超えているため発達障害の可能性は低いと判断される。

次に別の診断例を図１９〜図２１に示す。図１９は、上述の図１０の対象画像の分割例を示す模式図である。図２０および図２１は、それぞれのブロックに含まれる注視点マーカの数をカウントした結果の一例を示す図である。図２１では、説明のために、目の画像が含まれているブロック（特定領域）の背景を灰色としている。

図１９〜２１の例では、以下のように判定される。
注視点全体の検出回数＝２＋４＋２＋１＋７＋５＋６＋３＋１＋２＋４＋４＋１＝４２
人物の目が含まれているブロックを見た回数＝５＋６＝１１
人物の目を見た割合＝１１／４２＝２６．２％

同様に規定値を６０％と仮定すると、人物の目を見る割合が規定値を大きく下回るため発達障害の可能性が高いと判断される。

（第３の実施形態）
上記実施形態では、注視点の頻度のみを発達障害の判断ルールとしていた。判断ルールはこれに限られるものではない。特定領域に注視点が含まれるか否かの判断結果に基づいて判断するルールであればどのようなルールを用いてもよい。例えば、注視点位置を時系列で比較して注視点のブロック移動パターンを判断する判断ルールなどを用いてもよい。第３の実施形態では、注視点がブロックを移動するパターンを用いて発達障害を判定する例を説明する。

図２２は、第３の実施形態の制御部３００−３の構成例を示すブロック図である。なお、制御部３００−３以外の機能は、第１の実施形態の診断支援装置１００の機能の概要を示す図２と同様であるため、説明を省略する。

図２２に示すように、制御部３００−３は、表示制御部３５１と、分割部３５２と、視点検出部３５４と、判定部３５５−３と、パターン検出部３５７−３と、を備えている。

第３の実施形態では、領域検出部３５３を削除したこと、パターン検出部３５７−３を追加したこと、および、判定部３５５−３の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる制御部３００のブロック図である図３と同様であるので、同一符号を付し、ここでの説明は省略する。

パターン検出部３５７−３は、複数のブロック間での、被験者の視点が移動するパターン（移動パターン）を検出する。パターン検出部３５７−３は、例えば、分割された各ブロックの図１の座標系での座標値と、視点検出部３５４により検出された視点の図１の座標系での座標値と、を比較することにより、視点の移動パターンを検出することができる。

判定部３５５−３は、検出された移動パターンと基準パターンとを比較することにより、被験者の発達障害の程度を判定する。基準パターンは、視点の予め定められた移動のパターンを表す。例えば、特定要素（目、口など）が含まれるブロック（特定領域）以外のブロックから、特定領域に移動するパターンを基準パターンとすることができる。上述のように、発達障害者の特徴の１つとして、対面する相手の目を見ないことが挙げられる。従って、特定領域以外のブロックから特定領域に移動する基準パターンに適合する場合、判定部３５５−３は、発達障害の程度が低いと判定する。

基準パターンとしては、健常者の視点の移動を表すパターン、および、発達障害者の視点の移動を表すパターンのいずれを用いてもよい。移動パターンが前者の基準パターンに適合する場合は、判定部３５５−３は、発達障害の程度が低いと判定すればよい。逆に、移動パターンが後者の基準パターンに適合する場合は、判定部３５５−３は、発達障害の程度が高いと判定すればよい。

また、基準パターンは、２つのブロック間の視点の移動のパターンに限られるものではない。３つ以上のブロック間の視点の移動のパターンを基準パターンとしてもよい。また、対象の動作部分が動作するパターン（動作パターン）に応じて定められる基準パターンを用いてもよい。

例えば、発達障害者は、対象者の目が動作した場合に、目を注視するが、目から視点を逸らして他の部分を注視する傾向がある。また、発達障害者は、口が動作した場合に、口を注視するが、再び目を注視することが少ないという傾向がある。従って、例えば、「口が動作する動作パターンの対象画像が表示されたときに、口ブロックに視点が移動し、さらに、移動後の所定時間以内に目を含むブロックに視点が移動する」という基準パターンを用いてもよい。判定部３５５−３は、検出された移動パターンが、この基準パターンに適合する場合に、発達障害の程度が低いと判定すればよい。

また、動作パターンに対する視点移動のタイミングも含めた基準パターンを用いてもよい。例えば、対象者の目が動作した後、所定時間経過までに視点が目を含むブロックに移動した場合に、所定時間経過後に視点が目を含むブロックに移動した場合より、発達障害の程度が大きい（または小さい）と判定するように構成してもよい。

次に、このように構成された第３の実施形態にかかる診断支援装置による診断支援処理について説明する。図２３は、第３の実施形態における診断支援処理の一例を示すフローチャートである。図２３では、被験者の注視点位置が対象画像の人物の目と口との間を行き来する基準パターンを用いて発達障害の可能性を判断する例を説明する。すなわち、被験者に３種類の画像を見せて、これらの画像を見ている間の注視点位置を、第１の実施形態と同様の方法でブロックごとに検出する。そして、人物の目、口、および、それ以外のブロックに分けて検出した注視点位置の移動のパターンを用いて評価を行う。図２４〜図２６は、この例で用いる対象画像の一例を示す図である。

まず、表示制御部３５１は、図２４の対象画像１を表示部１０１に表示する（ステップＳ３０１）。対象画像１は、目１４０２と、口１４０１とを含む。対象画像１は、口１４０１が動いていない画像である。

図２３のステップＳ３０２、ステップＳ３０３、およびステップＳ３０４は、それぞれ、第１の実施形態にかかる診断支援装置１００の診断支援処理を示す図４のステップＳ１０２、ステップＳ１０３、およびステップＳ１０６と同様の処理なので、その説明を省略する。なお、後述するステップＳ３０７、ステップＳ３０８、およびステップＳ３０９、並びに、ステップＳ３１２、ステップＳ３１３、およびステップＳ３１４も、それぞれ、図４のステップＳ１０２、ステップＳ１０３、およびステップＳ１０６と同様の処理なので、その説明を省略する。

判定部３５５−３は、検出された注視点の位置が、対象画像の目を含むブロック内に存在するか否かを判断する（ステップＳ３０５）。注視点の位置が目を含むブロック内に存在しない場合（ステップＳ３０５：Ｎｏ）、発達障害を判断できないので診断支援処理を終了する（ステップＳ３１６）。

注視点の位置が目を含むブロック内に存在する場合（ステップＳ３０５：Ｙｅｓ）、表示制御部３５１は、図２５の対象画像２を表示部１０１に表示する（ステップＳ３０６）。図２５の対象画像２は、対象画像２は、目１５０２と、口１５０１とを含む。対象画像２は、図２４、図２６と異なり口１５０１が動いている画像である。従って、被験者の注視点位置は一般的に口１５０１が含まれるブロックに移動する。

判定部３５５−３は、検出された注視点の位置が、対象画像の口を含むブロック内に存在するか否かを判断する（ステップＳ３１０）。注視点の位置が口を含むブロック内に存在しない場合（ステップＳ３１０：Ｎｏ）、発達障害を判断できないので診断支援処理を終了する（ステップＳ３１６）。

注視点の位置が口を含むブロック内に存在する場合（ステップＳ３１０：Ｙｅｓ）、表示制御部３５１は、図２６の対象画像３を表示部１０１に表示する（ステップＳ３１１）。対象画像３は、目１６０２と、口１６０１とを含む。対象画像３は、図２４と同様に口１６０１が動いていない画像である。

判定部３５５−３は、検出された注視点の位置が、対象画像の目を含むブロック内に存在するか否かを判断する（ステップＳ３１５）。注視点の位置が目を含むブロック内に存在する場合（ステップＳ３１５：Ｙｅｓ）、判定部３５５−３は、障害の可能性は低いと判定する（ステップＳ３１７）。注視点の位置が目を含むブロック内に存在しない場合（ステップＳ３１７：Ｎｏ）、判定部３５５−３は、障害の可能性が高いと判定する（ステップＳ３１８）。例えば、注視点の位置が人物の口が含まれているブロックから移動しない場合、判定部３５５−３は、障害の可能性が高いと判断する。

このように、第３の実施形態では、注視点がブロック間を移動するパターンを用いて発達障害を判定することができる。なお、第３の実施形態のようにパターンを用いる方法は、第２の実施形態にも適用することができる。

以上のように、第１〜第３の実施形態によれば、例えば以下のような効果が得られる。
（１）対象者の画像が変更される場合であっても、特定要素（目、口など）が含まれるブロックを適切に特定でき、診断の精度が低下することを回避できる。
（２）対象画像から検出した特定要素（目、口など）の位置を基準として、対象画像を複数のブロックに分割する。このため、より適切な位置でブロックを分割することができ、診断の精度を向上させることができる。
（３）視点の位置だけでなく、視点の移動も判断することにより高精度の診断を実現することができる。

１００ 診断支援装置
１０１ 表示部
１０２ ステレオカメラ
１０５ スピーカ
２０２ 右カメラ
２０３、２０５ 赤外ＬＥＤ光源
２０４ 左カメラ
２０８ 駆動・ＩＦ部
２１０ 表示部
３００、３００−２、３００−３ 制御部
３５１ 表示制御部
３５２、３５２−２ 分割部
３５３ 領域検出部
３５４ 視点検出部
３５５、３５５−３ 判定部
３５６−２ 位置検出部
３５７−３ パターン検出部

Claims (7)

1. 対象者を含む画像を表示部に表示する表示制御部と、
   前記画像を複数の領域に分割する分割部と、
   前記複数の領域のうち、特定要素の画像を含む特定領域を検出する領域検出部と、
   前記画像における被験者の視点を検出する視点検出部と、
   前記視点が前記特定領域に含まれるか否かを判断し、判断結果に基づいて前記被験者の発達障害の程度を判定する判定部と、
   前記画像内での前記特定要素の画像の位置を検出する位置検出部と、
   を備え、
   前記特定要素は、前記対象者の右目および左目であり、
   前記位置検出部は、前記画像内での前記右目の画像の位置である右目位置、および、前記画像内での前記左目の画像の位置である左目位置を検出し、
   前記分割部は、いずれか２つの前記領域の境界が、前記右目位置および前記左目位置の中心を通るように前記分割位置を変更する、
   ことを特徴とする診断支援装置。
2. 前記分割部は、さらに、前記領域の幅が前記右目位置と前記左目位置の間隔となるように前記画像を複数の前記領域に分割する、
   ことを特徴とする請求項１に記載の診断支援装置。
3. 前記判定部は、前記視点が前記特定領域に含まれる頻度に基づいて前記被験者の発達障害の程度を判定する、
   ことを特徴とする請求項１に記載の診断支援装置。
4. 対象者を含む画像を表示部に表示する表示制御部と、
   前記画像を複数の領域に分割する分割部と、
   前記複数の領域のうち、特定要素の画像を含む特定領域を検出する領域検出部と、
   前記画像における被験者の視点を検出する視点検出部と、
   前記視点が前記特定領域に含まれるか否かを判断し、判断結果に基づいて前記被験者の発達障害の程度を判定する判定部と、
   複数の前記領域間での前記視点の移動パターンを検出するパターン検出部と、
   を備え、
   前記判定部は、前記移動パターンと、前記視点の予め定められた移動のパターンを表す基準パターンとを比較することにより、前記被験者の発達障害の程度を判定する、
   ことを特徴とする診断支援装置。
5. 前記特定要素は、前記対象者の目および前記対象者の口の少なくとも一方である、
   ことを特徴とする請求項４に記載の診断支援装置。
6. 対象者を含む画像を表示部に表示する表示制御ステップと、
   前記画像を複数の領域に分割する分割ステップと、
   前記複数の領域のうち、特定要素の画像を含む特定領域を検出する領域検出ステップと、
   前記画像における被験者の視点を検出する視点検出ステップと、
   ＣＰＵに含まれる評価部が、前記視点が前記特定領域に含まれるか否かを判断し、判断結果に基づいて前記被験者の発達障害の程度を判定する判定ステップと、
   前記画像内での前記特定要素の画像の位置を検出する位置検出ステップと、
   を含み、
   前記特定要素は、前記対象者の右目および左目であり、
   前記位置検出ステップは、前記画像内での前記右目の画像の位置である右目位置、および、前記画像内での前記左目の画像の位置である左目位置を検出し、
   前記分割ステップは、いずれか２つの前記領域の境界が、前記右目位置および前記左目位置の中心を通るように前記分割位置を変更する、
   ことを特徴とする診断支援方法。
7. 対象者を含む画像を表示部に表示する表示制御ステップと、
   前記画像を複数の領域に分割する分割ステップと、
   前記複数の領域のうち、特定要素の画像を含む特定領域を検出する領域検出ステップと、
   前記画像における被験者の視点を検出する視点検出ステップと、
   ＣＰＵに含まれる評価部が、前記視点が前記特定領域に含まれるか否かを判断し、判断結果に基づいて前記被験者の発達障害の程度を判定する判定ステップと、
   複数の前記領域間での前記視点の移動パターンを検出するパターン検出ステップと、
   を含み、
   前記判定ステップは、前記移動パターンと、前記視点の予め定められた移動のパターンを表す基準パターンとを比較することにより、前記被験者の発達障害の程度を判定する、
   ことを特徴とする診断支援方法。

Images