JPH0812706B2

JPH0812706B2 - 視線アニメーション表示装置

Info

Publication number: JPH0812706B2
Application number: JP6670393A
Authority: JP
Inventors: 精啓森井; 信二鉄谷; 文郎岸野
Original assignee: 株式会社エイ・ティ・アール通信システム研究所
Priority date: 1993-03-25
Filing date: 1993-03-25
Publication date: 1996-02-07
Anticipated expiration: 2011-02-07
Also published as: JPH06282627A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、コンピュータグラフ
ィックス（以下「ＣＧ」と呼ぶ）を用いて人物などをア
ニメーション表示する分野に関し、特に、ＣＧにより仮
想的な３次元空間を生成し、参加者にあたかもその３次
元空間内にいるかのような感覚を与えるための技術、た
とえば臨場感通信会議技術等に関する。

【０００２】

【従来の技術】画像通信やヒューマンインターフェイス
を目的として、人物の表情をＣＧにより表現する研究が
行なわれている。たとえば「電子情報通信学会論文誌Ｊ
７３−Ｄ−ＩＩ、３、１９９０」の第３５１頁ないし３
５９頁には、「知的インターフェイスのための顔の表情
合成法の一検討」という論文が掲載されている。この論
文では、画像通信やヒューマンインターフェイスを目的
とし、そのための画像合成の手法の１つとして人物の表
情をＣＧにより表現する手法が紹介されている。

【０００３】

【発明が解決しようとする課題】しかし、上述の論文に
紹介されている技術は、テキスト情報や感情情報などに
より顔画像を合成する手法であって、これをこのまま臨
場感通信会議システムなどに応用するには困難がある。
たとえば、会話や会議の場合において、目の動き視線、
瞬きなどは参加者の意図を表わす重要な情報である。こ
れらの情報をリアルタイムにＣＧ像によりアニメーショ
ン表示すれば、臨場感通信会議システムにおいてより自
然な臨場感を得ることができる。しかし、そのような技
術をどのように実現するかについては未だ提案がされて
いない。

【０００４】それゆえに請求項１ないし２に記載の発明
の目的は、目の動きをより自然なものに近づけてリアル
タイムで表示することができる視線アニメーション表示
装置を提供することである。

【０００５】

【課題を解決するための手段】請求項１に記載の視線ア
ニメーション表示装置は、人物の視線を検出することに
より、所定の座標系内における人物の注視点の座標を得
る手段と、人物の瞬きの情報をリアルタイムに得るため
の手段と、人物の顔モデルに、所定のモデルによって近
似した眼球モデルを合成してコンピュータグラフィック
スにより表示し、かつ注視点の座標により定められる所
定の位置を眼球モデルが注視するように眼球モデルを回
転させるためのアニメーション表示手段とを含む。アニ
メーション表示手段は、注視点の座標に基づいて眼球モ
デルの回転量を決定して眼球を回転して人物の顔モデル
と合成したアニメーションを表示するための手段と、人
物の顔モデル上に、決定された回転量に対して予め定め
る関係により決定された態様で、まぶたまたは眉または
その双方を表示するための手段とを含む。アニメーショ
ンを表示するための手段とまぶたまたは眉またはその双
方を表示するための手段は、人物の瞬きの情報を得るた
めの手段によりリアルタイムに得られた瞬きの情報に応
じて、眼球モデルと瞼または眉またはその双方の表示と
を瞬き状に変化させる。

【０００６】請求項２に記載の視線アニメーション表示
装置は、請求項１に記載の装置であって、時系列に得ら
れる注視点の座標に対して逐次スムージング処理を行な
ってアニメーション表示手段に注視点の座標として与え
るための手段をさらに含む。

【０００７】

【０００８】

【０００９】

【作用】請求項１に記載の視線アニメーション表示装置
においては、人物の注視点の座標が得られると、それに
応じて眼球モデルがその注視点の座標により定められる
所定の位置を注視するようにアニメーション表示手段に
よってリアルタイムで回転される。眼球モデルとともに
表示される人物の顔モデルに、眼球モデルの回転ととも
に変化する態様でまぶたまたは眉またはその双方が表示
されるので、顔モデルがより自然の表情に近くなる。ま
た人物の瞬きの情報に応じて、眼球モデルとまぶたまた
は眉またはその双方とが瞬き状に変化してリアルタイム
で表示されるので、表示される顔モデルがより自然に近
く、かつ人物のそのときの状態がより忠実に再現され
る。

【００１０】請求項２に記載の視線アニメーション表示
装置は、時系列に得られる注視点の座標に対して逐次ス
ムージング処理が行なわれ、スムージング処理によって
得られた注視点の座標に基づいて眼球モデルの回転のア
ニメーション表示が行なわれるため、眼球モデルの動き
がより自然に近くなる。

【００１１】

【００１２】

【００１３】

【実施例】以下、本発明の一実施例の視線アニメーショ
ン表示装置を、図面を参照して説明する。なお、以下の
実施例においては、本願出願人と同一の出願人による視
線検出装置（特公平３−５１４０７号）を視線検出装置
として示す。この視線検出装置は、赤外線による瞳孔反
射光を利用している。しかし本発明はこれには限定され
ず、他の手法、たとえばＥＯＧ法、強膜反射法、磁気誘
導による方法など、種々の方法を使用することができ
る。

【００１４】図１を参照して、本発明の視線アニメーシ
ョン表示装置は、被写体の人物５２の、赤外線による瞳
孔反射像および顔特徴点を画像処理により検出するため
の瞳孔像、顔特徴点検出部３４と、瞳孔像、顔特徴点検
出部３４により検出された瞳孔反射像および顔特徴点に
基づき、人物５２の顔の姿勢や位置の情報と、視線や瞬
きなどの眼球表示に必要な情報を生成するためのＣＧ情
報取得部５０と、ＣＧ情報取得部５０と通信回線４４に
よって接続され、ＣＧ情報取得部５０から得られる情報
に従ってＣＧ像を生成するためのＣＧ像生成装置４８
と、表示装置４６とを含む。

【００１５】瞳孔像、顔特徴点検出部３４は、赤外線に
よる瞳孔反射像および顔特徴点を検出するための画像情
報を得るための１対のカメラ５６と、この画像情報に対
して所定の画像処理を行なって瞳孔反射像と顔特徴点と
を得る図示されない画像処理部とを含む。

【００１６】ＣＧ情報取得部５０は、瞳孔像、顔特徴点
検出部３４が検出した頭部特徴点から、頭部の位置およ
び向きを検出するための頭部位置検出部３６と、瞳孔
像、顔特徴点検出部３４により検出された瞳孔反射光の
画素数に基づいて、目が閉じられているか否かを判断す
るための瞬き判定部３８と、瞬き判定部３８により目が
開かれていると判断された場合に、瞳孔像、顔特徴点検
出部３４により検出された瞳孔位置と、頭部位置検出部
３６により検出された頭部位置とに基づいて、人物５２
の注視点の座標を検出するための注視点検出部４０と、
注視点検出部４０により検出されたデータにスムージン
グ処理を行なうためのスムージング部４２とを含む。こ
のＣＧ情報取得部５０によって得られた情報が通信回線
４４を介してＣＧ像生成装置４８に与えられ、ＣＧ像生
成装置４８が生成したＣＧ像が表示装置４６によって表
示される。

【００１７】情報の流れを整理すると図２のようにな
る。まず、瞳孔像、顔特徴点検出部３４により、瞳孔反
射像および顔特徴点が画像処理により検出される。瞳孔
像、顔特徴点検出部３４で検出した頭部特徴点から、頭
部位置検出部３６で頭部の位置および向きを検出する。
瞬き判定部３８は、瞳孔像、顔特徴点検出部３４で検出
された瞳孔反射光の画素数を求め、画素数が予め設定し
た値以下であれば目を閉じていると判断する。設定値以
上であれば目を開けていると判断する。瞬き判定部３８
により目が開けられていると判断された場合には、瞳孔
像、顔特徴点検出部３４により検出された瞳孔位置およ
び頭部位置検出部３６により検出された頭部位置から、
注視点検出部４０によって注視点の座標を検出する。さ
らにこの座標をスムージング部４２によってスムージン
グ処理し、ＣＧ像生成装置４８に与えて表示装置５０に
より表示させる。瞬き判定部３８が目を閉じていると判
断した場合には注視点検出部４０およびスムージング部
４２による処理は行なわれない。

【００１８】再び図１を参照して瞳孔像、顔特徴点検出
部３４と、頭部位置検出部３６と、注視点検出部４０と
による注視点の座標検出の方法について説明する。この
方法は、前述の特公平３−５１４０７号公報に記載され
たものを使用している。なおこの方法においては、人物
５２から距離ｄだけ離れた平面５４上における注視点Ｖ
の（ｘ、ｙ）座標が検出される。

【００１９】図３を参照して、まず空間に所望の座標系
（Ｘ、Ｙ、Ｚ）を定める。図１に示される１対のカメラ
５６により、人物５２の顔面の３つの特徴点の、図３に
示される座標系（Ｘ、Ｙ、Ｚ）における座標を求める。
これらの特徴点を、図３に示すＰ１、Ｐ２、Ｐ３とす
る。

【００２０】続いて、頭部座標系として、三角形（Ｐ
１、Ｐ２、Ｐ３）の重心Ｐ_Gを原点とし、Ｐ１とＰ２と
を結ぶ線分の方向をｘ軸、ｘ軸に直交する方向をｙ軸、
三角形の法線方向をｚ軸とする座標系（ｘ，ｙ，ｚ）を
考える。

【００２１】図３において、重心Ｐ_Gを始点、眼球中心
６２を終点とするベクトル（眼球中心位置ベクトル）ｅ
は、定数ベクトルである。そしてこのベクトルｅは、予
め較正により求めることができる。重心Ｐ_Gが３点Ｐ
１、Ｐ２、Ｐ３から求めることができるために、眼球中
心６２の、座標系（Ｘ、Ｙ、Ｚ）における座標も得るこ
とができる。一方，瞳孔中心の座標系（Ｘ，Ｙ，Ｚ）に
おける座標は、カメラ画像から直接得ることが出来る。
この眼球中心と瞳孔中心とを結んだ半直線が視線であ
る。この視線をベクトルとして考え、平面５４とこのベ
クトルとの交点とを求めることにより注視点の、平面５
４上における座標が求められる。これが、瞳孔像、顔特
徴点検出部３４と、頭部位置検出部３６と、注視点検出
部４０とにおいてなされる処理である。

【００２２】人間の眼球運動には、跳躍運動などの不随
意的な運動が含まれる。そのために、注視点検出部４０
などによって検出されたデータをそのままＣＧ像の表示
に使用すると不自然な感じを与える。ＣＧ像をより自然
なものにするために、スムージング部４２において検出
データに対してスムージング処理を行なう。スムージン
グ方法としては、過去の所定数のサンプリングデータの
平均値を出力データとする方法を用いる。

【００２３】時刻ｔにおける注視点の検出データを（ｘ
_t、ｙ_t）とする。出力データとして３点の平均値を使
用する場合、出力（ｘ_ot、ｙ_ot）は、次の式によって計
算される。

【００２４】

【数１】

【００２５】図４には、視線を左右に移動させた場合の
注視点の検出データと、スムージングしたデータとを示
す。検出データ８２のグラフに対し、３点の平均値を出
力データとしたスムージングデータ８４は、より滑らか
なものとなっており、これに基づいてＣＧ画像の眼球の
視線を変化させた場合には、検出データ８２を用いた場
合と比べてより自然な感じを与える。なお、ここではス
ムージングに３点のデータを用いたが、スムージングに
用いるサンプル数は３点に限定されるわけではない。

【００２６】図５を参照して、図１のスムージング部４
２の出力に応じて視線を変化させたＣＧ人物像を、図１
に示されるＣＧ像生成装置４８によって生成する。ここ
では、顔のＣＧモデルとして、実際の人物の顔の３次元
データを基に作成した顔モデルに、球モデルで近似した
眼球を合成したモデルを用いる。もちろん、楕円球など
で近似した眼球を合成してもよい。

【００２７】図５を参照して、ここで用いる眼球モデル
と注視点および視線との関係は次のようになっている。
眼球中心１０４と、瞳孔中心１０６と、注視点１１０と
を結ぶ直線を視線１０８とする。注視点１１０の変化に
対し、視線１０８の方向が注視点１１０と一致するよう
に眼球１０２を回転させる。このように、眼球モデルを
回転させるための注視点情報として、スムージング部４
２の出力を用いてＣＧ像を生成することにより、人物の
視線の変化をリアルタイムに、かつ自然な形でアニメー
ション表示することができる。

【００２８】ところで、実際の人物の表情においては、
眼球の動きに伴ってまぶたや眉も変化する。目の自然な
アニメーション表示を行なうためには、そのようなまぶ
たや眉の動きも表現する必要がある。図６は、視線の変
化によるまぶたや眉の動きを説明するための模式図であ
る。図６に、眼球１０２が正面向きである場合のまぶた
１２２および眉１２４の位置を模式的に示す。

【００２９】図７を参照して、視線が上向きとなり眼球
１０２が上方向に回転する場合を考える。眼球１０２の
回転に伴い、まぶた１２２も上に持ち上げられる。また
眉１２４も上に上がる。

【００３０】一方、図８に示されるように、視線が下向
きとなり眼球１０２が下方向に回転するとまぶた１２２
も下に下がる。この場合には眉１２４は下がらない方が
自然である。

【００３１】このような図６〜８に示されるまぶたと眉
との表示は次のようにして行なわれる。図９を参照し
て、眼球１０２の中心を眼球中心１０４とする。眼球中
心１０４と瞳孔中心１０６とを結ぶ視線１０８が、眼球
中心１０４と正面方向とを結ぶ直線となす角が、眼球１
０２の回転角θである。

【００３２】図１０を参照して、まぶた１２２のＣＧ像
が、頂点１３２ａ、１３２ｂ、…、１３２ｎにより構成
されているものとする。これら頂点１３２ａ〜１３２ｎ
が、眼球１０２の回転に伴って変化するその変化量をξ
とする。図９に示される回転角θと図１０に示される各
頂点の移動量ξとの関係を予め求めておき、回転角θに
応じて定まるξの位置に頂点１３２ａ〜１３２ｎを表示
する。

【００３３】図１１は、このような移動量ξとθとの関
係づけの一例を示すグラフである。正面方向を向いた時
のθを0 とする。眼球の上方への回転角の最大値を
θ₊、下方への回転角の最大値をθ_-とする。眼球の上
方への回転に伴うまぶたの変化量の最大値をξ₊、下方
への回転に伴う変化量の最大値をξ_-とする。図１１に
示すようにθ−ξ座標系において最大値に該当する点
（θ₊、ξ₊）および最小値に該当する点（θ_-、
ξ_-）をそれぞれ原点と結び、それによって得られる折
線によって最大値に該当する点と最小値に該当する点と
の間の、角θに対する変化量ξを決定する。なお、この
ように線形補間に限定されるわけではなく、非線形的な
補間を行なってもよく、要は自然な形でまぶたの変化が
得られるような関係をθとξとの間に規定しておけばよ
い。

【００３４】また、瞬き判定部３８によって被写体の人
物が瞬きをしていると判定されたばあいには、ＣＧ像の
まぶたを瞬き状に変化させ、眼球モデルの表示を隠して
あたかもＣＧ像の人物も瞬きをしたように表示させるこ
とで、より臨場感の増した表示を行なうことができる。

【００３５】以上のように、この実施例に係る視線アニ
メーション表示装置では、注視点の座標が得られれば、
眼球の回転と、それに伴うまぶた、眉の変化をアニメー
ション表示することができる。臨場感通信会議システム
において、参加者の顔モデルに、視線をリアルタイムで
変化させることができる眼球モデルを表示でき、さらに
眼球の回転や人物の瞬きに伴うまぶた、眉の変化をリア
ルタイムでアニメーション表示することができるため、
会議の臨場感がより向上する。

【００３６】

【発明の効果】以上のように請求項１に記載の発明によ
れば、得られる人物の注視点の座標に応じて所定の位置
を注視するように眼球モデルがアニメーション表示手段
によって回転される。そのために、人物の表情をより臨
場感をもってリアルタイムで再現することが可能にな
る。眼球の回転とともに変化する態様でまぶたまたは眉
またはその双方が表示されるので、より自然に近い人物
の視線をリアルタイムで表示することができる。さら
に、人物の瞬きの情報に応じて、眼球モデルのまぶたま
たは眉またはその双方が瞬き状に変化してリアルタイム
で表示されるので、表示される顔モデルがより自然に近
く、かつ人物のそのときの状態がより忠実にリアルタイ
ムで再現される。

【００３７】請求項２に記載の視線アニメーション表示
装置では、スムージング処理によって得られた注視点の
座標に基づいて眼球モデルの回転のアニメーション表示
が行なわれる。そのために、眼球の動きがより滑らかで
より自然に近くなる。その結果、人物の表情を自然に近
い形でリアルタイムでアニメーション表示することがで
きる。

【００３８】

【００３９】

【００４０】すなわち、請求項１〜２に記載の発明によ
り、人物のＣＧ像の目の動きをより自然なものに近づけ
てリアルタイムで表示することができる視線アニメーシ
ョン表示装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の一実施例の視線アニメーション表示装
置の構成を示すブロック図である。

【図２】本発明の一実施例の視線アニメーション表示装
置の構成および動作を模式的に示す図である。

【図３】注視点の座標を得る方法を説明するための模式
図である。

【図４】検出データとスムージング後のデータとを示す
グラフである。

【図５】注視点１１０に対応した眼球モデルの表示方法
を示す模式図である。

【図６】正面向きの人物の目付近を示す模式図である。

【図７】上向きの人物の目付近を示す模式図である。

【図８】下向きの人物の目付近を示す模式図である。

【図９】眼球モデルの側面図である。

【図１０】まぶたの正面図である。

【図１１】眼球の回転角とまぶたの変化量との関係を示
すグラフである。

【符号の説明】

３４瞳孔像、顔特徴点検出部３６頭部位置検出部３８瞬き判定部４０注視点検出部４２スムージング部４４通信回線４６表示装置４８ＣＧ像生成装置５０ＣＧ情報取得部

───────────────────────────────────────────────────── フロントページの続き (72)発明者岸野文郎京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール通信システム研究所内 (56)参考文献情報処理学会研究報告、ＨＩ−42、11− 16頁、1992年、岸野文郎他、「眼の３次元アニメーション表示と視線一致」電子通信学会技術研究報告、ＩＥ−90、 37−44頁、1991年、境野英朋他、「大画面における頭部と眼球運動の協調性に関する一検討」

Claims

【特許請求の範囲】

【請求項１】人物の視線を検出することにより、所定
の座標系内における前記人物の注視点の座標を得る手段
と、人物の瞬きの情報をリアルタイムに得るための手段と、人物の顔モデルに、所定のモデルによって近似した眼球
モデルを合成してコンピュータグラフィックスにより表
示し、かつ前記注視点の座標により定められる所定の位
置を前記眼球モデルが注視するように前記眼球モデルを
回転させるためのアニメーション表示手段とを含み、前記アニメーション表示手段は、前記注視点の座標に基
づいて前記眼球モデルの回転量を決定して前記眼球を回
転して前記人物の顔モデルと合成したアニメーションを
表示するための手段と、前記人物の顔モデル上に、前記決定された回転量に対し
て予め定める関係により決定された態様で、まぶたまた
は眉またはその双方を表示するための手段とを含み、前記アニメーションを表示するための手段と前記まぶた
または眉またはその双方を表示するための手段は、前記
人物の瞬きの情報をリアルタイムに得るための手段によ
りリアルタイムに得られた瞬きの情報に応じて、前記眼
球モデルと前記まぶたまたは眉またはその双方の表示を
瞬き状に変化させる、視線アニメーション表示装置。
【請求項２】時系列に得られる前記注視点の座標に対
して逐次スムージング処理を行なって、前記アニメーシ
ョン表示手段に前記注視点の座標として与えるための手
段をさらに含む、請求項１に記載の視線アニメーション
表示装置。