JPH0653106B2 - Line-of-sight information analyzer - Google Patents
Line-of-sight information analyzerInfo
- Publication number
- JPH0653106B2 JPH0653106B2 JP4162806A JP16280692A JPH0653106B2 JP H0653106 B2 JPH0653106 B2 JP H0653106B2 JP 4162806 A JP4162806 A JP 4162806A JP 16280692 A JP16280692 A JP 16280692A JP H0653106 B2 JPH0653106 B2 JP H0653106B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- eyeball
- function
- eye movement
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004424 eye movement Effects 0.000 claims description 47
- 210000005252 bulbus oculi Anatomy 0.000 claims description 35
- 238000004458 analytical method Methods 0.000 claims description 34
- 238000012731 temporal analysis Methods 0.000 claims 1
- 238000000700 time series analysis Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 17
- 238000012351 Integrated analysis Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010183 spectrum analysis Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 1
- 230000003534 oscillatory effect Effects 0.000 description 1
- 238000012882 sequential analysis Methods 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
Description
【０００１】[0001]
【産業上の利用分野】この発明は視線情報解析装置に関
し、特に、観察者に提示される画像内容と、観察者の眼
球運動の不随意的な挙動とがお互いに強い相関があるこ
とを利用し、眼球運動の時系列的な変化を解析すること
により、実像と画像を観察した場合の観察者の心理的な
状態を予測あるいは客観的評価をするような視線情報解
析装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a line-of-sight information analysis device, and in particular, it utilizes the fact that the image content presented to an observer and the involuntary behavior of the eye movement of the observer have a strong correlation with each other. However, the present invention relates to an eye-gaze information analysis device that predicts or objectively evaluates the psychological state of an observer when observing a real image and an image by analyzing changes in eye movement over time.
【０００２】[0002]
【従来の技術】視線の動きには、随意的な成分と不随意
的な成分が含まれていることが知られている。特に、眼
球運動の不随意的な挙動を指標とした画像評価が近年盛
んになってきている。その多くは、検出された眼球の速
度，注視時間を主な評価尺度として解析が行なわれてい
る。また、解析の方法は、特定時間、継続的に検出され
た挙動成分を積分した形で捉えていた。この時間につい
ても、定性的な根拠もなかったため、解析する時間領域
の長さに依存して、解析結果に違いが生じる場合がある
という問題点があった。さらに、提示した画像内容を解
析し、眼球運動との定量的な相関を求めたものもなかっ
たため、検出された眼球の挙動を解析する際、かなりお
おまかな傾向を記述するにとどまっていた。2. Description of the Related Art It is known that the movement of a line of sight includes an optional component and an involuntary component. In particular, image evaluation using involuntary eye movement behavior as an index has become popular in recent years. Most of them are analyzed using the detected eye velocity and gaze time as the main evaluation scales. In addition, the method of analysis was to capture the behavior component detected continuously for a specific time in the form of integration. Since there is no qualitative basis for this time as well, there is a problem that the analysis result may differ depending on the length of the time domain to be analyzed. Furthermore, there was no one that analyzed the contents of the presented image and obtained a quantitative correlation with the eye movement, so when analyzing the behavior of the detected eyeball, it only described a fairly rough tendency.
【０００３】図９は従来の視線情報解析装置の概要を示
す図である。図９を参照して、特定の間、被験者は提示
された画像２を自然な状態で観察している。このとき、
眼球運動検出装置３によって被験者の眼球１の変位が検
出され、メモリ４に蓄えられるか、あるいは解析装置５
によって実時間で眼球１の移動速度，注視時間がモニタ
リングされる。あるいは、特定の時間分のデータを一括
して、周波数領域に移して解析することが中心的に行な
われている。FIG. 9 is a diagram showing an outline of a conventional line-of-sight information analysis device. Referring to FIG. 9, the subject observes the presented image 2 in a natural state during the identification. At this time,
The displacement of the eyeball 1 of the subject is detected by the eye movement detecting device 3 and is stored in the memory 4, or the analyzing device 5 is used.
The moving speed and the gaze time of the eyeball 1 are monitored in real time. Alternatively, data for a specific time is collectively transferred to the frequency domain and analyzed.
【０００４】[0004]
【発明が解決しようとする課題】従来より、視覚実験で
は眼球運動を眼球運動検出装置３で検出し、その挙動を
何らかの尺度により解析が行なわれている。しかしなが
ら、被験者に提示した画像内容との相関付けを厳密に行
なった例はなく、その解析の方法に関しても、特定の時
間測定された結果についてのものはあるが、刻々と変化
する眼球運動の挙動を解析したものはなかった。眼球運
動と表示内容を相関付ける意義については、１つには動
画像表示を行なったような場合、シーンが変化したとき
の眼球運動との対応付けを説明するのに必要である。表
示される画像が静止画像であっても、特定の観察時間に
おいては、刻々と被験者の興味の対象が変わっていく、
画像内容の精細さに応じた眼球運動の挙動に変化が生じ
たりする点、など動画像の場合と同様にして、静止画像
の場合についても、上述に述べたような対応付けは必要
である。よって、視線の情報を解析するために、統合解
析部を備えることが必要である。Conventionally, in a visual experiment, an eye movement is detected by an eye movement detecting device 3 and its behavior is analyzed by some scale. However, there is no example that strictly correlates with the image content presented to the subject, and regarding the analysis method, there are some results measured at a specific time, but the behavior of the eye movement that changes moment by moment. There was nothing analyzed. Regarding the significance of correlating the eye movement with the display content, it is necessary to explain the correspondence with the eye movement when the scene changes, for example, when a moving image is displayed. Even if the image displayed is a still image, the subject of interest changes from moment to moment at a particular observation time,
Similar to the case of a moving image, such as the point that the behavior of eye movement changes according to the fineness of the image content, the above-described correspondence is necessary also in the case of a still image. Therefore, it is necessary to provide the integrated analysis unit in order to analyze the information on the line of sight.
【０００５】しかしながら、上述のごとく、従来の眼球
を指標とした画像評価の方法は、画像内容を解析し、眼
球運動とを定量的に相関付けたものではなく、また、眼
球運動の挙動を時系列的に解析したものではなかった。However, as described above, the conventional image evaluation method using the eyeball as an index does not analyze the image contents and quantitatively correlate it with the eyeball movement. It was not a serial analysis.
【０００６】それゆえに、この発明の主たる目的は、人
の画像に対する客観的な評価方法がより広範囲に、柔軟
に適用できるように、画像内容と眼球運動の相関を見出
すアルゴリズムと、眼球運動を時系列的に解析し、その
特徴量を見出すアルゴリズムとを備えた視線情報解析装
置を提供することである。Therefore, a main object of the present invention is to provide an algorithm for finding a correlation between image contents and eye movements so that an objective evaluation method for human images can be applied in a wider range and flexibly. It is an object of the present invention to provide a line-of-sight information analysis device equipped with an algorithm for performing sequential analysis and finding the feature amount.
【０００７】[0007]
【課題を解決するための手段】この発明は視線情報解析
装置であって、眼球の任意の移動量を検出する眼球運動
検出手段と、検出された時間空間上の眼球の挙動データ
を適当な長さのセグメントに分割し、分割された区間毎
に周波数空間に変換し、時系列的な解析をするための解
析手段と、入力された画像を解析し、その解析結果に応
じて画像の持つ異なる複数の特徴量に対して、それぞれ
に重み付けを行ない、その画像の特徴を表現する関数を
記述する関数記述手段と、解析手段による解析結果と関
数記述手段によって記述された結果とを、それぞれの項
目についての関数で一意に結びつけて予測関数を記述し
て統合する統合手段と、統合手段によって記述された画
像内容と眼球の挙動についての予測関数に基づき、画像
内容が既知で眼球の挙動が未知の場合、または眼球の挙
動が既知で画像の内容が未知の場合、それぞれの未知量
を予め記述された予測関数で推定する推定手段を備えて
構成される。SUMMARY OF THE INVENTION The present invention is a line-of-sight information analysis device, which comprises an eye movement detecting means for detecting an arbitrary amount of movement of the eyeball and an eyeball behavior data in the detected time space to an appropriate length. The input image is analyzed according to the analysis means for analyzing the input image by dividing it into frequency segments and converting into a frequency space for each divided section, and analyzing the input image differently. A plurality of feature quantities are weighted respectively and a function description means for describing a function expressing the feature of the image, an analysis result by the analysis means and a result described by the function description means are provided for each item. Based on the predicting function about the image content and the behavior of the eyeball described by the integrating means, the predicting function is uniquely associated with the predicting function and the predicting function is integrated. If the behavior is unknown, or if the behavior of the eye is the content of the image is unknown known, and comprises an estimation means for estimating by the prediction function that is previously described with each of the unknown quantity.
【０００８】[0008]
【作用】この発明にかかる視線情報解析装置は、画像を
評価しようとする被験者の意思決定過程を、眼球運動の
時間軸上で見たその挙動の変化と、提示される画像内容
と眼球運動との相関付けから推定し、人の画像に対する
客観的な評価結果を得る。The visual line information analyzing apparatus according to the present invention is a change in behavior of the decision-making process of a subject who wants to evaluate an image as seen on the time axis of the eye movement, the image content presented, and the eye movement. Estimate from the correlation of the, and obtain the objective evaluation result for the human image.
【０００９】[0009]
【実施例】図１はこの発明の一実施例の概略ブロック図
である。図１を参照して、眼球運動検出装置３は眼球１
の任意の移動量を検出するものであり、その検出出力は
解析装置５に与えられる。解析装置５は眼球運動検出装
置３で検出された眼球運動の変位情報を適当なセグメン
ト長に分割し、分割された時間領域の各セグメントを周
波数領域へ変換する。解析装置５による解析結果は統合
解析部６に与えられる。1 is a schematic block diagram of an embodiment of the present invention. Referring to FIG. 1, the eye movement detecting device 3 includes an eyeball 1
Is detected, and the detection output is given to the analyzer 5. The analysis device 5 divides the eye movement displacement information detected by the eye movement detection device 3 into appropriate segment lengths, and converts each divided segment in the time domain into a frequency domain. The analysis result by the analysis device 5 is given to the integrated analysis unit 6.
【００１０】一方、画像入力部７は、表示すべき画像を
入力するものであり、入力された画像は表示内容解析装
置８に与えられ、画像の特徴量が解析される。その解析
結果は統合解析部６に与えられる。また、表示内容解析
装置８から画像情報が表示装置９に与えられ、画像２が
提示される。On the other hand, the image input section 7 is for inputting an image to be displayed, and the input image is given to the display content analyzing device 8 and the feature amount of the image is analyzed. The analysis result is given to the integrated analysis unit 6. Further, image information is given to the display device 9 from the display content analysis device 8 and the image 2 is presented.
【００１１】統合解析部６は解析装置５から与えられた
眼球運動の解析結果と、表示内容解析装置８から与えら
れた表示内容の解析結果とに基づいて、それぞれの項目
についての関数で一意に結びつけて予測関数を記述して
統合する。さらに、統合解析部６は、予測関数に基づ
き、画像内容が既知で、眼球の挙動が未知の場合、また
は眼球の挙動が既知で、画像の内容が未知の場合、それ
ぞれの未知量を予め記述された予測関数で推定する。Based on the analysis result of the eye movement given from the analysis device 5 and the analysis result of the display contents given from the display contents analysis device 8, the integrated analysis unit 6 uniquely uses a function for each item. Connect and describe the prediction function and integrate. Further, when the image content is known and the eyeball behavior is unknown, or the eyeball behavior is known and the image content is unknown, the integrated analysis unit 6 describes each unknown amount in advance based on the prediction function. Estimate with the predicted function.
【００１２】図２は図１に示した解析装置５による眼球
運動の時系列データのセグメント化とその解析方法につ
いて説明するための図である。図２（ａ）に示すよう
に、有限長の眼球の変位データ１１は、特定の長さのセ
グメントｄk （ｋ＝１，２…ｎ）で切取られる。ただ
し、各セグメントの長さは一定である。各セグメントの
データは、図２（ｂ）に示すように、分解能の良好な最
大エントロピー法により、周波数領域のデータ１２に変
換される。変換された各セグメントのデータＤk（ｋ＝
１，２…ｎ）は、図２（ｃ）に示すように、周波数軸，
パワースペクトル軸，時間軸の３軸の三次元表示データ
１３として表現される。FIG. 2 is a diagram for explaining segmentation of time series data of eye movements by the analysis device 5 shown in FIG. 1 and its analysis method. As shown in FIG. 2A, the displacement data 11 of the eyeball having a finite length is cut out by a segment d k (k = 1, 2 ... N) having a specific length. However, the length of each segment is constant. As shown in FIG. 2B, the data of each segment is converted into frequency domain data 12 by the maximum entropy method with good resolution. Converted data of each segment D k (k =
1, 2, ... N) are frequency axes, as shown in FIG.
It is expressed as three-dimensional display data 13 having three axes of a power spectrum axis and a time axis.
【００１３】このグラフから、画像を観察している場
合、観察者の意思決定過程を初めとして、逆にどのよう
なテクスチャー画像を観察しているかを推定することが
可能となる。すなわち、どのくらいの時間に、どれだけ
の周波数帯域が得られるか、または特定の周波数がどの
時間で生じるのか、パワースペクトルのピークはどのよ
うなものかなど、従来になく、解析に必要な評価尺度が
増える点において、有効である。From this graph, when observing an image, it is possible to estimate what kind of texture image is being observed, starting with the decision making process of the observer. That is, how much frequency band can be obtained at what time, at what time a specific frequency occurs, what kind of peak in the power spectrum, etc. Is effective in that
【００１４】図３は図１に示した統合解析部における眼
球運動と画像内容の関数を決定する方法を説明するため
の図である。図３を参照して、統合解析部６は眼球運動
時系列変化検出系と画像特徴量時系列変化検出系とを含
む。このために、統合解析部６は眼球運動時系列変化検
出部６１と画像特徴量時系列変化検出部６２とを含む。
これらの特徴量を定量的に結びつけるため、予め定める
規則にしたがって変数が割当てられる。眼球運動時系列
変化検出部６１で検出された眼球運動時系列変化に対し
て割当部６３によって変数Ａが割当てられ、画像特徴量
時系列変化検出部６２で検出された画像特徴量時系列変
化に対して変数割当部６４によって変数Ｂが割当てられ
る。眼球運動に関しての変数の割当ては、３（ｘ，ｙ，
ｚ）軸上に展開された眼球の時系列的な挙動６５に関し
て、その関数をＧ１（ｘ，ｙ，ｚ）とし、この関数を別
な関数Ｇ２で近似する場合（６６）に得られる係数列ｂ
１，ｂ２，ｂ３，…ｂｎを示す。２つの関数の近似の方
法は、２つの関数の差の二乗（｜Ｇ1 −Ｇ2 ｜2 ）が最
小６７になる問題を解くことによる。ニュートンラプラ
ス法などにより、近似解として、ｂ１，ｂ２，ｂ３，…
ｂｎ６８が得られ、関数Ｇ２の係数ａ１，ａ２，…ａｎ
が決定される。FIG. 3 is a diagram for explaining a method of determining a function of eye movement and image contents in the integrated analysis unit shown in FIG. Referring to FIG. 3, integrated analysis unit 6 includes an eye movement time series change detection system and an image feature amount time series change detection system. Therefore, the integrated analysis unit 6 includes an eye movement time-series change detection unit 61 and an image feature amount time-series change detection unit 62.
In order to quantitatively connect these feature quantities, variables are assigned according to a predetermined rule. The variable A is assigned by the assigning unit 63 to the eye movement time-series change detected by the eye movement time-series change detection unit 61, and the variable A is assigned to the image feature amount time-series change detected by the image feature amount time-series change detection unit 62. The variable B is allocated by the variable allocation unit 64. The assignment of variables for eye movements is 3 (x, y,
z) Regarding the time-series behavior 65 of the eyeball developed on the axis, its function is G1 (x, y, z), and the coefficient sequence obtained when (66) is approximated by another function G2 b
1, b2, b3, ... Bn are shown. The method of approximating the two functions is to solve the problem that the square of the difference between the two functions (| G 1 −G 2 | 2 ) becomes the minimum 67. Approximate solutions b1, b2, b3, ...
bn68 is obtained, and the coefficients a1, a2, ... An of the function G2 are obtained.
Is determined.
【００１５】このようにして、特定の画像に対する眼球
運動の時空間関数が決定される。次に、画像内容につい
ては、画像のｆ１：粗さ，ｆ２：コントラスト，ｆ３：
色合い，ｆ４：テクスチャーというような項目６９につ
いて評価式がたてられる。そして、線形の自己回帰モデ
ル式７０によって重み付けパラメータｃ１，ｃ２，…ｃ
ｍで１つの関数Ｇ３で画像の特徴量が表現される。ただ
し、動画像の場合は、各項目に関する方程式ｆ１，ｆ
２，…ｆｎは、時間の関数として表現できる。In this way, the spatiotemporal function of eye movement for a particular image is determined. Next, regarding the image contents, the image f1: roughness, f2: contrast, f3:
An evaluation formula is set for the item 69 such as hue, f4: texture. Then, using the linear autoregressive model equation 70, the weighting parameters c1, c2, ...
The feature amount of the image is represented by one function G3 in m. However, in the case of a moving image, equations f1 and f related to each item
2, ... Fn can be expressed as a function of time.
【００１６】図４は単純なパターンにおける眼球運動と
画像内容との相関の例を説明するための図である。この
図４に示した例は、図４（ｃ）に示す斜め状のテクスチ
ャー画像４１を被験者に観察させた場合に、図４
（ａ），（ｂ）に示すように眼球運動のスペクトル解析
結果４０が得られる。眼球の成分間には、図４（ａ）に
示すｘ成分の方が、図４（ｂ）に示すｙ成分よりも周波
数帯域が広いという偏りが生じている。画像内容をその
分散で比較すると、眼球運動の偏りに応じてｘ成分の方
が大きいものであった。この結果から、たとえば眼球の
各成分の最大周波数成分ｆｘ，ｆｙの比と画像の分散値
の比を取ると、図４（ｄ）に示すように、一定の関係が
算出される。FIG. 4 is a diagram for explaining an example of the correlation between the eye movement and the image content in a simple pattern. In the example shown in FIG. 4, when the subject observes the oblique texture image 41 shown in FIG.
As shown in (a) and (b), the spectrum analysis result 40 of the eye movement is obtained. There is a bias between the eyeball components that the x component shown in FIG. 4A has a wider frequency band than the y component shown in FIG. 4B. Comparing the image contents in terms of the variance, the x component was larger depending on the deviation of the eye movement. From this result, for example, if the ratio of the maximum frequency components fx and fy of each component of the eyeball and the variance value of the image is taken, a certain relationship is calculated as shown in FIG. 4 (d).
【００１７】図５は車のようなパターンを提示したとき
の眼球運動と画像内容との相関の例を説明するための図
である。図５（ｃ）に示すように、複数の車のエッジ画
像５１を被験者に観察させた場合の眼球運動のスペクト
ル解析結果は図５（ａ），（ｂ）に示すようになった。
この実験の場合、図５（ａ）に示すように眼球のｘ成分
および図５（ｂ）に示すｙ成分は、図５（ｄ）に示すよ
うに、その周波数帯域を時間方向で見ると、繰返し広く
なったり、狭くなったりしているのがわかる。仮に、時
間軸方向で解析を行ない終わらない場合は、このような
眼球運動の独特の振る舞いについては、決して見出すこ
とができないと言える。これは、ちょうど各成分につい
て、平均をとった操作結果に等しい。このようにして処
理した結果について、両者を比較すると、画像と眼球運
動の間には一定の関係があることがわかる。FIG. 5 is a view for explaining an example of the correlation between the eye movement and the image content when a car-like pattern is presented. As shown in FIG. 5C, the spectrum analysis result of the eye movement when the subject observes the edge images 51 of the plurality of cars is shown in FIGS. 5A and 5B.
In the case of this experiment, the x component of the eyeball as shown in FIG. 5 (a) and the y component of FIG. 5 (b) have the following frequency bands in the time direction as shown in FIG. 5 (d): It can be seen that it repeatedly widens and narrows. If the analysis is not completed in the time axis direction, it can be said that such a peculiar behavior of the eye movement cannot be found. This is equal to the averaged operation result for each component. Comparing the results of processing in this manner, it can be seen that there is a certain relationship between the image and the eye movement.
【００１８】なお、眼球の各時間区間での周波数の最大
値と、時間軸とでグラフを記述した後、前述のごとく特
定の１つの関数でｆｘ，ｆｙを近似表現できる。同様
に、パワースペクトルの最大値と時間軸とのグラフも１
つの表現として表現でき、解析結果を扱いやすくするこ
とができる。After the graph is described by the maximum value of the frequency in each time section of the eyeball and the time axis, fx and fy can be approximated by one specific function as described above. Similarly, the graph of the maximum value of the power spectrum and the time axis is 1
It can be expressed as one expression, and the analysis result can be handled easily.
【００１９】図６は眼球運動の時系列データのセグメン
ト化とその解析方法を説明するための図である。図６
（ａ）に示すある風景の原画像７０と、図６（ｂ）に示
すそのエッジ画像７１について、画像の特徴量ｇi （ｉ
＝１，５）が算出される（ｂi（ｉ＝１，１０））。次
に、眼球運動を解析した結果について、図６（ｃ），
（ｄ）に示す。それぞれの画像の場合について、周波数
帯域，パワースペクトラムと時間軸についてグラフに表
現すると、図６（ｅ），（ｆ）に示すようになる。図６
（ｅ）と（ｆ）とを対比すると明らかなように、周波
数，パワースペクトルの時間変位には明らかな違いがあ
る。原画像の場合は、単峰性のピークがあるのに対し
て、エッジ画像の場合には振動的な結果となっているの
がわかる。画像内容と眼球の相関については、特に、エ
ッジ画像のような場合には、定量的にいって画像の特徴
量ｇ２，ｇ３が他の特徴量に比べてかなり大きく、その
ときの眼球運動は周波数，パワースペクトルを尺度とし
た場合、振動的な関係となることがわかる。FIG. 6 is a diagram for explaining the segmentation of time series data of the eye movement and its analysis method. Figure 6
For the original image 70 of a certain landscape shown in (a) and its edge image 71 shown in FIG. 6 (b), the feature amount g i (i
= 1,5) is calculated (b i (i = 1,10)). Next, regarding the result of analyzing the eye movement, FIG.
It shows in (d). When the frequency band, the power spectrum, and the time axis are expressed in a graph for each image, they are as shown in FIGS. 6 (e) and 6 (f). Figure 6
As is clear from comparison between (e) and (f), there is a clear difference in the time displacement of the frequency and power spectra. It can be seen that the original image has a monomodal peak, whereas the edge image has a vibrational result. Regarding the correlation between the image content and the eyeball, particularly in the case of an edge image, quantitatively, the image feature amounts g2 and g3 are considerably larger than other feature amounts, and the eye movement at that time is a frequency. , When the power spectrum is used as a scale, it can be seen that there is an oscillatory relationship.
【００２０】図７は画像内容と眼球の挙動に関しての予
想関数を作成する例を説明するための図である。この図
７においては、画像内容と眼球の挙動の関係について、
２つの例を示している。関数ｆ１，ｆ２は、それぞれｗ
１，ｗ２のベクトルで表わされているような予め視覚実
験で確められている相互関係に基づいて、算術的に決定
されたものである。この△印および●印は、それぞれ予
測関数により推定された値である。すなわち、関数ｖ＝
ｆ（ｕ）において、集合ｗ１に決定された関数ｆ１が記
述できた場合、ｕ３の場合についてｖが推定され、ｖ３
が既知の場合はｕが推定される。関数ｆ２の場合につい
ても同様にして求められる。FIG. 7 is a diagram for explaining an example of creating a prediction function for the image content and the behavior of the eyeball. In FIG. 7, regarding the relationship between the image content and the behavior of the eyeball,
Two examples are shown. Functions f1 and f2 are w
It is arithmetically determined on the basis of the mutual relationship established by a visual experiment in advance as represented by the vector of 1, w2. The Δ mark and the ● mark are values estimated by the prediction function, respectively. That is, the function v =
In f (u), when the function f1 determined in the set w1 can be described, v is estimated for the case of u3, and v3
If is known, u is estimated. The same applies to the case of the function f2.
【００２１】図８は画像内容または眼球の挙動が未知の
場合の予測関数を用いた推定とその応用例を示す図であ
る。眼球の挙動に応じた画像を提示しようとするような
視線制御系を有する装置において、画像内容が既知の場
合、視線により制御を行なおうとする観察者に画像を提
示する直前に、関数に基づいて眼球の挙動を推定したと
する。このような制御系では、制御の時間遅れが問題と
なっているため、このような方式で画像内容と眼球運動
との相関が予めわかっていると、ある程度、生理的な根
拠に基づいた新しい方式で、眼球の規則を予測できて時
間遅れ問題を回避できる。FIG. 8 is a diagram showing an estimation using a prediction function and its application example when the image content or the behavior of the eyeball is unknown. In a device having a line-of-sight control system that attempts to present an image according to the behavior of the eyeball, if the image content is known, immediately before the image is presented to the observer who intends to control by the line of sight, based on a function. Suppose that the behavior of the eyeball is estimated by In such a control system, since the time delay of control is a problem, if the correlation between the image content and the eye movement is known in advance by such a method, a new method based on a physiological basis is used to some extent. Then, the rule of the eyeball can be predicted and the time delay problem can be avoided.
【００２２】次の例として、画像が何らかの目的で評価
を行なう場合がある。この場合は、前述の説明とは逆
に、眼球の挙動が既知で、画像内容が未知の場合であ
る。同様にして、予測関数が定まっているとして観察者
が評価を行なおうとしている画像内容を推定するとす
る。従来より、一般に観察者の主観的な画像に対する評
価結果はばらついており、何らかの手法により信頼性を
高める必要があった。あらかじめ求められている客観的
な画像内容と眼球の挙動との相関を指標にすれば、評価
された結果に対する信頼性自体に対して評価ができる。As a next example, an image may be evaluated for some purpose. In this case, contrary to the above description, the behavior of the eyeball is known and the image content is unknown. Similarly, it is assumed that the prediction function is determined and the image content that the observer is trying to evaluate is estimated. Conventionally, the evaluation result of a viewer's subjective image generally varies, and it is necessary to improve reliability by some method. By using the correlation between the objective image content and the behavior of the eyeball that is obtained in advance as an index, the reliability itself of the evaluated result can be evaluated.
【００２３】[0023]
【発明の効果】以上のように、この発明によれば、眼球
運動を検出し、検出された眼球の時系列変化を周波数領
域で表示し、また表示される画像の内容を解析し、両者
を統合処理することにより、被験者の心理的な観察状
態，画像に対する客観的な評価について、従来になく容
易に信頼性の高いデータを得ることができる。As described above, according to the present invention, the eye movement is detected, the time-series change of the detected eyeball is displayed in the frequency domain, and the content of the displayed image is analyzed, and both are detected. The integrated processing makes it possible to obtain highly reliable data regarding the psychological observation state of the subject and the objective evaluation of the image more easily than ever before.
【図１】この発明の一実施例の概略ブロック図である。FIG. 1 is a schematic block diagram of an embodiment of the present invention.
【図２】この発明の一実施例における眼球運動の時系列
データのセグメント化とその解析方法を説明するための
図である。FIG. 2 is a diagram for explaining segmentation of time series data of eye movements and an analysis method thereof according to an embodiment of the present invention.
【図３】図１に示した統合解析部における眼球運動と画
像内容の関数決定方法を説明するための図である。FIG. 3 is a diagram for explaining a method for determining a function of eye movement and image content in the integrated analysis unit shown in FIG.
【図４】単純なパターンでの眼球運動と画像内容との相
関の例を示す図である。FIG. 4 is a diagram showing an example of a correlation between eye movement and image content in a simple pattern.
【図５】車のようなパターンを提示したときの眼球運動
と画像内容との相関の例を示す図である。FIG. 5 is a diagram showing an example of a correlation between eye movement and image content when a car-like pattern is presented.
【図６】同一内容でテクスチャーの異なる画像を提示し
たときの眼球運動と画像内容との相関の例を示す図であ
る。FIG. 6 is a diagram showing an example of correlation between eye movement and image content when images of the same content but different textures are presented.
【図７】画像内容と眼球の挙動に関しての予測関数の作
成例を示す図である。FIG. 7 is a diagram showing an example of creating a prediction function for image content and eyeball behavior.
【図８】画像内容または眼球の挙動が未知の場合の予測
関数を用いた推定とその応用例を示す図である。FIG. 8 is a diagram showing an estimation using a prediction function and its application example when the image content or the behavior of the eyeball is unknown.
【図９】従来の視線情報解析装置の概略ブロック図であ
る。FIG. 9 is a schematic block diagram of a conventional eye gaze information analysis device.
１ 眼球 ２ 画像 ３ 眼球運動検出装置 ５ 解析装置 ６ 統合解析部 ７ 画像入力部 ８ 表示内容解析装置 ９ 表示装置 1 Eyeball 2 Image 3 Eye movement detection device 5 Analysis device 6 Integrated analysis unit 7 Image input unit 8 Display content analysis device 9 Display device
Claims (1)
検出手段、 前記眼球運動検出手段によって検出された時間空間上の
眼球の挙動データを適当な長さのセグメントに分割し、
分割された区間毎に周波数空間に変換し、時系列的な解
析をするための解析手段、 入力された画像を解析し、その解析結果に応じて、画像
の持つ異なる複数の特徴量に対して、それぞれに重み付
けを行ない、該画像の特徴を表現する関数を記述する関
数記述手段、 前記解析手段による解析結果と、前記関数記述手段によ
って記述された結果とを、それぞれの項目についての関
数で一意に結びつけて予測関数を記述し、統合する統合
手段、および前記統合手段によって記述された前記画像
内容と眼球の挙動についての予測関数に基づき、前記画
像内容が既知で前記眼球の挙動が未知の場合、または前
記眼球の挙動が既知で前記画像の内容が未知の場合、そ
れぞれの未知量を予め記述された予測関数で推定する推
定手段を備えた、視線情報解析装置。1. Eye movement detecting means for detecting an arbitrary amount of movement of the eyeball, dividing the eyeball movement data in the time space detected by the eye movement detecting means into segments of an appropriate length,
Analyzing means for performing time-series analysis by converting each divided section into frequency space, analyzing the input image, and depending on the analysis result, for multiple different feature quantities of the image , A function description means for weighting each and describing a function expressing the feature of the image, an analysis result by the analysis means, and a result described by the function description means are unique in a function for each item. Integrating means for describing a predictive function in association with, and integrating based on the predictive function for the image content and the behavior of the eyeball described by the integrating means, when the image content is known and the behavior of the eyeball is unknown Alternatively, when the behavior of the eyeball is known and the content of the image is unknown, the line-of-sight information analysis includes estimation means for estimating each unknown amount by a prediction function described in advance. Location.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4162806A JPH0653106B2 (en) | 1992-06-22 | 1992-06-22 | Line-of-sight information analyzer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4162806A JPH0653106B2 (en) | 1992-06-22 | 1992-06-22 | Line-of-sight information analyzer |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06162A JPH06162A (en) | 1994-01-11 |
| JPH0653106B2 true JPH0653106B2 (en) | 1994-07-20 |
Family
ID=15761579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4162806A Expired - Fee Related JPH0653106B2 (en) | 1992-06-22 | 1992-06-22 | Line-of-sight information analyzer |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0653106B2 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7449081B2 (en) | 2000-06-21 | 2008-11-11 | E. I. Du Pont De Nemours And Company | Process for improving the emission of electron field emitters |
| JP4054713B2 (en) * | 2003-04-25 | 2008-03-05 | 忠彦 福田 | Puzzled detection method and puzzled detection program |
| JP4396450B2 (en) * | 2003-10-29 | 2010-01-13 | セイコーエプソン株式会社 | Gaze guidance degree calculation system, gaze guidance degree calculation program, and gaze guidance degree calculation method |
| JP4396430B2 (en) | 2003-11-25 | 2010-01-13 | セイコーエプソン株式会社 | Gaze guidance information generation system, gaze guidance information generation program, and gaze guidance information generation method |
| JP4207883B2 (en) | 2004-03-24 | 2009-01-14 | セイコーエプソン株式会社 | Gaze guidance degree calculation system |
| ES2535364T3 (en) * | 2004-06-18 | 2015-05-08 | Tobii Ab | Eye control of computer equipment |
| JP2010094493A (en) * | 2008-09-22 | 2010-04-30 | Koichi Kikuchi | System for deciding viewer's feeling on viewing scene |
| GB201200122D0 (en) * | 2012-01-05 | 2012-02-15 | Univ Aberdeen | An apparatus and a method for psychiatric evaluation |
| JP5765740B2 (en) * | 2012-05-21 | 2015-08-19 | 国立大学法人東京工業大学 | Attention position estimation device |
| KR101417470B1 (en) | 2012-12-12 | 2014-07-08 | 현대자동차주식회사 | Apparatus and method for checking gaze object |
| KR101879387B1 (en) * | 2017-03-27 | 2018-07-18 | 고상걸 | Calibration method for gaze direction tracking results |
| CN110897608B (en) * | 2019-12-15 | 2022-05-03 | 深圳市具安科技有限公司 | Zebra fish eye movement analysis method and device and computer equipment |
-
1992
- 1992-06-22 JP JP4162806A patent/JPH0653106B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06162A (en) | 1994-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0653106B2 (en) | Line-of-sight information analyzer | |
| Hajifar et al. | A forecasting framework for predicting perceived fatigue: Using time series methods to forecast ratings of perceived exertion with features from wearable sensors | |
| JP4761924B2 (en) | Skin condition diagnosis system and beauty counseling system | |
| KR102265525B1 (en) | Method and system for diagnosing skin based on an artificial intelligence | |
| WO2006043702A1 (en) | Skin condition diagnostic system and beauty counseling system | |
| US10964062B2 (en) | Skin evaluation device, skin evaluation method, and skin evaluation program | |
| EP1346662A1 (en) | Mascara selecting method, mascara selecting system, and mascara counseling tool | |
| Cadik et al. | Evaluation of two principal approaches to objective image quality assessment | |
| JP7017712B2 (en) | Relationship analyzers, relationship analysis methods and programs | |
| US9080854B2 (en) | Tactile surface texture characterisation method | |
| JP7017711B2 (en) | Relationship analyzers, relationship analysis methods and programs | |
| JP2009032033A (en) | Motion boundary detection method and work analysis system | |
| JP7061272B2 (en) | Motion analysis device, motion analysis method, motion analysis program and motion analysis system | |
| KR20190014728A (en) | Continuous skin condition estimating method using infrared image | |
| JP7419787B2 (en) | Time series data analysis device | |
| JP7502849B2 (en) | Motion analysis device, motion analysis method, motion analysis program, and motion analysis system | |
| EP1043663A1 (en) | Mathematical relation identification apparatus and method | |
| WO2019208152A1 (en) | Information processing device and program | |
| JP7164553B2 (en) | Apparatus and method for measuring hair kinematic properties | |
| Falk et al. | Correlation between haptically perceived quality characteristics and measured technical parameters for leather surfaces. | |
| König et al. | Cutting tool condition monitoring using eigenfaces: Tool wear monitoring in milling | |
| JP2671666B2 (en) | Kansei evaluation device | |
| KR101928501B1 (en) | Skin acidity estimating method using image | |
| Li et al. | Estimating Contact Force Rate Using Skin Deformation Cues | |
| Mitsuhashi | Technical Skill Evaluation and Training Using Motion Curved Surface in Considered Velocity and Acceleration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19950207 |
|
| LAPS | Cancellation because of no payment of annual fees |