JP6131429B2 - Information processing apparatus, information processing method, and computer program - Google Patents
Information processing apparatus, information processing method, and computer program Download PDFInfo
- Publication number
- JP6131429B2 JP6131429B2 JP2012277368A JP2012277368A JP6131429B2 JP 6131429 B2 JP6131429 B2 JP 6131429B2 JP 2012277368 A JP2012277368 A JP 2012277368A JP 2012277368 A JP2012277368 A JP 2012277368A JP 6131429 B2 JP6131429 B2 JP 6131429B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- concentration
- video
- change
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, and a computer program.
表示物を見ているユーザの姿を撮像し、そのユーザの姿の撮像結果から、表示物等に対するそのユーザの関心度合いを計算する技術が開示されている。例えば特許文献１では、ユーザの顔を撮像し、そのユーザの視線方向から、ユーザの注目度を計算する技術が開示されている。また例えば特許文献２では、ユーザを撮像し、ユーザの姿の映像を処理した結果からユーザの重心位置を求めることで、商品等に対するユーザの関心度合いを計算する技術が開示されている。また例えば特許文献３では、ユーザの顔を撮像し、ユーザの姿の映像を処理した結果から表情を識別する識別器の技術が開示されている。 There is disclosed a technique for capturing an image of a user looking at a display object and calculating a degree of interest of the user with respect to the display object or the like from an imaged result of the user image. For example, Patent Document 1 discloses a technique for capturing an image of a user's face and calculating the degree of attention of the user from the direction of the user's line of sight. Further, for example, Patent Literature 2 discloses a technique for calculating the degree of interest of a user with respect to a product or the like by obtaining a user's center of gravity position from a result of imaging a user and processing a video of the user's appearance. Further, for example, Patent Document 3 discloses a discriminator technique for identifying a facial expression from a result of processing an image of a user's figure by capturing a user's face.
既存の技術では、ユーザの視線方向を計測することでそのユーザの注目対象を算出することは行われている。しかし、単にユーザの視線方向を計測するだけでは、本当にそのユーザが視線方向にある表示物等に注目しているかどうかは分からない。つまり、視線は表示物等に向いていたとしても、そのユーザが併せて何か行動を起こしている場合には、何も行動を起こしていない場合に比べてその表示物への関心度合いは変化する（低下する）からである。 In the existing technology, the attention target of the user is calculated by measuring the user's line-of-sight direction. However, simply measuring the user's line-of-sight direction does not reveal whether the user is really paying attention to the display object or the like in the line-of-sight direction. In other words, even if the line of sight is directed toward a display object, the degree of interest in the display object changes when the user is taking action together as compared to when no action is being taken. This is because it does (decreases).
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの姿の映像を処理した結果から、表示物等に対するそのユーザの関心度合いを精度高く算出することが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to calculate the degree of interest of a user with respect to a display object or the like with high accuracy from the result of processing a video of the user's appearance. It is an object of the present invention to provide a new and improved information processing apparatus, information processing method, and computer program that can be performed.
上記課題を解決するために、本発明のある観点によれば、表示物を見る人物が撮像及び録音された映像を取得する映像取得部と、前記映像取得部が取得した前記映像を解析する映像解析部と、前記映像解析部の解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出部と、を備えることを特徴とする、情報処理装置が提供される。 In order to solve the above problems, according to an aspect of the present invention, a video acquisition unit that acquires a video captured and recorded by a person who views a display object, and a video that analyzes the video acquired by the video acquisition unit A concentration unit that calculates a degree of concentration of the person on the display object based on an orientation of the person's face, a change in the facial expression of the person, and a change in the movement of the person obtained by analysis of the analysis unit and the video analysis unit An information processing apparatus comprising: a degree calculation unit.
かかる構成によれば、映像取得部は、撮像装置等で撮像された、表示物を見る人物が撮像及び録音された映像を取得し、映像解析部は、映像取得部が取得した映像を解析する。そして集中度算出部は、映像解析部の解析によって得られる、映像に映っている人物の顔の向き、人物の表情の変化及び人物の動作の変化に基づき、人物の表示物への集中度を算出する。その結果、係る情報処理装置は、ユーザの撮像結果から、表示物等に対するそのユーザの関心度合いを精度高く算出することが出来る。 According to such a configuration, the video acquisition unit acquires the video captured and recorded by the person viewing the display object, which is captured by the imaging device or the like, and the video analysis unit analyzes the video acquired by the video acquisition unit. . Then, the concentration degree calculation unit calculates the concentration degree of the person on the display object based on the orientation of the person's face reflected in the image, the change in the facial expression of the person, and the change in the movement of the person obtained by the analysis of the image analysis unit. calculate. As a result, the information processing apparatus can calculate the degree of interest of the user with respect to the display object or the like with high accuracy from the imaging result of the user.
また、上記課題を解決するために、本発明の別の観点によれば、表示物を見る人物が撮像及び録音された映像を取得する映像取得ステップと、前記映像取得ステップで取得された前記映像を解析する映像解析ステップと、前記映像解析ステップでの解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出ステップと、を備えることを特徴とする、情報処理方法が提供される。 In order to solve the above problem, according to another aspect of the present invention, a video acquisition step of acquiring a video imaged and recorded by a person viewing a display object, and the video acquired in the video acquisition step Analyzing the image, and the concentration of the person on the display object based on the orientation of the person's face, the change in the expression of the person, and the change in the action of the person obtained by the analysis in the image analysis step There is provided an information processing method comprising a concentration degree calculating step for calculating a degree.
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、表示物を見る人物が撮像及び録音された映像を取得する映像取得ステップと、前記映像取得ステップで取得された前記映像を解析する映像解析ステップと、前記映像解析ステップでの解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出ステップと、を実行させることを特徴とする、コンピュータプログラムが提供される。 In order to solve the above-described problem, according to another aspect of the present invention, a computer that acquires a captured and recorded image of a person who views a display object in a computer is acquired in the image acquisition step. The display object of the person based on a video analysis step for analyzing the video, a change in the face direction of the person, a change in the facial expression of the person, and a change in the movement of the person obtained by the analysis in the video analysis step There is provided a computer program characterized by executing a concentration level calculating step for calculating a concentration level.
以上説明したように本発明によれば、ユーザの姿の映像を処理した結果から、表示物等に対するそのユーザの関心度合いを精度高く算出することが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提供することができる。 As described above, according to the present invention, a new and improved information processing apparatus capable of calculating the degree of interest of a user with respect to a display object or the like with high accuracy from a result of processing a video of a user's figure, An information processing method and a computer program can be provided.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
＜１．本発明の一実施形態＞
［表示装置の外観例］
以下では、本発明の情報処理装置の一例として、カメラその他の撮像装置及びマイクを備える表示装置を例示して、本発明の一実施形態を説明する。図１は、本発明の一実施形態に係る表示装置の外観例を示す説明図である。以下、図１を用いて本発明の一実施形態に係る表示装置の外観例について説明する。
<1. One Embodiment of the Present Invention>
[External appearance of display device]
Hereinafter, as an example of the information processing apparatus of the present invention, a camera or other imaging apparatus and a display device including a microphone will be exemplified to describe an embodiment of the present invention. FIG. 1 is an explanatory diagram illustrating an appearance example of a display device according to an embodiment of the present invention. Hereinafter, an appearance example of a display device according to an embodiment of the present invention will be described with reference to FIG.
図１は、表示装置１００を正面から見た状態を示したものである。図１に示した表示装置１００は、例えばテレビ受像機であり、テレビジョン放送を受信して表示することができる装置である。図１に示したように、表示装置１００は、テレビジョン放送を受信して表示するための表示部１１０を有する。表示部１１０は、液晶ディスプレイパネルであってもよく、プラズマディスプレイパネルであってもよく、有機ＥＬディスプレイパネルであってもよく、またこれら以外のディスプレイパネルであってもよい。
FIG. 1 shows a state in which the
そして本発明の一実施形態に係る表示装置１００は、図１に示したように、表示部１１０の上部中央部分に撮像部１０２及びマイク１０３を有する。撮像部１０２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサその他の撮像素子によって静止画像や動画像を電子的に撮像する機能を有する。またマイク１０３は、表示装置１００の前方に位置するユーザの声を集音する機能を有する。本実施形態では、撮像部１０２は特に、表示装置１００が表示する映像を見るユーザの姿を撮像するために設けられる。本実施形態に係る表示装置１００は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っているユーザの姿を解析することで、そのユーザがどの程度集中して表示装置１００が表示する映像を見ているかの関心度合いを算出する。本実施形態では、その関心度合いのことを「集中度」と規定する。
And the
本発明の一実施形態に係る表示装置１００は、ユーザの集中度を算出する際に、ユーザの視線方向の情報を用いることはもちろん、ユーザの表情の変化の情報や、ユーザの体の動きの変化の情報を用いる。本発明の一実施形態に係る表示装置１００は、ユーザの視線方向の情報、ユーザの表情の変化の情報、ユーザの体の動きの変化の情報を用いることで、表示物等に対するそのユーザの集中度を精度高く算出することができる。
The
以上、図１を用いて本発明の一実施形態に係る表示装置１００の外観例について説明した。次に、本発明の一実施形態に係る表示装置１００の機能構成例について説明する。
As described above, the appearance example of the
［表示装置の機能構成例］
図２は、本発明の一実施形態に係る表示装置１００の機能構成例を示す説明図である。以下、図２を用いて本発明の一実施形態に係る表示装置１００の機能構成例について説明する。
[Functional configuration example of display device]
FIG. 2 is an explanatory diagram illustrating a functional configuration example of the
図２に示したように、本発明の一実施形態に係る表示装置１００は、撮像部１０２と、マイク１０３と、表示部１１０と、映像処理部１１２と、顔向き検出部１１４と、表情検出部１１６と、動作検出部１１８と、集中度算出部１２０と、を含んで構成される。
As shown in FIG. 2, the
撮像部１０２は、図１に示したように、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサその他の撮像素子によって、表示装置１００が表示する映像を見るユーザの姿を電子的に撮像するように設けられる。撮像部１０２は、レンズや上述した撮像素子、Ａ／Ｄコンバータ等で構成される。そして撮像部１０２は、撮像した画像を後段の映像処理部１１２に供給する。マイク１０３は、表示装置１００の前方に位置するユーザの声を集音する機能を有する。マイク１０３は、集音した音を後段の映像処理部１１２に供給する。
As shown in FIG. 1, the
表示部１１０は、テレビジョン放送を受信して表示する装置であり、テレビジョン放送を受信するためのチューナ（図示せず）から送られてくる信号に基づいて映像を表示する。
The
映像処理部１１２は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に対する映像処理を実行する。映像処理部１１２が実行する映像処理には、例えば撮像部１０２が撮像した動画像のノイズを除去して画質を向上させる処理等がある。映像処理部１１２は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に対する映像に対する映像処理を実行すると、映像を顔向き検出部１１４、表情検出部１１６及び動作検出部１１８に供給する。
The
顔向き検出部１１４は、映像処理部１１２から供給される映像に人間が含まれていれば、その人間の顔の向きを検出する。顔向き検出部１１４は、映像中の人間の顔の向きの情報を集中度算出部１２０に送る。
If the image supplied from the
表情検出部１１６は、映像処理部１１２から供給される映像に人間が含まれていれば、その人間の表情の変化を検出する。表情検出部１１６は、人間の表情の変化を、例えばフレーム間の差分を取るなどして検出する。表情検出部１１６は、映像中の人間の表情の変化の情報を集中度算出部１２０に送る。
The facial
動作検出部１１８は、映像処理部１１２から供給される映像に人間が含まれていれば、その人間の動作の変化を検出する。動作検出部１１８は、人間の動作の変化を、例えばフレーム間の差分を取るなどして検出する。動作検出部１１８は、映像中の人間の動作の変化の情報を集中度算出部１２０に送る。
If the human being is included in the video supplied from the
集中度算出部１２０は、顔向き検出部１１４が検出した映像中の人間の顔の向きの情報、表情検出部１１６が検出した映像中の人間の表情の変化の情報、動作検出部１１８が検出した映像中の人間の動作の変化の情報から、その人間の集中度を算出する。
The degree-of-
本実施形態では、集中度算出部１２０は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っている人物が、視線を表示部１１０の方向に向け、表情も動作も全く変えてない状態で最大の集中度となるように集中度を算出する。そして集中度算出部１２０は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っている人物の視線が変化したり、表情や動きに変化があったりすると、その人物は表示部１１０が表示している映像から興味が逸れているとみなし、集中度を減少させるように集中度を算出する。
In the present embodiment, the degree-of-
集中度算出部１２０が算出した集中度は様々な形態で活用することができる。一例を挙げれば、集中度算出部１２０が算出した集中度は、表示部１１０に表示されるようにしても良い。また集中度算出部１２０が算出した集中度は、表示部１１０が表示している映像を放送している放送局に送られるようにしても良い。
The degree of concentration calculated by the concentration
本発明の一実施形態に係る表示装置１００は、図２に示したような構成を有することで、表示部１１０が表示している映像を見ている人物の集中度を、その人物が映っている映像の解析結果から算出することが出来る。
The
以上、図２を用いて本発明の一実施形態に係る表示装置１００の機能構成例について説明した。次に、本発明の一実施形態に係る表示装置１００の動作例について説明する。
The functional configuration example of the
［表示装置の動作例］
図３は、本発明の一実施形態に係る表示装置１００の動作例を示す流れ図である。図３に示したのは、表示装置１００に設けられた撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像から、ユーザの集中度を算出する際の、表示装置１００の動作例である。以下、図３を用いて本発明の一実施形態に係る表示装置１００の動作例について説明する。
[Operation example of display device]
FIG. 3 is a flowchart showing an operation example of the
表示装置１００は、表示部１１０で映像を表示している際に、撮像部１０２によって表示部１１０の前方方向の画像を撮像し、マイク１０３で表示部１１０の前方方向の音を集音することで、表示部１１０が表示する映像を見ているユーザの姿を映像で撮像する（ステップＳ１０１）。
The
上記ステップＳ１０１で、表示部１１０が表示する映像を見ているユーザの姿を映像で撮像すると、続いて表示装置１００は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像から、表示部１１０が表示する映像を見ているユーザの顔の向き、ユーザの表情の変化、ユーザの動作の変化をそれぞれ検出する（ステップＳ１０２、Ｓ１０３、Ｓ１０４）。
In step S <b> 101, when the image of the user who is viewing the image displayed on the
このステップＳ１０２、Ｓ１０３、Ｓ１０４において、ユーザの顔の向きは顔向き検出部１１４が、表情の変化は表情検出部１１６が、動作の変化は動作検出部１１８が、それぞれ検出する。なお、表情の変化や動作の変化の検出に際しては、表情検出部１１６や動作検出部１１８は、ある所定の時間（例えば３０秒間等）における変化量を、フレーム間差分その他の方法によって検出する。
In steps S102, S103, and S104, the face
表示部１１０が表示する映像を見ているユーザの顔の向き、ユーザの表情の変化、ユーザの動作の変化をそれぞれ検出すると、続いて表示装置１００は、これらの情報を用いて、そのユーザの集中度を算出する（ステップＳ１０５）。集中度の算出は集中度算出部１２０が行なう。なお、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に複数のユーザが含まれていれば、集中度算出部１２０はユーザごとに集中度を算出する。表示装置１００は、ユーザの違いを例えばユーザの顔を認識することによって判別するようにしても良い。
When the direction of the user's face, the change in the user's facial expression, and the change in the user's operation are detected while viewing the video displayed on the
上述したように本実施形態では、集中度算出部１２０は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っている人物が、視線を表示部１１０の方向に向け続け、表情も動作も全く変えていない状態で最大の集中度となるように集中度を算出する。以下の説明では、集中度算出部１２０は最大の集中度を１００とし、人物の視線が変化したり、表情や動きに変化があったりすると、最大の集中度１００から減算するようにしてユーザの集中度を算出する場合を説明する。もちろん、集中度の最大値は係る例に限定されるものではない。
As described above, in the present embodiment, the degree-of-
例えば、集中度算出部１２０は、以下の数式を用いることで、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っている人物の集中度Ａを算出する。なお、下記の数式においてαおよびβは係数であり、映像の表示状況や表示装置１００の設置環境等に応じて変化する値である。
For example, the concentration
集中度Ａ＝１００−（α×表情の変化量＋β×動作の変化量）×顔向き率 Concentration A = 100− (α × change in expression + β × change in motion) × face orientation rate
この数式は、顔向き検出部１１４が検出したユーザの顔の向きの情報を、顔向き率というパラメータに換算することで集中度Ａを算出するものである。つまり集中度算出部１２０は、ユーザが所定の時間内に表示部１１０の方向を何パーセント向いているかを求め、その率を、表情の変化量と動作の変化量の和に掛け合わせることで、最大の集中度（１００）から減算する値を決定する。
This formula calculates the degree of concentration A by converting the information of the user's face orientation detected by the face
なお、表情の変化量より動作の変化量の方が、集中度の減少に与える影響は大きいと考えられるので、集中度算出部１２０は、係数αより係数βの値を大きく設定して集中度Ａを算出しても良い。もちろん、集中度算出部１２０は、係数βより係数αの値を大きく設定して集中度Ａを算出しても良く、係数αと係数βの値を同じ値に設定して集中度Ａを算出しても良い。
It should be noted that the amount of change in movement is considered to have a greater effect on the decrease in the degree of concentration than the amount of change in facial expression, so the concentration
本発明の一実施形態に係る表示装置１００は、このように動作することで、表示部１１０が表示する映像を見ているユーザの集中度を求めることが出来る。
The
ここで、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像からユーザの集中度を算出する具体例を説明する。図４は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。図４に示したのは、ユーザが表示部１１０の方を向いている状態の映像における、あるフレームの画像の例である。
Here, a specific example will be described in which the user's concentration degree is calculated from the video obtained by the
図４に示したように、ユーザが表示部１１０の方を向いている状態が継続すれば、そのユーザは表示部１１０が表示する映像を集中して見ているものと考えられる。従って、図４に示した状態を続けていれば、集中度算出部１２０は、そのユーザの集中度は１００であるとするように集中度を算出する。そして集中度算出部１２０は、この図４に示した状態を基準としてユーザの集中度を算出していく。
As illustrated in FIG. 4, if the state where the user is facing the
図５は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。図５に示したのは、ユーザが図４と同様に表示部１１０の方を向いているが、表情が図４に示した場合から変化した状態の画像の例である。
FIG. 5 is an explanatory diagram illustrating an example of an image obtained by the
表示部１１０が表示する映像を見ているユーザの表情が変化したということは、表示部１１０が表示している映像に反応したということも考えられるが、表示部１１０が表示している映像とは無関係に反応したということも考えられる。そこで本実施形態では、表情検出部１１４が、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っているユーザの表情の変化を検出し、集中度算出部１２０は、表情検出部１１４が検出したユーザの表情の変化に応じて集中度を減算させていく。
The fact that the facial expression of the user who is viewing the video displayed on the
図６は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。図６に示したのは、ユーザが図４と同様に表示部１１０の方を向いているが、ユーザの体勢が図４に示した場合から変化した状態の画像の例である。
FIG. 6 is an explanatory diagram illustrating an example of an image obtained by the
表示部１１０が表示する映像を見ているユーザの体勢が変化したということは、表示部１１０が表示している映像に反応したということも考えられるが、表示部１１０が表示している映像とは無関係に反応したということも考えられる。そこで本実施形態では、動作検出部１１６が、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像に映っているユーザの体勢の変化を検出し、集中度算出部１２０は、表情の変化の場合と同様に、動作検出部１１６が検出したユーザの体勢の変化に応じて集中度を減算させていく。動作検出部１１６は、ユーザの体勢の変化の他に、ユーザが発した声の変化を検出しても良く、集中度算出部１２０は、動作検出部１１６が検出した、ユーザが発した声の変化の状況を用いて集中度を減算させていくようにしてもよい。
The fact that the posture of the user who is viewing the video displayed on the
図７は、撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像の例を示す説明図である。図７に示したのは、ユーザの顔の向きが表示部１１０の方ではない方向を向いている状態の画像の例である。
FIG. 7 is an explanatory diagram illustrating an example of an image obtained by the
ユーザの顔の向きが表示部１１０の方ではない方向を向いているということは、表示部１１０が表示している映像へのユーザの集中度が低下したことを意味すると考えられる。そこで上述したように、集中度算出部１２０は、ユーザが所定の時間内に表示部１１０の方向を何パーセント向いているかを求め、その率を、表情の変化量と動作の変化量の和に掛け合わせることで、最大の集中度（１００）から減算する値を決定する。
The fact that the user's face is facing the direction other than the
集中度算出部１２０は、このようにして撮像部１０２が撮像し、マイク１０３が集音したことで得られる映像から、その映像に映っているユーザの集中度を求めることができる。
The concentration
集中度算出部１２０は、上述の係数αおよびβを、顔向き率に応じて変化させても良い。つまり、顔向き率に応じて下記の数式のように係数を変化させても良い。
The concentration
（顔向き率が８０％以上の場合）
集中度Ａ＝１００−（α１×表情の変化量＋β１×動作の変化量）
（顔向き率が５０％以上８０％未満の場合）
集中度Ａ＝１００−（α２×表情の変化量＋β２×動作の変化量）
（顔向き率が５０％未満の場合）
集中度Ａ＝１００−（α３×表情の変化量＋β３×動作の変化量）
(When face orientation rate is 80% or more)
Concentration A = 100− (α 1 × expression change + β 1 × motion change)
(If the face orientation rate is 50% or more and less than 80%)
Concentration A = 100− (α 2 × expression variation + β 2 × motion variation)
(If the face orientation rate is less than 50%)
Concentration A = 100− (α 3 × expression variation + β 3 × motion variation)
上述の数式では、α１＜α２＜α３、β１＜β２＜β３であるとする。つまり、ユーザが表示部１１０の方向を向いている割合が多ければ多いほど、変化量に乗じる係数を小さくする。集中度算出部１２０は、このように係数を変化させることで、ユーザが表示部１１０の方向をあまり向いていなければ、少しの変化でも集中度Ａが大きく減少するようにユーザの集中度を算出する。
In the above formula, it is assumed that α 1 <α 2 <α 3 and β 1 <β 2 <β 3 . That is, the greater the proportion of the user facing the
上述の説明では、顔向き検出部１１４、表情検出部１１６、動作検出部１１８、及び集中度算出部１２０が、表示装置１００の内部に設けられる形態を示したが、本発明は係る例に限定されるものではない。例えば、表示装置１００の表示部１１０に表示されている映像を見ているユーザを撮像部１０２で撮像した映像データを表示装置１００から取得して、その映像データを、上述の顔向き検出部１１４、表情検出部１１６、動作検出部１１８、及び集中度算出部１２０と同じ機能を実行する装置に与えて、当該装置で映像データを解析することで、ユーザの集中度を算出するようにしてもよい。
In the above description, the face
また上述の説明では、表示装置１００は、上記数式を用いてユーザの集中度を算出していたが、表示装置１００は、算出される集中度の妥当性を学習し、ユーザの集中度の算出にその学習結果をフィードバックするようにしても良い。また表示装置１００は、ユーザの動き等から算出される集中度を学習することで、ユーザの動きの変化と集中度との因果関係をモデル化してもよい。ユーザの動きの変化と集中度との因果関係のモデル化には、例えばベイジアンネットワーク等の確率推論アルゴリズムが用いられていても良い。
In the above description, the
例えば、算出される集中度の学習の結果、ユーザが腕を上げた時に集中度が１０低下することが明らかになってくると、表示装置１００は、ユーザが腕を上げたことを検知すると、その検知によって集中度を１０低下させるように集中度算出部１２０で算出するようにしてもよい。
For example, if learning of the calculated concentration level reveals that the concentration level decreases by 10 when the user raises the arm, the
また、表示装置１００に撮像部１０２が設けられる形態の他に、図８に示したように、表示装置１００に撮像装置２００が接続される形態も考えられる。なお、図８に示したように、表示装置１００に撮像装置２００が接続される場合は、ユーザが撮像装置２００の方を向いている場合に、ユーザが表示部１１０の方を向いているとは限らない。従って、集中度の算出に際し、表示装置１００と撮像装置２００との位置関係に応じて、ユーザが向いている方向を補正することが望ましい。
In addition to the configuration in which the
図９は、本発明の一実施形態に係る表示装置１００の動作例を示す説明図である。図９に示したのは、図８のように表示装置１００に撮像装置２００及びマイク２１０が接続されている場合に、撮像装置２００が撮像し、マイク２１０が集音したことで得られる映像からユーザの集中度を算出する際の、表示装置１００の動作例である。以下、図９を用いて本発明の一実施形態に係る表示装置１００の動作例について説明する。
FIG. 9 is an explanatory diagram illustrating an operation example of the
表示装置１００は、表示部１１０で映像を表示している際に、表示部１１０が表示する映像を見ているユーザの姿を撮像装置２００で撮像させる（ステップＳ１１１）。
The
上記ステップＳ１１１で、表示部１１０が表示する映像を見ているユーザの姿を撮像装置２００で撮像させると、続いて表示装置１００は、撮像装置２００が撮像し、マイク２１０が集音したことで得られる映像から、表示部１１０が表示する映像を見ているユーザの顔の向き、ユーザの表情の変化、ユーザの動作の変化をそれぞれ検出する（ステップＳ１１２、Ｓ１１３、Ｓ１１４）。ユーザの顔の向きは顔向き検出部１１４が、表情の変化は表情検出部１１６が、動作の変化は動作検出部１１８が、それぞれ検出する。なお、表情の変化や動作の変化の検出に際しては、表情検出部１１６や動作検出部１１８は、ある所定の時間（例えば３０秒間等）における変化量を検出する。
In step S <b> 111, when the image of the user watching the video displayed on the
続いて表示装置１００は、撮像装置２００の撮像方向及び表示部１１０の表示方向の情報を用いて、上記ステップＳ１１２で検出した顔向きを補正する（ステップＳ１１５）。この補正は例えば顔向き検出部１１４が実行する。例えば、撮像装置２００の撮像方向と表示部１１０の表示方向との間に１０度の開きがあれば、撮像装置２００が撮像した画像を水平方向に１０度ずらした方向が表示部１１０の方向であるので、顔向き検出部１１４は、上記ステップＳ１１２で検出した顔向きを１０度ずらして、実際のユーザの顔向きとする。
Subsequently, the
表示部１１０が表示する映像を見ているユーザの顔の向き、ユーザの表情の変化、ユーザの動作の変化をそれぞれ検出すると、続いて表示装置１００は、これらの情報を用いて、そのユーザの集中度を算出する（ステップＳ１１６）。集中度の算出は集中度算出部１２０が行なう。なお、撮像装置２００が撮像し、マイク２１０が集音したことで得られる映像に複数のユーザが含まれていれば、集中度算出部１２０はユーザごとに集中度を算出する。
When the direction of the user's face, the change in the user's facial expression, and the change in the user's operation are detected while viewing the video displayed on the
このように本発明の一実施形態に係る表示装置１００は、表示装置１００に撮像装置２００が接続される場合であっても、撮像装置２００の撮像方向及び表示部１１０の表示方向の情報を用いて顔向きを補正することで、適切にユーザの集中度を算出することができる。
As described above, the
上述の説明では、ユーザが所定の時間内に表示部１１０の方向を何パーセント向いているかを求め、顔向き率を表情の変化量と動作の変化量との和に掛け合わせることで、最大の集中度（１００）から減算する値を決定していたが、本発明は係る例に限定されるものではない。例えば、１分間あたりの顔向き率が同じ７５％であっても、ユーザが表示部１１０を４５秒間見続けて、１５秒間見なかった場合と、４秒に１秒のペースでユーザが表示部１１０から目を離した場合とで、集中度に差をつけても良い。
In the above description, the percentage of the direction the
＜２．まとめ＞
以上説明したように本発明の一実施形態によれば、表示部１１０が表示する映像を見ているユーザの姿を撮像し、そのユーザの状態から、集中度を求めることが出来る表示装置１００を提供することができる。表示装置１００は、表示部１１０が表示する映像を見ているユーザの姿の撮像結果から、そのユーザの表情や動きの変化、または表示部１１０の方を向いている割合を求め、これらの情報から集中度を求めることが出来る。
<2. Summary>
As described above, according to the embodiment of the present invention, the
なお、上述した本発明の一実施形態では、表示装置１００はテレビジョン放送を受信して映像を表示する装置であると説明したが、本発明は係る例に限定されるものではない。例えば表示装置１００は、インターネットその他のネットワークを経由して配信される映像を表示してもよく、ＤＶＤなどのソフトを再生することによって映像を表示してもよい。
In the above-described embodiment of the present invention, it has been described that the
また、上述した本発明の一実施形態では、表示装置１００が表示する映像を見るユーザの姿を撮像する場合を示したが、本発明が適用される形態は係る例に限定されるものではない。例えば、絵画や音、広告の近くに、上記実施形態における撮像装置２００を設置しておき、その絵画や広告を見たり、音を聞いたりしている人物の姿を撮像する場合にも、本発明は同様に適用されてもよい。この場合は、その絵画や広告を見たり、音を聞いたりしている人物の集中度を算出することになり、どの絵画や広告が集中して閲覧されているか、またどの音が集中して聴かれているかが取得できる。
Further, in the above-described embodiment of the present invention, the case where the image of the user who views the video displayed on the
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。 Each step in the processing executed by each device in the present specification does not necessarily have to be processed in time series in the order described as a sequence diagram or flowchart. For example, each step in the processing executed by each device may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。 In addition, it is possible to create a computer program for causing hardware such as a CPU, ROM, and RAM incorporated in each device to exhibit functions equivalent to the configuration of each device described above. A storage medium storing the computer program can also be provided. Moreover, a series of processes can also be realized by hardware by configuring each functional block shown in the functional block diagram with hardware.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
１００ 表示装置
１０２ 撮像部
１１０ 表示部
１１２ 映像処理部
１１４ 顔向き検出部
１１６ 表情検出部
１１８ 動作検出部
１２０ 集中度算出部
２００ 撮像装置
２１０ マイク
DESCRIPTION OF
Claims (11)
前記映像取得部が取得した前記映像を解析する映像解析部と、
前記映像解析部の解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出部と、
を備え、
前記集中度算出部は、前記顔の向きから所定期間における前記表示物への顔向き率を算出し、前記人物の表情の変化及び前記人物の動作の変化に基づいて求まる値に前記顔向き率を乗じることで前記集中度を算出することを特徴とする、情報処理装置。 A video acquisition unit for acquiring a video imaged and recorded by a person viewing the display object;
A video analysis unit for analyzing the video acquired by the video acquisition unit;
A degree-of-concentration calculating unit that calculates the degree of concentration of the person on the display object based on the orientation of the person's face, the change in the facial expression of the person, and the change in the movement of the person obtained by the analysis of the video analysis unit; ,
Equipped with a,
The concentration degree calculating unit calculates a face direction rate to the display object in a predetermined period from the face direction, and calculates the face direction rate to a value obtained based on a change in the facial expression of the person and a change in the movement of the person. It characterized that you calculate the degree of concentration by multiplying the information processing apparatus.
前記映像取得ステップで取得された前記映像を解析する映像解析ステップと、
前記映像解析ステップでの解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出ステップと、
を備え、
前記集中度算出ステップでは、前記顔の向きから所定期間における前記表示物への顔向き率を算出し、前記人物の表情の変化及び前記人物の動作の変化に基づいて求まる値に前記顔向き率を乗じることで前記集中度を算出することを特徴とする、情報処理方法。 A video acquisition step of acquiring a video imaged and recorded by a person viewing the display object;
A video analysis step of analyzing the video acquired in the video acquisition step;
Concentration calculation step for calculating the concentration of the person on the display object based on the orientation of the person's face, the change in the facial expression of the person, and the change in the action of the person obtained by the analysis in the video analysis step. When,
Equipped with a,
In the concentration degree calculating step, a face direction rate to the display object in a predetermined period is calculated from the face direction, and the face direction rate is calculated based on a change in the facial expression of the person and a change in the movement of the person. It characterized that you calculate the degree of concentration by multiplying the information processing method.
表示物を見る人物が撮像及び録音された映像を取得する映像取得ステップと、
前記映像取得ステップで取得された前記映像を解析する映像解析ステップと、
前記映像解析ステップでの解析によって得られる前記人物の顔の向き、前記人物の表情の変化及び前記人物の動作の変化に基づき、前記人物の前記表示物への集中度を算出する集中度算出ステップと、
を実行させ、
前記集中度算出ステップでは、前記顔の向きから所定期間における前記表示物への顔向き率を算出し、前記人物の表情の変化及び前記人物の動作の変化に基づいて求まる値に前記顔向き率を乗じることで前記集中度を算出することを特徴とする、コンピュータプログラム。
On the computer,
A video acquisition step of acquiring a video imaged and recorded by a person viewing the display object;
A video analysis step of analyzing the video acquired in the video acquisition step;
Concentration calculation step for calculating the concentration of the person on the display object based on the orientation of the person's face, the change in the facial expression of the person, and the change in the action of the person obtained by the analysis in the video analysis step. When,
Was executed,
In the concentration degree calculating step, a face direction rate to the display object in a predetermined period is calculated from the face direction, and the face direction rate is calculated based on a change in the facial expression of the person and a change in the movement of the person. It characterized that you calculate the degree of concentration by multiplying the computer program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012277368A JP6131429B2 (en) | 2012-12-19 | 2012-12-19 | Information processing apparatus, information processing method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012277368A JP6131429B2 (en) | 2012-12-19 | 2012-12-19 | Information processing apparatus, information processing method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014120137A JP2014120137A (en) | 2014-06-30 |
| JP6131429B2 true JP6131429B2 (en) | 2017-05-24 |
Family
ID=51174883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012277368A Expired - Fee Related JP6131429B2 (en) | 2012-12-19 | 2012-12-19 | Information processing apparatus, information processing method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6131429B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016024577A (en) * | 2014-07-18 | 2016-02-08 | 株式会社Ｎｔｔドコモ | User behavior recording device, user behavior recording method, and program |
| CN111339801B (en) * | 2018-12-19 | 2023-10-17 | 杭州海康威视系统技术有限公司 | Personnel attention detection method, device, equipment and system |
| JP7530079B2 (en) * | 2019-07-19 | 2024-08-07 | 株式会社フォーサイト | Learning system, learning lecture delivery method, and program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6873710B1 (en) * | 2000-06-27 | 2005-03-29 | Koninklijke Philips Electronics N.V. | Method and apparatus for tuning content of information presented to an audience |
| JP2006293979A (en) * | 2005-03-18 | 2006-10-26 | Advanced Telecommunication Research Institute International | Content provision system |
| JP2007034664A (en) * | 2005-07-27 | 2007-02-08 | Sony Corp | Emotion estimation apparatus and method, recording medium, and program |
| JP4876687B2 (en) * | 2006-04-19 | 2012-02-15 | 株式会社日立製作所 | Attention level measuring device and attention level measuring system |
| JP4338147B2 (en) * | 2007-08-02 | 2009-10-07 | 技研トラステム株式会社 | Product interest level measuring device |
| JP5213778B2 (en) * | 2009-03-26 | 2013-06-19 | Ｋｄｄｉ株式会社 | Facial recognition device and facial organ feature point identification method |
| JP5234833B2 (en) * | 2010-01-19 | 2013-07-10 | 日本電信電話株式会社 | Facial expression classifier creation apparatus, facial expression classifier creation method, facial expression recognition apparatus, facial expression recognition method, and programs thereof |
-
2012
- 2012-12-19 JP JP2012277368A patent/JP6131429B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014120137A (en) | 2014-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102388588B1 (en) | Image denoising model training method, imaging denoising method, devices and storage medium | |
| JP5976035B2 (en) | Image display apparatus and control method | |
| CN102687522B (en) | Display device and control method | |
| US9036038B2 (en) | Information processing apparatus and method for extracting and categorizing postures of human figures | |
| CN107220942B (en) | Method and apparatus for image representation and processing of dynamic vision sensors | |
| US12541997B2 (en) | Training system and data collection device | |
| JP6593629B2 (en) | Image processing apparatus, solid-state imaging device, and electronic device | |
| US11036966B2 (en) | Subject area detection apparatus that extracts subject area from image, control method therefor, and storage medium, as well as image pickup apparatus and display apparatus | |
| JP5680524B2 (en) | Image processing device | |
| US20150310594A1 (en) | Method for imaging processing, and image processing device | |
| US9531938B2 (en) | Image-capturing apparatus | |
| US9256954B2 (en) | Image analysis apparatus to analyze state of predetermined object in image | |
| WO2007119680A1 (en) | Image pickup device | |
| US9088709B2 (en) | Image processing apparatus and method for controlling the same, and image pickup apparatus | |
| EP1991957A2 (en) | Method and device for removing motion blur effects | |
| JP6131429B2 (en) | Information processing apparatus, information processing method, and computer program | |
| US20190065898A1 (en) | Drowsiness detection apparatus and drowsiness detection method thereof | |
| WO2013092248A1 (en) | Video processing apparatus and method for detecting a temporal synchronization mismatch | |
| KR102147300B1 (en) | Preventing motion artifacts by intelligently disabling video stabilization | |
| JP2006101447A (en) | Image capturing apparatus and image restoration method | |
| US9554042B2 (en) | Preventing motion artifacts by intelligently disabling video stabilization | |
| JP2017097767A (en) | Movement information acquisition device, movement information acquisition method, and program | |
| JP2007265125A (en) | Content display device | |
| JP2012065114A (en) | Imaging device, imaging method, and program | |
| JP2014120139A (en) | Image process device and image process device control method, imaging device and display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170221 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170322 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170322 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6131429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |