Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5337609B2 - 放送受信装置 - Google Patents
[go: Go Back, main page]

JP5337609B2 - 放送受信装置 - Google Patents

放送受信装置 Download PDF

Info

Publication number
JP5337609B2
JP5337609B2 JP2009166277A JP2009166277A JP5337609B2 JP 5337609 B2 JP5337609 B2 JP 5337609B2 JP 2009166277 A JP2009166277 A JP 2009166277A JP 2009166277 A JP2009166277 A JP 2009166277A JP 5337609 B2 JP5337609 B2 JP 5337609B2
Authority
JP
Japan
Prior art keywords
face
broadcast receiving
viewer
information
gaze degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009166277A
Other languages
English (en)
Other versions
JP2011023909A (ja
Inventor
真愉子 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Consumer Electronics Co Ltd
Original Assignee
Hitachi Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Consumer Electronics Co Ltd filed Critical Hitachi Consumer Electronics Co Ltd
Priority to JP2009166277A priority Critical patent/JP5337609B2/ja
Priority to US12/790,286 priority patent/US8526667B2/en
Priority to CN2010101985661A priority patent/CN101959033B/zh
Publication of JP2011023909A publication Critical patent/JP2011023909A/ja
Application granted granted Critical
Publication of JP5337609B2 publication Critical patent/JP5337609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV programme

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は放送受信装置に関する。
従来の放送受信装置では従来の放送受信装置では操作者に操作の決定権があり、他の視聴者への配慮が欠けていた。これに対して、特許文献1では、複数のユーザが自分専用のリモコンを使い、所定の優先順位によって、操作できるリモコンを決定する場合、リモコンの操作回数や操作時間に制限を設け、優先順位を変動させるように工夫するものである。
特開2003-111161号公報
特許文献1では、自分専用のリモコンについて、リモコンの操作回数や操作時間に制限を設け、優先順位を変動させるように工夫すると言う特徴を有するものである。
ところで、複数の視聴者が視聴する場合においては、ある視聴者が集中して番組を視聴している時に、他の視聴者に突然チャンネルを変更されたり、録画予約など視聴中の番組の画面が隠れてしまうような操作をされたりする場合があり、気分が害されせっかくの番組を楽しめなくなってしまうという課題が想定される。
本発明は、上記課題を考慮してなされたもので、装置の操作者以外の視聴者の視聴を邪魔することを従来よりも低減出来るような操作手段を実現する放送受信装置を提供する事を目的とする。
この目的を実現するため、例えば特許請求の範囲に記載の構成を採用する。
本発明によれば、操作者以外の視聴者の注視度情報が所定の値より小さくなるまで操作を保留する。そのため、従来に比べて、視聴者は邪魔される事が低減され、番組に集中でき、快適に視聴できるように改善されるものである。
本発明の実施例1にかかる放送受信装置の構成図 個人区別手段のブロック図 注視度算出手段のブロック図 操作実行判定手段のブロック図 個人区別処理のフローチャート 個人識別手段が記憶する顔検知結果 個人識別手段が記憶する顔テンプレート 注視度算出のフローチャート テンプレート作成処理のフローチャート 注視度算出手段が記憶する個人毎注視度情報 テレビ視聴者を表す図 テレビ操作者判断方式の一例を表す図 操作実行判定のフローチャート 操作保留中の処理フローチャート
以下、本発明の実施の形態について図面を用いて説明する。
図1は本発明の実施例1にかかる放送受信装置(以下テレビと記す)の構成図である。
110は撮像手段、120は顔検知手段、130は個人区別手段、140は注視度算出手段、150は操作実行判定手段、160は操作イベント検知手段、170は制御手段である。なお、以下では、注視度情報のことを単に注視度と呼ぶことにする。
撮像手段110はテレビを視聴している視聴者の映像を撮像する手段である。撮像手段110で撮像された映像は顔検知手段120と個人区別手段130、注視度算出手段140、操作実行判定手段150に入力される。顔検知手段120は前記撮像手段110で撮影された映像、画像から顔を含む顔領域画像情報を得て、当該顔領域画像情報を得た後に顔領域を検知し、顔を検知する顔検知情報を生成して、顔検知結果を個人区別手段130に入力する。顔領域の検知方式については特に制限しない。顔を検知する顔検知情報に対応して、顔を検知可能とする情報である顔モデルテンプレート情報を用いて検知する方法など既存の技術を採用してもよい。顔検知結果として、検知した顔毎に顔領域の座標、大きさを出力する。なお、以下では、テンプレート情報のことをテンプレートと呼ぶことにする。
個人区別手段130は検知された顔検知結果を用いて撮像手段110で撮像された画像から顔領域の映像を切り出し、個人テンプレートと比較して個人を区別し、識別子を割り当て、顔検知手段120が生成した顔検知結果に個人を区別する識別子情報を付加する。
以下、顔検知結果に個人を区別する識別子情報を付加した情報を識別子付加顔検知結果600(図6)と呼ぶ。個人区別の方式、および、個人区別に用いる個人テンプレートの作成方式については特に制限しない。目や口、鼻など顔の器官を検知し特徴点を比較する方式など既存の技術を採用しても良い。注視度算出手段140は個人区別手段130が生成した識別子付加顔検知結果600(図6)を用いて撮像手段110で撮像された画像から顔領域の映像を切り出し、個人毎に注視度を算出する。
なお、顔検知、個人識別、注視度算出の処理は、撮像手段110が映像を撮影する時間単位(フレーム毎)に行っても良いし、所定の時間間隔を処理時間単位として行っても良い。
操作実行判定手段150は、操作イベント検知手段160から入力される操作イベントを契機に、撮像手段110で撮像された映像信号と、個人区別手段130から得た識別付き顔検知結果から操作者と、それ以外の視聴者を判断し、それ以外の視聴者の注視度によって操作の実行を判定した判定結果を制御手段170に出力する。
操作イベント検知手段160はここには記載していないリモコンや操作パネルによる操作イベントを検知し、チャンネル切り替えや録画予約など視聴を妨げる操作イベントを検知したら操作実行判定手段150に通知する。
制御手段170は、ここでは記載していないテレビ全体の制御を行う手段である。また、操作実行判定手段150の判定結果に従い、リモコンや操作パネルによる操作の実行を制御する。
以下、個人区別手段130、注視度算出手段140、操作実行判定手段150の処理の詳細について順次説明する。
個人区別手段130は顔検知手段120で検知された顔検知結果情報を用いて、撮像された視聴者各々に識別子を付けて区別する手段である。
以下、図2、図5、図6を用いて説明する。
図2は個人区別手段130のブロック図、図5は個人区別処理のフローチャート、図6は個人識別手段が記憶する識別子付加顔検知結果600を示す図、図7は個人識別手段が記憶する個人テンプレートを示す図である。
図2に示すように、個人区別手段130は顔追跡手段131、顔区別手段132、テンプレート作成手段133、記憶手段134で構成する。
顔追跡手段131は顔検知手段120で検知された顔検知結果に含まれる顔が、前フレーム(処理時間単位)での個人区別処理で記憶手段134に記憶した識別子付加顔検知結果600のどの識別子の顔に対応するかを判断する手段である。顔を追跡する方式としては、輝度信号を用いた代表点マッチング方式や、動きベクトルを検出しそれに基づいて追跡する方式など、既存の技術を用いても良い。
顔追跡手段131による顔追跡結果は以下3つの状態を判断する。
(1)「在席」:識別子付加顔検知結果600に対応の取れる顔があった場合。
(2)「新規」:顔検知手段120で検知した顔検知結果と対応の取れる顔が識別子付加顔検知結果600に存在しない場合。
(3)「離席」:顔検知手段120で検知した顔検知結果と対応の取れない識別子加顔検知結果600が存在する場合。
顔区別手段132は、個人テンプレートと顔検知手段120で検知された顔領域の画像データを比較して、個人テンプレートが記憶されている既知の視聴者か、新規の視聴者かを判断する。既知の視聴者の場合は、該当する識別子の識別子付加顔検知結果600を更新する。また、新規の視聴者の場合は仮識別子を割り当て識別子付加顔検知結果600に追加する。
テンプレート作成手段133は顔検知手段120で検知された顔領域の画像データを用いて個人テンプレートを作成する手段である。図7に示すように、識別子と個人テンプレートを対応づけ出来るように記憶する。また、1つの識別子に対して複数の個人テンプレートを記憶できる。
記憶手段134は識別子付加顔検知結果600と個人テンプレートを記憶する。物理的には、他の記憶手段と共通であっても問題ない。
以下、図5の個人区別処理のフローチャートを用いて個人区別処理について説明する。
s501:s501は顔追跡処理である。顔追跡結果によって処理を分岐する。
顔追跡結果が「在席」なら視聴中の視聴者が継続して視聴中と判断しs502へ。
顔追跡結果が「新規」なら新しい視聴者が現れたと判断しs504へ。
顔追跡結果が「離席」なら視聴者がテレビの前を離れたと判断してs509へ。
s502:視聴者が継続して「在席」している場合の識別子付加顔検知結果情報更新処理s503へ。
s503:s501で「在席」と判断された識別子(601)の識別子付加顔検知結果600情報を更新する。
「状態」情報(602):「在席」
「顔検知結果」情報(603):顔検知手段120で検知された情報で置き換え
s504:新しい視聴者が現れたのでs505以下のステップで顔区別処理を行う。
s505:記憶手段134に登録された個人テンプレートを参照し、個人テンプレートが記憶されている既知の視聴者か、新規の視聴者かを判断する。登録データと合致した場合は合致した個人テンプレートで識別子を参照、取得してs506へ。合致しなかった場合s507へ。
s506:s505で既知の視聴者と判断された識別子(601)の識別子付加顔検知結果600情報を更新する。
「状態」情報(602):「新規」
「顔検知結果」情報(603):顔検知手段120で検知された情報で置き換え
s507:新規の視聴者に仮識別子を割り当て
s508:仮識別子を割り当てられた新規視聴者の情報を識別子付加顔検知結果600情報に追加。
「状態」情報(602):「新規」
「顔検知結果」情報(603):顔検知手段120で検知された情報
s509:視聴者が「離席」した場合の識別子付加顔検知結果情報更新処理s510へ。
s510:s501で「離席」と判断された識別子(601)の識別子付加顔検知結果600情報を更新する。
「状態」情報(602):「離席」
「顔検知結果」情報(603):消去
注視度算出手段140は個人区別手段130が生成した識別子付加顔検知結果600を用いて撮像手段110で撮像された画像から顔領域の映像を切り出し、個人毎に注視度を算出する手段である。
以下、図3、図8、図10を用いて説明する。
図3は注視度算出手段140のブロック図、図8は注視度算出のフローチャート、図10は個人毎注視度情報を示す図である。
図3に示すように、注視度算出手段140は顔向き検出手段141、瞬間注視度算出手段142、区間注視度算出手段143、注視度記憶手段144で構成する。
顔向き検出手段141は回転の大きさ、上下の傾き、左右の傾きからなる顔方向を算出し、顔方向情報を元に顔がテレビの方向を向いているか、向いていないかの正面判定を行う。回転の大きさ、上下の傾き、左右の傾きの算出方式は3次元顔モデルを顔画像にフィットさせて判定する方式など既存の技術を用いても良い。
正面判定は、例えば、顔の特徴器官(両目、鼻、口)がすべて入っている顔画像で、回転の大きさの絶対値が95度以下、上下傾きの絶対値が5度以下、左右傾きが5度以下などの条件を満足するものを正面と判断する。回転の大きさの範囲を広く取っているのは、頬杖をついている状態や、横になって視聴している状態も検知するためである。
なお、必ずしもこの方式でなくてもよく、テレビに対して視聴者の顔が正面を向いているかどうかを判断できる方式であればよい。
瞬間注視度算出手段142は所定の時間間隔で視聴者毎の瞬間注視度を算出し、常に定められた時間長分(以下、区間と記す)の最新の瞬間注視度を注視度記憶手段144に記録する。
区間注視度算出手段143は瞬間注視度算出手段142が算出した、区間分の瞬間注視度を元に、最新の区間注視度を算出し注視度記憶手段144に記録する。
注視度記憶手段144は図10に示すように、区間分の瞬間注視度1001と区間注視度1002を記録する。瞬間注視度と区間注視度は、共に個人区別手段140で割り振られた識別子1000で参照可能である。瞬間注視度1001はリングバッファ構造のメモリ領域に記録され、常に区間分の最新の瞬間注視度(瞬間注視度列)が記憶される。また、図中t0,t1・・・は全ての視聴者に対し同時刻の瞬間注視度を算出したスナップショットとなっている。
以下、図8の注視度算出のフローチャートを用いて注視度算出について説明する。
s801:個人区別手段130が生成した識別子付加顔検知結果600から注視度算出する対象の状態を識別子で参照する。状態が「離籍」でない場合はs802の顔向き判定処理に移る。状態が「離籍」の場合は、瞬間注視度を−1(s806)とする。そして、s809の区間注視度算出に処理を移す。
s802:撮像手段110で撮像された画像から顔領域の映像を用いて顔向き判定する。3次元顔モデルを顔画像にフィットさせて判定する方式など既存の技術を用いて顔がテレビに対して正面を向いているか、否かを判定する(s802)。顔が正面を向いている場合はs804、それ以外の場合はs805で瞬間注視度を決定する。
s804:顔がテレビに対して正面を向いているときを注視して視聴している状態と判断し瞬間注視度を1とする。そして、s807に処理を移す。
s805:顔がテレビに対して正面を向いていないときは注視して視聴していない状態と判断して瞬間注視度を0とする。そして、s809に処理を移す。
s807:正面と判定された顔の識別子が仮識別子かどうかを判定する。仮識別子の場合はs808、仮識別子出ない場合はs809に処理を移す。
s808:識別子が仮識別子の顔は、個人テンプレートが記憶されていない未登録の顔であるか、もしくは、一部が隠れているなど、顔画像の撮影状態が悪く個人を区別できなかったことを表す。そこで、顔向きを正面と判定したとき、個人区別手段130に個人テンプレートの作成を要求し、その顔に割り当てられた顔識別子を取得する。そして、注視度記憶手段144に記録されている仮識別子の値を割り当てられた識別子で置き換える。このようにすることで、個人の区別状態が仮識別子で区別していた仮状態から、個人テンプレートが登録された既知の個人として区別できる本状態に変化した場合も、区間分の最新の瞬間注視度情報を途切れることなく継続的に保持できる。なお、個人テンプレート作成処理については、別途説明する。
s809:s809では注視度記憶手段144に記録されている区間分の瞬間注視度情報から区間注視度算出を算出する。算出方式は、区間時間における注視状態、すなわち、瞬間注視度が1の割合とする。しかし、この方式に限らず、瞬間注視度が1の状態が2回以上連続して出現した割合などでもよい。区間注視度は瞬間注視度を算出する所定の時間間隔と同期して更新され、注視度記憶手段144には区間注視度情報1002には常に最新の区間注視度が記憶されている。
以下、図9の個人テンプレート作成処理のフローチャートを用いて、個人区別手段140における個人テンプレート作成手順を説明する。
s901:個人テンプレート作成要求を待ち、作成要求があった場合はs902に処理を移す。
s902:個人テンプレート作成を要求された顔画像と記憶手段134に登録された個人テンプレートを参照し、個人テンプレートが記憶されている既知の視聴者か、新規の視聴者かを判断する。登録データと合致した場合は合致した場合はs904へ。合致しなかった場合s908へ。
s904:記憶手段144を参照し、s902で合致した個人テンプレートの識別子を取得(s904)して、s905へ。
s905:識別子付加顔検知結果600の状態情報を仮識別子の値に更新し、仮識別子から本識別子に状態が変わったことを示す。また、識別子情報も本識別子の値に更新する。s906へ。
s906:個人テンプレート作成を要求された顔画像から個人テンプレートを生成し、s904またはs908で配布された識別子の個人を判定するためのテンプレート610として記憶手段134に記憶。該当する識別子に登録されている個人テンプレート数が記憶可能数を超える場合は、最も古い情報を削除する。s907へ。
s907:個人テンプレート作成要求元に、顔画像に割り当てられた識別子を返し処理を終了する。
s908:登録データと合致しなかったので、新しい識別子を割りあてる。s905へ。
このように、個人テンプレートが未登録の顔画像については、区別用テンプレートとして適切な正面向きの顔画像の場合に個人テンプレート作成を行う。これによって、精度のよい、個人テンプレートの作成が可能となる。また、未登録かどうかを判断し、ユーザーの手を煩わすことなく個人テンプレート作成、登録できる。
操作実行判定手段150は、操作イベント検知手段160から入力される操作イベントを契機に、視聴者の注視度によって操作実行を判定する手段である。
以下、図4、図11、図12、図13、図14を用いて説明する。
図4は操作実行判定手段150のブロック図、図11はテレビ視聴者を表す図、図12はテレビ操作者判断方式の一例を表す図、図13は操作実行判定のフローチャート、図14は操作保留中の処理フローチャートである。
図4に示すように、操作実行判定手段150はリモコン位置検出手段151、操作者判定手段152、実行判定手段153、通知手段154で構成する。
リモコン位置検出手段151は操作イベント検知手段160から入力される操作イベントを契機に、撮像手段110で撮像された映像からリモコンの位置を検知する。リモコンの位置は、リモコンから送信された赤外線を画像中から検知する。
操作者判定手段152はリモコン位置検出手段151で検知したリモコン位置情報と、個人区別手段130が生成した識別子付加顔検知結果600を用いて操作者を判定する。
例えば、図11に示すように視聴者が存在し、それぞれ1、2、3の識別子が割り当てられていたとする。奏者写は、図12に示すようにリモコン位置4と顔検知結果に含まれる顔位置情報5、6、7からリモコンと顔の距離8、9、19を算出し、距離が一番短いものを操作者の顔と判断する。図12の場合は識別子1が操作者と判定される。
実行判定手段153は注視度算出手段140で算出された区間注視度を用いて、要求された操作の実行を判断する手段である。操作者判定手段152で判定された操作者以外の区間注視度が予め定めた閾値より大きい場合は操作無効もしくは操作保留と判定する。
通知手段154は操作が無効、もしくは、保留になったことを操作者に通知する手段である。テレビ画面の下端にテキストで表示するまたは、リモコンの表示手段に表示するなどの方法を用いる。
以下、図13の操作実行判定のフローチャートを用いて操作実行判定処理を説明する。
なお、以下は操作保留とする場合の処理フローである。操作無効とする場合の処理フローは「保留」を「無効」に読み替えればよい。
s1301:リモコン操作イベントを待ち、チャンネル切り替えや録画予約など視聴を妨げるリモコン操作イベントを検知した場合はs1302に処理を移す。
s1302:注視度算出手段140の注視度記憶手段144から区間注視度情報を取得する。s1303へ。
s1303:すべての視聴者の区間注視度が閾値より小さい場合はs1309へ。その他の場合はs1304へ。
s1304:撮像手段110で撮像された映像を用いて、リモコン位置検出手段151でリモコン位置を検知する。s1305へ。
s1305:操作者判定手段152により、s1304で得たリモコン位置と視聴者の顔位置から操作者を判定。
s1306:s1302で取得した区間注視度情報を用い、操作者以外の区間注視度が一人でも閾値より大きかったらs1307へ。そのほかの場合はs1309へ。
s1307:操作判定結果を「保留」とし制御手段170へリモコン操作「保留」を要求する。s1309へ。
s1308:画面の下端に文字などで操作が「保留」になったことを表示し、操作者に通知。
s1309:操作判定結果は「実行」でリモコン操作はそのまま有効となる。
操作を「無効」にするか「保留」にするかは予めユーザーが設定しておいても良いし、視聴に加わったばかりの視聴者(例えば、区間注視度の測定期間中に視聴に加わった視聴者など)が操作した場合は「無効」とし、ある程度長い時間視聴している視聴者が操作した場合は「保留」にするなどの制御をしても良い。
以下、図14の操作保留中の処理フローチャートを用いて操作保留中の処理を説明する。
s1401:操作保留中でない場合は処理を終了する。操作保留中の場合はs1402へ。
s1402:区間注視度情報の更新と同期して、注視度記憶手段144から区間注視度情報を取得する。s1403へ。
s1403:操作者以外の区間注視度が閾値より大きいか判定。一人でも閾値より大きかったらs1404へ。そのほかの場合はs1406へ。
s1404:保留継続時間が閾値より長いか判定。短い場合は保留を継続。s1405へ。長い場合はs1406へ。
s1405:操作判定結果は「保留」のままで、保留状態継続。
s1406:操作判定結果を「保留解除」とし、制御手段170へリモコン操作保留解除を要求し、処理を終了。
以上のように、操作保留中は区間注視度の更新単位で保留状態を見直すため、操作者以外の視聴者の注視度が低くなった時点で保留になった操作を実行できる。
以上で説明した本発明の実施例によれば、操作者以外の視聴者の注視度が所定の値より小さくなるまで操作を保留する。そのため、視聴者は邪魔される事なく番組に集中でき、快適に視聴できるテレビを提供できる。
1,2,3 視聴者
4 リモコン
5,6,7 検知された顔領域
8,9,10 検知された顔領域とリモコンの距離
110 撮像手段
120 顔検知手段
130 個人区別手段
131 顔追跡手段
132 顔区別手段
133 テンプレート作成手段
134 記憶手段
140 注視度算出手段
141 顔向き検出手段
142 瞬間注視度算出手段
143 区間注視度算出手段
144 注視度記憶手段
150 操作実行判定手段
151 リモコン位置検出手段
152 操作者判定手段
153 実行判定手段
154 通知手段
160 操作イベント検知手段
170 制御手段
601、1000 識別子
602 顔状態
603 顔検知結果 位置
604 顔検知結果 大きさ
1001 瞬間注視度
1002 瞬間注視度列
1003 区間注視度

Claims (9)

  1. 視聴者を撮影する撮像手段を備えた放送受信装置であって、
    前記撮像手段で撮影された画像から視聴者の顔を検知する検知手段と、
    前記顔検知手段の検知結果を用いて、撮影された視聴者の顔の向きを検出する顔向き検出手段と、
    前記顔検知手段の検知結果を用いて、撮影された視聴者を識別する個人識別手段と、
    前記顔向き検出手段で検出した視聴者の顔の向きから、視聴者毎に視聴の注視の度合いを示す注視度を求める注視度算出手段と、
    リモコンの位置と前記個人識別手段の識別結果とを用いて、視聴者から操作者を特定する操作者特定手段と、
    前記操作者特定手段で特定された操作者以外の視聴者の注視度の値に応じて、操作実行するか否か判断する操作実行判定手段と、
    を備えることを特徴とする放送受信装置
  2. 請求項1に記載の放送受信装置において
    前記操作実行判定手段による判断結果を視聴者に知らせる通知手段
    備えることを特徴とする放送受信装置。
  3. 請求項1および2に記載の放送受信装置において
    前記顔検知手段の検知結果を用いて、個人に対応するテンプレート情報である個人テンプレート情報を生成するテンプレート生成手段を備え、
    記個人テンプレート生成手段は前記顔向き検出手段によって顔の向きが正面と判断された場合に前記個人テンプレート情報を生成し、
    前記個人識別手段は、生成された前記個人テンプレートを用いて視聴者を識別する
    とを特徴とする放送受信装置。
  4. 請求項1および2に記載の放送受信装置であって、
    前記注視度算出手段は所定の時間間隔毎に得られる瞬間注視度情報を算出し、
    算出した任意の時間から、前記所定の時間間隔毎に算出した瞬間注視度情報を有する瞬間注視度列情報を保持し、
    前記瞬間注視度列情報を基に区間注視度情報を算出し、
    前記操作実行判定手段は前記区間注視度情報を用いて操作を実行するか否かを判断する
    ことを特徴とする放送受信装置
  5. 請求項に記載の放送受信装置であって、
    前記顔向き検出手段によって向きがと判断された場合の瞬間注視度情報を注視している状態の瞬間注視度情報とする
    ことを特徴とする放送受信装置
  6. 請求項1および2に記載の放送受信装置であって、
    前記操作実行判定手段は前記注視の値が所定の閾値より大きい場合は操作を実行しない
    ことを特徴とする放送受信装置
  7. 請求項1および2に記載の放送受信装置であって、
    前記操作実行判定手段は前記注視の値が所定の閾値より大きい間は操作保留とする
    ことを特徴とする放送受信装置
  8. 請求項1および2に記載の放送受信装置であって、
    前記操作実行判定手段は、操作保留とした後、前記注視の値が所定の閾値より大きい状態が所定の時間以上継続した場合は、操作を実行する
    ことを特徴とする放送受信装置
  9. 請求項2に記載の放送受信装置であって、
    前記操作実行判定手段による判断結果が操作を実行しない、もしくは、操作保留であった場合に、他の視聴者が番組を注視しているため操作を実行しないこと、若しくは操作保留になったことを通知する
    ことを特徴とする放送受信装置
JP2009166277A 2009-07-15 2009-07-15 放送受信装置 Active JP5337609B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009166277A JP5337609B2 (ja) 2009-07-15 2009-07-15 放送受信装置
US12/790,286 US8526667B2 (en) 2009-07-15 2010-05-28 Broadcasting receiver with function to determine as to whether instruction from operator is executable
CN2010101985661A CN101959033B (zh) 2009-07-15 2010-06-07 广播接收装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009166277A JP5337609B2 (ja) 2009-07-15 2009-07-15 放送受信装置

Publications (2)

Publication Number Publication Date
JP2011023909A JP2011023909A (ja) 2011-02-03
JP5337609B2 true JP5337609B2 (ja) 2013-11-06

Family

ID=43465334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009166277A Active JP5337609B2 (ja) 2009-07-15 2009-07-15 放送受信装置

Country Status (3)

Country Link
US (1) US8526667B2 (ja)
JP (1) JP5337609B2 (ja)
CN (1) CN101959033B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130234826A1 (en) * 2011-01-13 2013-09-12 Nikon Corporation Electronic device and electronic device control program
JP5343156B1 (ja) * 2012-06-29 2013-11-13 株式会社東芝 検出装置、検出方法および映像表示装置
JP2015038537A (ja) * 2012-06-29 2015-02-26 株式会社東芝 映像表示装置およびその制御方法
CN107479695B (zh) * 2017-07-19 2020-09-25 苏州三星电子电脑有限公司 显示装置及其控制方法
JP7717492B2 (ja) * 2021-05-13 2025-08-04 シャープ株式会社 表示装置、表示方法、携帯端末装置、携帯端末装置の制御方法、およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3405308A1 (de) * 1984-02-15 1985-08-22 Fa. Carl Zeiss, 7920 Heidenheim Anzeigeeinrichtung fuer die betriebsbereitschaft eines lasermedizinischen geraetes
SE9704803L (sv) * 1997-12-22 1998-11-23 Scania Cv Ab Manöverdon hos en ventilationsanordning i ett fordon
AUPP528498A0 (en) * 1998-08-14 1998-09-10 Lions Eye Institute Of Western Australia Incorporated, The Surgical visual feedback and eye fixation method and apparatus
JP2002354450A (ja) * 2001-05-28 2002-12-06 Matsushita Electric Ind Co Ltd Stb遠隔操作システム
JP2003111161A (ja) 2001-09-27 2003-04-11 Nippon Telegr & Teleph Corp <Ntt> 映像視聴装置、その制御方法、プログラムおよび記録媒体
US7206022B2 (en) * 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
JP4932161B2 (ja) * 2005-01-14 2012-05-16 三菱電機株式会社 視聴者情報測定装置
CN100542260C (zh) * 2005-08-23 2009-09-16 凌阳科技股份有限公司 一种对电视进行智能控制的方法及其智能控制装置
US8218080B2 (en) * 2005-12-05 2012-07-10 Samsung Electronics Co., Ltd. Personal settings, parental control, and energy saving control of television with digital video camera
JP2008072561A (ja) * 2006-09-15 2008-03-27 Sharp Corp テレビ受像機
JP2008263524A (ja) * 2007-04-13 2008-10-30 Sharp Corp テレビジョン受像機
CN201114421Y (zh) * 2007-07-27 2008-09-10 深圳市同洲电子股份有限公司 一种数字电视接收机
CN101393599B (zh) * 2007-09-19 2012-02-08 中国科学院自动化研究所 一种基于人脸表情的游戏角色控制方法
JP2009081637A (ja) * 2007-09-26 2009-04-16 Brother Ind Ltd 番組情報選択装置および番組情報選択プログラム
CN101408800B (zh) * 2008-11-14 2010-06-09 东南大学 利用摄像头进行三维模型显示控制的方法

Also Published As

Publication number Publication date
US8526667B2 (en) 2013-09-03
CN101959033A (zh) 2011-01-26
JP2011023909A (ja) 2011-02-03
US20110013811A1 (en) 2011-01-20
CN101959033B (zh) 2013-02-13

Similar Documents

Publication Publication Date Title
US20120133754A1 (en) Gaze tracking system and method for controlling internet protocol tv at a distance
JP4934861B2 (ja) 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。
JP5999395B1 (ja) 撮像装置、録画装置および映像出力制御装置
EP3171602A1 (en) Information processing device, display device, information processing method, program, and information processing system
JP5337609B2 (ja) 放送受信装置
US20180157321A1 (en) Private real-time communication between meeting attendees during a meeting using one or more augmented reality headsets
CN106843821A (zh) 自动调整屏幕的方法和装置
CN116368525B (zh) 眼睛注视调整
JP2013076924A5 (ja)
WO2017166469A1 (zh) 一种基于智能电视机的安防方法、装置
JP2013115644A (ja) 表示装置及び表示方法
KR20110102427A (ko) 몰입 효과들을 제공하기 위한 방법 및 시스템
WO2022267573A1 (zh) 裸眼3d显示模式的切换控制方法、介质和系统
US11294474B1 (en) Controlling video data content using computer vision
CN108462729B (zh) 实现终端设备交互的方法和装置、终端设备及服务器
JP2011071795A (ja) 放送受信装置
JP2017085204A (ja) メタデータの登録制御
US20220189200A1 (en) Information processing system and information processing method
CN114356088A (zh) 一种观看者跟踪方法、装置、电子设备及存储介质
TW201249174A (en) Image-processing device, method, and program
JP5755483B2 (ja) 自動録画機能を有する映像表示装置および録画装置並びに自動録画方法
US20230410417A1 (en) Information processing apparatus, information processing method, and storage medium
TWI883503B (zh) 用於在視訊紀錄會話期間提供自動化輔助之方法、系統及媒體
JP2018106229A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN107093435A (zh) 一种多媒体设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130805

R150 Certificate of patent or registration of utility model

Ref document number: 5337609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250