Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5859645B2 - 画像処理装置及び画像処理方法 - Google Patents
[go: Go Back, main page]

JP5859645B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP5859645B2
JP5859645B2 JP2014519206A JP2014519206A JP5859645B2 JP 5859645 B2 JP5859645 B2 JP 5859645B2 JP 2014519206 A JP2014519206 A JP 2014519206A JP 2014519206 A JP2014519206 A JP 2014519206A JP 5859645 B2 JP5859645 B2 JP 5859645B2
Authority
JP
Japan
Prior art keywords
face
distance
image
image processing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014519206A
Other languages
English (en)
Other versions
JP2014529385A (ja
Inventor
アイ. クリモン,ユリ
アイ. クリモン,ユリ
アイ. ポイスナー,デイヴィッド
アイ. ポイスナー,デイヴィッド
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2014529385A publication Critical patent/JP2014529385A/ja
Application granted granted Critical
Publication of JP5859645B2 publication Critical patent/JP5859645B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24Generation of individual character patterns
    • G09G5/26Generation of individual character patterns for modifying the character dimensions, e.g. double width, double height
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)

Description

実施の形態は一般に消費者電子装置の表示の利便性を向上させることに関連する。特に、実施の形態は改善された利便性を備えた装置における適応表示システム等に関連する。
様々な状況の下で個人個人は一日中携帯装置を使用し、携帯装置のディスプレイとユーザの目との間の距離は変動する。表示内容を適切に眺めるため、(例えば、タッチスクリーン装置の場合)ユーザは設定画面を通じてナビゲートし、ガラスに触れ、ボタンを押す及び/又はディスプレイをマニュアルで操作する必要があるかもしれない。これらの処理はユーザの観点からの装置の利便性にとってマイナス影響をもたらすおそれがある。
米国特許出願公開第2009-0186659号明細書 米国特許第7683963号明細書 米国特許出願公開第2011-0157407号明細書
開示される実施の形態の課題は、表示の利便性を向上させることである。
実施の形態によるシステムは、
画像を取得する正面カメラと、
表示コンテンツを出力するディスプレイと、
論理部と
を有するシステムであって、前記論理部は、
前記画像について顔面距離分析を実行し、
前記顔面距離分析に少なくとも部分的に基づいて前記表示コンテンツの可視化特徴を修正する、システムである。
実施の形態による正面カメラ及び背面カメラ双方を有する携帯装置例のブロック図。 実施の形態による顔面距離分析の一例を説明するためのブロック図。 実施の形態による相対的な顔面特徴測定の一例を説明するための図。 実施の形態による相対的な顔面特徴測定の一例を説明するための図。 実施の形態により校正を行う方法例のフローチャートを示す図。 実施の形態によりリアルタイム顔面距離測定を行う方法例のフローチャートを示す図。 実施の形態によるテキスト可視化の一例を示すブロック図。 実施の形態によるモバイルプラットフォームの一例を示すブロック図。
本発明の実施の形態に関する様々な恩恵は、明細書、特許請求の範囲及び添付図面を参照及び理解することで当業者にとって更に明らかになるであろう。
実施の形態はモバイルプラットフォームを含み、モバイルプラットフォームは、画像を取得する正面カメラと、表示コンテンツを出力するディスプレイと、画像について顔面距離分析を実行する論理部とを有する。論理部は、顔面距離分析に少なくとも部分的に基づいて、表示コンテンツの可視化特徴(visualization characteristic)を修正してもよい。
実施の形態は論理部を有する装置も含み、論理部は、モバイルプラットフォームの正面カメラから画像を取得し、画像について顔面距離分析を実行する。論理部は、顔面距離分析に少なくとも部分的に基づいて、モバイルプラットフォームに関する表示コンテンツの可視化特徴を修正してもよい。
他の実施の形態は命令群を有する一時的でないコンピュータ読み取り可能な記憶媒体を含み、命令群は、プロセッサにより実行されると、モバイルプラットフォームに、モバイルプラットフォームの正面カメラから画像を取得させる。命令群は、画像について顔面距離分析を実行こと、及び顔面距離分析に少なくとも部分的に基づいてモバイルプラットフォームに関する表示コンテンツの可視化特徴を修正することを、モバイルプラットフォームに実行させることも可能である。
図1を参照するに、携帯装置10が示されている。図示の形態装置10は背面カメラ12を有し、背面カメラ12はユーザ14が興味をった様々な写真及び/又はビデオを捕捉するように形成されている。携帯装置10はディスプレイ16も含み、ディスプレイ16は、携帯装置10にインストールされたソフトウェアアプリケーション及び/又は携帯装置10の他の機能に依存して、文字、テキスト、画像及びその他のコンテンツを含むかもしれない表示コンテンツを出力するように形成されている。実際、表示コンテンツは背面カメラ12により撮影された画像及び/又はビデオを含むだけでなく、(例えば、テレビ会議により提供される)ネットワーク接続により取得された画像及び/又はビデオを当然に含んでもよい。後述するように、携帯装置10は他の形式のモバイルプラットフォーム(例えば、ラップトップ、モバイルインターネット装置(Mobile Internet Device:MID)、スマートタブレット、パーソナルディジタルアシスタント(PDA)、ワイヤレススマートフォン、メディアプレーヤ、画像処理装置等)とすることが可能であり、或いは固定されたプラットフォーム(例えば、スマートテレビジョン(TV)、液晶ディスプレイ(LCD)パネル、デスクトップパーソナルコンピュータ(PC)、サーバ、ワークステーション等)とすることも可能である。
図示の例において、携帯装置10は正面カメラ18も含み、正面カメラ18は、画像及びビデオを取得し、取得したコンテンツをディスプレイ16に表示するように形成されている。特に、正面カメラ18は他者とテレビ会議セッションを行っている最中にユーザ14を記録するために使用されてもよい。後述するように、正面カメラ18により取得されたユーザ14の画像は、ディスプレイ16を介してリアルタイムで出力され、コンテンツをユーザ14にとっていっそう読みやすくするように表示コンテンツを制御するために使用されてもよい。
図2は、モバイル装置10による校正が実行される様子を示し、校正顔面距離20と校正画像21のための1つ以上の校正表示設定とを決定し、以後リアルタイム顔面距離判定は校正顔面距離20に対してなされる。後述するように、校正顔面距離20はユーザと携帯装置10との間の距離を表現し、校正中の顔面特徴は例えばユーザの頭部の幅/高さ、ユーザの眼の幅/直径、又はユーザの眼の間の距離等であってもよい。更に、距離は、状況に応じて画素、インチ、センチメートル等の単位で測定されてもよい。
リアルタイム顔面距離判定は、文字の可視化特徴(例えば、文字の高さ、文字のフォント等)を修正するのに使用できるだけでなく、表示輝度、表示コンテンツ量等のような他の可視化特徴を修正することに使用されてもよい。例えば、校正顔面距離20は、ある距離20の位置に居るユーザにとって好ましい所定の文字サイズ(例えば、14ポイントの文字サイズ)に関連していてもよく、ユーザに対して取得された以後のリアルタイム画像22が、校正画像21を取得した時点のユーザの位置よりもモバイル装置10から遠く離れた距離24に対応すると判断された場合、表示コンテンツの文字サイズがそれに応じて(例えば比例して)拡大され、依然として申し分のない表示がユーザになされることを保証する。更に、表示輝度(例えば、バックライトの輝度)が視覚性を良くするために増やされてもよく、表示される表示コンテンツの量(範囲)が縮小され、文字サイズを大きくした分だけ画面領域を調整する等の処理が行われてもよい。
同様に、顔面距離判定及び校正顔面距離20がユーザはディスプレイ16の近くに居ることを示していると判断された場合、文字サイズは小さくされ、表示輝度は減らされ、表示される表示コンテンツの量が増やされる等の処理が行われてよい。他の視覚化特徴も適宜なされてよい。実際、モバイル装置10は、眼鏡が存在する場合に、画像の中で眼鏡を検出し、可視化特徴の修正を選択的に回避する及び/又は更に適合させてもよい。例えば、携帯装置10は眼鏡を有するユーザ及び眼鏡を有しないユーザに合わせて修正を行うことが可能であり、2種類の校正表示設定が維持され、ユーザが眼鏡をかけているか否かに基づいてそれらが選択的に使用されてもよい。従って、説明されている方法は、ユーザの観点から装置の利便性をかなり向上させる。実際、表示輝度が自動的に減らされる状況では、電力消費が少なくなり、携帯装置10のバッテリ寿命を長くする恩恵をもたらす。
図3A及び図3Bを参照すると、ある種類の顔の特徴が示されており、これは校正画像21に対する以後のリアルタイム画像22の顔面距離判定を行うために使用されてもよい。例えば、相対的な顔の幅(例えば、xとx’との比率)、顔の高さ(例えば、yとy’との比率)、顔の領域(例えば、画素のうち顔が占める割合)、眼の間隔(例えば、両目の間の距離)等及び/又はそれらの組み合わせは何れも顔面距離を判定するために使用可能である。従って校正画像21の顔面幅(x)が100画素であり、リアルタイム画像22の顔面幅(x’)が50画素であった場合、xとx’との比率は2.0となる。何れの顔面特徴を使用するかの判断は、処理オーバーヘッドを減らしかつ処理速度を向上させるように、処理の複雑さに基づいてなされてもよい。この点に関し、カメラを利用して顔面距離分析を行うと、赤外線(IR)に基づく方式や超音波に基づく方式等の他の距離検出方式によっては認識できないかもしれない顔面特徴を抽出できるかもしれない。更に、説明される方法は、顔の輪郭及び/又は両目の中心等のような限られた量の情報からでも実行でき、従って完全な顔認識や関連する処理オーバーヘッドの必要性を一切排除する。更に、顔面距離分析を行うこのような簡素化された方式は、(例えば、カメラがユーザの真正面に向いていない場合等のような)カメラの不整合に対する耐性を高めることも可能である。
図4Aは校正を実行する方法26を示す。本方法26は、(1)マシン又はコンピュータにより読み取ることが可能な媒体(ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、プログラマブルROM(PROM)、ファームウェア、フラッシュメモリ)に保存された一群の論理命令として実行可能なソフトウェアで実現されてもよく、或いは、(2)(特定用途向け集積回路(ASIC)、相補型金属酸化物半導体(CMOS)、トランジスタ-トランジスタ論理(TTL)方式又はそれらの組み合わせ等のような)回路技術を利用する一定の機能論理ハードウェアで実現されてもよい。例えば、方法26に示されている処理を実行するコンピュータプログラムコードは、1つ以上のプログラミング言語の任意の組み合わせで書かれていてもよく、そのようなプログラミング言語は、(1)ジャバ(Java(登録商標))、スモールトーク、C++等のようなオブジェクト指向プログラミング言語、及び(2)「C」プログラミング言語のような従来の手続プログラミング言語、又は(3)同様なプログラミング言語を含む。
処理ブロック27は正面カメラを有するシステムが不変設定モードにあるか否かを判断する。そうであった場合、図示のブロック28は、固定されたフォントサイズ、表示輝度及び/又は表示コンテンツ量(範囲)等のような固定された設定を有する表示コンテンツを出力する。ブロック29において、ユーザは、その視点から見て好ましい距離にシステムが位置するように促される。すなわち、携帯装置の場合、ユーザは、ユーザの眼から所定の距離に装置を動かす。一方、スマートTVのような固定されたプラットフォームの場合、ユーザは、固定されたプラットフォームのディスプレイから見て適切な表示距離の位置に座る又は立つ。ブロック30は、適切な距離の位置において、ユーザの校正画像を取得し、図示のブロック31は校正画像について顔面距離分析を実行することを示す。例えば、顔面距離分析は、ユーザの両目の間の距離、ユーザの顔の幅、ユーザの顔の高さ(長さ)、ユーザの顔の2次元領域(面積)、ユーザの眼の幅等のような1つ以上の校正顔面距離を決定することを含んでもよい。ブロック32において、顔面距離分析の結果は、捕捉した画像のリアルタイム処理の最中に後に取り出すために、表示コンテンツの不変設定と共に適切な保存場所に保存される。
処理ブロック27において、システムが不変設定モードではないと判断された場合、図示の方法は、校正の際に可変設定モードを提供する。特に、ブロック33は、可変のフォントサイズ、表示輝度及び/又は表示コンテンツ量(範囲)等のような可変の設定を有する表示コンテンツを出力する。これに応じて、ブロック34において、ユーザは、任意の距離にシステムを位置させ、その視点から見て好ましい表示設定を選択するように促される。すなわち、携帯装置の場合、ユーザは、ユーザの眼から任意の距離に装置を動かし、好ましいフォントサイズ、表示輝度、表示コンテンツ量(範囲)等を選択する。ブロック35において、ユーザの校正画像を取得し、図示のブロック37は校正画像について顔面距離分析を実行することを示す。上述したように、顔面距離分析は、1つ以上の校正顔面距離を判定することを含み、ブロック39において、顔面距離分析の結果及び選択された可変設定は、後に取り出すために保存される。
図4Bはリアルタイムの顔面距離分析に基づいて文字サイズを適合させる方法36を示す。方法36は、(1)RAM、ROM、PROM、ファームウェア、フラッシュメモリ等のようなマシン又はコンピュータにより読み取ることが可能案媒体に保存された一群の論理命令として実行可能なソフトウェアにより実行されてもよいし、(2)ASIC、CMOS又はTTL技術等のような回路技術を利用する所定の機能を有する論理ハードウェア(例えば、カメラパイプライン)により実行されてもよいし、 或いは(3)それらの任意の組み合わせにより実行されてもよい。処理ブロック38において、モバイルプラットフォームの正面カメラでリアルタイム画像を取得する。画像を取得する頻度は、一定であってもよいし、或いはバッテリ寿命、画面更新率、ユーザの好み等のような様々な観点に依存して適宜設定されてもよい。ブロック40において、リアルタイム画像について顔面距離分析が実行され、ブロック42において校正顔面距離に対する顔面距離判定を行う。相対的な顔面距離判定は、顔の幅、顔の長さ、顔の面積、眼の間隔等のような上述の顔面特徴を考慮してもよい。
図示のブロック44は、顔面距離判定及び校正顔面距離が、ユーザはモバイルプラットフォームのディスプレイから離れて動いたかを示しているか否か(例えば、校正顔面距離に対する位置関係がどうであるか)を判断する。例えば、リアルタイム画像で確認された眼の間隔が校正眼球間隔より短かった場合、或いはリアルタイム画像で確認された顔の幅が校正顔面幅より短かったか否かが判断される。そうであった場合(YES)、表示コンテンツはユーザにとって見えづらいことが推定され、従ってブロック46において校正文字サイズよりも表示コンテンツの文字サイズを大きくする。
例えば、図5は画像コンテンツ56と第1の文字サイズによる文字内容58とが当初は出力されているディスプレイ16を有する携帯装置10を示す。ユーザがディスプレイ16から離れていることが確認されると、携帯装置10は、文字内容58’が大きくなるように文字サイズを自動的に大きくする。図示の例の場合、画像コンテンツ56は同じままであるが、画像コンテンツ56も状況に応じて拡大されてもよい。拡大される量又は倍率は、例えば、校正画像21(図3A)とリアルタイム画像22(図3B)との顔の幅の比率がx:x’であった場合、文字サイズは同じ比率だけ拡大されてもよい。従って、相対的な顔の幅の比率が2.0である上記の例の場合(すなわち、100画素対50画素であった場合)、文字サイズは校正設定値の2倍にされてもよい(例えば、14ポイントから28ポイントに増やされる)。
図4Bに戻り、顔面距離判定及び校正顔面距離が、ユーザはモバイルプラットフォームのディスプレイに近いことを示していると判断された場合、表示コンテンツはユーザにとって見えづらくはないと推定されるので、ブロック50において、校正文字サイズよりも表示コンテンツの文字サイズを小さくする。更に、文字サイズの修正は、文字サイズ修正の感度及び頻度を制限又は制御するために様々なレベルに量子化されていてもよい。例えば、表示の輝度調整及び表示内容調整等のような他の調整がなされてもよい。例えば、発呼者識別(ID)スプラッシュスクリーンが近い場所では詳細を表示し、ユーザの眼から遠い場所では大きなフォントで発呼者の名字のみを大きなフォントで表示するように設定されてもよい。
図示のブロック52は調整に関するユーザによる無効化又はオーバーライド(user override)に遭遇したか否かを判断する。ユーザによる無効化は、文字のマニュアル調整(例えば、タッチスクリーンの操作)又はその他の方法で検出できる。更に、ユーザによる無効化は画像の捕捉及び/又は顔面距離分析の前になされてもよい。無効化がなされた場合、ブロック54において、文字サイズの修正をキャンセルする及び/又は迂回する。更に、画像の中で眼鏡が検出された場合(或いは、ユーザが「眼鏡モード」をマニュアル操作で選択した場合)、顔面距離分析及び文字可視化特徴修正も共に調整及び/又は迂回される。顔面距離分析が、校正顔面距離に対してディスプレイから近く又は遠くにユーザが動いたことを示した場合、図示の方法は、文字サイズが校正状態のままであることを保証することが可能である。
図6はシステム60を示し、システム60は、表示コンテンツを出力するように形成されたディスプレイ70と、背面カメラ62と、システム60のユーザの画像を取得するように形成された正面カメラ64とを有する。システム60は、上述したように携帯装置10(図1、図2、図5)に組み込まれてもよい。従って、図示のシステム60は、ラップトップ、MID、スマートタブレット、PDA、無線スマートフォン、メディアプレーヤ、画像処理装置等又はそれらの任意の組み合わせ等のようなモバイルプラットフォームの一部となることが可能である。システム60は、スマートTV、LCDパネル、デスクトップPC、サーバ、ワークステーション等又はそれらの任意の組み合わせ等のような固定されたプラットフォームの一部となることも可能である。ウェブブラウザを備えたスマートTV又はLCDパネル等のような所定のプラットフォームの場合、システム60は背面カメラ62を含んでいなくてもよい。特に、システム60は論理部68を実行するように形成されたプロセッサ66を含み、上述したように、正面カメラ64から画像を取得し、画像について顔面距離分析を実行し、顔面距離分析に少なくとも部分的に基づいて表示コンテンツの1つ以上の可視化特徴を修正する。
論理部68は、プロセッサ66に組み込まれ、メモリ装置から一群の命令として取得されてもよく、メモリ装置は例えばシステムメモリ72、大容量ストレージ74(例えば、ハードディスクドライブ/HDD、光ディスク、フラッシュメモリ等)、その他のストレージ媒体又はそれらの任意の組み合わせ等であってもよい。システムメモリ72は、例えば、デュアルインラインメモリモジュール(DIMM)、スマートアウトラインDIMM(SODIMM)等のようなメモリモジュールとして形成されたダイナミックランダムアクセスメモリ(DRAM)を含んでいてもよい。システム60はネットワークコントローラ76も含み、広範囲に及ぶ様々な目的でオフプラットフォーム無線通信機能を提供することが可能であり、例えば、セルラ電話(例えば、W-CDMA(UMTS)、CDMA2000(IS-856/IS-2000)等)、Wi-Fi(例えば、IEEE802.11,2007エディション、LAN/MAN無線LANS)、低レートワイヤレスPAN(例えば、IEEE802.15.4-2006、LR-WPAN)、ブルートゥース(例えば、IEEE802.15.1-2005、ワイヤレスパーソナルエリアネットワーク)、WiMax(例えば、IEEE802.16-2004、LAN/MANブロードバンドワイヤレスLANS)、グローバルポジショニングシステム(GPS)、拡散スペクトル(例えば、900MHz)、及び/又はその他の無線周波数技術に使用可能である。ネットワークコントローラ76は、オフプラットフォーム有線通信<例えば、RS-232(米国電子工業会)[Electronic Industries Alliance/EIA]、イーサーネット(例えば、IEEE802.3-2005、LAN/MAN CSMA/CDアクセス方法、電力線通信(例えば、X10、IEEE P1675)、USB(例えば、ユニバーサルシリアルバス2.0標準仕様)、ディジタル加入者回線(DSL)、ケーブルモデム、T1コネクション>等の機能を提供することも可能である。従って、表示コンテンツはネットワークコントローラ76を介して取得されてもよい。
更に、ユーザの顔面測定の基準線又は事前情報又は予備知識を活用して、ユーザの観点からの装置の利便性を向上させてもよい。また、カメラを利用した距離検出を行って顔面特徴を抽出することで、比較的長距離にわたってロバスト耐性の強い表示処理を行うことが可能になる。
本願で説明された実施の形態は全てのタイプの半導体集積回路(IC)チップと共に使用するように応用可能である。これらのICチップの具体例は、例えば、プロセッサ、コントローラ、チップセットコンポーネント、プログラマブル論理アレイ(PLA)、メモリチップ、ネットワークチップ等であるがこれらに限定されない。更に、図面によっては信号導体ラインが線で表現されているかもしれない。より構造化された信号経路を示すように異なる線であってもよいし、多くの信号経路構造を示すために多数のレベルを有してもよいし、及び/又は主要な情報の流れる向きを示すように1つ以上の有向矢印を使用してもよい。しかしながらこれらは本発明を限定するものではない。むしろそのような更なる詳細な事項は回路の理解を促すように1つ以上の実施の形態に関して使用されるに過ぎない。表現される任意の信号線は、追加的な情報を有するか否かによらず、複数の方向に流れる1つ以上の信号を実際には有し、適切な任意の信号処理方式で実現され、例えば、差動対、光ファイバライン及び/又はシングル終端ラインにより実現されたディジタル又はアナログ回線を有してもよい。
具体的なサイズ/値/範囲が与えられているが、本発明の実施の形態はそれらに限定されない。時が経つにつれて製造技術(例えば、フォトリソグラフィ技術)も進歩するので、小さなサイズの装置も製造できるようになることが予想される。更に、ICチップ及び/又は他の素子に対する従来の給電接続/接地接続は、図示及び説明の簡明化等の観点から及び本発明の特定の実施の形態を曖昧にしないように、図面に示されていないかもしれない。更に、本発明の実施の形態を曖昧にしてしまわないように、実施の形態はブロック図で示される場合があり、実施の形態が使用されるプラットフォームにの観点から上位概念的にブロック図の要素を示しており、そのような具体的な事項自体は当業者に知られている。本発明の実施の形態を説明するために具体的な詳細事項(例えば、回路)に言及されているが、本発明の実施の形態はそのような具体的な詳細事項によらず又はその変形例と共に実施できることが、当業者に明らかである。本説明は限定ではなく例示として解釈されるべきである。
「結合」という用語は本願において、対象とする要素同士の間の直接的又は間接的な任意のタイプの関係を指し、電子、機械的要素、流体、光、電磁界、電気力学その他の任意の接続に適用されてよい。更に、「第1」、「第2」等の用語は本願において議論を進めるためにのみ使用され、特に断りのない限り、時間的又は何らかの順序の意味を担っていない。
当業者は上記の説明から本発明の実施の形態による広範囲に及ぶ手段は様々な形態で実現できることを認めるであろう。すなわち、本発明の実施の形態は具体的な実施の形態に関連して説明されてきたが、本願による明細書、特許請求の範囲及び図面を理解した当業者にとって他の変形例も明らかになるので、本発明の実施の形態の範囲は説明したものに限定されるべきではない。

Claims (12)

  1. 画像処理装置であって、
    ユーザの顔画像を取得するカメラと、
    表示コンテンツを出力するディスプレイと、
    前記顔画像を利用して前記ユーザの顔と前記ディスプレイとの間の顔面距離を判定する論理部と
    を有し、前記表示コンテンツが文字と文字以外の画像コンテンツとを含む場合に、前記ディスプレイは、前記顔面距離によっては変化しない一定のサイズで前記画像コンテンツを表示し、(i)前記顔画像の中で眼鏡が検出されない場合には、前記顔面距離に応じて異なるサイズで前記文字を表示し、(ii)前記顔画像の中で眼鏡が検出される場合には、前記顔面距離に応じて前記文字のサイズを変更する機能を使用しない、画像処理装置。
  2. 前記論理部は、
    前記顔画像の中で1つ以上の顔面特徴を特定し、
    前記1つ以上の顔面特徴に少なくとも部分的に基づいて前記顔面距離を判定する、請求項1に記載の画像処理装置。
  3. 前記論理部は、
    校正顔面距離を求めるために当該画像処理装置の校正を実行し、及び
    前記校正顔面距離と1つ以上の校正表示設定とをメモリロケーションに保存し、
    前記顔面距離は前記校正顔面距離に対して判定される、請求項2に記載の画像処理装置。
  4. 前記顔面距離と校正顔面距離との比較結果が、ユーザは前記ディスプレイから離れていることを示す場合、前記論理部は前記表示コンテンツの文字サイズを拡大する、請求項2に記載の画像処理装置。
  5. 前記顔面距離と校正顔面距離との比較結果が、ユーザは前記ディスプレイの近くにいることを示す場合、前記論理部は前記表示コンテンツの文字サイズを縮小する、請求項2に記載の画像処理装置。
  6. 前記1つ以上の顔面特徴が、顔の幅、顔の長さ、顔の面積、眼の幅及び眼の間隔のうちの少なくとも1つを含む、請求項2に記載の画像処理装置。
  7. 前記論理部は、前記顔面距離の分析に少なくとも部分的に基づいて前記表示コンテンツの量を修正する、請求項1に記載の画像処理装置。
  8. 前記論理部は、前記顔面距離の分析に少なくとも部分的に基づいて前記ディスプレイの表示強度を修正する、請求項1に記載の画像処理装置。
  9. 前記論理部は、ユーザによる無効化を受け付けると、前記顔面距離に応じて文字サイズを変えることを止める、請求項1に記載の画像処理装置。
  10. 請求項1〜のうちの何れか1項に記載の画像処理装置を有する携帯装置。
  11. 画像処理装置が実行する画像処理方法であって、
    ユーザの顔画像を取得するステップと、
    前記顔画像を利用して前記ユーザの顔とディスプレイとの間の顔面距離を判定するステップと、
    表示コンテンツが文字と文字以外の画像コンテンツとを含む場合に、前記ディスプレイが、前記顔面距離によっては変化しない一定のサイズで前記画像コンテンツを表示し、(i)前記顔画像の中で眼鏡が検出されない場合には、前記顔面距離に応じて異なるサイズで前記文字を表示し、(ii)前記顔画像の中で眼鏡が検出される場合には、前記顔面距離に応じて前記文字のサイズを変更する機能を使用しない、ステップと、
    を有する画像処理方法。
  12. 請求項11に記載の画像処理方法を画像処理装置に実行させるコンピュータプログラム。
JP2014519206A 2011-07-01 2012-06-30 画像処理装置及び画像処理方法 Expired - Fee Related JP5859645B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/175,402 2011-07-01
US13/175,402 US20130002722A1 (en) 2011-07-01 2011-07-01 Adaptive text font and image adjustments in smart handheld devices for improved usability
PCT/US2012/045161 WO2013006516A1 (en) 2011-07-01 2012-06-30 Adaptive text font and image adjustments in smart handheld devices for improved usability

Publications (2)

Publication Number Publication Date
JP2014529385A JP2014529385A (ja) 2014-11-06
JP5859645B2 true JP5859645B2 (ja) 2016-02-10

Family

ID=47390203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014519206A Expired - Fee Related JP5859645B2 (ja) 2011-07-01 2012-06-30 画像処理装置及び画像処理方法

Country Status (7)

Country Link
US (1) US20130002722A1 (ja)
EP (1) EP2727331A4 (ja)
JP (1) JP5859645B2 (ja)
KR (1) KR20140028131A (ja)
CN (1) CN103733605B (ja)
TW (1) TWI571807B (ja)
WO (1) WO2013006516A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582083B2 (en) * 2011-12-22 2017-02-28 Apple Inc. Directional light sensors
TWI498829B (zh) * 2012-04-18 2015-09-01 Hon Hai Prec Ind Co Ltd 電子顯示設備及其選擇用戶介面的方法
CN103377643B (zh) * 2012-04-26 2017-02-15 富泰华工业(深圳)有限公司 字体调整系统及方法
US9165535B2 (en) * 2012-09-27 2015-10-20 Google Inc. System and method for determining a zoom factor of content displayed on a display device
CN103871392A (zh) * 2012-12-14 2014-06-18 鸿富锦精密工业(武汉)有限公司 自动调整阅读软件显示字体大小的系统及方法
KR20140093513A (ko) * 2013-01-18 2014-07-28 삼성전자주식회사 휴대 단말기의 디스플레이 제어 장치 및 방법
JP2014146128A (ja) * 2013-01-28 2014-08-14 Canon Inc 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN104122986A (zh) * 2013-04-27 2014-10-29 昆山研达电脑科技有限公司 显示器字体调整装置及其实现方法
KR102101741B1 (ko) * 2013-08-16 2020-05-29 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN103648042A (zh) * 2013-11-27 2014-03-19 乐视致新电子科技(天津)有限公司 一种字符输出控制方法和装置
CN103795864B (zh) * 2014-01-29 2016-09-28 华为技术有限公司 移动终端前后摄像头的选择方法和移动终端
US20160048202A1 (en) * 2014-08-13 2016-02-18 Qualcomm Incorporated Device parameter adjustment using distance-based object recognition
US10129312B2 (en) * 2014-09-11 2018-11-13 Microsoft Technology Licensing, Llc Dynamic video streaming based on viewer activity
KR20160057651A (ko) * 2014-11-14 2016-05-24 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20160115081A (ko) 2015-03-25 2016-10-06 김광영 휴대 장치의 폰트 및 이미지 크기 자동 조정 방법 및 그 휴대 장치
CN105827872A (zh) * 2016-06-07 2016-08-03 维沃移动通信有限公司 一种移动终端的控制方法及移动终端
US11494897B2 (en) * 2017-07-07 2022-11-08 William F. WILEY Application to determine reading/working distance
WO2019192783A1 (en) * 2018-04-02 2019-10-10 Arcelik Anonim Sirketi A household appliance
KR102285156B1 (ko) * 2019-01-29 2021-08-06 엔에이치엔커머스 주식회사 무선단말 화면 크기 자동 변환 방법
US12274500B2 (en) * 2019-03-15 2025-04-15 Biotrillion, Inc. Method and system for measuring pupillary light reflex with a mobile phone
US11178389B2 (en) 2019-03-25 2021-11-16 Microsoft Technology Licensing, Llc Self-calibrating display device
CN110851032A (zh) * 2019-11-06 2020-02-28 北京字节跳动网络技术有限公司 用于目标设备的显示样式调整方法和装置
US11640491B2 (en) * 2021-02-12 2023-05-02 Adobe Inc. Automatic font value distribution for variable fonts
JP7394813B2 (ja) * 2021-07-20 2023-12-08 Lineヤフー株式会社 端末装置、制御方法及び制御プログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233312B2 (en) * 2000-07-31 2007-06-19 Panaseca, Inc. System and method for optimal viewing of computer monitors to minimize eyestrain
US7545434B2 (en) * 2002-02-04 2009-06-09 Hewlett-Packard Development Company, L.P. Video camera with variable image capture rate and related methodology
WO2005119591A1 (ja) * 2004-06-04 2005-12-15 Matsushita Electric Industrial Co., Ltd. 表示制御方法および装置、プログラム、並びに携帯機器
KR100643470B1 (ko) * 2005-09-29 2006-11-10 엘지전자 주식회사 휴대용 단말기의 그래픽 신호 표시장치 및 방법
US7591558B2 (en) * 2006-05-31 2009-09-22 Sony Ericsson Mobile Communications Ab Display based on eye information
TW200804947A (en) * 2006-07-06 2008-01-16 Asia Optical Co Inc Method of distance estimation to be implemented using a digital camera
US20080049020A1 (en) * 2006-08-22 2008-02-28 Carl Phillip Gusler Display Optimization For Viewer Position
JP4845698B2 (ja) * 2006-12-06 2011-12-28 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
CN101299807A (zh) * 2007-04-30 2008-11-05 深圳Tcl新技术有限公司 一种自动调整显示参数的显示设备及其实现方法
US20080316372A1 (en) * 2007-06-20 2008-12-25 Ning Xu Video display enhancement based on viewer characteristics
CN101419481A (zh) * 2007-10-25 2009-04-29 达方电子股份有限公司 姿势提醒方法及其装置
EP2065795A1 (en) * 2007-11-30 2009-06-03 Koninklijke KPN N.V. Auto zoom display system and method
US8209635B2 (en) * 2007-12-20 2012-06-26 Sony Mobile Communications Ab System and method for dynamically changing a display
US8131319B2 (en) * 2008-01-17 2012-03-06 Sony Ericsson Mobile Communications Ab Active display readability enhancement for mobile devices depending on movement
JP2009282436A (ja) * 2008-05-26 2009-12-03 Fujifilm Corp 液晶表示装置及び液晶表示方法
JP2009294740A (ja) * 2008-06-03 2009-12-17 Mitsubishi Electric Corp データ処理装置及びプログラム
CN101354869A (zh) * 2008-09-09 2009-01-28 南京Lg新港显示有限公司 根据输入信号自动调整显示器亮度的调节装置及调节方法
JP2010107773A (ja) * 2008-10-30 2010-05-13 Toshiba Corp 表示制御装置及び表示制御方法
CN101404150B (zh) * 2008-11-14 2011-03-09 深圳市凯立德欣软件技术有限公司 亮度调整装置及亮度调整方法和导航装置及导航方法
CN101751209B (zh) * 2008-11-28 2012-10-10 联想(北京)有限公司 一种调整屏幕呈现元素的方法及计算机
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
JP5249994B2 (ja) * 2009-08-24 2013-07-31 シャープ株式会社 半導体光検出素子および半導体装置
CN102045429B (zh) * 2009-10-13 2015-01-21 华为终端有限公司 一种调节显示内容的方法和设备
US20110084897A1 (en) * 2009-10-13 2011-04-14 Sony Ericsson Mobile Communications Ab Electronic device
US20110126119A1 (en) * 2009-11-20 2011-05-26 Young Daniel J Contextual presentation of information
US8305433B2 (en) * 2009-12-23 2012-11-06 Motorola Mobility Llc Method and device for visual compensation
TWI401409B (zh) * 2009-12-29 2013-07-11 Avermedia Information Inc 具有物體實際尺寸估計功能之實物攝影機
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US20110263946A1 (en) * 2010-04-22 2011-10-27 Mit Media Lab Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences
KR101725044B1 (ko) * 2010-05-27 2017-04-11 삼성전자주식회사 촬영이 가능한 디스플레이 장치
US20120081392A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US9131060B2 (en) * 2010-12-16 2015-09-08 Google Technology Holdings LLC System and method for adapting an attribute magnification for a mobile communication device
US9183806B2 (en) * 2011-06-23 2015-11-10 Verizon Patent And Licensing Inc. Adjusting font sizes
US9111143B2 (en) * 2013-09-27 2015-08-18 At&T Mobility Ii Llc Method and apparatus for image collection and analysis

Also Published As

Publication number Publication date
CN103733605B (zh) 2018-01-05
US20130002722A1 (en) 2013-01-03
EP2727331A4 (en) 2015-06-17
CN103733605A (zh) 2014-04-16
WO2013006516A1 (en) 2013-01-10
JP2014529385A (ja) 2014-11-06
KR20140028131A (ko) 2014-03-07
TW201303748A (zh) 2013-01-16
TWI571807B (zh) 2017-02-21
EP2727331A1 (en) 2014-05-07

Similar Documents

Publication Publication Date Title
JP5859645B2 (ja) 画像処理装置及び画像処理方法
US11257459B2 (en) Method and apparatus for controlling an electronic device
KR101754750B1 (ko) 상호작용 스크린 보기를 위한 장치, 매체 및 방법
US11128909B2 (en) Image processing method and device therefor
US10805543B2 (en) Display method, system and computer-readable recording medium thereof
CN103885611B (zh) 一种调整图像的方法和装置
CN104571488B (zh) 电子文件标记方法及装置
CN110100251B (zh) 用于处理文档的设备、方法和计算机可读存储介质
US20150194134A1 (en) System and Method for Determining a Zoom Factor of Content Displayed on a Display Device
CN104834866A (zh) 一种通过自动识别场景来保护私密信息的方法及装置
KR20180005528A (ko) 영상 처리를 위한 디스플레이 장치 및 방법
US9959841B2 (en) Image presentation control methods and image presentation control apparatuses
US20130286240A1 (en) Image capturing device and operating method of image capturing device
CN105607733A (zh) 调节方法、调节装置和终端
US20170046813A1 (en) An apparatus and associated methods for image capture
WO2016197639A1 (zh) 屏幕画面显示方法及装置
US10162997B2 (en) Electronic device, computer readable storage medium and face image display method
US20150172550A1 (en) Display tiling for enhanced view modes
US20190213713A1 (en) Mobile device, and image processing method for mobile device
WO2018219290A1 (zh) 一种信息终端
KR20190090262A (ko) 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2015143857A1 (zh) 一种照片合成方法及终端
CN106775527B (zh) 调节显示面板的显示参数的方法、装置和显示设备
US10061401B2 (en) Physical orientation calibration for motion and gesture-based interaction sequence activation
US10325280B2 (en) Physical orientation calibration for motion and gesture-based interactive sequence activation

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151216

R150 Certificate of patent or registration of utility model

Ref document number: 5859645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees