Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5967926B2 - イメージプロセッシングパイプラインに対するグローバルアーミング(globalarming)方法 - Google Patents
[go: Go Back, main page]

JP5967926B2 - イメージプロセッシングパイプラインに対するグローバルアーミング(globalarming)方法 - Google Patents

イメージプロセッシングパイプラインに対するグローバルアーミング(globalarming)方法 Download PDF

Info

Publication number
JP5967926B2
JP5967926B2 JP2011280065A JP2011280065A JP5967926B2 JP 5967926 B2 JP5967926 B2 JP 5967926B2 JP 2011280065 A JP2011280065 A JP 2011280065A JP 2011280065 A JP2011280065 A JP 2011280065A JP 5967926 B2 JP5967926 B2 JP 5967926B2
Authority
JP
Japan
Prior art keywords
image processing
processing unit
enable signal
configuration vector
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011280065A
Other languages
English (en)
Other versions
JP2012164302A (ja
Inventor
グレイ マルコム
グレイ マルコム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2012164302A publication Critical patent/JP2012164302A/ja
Application granted granted Critical
Publication of JP5967926B2 publication Critical patent/JP5967926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0891Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using clearing, invalidating or resetting means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、複数のイメージプロセッシングユニットを含むイメージプロセッシング回路、及びそれを含むデジタルカメラに関し、特に、複数の構成ベクトルを有するイメージプロセッシング回路に関する。
スタンドアローンな消費者製品及び携帯電話、モバイルコンピュータのようなモバイル装置に備えられた機能で高性能デジタルカメラ、ビデオカメラの需要が増大しつつある。
デジタルカメラのそれぞれは、中央処理装置(CPU)の制御に基づいて、イメージデータを受信及び処理するように構成された直列接続された複数のイメージプロセッシングコアを含むイメージプロセッシング回路を含みうる。
各イメージプロセッシングコアの動作は、イメージデータのフレームサイズを含む構成情報を有する構成ベクトルを用いてCPUによって制御される。
一般的に、デジタルカメラに使われるイメージセンサーは、CMOSセンサーインターフェース(CMOS Sensor Interface;CSI)を通じてイメージプロセッシングユニットによって動作するローべイヤー(RAW−Bayer)、及び/またはCMOSタイプであり得る。
より高いイメージ解像度に対する増加する要求を効果的に行うために、プロセッサ−to−カメラセンサーインターフェースの帯域幅容量をその性能以上に推進している。
近年、高速シリアルインターフェースは、パラレルインターフェースの多くの欠点に対処するが、製造業界間の互換性の問題がある。
独占的なインターフェースは、ともに働く他の製造業界の装置を妨害し、業界分裂を起こす。
インターフェース規格を開発する非営利法人であるMIPIアライアンスは、プロセッサと周辺装置インターフェースとで一貫性を推進する。
MIPI(Mobile Industry Processor Interface)は、モバイル装置のモジュール間のインターフェースに対する標準を規定する業界コンソーシアムである。
2005年カメラインターフェース研究を始めた以降、MIPIは、仕様(標準)を開発した。
MIPIは、モバイルシステムでほとんどのチップインターフェースを定義する仕様を発表する。このような標準のうちの1つは、CSI(Camera Serial Interface)を定義したCSI−2である。
あらゆるコンピューティング及び消費者電子装置とイメージセンサーの業者との間でMIPI CSI−2への関心が高くなった。MIPIのCSI−2及びCSI−3標準は、モバイル装置、高速、低電力、コスト節減、及び相互拡張性だけではなく、全体的な電子産業を提供する。
MIPI相互接続によって接続された各プロセッシングユニットは、データの全体フレームで動作し、フレームのデータのタイミングは、一般的に各ユニットを通じて遅延されたタイミング信号で表われる。
各プロセッシングユニットは、各ユニットのプロセッシングを制御するために構成ベクトル(V)を使う。構成ベクトルは、一般的に、プロセッサ、オンチップ(on−chip)、またはオフチップ(off−chip)によって‘書き込まれ’、データのフレームのサイズを含むプロセッシングユニットの動作の多様な側面を制御する。
各ユニットに対してアップデートされた新たな構成ベクトルは、各ユニットがフレームに対するプロセッシングを始める時、またはそれ以前に適用されなければならず、各ユニットが全体フレームを処理する間に、各ユニットで一定に保持されなければならない。
直列配列で従属接続されたすべてのイメージプロセッシングユニットが同時に正確にアップデートされた場合、ユニットのそれぞれを通じての遅延によって、アップデートは、少なくとも1つ以上のユニットがフレームを処理する間に適用可能である。
この場合、ユニットがフレームを処理する間に、構成ベクトルは、当該ユニットで一定に保持されず、データの損傷が発生することがある。
例えば、一連のプロセッシングユニットにおいて、水平幅は、一般的に構成ベクトルの一部であり、特定フレームに対して受信されたデータが、構成ベクトルと一致しない場合、ユニットは、イメージデータを正確に処理しない。
順次に処理されるフレーム間のイメージのサイズ(例えば、水平幅)を変更する場合、各プロセッシングユニットは、以前のプロセッシングユニットを通じて遅延されたイメージデータを受信する時点と同時に、新たな構成ベクトルを受信する必要がある。
適切な時点にすべてのユニットをアップデートするために、MIPI接続されたそれぞれのイメージプロセッシングユニットを通じての遅延及びデータのタイミング追跡が必要な場合、CPUは大きく負担になり、その他の処理作業のために利用できなくなる。
それは、同様に非効率的であり、プロセッシングユニットの全体パイプラインを中断し、新たな構成ベクトルを適用した後、プロセッシングユニットを再開始し、構成ベクトルが変更される場合、各ユニットから示される中断(interrupt)に期待することは、イメージセンサーからイメージデータの欠損を引き起こす原因になり、CPUが十分に迅速に応答できることが期待される。
本発明の目的は、イメージプロセッシングユニットの処理に対する最小限の中断とともにCPUに負担なしに、アップデートされた構成ベクトルが、それぞれの以前プロセッシングユニットを通じて遅延されたイメージデータの遅延及びタイミングと同期してなされるMIPI接続プロセッシングユニットを適用するイメージプロセッシング回路及びその方法並びにそれらを有するカメラを提供することにある。
本発明の一態様によれば、各イメージプロセッシングユニットによる遅延に関係なく、CPUがデータのタイミングとは別途にアップデートされた構成ベクトルを出力する場合にも、イメージプロセッシングユニットのチェーンで各イメージプロセッシングユニット(段階)を順次にアップデートするために、タイミング派生されたトリガーイベントとインターロックするイネーブル論理回路とを提供する。
前記タイミング派生されたトリガー信号は、受信されたアップデートされた構成ベクトルの適用とイメージデータの新たなフレームのイメージプロセッシングユニットによる受信を同期化するのに使われる。
各イメージプロセッシングユニットから次のイメージプロセッシングユニットに伝達されるハードウェアイネーブル信号は、イメージデータ及びそれに対応するタイミング信号の流れと並行して伝達され、前記タイミング信号から生成されたトリガー信号がイネーブルした場合、アクティブ構成ベクトルレジスタをアップデートするためのアクティブトリガーイベントとして表われる。
ハードウェアイネーブルトリガー活性化は、チェーンダウンストリーム(chain down−stream)方式で第1イメージプロセッシングユニットからそれぞれの次のイメージプロセッシングユニットにカスケード(cascade)接続される。
本発明の一態様によれば、複数のビデオプロセッシングユニットを含むイメージプロセッシング回路を提供する。
各ビデオプロセッシングユニットは、前記ビデオプロセッシングユニットのビデオプロセッシングコアを構成するアクティブ構成ベクトルを保存するアクティブ構成ベクトルレジスタ及び前記アクティブ構成ベクトルレジスタに伝送され、アップデートイネーブル信号に基づいて、前記アクティブ構成ベクトルになるアップデートされた構成ベクトルを保存するバッファリングされた構成ベクトルレジスタを含む。
前記各ビデオプロセッシングユニットは、トリガー信号及び受信されたハードウェアイネーブル信号を結合することによって、前記アップデートイネーブル信号を発生させる論理回路をさらに含み、前記トリガー信号は、ビデオフレーム同期信号に時間依存である。
本発明の一実施形態において、ハードウェアインターロックロジックは、受信したアップデートされた構成ベクトルを適切な時点にタイミング派生したトリガー信号と同期させて適用させるために、パイプラインでの各段階を‘アーミング(arms)’及び‘ディスアーミング(disarms)’する。
以前段階がアーミング及びトリガーされた以後、各段階にアップデートされた構成ベクトルの伝送が‘アーミング’(イネーブル)される。
本発明の一実施形態による各ビデオプロセッシングユニットは、以前ビデオプロセッシングユニットによって発生し、現在のタイミング派生したトリガーイベントが移行または無視されるか否かを表わすイネーブル信号を受信する。各ビデオプロセッシングユニットは、次のビデオプロセッシングユニットがタイミング派生したトリガリングイベントを移行または無視するか否かを表わす信号であるハードウェアイネーブル信号(HWEN)を次のビデオプロセッシングユニットに入力する。
本発明の一実施形態によるイメージプロセッシング回路は、互いに直列接続された複数のイメージプロセッシングユニットを含み、複数のイメージプロセッシングユニットのそれぞれは、前記イメージプロセッシングユニットの動作を制御する第1構成ベクトルレジスタと、アップデートされた構成ベクトルを保存する第2構成ベクトルレジスタと、前記イメージプロセッシングユニットのトリガー信号及び受信されたハードウェアイネーブル信号を組み合わせることによって、前記イメージプロセッシングユニットのスイッチイネーブル信号を発生させる組み合わせ論理回路とを含み、前記イメージプロセッシングユニットの前記スイッチイネーブル信号が活性化している間、スイッチング部を通じて前記第2構成ベクトルレジスタの出力を前記第1構成ベクトルレジスタに入力する。
本発明の一実施形態によるイメージプロセッシング回路は、複数のビデオプロセッシングユニットを含み、前記複数のビデオプロセッシングユニットのそれぞれは、前記ビデオプロセッシングユニットのビデオプロセッシングコアを構成するアクティブ構成ベクトルを保存する第1構成ベクトルレジスタと、アップデートされた構成ベクトルを保存する第2構成ベクトルレジスタと、前記第1構成ベクトルレジスタと第2構成ベクトルレジスタとの間に接続され、アップデートイネーブル信号に基づいて、前記アップデートされた構成ベクトルを前記第1構成ベクトルレジスタに伝送するスイッチング部と、トリガー信号及びハードウェアイネーブル信号を結合することによって、前記アップデートイネーブル信号を発生させる論理回路とを含み、前記トリガー信号は、ビデオフレーム同期信号に時間依存である。
前記イメージプロセッシング回路は、前記アップデートイネーブル信号をラッチし、前記ラッチされたアップデートイネーブル信号を次のビデオプロセッシングユニットによって受信される前記ハードウェアイネーブル信号として出力するラッチ部をさらに含む。
前記スイッチング部、前記論理回路、及び前記ラッチ部は、イメージデータの流れと並行して、各イメージプロセッシングユニットから次のイメージプロセッシングユニットに前記ハードウェアイネーブル信号を伝達し、前記ハードウェアイネーブルトリガー活性化は、チェーンダウンストリーム(chain down−stream)方式で第1イメージプロセッシングユニットからそれぞれの次のイメージプロセッシングユニットにカスケード接続される。
本発明の概念の一態様によれば、第1ビデオプロセッシングユニットによって受信された前記ハードウェアイネーブル信号は、レジスタ及び入出力(I/O)ピンを通じてハードウェアイネーブル信号を受信する第1ビデオプロセッシングユニットを制御するCPUから発生する。
直列接続された複数のイメージプロセッシングユニットを通じてイメージデータの第1フレーム及び第2フレームを連続してプロセッシングするために提供される方法において、前記複数のイメージプロセッシングユニットのうちの1つである第1イメージプロセッシングユニットで前記イメージデータの第1フレームを受信する段階と、アップデートイネーブル信号が活性化している間、前記イメージデータの第1フレームに対応する構成ベクトルを前記第1イメージプロセッシングユニットのアクティブ構成ベクトルレジスタに書き込む段階と、前記イメージデータの第1フレームに対応するタイミング信号から生成されたトリガー信号とハードウェアイネーブル信号とを結合することによって、前記活性化されたアップデートイネーブル信号を発生させる段階とを含み、前記タイミング信号は、ビデオフレーム同期信号を含む。
前記方法は、前記アップデートイネーブル信号が活性化される以前に、前記イメージデータの第1フレームに対応する前記構成ベクトルを前記第1イメージプロセッシングユニットのバッファリングされた構成ベクトルレジスタに書き込む段階をさらに含み、前記トリガー信号は、前記ビデオフレーム同期信号から生成される。
イメージプロセッシング回路は、複数のビデオプロセッシングユニットを含み、前記複数のビデオプロセッシングユニットのそれぞれは、前記ビデオプロセッシングユニットのビデオプロセッシングコアを構成するアクティブ構成ベクトルを保存する第1構成ベクトルレジスタと、アップデートされた構成ベクトルを保存する第2構成ベクトルレジスタと、前記第1構成ベクトルレジスタと第2構成ベクトルレジスタとの間に接続され、アップデートイネーブル信号に基づいて、前記アップデートされた構成ベクトルを前記第1構成ベクトルレジスタに伝送するパスゲートと、トリガー信号及びハードウェアイネーブル信号を結合することによって、前記アップデートイネーブル信号を発生させる論理回路とを含み、前記トリガー信号は、ビデオフレーム同期信号に時間依存である。
前記複数のビデオプロセッシングユニットは、直列に接続される。前記複数のビデオプロセッシングユニットのそれぞれは、前記アップデートイネーブル信号をラッチし、前記ラッチされたアップデートイネーブル信号を次のビデオプロセッシングユニットによって受信される前記ハードウェアイネーブル信号として出力するラッチ部をさらに含む。
前記第1ビデオプロセッシングユニットによって受信されたハードウェアイネーブル信号は、CPUまたはファームウェアから発生する。
各ビデオプロセッシングユニットから次のビデオプロセッシングユニットに伝達された前記ハードウェアイネーブル信号は、イメージデータ及びそれに対応するタイミング信号の流れと並行して伝達され、前記タイミング信号から生成されたトリガー信号がイネーブルされた場合、アクティブ構成ベクトルレジスタをアップデートするためのアクティブトリガーとして表われる。
前記ハードウェアイネーブルトリガー活性化は、チェーンダウンストリーム(chain down−stream)方式で前記第1ビデオプロセッシングユニットからそれぞれの次のイメージプロセッシングユニットにカスケード接続される。
本発明の他の態様は、直列接続されてリプログラムできる複数のイメージプロセッシングユニットに含まれた複数のフレームをプロセッシングする方法を提供する。
前記方法は、前記直列接続された複数のイメージプロセッシングユニットのそれぞれのリプログラミングが可能になるように制御する段階を含み、イメージデータ及びタイミング信号の流れと並行して、各イメージプロセッシングユニットから次のイメージプロセッシングユニットにリプログラミングイネーブル信号を伝達し、前記リプログラミングイネーブル信号は、前記タイミング信号に基づいて、トリガー信号が、前記イメージプロセッシングユニットのリプログラミングをトリガーしなければならないか否かを制御する。前記イネーブルされたトリガー信号は、チェーンダウンストリーム方式で第1イメージプロセッシングユニットからそれぞれの次のイメージプロセッシングユニットにカスケード接続される。
前記第1ビデオプロセッシングユニットによって受信されたリプログラミングイネーブル信号は、CPUまたはファームウェアから発生する。
本発明に係るイメージプロセッシング回路及びその方法並びにカメラによれば、イメージプロセッシングユニットの処理に対する最小限の中断とともにCPUに負担なしに、アップデートされた構成ベクトルが、それぞれの以前プロセッシングユニットを通じて遅延されたイメージデータの遅延及びタイミングと同期してなされるという効果がある。
本発明の一実施形態によるイメージプロセッシング回路を含むデジタルカメラのブロック図である。 本発明の一実施形態による複数のイメージプロセッシングユニットのブロック図である。 本発明の一実施形態によるイメージプロセッシング回路の動作の第1モードの間のイメージプロセッシング回路の多様な信号のタイミング図である。 図2に示したイメージプロセッシングユニットのアップデートイネーブル回路の回路図である。 本発明の一実施形態によるイメージプロセッシング回路の動作の第2モードの間のイメージプロセッシング回路の多様な信号のタイミング図である。
図1は、本発明の一実施形態によるイメージプロセッシング回路を含むデジタルカメラのブロック図である。
デジタルカメラ100は、本発明の実施形態によるイメージプロセッシングユニット24を含むイメージプロセッシング回路20を含む。
デジタルカメラ100は、レンズ10、イメージセンサー12、パイプライン(pipeline)構造の複数のイメージプロセッシングユニット24(21−A、21−B、21−C、21−D、21−E)を含むイメージプロセッシング回路20、及びイメージセンサー12と、それぞれのイメージプロセッシングユニット(21−A、21−B、21−C、21−D、21−E)を制御するCPU(Central Processing Unit)23とを含む。
イメージセンサー12は、IC(Inter Integrated Circuit)バスのようなデータバスを通じてCPU23によって制御される一方、イメージセンサー12は、MIPI CSIを通じてイメージデータを第1イメージプロセッシングユニット21−Aに伝送する。
Cバスの動作速度は、400KHz範囲であり、MIPI CSIは、さらに早い速度(例えば、約20MHz)で動作することができる。
構成バスは、構成ベクトルを複数のイメージプロセッシングユニット(21−A、21−B、21−C、21−D、21−E)のそれぞれに伝送するのに使われる第2 ICまたは等価バス(例えば、APBバス)として具現可能である。
それぞれのイメージプロセッシングユニット(21−A、21−B、21−C、21−D、21−E)は、ハードウェアイネーブル(hardware−enable)信号を受信し、第1イメージプロセッシングユニット21−Aによって受信されたハードウェアイネーブル信号は、トランスファーイネーブル(transfer−enable)信号t−eであり得る。
イメージセンサー12は、CMOSセンサーとして具現されたローべイヤー(RAW−Bayer)イメージセンサーであり、第1イメージプロセッシングユニット21−Aは、同様にMIPI−CMOSセンサーインターフェース(MIPI−CSI)であり得る。
第2イメージプロセッシングユニット21−Bは、べイヤー(Bayer)プロセッシングユニットであり、第3イメージプロセッシングユニット21−Cは、RGBプロセッシングユニットであり、第4イメージプロセッシングユニット21−Dは、ポスト(post)プロセッシングユニットであり、第5イメージプロセッシングユニット21−Eは、サイズ調整/回転/アフィン変換(Scaling/Rotating/Affine−Transform)プロセッシングユニットであり得る。
プロセッシングユニットの形態と順序は、上述したような本発明の実施形態による特定の形態と順序とに限定されるものではない。
図1に示すように、イメージプロセッシングユニット24は、例えば、入出力(I/O)ピンを通じて構成アップデートをイネーブルするビデオイメージのフレーム、及び制御信号を受信するように構成されたICチップとして具現可能である。
図2は、本発明の一実施形態による複数のイメージプロセッシングユニットのブロック図である。
図2では、イメージプロセッシング回路20の第1〜第3イメージプロセッシングユニット(21−A、21−B、21−C)のみを示した。
第1〜第3イメージプロセッシングユニット(21−A、21−B、21−C)のそれぞれは、入/出力ピンまたは上位プロセッシングユニットからイメージデータ(Data)を受信する。
イメージプロセッシングユニット(21−A、21−B、21−C)のそれぞれは、イメージデータのフレームを処理して、次の下位プロセッシングユニット(21−A、21−B、21−C)に出力するイメージプロセッシングコア(22−A、22−B、22−C)を含む。
各イメージプロセッシングユニット(21−A、21−B、21−C)は、カメラ100の構成、例えば、イメージのサイズ、色温度などをアップデートするために、各ユニット(21−A、21−B、21−C)に対応する構成ベクトル(AV、BV、CV)を利用する。
イメージデータの各フレームのタイミングは、タイミング信号(Timing)によって表われる。プロセッシング遅延時間は、イメージプロセッシングコア22によってイメージデータを処理するために必要な時間と関連する。タイミング信号は、同様にイメージプロセッシングコア22を通じて遅延される。
構成ベクトル(AV、BV、CV)は、オンチップ(on−chip)、又はオフチップ(off−chip)であり得る本発明の実施形態によるプロセッサによって“書き込まれる(write)”か、ファームウェアによって書き込まれ、イメージの多様な側面、例えば、イメージのサイズ、色の深さなどを制御する。各イメージプロセッシングユニット(21−A、21−B、21−C)のアクティブ構成ベクトルは、イメージプロセッシングユニット(21−A、21−B、21−C)でアクティブ(第1)構成ベクトルレジスタCRAV、CRBV、CRCVに保存される。
アップデートされた構成ベクトルは、CPU23によってイメージプロセッシングユニット(21−A、21−B、21−C)に対応するバッファリングされた(第2)構成ベクトルレジスタCRAV+1、CRBV+1、CRCV+1に書き込まれ、スイッチ(SW−A、SW−B、SW−C)が活性化されるまで保持される。
本発明の他の実施形態によって、各イメージプロセッシングユニット(21−A、21−B、21−C)に備えられたバッファリングされた(第2)構成ベクトルレジスタCRAV+1、CRBV+1、CRCV+1は、FIFO(First−In、First−Out)バッファとして具現可能である。
スイッチイネーブル信号によってスイッチ(SW−A、SW−B、SW−C)が活性化された場合、第2構成ベクトルレジスタCRAV+1、CRBV+1、CRCV+1に保存されたアップデートされた構成ベクトルは、第1構成ベクトルレジスタ(CRAV、CRBV、CRCV)にコピーされ、イメージプロセッシングユニット(21−A、21−B、21−C)のアクティブ構成ベクトルになる。
スイッチイネーブル信号は、トリガーイベント(trigger−event)信号と以前イメージプロセッシングユニットから受信されたハードウェアイネーブル信号(HWEN)との論理結合に基づいて、イメージプロセッシングユニット(21−A、21−B、21−C)に備えられたスイッチ(SW−A、SW−B、SW−C)を閉じる(close)ことができる。
第1イメージプロセッシングユニット21−Aの場合、外部回路又はCPU23からトランスファーイネーブル信号(transfer−enable)が入力される。
トリガーイネーブル(trigger−enable)信号は、イメージプロセッシングユニットによって受信されたタイミング信号(Timing)から生成される。
スイッチイネーブル信号は、チップ入出力(I/O)ピンを通じて外部回路から受信された“トランスファーイネーブル”信号で表わしたハードウェアイネーブル信号(HWEN)の論理結合に基づいて、第1イメージプロセッシングユニット21−Aに備えられたスイッチSW−Aを閉じる。
第1イメージプロセッシングユニット21−Aによって受信されたハードウェアイネーブル(HWEN)/トリガーイネーブル信号は、CPU23またはファームウェアによって発生しうる。
スイッチイネーブル信号は、イメージプロセッシングユニット(21−A、21−B、21−C)によって受信されたタイミング信号から生成されたトリガーイベント信号(図示せず)に基づいて、各イメージプロセッシングユニット(21−A、21−B、21−C)で第1構成ベクトルレジスタCRと第2構成ベクトルレジスタCRV+1との間のスイッチ(SW−A、SW−B、SW−C)を非活性化(開放(open))する。
トリガーイベント信号が瞬間パルスである場合、スイッチ(SW−A、SW−B、SW−C)は、瞬間的に活性化(閉じる)されると同時に、以前イメージプロセッシングユニットから受信されたトランスファーイネーブル信号(HWEN)は活性化される。
したがって、各イメージプロセッシングユニット(21−A、21−B、21−C)の第2構成ベクトルレジスタCRV+1で第1構成ベクトルレジスタCRに保存されたアップデートの伝送は、MIPI接続された各イメージプロセッシングユニット(21−A、21−B、21−C)を通じて遅延された量に関係なく、順次に活性化されるだけではなく、各イメージプロセッシングユニット(21−A、21−B、21−C)によって受信されたタイミング信号と同期して進行する。
これは、また、CPU23に負担なしに、または一時割り込みで行われる。
トランスファーイネーブル信号は、CPU23によって直接的に、またはCPU23によって制御されるファームウェアによって間接的に制御されるトランスファーイネーブルレジスタ(TER)に保存されたトランスファーイネーブルビット(T−Eビット)に基づく。
各イメージプロセッシングユニット(21−A、21−B、21−C)は、現在トリガーイベント信号が移行されるか、または無視されるか否かを制御する以前イメージプロセッシングユニット(または、トランスファーイネーブル信号)からハードウェアイネーブル信号(HWEN)を受信する。
したがって、各イメージプロセッシングユニット(21−A、21−B、21−C)は、受信されたイメージデータと関連したタイミング情報によって表われたトリガーイベントを移行するか、または無視するか否かを表わすハードウェアイネーブル信号(HWEN)を次のイメージプロセッシングユニットに提供する。
チェーン方式で第1イメージプロセッシングユニット21−Aは、CPU23又はファームウェアによって制御されるトランスファーイネーブルレジスタ(TER)と呼ばれるレジスタから第1イメージプロセッシングユニット21−Aのトランスファーイネーブル信号を受信する。ハードウェアイネーブル信号(HWEN)は、イメージプロセッシングユニットのチェーンを経ることにより遅延される。
図3は、本発明の一実施形態によるイメージプロセッシング回路の動作の第1モードの間のイメージプロセッシング回路の多様な信号のタイミング図である。
図3では、図1に示したデジタルカメラ100のイメージプロセッシング回路20の動作の第1モードで図2の第1及び第2イメージプロセッシングユニット(21−A、21−B)の入出力及び内部信号のタイミング図のみを示した。
図2、3を参照すると、ハードウェアイネーブル(インターロック、interlock)信号(HWEN)は、順次にアップデートされたアクティブ構成ベクトルを有するチェーン方式のイメージプロセッシングユニット(21−A、21−B、21−C)で各ユニットを保証(ensure)するために提供される。
インターロックは、パイプラインでの各段階をトリガー信号にアーミング(arms)し、以前段階が(アーミング及び)トリガーされてからは、各段階はアーミングされる。
したがって、新たな構成ベクトル(V+1)は、非常に短い時間(リアルタイム)に割り込みに応答するためにプロセッサを必要とせず、プロセッサユニットパイプラインの動作の中断なしにあらゆるイメージプロセッシングユニット(21−A、21−B、21−C)のレジスタに適用される。
イメージセンサー12は、RAW8、RAW10、RAW12、またはユーザ定義された8ビット(例えば、JPEG)で並列ビデオストリーム(stream)を送る。
ピクセルストリームは、ピクセルデータストリームの開始地点でトリガーパルス又は同期信号より先行する。
HSYNCは、ビデオ水平ライン同期信号(Video Horizontal Line Synchronization signal)である。
イメージデータは、HSYNCがハイレベルである間に有効である。
HBLANKは、HSYNCの逆相信号である。
VSYNCは、ビデオフレーム同期信号(Video Frame Synchronization signal)である。
VSYNCは、イメージデータフレームの開始地点で活性化、例えば、ハイレベルで活性化されるか、転換される。
イメージセンサー12は、フレーム開始(例えば、ハイレベルになるVSYNC)、及びフレームエンド(例えば、ローレベルになるVSYNC)でトリガーパルスを発生させうる。
イメージセンサー12は、ピクセルスキャン周波数(例えば、ほぼ10MHz〜30MHz程度)でトグリング(toggling)するピクセルクロックを提供することができる。
本発明の実施形態によって、イメージセンサー12と直接的に接続されたMIPI−CSIは、ローべイヤー(RAW−Bayer)イメージセンサー12と直接的に結合(interface)され、CRC及びECCコードを生成させ、ピクセルをバイト(byte)に変換し、MIPIスペックによってクロックドメインの間で相互作用(interface)する。
一方、CPU23は、イメージプロセッシングユニット24の動作と独立して続いて稼働することができ、ユーザが他のイメージフレームサイズを選択するか、デジタルズーム係数を変更する場合のようなユーザインターフェースと相互作用するユーザの制御に基づいて、構成ベクトル(アップデートされた)を独立して発生することがある。
図3に示したように、データの第1フレームを受信して処理するための期間は、データの次の第2フレームを受信して処理するための期間と異なりうる(例えば、各フレームのサイズによって)。
また、イメージプロセッシングユニットを通じてデータの第1フレームの第1遅延TDA1は、同じイメージプロセッシングユニットを通じてデータの第2フレームの第2遅延TDA2と異なりうる。
したがって、イメージプロセッシングユニットは、構成レジスタをアップデートする目的で各イメージプロセッシングユニットを通じるデータのタイミングと遅延とを追跡することは、CPUに負担になる。
各イメージプロセッシングユニットに対する新たな構成ベクトル(アップデートされた)は、各イメージプロセッシングユニットがフレーム処理を始める時、または始める以前に適用されなければならず、データの全体フレームを処理する間に、一定に保持されなければならない。
アップデートされた構成ベクトルは、イメージデータのタイミングのうち独立したいつでもCPU23によって(例えば、各イメージプロセッシングユニットの第2構成ベクトルレジスタCRV+1に)書き込まれうる。
したがって、スイッチSWがイネーブルされる同時に、CPU23が新たにアップデートされた構成ベクトルを第2構成ベクトルレジスタCRV+1に書き込む場合、第1構成ベクトルレジスタCRに伝送される瞬間に構成ベクトルが損傷されることが起き得、イメージデータの損傷が発生する可能性がある。
イメージプロセッシング回路20の動作の第1モードにおいて、2つ以上連続したイメージデータフレームの区間にまたがり一定のハイ(活性化)状態でトランスファーイネーブル信号が保持される。
このようなイメージプロセッシング回路20の動作の第1モードで、トランスファーイネーブル信号は、データの多重フレームにまたがり(span over)、CPU23が新たな構成ベクトルを第2構成ベクトルレジスタCRV+1に書き込む場合、データが損傷される可能性を避けることができなくなる。
イメージプロセッシング回路20の動作の第2モードにおいて、CPU23が新たな構成ベクトルを第2構成ベクトルレジスタCRV+1に書き込む間に、トランスファーイネーブル信号は、第1構成ベクトルレジスタCRに構成ベクトルの伝送が不可能になるように変調される。
すなわち、イメージプロセッシング回路20の動作の第2モードにおいて、新たな構成ベクトル(アップデートされた)は、CPU23によって最初に書き込まれた後、タイミング信号から生成されたトリガーイベントは、構成ベクトルを第1構成ベクトルレジスタCRに伝送する。
その代わりに、トランスファーイネーブルビット/信号は、新たな構成ベクトル(アップデートされた)を第2構成ベクトルレジスタCRV+1に書き込む機能も移譲されるファームウェアによって制御される。
しかし、第1構成ベクトルレジスタCRと第2構成ベクトルレジスタCRV+1との間のスイッチSWの活性化を制御するためのトランスファーイネーブル信号の変調のみに基づいてアップデートを伝送することは、アップデートされた構成ベクトルが1つ以上のイメージプロセッシングユニットの中間フレームに適用されるので、データの損傷が発生することがある。
したがって、回路動作の2つのモードで、各イメージプロセッシングユニットは、データのフレームが処理される開始と同時に、新たな構成ベクトルを受信するために、各イメージプロセッシングユニットのスイッチSWの活性化は、ハードウェアイネーブル信号とタイミング派生したトリガーイベント(timing−derived trigger event)の論理結合、又はトランスファーイネーブル信号とタイミング派生したトリガーイベントの論理結合によって決定される。
イメージプロセッシング回路20の動作の第2モードについては後述する。
図4は、図2に示したイメージプロセッシングユニットのアップデートイネーブル回路の回路図である。
図4には、図1に示したデジタルカメラ100において、図2のイメージプロセッシングユニット(21−A、21−B、21−C)のアップデートイネーブル論理回路(31−A、31−B、31−C)の回路図を示す。
図3及び図5のタイミング図に示すように、各イメージプロセッシングユニット(21−A、21−B、21−C)のアップデートイネーブル論理回路(31−A、31−B、31−C)は、タイミング(例えば、VSYNC)信号を受信し、イメージプロセッシングユニットが受信されたイメージデータのフレームの処理を始める以前に、第1構成ベクトルレジスタCRと第2構成ベクトルレジスタCRV+1との間のスイッチ(SW−A、SW−B、SW−C)を活性化するトリガーイベント信号(trigger−event)を発生させるトリガーイベント信号発生ロジック32を含む。
アップデートイネーブル論理回路31は、HWEN/トランスファーイネーブル信号及びトリガーイベント信号を論理結合することによって(例えば、論理AND)、イメージプロセッシングユニット(21−A、21−B、21−C)のスイッチイネーブル信号(例えば、switch−enable−A、switch−enable−B、switch−enable−C)を発生させる組み合わせ論理ゲート(g−A、g−B、g−C)をさらに含みうる。
スイッチイネーブル信号(switch−enable−A、switch−enable−B、switch−enable−C)は、アップデートされたイネーブルスイッチ(SW−A、SW−B、SW−C)を制御し、受信されたハードウェアイネーブル信号(HWEN)と受信されたタイミング信号から生成されるトリガー信号の論理結合に基づいて、バッファリングされた第2構成ベクトルからアップデートされた構成ベクトルをアクティブ第1構成ベクトルレジスタに伝送する本発明の実施形態によるスイッチング部を制御する。
アップデートイネーブル信号が活性化された場合、アップデートされた構成ベクトルは、アクティブ構成ベクトルレジスタCRに伝送される第2構成ベクトルレジスタCRV+1に保存される。
アップデートイネーブル論理回路31は、スイッチイネーブル信号(switch−enable−A、switch−enable−B、switch−enable−C)をラッチし、次のイメージプロセッシングユニットによって使うためのハードウェアイネーブル信号(HWEN)として出力するラッチ部(L−A、L−B、L−C)をさらに含む。
第2及び次の段階(例えば、第1イメージプロセッシングユニット、第2イメージプロセッシングユニット...)において、各イメージプロセッシングユニットのスイッチイネーブル信号(switch−enable−A、switch−enable−B、switch−enable−C)は、以前段階で出力された信号であるラッチされたスイッチイネーブル信号(HWEN)をリセットするためのHWENリセット信号(HWEN−reset)として以前イメージプロセッシングユニットのラッチ部にフィードバックされる。
例えば、以前イメージプロセッシングユニット21−Aから出力されたスイッチイネーブル信号HWENn+1をリセットするために、第2イメージプロセッシングユニット21−Bのスイッチイネーブル信号(switch−enable−B)は、以前イメージプロセッシングユニット21−Aのラッチ部L−Aにフィードバックされる。各イメージプロセッシングユニットに備えられたラッチ部(L−A、L−B、L−C)は、セット電極及びリセット電極を有するSRラッチとして具現可能である。
各イメージプロセッシングユニットに備えられたスイッチ(SW−A、SW−B、SW−C)は、マルチプレクサ、各構成ベクトルのビットであり得る多くのポール(pole)を有する単投スイッチ(single−throw switch)、または構成ベクトルの各ビットのための伝送経路を有する半導体パスゲート(semiconductor pass−gate)のような多様な方法で具現可能である。
図5は、本発明の一実施形態による動作のイメージプロセッシング回路の第2モードの間のイメージプロセッシング回路の多様な信号のタイミング図である。
図5には、図1に示したデジタルカメラ100のイメージプロセッシング回路20の動作の第2モードで図2の第1及び第2イメージプロセッシングユニット(21−A、21−B)の入出力及び内部信号のタイミング図のみを示した。
図5を参照すると、本発明の実施形態による第2モードによれば、新たな構成ベクトルが、すべてのイメージプロセッシングユニットに対する第2構成ベクトルレジスタCRV+1に完全に書き込まれた以後、イメージプロセッシングユニットは、順次にアップデートされる。
インターロックは、パイプラインでの各段階をトリガー信号にアーミング(arms)し、以前段階がアーミング及びトリガーされてから、各段階はアーミングされる。
図2、図4及び図5を参照すると、ハードウェアイネーブル(インターロック)信号(HWEN)は、有効なアップデートが効力がある間に、各イメージプロセッシングユニットが順次にアップデートされたアクティブ構成ベクトルを有するかを確認するために選択された時点に提供される。
インターロックは、パイプラインでの各段階をトリガー信号をアーミング(arms)し、以前段階がアーミング及びトリガーされてから、各段階はアーミングされる。
すなわち、新たな構成ベクトル(V+1)は、プロセッサ動作の中断なしに、またプロセッサが非常に短い時間での割り込みに応答する必要なしに、あらゆるイメージプロセッシングユニットのレジスタに適用される。
CPU23は、イメージプロセッシングユニット24の動作と独立して続いて稼働することができ、ユーザが他のイメージフレームサイズを選択するか、デジタルズーム係数を変更する場合のようなユーザインターフェースと相互作用するユーザの制御に基づいて、構成ベクトル(アップデートされた)を独立して発生することがある。
アップデートされた構成ベクトルは、イメージデータのタイミングとは関係ない所定の時点でCPUによって(例えば、各イメージプロセッシングユニットの第2構成ベクトルレジスタCRV+1に)書き込みされうる。各イメージプロセッシングユニットの第2構成ベクトルレジスタCRV+1に保存されたアップデートされた構成ベクトルは、イメージデータのタイミングと同期して、第1構成ベクトルレジスタCRに伝送することができる。
したがって、各イメージプロセッシングユニットの第2構成ベクトルレジスタCRV+1のデータは、対応する第1構成ベクトルレジスタCRにトリガーイベントパルスが発生する度に伝送されない。
上記開示された発明は、実施形態として考慮されたものであるので、制限されて解析されてはならず、添付の請求項は、発明の思想によって変形、添加、及び他の実施例まで含むものと理解しなければならない。したがって、後続する請求項及びその均等物の最大限の解析によって発明の保護範囲は、法によって許容される最大の内容まで決定されなければならず、前述した詳細な説明によって制限的に解析されてはならない。
10 レンズ
12 イメージセンサー
20 イメージプロセッシング回路
21−A〜E (第1〜第5)イメージプロセッシングユニット
22−A〜C イメージプロセッシングコア
23 CPU
24 イメージプロセッシングユニット
31−A〜C (アップデート)イネーブル論理回路
32−A〜C トリガーイベント信号発生ロジック
100 デジタルカメラ
g−A〜C 論理ゲート
L−A〜C ラッチ部
SW−A〜C スイッチ

Claims (15)

  1. イメージプロセッシング回路であって、
    複数のイメージプロセッシングユニットを有し、
    前記複数のイメージプロセッシングユニットのそれぞれは、構成ベクトルを保存する第1構成ベクトルレジスタと、
    アップデートされた構成ベクトルを保存する第2構成ベクトルレジスタと、
    第1イネーブル信号を発生させる論理回路とを含み、
    前記第1イネーブル信号の制御下で、第2構成ベクトルレジスタの出力を前記第1構成ベクトルレジスタに入力し、
    前記第1イネーブル信号は、トリガー信号及び第2イネーブル信号に基づいて発生し、
    前記複数のイメージプロセッシングユニットは、直列に接続され、
    前記複数のイメージプロセッシングユニットのそれぞれは、前記第1イネーブル信号をラッチし、前記ラッチされた第1イネーブル信号を次のイメージプロセッシングユニットによって受信される前記第2イネーブル信号として出力するラッチ部を含み、
    前記第2イネーブル信号は、先のイメージプロセッシングユニットのラッチを解除するために先のイメージプロセッシングユニットのラッチにフィードバックされることを特徴とするイメージプロセッシング回路。
  2. 前記アップデートされた構成ベクトルを受信して、前記第1構成ベクトルレジスタに出力するスイッチング部をさらに含むことを特徴とする請求項1に記載のイメージプロセッシング回路。
  3. 前記トリガー信号は、前記イメージプロセッシング回路でイメージデータの各フレームの到達と時間が同期されていることを特徴とする請求項1に記載のイメージプロセッシング回路。
  4. 前記複数のイメージプロセッシングユニットのうちから第1イメージプロセッシングユニットによって受信された前記第2イネーブル信号は、トランスファーイネーブルビットをラッチして、トランスファーイネーブルレジスタによって出力されたトランスファーイネーブル信号であることを特徴とする請求項1に記載のイメージプロセッシング回路。
  5. 前記トランスファーイネーブルビットは、CPUによって前記トランスファーイネーブルレジスタに書き込まれることを特徴とする請求項に記載のイメージプロセッシング回路。
  6. 前記アップデートされた構成ベクトルを生成するCPUをさらに有することを特徴とする請求項1に記載のイメージプロセッシング回路。
  7. 前記CPUは、前記アップデートされた構成ベクトルを前記第2構成ベクトルレジスタに書き込むことを特徴とする請求項に記載のイメージプロセッシング回路。
  8. 前記イメージプロセッシングユニットの前記第2イネーブル信号が活性化している間、前記アップデートされた構成ベクトルは、如何なるイメージプロセッシングユニットの前記第2構成ベクトルレジスタにも書き込まれないことを特徴とする請求項1に記載のイメージプロセッシング回路。
  9. 前記イメージプロセッシングユニットの前記トリガー信号は、前記イメージプロセッシングユニットによって受信されたタイミング信号に基づいて、前記イメージプロセッシングユニット内で発生することを特徴とする請求項1に記載のイメージプロセッシング回路。
  10. 直列接続された複数のイメージプロセッシングユニットを通じてイメージデータの第1フレーム及び第2フレームを連続して処理する方法において、
    前記複数のイメージプロセッシングユニットのうち1つである第1イメージプロセッシングユニットで前記イメージデータの第1フレームを受信する段階と、
    第1イネーブル信号が活性化している間、前記イメージデータの第1フレームに対応する構成ベクトルを前記第1イメージプロセッシングユニットのアクティブ構成ベクトルレジスタに書き込む段階と、
    前記イメージデータの第1フレームに対応するタイミング信号から生成されたトリガー信号と第2イネーブル信号とを結合することによって、前記活性化した第1イネーブル信号を発生させる段階と
    前記第1イネーブル信号をラッチし、前記ラッチされた第1イネーブル信号を次のイメージプロセッシングユニットによって受信される前記第2イネーブル信号として出力する段階と
    を有し、
    前記タイミング信号は、ビデオフレーム同期信号を含み、
    前記第2イネーブル信号は、先のイメージプロセッシングユニットのラッチを解除するために先のイメージプロセッシングユニットのラッチにフィードバックされることを特徴とするイメージプロセッシング方法。
  11. 前記第1イネーブル信号が活性化される前に、
    前記イメージデータの第1フレームに対応する前記構成ベクトルを前記第1イメージプロセッシングユニットのバッファリングされた構成ベクトルレジスタに書き込む段階をさらに有することを特徴とする請求項10に記載のイメージプロセッシング方法。
  12. 前記トリガー信号は、前記ビデオフレーム同期信号から生成されることを特徴とする請求項10に記載のイメージプロセッシング方法。
  13. 複数のイメージプロセッシングユニットを含むカメラにおいて、
    前記複数のイメージプロセッシングユニットのそれぞれは、前記イメージプロセッシングユニットのイメージプロセッシングコアを構成するアクティブ構成ベクトルを保存する第1構成ベクトルレジスタと、
    アップデートされた構成ベクトルを保存する第2構成ベクトルレジスタと、
    前記第1構成ベクトルレジスタと第2構成ベクトルレジスタとの間に接続され、第1イネーブル信号に基づいて、前記保存されたアップデート構成ベクトルを前記第1構成ベクトルレジスタに伝送するパスゲートと、
    トリガー信号と第2イネーブル信号とを結合することによって、前記第1イネーブル信号を発生させる論理回路とを有し、
    前記トリガー信号は、ビデオフレーム同期信号に時間依存であり、
    前記複数のイメージプロセッシングユニットはカスケード(cascade)接続され、
    前記複数のイメージプロセッシングユニットのそれぞれは、前記第1イネーブル信号をラッチし、前記ラッチされた第1イネーブル信号を次のイメージプロセッシングユニットによって受信される前記第2イネーブル信号として出力するラッチ部を含み、
    前記第2イネーブル信号は、先のイメージプロセッシングユニットのラッチを解除するために先のイメージプロセッシングユニットのラッチにフィードバックされることを特徴とするカメラ。
  14. 第1イメージプロセッシングユニットによって受信される前記第2イネーブル信号は、CPUから発生することを特徴とする請求項13に記載のカメラ。
  15. イメージプロセッシングユニットから次のイメージプロセッシングユニットに伝達される前記第2イネーブル信号は、イメージデータ及びそれに対応するタイミング信号の流れと並行して伝達され、前記タイミング信号から派生したトリガー信号がイネーブルされた場合、アクティブ構成ベクトルレジスタをアップデートするためのアクティブトリガーとして表われ、
    そのようなハードウェアイネーブルトリガー活性化は、チェーンダウンストリーム(chain down−stream)方式で第1イメージプロセッシングユニットからそれぞれの次のイメージプロセッシングユニットにカスケード(cascade)接続されることを特徴とする請求項13に記載のカメラ。
JP2011280065A 2010-12-23 2011-12-21 イメージプロセッシングパイプラインに対するグローバルアーミング(globalarming)方法 Active JP5967926B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201061426975P 2010-12-23 2010-12-23
US201061426970P 2010-12-23 2010-12-23
US61/426,975 2010-12-23
US61/426,970 2010-12-23

Publications (2)

Publication Number Publication Date
JP2012164302A JP2012164302A (ja) 2012-08-30
JP5967926B2 true JP5967926B2 (ja) 2016-08-10

Family

ID=46316237

Family Applications (7)

Application Number Title Priority Date Filing Date
JP2011280065A Active JP5967926B2 (ja) 2010-12-23 2011-12-21 イメージプロセッシングパイプラインに対するグローバルアーミング(globalarming)方法
JP2011280088A Active JP5855445B2 (ja) 2010-12-23 2011-12-21 デジタルイメージ安定化のための、ビデオデータ処理方法及びイメージ処理回路、並びにこれを用いるカメラ
JP2011280075A Pending JP2012165363A (ja) 2010-12-23 2011-12-21 デジタルイメージ安定化のために回転、補間され最適化されたピクセルのラスター出力
JP2011281645A Pending JP2012164303A (ja) 2010-12-23 2011-12-22 適応フィルタリングを利用したデジタルイメージ安定化方法
JP2011281534A Pending JP2012165365A (ja) 2010-12-23 2011-12-22 適応フィルタリングを利用したデジタルイメージ安定化方法
JP2011281953A Active JP5933970B2 (ja) 2010-12-23 2011-12-22 デジタルイメージ安定化装置及び方法
JP2011282093A Pending JP2012138906A (ja) 2010-12-23 2011-12-22 デジタルイメージ安定化装置及び方法

Family Applications After (6)

Application Number Title Priority Date Filing Date
JP2011280088A Active JP5855445B2 (ja) 2010-12-23 2011-12-21 デジタルイメージ安定化のための、ビデオデータ処理方法及びイメージ処理回路、並びにこれを用いるカメラ
JP2011280075A Pending JP2012165363A (ja) 2010-12-23 2011-12-21 デジタルイメージ安定化のために回転、補間され最適化されたピクセルのラスター出力
JP2011281645A Pending JP2012164303A (ja) 2010-12-23 2011-12-22 適応フィルタリングを利用したデジタルイメージ安定化方法
JP2011281534A Pending JP2012165365A (ja) 2010-12-23 2011-12-22 適応フィルタリングを利用したデジタルイメージ安定化方法
JP2011281953A Active JP5933970B2 (ja) 2010-12-23 2011-12-22 デジタルイメージ安定化装置及び方法
JP2011282093A Pending JP2012138906A (ja) 2010-12-23 2011-12-22 デジタルイメージ安定化装置及び方法

Country Status (5)

Country Link
US (7) US20120162449A1 (ja)
JP (7) JP5967926B2 (ja)
KR (7) KR101861770B1 (ja)
CN (5) CN102547119A (ja)
DE (6) DE102011056975A1 (ja)

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896715B2 (en) * 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US20120162449A1 (en) * 2010-12-23 2012-06-28 Matthias Braun Digital image stabilization device and method
US8384787B2 (en) * 2011-02-24 2013-02-26 Eastman Kodak Company Method for providing a stabilized video sequence
US8724854B2 (en) 2011-04-08 2014-05-13 Adobe Systems Incorporated Methods and apparatus for robust video stabilization
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
CN102789642B (zh) * 2011-05-16 2017-08-25 索尼公司 消失方向确定方法和装置、摄像机自标定方法和装置
GB2492529B (en) * 2011-05-31 2018-01-10 Skype Video stabilisation
US20130050560A1 (en) * 2011-08-23 2013-02-28 Bae Systems Information And Electronic Systems Integration Inc. Electronic selection of a field of view from a larger field of regard
GB201116566D0 (en) 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
GB2497507B (en) 2011-10-14 2014-10-22 Skype Received video stabilisation
US8810666B2 (en) * 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
JP2013187726A (ja) * 2012-03-08 2013-09-19 Casio Comput Co Ltd 画像解析装置、画像処理装置、画像解析方法及びプログラム
KR101939628B1 (ko) * 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
US8957973B2 (en) 2012-06-11 2015-02-17 Omnivision Technologies, Inc. Shutter release using secondary camera
US8928730B2 (en) * 2012-07-03 2015-01-06 DigitalOptics Corporation Europe Limited Method and system for correcting a distorted input image
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
JP6007682B2 (ja) * 2012-08-31 2016-10-12 富士通株式会社 画像処理装置、画像処理方法及びプログラム
US9912847B1 (en) 2012-09-25 2018-03-06 Amazon Technologies, Inc. Image capture guidance to reduce specular reflection effects
KR101640527B1 (ko) 2012-10-09 2016-07-18 에스케이 텔레콤주식회사 단일객체의 크기를 추정하는 영상 감시장치 및 방법
KR101618814B1 (ko) 2012-10-09 2016-05-09 에스케이텔레콤 주식회사 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
EP2918076A4 (en) * 2012-11-12 2016-10-05 Behavioral Recognition Sys Inc IMAGE STABILIZATION PROCEDURE FOR VIDEO MONITORING SYSTEMS
JP6091172B2 (ja) * 2012-11-15 2017-03-08 オリンパス株式会社 特徴点検出装置およびプログラム
CN103837170B (zh) * 2012-11-28 2016-08-10 常州大学 频率输出类传感器自动频率补偿电路及方法
KR101783990B1 (ko) 2012-12-21 2017-10-10 한화테크윈 주식회사 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법
US9244694B2 (en) * 2012-12-27 2016-01-26 Intel Corporation Executing a command within a transport mechanism based on a get and set architecture
US9235260B2 (en) * 2012-12-27 2016-01-12 Intel Corporation Camera command set host command translation
JP5988879B2 (ja) * 2013-01-09 2016-09-07 オリンパス株式会社 特徴点検出装置およびプログラム
US9712818B2 (en) * 2013-01-11 2017-07-18 Sony Corporation Method for stabilizing a first sequence of digital image frames and image stabilization unit
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
US9307148B1 (en) * 2013-05-15 2016-04-05 Amazon Technologies, Inc. Video enhancement techniques
US9445061B2 (en) * 2013-07-08 2016-09-13 Semiconductor Components Industries, Llc Image sensors with pixel array sub-sampling capabilities
KR102069269B1 (ko) * 2014-01-21 2020-01-22 한화테크윈 주식회사 영상 안정화 장치 및 방법
US10136063B2 (en) 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
US20150022677A1 (en) * 2013-07-16 2015-01-22 Qualcomm Incorporated System and method for efficient post-processing video stabilization with camera path linearization
JP5822411B2 (ja) * 2013-08-12 2015-11-24 株式会社アポロジャパン 画像情報のコード変換装置、画像情報のコード変換方法、画像コードを用いた画像関連情報提供システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体
JP6230345B2 (ja) * 2013-09-06 2017-11-15 キヤノン株式会社 画像処理方法、画像処理装置、及びプログラム
JP6206804B2 (ja) * 2013-09-27 2017-10-04 パナソニックIpマネジメント株式会社 移動体追跡装置、移動体追跡システムおよび移動体追跡方法
US10051274B2 (en) * 2013-10-25 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus, method of calculating information according to motion of frame, and storage medium
KR20150049535A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 전자장치 및 그 이용방법
JP6147172B2 (ja) * 2013-11-20 2017-06-14 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、及びプログラム
US9813730B2 (en) * 2013-12-06 2017-11-07 Mediatek Inc. Method and apparatus for fine-grained motion boundary processing
CN103841296B (zh) * 2013-12-24 2017-01-18 哈尔滨工业大学 一种具有大范围旋转及平移运动估计的实时电子稳像方法
CN103731658B (zh) * 2013-12-25 2015-09-30 深圳市墨克瑞光电子研究院 双目摄像机复位方法和双目摄像机复位装置
US11080865B2 (en) * 2014-01-02 2021-08-03 Hanwha Techwin Co., Ltd. Heatmap providing apparatus and method
KR102150705B1 (ko) 2014-01-22 2020-09-01 한화테크윈 주식회사 영상 처리 장치 및 방법
JP6305806B2 (ja) * 2014-03-28 2018-04-04 日本コントロールシステム株式会社 情報処理装置、情報処理方法、およびプログラム
US10194163B2 (en) * 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
GB2521491B (en) * 2014-06-17 2016-10-19 Imagination Tech Ltd Motion estimation
CN104077099B (zh) * 2014-06-18 2017-09-29 浙江德景电子科技有限公司 一种智能终端平台支持更高分辨率的方法
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9386234B2 (en) 2014-07-31 2016-07-05 Apple Inc. Auto filter extent management
JP6395506B2 (ja) * 2014-08-22 2018-09-26 キヤノン株式会社 画像処理装置および方法、プログラム、並びに撮像装置
CN104243819B (zh) * 2014-08-29 2018-02-23 小米科技有限责任公司 照片获取方法及装置
JP6234349B2 (ja) 2014-09-16 2017-11-22 株式会社東芝 移動体位置推定装置、移動体位置推定方法及び移動体位置推定プログラム
WO2016041193A1 (en) * 2014-09-19 2016-03-24 Intel Corporation Trajectory planning for video stabilization
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
DE102014220423A1 (de) * 2014-10-08 2016-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zum Erzeugen eines Videoausgangsdatenstroms, Videoquelle, Videosystem und Verfahren zum Erzeugen eines Videoausgangsdatenstroms bzw. eines Videoquellendatenstroms
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
US9626733B2 (en) * 2014-11-24 2017-04-18 Industrial Technology Research Institute Data-processing apparatus and operation method thereof
EP3034000A1 (en) * 2014-12-16 2016-06-22 Agfa Healthcare Motion correction method in dual energy radiography
US9998663B1 (en) 2015-01-07 2018-06-12 Car360 Inc. Surround image capture and processing
US10284794B1 (en) 2015-01-07 2019-05-07 Car360 Inc. Three-dimensional stabilized 360-degree composite image capture
US10163000B2 (en) * 2015-01-14 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for determining type of movement of object in video
US10013735B2 (en) * 2015-01-28 2018-07-03 Qualcomm Incorporated Graphics processing unit with bayer mapping
KR102305118B1 (ko) 2015-02-11 2021-09-27 삼성전자주식회사 이미지 안정화 방법 및 그 전자 장치
JP2016164709A (ja) * 2015-03-06 2016-09-08 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US9336582B1 (en) 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
US9342873B1 (en) * 2015-05-23 2016-05-17 Google Inc. Tile-based optical flow
US9736366B1 (en) 2015-05-23 2017-08-15 Google Inc. Tile-based digital image correspondence
CN106294905B (zh) * 2015-06-01 2021-07-06 鸿富锦精密电子(郑州)有限公司 印刷电路板布线系统及方法
JP6579807B2 (ja) * 2015-06-08 2019-09-25 キヤノン株式会社 撮像制御装置、撮像装置および撮像制御プログラム
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
KR102457617B1 (ko) * 2015-09-16 2022-10-21 한화테크윈 주식회사 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
JP6332212B2 (ja) * 2015-09-18 2018-05-30 カシオ計算機株式会社 姿勢推定装置、姿勢推定方法及びプログラム
JP6602141B2 (ja) * 2015-10-05 2019-11-06 キヤノン株式会社 画像処理装置および方法
US9892496B2 (en) 2015-11-05 2018-02-13 Google Llc Edge-aware bilateral image processing
CN105491023B (zh) * 2015-11-24 2020-10-27 国网智能电网研究院 一种面向电力物联网的数据隔离交换和安全过滤方法
CN105681663B (zh) * 2016-02-26 2018-06-22 北京理工大学 一种基于帧间运动几何平滑性的视频抖动检测方法
US9756248B1 (en) 2016-03-02 2017-09-05 Conduent Business Services, Llc Methods and systems for camera drift correction
US9984305B2 (en) * 2016-04-19 2018-05-29 Texas Instruments Incorporated Efficient SIMD implementation of 3x3 non maxima suppression of sparse 2D image feature points
US9756249B1 (en) * 2016-04-27 2017-09-05 Gopro, Inc. Electronic image stabilization frequency estimator
JP6653386B2 (ja) * 2016-07-19 2020-02-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
US20180070089A1 (en) * 2016-09-08 2018-03-08 Qualcomm Incorporated Systems and methods for digital image stabilization
US20180150703A1 (en) * 2016-11-29 2018-05-31 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof
US10600290B2 (en) 2016-12-14 2020-03-24 Immersion Corporation Automatic haptic generation based on visual odometry
CN107063228B (zh) * 2016-12-21 2020-09-04 上海交通大学 基于双目视觉的目标姿态解算方法
US10250809B2 (en) * 2017-02-24 2019-04-02 Synaptive Medical (Barbados) Inc. Video stabilization system and method
US10255891B2 (en) * 2017-04-12 2019-04-09 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with multiple LSR processing engines
US10430983B2 (en) * 2017-06-05 2019-10-01 Microsoft Technology Licensing, Llc Vertex pixel buffer
US10764499B2 (en) 2017-06-16 2020-09-01 Microsoft Technology Licensing, Llc Motion blur detection
US10289791B1 (en) * 2017-06-23 2019-05-14 Cadence Design Systems, Inc. Anchor-point based hierarchical electronic design process
US10453187B2 (en) * 2017-07-21 2019-10-22 The Boeing Company Suppression of background clutter in video imagery
CN107360377B (zh) * 2017-09-04 2020-09-25 云南电网有限责任公司电力科学研究院 一种车载视频稳像方法
CN107766021B (zh) * 2017-09-27 2020-12-25 芯启源(上海)半导体科技有限公司 图像处理方法、设备、显示系统及存储介质
CN107808388B (zh) * 2017-10-19 2021-10-12 中科创达软件股份有限公司 包含运动目标的图像处理方法、装置及电子设备
CN117676138A (zh) * 2017-12-06 2024-03-08 V-诺瓦国际有限公司 编码信号的方法、编码器、解码数据流的方法以及解码器
US12521201B2 (en) 2017-12-07 2026-01-13 Augmedics Ltd. Spinous process clamp
US12458411B2 (en) 2017-12-07 2025-11-04 Augmedics Ltd. Spinous process clamp
US11080864B2 (en) * 2018-01-08 2021-08-03 Intel Corporation Feature detection, sorting, and tracking in images using a circular buffer
JP6886622B2 (ja) * 2018-01-22 2021-06-16 京セラドキュメントソリューションズ株式会社 画像処理装置
US10726522B2 (en) 2018-01-24 2020-07-28 Fotonation Limited Method and system for correcting a distorted input image
US20190295222A1 (en) * 2018-03-22 2019-09-26 Seiko Epson Corporation Image processing device, image processing method, and display device
EP3547211B1 (en) * 2018-03-30 2021-11-17 Naver Corporation Methods for training a cnn and classifying an action performed by a subject in an inputted video using said cnn
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A FIDUCIAL MARKER FOR AN AUGMENTED REALITY SYSTEM
US10497173B2 (en) * 2018-05-07 2019-12-03 Intel Corporation Apparatus and method for hierarchical adaptive tessellation
CN110557522A (zh) * 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 一种去除视频抖动的方法及装置
CN110708458B (zh) * 2018-07-10 2021-03-23 杭州海康微影传感科技有限公司 一种图像帧补偿方法、摄像机和热成像摄像机
KR20200016443A (ko) * 2018-08-07 2020-02-17 주식회사 마크애니 콘텐츠의 영상 데이터 복원방법 및 장치
WO2020041999A1 (en) * 2018-08-29 2020-03-05 Intel Corporation Apparatus and method for feature point tracking using inter-frame prediction
WO2020042021A1 (zh) * 2018-08-29 2020-03-05 深圳市大疆创新科技有限公司 电子设备的控制方法、装置、电子设备及存储介质
CN109272041B (zh) * 2018-09-21 2021-10-22 联想(北京)有限公司 特征点的选取方法及装置
CN113473025A (zh) * 2018-11-20 2021-10-01 深圳市大疆创新科技有限公司 云台调整方法、云台调整设备、移动平台及介质
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
EP3888371A2 (en) * 2018-11-29 2021-10-06 InterDigital VC Holdings, Inc. Motion vector predictor candidates ordering in merge list
EP3672228B1 (en) 2018-12-20 2025-03-19 Axis AB Method and system for adjusting an image pipeline setting
CN112042191B (zh) * 2019-01-01 2024-03-19 Lg电子株式会社 以基于历史的运动矢量为基础预测处理视频信号的方法和设备
CN109977775B (zh) * 2019-02-25 2023-07-28 腾讯科技(深圳)有限公司 关键点检测方法、装置、设备及可读存储介质
US11543514B2 (en) * 2019-03-29 2023-01-03 Elemenf Hope, Inc. Activity detection in sand environment
AU2020250609B2 (en) 2019-04-01 2023-09-07 Beijing Bytedance Network Technology Co., Ltd. Using interpolation filters for history based motion vector prediction
WO2020248925A1 (en) 2019-06-08 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. History-based motion vector prediction with default parameters
WO2021000883A1 (en) * 2019-07-04 2021-01-07 Beijing Bytedance Network Technology Co., Ltd. Storage of motion information in history-based motion vector prediction table
US11176386B2 (en) * 2019-07-08 2021-11-16 Nxp Usa, Inc. System and method for continuous operation of vision/radar systems in presence of bit errors
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
JP7359942B2 (ja) 2019-08-20 2023-10-11 北京字節跳動網絡技術有限公司 映像処理における代替の補間フィルタの選択的使用
CN111061729B (zh) * 2019-11-29 2021-04-16 武汉大学 顾及粒度的矢量瓦片组织方法
KR102788730B1 (ko) 2019-12-19 2025-04-02 삼성디스플레이 주식회사 광 제어 패널 및 이를 포함하는 표시 장치
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11748844B2 (en) 2020-01-08 2023-09-05 Carvana, LLC Systems and methods for generating a virtual display of an item
US11356604B2 (en) * 2020-02-14 2022-06-07 Pixelworks, Inc. Methods and systems for image processing with multiple image sources
KR20210155284A (ko) 2020-06-15 2021-12-22 한화테크윈 주식회사 영상처리장치
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
CN111974081A (zh) * 2020-07-31 2020-11-24 湖北三江航天红阳机电有限公司 一种气凝胶胶液回收装置、方法、系统、设备和存储介质
US12267612B2 (en) * 2020-08-10 2025-04-01 Micron Technology, Inc. Methods and apparatus for integrated image signal processing
US12502163B2 (en) 2020-09-09 2025-12-23 Augmedics Ltd. Universal tool adapter for image-guided surgery
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
WO2022168501A1 (ja) * 2021-02-04 2022-08-11 ソニーセミコンダクタソリューションズ株式会社 カメラモジュール、撮影方法、及び、電子機器
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
US12475662B2 (en) 2021-08-18 2025-11-18 Augmedics Ltd. Stereoscopic display and digital loupe for augmented-reality near-eye display
CN118202656A (zh) * 2021-11-30 2024-06-14 北京达佳互联信息技术有限公司 视频编解码中考虑边界外条件的运动补偿
CN119013991A (zh) * 2022-03-16 2024-11-22 北京达佳互联信息技术有限公司 用于视频编解码的自适应图片修改
WO2023203522A2 (en) * 2022-04-21 2023-10-26 Augmedics Ltd. Reduction of jitter in virtual presentation
WO2023203521A1 (en) 2022-04-21 2023-10-26 Augmedics Ltd. Systems and methods for medical image visualization
DE102022112743B4 (de) 2022-05-20 2024-02-01 Audi Aktiengesellschaft Verfahren zur Verbesserung der Qualität einer Audio- und/oder Videoaufzeichnung sowie Steuervorrichtung für ein mobiles Endgerät
US12154278B2 (en) * 2022-06-29 2024-11-26 Qualcomm Incorporated Scale image resolution for motion estimation
CN115174817A (zh) * 2022-09-05 2022-10-11 深圳深知未来智能有限公司 一种基于深度学习的混合防抖方法及系统
JP2025531829A (ja) 2022-09-13 2025-09-25 オーグメディックス リミテッド 画像誘導医療介入のための拡張現実アイウェア
CN115601688B (zh) * 2022-12-15 2023-02-21 中译文娱科技(青岛)有限公司 基于深度学习的视频主体内容检测方法及系统
KR20240136135A (ko) 2023-03-06 2024-09-13 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법
KR20240159042A (ko) 2023-04-28 2024-11-05 삼성전자주식회사 이미지 센서 장치 및 그것의 동작 방법
US20260057494A1 (en) * 2024-08-21 2026-02-26 Tyco Fire & Security Gmbh Intelligent image stabilization

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2679778B2 (ja) * 1990-05-16 1997-11-19 松下電器産業株式会社 画像の動き検出装置
US5446501A (en) * 1992-10-22 1995-08-29 Accom, Incorporated Three-dimensional median and recursive filtering apparatus and method for video image enhancement
US5748947A (en) * 1993-02-25 1998-05-05 Ricoh Company, Ltd. Information processing system for switchably processing data associated with straight line vectors
US5608458A (en) 1994-10-13 1997-03-04 Lucent Technologies Inc. Method and apparatus for a region-based approach to coding a sequence of video images
KR0181063B1 (ko) * 1995-04-29 1999-05-01 배순훈 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치
DE59509450D1 (de) 1995-08-12 2001-08-30 Micronas Gmbh Equalizer für digitalisierte Signale
US6025840A (en) * 1995-09-27 2000-02-15 Cirrus Logic, Inc. Circuits, systems and methods for memory mapping and display control systems using the same
JP3332202B2 (ja) * 1996-10-04 2002-10-07 日本電信電話株式会社 カメラワーク算出方法及び装置
JP3104868B2 (ja) * 1997-11-25 2000-10-30 富士ゼロックス株式会社 画像処理装置
DE69929727T2 (de) * 1998-04-28 2006-07-20 Sanyo Electric Co., Ltd., Moriguchi Vorrichtung zur seriellen Übertragung von Daten
JP4004653B2 (ja) * 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
WO2000011874A1 (de) 1998-08-18 2000-03-02 Siemens Aktiengesellschaft Verfahren und anordnung zur codierung eines digitalisierten bildes mit anwendung eines objektgesamtbewegungsvektors
US7136110B2 (en) * 2000-06-14 2006-11-14 Canon Kabushiki Kaisha Image signal processing apparatus
GB2364415B (en) * 2000-06-30 2004-10-20 Post Office Image processing
JP3659157B2 (ja) 2000-10-17 2005-06-15 日本電気株式会社 映像内容に重み付けをする画像圧縮方式
US6940557B2 (en) 2001-02-08 2005-09-06 Micronas Semiconductors, Inc. Adaptive interlace-to-progressive scan conversion algorithm
JP3636672B2 (ja) * 2001-04-06 2005-04-06 松下電器産業株式会社 表示処理装置
US7043058B2 (en) 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
JP3578735B2 (ja) * 2001-08-02 2004-10-20 松下電器産業株式会社 情報処理装置及び情報処理方法
US6765622B2 (en) * 2001-10-26 2004-07-20 Koninklijke Philips Electronics N.V. Line-buffer reuse in vertical pixel-processing arrangement
KR100492127B1 (ko) 2002-02-23 2005-06-01 삼성전자주식회사 적응형 움직임 추정장치 및 추정 방법
JP2003331292A (ja) * 2002-05-09 2003-11-21 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
EP1377040A1 (en) 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
US6950473B2 (en) * 2002-06-21 2005-09-27 Seiko Epson Corporation Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
JP4198550B2 (ja) * 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
GB0229096D0 (en) 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
JP3925415B2 (ja) * 2003-01-22 2007-06-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2004073300A1 (ja) * 2003-02-14 2004-08-26 Mitsubishi Denki Kabuskiki Kaisha 動画像合成装置、動画像合成方法、及び動画像合成機能付き情報端末装置
JP4182801B2 (ja) * 2003-04-24 2008-11-19 日本電気株式会社 マルチプロセサシステム
JP2004343483A (ja) * 2003-05-16 2004-12-02 Acutelogic Corp 手振れ補正装置および方法、手振れ検出装置
US7503049B2 (en) 2003-05-29 2009-03-10 Panasonic Corporation Information processing apparatus operable to switch operating systems
KR100541953B1 (ko) * 2003-06-16 2006-01-10 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
JP2005009883A (ja) 2003-06-16 2005-01-13 Calsonic Kansei Corp ステレオカメラ装置
KR100579542B1 (ko) 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
JP4263976B2 (ja) 2003-09-24 2009-05-13 株式会社東芝 オンチップマルチコア型耐タンパプロセッサ
US7295616B2 (en) * 2003-11-17 2007-11-13 Eastman Kodak Company Method and system for video filtering with joint motion and noise estimation
US7457438B2 (en) * 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7433497B2 (en) 2004-01-23 2008-10-07 Hewlett-Packard Development Company, L.P. Stabilizing a sequence of image frames
US7880769B2 (en) * 2004-02-13 2011-02-01 Qualcomm Incorporated Adaptive image stabilization
EP1759334A2 (en) * 2004-06-22 2007-03-07 Sarnoff Corporation Method and apparatus for visual odometry
JP4404822B2 (ja) * 2004-08-31 2010-01-27 三洋電機株式会社 手ぶれ補正装置および撮像機器
US20060050976A1 (en) * 2004-09-09 2006-03-09 Stephen Molloy Caching method and apparatus for video motion compensation
US7447337B2 (en) 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
JP4750719B2 (ja) 2004-11-26 2011-08-17 パナソニック株式会社 プロセッサ、セキュア処理システム
CN100487522C (zh) * 2005-01-13 2009-05-13 奥林巴斯映像株式会社 模糊校正方法及摄像装置
JP4755490B2 (ja) * 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
FR2882160B1 (fr) 2005-02-17 2007-06-15 St Microelectronics Sa Procede de capture d'images comprenant une mesure de mouvements locaux
JP4321472B2 (ja) * 2005-03-28 2009-08-26 トヨタ自動車株式会社 制御装置
KR100732683B1 (ko) * 2005-05-06 2007-06-27 삼성전자주식회사 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법
JP5006568B2 (ja) * 2005-05-06 2012-08-22 キヤノン株式会社 レジスタ設定制御装置、レジスタ設定制御方法、プログラム及びデジタルカメラ
JP2006338272A (ja) * 2005-06-01 2006-12-14 Nissan Motor Co Ltd 車両挙動検出装置、および車両挙動検出方法
DE102005025634A1 (de) 2005-06-03 2006-12-07 Micronas Gmbh Verfahren und Vorrichtung zur Ermittlung von Bewegungsvektoren
FR2888349A1 (fr) 2005-07-06 2007-01-12 St Microelectronics Sa Adaptation de debit binaire dans un flot de traitement de donnees
JP4640068B2 (ja) * 2005-09-16 2011-03-02 ソニー株式会社 撮像方法および撮像装置
US20070076796A1 (en) 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
JP4334533B2 (ja) 2005-11-24 2009-09-30 株式会社東芝 動画像符号化/復号化方法および装置
JP4695972B2 (ja) * 2005-12-14 2011-06-08 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
CN100440933C (zh) * 2005-12-31 2008-12-03 北京中星微电子有限公司 一种用于手持数码摄像设备的防抖方法及装置
JP4981325B2 (ja) * 2006-02-13 2012-07-18 キヤノン株式会社 カメラシステム
JP4595834B2 (ja) * 2006-03-03 2010-12-08 日本ビクター株式会社 動きベクトル検出方法及び装置
JP4961850B2 (ja) 2006-06-15 2012-06-27 ソニー株式会社 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置
EP2052553A4 (en) * 2006-07-26 2010-08-25 Human Monitoring Ltd IMAGE STABILIZER
US20080144124A1 (en) 2006-10-13 2008-06-19 Ramin Samadani Auxiliary information for reconstructing digital images processed through print-scan channels
JP4823179B2 (ja) * 2006-10-24 2011-11-24 三洋電機株式会社 撮像装置及び撮影制御方法
EP2040192A4 (en) 2006-12-22 2011-03-30 Panasonic Corp INFORMATION PROCESSING DEVICE, INTEGRATED CIRCUIT, METHOD AND PROGRAM
US8090022B2 (en) 2007-01-05 2012-01-03 Sony Corporation Video coding system
US8565337B2 (en) * 2007-02-07 2013-10-22 Valens Semiconductor Ltd. Devices for transmitting digital video and data over the same wires
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
US7961222B2 (en) * 2007-03-20 2011-06-14 Panasonic Corporation Image capturing apparatus and image capturing method
US8144170B2 (en) * 2007-03-28 2012-03-27 Himax Technologies Limited Apparatus for scaling image and line buffer thereof
JP4958610B2 (ja) 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
JP4798055B2 (ja) * 2007-04-25 2011-10-19 ソニー株式会社 画像処理装置およびカメラシステム
EP3683768B1 (en) 2007-05-03 2023-06-28 Sony Group Corporation Method and system for initializing templates of moving objects
JP4893471B2 (ja) 2007-05-24 2012-03-07 カシオ計算機株式会社 画像処理装置及びプログラム
JP2009002496A (ja) * 2007-06-20 2009-01-08 Tomoyasu Yutaka 簡易高圧用シャフトシール
JP4377932B2 (ja) * 2007-07-26 2009-12-02 株式会社モルフォ パノラマ画像生成装置およびプログラム
JP4389981B2 (ja) * 2007-08-06 2009-12-24 ソニー株式会社 固体撮像装置、固体撮像装置のアナログ−デジタル変換方法および撮像装置
EP2048886A1 (en) 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
KR101496324B1 (ko) 2007-10-17 2015-02-26 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP4438099B2 (ja) * 2007-11-22 2010-03-24 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4876065B2 (ja) * 2007-12-14 2012-02-15 キヤノン株式会社 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
WO2009085204A2 (en) 2007-12-23 2009-07-09 Oraya Therapeutics, Inc. Methods and devices for detecting, controlling, and predicting radiation delivery
JP5133734B2 (ja) * 2008-02-26 2013-01-30 セイコーインスツル株式会社 イメージセンサ
CN101237581B (zh) * 2008-02-29 2010-11-17 上海大学 基于运动特征的h.264压缩域实时视频对象分割方法
JP4491488B2 (ja) * 2008-03-03 2010-06-30 シャープ株式会社 画像処理装置、画像読取装置、画像データ出力処理装置、および画像処理方法
JP4534172B2 (ja) * 2008-04-03 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
CN102057575A (zh) * 2008-06-05 2011-05-11 松下电器产业株式会社 信号处理装置、信号处理方法、信号处理用集成电路及电视接收机
WO2010007777A1 (ja) 2008-07-16 2010-01-21 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
JP4964852B2 (ja) * 2008-09-24 2012-07-04 富士フイルム株式会社 画像処理装置、方法及びプログラム
JP5213613B2 (ja) * 2008-09-26 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法及び撮像装置及びプログラム
JP5284048B2 (ja) * 2008-11-12 2013-09-11 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP5328307B2 (ja) * 2008-11-14 2013-10-30 キヤノン株式会社 振れ補正機能を有する撮影装置及びその制御方法
JP4631966B2 (ja) 2008-12-22 2011-02-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4915424B2 (ja) * 2009-02-19 2012-04-11 ソニー株式会社 画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
JP5182178B2 (ja) * 2009-03-18 2013-04-10 ソニー株式会社 情報処理装置及び情報処理方法
CN101511024A (zh) * 2009-04-01 2009-08-19 北京航空航天大学 实时电子稳像中基于运动状态识别的运动补偿方法
JP5374220B2 (ja) * 2009-04-23 2013-12-25 キヤノン株式会社 動きベクトル検出装置およびその制御方法、ならびに撮像装置
JP5226600B2 (ja) * 2009-04-28 2013-07-03 富士フイルム株式会社 画像変形装置およびその動作制御方法
JP2011008316A (ja) * 2009-06-23 2011-01-13 Seiko Epson Corp 情報処理装置、画像表示装置及び情報処理方法
TWI399094B (zh) 2009-06-30 2013-06-11 Silicon Integrated Sys Corp 自適應移動補償內插法與其裝置
KR20110022133A (ko) * 2009-08-27 2011-03-07 삼성전자주식회사 영상의 움직임 추정방법 및 영상처리장치
JP2011050001A (ja) 2009-08-28 2011-03-10 Sony Corp 画像処理装置および方法
WO2011046633A1 (en) 2009-10-14 2011-04-21 Zoran Corporation Method and apparatus for image stabilization
JP5717055B2 (ja) 2010-01-08 2015-05-13 日本電気株式会社 類似度算出装置、類似度算出方法、及びプログラム
JP2011199716A (ja) * 2010-03-23 2011-10-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20130083851A1 (en) 2010-04-06 2013-04-04 Samsung Electronics Co., Ltd. Method and apparatus for video encoding and method and apparatus for video decoding
WO2011135759A1 (ja) 2010-04-30 2011-11-03 日本電気株式会社 情報処理装置及びタスク切り替え方法
JP2011259272A (ja) * 2010-06-10 2011-12-22 On Semiconductor Trading Ltd デジタルフィルタ
CN102714696B (zh) * 2010-11-11 2016-03-02 松下电器(美国)知识产权公司 图像处理装置、图像处理方法及摄影装置
US20120162449A1 (en) * 2010-12-23 2012-06-28 Matthias Braun Digital image stabilization device and method
JP2012142827A (ja) 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
KR101782818B1 (ko) * 2011-01-21 2017-09-29 삼성디스플레이 주식회사 데이터 처리 방법, 데이터 구동 회로 및 이를 포함하는 표시 장치
US8768069B2 (en) * 2011-02-24 2014-07-01 Sony Corporation Image enhancement apparatus and method
US8724854B2 (en) * 2011-04-08 2014-05-13 Adobe Systems Incorporated Methods and apparatus for robust video stabilization
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
KR101861723B1 (ko) * 2011-12-20 2018-05-30 삼성전자주식회사 티어링과 플리커를 방지하기 위한 동기 신호를 조절하는 장치들과 그 방법
KR101350737B1 (ko) * 2012-02-20 2014-01-14 엘지디스플레이 주식회사 타이밍 컨트롤러 및 이를 포함하는 액정 표시 장치
KR101969565B1 (ko) * 2012-04-30 2019-04-17 삼성디스플레이 주식회사 업-스케일링 기능을 갖는 데이터 드라이버 및 그것을 포함하는 표시 장치

Also Published As

Publication number Publication date
JP5855445B2 (ja) 2016-02-09
KR101830889B1 (ko) 2018-02-21
US8988536B2 (en) 2015-03-24
KR101830804B1 (ko) 2018-02-21
US8849054B2 (en) 2014-09-30
CN102572278B (zh) 2016-08-31
US20120162450A1 (en) 2012-06-28
JP2012165365A (ja) 2012-08-30
CN102547118A (zh) 2012-07-04
CN102665041A (zh) 2012-09-12
DE102011056982A1 (de) 2012-06-28
JP2012138905A (ja) 2012-07-19
US20120162460A1 (en) 2012-06-28
DE102011056970A1 (de) 2012-06-28
CN102572279A (zh) 2012-07-11
KR20120072352A (ko) 2012-07-03
JP5933970B2 (ja) 2016-06-15
CN102572278A (zh) 2012-07-11
US8797414B2 (en) 2014-08-05
JP2012165364A (ja) 2012-08-30
CN102547120B (zh) 2017-07-28
KR101798010B1 (ko) 2017-12-12
US9041817B2 (en) 2015-05-26
DE102011056982B4 (de) 2024-11-07
KR101861771B1 (ko) 2018-05-28
US20120162449A1 (en) 2012-06-28
CN102665041B (zh) 2017-03-15
JP2012164303A (ja) 2012-08-30
US9036031B2 (en) 2015-05-19
DE102011056983A1 (de) 2012-06-28
US20120162451A1 (en) 2012-06-28
CN102572279B (zh) 2017-03-01
US20120162475A1 (en) 2012-06-28
KR20120072354A (ko) 2012-07-03
KR101861722B1 (ko) 2018-05-29
KR101861770B1 (ko) 2018-05-28
KR20120072348A (ko) 2012-07-03
JP2012138906A (ja) 2012-07-19
US9083845B2 (en) 2015-07-14
KR20120072350A (ko) 2012-07-03
KR20120072353A (ko) 2012-07-03
CN102547119A (zh) 2012-07-04
JP2012165363A (ja) 2012-08-30
CN102547120A (zh) 2012-07-04
CN102572277A (zh) 2012-07-11
DE102011056972A1 (de) 2012-09-06
DE102011056975A1 (de) 2012-06-28
US20120162452A1 (en) 2012-06-28
KR20120072349A (ko) 2012-07-03
KR20120072351A (ko) 2012-07-03
DE102011056977A1 (de) 2012-06-28
US20120162454A1 (en) 2012-06-28
JP2012164302A (ja) 2012-08-30

Similar Documents

Publication Publication Date Title
JP5967926B2 (ja) イメージプロセッシングパイプラインに対するグローバルアーミング(globalarming)方法
CN105915780A (zh) 图像信号处理器和包括图像信号处理器的装置
KR20130036783A (ko) 디스플레이 드라이버의 동작 방법, 상기 디스플레이 드라이버를 제어하기 위한 호스트, 및 이들을 포함하는 시스템
US7484034B2 (en) Microcontrol architecture for a system on a chip (SoC)
CN105630446A (zh) 一种基于fpga技术的视频处理系统
TW202223620A (zh) 多屏幕顯示控制裝置
WO2024051674A1 (zh) 图像处理电路和电子设备
US20220188056A1 (en) Multi-screen display control device
TWI766567B (zh) 多屏幕顯示控制裝置
CN111757051B (zh) 一种数据传输方法、智能终端及雷达系统
US7929655B2 (en) Asynchronous multi-clock system
CN101969552B (zh) 一种视频数据并行处理系统及其方法
CN100365541C (zh) 用于控制电源切断保护电路的电路和方法
US9106575B2 (en) Multiplexing multiple serial interfaces
CN217283140U (zh) 一种图像传感器驱动系统和图像传感器
US11714449B2 (en) High-speed deserializer with programmable and timing robust data slip function
CN118200757A (zh) 基于mipi csi协议的高速接口电路以及cmos图像传感器芯片
Iwata et al. A 256mW Full-HD H. 264 high-profile CODEC featuring dual macroblock-pipeline architecture in 65nm CMOS
US8677103B1 (en) Asynchronous pipelined data path with data transition
TWI622905B (zh) 網路型多電腦切換器
US20260087952A1 (en) Synchronization in a multi-controller system
US20170212551A1 (en) Semiconductor device, a semiconductor system, and a method of operating the semiconductor device
CN111787184B (zh) 相机系统
JP2005108368A (ja) シフトレジスタ回路
WO2025025100A9 (zh) 输入输出模块、频率转换模块、控制方法及芯片

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160705

R150 Certificate of patent or registration of utility model

Ref document number: 5967926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250