Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7404359B2 - アップスケーリングのための色再現の向上 - Google Patents
[go: Go Back, main page]

JP7404359B2 - アップスケーリングのための色再現の向上 - Google Patents

アップスケーリングのための色再現の向上 Download PDF

Info

Publication number
JP7404359B2
JP7404359B2 JP2021521153A JP2021521153A JP7404359B2 JP 7404359 B2 JP7404359 B2 JP 7404359B2 JP 2021521153 A JP2021521153 A JP 2021521153A JP 2021521153 A JP2021521153 A JP 2021521153A JP 7404359 B2 JP7404359 B2 JP 7404359B2
Authority
JP
Japan
Prior art keywords
color
data
format data
loss function
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021521153A
Other languages
English (en)
Other versions
JP2022505203A (ja
Inventor
ミャオチー ジュー
芳和 高島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2022505203A publication Critical patent/JP2022505203A/ja
Application granted granted Critical
Publication of JP7404359B2 publication Critical patent/JP7404359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

〔関連出願の相互参照〕
[0001] 本出願は、２０１８年１０月１８日に出願された「動画のための機械学習ベースの単一画像アップスケーリングアプリケーション（Ｍａｃｈｉｎｅ－Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｕｐｓｃａｌｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ ｆｏｒ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ）」という名称の同時係属中の米国仮特許出願第６２／７４７，４５３号の米国特許法第１１９条（ｅ）に基づく優先権の利益を主張するものである。上記関連出願の開示は、引用により本明細書に組み入れられる。
[0002] 本開示は、画像の超解像アップスケーリングに関し、具体的には、アップスケーリングのための色再現の向上に関する。
[0003] 機械学習（ＭＬ）を用いて、画像の超解像アップスケーリングを実行することができる。しかしながら、従来のＭＬベースのアップスケーリングプロセスは、ディープニューラルネットワークアーキテクチャなしでＲＧＢ画像フォーマット入力を使用するときに、色ズレ及び画素間の明瞭な色分離の損失を含むいくつかの問題がある。
[0004] 本開示は、画像の超解像アップスケーリングプロセスにおいて色再現の向上を提供するものである。
[0005] 一実装形態では、アップスケーリングプロセスにおいて色再現を向上させるための方法を開示する。前記方法は、ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するステップと、前記ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するためのトレーニングのためのニューラルネットワークに送るステップと、前記ＲＧＢ予測データを色空間分離可能予測データに変換するステップと、前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の第１の差分を算出することによって、第１の損失関数を計算するステップと、前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するステップと、前記色空間分離可能予測データから色予測データを抽出するステップと、前記カラーフォーマットデータと前記色予測データとの間の第２の差分を算出することによって、第２の損失関数を計算するステップと、前記第１の損失関数と前記第２の損失関数との間のバランスを調整するステップと、を含む。
[0006] 一実装形態では、前記ＲＧＢフォーマットデータはＲＧＢフォーマット画像であり、前記色空間分離可能フォーマットデータは色空間分離可能フォーマット画像である。一実装形態では、前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含む。一実装形態では、前記色空間分離可能予測データから色予測データを抽出するステップは、前記ＹＣｂＣｒフォーマットデータのカラーチャネルを抽出するステップを含む。一実装形態では、前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータのＣｂＣｒチャネルを含む。一実装形態では、前記色空間分離可能フォーマットデータはＬａｂフォーマットデータを含む。一実装形態では、前記第１の損失関数と前記第２の損失関数との間のバランスを調整するステップは、前記バランスを見出すまで、前記第１の損失関数及び前記第２の損失関数に対する重みを調整するステップを含む。
[0007] 別の実装形態では、色再現を向上させたシステムを開示する。前記システムは、ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するように、且つＲＧＢ予測データを色空間分離可能予測データに変換するように構成されるＲＧＢ－色空間分離可能変換器と、前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するように、且つ前記色空間分離可能予測データから色予測データを抽出するように構成される色抽出器と、前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の第１の差分を算出することによって第１の損失関数を計算するように、且つ前記カラーフォーマットデータと前記色予測データとの間の第２の差分を算出することによって第２の損失関数を計算するように構成される損失関数計算器と、システム出力に適用される前記第１の損失関数の量及び前記第２の損失関数の量を制御するように構成される調整器と、を含む。
[0008] 一実装形態では、前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、前記色空間分離可能予測データはＹＣｂＣｒ予測データを含む。一実装形態では、前記色抽出器は、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのカラーチャネルを抽出するように構成される。一実装形態では、前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのＣｂＣｒチャネルを含む。一実装形態では、前記調整器は、前記第１の損失関数を受け取って第１の出力を生成するように構成される第１の乗算器と、前記第２の損失関数を受け取って第２の出力を生成するように構成される第２の乗算器と、を含む。一実装形態では、前記調整器は、更に、前記第１の乗算器に適用されるべき第１の重みを生成するように、且つ前記第２の乗算器に適用されるべき第２の重みを生成するように構成される重み調整器を含む。一実装形態では、前記調整器は、更に、前記第１の出力と前記第２の出力とを加算して前記システム出力を生成するように構成される加算器を含み、前記第１の出力は、前記第１の損失関数に前記第１の重みを掛けた結果であり、前記第２の出力は、前記第２の損失関数に前記第２の重みを掛けた結果である。一実装形態では、前記調整器は、更に、前記システム出力を受け取るように、且つ前記重み調整器にフィードバックを提供して全体の画質と色再現との間のバランスを見出すように構成されるフィードバックユニットを含む。
[0009] 更に別の実装形態では、ＲＧＢフォーマットデータを受け取る、色再現を向上させたシステムを開示する。前記システムは、前記ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するように構成される第１の変換器であって、前記第１の変換器は、また、前記ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するニューラルネットワークに送るように構成される、第１の変換器と、前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するように構成される第１の抽出器と、前記ＲＧＢ予測データを色空間分離可能予測データに変換するように構成される第２の変換器と、前記色空間分離可能予測データから色予測データを抽出するように構成される第２の抽出器と、前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の差分を算出することによって、第１の損失関数を計算するように構成される第１の損失関数計算器と、前記カラーフォーマットデータと前記色予測データとの間の差分を算出することによって、第２の損失関数を計算するように構成される第２の損失関数計算器と、前記第１の損失関数と前記第２の損失関数との間のバランスを調整することによって、システム出力を制御するように構成される調整器と、を含む。
[0010] 一実装形態では、前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、前記色空間分離可能予測データはＹＣｂＣｒ予測データを含む。一実装形態では、前記色抽出器は、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのカラーチャネルを抽出するように構成される。一実装形態では、前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのＣｂＣｒチャネルを含む。一実装形態では、全体の画質と色再現との間のいくつかの客観的基準を使用することによって、前記バランスを決定する。
[0011] 本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。
[0012] 同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に収集することができる。
本開示の一実装形態による、アップスケーリングプロセスにおいて色再現を向上させるためのプロセスを示すフロー図である。 本開示の一実装形態による、色再現を向上させたシステムを示すブロック図である。 本開示の別の実装形態による、色再現を向上させたシステムのブロック図である。 本開示の一実装形態による、コンピュータシステム及びユーザの図である。 本開示の一実装形態による、色再現を向上させたアプリケーションをホストするコンピュータシステムを示す機能ブロック図である。
[0018] 上記のように、従来のＭＬベースのアップスケーリングプロセスは、いくつかの問題がある。例えば、色よりも輝度が優先されるので、単一チャネルのみ（例えば、ＹＣｂＣｒ画像からのＹ輝度チャネルのみがＲＧＢ画像から変換される）がよく使用される。また、ディープニューラルネットワークアーキテクチャなしでＲＧＢ画像フォーマット入力（すなわち、３チャネル入力）を使用するときに、アップスケーリングプロセスは、色ズレ及び色汚染を示すことがある。特に、色ズレは、人間の肌のトーンにおいて異なる印象を引き起こす（例えば、顔の肌のトーンが、緑すぎる又は赤すぎるように見える）。更に、カラフルなディテールを有するオブジェクトは、画素間の明瞭な色分離を損失する（例えば、赤と青の微細パターンを有するオブジェクトは、アップスケーリング後に紫のオブジェクトになる）。
[0019] したがって、従来のプロセスの上記の問題に対処するために、本開示のいくつかの実装形態は、ＲＧＢ入力に加えて、ＭＬベースのトレーニングプロセスへの追加の入力を有することを提供するものである。
[0020] 一実装形態では、ＲＧＢフォーマットデータを、輝度チャネルとカラーチャネルとに分離することができる（「色空間分離可能」）フォーマット（例えば、ＹＣｂＣｒ、Ｌａｂ）に変換して、色成分（例えば、ＹＣｂＣｒの場合にはＣｂ／Ｃｒチャネル）のみを、トレーニングプロセスへの入力として使用することによって、追加の入力を生成する。この実装形態では、追加の入力は、損失関数を用いる最適化段階中に使用することができる。更に、ＲＧＢベースの損失関数及び色成分のみに基づく（例えばＣｂＣｒ）損失関数に対する重みを制御して、全体の画質と色再現との間の優先順位のバランスをとる。
[0021] これらの説明を読んだ後には、様々な実装及び用途における本開示の実施方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装は、限定ではなく一例として提示するものにすぎないと理解されたい。したがって、様々な実装についての詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。
[0022] 図１は、本開示の一実装形態による、アップスケーリングプロセスにおいて色再現を向上させるためのプロセス１００を示すフロー図である。図１のアップスケーリングプロセス１００のステップを特定の順序で設計しているが、これらのステップは、プロセス１００の結果に影響を及ぼすことなく、任意の順序で実行することができる。
[0023] 図１に示す実装形態では、ブロック１１０において、ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換する。一実装形態では、「データ」という用語は、画像を意味する。例えば、ＲＧＢフォーマットデータはＲＧＢフォーマット画像を意味することができ、色空間分離可能フォーマットデータは色空間分離可能フォーマット画像を意味することができる。一実装形態では、色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含む。別の実装形態では、色空間分離可能フォーマットデータはＬａｂフォーマットデータを含む。ブロック１２０において、ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するためのトレーニングのためのニューラルネットワークに送る。次に、ブロック１３０において、ＲＧＢ予測データを色空間分離可能予測データに変換する。
[0024] 図１に示す実装形態では、ブロック１４０において、ＲＧＢフォーマットデータとＲＧＢ予測データとの間の差分を算出することによって、第１の損失関数を計算する。ブロック１５０において、色空間分離可能フォーマットデータからカラーフォーマットデータを抽出する。一実装形態では、色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、ＹＣｂＣｒフォーマットデータのカラーチャネル（すなわち、ＣｂＣｒチャネル）を使用することによって、カラーフォーマットデータを形成する。ブロック１６０において、ブロック１３０において生成された色空間分離可能予測データから色予測データを抽出する。一実装形態では、色空間分離可能予測データはＹＣｂＣｒ予測データを含み、ＹＣｂＣｒ予測データのカラーチャネル（すなわち、ＣｂＣｒチャネル）を使用することによって、色予測データを形成する。ブロック１７０において、カラーフォーマットデータと色予測データとの間の差分を算出することによって、第２の損失関数を計算する。
[0025] 図１に示す実装形態では、ブロック１８０において、２つの損失関数の間のバランスを調整することによって、色再現出力を調整する。一実装形態では、ブロック１９０において、バランスを見出すまで、２つの損失関数に対する重みを調整することによって調整を行う。
[0026] 図２は、本開示の一実装形態による、色再現を向上させたシステム２００を示すブロック図である。図２に示す実装形態では、色再現を向上させたシステム２００は、ＲＧＢ－色空間分離可能変換器２２０と、色抽出器２３０と、損失関数計算器２４０と、複数の乗算器２５０、２５２と、重み調整器２６０と、加算器２７０とを含む。
[0027] 一実装形態では、ＲＧＢ－色空間分離可能変換器２２０は、ＲＧＢフォーマットデータ２１２を色空間分離可能フォーマットデータ２２２に変換するように構成される。一実装形態では、色空間分離可能フォーマットデータ２２２はＹＣｂＣｒフォーマットデータを含む。別の実装形態では、色空間分離可能フォーマットデータはＬａｂフォーマットデータを含む。ＲＧＢフォーマットデータ２１２は、ＲＧＢ予測データ２１４を生成するためのトレーニングのためのニューラルネットワーク２１０に送られる。ＲＧＢ－色空間分離可能変換器２２０は、また、ＲＧＢ予測データ２１４を色空間分離可能予測データ２２４に変換する。
[0028] 一実装形態では、色抽出器２３０は、色空間分離可能フォーマットデータ２２２を受け取ってカラーフォーマットデータ２３２を抽出するように構成される。一実装形態では、色空間分離可能フォーマットデータ２２２はＹＣｂＣｒフォーマットデータを含み、ＹＣｂＣｒフォーマットデータのカラーチャネル（すなわち、ＣｂＣｒチャネル）を抽出することによって、カラーフォーマットデータ２３２を形成する。色抽出器２３０は、また、色空間分離可能予測データ２２４を受け取って色予測データ２３４を抽出するように構成される。一実装形態では、色空間分離可能予測データ２２４はＹＣｂＣｒ予測データを含み、ＹＣｂＣｒ予測データのカラーチャネル（すなわち、ＣｂＣｒチャネル）を抽出することによって、色予測データ２３４を形成する。
[0029] 一実装形態では、損失関数計算器２４０は、ＲＧＢフォーマットデータ２１２とＲＧＢ予測データ２１４との間の差分を算出することによって第１の損失関数（ｆ（Ｌ1））２４２を計算するように構成される。損失関数計算器２４０は、また、カラーフォーマットデータ２３２と色予測データ２３４との間の差分を算出することによって第２の損失関数（ｆ（Ｌ2））２４４を計算するように構成される。
[0030] 一実装形態では、重み調整器２６０は、出力に適用される損失関数の量を調整又は制御するように構成される。例えば、乗算器２５０によって第１の損失関数２４２に掛けられるべき第１の重み（ｗ1）２６２を調整することによって、出力に適用される第１の損失関数（例えば、ＲＧＢ損失関数）の量を制御し、一方で、乗算器２５２によって第２の損失関数２４４に掛けられるべき第２の重み（ｗ2）２６４を調整することによって、出力に適用される第２の損失関数（例えば、色空間分離可能損失関数）の量を制御する。加算器２７０は、乗算器２５０、２５２の出力を合計して、色再現を向上させたシステム２００の出力２７２を生成する。重み調整器２６０は、バランスを見出すまで、フィードバック２７４を用いて、２つの損失関数に対する重みを調整し続けるように構成される。一実装形態では、見る人が主観的にバランスに達したと判断したときに、バランスが達成される。別の実装形態では、全体の画質と色再現との間のバランスに達したといういくつかの客観的基準によって、バランスを決定する。図２に示す実装形態では、乗算器２５０、２５２、重み調整器２６０、加算器２７０、及びフィードバック２７４は、調整器と総称することができる。
[0031] 一実装形態では、色再現を向上させたシステム２００は、１又は２以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート／ロジックアレイ（ＦＰＧＡ）、又はその他の等価集積又はディスクリート論理回路を含むハードウェアで全体が構成されるシステムである。別の実装形態では、色再現を向上させたシステム２００は、ハードウェアとソフトウェアの組み合わせで構成される。例えば、ＲＧＢ－色空間分離可能変換器２２０、色抽出器２３０、及び損失関数計算器２４０は、ハードウェアで構成され、一方、複数の乗算器２５０、２５２、重み調整器２６０、加算器２７０、及びフィードバック２７４の機能は、損失関数計算器２４０又は別個のプロセッサ内に常駐するソフトウェアとして構成される。
[0032] 図３は、本開示の別の実装形態による、色再現を向上させたシステム３００のブロック図である。図３に示す実装形態では、色再現を向上させたシステム３００は、ＲＧＢフォーマットデータ－色空間分離可能フォーマットデータ変換器３２０と、カラーフォーマットデータ抽出器３３０と、ＲＧＢ予測データ－色空間分離可能予測データ変換器３４０と、色予測データ抽出器３５０と、第１の損失関数計算器３６０と、第２の損失関数計算器３７０と、重み調整器３８０とを含む。
[0033] 一実装形態では、ＲＧＢフォーマットデータ－色空間分離可能フォーマットデータ変換器３２０は、ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するように構成される。一実装形態では、色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含む。別の実装形態では、色空間分離可能フォーマットデータはＬａｂフォーマットデータを含む。ＲＧＢフォーマットデータ－色空間分離可能フォーマットデータ変換器３２０は、また、ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するためのトレーニングのためのニューラルネットワーク３１０に送るように構成される。一実装形態では、ＲＧＢ予測データ－色空間分離可能予測データ変換器３４０は、ニューラルネットワーク３１０によって生成されたＲＧＢ予測データを色空間分離可能予測データに変換するように構成される。
[0034] 図３に示す実装形態では、カラーフォーマットデータ抽出器３３０は、色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するように構成され、一方、色予測データ抽出器３５０は、色空間分離可能予測データから色予測データを抽出するように構成される。一実装形態では、色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、ＹＣｂＣｒフォーマットデータのカラーチャネル（すなわち、ＣｂＣｒチャネル）を使用することによって、カラーフォーマットデータを形成する。一実装形態では、色空間分離可能予測データはＹＣｂＣｒ予測データを含み、ＹＣｂＣｒ予測データのカラーチャネル（すなわち、ＣｂＣｒチャネル）を使用することによって、色予測データを形成する。
[0035] 図３に示す実装形態では、第１の損失関数計算器３６０は、ＲＧＢフォーマットデータとＲＧＢ予測データとの間の差分を算出することによって、第１の損失関数を計算するように構成される。第２の損失関数計算器３７０は、カラーフォーマットデータと色予測データとの間の差分を算出することによって、第２の損失関数を計算するように構成される。
[0036] 図３に示す実装形態では、重み調整器３８０は、第１の損失関数と第２の損失関数との間のバランスを調整することによって、色再現出力３８２を調整又は制御するように構成される。一実装形態では、見る人が主観的にバランスに達したと判断したときに、バランスが達成される。別の実装形態では、全体の画質と色再現との間のバランスに達したといういくつかの客観的基準によって、バランスを決定する。
[0037] 図４Ａは、本開示の一実装形態による、コンピュータシステム４００及びユーザ４０２の図である。ユーザ４０２は、コンピュータシステム４００を使用して、アップスケーリングプロセスにおいて色再現を向上させるためのアプリケーションを実装する。
[0038] コンピュータシステム４００は、図４Ｂの色再現を向上させたアプリケーション４９０を記憶して実行する。更に、コンピュータシステム４００は、ソフトウェアプログラム４０４と通信することができる。ソフトウェアプログラム４０４は、色再現を向上させたアプリケーションのためのソフトウェアコードを含むことができる。ソフトウェアプログラム４０４は、以下で更に説明するように、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。
[0039] 更に、コンピュータシステム４００は、ネットワーク４８０に接続することができる。ネットワーク４８０は、様々な異なるアーキテクチャ、例えば、クライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ、又は他のタイプのアーキテクチャにおいて接続することができる。例えば、ネットワーク４８０は、色再現を向上させたアプリケーション内で使用されるエンジン及びデータを協調させるサーバ４８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることができる。例えば、ネットワーク４８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークの任意の変形、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、又は無線ネットワークとすることができる。
[0040] 図４Ｂは、本開示の一実装形態による、色再現を向上させたアプリケーション４９０をホストするコンピュータシステム４００を示す機能ブロック図である。コントローラ４１０はプログラマブルプロセッサであり、コンピュータシステム４００及びそのコンポーネントの動作を制御する。コントローラ４１０は、メモリ４２０又は内蔵コントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形で）命令をロードして、これらの命令を実行してシステムを制御する。その実行において、コントローラ４１０は、色再現を向上させたアプリケーション４９０にソフトウェアシステムを提供して、例えば、色再現を向上させたアプリケーション内のエンジン及びデータ抽出部の作成及び構成を可能にする。代替的に、このサービスは、コントローラ４１０又はコンピュータシステム４００において別個のハードウェアコンポーネントとして実装することができる。
[0041] メモリ４２０は、コンピュータシステム４００の他のコンポーネントによって使用するためにデータを一時的に記憶する。一実装形態では、メモリ４２０はＲＡＭとして実装される。一実装形態では、メモリ４２０は、また、フラッシュメモリ及び／又はＲＯＭなどの長期又は永久メモリを含む。
[0042] ストレージ４３０は、コンピュータシステム４００の他のコンポーネントによって使用するために、データを一時的に又は長期間にわたって記憶する。例えば、ストレージ４３０は、色再現を向上させたアプリケーション４９０によって使用されるデータを記憶する。一実装形態では、ストレージ４３０は、ハードディスクドライブである。
[0043] メディアデバイス４４０は、リムーバブルメディアを受け入れて、挿入されたメディアに対してデータの読み出し及び／又は書き込みを行う。一実装形態では、例えば、メディアデバイス４４０は、光ディスクドライブである。
[0044] ユーザインターフェイス４５０は、コンピュータシステム４００のユーザからユーザ入力を受け取ってユーザ４０２に情報を提示するためのコンポーネントを含む。一実装形態では、ユーザインターフェイス４５０は、キーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ４１０は、ユーザ４０２からの入力を使用して、コンピュータシステム４００の動作を調整する。
[0045] Ｉ／Ｏインターフェイス４６０は、１又は２以上のＩ／Ｏポートを含み、外部記憶又は補足装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏデバイスに接続する。一実装形態では、Ｉ／Ｏインターフェイス４６０のポートは、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートなどのポートを含む。別の実装形態では、Ｉ／Ｏインターフェイス４６０は、外部装置と無線で通信するための無線インターフェイスを含む。
[0046] ネットワークインターフェイス４７０は、イーサネット接続をサポートするＲＪ－４５又は「Ｗｉ－Ｆｉ」インターフェイス（８０２．１１を含むが、これに限定されるわけではない）などの有線及び／又は無線ネットワーク接続を含む。
[0047] コンピュータシステム４００は、コンピュータシステムに典型的な追加のハードウェア及びソフトウェア（例えば、電力、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、簡略化のために、図４Ｂに具体的に示されていない。他の実装形態では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバス又はストレージ構成又はマルチプロセッサ構成）。
[0048] 開示した実装についての本明細書の説明は、当業者が本開示を実施又は利用できるように行ったものである。当業者には、これらの実装の多数の修正が容易に明らかになると思われ、また本明細書で定義した原理は、本開示の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。したがって、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書で開示した原理及び新規の特徴と一致する最も広い範囲が与えられるべきである。
[0049] 本開示の様々な実装は、電子ハードウェア、コンピュータソフトウェア、又はこれらの技術の組み合わせの形で実現される。いくつかの実装は、１又は２以上のコンピュータ装置により実行される１又は２以上のコンピュータプログラムを含む。一般に、コンピュータ装置は、１又は２以上のプロセッサ、１又は２以上のデータ記憶構成要素（例えば、ハードディスクドライブ及びフロッピーディスクドライブ、ＣＤ－ＲＯＭドライブ、及び磁気テープドライブなどの揮発性又は不揮発性メモリモジュール及び持続的な光学及び磁気記憶装置）、１又は２以上の入力装置（例えば、ゲームコントローラ、マウス及びキーボード）、及び１又は２以上の出力装置（例えば、ディスプレイ装置）を含む。
[0050] コンピュータプログラムは、通常、持続的な記憶媒体（すなわち、非一時的媒体）に記憶され、実行時にメモリにコピーされる実行可能なコードを含む。少なくとも１つのプロセッサが、所定の順序でメモリからプログラム命令を取り出すことによって、コードを実行する。プログラムコードの実行中には、コンピュータは、入力及び／又は記憶装置からデータを受け取り、データに対して処理を実行し、これにより得られたデータを出力及び／又は記憶装置に供給する。
[0051] 当業者であれば、本明細書で説明した様々な例示的なモジュール及び方法ステップを電子ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせとして実装することができると理解するであろう。このハードウェアとソフトウェアの互換性を明確に示すために、本明細書では、様々な例示的なモジュール及び方法ステップについて、一般にこれらの機能面から説明した。このような機能をハードウェア又はソフトウェアのいずれとして実装するかは、特定の用途及びシステム全体に課せられる設計制約に依存する。当業者であれば、説明した機能を各特定の用途のために様々な方法で実装することができるが、このような実装の決定を、本開示の範囲からの逸脱を引き起こすものとして解釈すべきではない。また、モジュール又はステップ内の機能のグループ化は、説明を容易にするためのものである。本開示から逸脱することなく、特定の機能を１つのモジュール又はステップから別のモジュール又はステップへ移すことができる。
[0052] 上記の各実施例の全ての特徴が、本開示の特定の実装において必ずしも必要というわけではない。更に、本明細書で提示した説明及び図面は、本開示が広く意図する主題を表すものであると理解されたい。更に、本開示の範囲は、当業者にとって明らかになり得る他の実装を完全に含み、したがって、本開示の範囲は、添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。
１００ 色再現を向上させるためのプロセス／アップスケーリングプロセス
１１０ ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換
１２０ ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するためのトレーニングのためのニューラルネットワークに送る
１３０ ＲＧＢ予測データを色空間分離可能予測データに変換
１４０ ＲＧＢフォーマットデータとＲＧＢ予測データとの間の差分を算出することによって、第１の損失関数を計算
１５０ 色空間分離可能フォーマットデータからカラーフォーマットデータを抽出
１６０ 色空間分離可能予測データから色予測データを抽出
１７０ カラーフォーマットデータと色予測データとの間の差分を算出することによって、第２の損失関数を計算
１８０ ２つの損失関数に対する重みを調整して、画質と色再現との間のバランスを制御
１９０ バランスを見出したか？
２００ 色再現を向上させたシステム
２１０ ニューラルネットワーク
２１２ ＲＧＢフォーマットデータ
２１４ ＲＧＢ予測データ
２２０ ＲＧＢ－色空間分離可能変換器
２２２ 色空間分離可能フォーマットデータ
２２４ 色空間分離可能予測データ
２３０ 色抽出器
２３２ カラーフォーマットデータ
２３４ 色予測データ
２４０ 損失関数計算器
２４２ 第１の損失関数（ｆ（Ｌ1））
２４４ 第２の損失関数（ｆ（Ｌ2））
２５０，２５２ 乗算器
２６０ 重み調整器
２６２ 第１の重み（ｗ1）
２６４ 第２の重み（ｗ2）
２７０ 加算器
２７２ 出力
２７４ フィードバック
３００ 色再現を向上させたシステム
３１０ ニューラルネットワーク
３２０ ＲＧＢフォーマットデータ－色空間分離可能フォーマットデータ変換器
３３０ カラーフォーマットデータ抽出器
３４０ ＲＧＢ予測データ－色空間分離可能予測データ変換器
３５０ 色予測データ抽出器
３６０ 第１の損失関数計算器
３７０ 第２の損失関数計算器
３８０ 重み調整器
３８２ 色再現出力
４００ コンピュータシステム
４０２ ユーザ
４０４ ソフトウェアプログラム
４１０ コントローラ
４２０ メモリ
４３０ ストレージ
４４０ メディアデバイス
４５０ ユーザインターフェイス
４６０ Ｉ／Ｏインターフェイス
４７０ ネットワークインターフェイス
４８０ ネットワーク
４８５ サーバ
４９０ 色再現を向上させたアプリケーション

Claims (17)

  1. アップスケーリングプロセスにおいて色再現を向上させるための方法であって、前記方法は、
    ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するステップと、
    前記ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するためのトレーニングのためのニューラルネットワークに送るステップと、
    前記ＲＧＢ予測データを色空間分離可能予測データに変換するステップと、
    前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の第１の差分を算出することによって、第１の損失関数を計算するステップと、
    前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するステップと、
    前記色空間分離可能予測データから色予測データを抽出するステップと、
    前記カラーフォーマットデータと前記色予測データとの間の第２の差分を算出することによって、第２の損失関数を計算するステップと、
    前記第１の損失関数と前記第２の損失関数との間のバランスを調整するステップと、
    を含み、
    前記第１の損失関数と前記第２の損失関数との間のバランスを調整するステップは、前記バランスを見出すまで、前記第１の損失関数及び前記第２の損失関数に対する重みを調整して全体の画質と色再現との間の優先順位のバランスをとるステップを含むことを特徴とする方法。
  2. 前記ＲＧＢフォーマットデータはＲＧＢフォーマット画像であり、前記色空間分離可能フォーマットデータは色空間分離可能フォーマット画像であることを特徴とする、請求項１に記載の方法。
  3. 前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含むことを特徴とする、請求項１に記載の方法。
  4. 前記色空間分離可能予測データから色予測データを抽出するステップは、
    前記ＹＣｂＣｒフォーマットデータのカラーチャネルを抽出するステップ、
    を含む、
    ことを特徴とする、請求項３に記載の方法。
  5. 前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータのＣｂＣｒチャネルを含むことを特徴とする、請求項４に記載の方法。
  6. 前記色空間分離可能フォーマットデータはＬａｂフォーマットデータを含むことを特徴とする、請求項１に記載の方法。
  7. 色再現を向上させたシステムであって、
    ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するように、且つＲＧＢ予測データを色空間分離可能予測データに変換するように構成されるＲＧＢ－色空間分離可能変換器と、
    前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するように、且つ前記色空間分離可能予測データから色予測データを抽出するように構成される色抽出器と、
    前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の第１の差分を算出することによって第１の損失関数を計算するように、且つ前記カラーフォーマットデータと前記色予測データとの間の第２の差分を算出することによって第２の損失関数を計算するように構成される損失関数計算器と、
    システム出力に適用される前記第１の損失関数の量及び前記第２の損失関数の量を制御するように構成される調整器と、
    を含み、
    前記調整器は、更に、前記システム出力を受け取るように、且つ前記調整器にフィードバックを提供して全体の画質と色再現との間のバランスを見出すように構成されるフィードバックユニット、
    を含むことを特徴とするシステム。
  8. 前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、前記色空間分離可能予測データはＹＣｂＣｒ予測データを含むことを特徴とする、請求項７に記載のシステム。
  9. 前記色抽出器は、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのカラーチャネルを抽出するように構成されることを特徴とする、請求項８に記載のシステム。
  10. 前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのＣｂＣｒチャネルを含むことを特徴とする、請求項９に記載のシステム。
  11. 前記調整器は、
    前記第１の損失関数を受け取って第１の出力を生成するように構成される第１の乗算器と、
    前記第２の損失関数を受け取って第２の出力を生成するように構成される第２の乗算器と、
    を含む、
    ことを特徴とする、請求項７に記載のシステム。
  12. 前記調整器は、更に、
    前記第１の乗算器に適用されるべき第１の重みを生成するように、且つ前記第２の乗算器に適用されるべき第２の重みを生成するように構成される重み調整器、
    を含む、
    ことを特徴とする、請求項１１に記載のシステム。
  13. 前記調整器は、更に、
    前記第１の出力と前記第２の出力とを加算して前記システム出力を生成するように構成される加算器、
    を含み、
    前記第１の出力は、前記第１の損失関数に前記第１の重みを掛けた結果であり、前記第２の出力は、前記第２の損失関数に前記第２の重みを掛けた結果である、
    ことを特徴とする、請求項１２に記載のシステム。
  14. ＲＧＢフォーマットデータを受け取る、色再現を向上させたシステムであって、
    前記ＲＧＢフォーマットデータを色空間分離可能フォーマットデータに変換するように構成される第１の変換器であって、前記第１の変換器は、また、前記ＲＧＢフォーマットデータを、ＲＧＢ予測データを生成するニューラルネットワークに送るように構成される、第１の変換器と、
    前記色空間分離可能フォーマットデータからカラーフォーマットデータを抽出するように構成される第１の抽出器と、
    前記ＲＧＢ予測データを色空間分離可能予測データに変換するように構成される第２の変換器と、
    前記色空間分離可能予測データから色予測データを抽出するように構成される第２の抽出器と、
    前記ＲＧＢフォーマットデータと前記ＲＧＢ予測データとの間の差分を算出することによって、第１の損失関数を計算するように構成される第１の損失関数計算器と、
    前記カラーフォーマットデータと前記色予測データとの間の差分を算出することによって、第２の損失関数を計算するように構成される第２の損失関数計算器と、
    前記第１の損失関数と前記第２の損失関数との間のバランスを調整することによって、システム出力を制御するように構成される調整器と、
    を含み、
    全体の画質と色再現との間のいくつかの客観的基準を使用することによって、前記バランスを決定することを特徴とするシステム。
  15. 前記色空間分離可能フォーマットデータはＹＣｂＣｒフォーマットデータを含み、前記色空間分離可能予測データはＹＣｂＣｒ予測データを含むことを特徴とする、請求項１４に記載のシステム。
  16. 前記第１の抽出器は、前記ＹＣｂＣｒフォーマットデータのカラーチャネルを抽出し、前記第２の抽出器は、前記ＹＣｂＣｒ予測データのカラーチャネルを抽出するように構成されることを特徴とする、請求項１５に記載のシステム。
  17. 前記カラーチャネルは、前記ＹＣｂＣｒフォーマットデータ及び前記ＹＣｂＣｒ予測データのＣｂＣｒチャネルを含むことを特徴とする、請求項１６に記載のシステム。
JP2021521153A 2018-10-18 2019-10-17 アップスケーリングのための色再現の向上 Active JP7404359B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862747453P 2018-10-18 2018-10-18
US62/747,453 2018-10-18
US16/440,828 2019-06-13
US16/440,828 US10931853B2 (en) 2018-10-18 2019-06-13 Enhanced color reproduction for upscaling
PCT/US2019/056673 WO2020081770A1 (en) 2018-10-18 2019-10-17 Enhanced color reproduction for upscaling

Publications (2)

Publication Number Publication Date
JP2022505203A JP2022505203A (ja) 2022-01-14
JP7404359B2 true JP7404359B2 (ja) 2023-12-25

Family

ID=70280043

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2021521273A Active JP7416774B2 (ja) 2018-10-18 2019-10-16 Ｍｌベースのアップスケーリングのためのフレーム処理
JP2021521153A Active JP7404359B2 (ja) 2018-10-18 2019-10-17 アップスケーリングのための色再現の向上
JP2021521263A Active JP7304414B2 (ja) 2018-10-18 2019-10-17 出力のアップスケーリングにおけるシャープネス及びディテールの調整
JP2021521242A Pending JP2022505275A (ja) 2018-10-18 2019-10-17 大きなサイズの画像のトレーニング及びアップスケーリング
JP2023109105A Active JP7596455B2 (ja) 2018-10-18 2023-07-03 大きなサイズの画像のトレーニング及びアップスケーリング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021521273A Active JP7416774B2 (ja) 2018-10-18 2019-10-16 Ｍｌベースのアップスケーリングのためのフレーム処理

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2021521263A Active JP7304414B2 (ja) 2018-10-18 2019-10-17 出力のアップスケーリングにおけるシャープネス及びディテールの調整
JP2021521242A Pending JP2022505275A (ja) 2018-10-18 2019-10-17 大きなサイズの画像のトレーニング及びアップスケーリング
JP2023109105A Active JP7596455B2 (ja) 2018-10-18 2023-07-03 大きなサイズの画像のトレーニング及びアップスケーリング

Country Status (6)

Country Link
US (5) US11265446B2 (ja)
EP (4) EP3844707B1 (ja)
JP (5) JP7416774B2 (ja)
KR (4) KR102649544B1 (ja)
CN (4) CN112868045B (ja)
WO (4) WO2020081659A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11265446B2 (en) 2018-10-18 2022-03-01 Sony Corporation Frame handling for ML-based upscaling
CN112396558B (zh) * 2019-08-15 2024-07-23 株式会社理光 图像处理方法、装置及计算机可读存储介质
US11154773B2 (en) 2019-10-31 2021-10-26 Nvidia Corpration Game event recognition
US11673061B2 (en) 2020-01-17 2023-06-13 Nvidia Corporation Extensible dictionary for game events
US11170471B2 (en) * 2020-01-20 2021-11-09 Nvidia Corporation Resolution upscaling for event detection
US11715200B2 (en) 2020-01-31 2023-08-01 Illumina, Inc. Machine learning-based root cause analysis of process cycle images
JP7325636B2 (ja) * 2020-06-24 2023-08-14 三菱電機株式会社 学習装置、推論装置、プログラム、学習方法及び推論方法
CN114078168B (zh) * 2020-08-19 2025-03-14 Oppo广东移动通信有限公司 图像处理模型训练方法、图像处理方法及电子设备
KR102924195B1 (ko) * 2021-01-29 2026-02-06 일루미나, 인코포레이티드 프로세스 사이클 이미지의 딥 러닝 기반 근본 원인 분석
US20230156169A1 (en) * 2021-11-18 2023-05-18 Capital One Services, Llc Reduced bandwidth image transfer
EP4500864A1 (en) * 2022-03-24 2025-02-05 Dolby Laboratories Licensing Corporation Neural networks for high dynamic range video super- resolution
CN119234244A (zh) * 2022-05-17 2024-12-31 三星电子株式会社 用于改善图像的画面质量的图像处理设备和方法
US12315131B2 (en) * 2022-06-06 2025-05-27 Nvidia Corporation Determining contour edges for an image
KR102767757B1 (ko) 2022-07-01 2025-02-18 아주스틸 주식회사 빅픽쳐 기술을 이용한 디자인 강판 제조방법
KR20240104591A (ko) * 2022-12-28 2024-07-05 삼성전자주식회사 고해상도의 디지털 줌 영상을 생성하는 방법 및 장치
JP7760629B2 (ja) * 2023-07-28 2025-10-27 キヤノン株式会社 画像処理装置および画像処理方法、ならびに撮像装置
US20250336033A1 (en) * 2024-04-30 2025-10-30 Microsoft Technology Licensing, Llc Content processing tool for upscaling media content

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS572353A (en) 1980-06-06 1982-01-07 Toray Ind Inc Polyester resin composition
JP2502175B2 (ja) 1990-08-18 1996-05-29 富士通株式会社 原画像パタ―ンデ―タ再生方法及び装置
JPH08149321A (ja) * 1994-11-16 1996-06-07 Canon Inc カラー画像通信装置及び方法
JPH11112795A (ja) * 1997-09-30 1999-04-23 Fuji Photo Film Co Ltd 画像処理システム
WO2000056060A1 (en) 1999-03-15 2000-09-21 Matsushita Electric Industrial Co., Ltd. Image processing device, image processing method, and recorded medium
JP2000332999A (ja) * 1999-03-15 2000-11-30 Matsushita Electric Ind Co Ltd 画像拡大装置
JP2000324337A (ja) 1999-05-10 2000-11-24 Victor Co Of Japan Ltd 画像拡大縮小装置
ATE453903T1 (de) 2001-12-21 2010-01-15 Ibm Verfahren und schaltungen zur bildskalierung mit hilfe neuronaler netzwerke
CN100423021C (zh) * 2002-10-17 2008-10-01 精工爱普生株式会社 用于低景深图像分割的方法和装置
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
US7218796B2 (en) 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
US7809197B2 (en) * 2004-12-09 2010-10-05 Eastman Kodak Company Method for automatically determining the acceptability of a digital image
JP4760288B2 (ja) * 2005-10-13 2011-08-31 ソニー株式会社 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム
JP2010523979A (ja) * 2007-04-05 2010-07-15 オーレオン ラボラトリーズ， インコーポレイテッド 医学的状態の処置、診断および予測のためのシステムおよび方法
US8358307B2 (en) 2008-04-21 2013-01-22 Sharp Kabushiki Kaisha Image processing device, display device, image processing method, program, and storage medium
JP5271031B2 (ja) * 2008-08-09 2013-08-21 株式会社キーエンス 画像のデータ圧縮方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
EP2457196A4 (en) * 2009-07-21 2013-02-06 Qualcomm Inc METHOD AND SYSTEM FOR DETECTING AND EXPANSION OF VIDEO IMAGES
US8494308B2 (en) 2011-03-10 2013-07-23 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
US20130028538A1 (en) 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling
JP6075294B2 (ja) 2011-12-12 2017-02-08 日本電気株式会社 画像処理システム及び画像処理方法
CN102682424B (zh) * 2012-01-07 2014-12-17 河南科技大学 基于边缘方向差值的图像放大处理方法
US8620073B2 (en) 2012-02-24 2013-12-31 Mitsubishi Electric Research Laboratories, Inc. Upscaling natural images
CN104756151A (zh) * 2012-07-03 2015-07-01 马赛网络股份有限公司 用于增强和处理数字图像的系统及方法
US10147202B2 (en) 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
CN103646379B (zh) * 2013-11-28 2019-04-26 青岛海信电器股份有限公司 一种图像放大方法和装置
JP6349703B2 (ja) 2013-12-03 2018-07-04 株式会社ニコン 電子カメラ及び画像処理プログラム
JP6715188B2 (ja) * 2014-06-03 2020-07-01 エムティティ イノベーション インコーポレイテッドＭｔｔ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃｏｒｐｏｒａｔｅｄ 結像、照明、および投影を用途とする効率的、動的、高コントラストなレンジング方法及び装置
EP3038049A1 (en) 2014-12-22 2016-06-29 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
US9336582B1 (en) * 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
EP3166068B1 (en) 2015-11-06 2020-08-12 Thomson Licensing Method for upscaling an image and apparatus for upscaling an image
EP3166070B1 (en) * 2015-11-09 2021-01-06 InterDigital CE Patent Holdings Method for upscaling noisy images, and apparatus for upscaling noisy images
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
WO2017124036A1 (en) 2016-01-16 2017-07-20 Flir Systems, Inc. Systems and methods for image super-resolution using iterative collaborative filtering
US9996902B2 (en) * 2016-01-19 2018-06-12 Google Llc Image upscaling
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
JP2017216598A (ja) 2016-05-31 2017-12-07 キヤノン株式会社 画像処理システム、画像処理装置、画像表示装置
CN106204447A (zh) 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US10032256B1 (en) 2016-11-18 2018-07-24 The Florida State University Research Foundation, Inc. System and method for image processing using automatically estimated tuning parameters
FR3059804B1 (fr) 2016-12-07 2019-08-02 Idemia Identity And Security Systeme de traitement d'images
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN106910161B (zh) 2017-01-24 2020-06-19 华南理工大学 一种基于深度卷积神经网络的单幅图像超分辨率重建方法
KR101861342B1 (ko) 2017-03-30 2018-05-28 인천대학교 산학협력단 기상 정보에 따라 기상 캐스터의 의상 컬러를 실시간으로 변화시키기 위한 장치 및 방법
JP7184488B2 (ja) 2017-04-21 2022-12-06 株式会社半導体エネルギー研究所 画像処理方法および受像装置
CN107633229A (zh) 2017-09-21 2018-01-26 北京智芯原动科技有限公司 基于卷积神经网络的人脸检测方法及装置
CN107945125B (zh) * 2017-11-17 2021-06-22 福州大学 一种融合频谱估计法和卷积神经网络的模糊图像处理方法
CN107945146B (zh) * 2017-11-23 2021-08-03 南京信息工程大学 一种基于深度卷积神经网络的时空卫星图像融合方法
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置
CN108197587B (zh) * 2018-01-18 2021-08-03 中科视拓（北京）科技有限公司 一种通过人脸深度预测进行多模态人脸识别的方法
US10284432B1 (en) * 2018-07-03 2019-05-07 Kabushiki Kaisha Ubitus Method for enhancing quality of media transmitted via network
CN109146814B (zh) * 2018-08-20 2021-02-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US10547823B2 (en) 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US11265446B2 (en) 2018-10-18 2022-03-01 Sony Corporation Frame handling for ML-based upscaling

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Peiyu Dai et al.，A Remote Sensing Spatiotemporal Fusion Model of Landsat and Modis Data via Deep Learning，IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium，2018年07月27日，pp.7030-7033，https://ieeexplore.ieee.org/document/8518758
Wenhan Yang et. al，Deep Edge Guided Recurrent Residual Learning for Image Super-Resolution，IEEE Transactions on Image Processing，2017年09月08日，Volume: 26, Issue: 12，pp.5895-5907，https://ieeexplore.ieee.org/document/8030140

Also Published As

Publication number Publication date
KR102649544B1 (ko) 2024-03-22
EP3844682B1 (en) 2025-12-24
EP3844707A4 (en) 2022-07-13
EP3844707B1 (en) 2025-12-17
US20210168263A1 (en) 2021-06-03
WO2020081776A1 (en) 2020-04-23
EP3844706A1 (en) 2021-07-07
EP3844707A1 (en) 2021-07-07
US11252300B2 (en) 2022-02-15
JP2022505203A (ja) 2022-01-14
US20200128151A1 (en) 2020-04-23
US11533413B2 (en) 2022-12-20
US20200126184A1 (en) 2020-04-23
EP3844708A4 (en) 2022-06-08
WO2020081772A1 (en) 2020-04-23
JP2022505293A (ja) 2022-01-14
KR102550342B1 (ko) 2023-07-05
JP2022505303A (ja) 2022-01-14
CN112868045A (zh) 2021-05-28
WO2020081659A1 (en) 2020-04-23
US10931853B2 (en) 2021-02-23
CN112868046B (zh) 2024-09-06
JP7304414B2 (ja) 2023-07-06
KR102596182B1 (ko) 2023-11-02
US20200126183A1 (en) 2020-04-23
EP3844682A1 (en) 2021-07-07
CN112930552A (zh) 2021-06-08
US20200126194A1 (en) 2020-04-23
US11252301B2 (en) 2022-02-15
CN112868034B (zh) 2024-01-16
CN112868034A (zh) 2021-05-28
EP3844706A4 (en) 2022-07-06
EP3844706B1 (en) 2025-11-26
JP2023139008A (ja) 2023-10-03
CN112868045B (zh) 2024-07-12
JP7416774B2 (ja) 2024-01-17
CN112868046A (zh) 2021-05-28
JP7596455B2 (ja) 2024-12-09
EP3844708A1 (en) 2021-07-07
US11265446B2 (en) 2022-03-01
KR20210054556A (ko) 2021-05-13
KR20210054554A (ko) 2021-05-13
WO2020081770A1 (en) 2020-04-23
EP3844682A4 (en) 2022-07-13
JP2022505275A (ja) 2022-01-14
CN112930552B (zh) 2024-08-13
KR20210057077A (ko) 2021-05-20
KR102593893B1 (ko) 2023-10-27
KR20210056376A (ko) 2021-05-18

Similar Documents

Publication Publication Date Title
JP7404359B2 (ja) アップスケーリングのための色再現の向上
CN115082328B (zh) 用于图像校正的方法和设备
JP4990507B2 (ja) 映像の主要色成分調整装置、映像の主要色成分調整方法及び映像の主要色成分調整プログラムを記録するコンピュータで読み取り可能な記録媒体
US20210089914A1 (en) Optimization technique for forming dnn capable of performing real-time inference in mobile environment
US20200396434A1 (en) Image White Balance Processing System and Method
CN104935903A (zh) 白平衡校正设备和白平衡校正方法
KR20240022265A (ko) 뉴럴 네트워크 기반의 영상 처리 방법 및 장치
JP2012174273A (ja) 画像処理装置及び画像処理方法
EP4156084A1 (en) Techniques for reducing distractions in an image
KR102160247B1 (ko) 전자 장치 및 이의 제어 방법
KR20210020476A (ko) 영상을 변환하는 컴퓨팅 장치 및 그 동작 방법
CN114155562A (zh) 手势识别方法及装置
CN113542699B (zh) 用于生成数字彩色图像的数字成像装置和方法
CN115280361A (zh) 具有轮廓精度评估的图像分割训练
CN118799213A (zh) 图像处理方法、装置、电子设备及存储介质
US12333682B2 (en) Photorealistic image color style transfer compression
CN112183551A (zh) 光照颜色预测方法、图像处理方法、装置及存储介质
US11410319B2 (en) Hybrid video segmentation aided by optical flow for objects in motion
CN116684562A (zh) 视频色彩增强方法和装置
US10026152B2 (en) Image processing apparatus for providing visibility of an image while maintaining color in a natural state
JP3826623B2 (ja) 画像処理装置
KR20230063164A (ko) 환경 벡터 기반 영상 생성 방법 및 장치
JP4379422B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220831

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231213

R150 Certificate of patent or registration of utility model

Ref document number: 7404359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150