Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7397966B2 - 画像処理方法、画像処理装置、および電子機器 - Google Patents
[go: Go Back, main page]

JP7397966B2 - 画像処理方法、画像処理装置、および電子機器 - Google Patents

画像処理方法、画像処理装置、および電子機器 Download PDF

Info

Publication number
JP7397966B2
JP7397966B2 JP2022508992A JP2022508992A JP7397966B2 JP 7397966 B2 JP7397966 B2 JP 7397966B2 JP 2022508992 A JP2022508992 A JP 2022508992A JP 2022508992 A JP2022508992 A JP 2022508992A JP 7397966 B2 JP7397966 B2 JP 7397966B2
Authority
JP
Japan
Prior art keywords
target
image
brightness
brightness value
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022508992A
Other languages
English (en)
Other versions
JP2022544304A (ja
Inventor
ヤン、チュオチエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Publication of JP2022544304A publication Critical patent/JP2022544304A/ja
Application granted granted Critical
Publication of JP7397966B2 publication Critical patent/JP7397966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本出願は、データ処理分野に関し、特に画像処理方法、装置、電子機器と媒体に関する。
モバイルスマート電子機器技術の急速な発展に伴い、モバイルスマート電子機器に対するユーザの需要も大きくなり、各携帯電話メーカーは、電子機器のスクリーン対ボディ比を向上させて、ユーザ体験を向上させようとしている。しかし、フロントカメラレンズは一定の透過率を有する必要があるため、スクリーンとカメラレンズ領域に黒いブロックが形成され、画面が表示されず、ユーザ体験の効果に影響を与えた。
現在では、スクリーン又はバックライト領域において穴を掘り、例えば、アンダースクリーンとしての水滴型スクリーンの設計方式により、ある程度で携帯電話のスクリーン対ボディ比を向上させることができる。しかし、ユーザは、正面から見ると、カメラのために掘られた穴である黒い点が見られるが、フルスクリーン表示がまだ完全に実現されていない。
カメラをスクリーンの下部に置くと、フルスクリーン表示を実現することができるが、スクリーンが一定の透光率をしか有していないため、カメラで撮影された画像輝度がとても低いことを引き起こす。
本出願は、スクリーンの下にあるカメラの撮影画像の輝度が比較的に低い問題を解決するための画像処理方法、装置、電子機器と媒体を提供する。
上記技術課題を解決するために、本出願の第一の方面によれば、電子機器に用いられる画像処理方法を提供し、電子機器は、M個のカラーカメラを含むアンダースクリーン撮影コンポーネントを含み、
そのうち、この画像処理方法は、
M個のカラーカメラのうちのN個のカラーカメラがそれぞれ撮影した第一の画像を取得することと、
各第一の画像に対し、第一の画像における少なくとも一部の画素点の輝度値を取得することと、
取得された輝度値を利用して、N個のカラーカメラのうちの一つのカラーカメラで撮影した第一の画像であるターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をアンダースクリーン撮影コンポーネントの撮影画像とすることとを含み、
そのうち、MとNは、いずれも2以上の整数であり、Nは、M以下である。
第二の方面によれば、本出願は、電子機器に用いられる画像処理装置を提供し、電子機器は、M個のカラーカメラを含むアンダースクリーン撮影コンポーネントを含み、
画像処理装置は、
M個のカラーカメラのうちのN個のカラーカメラがそれぞれ撮影した第一の画像を取得するための画像取得モジュールと、
各第一の画像に対し、第一の画像における少なくとも一部の画素点の輝度値を取得するための輝度値取得モジュールと、
取得された輝度値を利用して、N個のカラーカメラのうちの一つのカラーカメラで撮影した第一の画像であるターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をターゲット対象に対する前記アンダースクリーン撮影コンポーネントの撮影画像とするための輝度向上モジュールとを含み、
そのうち、MとNは、いずれも2以上の整数であり、Nは、M以下である。
第三の方面によれば、本出願はさらに、電子機器を提供する。電子機器は、
M個のカラーカメラを含むアンダースクリーン撮影コンポーネントと、
M個のカラーカメラのうちのN個のカラーカメラがそれぞれ撮影した第一の画像を取得し、各第一の画像に対し、第一の画像における少なくとも一部の画素点の輝度値を取得し、取得された輝度値を利用して、N個のカラーカメラのうちの一つのカラーカメラで撮影した第一の画像であるターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をターゲット対象に対するアンダースクリーン撮影コンポーネントの撮影画像とするための画像処理装置とを含み、そのうち、MとNは、いずれも2以上の整数であり、Nは、M以下である。
第四の方面によれば、本出願はさらに、電子機器を提供する。この電子機器は、プロセッサと、メモリと、メモリに記憶され、且つプロセッサ上で運行できるコンピュータプログラムとを含み、コンピュータプログラムがプロセッサによって実行される時、本出願の第一の方面の画像処理方法を実現させる。
第五の方面によれば、本出願はさらに、コンピュータ記憶媒体を提供する。コンピュータ記憶媒体には、コンピュータプログラム命令が記憶されており、コンピュータプログラム命令がプロセッサによって実行される時、本出願の第一の方面の画像処理方法を実現させる。
本出願の実施例では、スクリーンの下に設置されている各カラーカメラで採集された第一の画像における少なくとも一部の画素点の輝度値を利用してターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像を撮像コンポーネントの撮影画像とすることによって、フルスクリーン表示を実現しながら、アンダースクリーン撮影コンポーネントの撮影画像の輝度を上げた。
本出願の第一の方面による画像処理方法の一実施例のフロー模式図である。 本出願の第一の方面の画像処理方法を適用可能な例示的な電子機器の正面図である。 例示的な電子機器に4つのカラーカメラが含まれるアンダースクリーン撮影コンポーネントの例を示す上面図である。 例示的な電子機器における一つのカラーカメラの例の正面図である。 図4におけるカラーカメラの分解図である。 例示的な電子機器に二つのカラーカメラが含まれる例を示す上面図である。 図6における二つのカラーカメラの分解図である。 本出願の実施例における第一の画像のターゲット領域の例を示す模式図である。 本出願の実施例における異なる第一の画像における画素点の対応関係の例を示す模式図である。 本出願の第二の方面による画像処理装置の一実施例の構造模式図である。 本出願による電子機器の一実施例の構造模式図である。 以上の添付図面を結び付けながら本出願の具体的な実施の形態についての記述から、本出願をより良く理解することができ、そのうち、同じ又は類似した添付図面マークは、同じ又は類似した特徴を示す。
以下は、本出願の実施例における添付図面を結び付けながら、本出願の実施例における技術案を明瞭且つ完全に記述する。明らかに、記述された実施例は、全ての実施例ではなく、本出願の一部の実施例である。本出願における実施例に基づき、当業者が創造的な労力を払わない前提で得られたすべての他の実施例は、いずれも本出願の保護範囲に属する。
図1は、本出願の第一の方面による電子機器に用いられる画像処理方法100の一実施例のフロー模式図を示す。図2に示すように、本出願による画像処理方法100に適用される電子機器200は、以下を含む。
表示パネル210は、第一の表面210aとその反対側にある第二の表面210bを有し、第一の表面210aは、表示パネル210の表示面であり、表示パネル210は、透光領域210cを含む。
アンダースクリーン撮影コンポーネント220は、表示パネル210の第二の表面210b側にあり且つ透光領域210cの位置に対応するように設置され、アンダースクリーン撮影コンポーネント220は、M個のカラーカメラを含む。Mは、2以上の整数である。
そのうち、透光領域210cの表示パネル210は、ガラス、ポリイミド(PI)などの透光材によって作られてもよい。
本出願の実施例では、電子機器は、携帯電話、タブレットパソコン、ノートパソコン、パームトップコンピュータ、車載端末、ウェアラブルデバイスなどを含むが、それらに限らない。
本出願の実施例では、アンダースクリーン撮影コンポーネント220におけるM個のカラーカメラは、予め設定されるルールに従って配列されてもよい。例えば、M個のカラーカメラは、予め設定される円弧トラックに沿って配列されてもよく、予め設定される円周トラックに沿って配列されてもよく、又はアレイで配列されてもよい。一つの具体的な例として、アンダースクリーン撮影コンポーネント220は、アレイ配列されている4つのカラーカメラを含み、図3は、この4つのカメラの上面図を示す。
本出願のいくつかの実施例では、アンダースクリーン撮影コンポーネント220における各カラーカメラの構造は、同じである。図4と図5は、カラーカメラの側面図と分解図を示す。図4に示すように、カラーカメラは、レンズ407と、感光チップ408と、感光チップ408に接続されている回路基板409と、レンズホルダー410と光フィルターコンポーネント411とを含む。一例として、回路基板409は、フレキシブル回路基板(Flexible Printed Circuit、FPC)であってもよい。そのうち、レンズ407は、集光レンズである。
図4を参照すると、レンズホルダー410は、回路基板409上に設けられる。レンズ407と光フィルターコンポーネント411は、レンズホルダー410上に設けられる。図5を参照すると、レンズホルダー410は、第一の取付部410aと第二の取付部410bとを含む。第一の取付部410aは、レンズ407を取り付けるために用いられる。いくつかの実施例では、レンズ407は、ネジを介して第一の取付部410aに接続されてもよい。レンズ407内には、複枚のレンズが取り付けられてもよい。第二の取付部410bは、光フィルターコンポーネント411を取り付けるために用いられる。光フィルターコンポーネント411は、レンズホルダー410のチャンバ内に設置されている。
図4を参照すると、レンズ407は、感光チップ408と対向して設置され、且つ感光チップ408は、回路基板409上に設置されており、回路基板409に電気的に接続されている。図5を参照すると、光フィルターコンポーネント411は、レンズ407と感光チップ408との間に位置しており、撮影過程における光フィルター機能を実現するために用いられる。
本出願の実施例では、カラーカメラは、コネクタ412をさらに含み、このコネクタ412は、回路上に設置されており、且つこの回路基板409に電気的に接続され、このコネクタ412は、このカラーカメラに電気エネルギ及び情報の伝送を行うために、一つの外部機器に接続されるために用いられる。
本出願のいくつかの実施例では、電子機器の内部空間を節約するために、アンダースクリーン撮影コンポーネント220の二つのカラーカメラは、回路基板409とコネクタ412を共用してもよい。図6と図7は、回路基板409とコネクタ412を共用する二つのカラーカメラの上面図と分解図を示す。
本出願の実施例では、アンダースクリーン撮影コンポーネント220を表示パネル210の第二の表面210b側に設置することによって、スクリーン又はバックライト領域に穴を掘ることなく、電子機器のフルスクリーン表示を実現させることができる。電子機器がフルスクリーン表示を実現させる場合、表示パネル210の透光領域210cも表示機能を有する必要があるため、透光領域210cは、一定の透光率をしか有しない。そのため、表示パネル210の下にあるアンダースクリーン撮影コンポーネント220で撮影された画像が比較的に高い輝度を有することを確保するために、図1に示される画像処理方法を利用する必要がある。
図1を参照すると、本出願による画像処理方法100は、S110からS130を含む。
S110において、M個のカラーカメラのうちのN個のカラーカメラがそれぞれ撮影した第一の画像を取得する。
S120において、各第一の画像に対し、第一の画像における少なくとも一部の画素点の輝度値を取得する。
S130において、取得された輝度値を利用してターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をアンダースクリーン撮影コンポーネント220の撮影画像とする。
そのうち、ターゲット画像は、N個のカラーカメラのうちの一つのカラーカメラで撮影した第一の画像である。Nは、2以上の整数であり、Nは、M以下である。
本出願の実施例では、アンダースクリーン撮影コンポーネント220における各カラーカメラの感光チップ408の上方には、いずれも独立したレンズ407が設けられ、いずれも個別に画像を形成してもよい。各カラーカメラについては、このカラーカメラにおける感光チップ408とレンズ407の組み合わせは、各カラーカメラが一定の透光率を有することを確保することができる。表示パネル210の下に単一のカメラを設置することに対し、表示パネル210の第二の表面210b側において、且つ透光領域210cに対応する位置に少なくとも二つのカラーカメラを設置することで、アンダースクリーン撮影コンポーネント220で採集した輝度を向上させることができ、即ち、アンダースクリーン撮影コンポーネント220の透光率を上げた。そのため、各カラーカメラで採集した第一の画像における少なくとも一部の画素点の輝度値を利用して選択されたターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をアンダースクリーン撮影コンポーネント220の撮影画像とすることによって、アンダースクリーン撮影コンポーネント220の撮影画像の輝度を上げた。
本出願のいくつかの実施例では、N個のカラーカメラの予め設定される位置に位置しているカラーカメラで撮影した画像をターゲット画像としてもよい。一例として、少なくとも二つのカメラが一字型に並ばれる場合、中心位置に位置するカラーカメラで撮影した画像をターゲット画像としてもよい。
いくつかの実施例では、S120は、S1201からS1205を含む。
S1201において、アンダースクリーン撮影コンポーネント220とアンダースクリーン撮影コンポーネント220で撮影したターゲット対象との間のターゲット撮影距離を取得する。
本出願の実施例では、ターゲット撮影距離は、アンダースクリーン撮影コンポーネント220と撮影されるターゲット対象との間の距離である。アンダースクリーン撮影コンポーネント220における各カラーカメラ間の距離が非常に近いため、各カラーカメラで撮影したターゲット対象の撮影距離がいずれも同じであると考えられてもよい。
なお、アンダースクリーン撮影コンポーネント220がターゲット対象を撮影する必要がある場合、アンダースクリーン撮影コンポーネント220の上部の透光領域210cは、消灯され、即ち、表示機能を一時停止させる。
S1203において、予め記憶されている異なる撮影距離で各カラーカメラにより撮影した画像における所定のターゲット領域に基づき、ターゲット撮影距離で各第一の画像のターゲット領域を得る。
本出願の実施例では、アンダースクリーン撮影コンポーネント220へ予め標定を行い、即ち、異なる撮影距離で、アンダースクリーン撮影コンポーネント220の各カラーカメラを利用して標定対象を撮影してもよい。いずれか一つの撮影距離で、各カラーカメラにより撮影した画像について、この画像における標定対象の位置領域をこの画像の所定のターゲット領域とする。そのうち、標定対象は、撮影されるターゲット対象であってもよく、他の撮影対象であってもよい。標定対象がターゲット対象である場合、予め記憶されているいずれか一つの撮影距離でカラーカメラにより撮影した画像の所定のターゲット領域は、この画像におけるターゲット対象が位置している位置領域である。
一例として、所定のターゲット領域は、画素座標範囲を利用して表示されてもよい。そのうち、いずれか一つの撮影距離で、各カラーカメラにより撮影した画像の所定のターゲット領域における画素点の個数は、同じである。一つの撮影距離で、一つのカラーカメラにより撮影した画像の所定のターゲット領域における各画素点について、この画素点が他のカラーカメラで撮影した画像の所定のターゲット領域において、いずれも対応する位置にあり且つ色の情報が同じである画素点を有する。
図8に示すように、一例として、アンダースクリーン撮影コンポーネント220は、4つのカラーカメラを含み、ターゲット対象に対して各カメラで撮影した第一の画像の大きさがいずれも8画素×8画素であるとする。そのうち、各第一の画像における黒い太枠内の4画素×4画素の領域は、それぞれこの第一の画像に対応するターゲット領域である。図8におけるターゲット領域は、模式図に過ぎず、且つ図8における画像の大きさは、例示的なものであり、具体的に限定されない。いくつかの実施例では、第一の画像の大きさは、800万画素×800万画素であってもよい。
S1205において、各第一の画像に対し、第一の画像のターゲット領域における各画素点の輝度値を取得する。
本出願のいくつかの実施例では、各第一の画像のターゲット領域における各画素点の輝度値を利用してターゲット画像のターゲット領域における画素点の輝度値を向上させる必要があるため、まず、各第一の画像のターゲット領域における全ての画素点の輝度値を取得する必要がある。
各第一の画像のターゲット領域における各画素点の輝度値を取得した後、ステップS140は、S1401からS1402を含む。
S1401において、ターゲット画像のターゲット領域における各画素点を第一のターゲット画素点とする。
本出願の実施例では、ターゲット画像のターゲット領域における各画素点の輝度値を向上させる必要があるため、ターゲット画像のターゲット領域における各画素点をいずれも第一のターゲット画素点としてもよい。
S1402において、各第一のターゲット画素点に対し、第一のターゲット画素点の輝度値と第一の輝度値を加算して、第一のターゲット輝度値を得て、第一のターゲット画素点の輝度値を第一のターゲット輝度値に向上させる。
そのうち、第一の輝度値は、ターゲット画像以外の他の各第一の画像のターゲット領域において第一のターゲット画素点に対応する画素点の輝度値の和である。
なお、各第一のターゲット画素点は、ターゲット画像以外の他の各第一の画像のターゲット領域においていずれも対応する位置を有し且つ同じ色である情報を有する画素点である。
一例として、図8を参照すると、各ターゲット領域のi行目j列目の画素点は、いずれも対応する位置の画素点であり、且つ各ターゲット領域において対応する位置を有する画素点の色情報は、同じである。
図8を参照すると、各ターゲット領域の1行目1列目の画素点は、対応する4つの画素点であり、且つ4つの画素点の色情報は、赤色である。一番目のカラーカメラで撮影した第一の画像がターゲット画像とすると、図8の左上隅のターゲット領域における1行目1列目の画素点は、第一のターゲット画素点であり、この第一のターゲット画素点の輝度値がR1であるとする。図8の右上隅のターゲット領域における1行目1列目の画素点の輝度値がR2であるとし、図8の左下隅のターゲット領域における1行目1列目の画素点の輝度値がR3であるとし、図8の右下隅のターゲット領域における1行目1列目の画素点の輝度値がR4であるとする。
そのうち、第一の輝度値R’=R2+R3+R4である。ターゲット画像のターゲット領域における1行目1列目の画素点に対応する第一のターゲット輝度値R総計=R1+R’=R1+R2+R3+R4である。そしてターゲット画像のターゲット領域における1行目1列目の画素点の輝度値をR総計に向上させる。
上記同様の方法により、ターゲット画像のターゲット領域における各画素点の輝度値を向上させることができる。そして、輝度が向上された後のターゲット領域のターゲット画像をターゲット対象に対するアンダースクリーン撮影コンポーネント220の撮影画像とする。
本出願の実施例では、各第一の画像のターゲット領域における全ての画素点の輝度値を利用してターゲット画像のターゲット領域における各画素点の輝度値を向上させることによって、アンダースクリーン撮影コンポーネント220で撮影した画像の輝度を向上させる。
本出願の実施例では、アンダースクリーン撮影コンポーネント220における全てのカラーカメラの視野は、同じ重ね領域を有する。各カラーカメラの視野が同じ重ね領域を有するため、各カラーカメラで撮影した画像は、いずれもそれぞれが対応するターゲット領域を有する。
アンダースクリーン撮影コンポーネント220における各カラーカメラ間の設置距離が近いほど、各第一の画像のターゲット領域に含まれる画素点の個数が多くなり、アンダースクリーン撮影コンポーネント220で撮影した画像全体の輝度をさらに上げることができる。
本出願のいくつかの実施例では、ターゲット対象に対するアンダースクリーン撮影コンポーネント220の撮影画像におけるターゲット領域と非ターゲット領域との間の輝度差異性を減少するために、ステップS140において、さらに、ターゲット画像の非ターゲット領域における各画素点の輝度値を取得し、そして取得されたターゲット画像の非ターゲット領域における各画素点の輝度値を予め設定される倍数に上げてもよい。
一つの具体的な例として、予め設定される倍数は、N-1倍である。つまり、ターゲット画像の非ターゲット領域における各画素点の輝度値を元の輝度値のN倍に調節する。
本出願の別のいくつかの実施例では、画像処理の速度を上げるために、各第一の画像のターゲット領域を取得することなく、各第一の画像における全ての画素点の輝度値を直接採用してターゲット画像の輝度を向上させてもよい。具体的には、ステップS120において、各第一の画像に対し、この第一の画像における全ての画素点の輝度値を取得する。
各第一の画像における全ての画素点の輝度値を取得した後、ステップS140は、S1401’からS1402’を含む。
S1401’において、ターゲット画像における各画素点を第二のターゲット画素点とする。
S1402’において、各第二のターゲット画素点に対し、第二のターゲット画素点の輝度値と第二の輝度値を加算して、第二のターゲット輝度値を得て、第二のターゲット画素点の輝度値を第二のターゲット輝度値に向上させる。
そのうち、第二の輝度値は、ターゲット画像以外の各第一の画像において第二のターゲット画素点に対応する画素点の輝度値の和である。
本出願のいくつかの実施例では、各第一の画像の大きさは、同じであり、各第一の画像におけるi行目j列目の画素点をいずれも互いに対応する画素点として、且つ各第一の画像において対応関係を有する画素点の色情報は、同じである。
図9を参照すると、各第一の画像における1行目2列目の画素点は、対応する4つの画素点であり、且つ4つの画素点の色情報は、緑色である。図9の左上隅の第一の画像における1行目2列目の画素点の輝度値がG1であるとし、図9の右上隅の第一の画像における1行目2列目の画素点の輝度値がG2であるとし、図9の左下隅の第一の画像における1行目2列目の画素点の輝度値がG3であるとし、図9の右下隅の第一の画像における1行目2列目の画素点の輝度値がG4であるとする。
そのうち、第二の輝度値G’=G2+G3+G4である。ターゲット画像における1行目1列目の画素点に対応する第二のターゲット輝度値G総計=G1+G’=G1+G2+G3+G4である。そして、ターゲット画像における1行目2列目の画素点の輝度値をG総計に向上させる。
上記同様の方法により、ターゲット画像における各画素点の輝度値を向上させることができる。そして、各画素点の輝度がいずれも向上された後のターゲット画像をターゲット対象に対するアンダースクリーン撮影コンポーネント220の撮影画像とする。
つまり、アンダースクリーン撮影コンポーネント220のカラーカメラ間の距離が非常に近ければ、各第一の画像間の差異が無視されるため、ターゲット領域に対して予め標定を行うことなく、各第一の画像における全ての画素点を直接利用してターゲット画像の輝度を向上させることができ、アンダースクリーン撮影コンポーネント220で撮影した画像の輝度を上げながら、画像処理の速度を上げた。
図10は、本出願の第二の方面による上記電子機器に用いられる画像処理装置の一実施例の構造模式図を示す。本出願の実施例による画像処理装置1000は、
M個のカラーカメラのうちのN個のカラーカメラがそれぞれ撮影した第一の画像を取得するための画像取得モジュール1010と、
各第一の画像に対し、第一の画像における少なくとも一部の画素点の輝度値を取得するための輝度値取得モジュール1020と、
取得された輝度値を利用して、N個のカラーカメラのうちの一つのカラーカメラで撮影した第一の画像であるターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をターゲット対象に対するアンダースクリーン撮影コンポーネントの撮影画像とするための輝度向上モジュール1030とを含む。
本出願の実施例では、表示パネル210の第二の表面210b側にあり、且つ透光領域210cに対応する位置に設置されている各カラーカメラで採集した第一の画像における少なくとも一部の画素点の輝度値を利用してターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をアンダースクリーン撮影コンポーネント220の撮影画像とすることによって、フルスクリーン表示を実現しながらアンダースクリーン撮影コンポーネント220の撮影画像の輝度を上げた。
本出願の実施例では、輝度値取得モジュール1020は、
アンダースクリーン撮影コンポーネント220とアンダースクリーン撮影コンポーネント220で撮影したターゲット対象との間のターゲット撮影距離を取得するためのターゲット撮影距離取得ユニットと、
予め記憶されている異なる撮影距離で各カラーカメラにより撮影した画像における所定のターゲット領域に基づき、ターゲット撮影距離で各第一の画像のターゲット領域を得るためのターゲット領域決定ユニットと、
各第一の画像に対し、第一の画像のターゲット領域における各画素点の輝度値を取得するための第一の輝度値取得ユニットとを含む。
本出願の実施例では、予め記憶されているいずれか一つの撮影距離でカラーカメラにより撮影した画像の所定のターゲット領域は、この画像におけるターゲット対象が位置している位置領域である。
本出願の実施例では、輝度向上モジュール1030は、
ターゲット画像のターゲット領域における各画素点を第一のターゲット画素点とすること、
各第一のターゲット画素点に対し、第一のターゲット画素点の輝度値と第一の輝度値を加算して、第一のターゲット輝度値を得て、第一のターゲット画素点の輝度値を第一のターゲット輝度値に向上させることに用いられる。
そのうち、第一の輝度値は、ターゲット画像以外の他の各第一の画像のターゲット領域において第一のターゲット画素点に対応する画素点の輝度値の和である。
本出願の実施例では、輝度向上モジュール1030はさらに、
取得されたターゲット画像の非ターゲット領域における各画素点の輝度値を予め設定される倍数に上げるために用いられる。そのうち、予め設定される倍数は、N-1倍である。
本出願の実施例では、輝度値取得モジュール1020は、
各第一の画像に対し、第一の画像における全ての画素点の輝度値を取得するために用いられる。
本出願の実施例では、輝度向上モジュール1030はさらに、
ターゲット画像における各画素点を第二のターゲット画素点とすること、
各第二のターゲット画素点に対し、第二のターゲット画素点の輝度値と第二の輝度値を加算して、第二のターゲット輝度値を得て、第二のターゲット画素点の輝度値を第二のターゲット輝度値に向上させることに用いられる。
そのうち、第二の輝度値は、ターゲット画像以外の各第一の画像において第二のターゲット画素点に対応する画素点の輝度値の和である。
本出願の第三の方面はさらに、電子機器を提供する。この電子機器は、
M個のカラーカメラを含むアンダースクリーン撮影コンポーネントと、
前記M個のカラーカメラのうちのN個のカラーカメラがそれぞれ撮影した第一の画像を取得し、各第一の画像に対し、前記第一の画像における少なくとも一部の画素点の輝度値を取得し、取得された輝度値を利用して、前記N個のカラーカメラのうちの一つのカラーカメラで撮影した第一の画像である前記ターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像を前記ターゲット対象に対する前記アンダースクリーン撮影コンポーネントの撮影画像とするための画像処理装置とを含み、
そのうち、MとNは、いずれも2以上の整数であり、Nは、M以下である。
本出願の実施例による電子機器は、図2における表示パネル210を含んでもよい。本実施例に基づく電子機器では、アンダースクリーン撮影コンポーネントは、図2に記述されているアンダースクリーン撮影コンポーネント220及びその任意の実施例を参照してもよい。画像処理装置は、図10に記述されている画像処理装置1000及びその任意の実施例を参照してもよい。
本出願の第四の方面はさらに、電子機器を提供する。この電子機器は、
プログラムを記憶するためのメモリと、
メモリに記憶されたプログラムを運行することによって、本出願の実施例の画像処理方法における各ステップを実行するためのプロセッサであって、方法は、M個のカラーカメラのうちのN個のカラーカメラがそれぞれ撮影した第一の画像を取得し、各第一の画像に対し、第一の画像における少なくとも一部の画素点の輝度値を取得し、取得された輝度値を利用して、N個のカラーカメラのうちの一つのカラーカメラで撮影した第一の画像であるターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をターゲット対象に対するアンダースクリーン撮影コンポーネント220の撮影画像とすることを有するプロセッサとを含む。
本出願による電子機器は、上記本出願の第一の方面の画像処理方法の任意の実施例における各プロセスを実現させることができ、説明の繰り返しを回避するために、ここでこれ以上説明しない。本出願の実施例では、表示パネル210の第二の表面210b側にあり、且つ透光領域210cに対応する位置に設置されている各カラーカメラで採集した第一の画像における少なくとも一部の画素点の輝度値を利用してターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をアンダースクリーン撮影コンポーネント220の撮影画像とすることによって、フルスクリーン表示を実現しながらアンダースクリーン撮影コンポーネント220の撮影画像の輝度を上げた。
図11は、本出願の第四の方面による電子機器の実施例の構造模式図である。
この電子機器1100は、無線周波数ユニット1101、ネットワークモジュール1102、オーディオ出力ユニット1103、入力ユニット1104、センサ1105、表示ユニット1106、ユーザ入力ユニット1107、インターフェースユニット1108、メモリ1109、プロセッサ1110、及び電源1111などの部品を含むが、それらに限らない。電子機器1100は、第一のスクリーンと第二のスクリーンとをさらに含む。当業者であれば理解できるように、図11に示す電子機器構造は、電子機器に対する限定を構成しなく、電子機器には、図示された部品の数よりも多く又は少ない部品、又はなんらかの部品の組み合わせ、又は異なる部品の配置が含まれてもよい。本出願の実施例では、電子機器は、携帯電話、タブレットパソコン、ノートパソコン、パームトップコンピュータ、車載端末、ウェアラブルデバイス、及び歩数計などを含むが、それらに限らない。
そのうち、プロセッサ1110は、M個のカラーカメラのうちのN個のカラーカメラがそれぞれ撮影した第一の画像を取得し、各第一の画像に対し、第一の画像における少なくとも一部の画素点の輝度値を取得し、取得された輝度値を利用してN個のカラーカメラのうちの一つのカラーカメラで撮影した第一の画像であるターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をターゲット対象に対するアンダースクリーン撮影コンポーネント220の撮影画像とするために用いられる。
本出願の実施例は、表示パネル210の第二の表面210b側にあり且つ透光領域210cに対応する位置に設置されている各カラーカメラで採集した第一の画像における少なくとも一部の画素点の輝度値を利用してターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をアンダースクリーン撮影コンポーネント220の撮影画像とすることによって、フルスクリーン表示を実現しながら、アンダースクリーン撮影コンポーネント220の撮影画像の輝度を上げた。
なお、本出願の実施例では、無線周波数ユニット1101は、情報の送受信又は通話中の信号の送受信に用いられてもよい。具体的には、基地局からの下りリンクのデータを受信してから、プロセッサ1110に処理させ、また、上りリンクのデータを基地局に送信する。一般的には、無線周波数ユニット1101は、アンテナ、少なくとも一つの増幅器、送受信機、カプラ、低雑音増幅器、デュプレクサなどを含むが、それらに限らない。なお、無線周波数ユニット1101は、無線通信システムやネットワークを介して他の機器との通信を行ってもよい。
電子機器は、ネットワークモジュール1102によってユーザに無線のブロードバンドインターネットアクセスを提供し、例えば、ユーザへの電子メールの送受信、ウェブページの閲覧、ストリーミングメディアへのアクセスなどを支援する。
オーディオ出力ユニット1103は、無線周波数ユニット1101又はネットワークモジュール1102によって受信された又はメモリ1109に記憶されたオーディオデータをオーディオ信号に変換して、音声として出力することができる。そして、オーディオ出力ユニット1103はさらに、電子機器1100によって実行された特定の機能に関連するオーディオ出力(例えば、呼び信号着信音、メッセージ着信音など)を提供することができる。オーディオ出力ユニット1103は、スピーカ、ブザー及び受話器などを含む。
入力ユニット1104は、オーディオ又はビデオ信号を受信するために用いられる。入力ユニット1104は、グラフィックスプロセッサ(Graphics Processing Unit、GPU)11041とマイクロホン11042を含んでもよい。グラフィックスプロセッサ11041は、ビデオキャプチャモード又は画像キャプチャモードにおいて画像キャプチャ装置(例えば、カメラ)によって得られた静止画像又はビデオの画像データを処理する。処理された画像フレームは、表示ユニット1106に表示されてもよい。グラフィックスプロセッサ11041によって処理された画像フレームは、メモリ1109(又は他の記憶媒体)に記憶されてもよく、又は無線周波数ユニット1101又はネットワークモジュール1102を介して送信されてもよい。マイクロホン11042は、音声を受信することができるとともに、このような音声をオーディオデータとして処理することができる。処理されたオーディオデータは、電話の通話モードにおいて、無線周波数ユニット1101を介して移動通信基地局に送信することが可能なフォーマットに変換して出力されてもよい。
電子機器1100は、少なくとも一つのセンサ1105、例えば光センサ、モーションセンサ及び他のセンサをさらに含む。具体的には、光センサは、環境光センサ及び接近センサを含み、そのうち、環境光センサは、環境光の明暗に応じて、表示パネル11061の輝度を調整することができ、接近センサは、電子機器1100が耳元に移動した時、表示パネル11061及び/又はバックライトをオフにすることができる。モーションセンサの一種として、加速度計センサは、各方向(一般的には、三軸)での加速度の大きさを検出することができ、静止時、重力の大きさ及び方向を検出することができ、電子機器姿勢(例えば縦横スクリーン切り替え、関連ゲーム、磁力計姿勢キャリブレーション)の識別、振動識別関連機能(例えば歩数計、タップ)などに用いることができる。センサ1105はさらに、指紋センサ、圧力センサ、虹彩センサ、分子センサ、ジャイロ、気圧計、湿度計、温度計、赤外線センサなどを含んでもよい。ここではこれ以上説明しない。
表示ユニット1106は、ユーザによって入力された情報又はユーザに提供される情報を表示するために用いられている。表示ユニット1106は、表示パネル11061を含んでもよく、液晶ディスプレイ(Liquid Crystal Display、LCD)、有機発光ダイオード(Organic Light-Emitting Diode、OLED)などの形式で表示パネル11061が配置されてもよい。
ユーザ入力ユニット1107は、入力された数字又はキャラクタ情報の受信、及び電子機器のユーザ設置及び機能制御に関するキー信号入力の発生に用いられてもよい。具体的には、ユーザ入力ユニット1107は、タッチパネル11071及び他の入力機器11072を含む。タッチパネル11071は、タッチスクリーンとも呼ばれ、その上又は付近でのユーザによるタッチ操作(例えばユーザが指、タッチペンなどの任意の適切な物体又は付属品を使用してタッチパネル11071上又はタッチパネル11071付近で行う操作)を収集することができる。タッチパネル11071は、タッチ検出装置とタッチコントローラという二つの部分を含んでもよい。そのうち、タッチ検出装置は、ユーザによるタッチ方位を検出し、タッチ操作による信号を検出し、信号をタッチコントローラに伝送する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、それをタッチポイント座標に変換してから、プロセッサ1110に送信し、プロセッサ1110から送信されてきたコマンドを受信して実行する。なお、抵抗式、静電容量式、赤外線及び表面音波などの様々なタイプを用いてタッチパネル11071を実現してもよい。タッチパネル11071以外、ユーザ入力ユニット1107は、他の入力機器11072をさらに含んでもよい。具体的には、他の入力機器11072は、物理的なキーボード、機能キー(例えば、ボリューム制御ボタン、スイッチボタンなど)、トラックボール、マウス、操作レバーを含んでもよいが、それらに限らない。ここではこれ以上説明しない。
さらに、タッチパネル11071は、表示パネル11061上に覆われてもよい。タッチパネル11071は、その上又は付近でのタッチ操作を検出すると、プロセッサ1110に伝送して、タッチイベントのタイプを特定し、その後、プロセッサ1110は、タッチイベントのタイプに応じて表示パネル11061上で相応な視覚出力を提供する。図11では、タッチパネル11071と表示パネル11061は、二つの独立した部品として電子機器の入力と出力機能を実現するものであるが、なんらかの実施例では、タッチパネル11071と表示パネル11061を集積して電子機器の入力と出力機能を実現してもよい。具体的には、ここでは限定しない。
インターフェースユニット1108は、外部装置と電子機器1100との接続のためのインターフェースである。例えば、外部装置は、有線又は無線ヘッドフォンポート、外部電源(又は電池充電器)ポート、有線又は無線データポート、メモリカードポート、識別モジュールを有する装置への接続用のポート、オーディオ入力/出力(I/O)ポート、ビデオI/Oポート、イヤホンポートなどを含んでもよい。インターフェースユニット1108は、外部装置からの入力(例えば、データ情報、電力など)を受信するとともに、受信した入力を電子機器1100内の一つ又は複数の素子に伝送するために用いられてもよく、又は電子機器1100と外部装置との間でデータを伝送するために用いられてもよい。
メモリ1109は、ソフトウェアプログラム及び様々なデータを記憶するために用いられてもよい。メモリ1109は、主にプログラム記憶領域及びデータ記憶領域を含んでもよい。そのうち、プログラム記憶領域は、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラム(例えば、音声再生機能、画像再生機能など)などを記憶することができ、データ記憶領域は、携帯電話の使用によって作成されるデータ(例えば、オーディオデータ、電話帳など)などを記憶することができる。なお、メモリ1109は、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリ、例えば少なくとも一つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の非揮発性ソリッドステートメモリデバイスをさらに含んでもよい。
プロセッサ1110は、電子機器の制御センターであり、様々なインターフェースと線路によって電子機器全体の各部分に接続され、メモリ1109内に記憶されたソフトウェアプログラム及び/又はモジュールを運行又は実行すること、及びメモリ1109内に記憶されたデータを呼び出し、電子機器の様々な機能を実行し、データを処理することにより、電子機器全体をモニタリングする。プロセッサ1110は、一つ又は複数の処理ユニットを含んでもよい。好ましくは、プロセッサ1110は、アプリケーションプロセッサとモデムプロセッサを集積してもよい。そのうち、アプリケーションプロセッサは、主にオペレーティングシステム、ユーザインターフェース及びアプリケーションプログラムなどを処理するためのものであり、モデムプロセッサは、主に無線通信を処理するためのものである。理解できることは、上記モデムプロセッサは、プロセッサ1110に集積されなくてもよい。
電子機器1100は、各部品に電力を供給する電源1111(例えば電池)をさらに含んでもよい。好ましくは、電源1111は、電源管理システムによってプロセッサ1110にロジック的に接続されてもよい。それにより、電源管理システムによって充放電管理及び消費電力管理などの機能を実現することができる。
また、電子機器1100は、いくつかの示されていない機能モジュールを含む。ここではこれ以上説明しない。
本出願の第五の方面によれば、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサによって実行される時、本出願の第一の方面の画像処理方法の任意の実施例の各プロセスを実現し、且つ同じ技術的効果を達することができる。説明の繰り返しを回避するために、ここでこれ以上説明しない。そのうち、前記コンピュータ可読記憶媒体の例は、非一時的コンピュータ可読記憶媒体、例えば、リードオンリーメモリ(Read-Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、磁気ディスク又は光ディスクなどを含む。
なお、本明細書では、「含む」、「包含」という用語又はその他の任意の変形は、非排他的な「包含」を意図的にカバーするものであり、それにより、一連の要素を含むプロセス、方法、物品又は装置は、それらの要素を含むだけではなく、明確にリストアップされていない他の要素も含み、又はこのようなプロセス、方法、物品又は装置に固有の要素も含む。それ以上の制限がない場合に、「……を1つ含む」という文章で限定された要素について、この要素を含むプロセス、方法、物品又は装置には他の同じ要素も存在することが排除されるものではない。
以上、本開示の実施例の方法、装置(システム)又はコンピュータプログラム製品のフローチャート及び/又はブロック図を参照しながら本開示の各方面を記述している。理解すべきなことは、フローチャート及び/又はブロック図における各ブロック及びフローチャート及び/又はブロック図における各ブロックの組み合わせは、コンピュータプログラム命令によって実現されてもよい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供されて、一つの機器を生成させ、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行されるこれらの命令は、フローチャート及び/又はブロック図の一つ又は複数のブロックにおいて指定される機能/動作の実現を可能にしてもよい。このようなプロセッサは、汎用プロセッサ、専用プロセッサ、特別アプリケーションプロセッサ又はフィールドプログラマブル論理アレイであってもよいが、それらに限らない。さらに理解すべきなことは、ブロック図及び/又はフローチャートにおける各ブロック、及びブロック図及び/又はフローチャートにおけるブロックの組み合わせは、指定される機能又は動作を実行するハードウェアに基づく専用のシステムによって実現されてもよく、又は専用ハードウェアとコンピュータ命令の組み合わせによって実現されてもよい。
以上は、添付図面を結び付けながら、本出願の実施例を記述したが、本出願は、上述した具体的な実施の形態に限らない。上記した具体的な実施の形態は例示的なものに過ぎず、制限性のあるものではない。当業者は、本出願の示唆を基にして、本出願の趣旨や請求項が保護する範囲から逸脱しない限り、多くの形式の変更を行うこともでき、それらはいずれも本出願の保護範囲に入っている。
〔関連出願の相互参照〕
本出願は、2019年9月27日に中国で提出された中国特許出願番号No.201910921251.6の優先権を主張しており、同出願の内容の全ては、ここに参照として取り込まれる。

Claims (7)

  1. 電子機器に用いられる画像処理方法であって、前記電子機器は、M個のカラーカメラを含むアンダースクリーン撮影コンポーネントを含み、
    そのうち、前記画像処理方法は、
    前記M個のカラーカメラのうちのN個のカラーカメラがそれぞれ撮影した第一の画像を取得することと、
    各第一の画像に対し、前記第一の画像における少なくとも一部の画素点の輝度値を取得することと、
    取得された輝度値を利用して、前記N個のカラーカメラのうちの一つのカラーカメラで撮影した第一の画像であるターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像を前記アンダースクリーン撮影コンポーネントの撮影画像とすることとを含み、
    そのうち、MとNは、いずれも2以上の整数であり、Nは、M以下であ
    前述した、各第一の画像に対し、前記第一の画像における少なくとも一部の画素点の輝度値を取得することは、
    前記アンダースクリーン撮影コンポーネントと前記アンダースクリーン撮影コンポーネントで撮影したターゲット対象との間のターゲット撮影距離を取得することと、
    予め記憶されている異なる撮影距離で各カラーカメラにより撮影した画像における所定のターゲット領域に基づき、前記ターゲット撮影距離で各第一の画像のターゲット領域を得ることと、
    前記各第一の画像に対し、前記第一の画像のターゲット領域における各画素点の輝度値を取得することとを含み、
    前述した、取得された輝度値を利用してターゲット画像の輝度を向上させることは、
    前記ターゲット画像のターゲット領域における各画素点を第一のターゲット画素点とすることと、
    前記各第一のターゲット画素点に対し、前記第一のターゲット画素点の輝度値と第一の輝度値を加算して、第一のターゲット輝度値を得て、前記第一のターゲット画素点の輝度値を前記第一のターゲット輝度値に向上させることとを含み、
    そのうち、前記第一の輝度値は、前記ターゲット画像以外の他の各第一の画像のターゲット領域において前記第一のターゲット画素点に対応する画素点の輝度値の和であり、
    前述した、取得された輝度値を利用してターゲット画像の輝度を向上させることは、
    取得された前記ターゲット画像の非ターゲット領域における各画素点の輝度値を予め設定される倍数上げることをさらに含み、
    そのうち、前記予め設定される倍数は、N-1倍である、
    画像処理方法。
  2. 予め記憶されているいずれか一つの撮影距離で前記カラーカメラにより撮影した画像の所定のターゲット領域は、この画像における前記ターゲット対象が位置している位置領域である、請求項に記載の画像処理方法。
  3. 電子機器に用いられる画像処理装置であって、前記電子機器は、M個のカラーカメラを含むアンダースクリーン撮影コンポーネントを含み、
    そのうち、前記画像処理装置は、
    前記M個のカラーカメラのうちのN個のカラーカメラがそれぞれ撮影した第一の画像を取得するための画像取得モジュールと、
    各第一の画像に対し、前記第一の画像における少なくとも一部の画素点の輝度値を取得するための輝度値取得モジュールと、
    取得された輝度値を利用して、前記N個のカラーカメラのうちの一つのカラーカメラで撮影した第一の画像であるターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をターゲット対象に対する前記アンダースクリーン撮影コンポーネントの撮影画像とするための輝度向上モジュールとを含み、
    そのうち、MとNは、いずれも2以上の整数であり、Nは、M以下であ
    前記輝度値取得モジュールは、
    前記アンダースクリーン撮影コンポーネントと前記アンダースクリーン撮影コンポーネントで撮影したターゲット対象との間のターゲット撮影距離を取得するためのターゲット撮影距離取得ユニットと、
    予め記憶されている異なる撮影距離で各カラーカメラにより撮影した画像における所定のターゲット領域に基づき、前記ターゲット撮影距離で各第一の画像のターゲット領域を得るためのターゲット領域決定ユニットと、
    前記各第一の画像に対し、前記第一の画像のターゲット領域における各画素点の輝度値を取得するための第一の輝度値取得ユニットと、を含み、
    前記輝度向上モジュールは、前記ターゲット画像のターゲット領域における各画素点を第一のターゲット画素点とすること、前記各第一のターゲット画素点に対し、前記第一のターゲット画素点の輝度値と第一の輝度値を加算して、第一のターゲット輝度値を得て、前記第一のターゲット画素点の輝度値を前記第一のターゲット輝度値に向上させることに用いられ、
    そのうち、前記第一の輝度値は、前記ターゲット画像以外の他の各第一の画像のターゲット領域において前記第一のターゲット画素点に対応する画素点の輝度値の和であり、
    取得された前記ターゲット画像の非ターゲット領域における各画素点の輝度値を予め設定される倍数に上げ、
    そのうち、前記予め設定される倍数は、N-1倍である、
    画像処理装置。
  4. 電子機器であって、
    M個のカラーカメラを含むアンダースクリーン撮影コンポーネントと、
    前記M個のカラーカメラのうちのN個のカラーカメラがそれぞれ撮影した第一の画像を取得し、各第一の画像に対し、前記第一の画像における少なくとも一部の画素点の輝度値を取得し、取得された輝度値を利用して、前記N個のカラーカメラのうちの一つのカラーカメラで撮影した第一の画像であるターゲット画像の輝度を向上させ、輝度が向上された後のターゲット画像をターゲット対象に対する前記アンダースクリーン撮影コンポーネントの撮影画像とするための画像処理装置とを含み、
    そのうち、MとNは、いずれも2以上の整数であり、Nは、M以下であ
    前記画像処理装置は、
    前記アンダースクリーン撮影コンポーネントと前記アンダースクリーン撮影コンポーネントで撮影したターゲット対象との間のターゲット撮影距離を取得すること、予め記憶されている異なる撮影距離で各カラーカメラにより撮影した画像における所定のターゲット領域に基づき、前記ターゲット撮影距離で各第一の画像のターゲット領域を得ること、前記各第一の画像に対し、前記第一の画像のターゲット領域における各画素点の輝度値を取得すること、
    前記ターゲット画像のターゲット領域における各画素点を第一のターゲット画素点とすること、前記各第一のターゲット画素点に対し、前記第一のターゲット画素点の輝度値と第一の輝度値を加算して、第一のターゲット輝度値を得て、前記第一のターゲット画素点の輝度値を前記第一のターゲット輝度値に向上させること、
    そのうち、前記第一の輝度値は、前記ターゲット画像以外の他の各第一の画像のターゲット領域において前記第一のターゲット画素点に対応する画素点の輝度値の和であり、
    取得された前記ターゲット画像の非ターゲット領域における各画素点の輝度値を予め設定される倍数に上げ、
    そのうち、前記予め設定される倍数は、N-1倍である、
    電子機器。
  5. 前記M個のカラーカメラは、アレイ配列されている、請求項に記載の電子機器。
  6. 前記アンダースクリーン撮影コンポーネントにおける全てのカメラの視野は、同じ重ね領域を有する、請求項に記載の電子機器。
  7. 前記カラーカメラは、
    レンズと、レンズホルダーと、光フィルターコンポーネントと、感光チップと、前記感光チップに接続されている回路基板とを含み、
    そのうち、前記レンズホルダーは、前記回路基板上に設けられ、前記レンズと前記光フィルターコンポーネントは、前記レンズホルダー上に設けられ、前記光フィルターコンポーネントは、前記レンズと前記感光チップとの間に位置している、請求項に記載の電子機器。
JP2022508992A 2019-09-27 2020-09-22 画像処理方法、画像処理装置、および電子機器 Active JP7397966B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910921251.6 2019-09-27
CN201910921251.6A CN110661972B (zh) 2019-09-27 2019-09-27 图像处理方法、装置、电子设备和介质
PCT/CN2020/116887 WO2021057731A1 (zh) 2019-09-27 2020-09-22 图像处理方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
JP2022544304A JP2022544304A (ja) 2022-10-17
JP7397966B2 true JP7397966B2 (ja) 2023-12-13

Family

ID=69039466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022508992A Active JP7397966B2 (ja) 2019-09-27 2020-09-22 画像処理方法、画像処理装置、および電子機器

Country Status (5)

Country Link
US (1) US11678066B2 (ja)
EP (1) EP4037304A4 (ja)
JP (1) JP7397966B2 (ja)
CN (1) CN110661972B (ja)
WO (1) WO2021057731A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769151B (zh) * 2019-09-27 2021-10-15 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质
CN110661972B (zh) * 2019-09-27 2021-02-23 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176151A (ja) 2003-12-12 2005-06-30 Canon Inc カメラ付きディスプレイ装置、通信装置および通信システム
JP2011030027A (ja) 2009-07-27 2011-02-10 Canon Inc 動画像再生装置及び撮像装置並びにそれらの制御方法、プログラム
JP2016063262A (ja) 2014-09-12 2016-04-25 キヤノン株式会社 画像処理装置、及び、画像処理方法
JP2017153063A (ja) 2016-02-22 2017-08-31 パナソニックIpマネジメント株式会社 撮像装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8314859B2 (en) * 2008-05-29 2012-11-20 Lg Electronics Inc. Mobile terminal and image capturing method thereof
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
CN103986874A (zh) 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、图像获取方法及终端
CN204836352U (zh) * 2015-09-07 2015-12-02 深圳六滴科技有限公司 一种调整多摄像头拍摄图像的亮度的系统以及装置
JP6461372B2 (ja) 2015-11-25 2019-01-30 華為技術有限公司Huawei Technologies Co.,Ltd. 撮影方法、撮影装置、及び端末
CN105611185B (zh) * 2015-12-18 2017-10-31 广东欧珀移动通信有限公司 图像生成方法、装置及终端设备
CN105577941A (zh) * 2016-02-01 2016-05-11 惠州Tcl移动通信有限公司 一种终端屏幕亮度调节方法及系统
WO2017147614A1 (en) * 2016-02-26 2017-08-31 Essential Products, Inc. Image capture with a camera integrated display
US20180114493A1 (en) * 2016-10-21 2018-04-26 Motorola Mobility Llc Electronic Device with Display-Based Image Compensation and Corresponding Systems and Methods
WO2019006749A1 (zh) * 2017-07-07 2019-01-10 华为技术有限公司 一种具有摄像头的终端和拍摄方法
US10911656B2 (en) * 2017-11-21 2021-02-02 Microsoft Technology Licensing, Llc Optical isolation systems for displays
US10122969B1 (en) * 2017-12-07 2018-11-06 Microsoft Technology Licensing, Llc Video capture systems and methods
US10681281B2 (en) * 2017-12-28 2020-06-09 Htc Corporation Mobile device, and image processing method for mobile device
US10762664B2 (en) * 2017-12-29 2020-09-01 Intel Corporation Multi-camera processor with feature matching
CN109348123B (zh) * 2018-10-25 2021-05-21 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
CN109587396A (zh) * 2018-11-27 2019-04-05 浙江舜宇光学有限公司 拍摄方法和拍摄装置
CN109840475A (zh) * 2018-12-28 2019-06-04 深圳奥比中光科技有限公司 人脸识别方法及电子设备
CN109788207B (zh) * 2019-01-30 2021-03-23 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质
CN109756680B (zh) * 2019-01-30 2021-05-14 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质
CN110062082B (zh) * 2019-05-24 2024-05-17 Oppo广东移动通信有限公司 一种显示屏及终端设备
US11153513B2 (en) * 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
CN110661972B (zh) * 2019-09-27 2021-02-23 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质
CN110971805A (zh) * 2019-12-20 2020-04-07 维沃移动通信有限公司 一种电子设备及其拍照方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176151A (ja) 2003-12-12 2005-06-30 Canon Inc カメラ付きディスプレイ装置、通信装置および通信システム
JP2011030027A (ja) 2009-07-27 2011-02-10 Canon Inc 動画像再生装置及び撮像装置並びにそれらの制御方法、プログラム
JP2016063262A (ja) 2014-09-12 2016-04-25 キヤノン株式会社 画像処理装置、及び、画像処理方法
JP2017153063A (ja) 2016-02-22 2017-08-31 パナソニックIpマネジメント株式会社 撮像装置

Also Published As

Publication number Publication date
CN110661972B (zh) 2021-02-23
WO2021057731A1 (zh) 2021-04-01
EP4037304A4 (en) 2022-11-23
US11678066B2 (en) 2023-06-13
JP2022544304A (ja) 2022-10-17
CN110661972A (zh) 2020-01-07
EP4037304A1 (en) 2022-08-03
US20220201223A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US12003860B2 (en) Image processing method and electronic device
KR102735977B1 (ko) 환경광 검출 방법 및 전자 장치
CN107846583B (zh) 一种图像阴影补偿方法及移动终端
JP7329150B2 (ja) タッチボタン、制御方法及び電子機器
JP2023500149A (ja) スクリーン表示の制御方法及び電子機器
CN110557575A (zh) 消除炫光的方法和电子设备
US20210250508A1 (en) Lens control method and mobile terminal
WO2021204101A1 (zh) 显示方法及电子设备
CN110602407A (zh) 一种拍摄方法及电子设备
CN108564613A (zh) 一种深度数据获取方法及移动终端
CN107682637A (zh) 一种拍摄方法、移动终端和计算机可读存储介质
WO2020020060A1 (zh) 补光灯模组、指纹识别方法和终端设备
US20220360709A1 (en) Mobile terminal, shooting mode detection method, and storage medium
CN107888833A (zh) 一种图像拍摄方法及移动终端
US12022190B2 (en) Photographing method and electronic device
JP7397966B2 (ja) 画像処理方法、画像処理装置、および電子機器
CN108537836A (zh) 一种深度数据获取方法及移动终端
CN108317992A (zh) 一种物距测量方法及终端设备
WO2021104265A1 (zh) 电子设备及对焦方法
WO2019179413A1 (zh) 景深图像生成方法及移动终端
CN111651084B (zh) 一种触控显示屏、电子设备及触控与指纹采集方法
CN111325163B (zh) 一种指纹识别方法及电子设备
CN108495030A (zh) 一种图像处理方法及移动终端
CN108540640A (zh) 一种红外检测装置、移动终端及红外接收器的确定方法、装置
CN107734192A (zh) 一种参数调整方法及移动终端

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231201

R150 Certificate of patent or registration of utility model

Ref document number: 7397966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150