JP6911192B2 - 画像処理方法、装置および機器 - Google Patents

Description

記載される実施形態は、画像処理技術の技術分野に関し、特に、画像処理方法、装置、および機器に関する。

端末機器の製造技術の進歩に伴い、現在の多くの端末機器にはデュアルカメラが搭載されている。一般に、デュアルカメラは、ユーザの多様な要件を満たすために、深度情報に従って相関画像処理操作を行うように、深度情報を取得するために広く使用される。

しかしながら、従来技術では、深度情報を計算するのに長時間を要するので、深度情報に従って相関画像処理操作を行うのに長時間を要し、画像処理効率が低い。

本開示の一実施形態によって解決されるべき技術的問題は、深度情報計算の正確さおよびその画像処理効率を向上させるためのものである、画像処理方法、画像処理装置およびコンピュータ機器を提供することである。

本開示の一実施形態による画像処理方法は、複数の一次画像を取り込むよう一次カメラを制御すると同時に、複数の二次画像を取り込むよう二次カメラを制御することと、複数の一次画像から基準一次画像を取得し、複数の二次画像から同じグループ内の基準一次画像と同時に取り込まれた基準二次画像を取得することと、マルチスレッドベースの並列処理機構を開始し、ターゲット一次画像を生成するように複数の一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１のスレッドを呼び出すと同時に、基準一次画像と基準二次画像とに従って深度情報を取得するために第２のスレッドを呼び出すことと、深度情報に従ってターゲット一次画像の背景領域のためのぼかしプロセスを行うことと、を含む。

本開示の別の実施形態による画像処理装置は、複数の一次画像を取り込むよう一次カメラを制御すると同時に、複数の二次画像を取り込むよう二次カメラを制御するように構成された、撮影モジュールと、複数の一次画像から基準一次画像を取得し、複数の二次画像から同じグループ内の基準一次画像と同時に取り込まれた基準二次画像を取得するように構成された、第１の取得モジュールと、マルチスレッドベースの並列処理機構を開始し、ターゲット一次画像を生成するように複数の一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１のスレッドを呼び出すと同時に、基準一次画像と基準二次画像とに従って深度情報を取得するために第２のスレッドを呼び出すように構成された、第２の取得モジュールと、深度情報に従ってターゲット一次画像の背景領域のためのぼかしプロセスを行うように構成された、処理モジュールと、を含む。

本開示の他の実施形態によるコンピュータ機器は、不揮発性記憶装置とプロセッサと、を含み、記憶装置は、プロセッサによって呼び出され、プロセッサで動作することができるコンピュータプログラムを格納し、コンピュータプログラムがプロセッサによって呼び出され、プロセッサで動作すると、上記に記載の方法が実施される。

本開示の実施形態に記載される技術的解決策をより明確にするために、実施形態の説明に使用される図面について簡単に説明する。明らかに、下記の図面は限定のためではなく例示のためのものにすぎない。当業者であれば、何ら発明的作業を行わずに、これらの図面に基づいて他の図面を取得し得ることを理解されたい。

本開示の一実施形態による画像処理方法の流れ図である。 本開示の一実施形態による三角測定の原理概略図である。 本開示の一実施形態による、デュアルカメラによる深度情報取得の概略図である。 本開示の一実施形態による、場面における画像処理方法実施の概略図である。 本開示の特定の実施形態による画像処理方法の流れ図である。 本開示の一実施形態による画像処理装置の構造概略図である。 本開示の別の実施形態による画像処理装置の構造概略図である。 本開示の他の実施形態による画像処理装置の構造概略図である。 本開示の一実施形態による画像処理回路の概略図である。 本開示の別の例示的実施形態による別の画像処理回路の概略図である。

その例が添付の図面に示されている本開示の以下の実施形態について詳細に説明する。図面において、同じかもしくは類似した参照番号は、全体を通して、同じかもしくは類似した要素または同じかもしくは類似した機能を果たす要素を表すために使用されている。添付の図面を参照して以下で説明される実施形態は例示にすぎず、すなわちそれらの実施形態は、本開示を限定するのではなく説明するためのものである。

以下において、本開示の実施形態で提供される画像処理方法、装置および機器について、図面を参照しながら説明する。

本開示の実施形態における画像処理方法は、携帯電話、テーブルＰＣ、パーソナル・デジタル・アシスタント、ウェアラブル機器などのデュアルカメラを備えたハードウェア装置によって実施され得る。ウェアラブル機器は、スマートブレスレット、スマートウォッチ、スマートグラスなどであり得る。

図１は、本開示の一例示的実施形態による画像処理方法の流れ図である。図１に示されるように、本方法は以下を含む。

ブロック１０１で、複数の一次画像を取り込むよう一次カメラを制御すると同時に、複数の二次画像を取り込むよう二次カメラを制御する

本開示の実施形態では、一次カメラによって取り込まれた一次画像と二次カメラによって取り込まれた二次画像とが、計算によって一次画像と二次画像とにおける同じ物体の深度情報を獲得するために使用され、一次画像は最終的に画像化される実際の画像の基礎画像である。一次画像と二次画像とに従って深度情報を計算するときに一次画像が二次画像と大幅に異なることによって生じる計算された深度情報が不正確であるという問題、または一次画像が不明瞭であることによって生じる最終画像化画像が不十分な画像効果を有するという問題の発生を回避するために、一次カメラは複数の一次画像を取り込むよう制御され、同時に二次カメラも複数の二次画像を取り込むよう制御されるので、深度情報の正確さおよび最終画像効果を向上させるように、複数の一次画像と複数の二次画像の中から最適な画像が選択され得る。複数の一次画像と複数の二次画像とは、同じ撮影命令または同じ撮影操作に従って事前設定期間（１秒など）中に取り込まれ得る。加えて、複数の一次画像と複数の二次画像とは同じ頻度の下で取り込まれるので、複数の一次画像のうちの任意の１つの画像が対応する二次画像と同時に取り込まれ、複数の一次画像の任意の１つの画像と対応する同時に取り込まれた二次画像とは同じグループ内にある。

当然ながら、関連技術において、デュアルカメラは低照度条件では不十分な画像効果を有する。高照度条件では、デュアルカメラは一般に、十分な照度による優れた画像効果を有する。高照度条件で取り込まれた一次画像と二次画像とは、一般に高解像度を有するので、一次カメラと二次カメラとは、１つの一次画像と１つの二次画像のみを同時に取り込むよう制御され、一般に、高い正確さで深度情報を計算し、優れた最終画像効果を達成することが保証され得る。したがって、システム全体の処理圧力を低減させるために、本開示では、低照度条件でのみ複数の一次画像と複数の二次画像とを取り込み得る。

詳細には、本開示の一実施形態では、撮影環境の輝度が検出され、例えば、撮影環境の輝度が端末機器に配置された光センサによって検出される。その輝度が事前設定閾値より低いことを検出した場合、それは、現在の環境の輝度が端末機器の画像効果に影響を及ぼし得ることを意味し、よって一次カメラと二次カメラとは、複数の一次画像と複数の二次画像とを同時に取り込むよう制御される。

事前設定閾値は、大量の実験データによる、環境の輝度が画像効果に影響を及ぼすことになるかどうかを判断するための基本的な輝度値であり得る。事前設定閾値は、端末機器の画像ハードウェアに関連していてもよく、画像ハードウェアの光感度はより高く、事前設定閾値はより低い。

ブロック１０２で、複数の一次画像から基準一次画像を取得し、複数の二次画像から同じグループ内の基準一次画像と同時に取り込まれた基準二次画像を取得する。

ブロック１０３で、マルチスレッドベースの並列処理機構を開始し、ターゲット一次画像を生成するように複数の一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１のスレッドを呼び出すと同時に、基準一次画像と基準二次画像とに従って深度情報を取得するために第２のスレッドを呼び出す。

上記に示されるように、デュアルカメラは、一次画像と二次画像とを使用して深度情報を計算する。デュアルカメラによって深度情報をどのようにして取得するかをより明確に説明するために、デュアルカメラによって深度情報を取得する原理を、図面を参照して説明する。

実際の適用に際して、目は立体視に基づいて深度情報を識別し、これは深度情報を識別するデュアルカメラの原理と同じであり、主に、図２に示される三角測定の原理によって達成される。図２では、画像化物体、デュアルカメラの位置ＯＲおよび位置ＯＴ、ならびにデュアルカメラの焦点面が実際の空間に示されている。焦点面は、デュアルカメラがそれぞれ位置する平面から距離ｆの間隔で配置されており、デュアルカメラは２つの画像を取り込むためにそれぞれ焦点面において結像する。

点Ｐと点Ｐ’とは、２つの異なる取り込み画像における同じ物体の位置である。Ｐ点は、点Ｐが位置する、画像の左端境界から、距離ＸＲの間隔で配置されており、Ｐ’点は、点Ｐ’点が位置する、別の画像の左端境界から、距離ＸＴの間隔で配置されている。点ＯＲと点ＯＴとはそれぞれ２つのカメラを表し、２つのカメラは同じ平面上に配置されており、互いから距離Ｂの間隔で配置されている。

三角測定の原理によれば、図２に示される物体は、２つのカメラが位置する平面から、距離Ｚの間隔で配置されており、距離Ｚは式

を満たす。

したがって、

と結論づけることができ、式中、ｄは、２つの異なる取り込み画像における同じ物体の位置間の差である。Ｂ、ｆは一定値であるので、物体の距離Ｚは、差ｄに従って決定され得る。

言い換えると、深度情報は、式

を満たす三角測定によって取得でき、式中、Ｂは、一次カメラと二次カメラとの間の距離であり、ｆは、焦点面と、一次カメラおよび二次カメラの平面との間の距離であり、Ｚは、物体と、一次カメラおよび二次カメラの平面との間の距離であり、深度情報を表し、物体は、第１の点で基準一次画像において結像され、物体は、第２の点で基準二次画像においても結像され、Ｘ_ＲとＸ_Ｔの一方は、第１の点と基準一次画像の左端境界との間の距離であり、Ｘ_ＲとＸ_Ｔのもう一方は、第２の点と基準二次画像の左端境界との間の距離であり、ｄは、距離Ｘ_Ｒと距離Ｘ_Ｔとの差であり、基準一次画像内の第１の点と基準二次画像内の第２の点との間の位置差を表す。

当然ながら、一次画像の深度情報を計算するために、三角測定以外の方法が用いられてもよく、例えば、一次カメラと二次カメラとが同じ場面を撮影する場合、場面の物体とカメラとの間の距離は、一次カメラと二次カメラとによって画像化された画像間の変位差または姿勢差に比例する。したがって、本開示の一実施形態では、距離Ｚは、この割合に従って獲得され得る。

言い換えると、本開示の一実施形態では、物体と、一次カメラおよび二次カメラが位置する平面との間の距離が、どちらも同じ物体に対応している基準一次画像と基準一次二次画像の画像点間の変位差または姿勢差に、比例係数ｃｏで比例するので、深度情報は、比例係数と変位差または姿勢差とに従って取得される。

例えば、図３に示されるように、一次カメラによって取り込まれた一次画像と二次カメラによって取り込まれた二次画像とが、視差画像によって表される差を有する点を計算するために使用される。視差画像は、２つの画像内の各同じ点の位置間の変位差を示す。変位差は三角測量位置において距離Ｚに比例するので、視差画像は、深度情報を直接示すための画像としてよく使用される。

以上から、深度情報を獲得するためにデュアルカメラが使用される場合、異なる画像内の同じ物体の位置を取得する必要があるので、深度情報を獲得するためにデュアルカメラによって取り込まれた２つの画像はより近似しており、深度情報獲得の効率および深度情報の正確さはより高いことが分かる。

本開示の実施形態では、一次カメラと二次カメラとが複数の一次画像と複数の二次画像とを同時に取り込むので、同時に取り込まれた一次画像と二次画像とが同じグループに属し、互いに非常に近似しており、マルチフレーム合成ノイズ低減プロセスを行う前のソース一次画像とソース二次画像とが深度情報を獲得するために使用され、それによって正確な深度情報の獲得が保証されることが理解されよう。

当然ながら、上記で述べられているように、低照度条件などの、不十分な環境で撮影する場合、複数の一次画像と複数の二次画像とは高いノイズを有し、よって、この場面の下では、深度情報の正確さをさらに向上させるために複数の二次画像についてのマルチフレームノイズ低減が行われ、次いで、ノイズ低減後の二次画像と一次画像とに従って深度情報が計算され得る。

詳細には、複数の一次画像の中から基準一次画像が選択され、複数の一次画像の中から基準二次画像が選択され、基準二次画像は同じグループ内の基準一次画像と同時に取り込まれた画像である。実際の適用に際しては、一次カメラと二次カメラとは、実際の撮影プロセスにおいて同じ頻度の下で複数の一次画像と複数の二次画像とを同時に取り込み、同時に取り込まれた一次画像と二次画像とは同じグループ内にあることに留意されたい。例えば、時系列に沿って、一次カメラによって取り込まれた複数の一次画像は、一次画像１１、一次画像１２、……を含み、二次カメラによって取り込まれた複数の二次画像は、二次画像２１、二次画像２２、……を含み、一次画像１１と二次画像２１とは同じグループ内にあり、一次画像１２と二次画像２２とは同じグループ内にあり、以下同様である。深度情報獲得の効率および深度情報の正確さをさらに向上させるために、基準一次画像は、複数の一次画像の中から選択された高解像度を有する一次画像であり得る。あるいは、多くの画像を取り込むときに、高解像度を有する一部の一次画像と一部の二次画像とが予め選択され、次いで、選択効率を向上させるために、それら高解像度を有する一部の一次画像と一部の二次画像の中から、基準一次画像と対応する二次画像とが選択されてもよい。

さらに、深度情報の計算には長時間を要するので、マルチスレッドベースの並列処理機構が開始し、ターゲット一次画像を生成するように一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１のスレッドが呼び出され、同時に、基準一次画像と基準二次画像とに従って深度情報を取得するために第２のスレッドが呼び出される。したがって、一方では、深度情報を計算する間にターゲット一次画像を取得するためにマルチフレーム合成ノイズ低減プロセスによって複数の一次画像が処理され得るので、深度情報を取得した後で深度情報とターゲット一次画像とに従ってぼかしプロセスが直接行われ得る。深度情報をまず取得し、次いで一次画像のためのノイズ低減を行うモードと比較して、本開示は、画像処理効率を大幅に向上させ得る。他方では、マルチフレーム合成ノイズ低減プロセスによって明確な詳細を有するターゲット一次画像を獲得でき、画像品質が高く、ぼかし後の画像効果が優れている。

マルチフレーム合成ノイズ低減プロセスをはっきりと理解するために、低照度場面の下での一次画像のためのマルチフレーム合成ノイズ低減プロセスについて説明する。

環境光が不十分な場合、端末機器などの画像機器は、一般に、機器の撮影感度を自動的に向上させるモードを用いるが、このモードは多くのノイズを含む点を有する画像を生じさせることになる。マルチフレーム合成ノイズ低減プロセスは、高感度条件で撮影された画像品質を向上させるために、画像のノイズを含む点を低減させるように構成される。その原理は、周知のノイズを含む点は無秩序に配置されているという点にある。詳細には、複数の画像を取り込んだ後、同じ位置にあるノイズを含む点は、赤のノイズを含む点、緑のノイズを含む点、または白のノイズを含む点であり得る。具体的には、同じ位置にはどんなノイズを含む点も存在しない。したがって、ノイズを含む点に属する画素点をフィルタリングするための比較およびフィルタリング条件がある。というのは、複数の画像の同じ位置にあるノイズを含む点は互いに打ち消し合い得る異なる画素値を有するが、実際の物体を表示するための複数の画像の同じ位置にある他の画素点は実質的に同じ画素値を有するので、マルチフレーム合成ノイズ低減プロセスは、実際の物体を表示するための実際の画素点からノイズを含む点をフィルタリングし得るからである。加えて、画像はより多く、ノイズを含む点がより正確にフィルタリングされ、実際の物体を表示するための実際の画素点の値が実際の値により近いので、合成画像がより明瞭である。さらに、ノイズを含む点をフィルタリングした後、ノイズを含む点を除去するために、色推測および画素置換プロセスを行うアルゴリズムがさらに用いられ得る。上記プロセスの後、低い画像品質損失でノイズ低減効果を達成することができる。

例えば、単純なマルチフレーム合成ノイズ低減方法では、複数の画像が取り込まれ、複数の画像の同じ位置に対応する画素点の値が読み取られ、画素点の加重平均値が計算され、合成画像の同じ位置で対応する画素点の値が生成され得る。これにより、はっきりした画像を獲得することができる。

ブロック１０４で、深度情報に従ってターゲット一次画像の背景領域のためのぼかしプロセスを行う。

詳細には、深度情報に従ってターゲット一次画像の背景領域のぼかしプロセスを行うブロックは、以下を含み得るがこれに限定されない。

１つの可能なモード：
深度情報と焦点領域とに従って前景領域の第１の深度情報と背景領域の第２の深度情報とを取得し、第１の深度情報と第２の深度情報とに従ってぼかし強度を生成し、ぼかし強度に従ってターゲット一次画像の背景領域のためのぼかしプロセスを行う。したがって、異なる深度情報に従って異なる度合いでぼかしプロセスが行われ得るので、ぼかし画像がより自然でより階層的になる。

主物体に合焦した後、画像が目にはっきりと見える、主物体が位置する焦点領域の前方の部分と焦点領域の背後の別の部分とを含む空間が、深度情報と呼ばれる深度範囲内にある。焦点領域の前方の部分は前景領域の第１の深度情報に対応しており、焦点領域の背後の別の部分は背景領域の第２の深度情報に対応していることが理解されよう。

場面に従って、前景領域の第１の深度情報と背景領域の第２の深度情報とを決定するために異なるモードが用いられ得ることに留意されたい。それらのモードを以下に示す。

第１のモード：
撮影パラメータを取得し、カメラの撮影式に従って前景領域の第１の深度情報と背景領域の第２の深度情報とを決定する。

この例示的実施形態では、一次カメラの取得される撮影パラメータには、許容される錯乱円直径、絞り値、焦点距離、集束距離などが含まれる。よって、第１の深度情報は、式：
第１の深度情報＝（絞り値＊許容される錯乱円直径＊集束距離の２乗）／（焦点距離の２乗＋絞り値＊許容される錯乱円直径＊集束距離）
によって計算でき、
前景領域は第１の深度情報に従ってそこから分離され、第２の深度情報は、別の式：
第２の深度情報＝（絞り値＊許容される錯乱円直径＊集束距離の２乗）／（焦点距離の２乗−絞り値＊許容される錯乱円直径＊集束距離）
によって計算され得る。

第２のモード：
デュアルカメラによって取り込まれた現在撮影している画像のデータに従って、焦点領域を除く画像領域の深度マップを決定し、焦点領域の前方の前景領域の第１の深度情報と焦点領域の背後の背景領域の第２の深度情報とを決定する。

詳細には、この例示的実施形態では、２つのカメラが異なる位置に配置されており、撮影ターゲット物体に関連した２つの後置カメラ間にある一定の角度差とある一定の距離差があるので、２つのカメラによって取り込まれたプレビュー画像データ間にある一定の位相差がある。

例えば、撮影ターゲット物体の点Ａについて、一次カメラによって取り込まれたプレビュー画像データにおいて、点Ａは画素点座標（３０，５０）に位置し、二次カメラによって取り込まれたプレビュー画像データにおいて、点Ａは画素点座標（３０，４８）に位置し、よって、点Ａに対応する２つのプレビュー画像データ内の画素点の位相差は、５０−４８＝２である。

この例示的実施形態では、デュアルカメラの実験データまたはパラメータに従って深度情報と位相差との間の関係が事前構築され、次いで、２つのカメラによって取り込まれたプレビュー画像の各画像点のプレビュー画像データにおける位相差に従って対応する深度情報が探索され得るので、第１の深度情報と第２の深度情報とが容易に取得される。

ぼかし強度に従ってターゲット一次画像の背景領域のためのぼかしプロセスを行うブロックは、異なるモードによって達成されてもよく、それらのモードを以下に例示する。

第１の例：
ぼかし強度と、ターゲット一次画像の背景領域内の各画素の深度情報とに従って各画素のぼかし係数を取得する。ぼかし係数はぼかし強度と関連付けられる。ぼかし係数はより大きく、ぼかし強度はより強い。例えば、各画素のぼかし係数を取得するために、ぼかし強度をターゲット一次画像の背景領域内の各画素の深度情報で乗算した積が計算され、次いで、各画素のぼかし係数に従ってターゲット一次画像の背景領域のためのぼかしプロセスが行われ得る。

第２の例：
第２の深度情報は、焦点領域の深度情報からより遠く離れており、これは、対応する背景領域が焦点領域からより遠く離れており、焦点領域との関連性がより小さく、よって対応するぼかし強度がより大きいことを意味する。この例示的実施形態では、ぼかし強度と、第２の深度情報と焦点領域の深度情報との差との間の対応関係が事前格納され得る。対応関係においては、第２の深度情報と焦点領域の深度情報との差はより大きく、対応するぼかし強度はより大きい。よって、ターゲット一次画像の背景領域の第２の深度情報と焦点領域の深度情報との差が取得され、その差に従って対応するぼかし強度を取得するために対応関係が探索され、ぼかし強度に従って対応する深度情報を用いて背景領域がぼかされ得る。

本開示の実施形態の画像処理効果をはっきりと説明するために、以下に詳細な場面の下でのいくつかの例を示す。

第１の場面：
図４に示されるように、撮影命令を取得した後、一次カメラと二次カメラとは、４つの一次画像と４つの二次画像とを取り込むために、同時に撮影するよう制御される。４つの一次画像は、撮影順序に従ってそれぞれ１１、１２、１３、１４と付番され、同様に、４つの二次画像も、それぞれ２１、２２、２３、２４と付番される。

一次画像の中から基準一次画像１２が選択され、二次画像の中から、同じグループ内の基準一次画像１２と同時に取り込まれた基準二次画像２２が選択される。次いで、マルチスレッドベースの並列処理機構が開始し、ターゲット一次画像を生成するように一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１のスレッドが呼び出され、基準一次画像１２と基準二次画像２２とに従って深度情報を計算するために第２のスレッドが呼び出される。したがって、一次画像のためのノイズ低減プロセスを行うために４００ｍｓを要し、深度情報を取得するために８００ｍｓを要する場合、従来技術では、順番に深度情報を計算し、一次画像のためのノイズ低減プロセスを行う必要があり、上記プロセスを完了するのに１２００ｍｓを必要とする。しかしながら、本開示の画像処理方法は上記プロセスを完了するのに８００ｍｓで済み、よってその画像処理効率が大幅に向上する。さらに、本開示では、一次カメラは、複数の一次画像を取り込み、複数の一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うので、低照度条件の下で低品質のただ１つの一次画像を処理することによって生じる不十分な画像処理効果しか得られないという問題が回避され、画像処理効果が向上し得る。

第２の場面
この場面の下では、現在の周囲輝度に従ってマルチフレーム合成ノイズ低減プロセスを用いるかどうかが判断され得る。マルチフレーム合成ノイズ低減プロセスは、高照度条件ではなく低照度条件の下で行われ得る。詳細には、図５に示されるように、撮影環境の輝度を検出でき、その輝度が事前設定閾値より低い場合、それは現在の環境が暗いことを意味し、システムは、複数の一次画像と複数の二次画像とを同時に取り込むよう一次カメラと二次カメラとを制御し、よって、一次画像のうちの１つが基準一次画像として選択され、基準一次画像と同時に取り込まれた基準二次画像がその中から選択される（例えば、一次画像の第２のフレームが基準一次画像として選択される場合、二次画像の第２のフレームも基準一次画像として選択されることになる）。

次いで、マルチスレッドベースの並列処理機構が開始し、ターゲット一次画像を生成するように一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１のスレッドが呼び出され、同時に、基準一次画像と基準二次画像とに従って深度情報を計算するために第２のスレッドが呼び出される。よって、マルチフレーム合成ノイズ低減プロセスと深度情報計算は同時に行われ得る。さらに、深度情報は、マルチフレーム合成ノイズ低減プロセスを行う前の画像によって計算されるので、深度情報計算の正確さが保証され、取得された深度情報とターゲット一次画像とに従ってターゲット一次画像の背景領域のためのぼかしプロセスを行った後に優れた画像処理効果が達成され得る。

要約すると、本開示の実施形態の画像処理方法は、複数の一次画像を取り込むよう一次カメラを制御すると同時に、複数の二次画像を取り込むよう二次カメラを制御し、複数の一次画像の中から基準一次画像を選択し、複数の二次画像の中から基準一次画像と同時に取り込まれた基準二次画像を選択し、マルチスレッドベースの並列処理機構を開始し、ターゲット一次画像を生成するように複数の一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１のスレッドを呼び出し、基準一次画像と基準一次画像とに従って深度情報を取得するために第２のスレッドを呼び出し、深度情報に従ってターゲット一次画像の背景領域のためのぼかしプロセスを行う。よって、深度情報計算の正確さおよび画像処理効率が向上する。

上記の実施形態を達成するために、本開示は、画像処理装置をさらに提供する。図６は、本開示の一例示的実施形態による画像処理装置の構造概略図である。図６に示されるように、本画像処理装置は、撮影モジュール１００と、第１の取得モジュール２００と、第２の取得モジュール３００と、処理モジュール４００と、を含む。

撮影モジュール１００は、複数の一次画像を取り込むよう一次カメラを制御すると同時に、複数の二次画像を取り込むよう二次カメラを制御するように構成される。

本開示の一実施形態では、図６に基づくものである図７に示されるように、撮影モジュール１００は、検出部１１０と撮影部１２０とを含む。

検出部１１０は、撮影環境の輝度を検出するように構成される。

撮影部１２０は、輝度が事前設定閾値より低いことを検出したときに、複数の一次画像を取り込むよう一次カメラを制御すると同時に、複数の二次画像を取り込むよう二次カメラを制御するように構成される。

第１の取得モジュール２００は、一次画像の中から基準一次画像を取得し、二次画像の中から同じグループ内の基準一次画像と同時に取り込まれた基準二次画像を取得するように構成される。

第２の取得モジュール３００は、マルチスレッドベースの並列処理機構を開始し、ターゲット一次画像を生成するように一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１のスレッドを呼び出すと同時に、基準一次画像と基準二次画像とに従って深度情報を取得するために第２のスレッドを呼び出すように構成される。

処理モジュール４００は、深度情報に従ってターゲット一次画像の背景領域のためのぼかしプロセスを行うように構成される。

本開示の一実施形態では、図６に基づくものである図８に示されるように、処理モジュール４００は、取得部４１０と、生成部４２０と、処理部４３０とを含む。

取得部４１０は、深度情報と焦点領域とに従って前景領域の第１の深度情報と背景領域の第２の深度情報とを取得するように構成される。

生成部４２０は、第１の深度情報と第２の深度情報とに従ってぼかし強度を生成するように構成される。

処理部４３０は、ぼかし強度に従ってターゲット一次画像の背景領域のためのぼかしプロセスを行うように構成される。

上記の実施形態における方法についての上記の説明は、本開示の本例示的実施形態の装置にも当てはまることに留意されたい。それらは同様の動作原理を有するので、ここではこれについて説明しない。

画像処理装置のモジュールは一例として示すにすぎない。他の実施形態では、画像処理装置は、画像処理装置の機能の全部または一部を完了するために、上記のモジュールとは異なる他のモジュールに分割され得る。

要約すると、本開示の例示的実施形態の画像処理装置は、複数の一次画像を取り込むよう一次カメラを制御すると同時に、複数の二次画像を取り込むよう二次カメラを制御し、複数の一次画像の中から基準一次画像を選択し、複数の二次画像の中から基準一次画像と同時に取り込まれた基準二次画像を選択し、マルチスレッドベースの並列処理機構を開始し、ターゲット一次画像を生成するように複数の一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１のスレッドを呼び出し、基準一次画像と基準一次画像とに従って深度情報を取得するために第２のスレッドを呼び出し、深度情報に従ってターゲット一次画像の背景領域のためのぼかしプロセスを行う。よって、深度情報計算の正確さおよび画像処理効率が向上する。

一実施形態において、本開示は、コンピュータ機器をさらに提供する。本コンピュータ機器は、ハードウェアまたはソフトウェア構成要素によって達成され、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（画像信号処理））パイプラインを備えた様々な処理装置を含み得る、画像処理回路を含む。図９は、本開示の一例示的実施形態による画像処理回路の概略図である。図９に示されるように、説明の便宜上、本開示の例示的実施形態における画像処理技術に関連した構成要素のみが示されている。

図９に示されるように、画像処理回路は、ＩＳＰプロセッサ９４０と論理コントローラ９５０とを含む。画像機器９１０によって取り込まれた画像データはＩＳＰプロセッサ９４０によってまず処理される。ＩＳＰプロセッサ９４０は、画像機器９１０の１つまたは複数の制御パラメータを決定するように構成される画像統計情報を取り込むために画像データを解析する。画像機器９１０は、１つまたは複数のレンズ９１２とイメージセンサ９１４とを含むカメラであり得る。イメージセンサ９１４は、カラー・フィルタ・アレイ（ベイヤフィルタなど）を含み得る。イメージセンサ９１４は、イメージセンサ９１４の各画素によって取り込まれた光強度と波長情報とを取得し、ＩＳＰプロセッサ１０４０によって処理され得る元の画像データを提供し得る。センサ９２０（ジャイロスコープなど）は、センサ９２０のインターフェースのタイプに従ってＩＳＰプロセッサ９４０にセンサ９２０によって収集された画像処理パラメータ（手ぶれ補正パラメータなど）を提供し得る。センサ９２０のインターフェースは、ＳＭＩＡ（Ｓｔａｎｄａｒｄ Ｍｏｂｉｌｅ Ｉｍａｇｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅ）インターフェース、シリアルもしくはパラレルのカメラインターフェース、または上記インターフェースの組み合わせであり得る。

加えて、イメージセンサ９１４は、センサ９２０に元の画像データを送信することもでき、その場合センサ９２０は、センサ９２０のインターフェースのタイプに従ってＩＳＰプロセッサ９４０に元の画像データを提供してもよく、あるいはセンサ９２０は、元の画像データを画像記憶装置９３０に格納してもよい。

ＩＳＰプロセッサ９４０は、様々なフォーマットで画素ごとに元の画像データを処理し得る。例えば、各画素は、８、１０、１２、または１４ビットのビット深度を有し、ＩＳＰプロセッサ９４０は、元の画像データについて１つまたは複数の画像処理操作を行い、画像データの統計情報を収集し得る。画像処理操作は、同じビット深度または異なるビット深度に従って行われ得る。

ＩＳＰプロセッサ９４０は、画像記憶装置９３０から画素データをさらに受け取り得る。例えば、元の画素データが、センサ９２０のインターフェースを介して画像記憶装置９３０に送られてもよく、次いで、画像記憶装置９３０に格納された元の画素データは、処理されるためにＩＳＰプロセッサ９４０に送られる。画像記憶装置９３０は、記憶装置の一部、または記憶装置もしくは電子デバイス内の独立した専用記憶域であり、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ（ダイレクトメモリアクセス））プロパティを有し得る。

イメージセンサ９１４のインターフェース、センサ９２０のインターフェースまたは画像記憶装置９３０から元の画像データを受け取ると、ＩＳＰプロセッサ９４０は、時間領域フィルタリング操作などの１つまたは複数の画像処理操作を行い得る。処理された画像データは、表示される前に他のプロセスを行うために画像記憶装置９３０に送られ得る。ＩＳＰプロセッサ９４０は、画像記憶装置９３０から処理されたデータを受け取り、次いで処理されたデータのプリミティブ領域ならびにＲＧＢおよびＹＣｂＣｒ色空間の画像処理操作を行うので、ＩＳＰプロセッサ９４０によって処理されたデータは、ビューアによって表示され、かつ／またはグラフィックスエンジンもしくはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（グラフィックス処理装置））によってさらに処理されるようにディスプレイ９７０に送られ得る。加えて、ＩＳＰプロセッサ９４０の出力は画像記憶装置９３０にも送られ、ディスプレイ９７０は画像記憶装置９３０から画像データを読み取り得る。一例示的実施形態では、画像記憶装置９３０は、１つまたは複数のフレームバッファを含むように構成され得る。加えて、ＩＳＰプロセッサ９４０の出力は、画像データを符号化／復号するために、エンコーダ／デコーダ９６０にも送られ得る。符号化画像データは格納され、ディスプレイ９７０で表示する前に復号され得る。エンコーダ／デコーダ９６０は、ＣＰＵ、またはＧＰＵ、またはコプロセッサによって実現され得る。

ＩＳＰプロセッサ９４０によって決定された統計データは、論理コントローラ９５０に送られ得る。例えば、統計データは、自動露出、自動ホワイトバランス、自動焦点、フリッカ検出、黒レベル補正、レンズ９１２の影補正などに関連するイメージセンサ９１４の統計情報であり得る。論理コントローラ９５０は、１つまたは複数のスレッドを実行するためのＣＰＵまたはマイクロコントローラを含んでいてもよく、１つまたは複数のスレッドは、受け取った統計データに従って画像機器９１０の制御パラメータとＩＳＰプロセッサ９４０の制御パラメータとを決定し得る。例えば、画像機器９１０の制御パラメータには、センサ９２０の制御パラメータ（ざらつき、露出制御の積分時間、手ぶれ補正パラメータなど）、カメラのフリッカ制御パラメータ、レンズ９１２の制御パラメータ（合焦もしくはズームの焦点距離など）、またはこれらのパラメータの組み合わせが含まれ得る。ＩＳＰ制御パラメータには、自動ホワイトバランスおよび色調整（ＲＧＢ処理の持続時間におけるものなど）の利得、色補正マトリックス、およびレンズ９１２の影補正パラメータが含まれ得る。

別の実施形態において、本開示は、別の画像処理回路をさらに提供する。図１０は、本開示の別の例示的実施形態による別の画像処理回路の概略図である。図１０に示されるように、画像処理回路は、第１のＩＳＰプロセッサ１０３０と、第２のＩＳＰプロセッサ１０４０と、論理コントローラ１０５０とを含む。第１のＩＳＰプロセッサ１０３０は、第１のカメラ１０１０から送られた画像を処理するように構成され、第２のＩＳＰプロセッサ１０４０は、第２のカメラ１０２０から送られた画像を処理するように構成される。第１のカメラ１０１０と第２のカメラ１０２０とは、図９に示される画像機器９１０として使用されるカメラと同様であってもよく、各々が１つまたは複数のレンズとイメージセンサとを含む。例えば、第１のカメラ１０１０は、１つまたは複数の第１のレンズ１０１１と第１のイメージセンサ１０１２とを含み、同様に第２のカメラも、１つまたは複数の第２のレンズ１０２１と第２のイメージセンサ１０２２とを含み、その動作は、図９に示される画像機器９１０として使用されるカメラの動作と同様であるので、ここではこれについて説明しない。

本開示のこの例示的実施形態では、第１のカメラ１０１０と第２のカメラ１０２０との性能パラメータ（焦点距離、開口サイズ、解像度など）は制限されない。いくつかの実施形態では、第１のカメラ１０１０は、望遠カメラおよび広角カメラのうちの１つであってもよく、第２のカメラ１０２０もまた、望遠カメラおよび広角カメラのうちの１つであってもよい。第１のカメラ１０１０と第２のカメラ１０２０とは、どちらも端末の同じ平面乗に配置されていてもよく、例えば、端末の裏面または前面に同時に配置され得る。端末に配置された第１のカメラ１０１０と第２のカメラ１０２０との間の距離は、端末のサイズや撮影効果などによって決定され得る。いくつかの実施形態では、物体を左右のカメラ（すなわち、第１のカメラ１０１０と第２のカメラ１０２０と）によって高度にオーバーラップして取り込ませるために、左右のカメラをより近づけて組み立てた方がよく、例えば、左右のカメラ間の距離は１０ｍｍ以下である。

第１のカメラ１０１０によって集められた第１の画像が第１のＩＳＰプロセッサ１０３０に送られる。第１の画像を処理した後、第１のＩＳＰプロセッサ１０３０は、論理コントローラ１０５０に第１の画像の統計データ（画像の輝度、画像のコントラスト値、画像の色など）を送り得る。制御コントローラ１０５０は、統計データに従って第１のカメラ１０１０の制御パラメータを決定し得るので、第１のカメラ１０１０は、自動合焦、自動露出補正などの関連した操作を行い得る。第１のＩＳＰプロセッサ１０１０によって処理された第１の画像は、画像記憶装置１０６０に格納され得る。第１のプロセッサ１０３０はまた、処理のために画像記憶装置１０６０に格納された画像を読み取り得る。加えて、ＩＳＰプロセッサ１０３０によって処理された第１の画像は、表示のためにディスプレイ１０７０に直接送られ得る。あるいは、ディスプレイ１０７０は、表示のために画像記憶装置１０６０に格納された画像を読み取り得る。

第２のカメラ１０２０は、第１のカメラと同様の処理フローを有する。イメージセンサおよびＩＳＰプロセッサは、図９に示される上記のイメージセンサおよび上記のＩＳＰプロセッサと同様の機能および処理フローを有するので、ここではこれについて説明しない。

第１のＩＳＰプロセッサ１０３０と第２のＩＳＰプロセッサ１０４０とは、第１のイメージセンサ１０１２と第２のイメージセンサ１０２２とからのデータをそれぞれ処理することができる単一のＩＳＰプロセッサであるように統合され得ることに留意されたい。

さらに、画像処理回路は、図１０に示されてないＣＰＵと電源モジュールとをさらに含み得る。ＣＰＵは、構造全体を制御するために、論理コントローラ１０５０と、第１のＩＳＰプロセッサ１０３０と、第２のＩＳＰプロセッサ１０４０と、画像記憶装置１０６０と、ディスプレイ１０７０とに接続される。電源モジュールは、上記のモジュールにそれぞれ電力を供給するように構成される。

以下で、図９または図１０に示される画像処理技術によって実現される、
複数の一次画像を取り込むよう一次カメラを制御すると同時に、複数の二次画像を取り込むよう二次カメラを制御することと、
複数の一次画像から基準一次画像を取得し、二次画像から同じグループ内の基準一次画像と同時に取り込まれた基準二次画像を取得することと、
マルチスレッドベースの並列処理機構を開始し、ターゲット一次画像を生成するように一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１のスレッドを呼び出すと同時に、基準一次画像と基準二次画像とに従って深度情報を取得するために第２のスレッドを呼び出すことと、
深度情報に従ってターゲット一次画像の背景領域のためのぼかしプロセスを行うことと
を含む画像処理方法の各ブロックについて説明する。

上記の実施形態を実現するために、本開示は、不揮発性コンピュータ可読メモリ媒体をさらに提供し、メモリ媒体に格納された命令がプロセッサにおいて動作すると、上記の実施形態の画像処理方法が実施される。

本明細書の記述においては、実施形態または例に関連して「１つの実施形態」、「いくつかの実施形態」、「例」、「特定の例」、または「いくつかの例」という言及語が、本開示の１つの実施形態または本明細書の例に含まれる特定の特徴、構造、材料、または特性によって記述されている。これらの言及語の概略図は、必ずしも同じ実施形態または例に対するものではない。さらに、特定の特徴、構造、材料、または特性は、適切な方法で組み合わされた実施形態または例のうちのいずれか１つまたは複数であり得る。加えて、相互に矛盾しない場合には、当業者は、異なる実施形態または例を結合し、または組み合わせることもできる。

加えて、「第１」および「第２」という用語は、記述を目的として使用されているにすぎず、相対的な重要度を指示または示唆するものとも、技術的特徴の数を暗黙的に指示するものとも受け取られるべきではない。よって、定義する特徴「第１」および「第２」は、それらの特徴の少なくとも１つを明示的または暗黙的に含み得る。本開示の記述において、「複数」とは、特に明確かつ具体的に定義されない限り、少なくとも２つ、例えば、２つまたは３つを意味する。

流れ図、異なる方法によって記述された任意のプロセスまたは方法を、特定の論理的な機能またはステップを実施するための実行可能命令コードのユニット、フラグメントまたは部分と理解することができる。本開示の実施形態を、機能を果たすために実質的に同時に、または逆の順序で実施できることを当業者は理解するはずである。

流れ図の各ブロックにおける論理ユニットおよび動作は、論理機能を実施するための実行可能命令のシーケンステーブルとして定義されている。実行可能命令のシーケンステーブルは、命令実行システム、装置、または機器（例えば、命令にアクセスし、命令を実行するコンピュータベースのシステム、プロセッサを有するシステム、もしくは命令実行システム、装置、または機器）のための任意のコンピュータ可読媒体において具体化することができる。本開示では、「コンピュータ可読媒体」は、記憶、通信、伝播、伝送のプログラムまたはそれらの組み合わせを含むことができる。「コンピュータ可読媒体」は、電線による接続部分（電子デバイスなど）、ポータブル・コンピュータ・ディスケット（磁気デバイスなど）、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能書込み可能読取り専用メモリ（ＥＰＲＯＭやフラッシュメモリなど）、光ファイバデバイス、およびポータブル・コンパクト・ディスク読取り専用メモリ（ＣＤＲＯＭなど）のうちの少なくとも１つを含む。加えて、コンピュータ可読媒体は、プログラムが印刷された紙または適切な媒体でさえもあり得る。例えば、紙または適切な媒体は光学的にスキャンされる。紙または適切な媒体上のプログラムは、コンパイル方式およびインタープリタ方式を使用して電子的に取得され、コンピュータ化されたメモリに格納される。

本開示の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実施され得ることを理解されたい。上述した実施形態においては、複数の動作または方法がメモリに格納されてもよく、それらは適切な命令実行システムに実装されたソフトウェアまたはファームウェアによって実行される。各ブロックまたは方法における動作が、例えば、ハードウェアにおいて実施され得る場合、別の実施形態の場合と同様に、関連技術における以下の技法のうちの任意の１つまたはそれらの組み合わせが使用され得る。それらの技法には、データ信号上で論理機能を実施する論理ゲート回路のディスクリート論理回路、適切な組み合わせ論理ゲート回路を有する特定用途向け集積回路、プログラマブル・ゲート・アレイ（ＰＧＡ）、およびフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）が含まれる。

上述した実施形態における動作の前部または一部を、ハードウェアで実行可能なプログラム命令によって実施できることを当業者は理解するはずである。プログラム命令はコンピュータ可読媒体に格納され、プログラム命令は、ブロックにおける動作のうちの少なくとも１つについて行われる。

さらに、機能ユニットの各々は、１つの処理装置において統合され得るか、または別個の物理ユニットであり得る。例えば、２つ以上のユニットが単一のユニットにおいて統合される。統合ユニットは、ハードウェアまたはソフトウェアユニットの形態で実施することができる。１つの実施形態では、統合ユニットが独立した製品として販売または使用されるソフトウェアユニットの形態で実施される場合、統合ユニットをコンピュータ可読記憶媒体に格納することができる。

コンピュータ可読記憶媒体は、読取り専用メモリ、磁気ディスクまたは光ディスクとすることができる。当業者には理解されるように、本開示の前述の好ましい実施形態は、本開示を限定するのではなく例示するためのものである。これらの実施形態は、本開示の趣旨および範囲内に含まれる様々な改変形態および類似した構成を対象とすることが意図されており、そうしたあらゆる改変形態および類似した構造を包含するように、本開示の範囲には最も広い解釈が与えられるべきである。

Claims (15)

1. 画像処理方法であって、
   複数の一次画像を取り込むよう一次カメラを制御すると同時に、複数の二次画像を取り込むよう二次カメラを制御すること（１０１）と、
   前記複数の一次画像から基準一次画像を取得し、前記複数の二次画像から同じグループ内の前記基準一次画像と同時に取り込まれた基準二次画像を取得すること（１０２）と、
   マルチスレッドベースの並列処理機構を開始し、ターゲット一次画像を生成するように前記複数の一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１のスレッドを呼び出すと同時に、前記基準一次画像と前記基準二次画像とに従って深度情報を取得するために第２のスレッドを呼び出すこと（１０３）と、
   前記深度情報に従って前記ターゲット一次画像の背景領域のためのぼかしプロセスを行うこと（１０４）と
   を含む、画像処理方法。
2. 複数の一次画像を取り込むよう一次カメラを制御すると同時に、複数の二次画像を取り込むよう二次カメラを制御するブロックが、
   撮影環境の輝度を検出することと、
   前記輝度が事前設定閾値より低いことを検出したときに、前記複数の一次画像を取り込むよう前記一次カメラを制御すると同時に、前記複数の二次画像を取り込むよう前記二次カメラを制御することと
   を含む、請求項１に記載の方法。
3. 前記深度情報に従って前記ターゲット一次画像の背景領域のためのぼかしプロセスを行うブロックが、
   前記深度情報と焦点領域とに従って前景領域の第１の深度情報と前記背景領域の第２の深度情報とを取得することと、
   前記第１の深度情報と前記第２の深度情報とに従ってぼかし強度を生成することと、
   前記ぼかし強度に従って前記ターゲット一次画像の前記背景領域のための前記ぼかしプロセスを行うことと
   を含む、請求項１〜２のいずれか一項に記載の方法。
4. 前記ぼかし強度に従って前記ターゲット一次画像の前記背景領域のための前記ぼかしプロセスを行うブロックが、
   前記ぼかし強度と、前記ターゲット一次画像の前記背景領域内の各画素の深度情報とに従って各画素のぼかし係数を取得することと、
   各画素の前記ぼかし係数に従って前記ターゲット一次画像の前記背景領域のための前記ぼかしプロセスを行うことと
   を含む、請求項３に記載の方法。
5. 前記ぼかし強度と、前記ターゲット一次画像の前記背景領域内の各画素の深度情報とに従って各画素のぼかし係数を取得するブロックが、
   各画素の前記ぼかし係数を取得するために、前記ぼかし強度を前記ターゲット一次画像の前記背景領域内の各画素の前記深度情報で乗算することによる積を計算すること
   を含む、請求項４に記載の方法。
6. 前記複数の一次画像と前記複数の二次画像とが、同じ撮影命令または同じ撮影操作に従って事前設定期間中に取り込まれる、請求項１〜５のいずれか一項に記載の方法。
7. 前記複数の一次画像と前記複数の二次画像とが同じ頻度の下で取り込まれるので、前記複数の一次画像のうちの任意の１つの画像が対応する二次画像と同時に取り込まれ、前記複数の一次画像の前記任意の１つの画像と前記対応する同時に取り込まれた二次画像とが同じグループ内にある、請求項６に記載の方法。
8. 前記複数の一次画像から基準一次画像を取得し、前記複数の二次画像から同じグループ内の前記基準一次画像と同時に取り込まれた基準二次画像を取得するブロックが、
   前記複数の一次画像と前記複数の二次画像の中から高解像度を有する一部の一次画像と高解像度を有する一部の対応する二次画像とを予め選択することと、
   高解像度を有する前記一部の一次画像の中から前記基準一次画像を選択し、高解像度を有する前記一部の二次画像の中から前記同じグループ内の前記基準一次画像と同時に取り込まれた前記対応する基準二次画像を選択することと
   を含む、請求項１〜７のいずれか一項に記載の方法。
9. 前記マルチフレーム合成ノイズ低減プロセスが、
   前記複数の一次画像の同じ位置に対応する画素点の値を読み取ることと、
   前記画素点の加重平均値を計算することと、
   合成画像の前記同じ位置で対応する画素点の値を生成することと
   を含む、請求項１〜８のいずれか一項に記載の方法。
10. 画像処理装置であって、
    複数の一次画像を取り込むよう一次カメラを制御すると同時に、複数の二次画像を取り込むよう二次カメラを制御するように構成された、撮影モジュール（１００）と、
    前記複数の一次画像から基準一次画像を取得し、前記複数の二次画像から同じグループ内の前記基準一次画像と同時に取り込まれた基準二次画像を取得するように構成された、第１の取得モジュールと（２００）、
    マルチスレッドベースの並列処理機構を開始し、ターゲット一次画像を生成するように前記複数の一次画像のためのマルチフレーム合成ノイズ低減プロセスを行うために第１の
    スレッドを呼び出すと同時に、前記基準一次画像と前記基準二次画像とに従って深度情報を取得するために第２のスレッドを呼び出すように構成された、第２の取得モジュール（３００）と、
    前記深度情報に従って前記ターゲット一次画像の背景領域のためのぼかしプロセスを行うように構成された、処理モジュール（４００）と
    を含む、画像処理装置。
11. 前記撮影モジュール（１００）が、
    撮影環境の輝度を検出するように構成された、検出部（１１０）と、
    前記輝度が事前設定閾値より低いことを検出したときに、前記複数の一次画像を取り込むよう前記一次カメラを制御すると同時に、前記複数の二次画像を取り込むよう前記二次カメラを制御するように構成された、撮影部（１２０）と
    を含む、請求項１０に記載の装置。
12. 前記処理モジュール（４００）が、
    前記深度情報と焦点領域とに従って前景領域の第１の深度情報と前記背景領域の第２の深度情報とを取得するように構成された、取得部（４１０）と、
    前記第１の深度情報と前記第２の深度情報とに従ってぼかし強度を生成するように構成された、生成部（４２０）と、
    前記ぼかし強度に従って前記ターゲット一次画像の前記背景領域のための前記ぼかしプロセスを行うように構成された、処理部（４３０）と
    を含む、請求項１０〜１１のいずれか一項に記載の装置。
13. 前記複数の一次画像と前記複数の二次画像とが、同じ撮影命令または同じ撮影操作に従って事前設定期間中に取り込まれる、請求項１０〜１２のいずれか一項に記載の装置。
14. 前記複数の一次画像と前記複数の二次画像とが同じ頻度の下で取り込まれるので、前記複数の一次画像のうちの任意の１つの画像が対応する二次画像と同時に取り込まれ、前記複数の一次画像の前記任意の１つの画像と前記対応する同時に取り込まれた二次画像とが同じグループ内にある、請求項１３に記載の装置。
15. 不揮発性記憶装置とプロセッサと、を含むコンピュータ機器であって、前記記憶装置が、前記プロセッサによって呼び出され、前記プロセッサで動作することができるコンピュータプログラムを格納し、前記コンピュータプログラムが前記プロセッサによって呼び出され、前記プロセッサで動作すると、請求項１〜９のいずれか一項に記載の方法が実施される、コンピュータ機器。

Images