HK1249686B - 图像处理方法、装置及设备 - Google Patents

Description

图像处理方法、装置及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及设备。

背景技术

随着终端设备制造技术的进步，当前很多终端设备采用了双摄像头，通常双摄像头被广泛应用于获取景深信息，以便于根据景深信息进行相关图像处理来满足用户多元化的拍照需求。

然而，相关技术中，由于景深信息计算耗时久而导致根据景深信息进行相关图像处理的耗时较长，图像处理效率较低。

申请内容

本申请提供一种图像处理方法、装置及设备，提高了景深信息计算的准确率和图像处理效率。

本申请实施例提供一种图像处理方法，包括：控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像；从多组主图像中获取参考主图像，并从所述多组副图像中获取与所述参考主图像同组拍摄的参考副图像；通过第一线程对所述多组主图像进行合成降噪处理生成目标主图像，同时，通过第二线程根据所述参考主图像和所述参考副图像获取景深信息；根据所述景深信息对所述目标主图像的背景区域进行虚化处理。

本申请另一实施例提供一种图像处理装置，包括：拍摄模块，用于控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像；第一获取模块，用于从多组主图像中获取参考主图像，并从所述多组副图像中获取与所述参考主图像同组拍摄的参考副图像；第二获取模块，用于通过第一线程对所述多组主图像进行合成降噪处理生成目标主图像，同时，通过第二线程根据所述参考主图像和所述参考副图像获取景深信息；处理模块，用于根据所述景深信息对所述目标主图像的背景区域进行虚化处理。

本申请又一实施例提供一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行本申请上述实施例所述的图像处理方法。

本申请还一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本申请上述实施例所述的图像处理方法。

本申请实施例提供的技术方案可以包括以下有益效果：

控制主摄像头和副摄像头同时拍摄多组主图像，同时控制副摄像头拍摄多组副图像，从多组主图像中选择参考主图像，并从多组副图像中选择与参考主图像同组拍摄的参考副图像，通过第一线程对多组主图像进行合成降噪处理生成目标主图像，同时通过第二线程对参考主图像和参考副图像计算景深信息，进而，根据景深信息对目标主图像的背景区域进行虚化处理。由此，提高了景深信息计算的准确率和图像处理效率。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请一个实施例的图像处理方法的流程图；

图2是根据本申请一个实施例的三角测距的原理示意图；

图3是根据本申请一个实施例的双摄像头景深信息获取示意图；

图4是根据本申请一个实施例的图像处理方法的场景实施示意图；

图5是根据本申请一个具体实施例的图像处理方法的流程图；

图6是根据本申请一个实施例的图像处理装置的结构示意图；

图7是根据本申请另一个实施例的图像处理装置的结构示意图；

图8是根据本申请另一个实施例的图像处理装置的结构示意图；以及

图9是根据本申请一个实施例的图像处理电路的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施的图像处理方法、装置及设备。

其中，本申请实施例的图像处理方法的执行主体可以是手机、平板电脑、个人数字助理、穿戴式设备等具有双摄像头的硬件设备，该穿戴式设备可以是智能手环、智能手表、智能眼镜等。

图1是根据本申请一个实施例的图像处理方法的流程图，如图1所示，该方法包括：

步骤101，控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像。

本申请实施例中，通过主摄像头拍摄的主图像和副摄像头拍摄的副图像计算得到主图像和副图像中针对同一对象的景深信息，并通过主图像作为最终成像的实际图像的基础图像，而为了避免主图像和副图像计算景深信息时，由于主图像和副图像的差异较大等原因导致景深信息计算不精确，或者，主图像不清晰导致进行最终成像的成像效果不好，控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像，以便于在多组主图像和多组副图像中进行最优选择，提高景深信息计算的准确度和最终成像效果。

当然，相关技术中，双摄像头在暗光环境下成像效果较差，在强光下，由于光线充足，因而，成像效果通常较好，强光环境下的主图像和副图像通常图像清晰度较高，仅仅控制主摄像头和副摄像头同时拍摄一张主图像和副图像，通常即可保证景深信息计算的精确度和最终的成像效果较好，因而，为了减轻系统处理压力，可以仅仅针对暗光环境进行多组主图像和多组副图像的拍摄。

具体而言，在本申请的一个实施例中，检测拍摄环境的亮度，比如通过终端设备中的光传感器检测拍摄环境的亮度，如果检测获知亮度小于预设阈值，则表明当前环境亮度可能影响终端设备的成像效果，从而，控制主摄像头和副摄像头同时拍摄多组主图像和多组副图像。

其中，预设阈值可以是根据大量实验的数据标定的用来判断环境亮度是否影响成像效果的基准亮度值，该预设阈值还可以与终端设备的成像硬件相关，成像硬件的感光性越好，该预设阈值越低。

步骤102，从多组主图像中选择参考主图像，并从多组副图像中选择与参考主图像同组拍摄的参考副图像。

步骤103，通过第一线程对多组主图像进行合成降噪处理生成目标主图像，同时，通过第二线程根据参考主图像和参考副图像获取景深信息。

正如以上分析的，双摄像头系统通过主图像和副图像计算景深信息，为了更加清楚的描述双摄像头如何获取景深信息，下面参考附图说明双摄像头获取景深信息的原理：

在实际应用中，人眼分辩景深信息主要是依靠双目视觉分辨景深信息，这与双摄像头分辨景深信息的原理一样，主要是依靠如图2所示的三角测距的原理实现的，基于图2中，在实际空间中，画出了成像对象，以及两个摄像头所在位置O_R和O_T，以及两个摄像头的焦平面，焦平面距离两个摄像头所在平面的距离为f，在焦平面位置两各摄像头进行成像，从而得到两张拍摄图像。

其中，P和P’分别是同一对象在不同拍摄图像中的位置。其中，P点距离所在拍摄图像的左侧边界的距离为X_R，P’点距离所在拍摄图像的左侧边界的距离为X_T。O_R和O_T分别为两个摄像头，这两个摄像头在同一平面，距离为B。

基于三角测距原理，图2中的对象与两个摄像头所在平面之间的距离Z，具有如下关系：

基于此，可以推得其中，d为同一对象在不同拍摄图像中的位置之间的距离差。由于B、f为定值，因此，根据d可以确定出对象的距离Z。

当然，除了三角测距法，也可以采用其他的方式来计算主图像的景深信息，比如，主摄像头和副摄像头针对同一个场景拍照时，场景中的物体距离摄像头的距离与主摄像头和副摄像头成像的位移差、姿势差等成比例关系，因此，在本申请的一个实施例中，可以根据这种比例关系获取上述距离Z。

举例而言，如图3所示，通过主摄像头获取的主图像以及副摄像头获取的副图像，计算出不同点差异的图，这里用视差图表示，这个图上表示的是两张图上相同点的位移差异，但是由于三角定位中的位移差异和Z成正比，因此很多时候视差图就直接被用作景深信息图。

基于以上分析可知，双摄像头获取景深信息时，需要获取同一对象在不同拍摄图像中的位置，因此，如果获取景深信息的双摄像头的两张图像较为接近，则会提高景深信息获取的效率和准确率。

可以理解，在本申请的实施例中，由于主摄像头和副摄像头同时拍摄多组主图像和多组副图像，因此，在同一时间点拍摄的属于同组的主图像和副图像的图像信息较为接近，且根据合成降噪处理前的源主图像和副图像进行景深信息的计算，可以保证获取的景深信息较为准确。

当然，在弱光等环境亮度不好的环境进行拍照时，正如上述提到的，获取的多组主图像和副图像噪点较高，因而，在这种场景下，为了进一步提高景深计算的准确度，也可以针对多组副图像进行多帧降噪后，根据降噪后的副图像和主图像计算景深信息。

具体而言，从多组主图像中选择参考主图像，并从多组副图像中选择与参考主图像同组拍摄的参考副图像，需要强调的是，在实际应用中，在实际拍摄过程中，主图像和副图像按照同样的频率拍摄多组图像，其中，在同一时刻拍摄的主图像和副图像属于同组图像，比如，按照时间先后顺序，主摄像头拍摄的多组主图像包括主图像11、主图像12…，副摄像头拍摄的多组主图像包括副图像21、副图像22…，则主图像11和副图像21为同组图像，主图像12和副图像22为同组图像…为了进一步提高景深信息获取的效率和准确度，还可以从多组主图像中选择清晰度较高的参考主图像等，当然，当获取的图像组中的图像帧数较多时，为了提高选择效率，还可以根据图像清晰度等初步选择几帧主图像和对应的几帧副图像，从清晰度较高的几帧主图像和对应的几帧副图像中选择参考主图像和对应的副图像。

进一步地，由于景深信息计算耗时较长，因而，通过第一线程对多组主图像进行合成降噪处理生成目标主图像，同时通过第二线程对参考主图像和参考副图像计算景深信息，由此，一方面，在计算景深信息的同时，对多组主图像进行合成降噪处理，获取到目标主图像，以便于在获取景深信息后，可以直接根据景深信息和目标主图像进行虚化处理，相比先获取景深信息，再对主图像进行降噪处理的处理方式，图像处理效率得到了提高，另一方面，根据多组主图像进行降噪合成使得目标主图像细节清晰，图像质量较高，虚化处理后的图像效果较好。

其中，为了便于清楚理解多帧合成降噪过程，下面以光线条件较差的场景中对主图像的多帧合成降噪进行说明。

当环境光线不足时，终端设备等成像设备一般采用自动提高感光度的方式拍摄。但这种提高感光度的方式，导致了图像中噪声较多。多帧合成降噪就是为了减少图像中的噪声点，改善高感光情况下所拍摄的图像画质。其原理在于，噪点是无序排列的这一先验知识，具体来说，连拍多组拍摄图像后，同一个位置出现的噪点可能是红噪点，也可能是绿噪点、白噪点，甚至是没有噪点，这样就有了比对筛选的条件，可以依据多组拍摄图像中对应同一位置的各像素点的取值(该像素点的取值包括像素所包含的像素的多少，包含的像素越多，像素点的取值越高，对应的图像也就越清晰)，将属于噪声的像素点(即噪点)筛选出来。进一步地，在筛选出噪点之后，还可以根据进一步法的算法对噪点进行猜色和像素替换处理，达到去除噪点的效果。经过这样的过程，就能够达到画质损失度极低的降噪效果了。

例如，作为一种比较简便的多帧合成降噪方法，可以在获取多组拍摄图像之后，读取多组拍摄图像中对应同一位置的各像素点的取值，通过对这些像素点计算加权平均值，生成合成图像中该位置的像素点的取值。通过这种方式，可以得到清晰的图像。

步骤104，根据景深信息对目标主图像的背景区域进行虚化处理。

具体地，根据景深信息对目标主图像的背景区域进行虚化处理的方式包括但不限于以下方式：

作为一种可能的实现方式：

根据景深信息和对焦区域获取前景区域的第一景深信息和背景区域的第二景深信息，根据第一景深信息和第二景深信息生成虚化强度，根据虚化强度对目标主图像的背景区域进行虚化处理，从而，根据不同的景深信息进行不同程度的虚化，使得虚化的图像效果更加自然且富有层次感。

其中，在对拍摄的主体聚焦后，在主体所在的焦点区域之前和之后一段人眼容许的清晰成像的空间深度范围为景深信息。可以理解，在对焦区域之前成像的范围为前景区域的第一景深信息，在对焦区域之后清晰成像的范围为背景区域的第二景深信息。

需要说明的是，根据具体应用场景的不同，确定出前景区域的第一景深信息和背景区域的第二景深信息的方式不同，举例说明如下：

方式一：

可获取拍摄的相关参数，以根据拍摄摄像头的公式确定出前景区域的第一景深信息和背景区域的第二景深信息。

在本示例中，可获取拍摄的主摄像头的容许弥散圆直径、光圈值、焦距、对焦距离等参数，从而根据公式：第一景深信息＝(光圈值*容许弥散圆直径*对焦距离的平方)/(焦距的平方+光圈值*容许弥散圆直径*对焦距离)计算出第一景深，根据第一景深信息分离出前景，并根据公式第二景深信息＝(光圈值*容许弥散圆直径*对焦距离的平方)/(焦距的平方-光圈值*容许弥散圆直径*对焦距离)计算出第二景深信息。

方式二：

根据双摄像头分别获取的当前拍摄画面数据确定焦点区域之外的图像区域的景深地图,根据景深地图确定焦点区域之前的前景区域和焦点区域之后的第二景深。

具体而言，在本示例中，由于两个摄像头的位置并不相同，因而，两个后置摄像头相对与拍摄的目标物体具有一定的角度差和距离差，因此二者获取的预览图像数据也存在一定的相位差。

举例而言，对于拍摄目标物体上的A点，在主摄像头的预览图像数据中，A点对应的像素点坐标为(30，50)，而副摄像头的预览图像数据中，A点对应的像素点坐标为(30，48)，A点在两个预览图像数据中对应的像素点的相位差为50-48＝2。

在本示例中，可预先根据实验数据或者摄像头参数建立景深信息与相位差的关系，进而，可根据预览图像中各图像点在两个摄像头获取的预览图像数据中的相位差查找对应的景深信息，由此，可以轻易获取到第一景深信息和第二景深信息。

其中，可以通过不同的实现方式来根据虚化强度对目标主图像的背景区域进行虚化处理：

示例一：

根据虚化强度和目标主图像的背景区域中每个像素的景深信息获取每个像素的虚化系数，其中，虚化系数与虚化强度有关，虚化系数越大，虚化强度越高，比如，可通过计算虚化强度和目标主图像的背景区域中每个像素的景深信息的乘积，获取每个像素的虚化系数，进而，根据每个像素的虚化系数对目标主图像的背景区域进行虚化处理。

示例二：

由于第二景深信息与焦点区域的景深信息的差值越大，表示对应的背景区域与焦点区域距离越远，越不相关，从而对应的虚化强度越大，在该示例中，可以预先存储第二景深信息与焦点区域的景深信息的差值与虚化强度的对应关系，在该对应关系中，第二景深信息与焦点区域的景深信息的差值越大，对应的虚化强度越大，从而，获取目标主图像的背景区域的第二景深信息与焦点区域景深信息的差值，根据该差值查询上述对应关系获取对应的虚化强度，根据该虚化强度对对应景深信息的背景区域进行虚化。

为了更加清楚的说明本申请实施例的图像处理的效果，下面结合具体的应用场景进行举例：

第一种场景：

如图4所示，在获取到拍照指令后，控制主摄像头和副摄像头同时拍摄，获取4帧主图像和4帧副图像，其中，按照拍摄顺序4帧主图像的编号分别为11、12、13和14，4帧副图像的编号分别为21、22、23和24。

其中，从多组主图像中选择参考主图像为12，并从多组副图像中选择与参考主图像同组拍摄的副图像22，进而，通过第一线程对多组主图像进行合成降噪生成目标主图像，同时通过第二线程根据参考主图像12和参考副图像22计算景深信息。从而，如果对主图像进行降噪处理的耗时为400ms，景深信息耗时为800ms，现有技术中，需要依次执行景深信息计算与主图像去噪，需要1200ms的处理时间，而本申请提供的图像处理方式仅仅需要800ms的处理时间，大大提高了图像处理效率。另外，本申请中主摄像头拍摄的主图像为多组主图像，通过对多组主图像进行合成降噪处理，避免了在较暗环境下，仅仅根据一张质量不高的主图像进行图像处理时，处理效果较差的技术问题，提高了图像处理效果。

第二种场景：

该场景下，通过当前环境亮度确定是否采用多帧降噪方案，暗光环境下采用多帧降噪方案，强光环境则不用。具体而言，如图5所示，检测拍摄环境的亮度，当亮度小于预设阈值时，则表明当前环境较暗，系统控制主摄像头和副摄像头同时拍摄多组主图像和多组副图像，进而，从主图像中挑选挑选一帧作为参考主图像，并挑选出与参考主图像同组的参考副图像(如主图像选取第2帧作为参考主图像，则副图像也选择第2帧)。

进而，通过第一线程对多组主图像进行合成降噪处理生成目标主图像，同时在第二线程中，通过参考主图像及与该参考主图像同组的参考副图像进行景深信息计算，这样合成降噪处理与景深信息计算可同步进行，且使用多组处理前的图片计算景深信息，可以保证景深信息计算的准确性，进而，根据获取的景深信息和目标主图像对目标主图像进行背景虚化处理后的图像处理效果较好。

综上所述，本申请实施例的图像处理方法，控制主摄像头和副摄像头同时拍摄多组主图像，同时控制副摄像头拍摄多组副图像，从多组主图像中选择参考主图像，并从多组副图像中选择与参考主图像同组拍摄的参考副图像，通过第一线程对多组主图像进行合成降噪处理生成目标主图像，同时通过第二线程对参考主图像和参考副图像计算景深信息，进而，根据景深信息对目标主图像的背景区域进行虚化处理。由此，提高了景深信息计算的准确率和图像处理效率。

为了实现上述实施例，本申请还提出了一种图像处理装置，图6是根据本申请一个实施例的图像处理装置的结构示意图，如图6所示，该图像处理装置包括：拍摄模块100、第一获取模块200、第二获取模块300和处理模块400。

其中，拍摄模块100，用于控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像。

在本申请的一个实施例中，如图7所示，在如图6所示的基础上，拍摄模块100包括检测单元110和拍摄单元120。

其中，检测单元110，用于检测拍摄环境的亮度。

拍摄单元120，用于在检测获知亮度小于预设阈值时，控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像。

第一获取模块200，用于从多组主图像中获取参考主图像，并从多组副图像中获取与参考主图像同组拍摄的参考副图像。

第二获取模块300，用于通过第一线程对多组主图像进行合成降噪处理生成目标主图像，同时，通过第二线程根据参考主图像和参考副图像获取景深信息。

处理模块400，用于根据景深信息对目标主图像的背景区域进行虚化处理。

在本申请的一个实施例中，如图8所示，在如图6所示的基础上，处理模块400包括获取单元410、生成单元420和处理单元430。

其中，获取单元410，用于根据景深信息和对焦区域获取前景区域的第一景深信息和背景区域的第二景深信息。

生成单元420，用于根据第一景深信息和第二景深信息生成虚化强度。

处理单元430，用于根据虚化强度对目标主图像的背景区域进行虚化处理。

需要说明的是，前述对方法实施例的描述，也适用于本申请实施例的装置，其实现原理类似，在此不再赘述。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

综上所述，本申请实施例的图像处理装置，控制主摄像头和副摄像头同时拍摄多组主图像，同时控制副摄像头拍摄多组副图像，从多组主图像中选择参考主图像，并从多组副图像中选择与参考主图像同组拍摄的参考副图像，通过第一线程对多组主图像进行合成降噪处理生成目标主图像，同时通过第二线程对参考主图像和参考副图像计算景深信息，进而，根据景深信息对目标主图像的背景区域进行虚化处理。由此，提高了景深信息计算的准确率和图像处理效率。

为了实现上述实施例，本申请还提出了一种计算机设备，上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(ImageSignal Processing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图9所示，图像处理电路包括ISP处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由ISP处理器1040处理，ISP处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个透镜1012和图像传感器1014的照相机。图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1040处理的一组原始图像数据。传感器1020可基于传感器1020接口类型把原始图像数据提供给ISP处理器1040。传感器1020接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

ISP处理器1040按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1040还可从图像存储器1030接收像素数据。例如，从传感器1020接口将原始像素数据发送给图像存储器1030，图像存储器1030中的原始像素数据再提供给ISP处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自传感器1020接口或来自图像存储器1030的原始图像数据时，ISP处理器1040可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1030，以便在被显示之前进行另外的处理。ISP处理器1040从图像存储器1030接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit，图形处理器)进一步处理。此外，ISP处理器1040的输出还可发送给图像存储器1030，且显示器1070可从图像存储器1030读取图像数据。在一个实施例中，图像存储器1030可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1040的输出可发送给编码器/解码器1060，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1070设备上之前解压缩。编码器/解码器1060可由CPU或GPU或协处理器实现。

ISP处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1010的控制参数以及的控制参数。例如，控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1012阴影校正参数。

以下为运用图9中图像处理技术实现图像处理方法的步骤：

控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像；

从多组主图像中获取参考主图像，并从所述多组副图像中获取与所述参考主图像同组拍摄的参考副图像；

通过第一线程对所述多组主图像进行合成降噪处理生成目标主图像，同时，

通过第二线程根据所述参考主图像和所述参考副图像获取景深信息；

根据所述景深信息对所述目标主图像的背景区域进行虚化处理。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，使得能够执行如上述实施例图像处理方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种图像处理方法，其特征在于，包括：

控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像；

从多组主图像中获取参考主图像，并从所述多组副图像中获取与所述参考主图像同组拍摄的参考副图像；

通过第一线程对所述多组主图像进行合成降噪处理生成目标主图像，同时，通过第二线程根据所述参考主图像和所述参考副图像获取景深信息；

根据所述景深信息对所述目标主图像的背景区域进行虚化处理,其中，所述根据所述景深信息对所述目标主图像的背景区域进行虚化处理，包括：

获取拍摄的主摄像头的容许弥散圆直径、光圈值、焦距、对焦距离参数，对所述光圈值、所述容许弥散圆直径和所述对焦距离的平方乘积计算获取第一乘积值，对所述光圈值、所述容许弥散圆直径和所述对焦距离乘积计算获取第二乘积值；

对所述焦距的平方和所述第二乘积值相加获取求和值，对所述焦距的平方和所述第二乘积值相减获取差值，对所述第一乘积值和所述求和值相除获取第一景深信息，对所述第一乘积值和所述差值相除获取第二景深信息；

根据所述第一景深信息和所述第二景深信息生成虚化强度，并根据所述虚化强度对所述目标主图像的背景区域进行虚化处理。

2.如权利要求1所述的方法，其特征在于，所述控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像包括：

检测拍摄环境的亮度；

若检测获知所述亮度小于预设阈值，则控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像。

3.如权利要求1所述的方法，其特征在于，所述根据所述虚化强度对所述目标主图像的背景区域进行虚化处理，包括：

根据所述虚化强度和所述目标主图像的背景区域中每个像素的景深信息获取每个像素的虚化系数；

根据每个像素的虚化系数对所述目标主图像的背景区域进行虚化处理。

4.如权利要求3所述的方法，其特征在于，所述根据所述虚化强度和所述目标主图像的背景区域中每个像素的景深信息获取每个像素的虚化系数，包括：

计算所述虚化强度和所述目标主图像的背景区域中每个像素的景深信息的乘积，获取每个像素的虚化系数。

5.一种图像处理装置，其特征在于，包括：

拍摄模块，用于控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像；

第一获取模块，用于从多组主图像中获取参考主图像，并从所述多组副图像中获取与所述参考主图像同组拍摄的参考副图像；

第二获取模块，用于通过第一线程对所述多组主图像进行合成降噪处理生成目标主图像，同时，通过第二线程根据所述参考主图像和所述参考副图像获取景深信息；

处理模块，所述处理模块，包括：

获取单元，用于获取拍摄的主摄像头的容许弥散圆直径、光圈值、焦距、对焦距离参数，对所述光圈值、所述容许弥散圆直径和所述对焦距离的平方乘积计算获取第一乘积值，对所述光圈值、所述容许弥散圆直径和所述对焦距离乘积计算获取第二乘积值，对所述焦距的平方和所述第二乘积值相加获取求和值，对所述焦距的平方和所述第二乘积值相减获取差值，对所述第一乘积值和所述求和值相除获取第一景深信息，对所述第一乘积值和所述差值相除获取第二景深信息；

生成单元，用于根据所述第一景深信息和所述第二景深信息生成虚化强度；

处理单元，用于根据所述虚化强度对所述目标主图像的背景区域进行虚化处理。

6.如权利要求5所述的装置，其特征在于，所述拍摄模块包括：

检测单元，用于检测拍摄环境的亮度；

拍摄单元，用于在检测获知所述亮度小于预设阈值时，控制主摄像头拍摄多组主图像，同时控制副摄像头拍摄多组副图像。

7.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-4中任一所述的图像处理方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的图像处理方法。