JP7015374B2 - デュアルカメラを使用する画像処理のための方法および移動端末 - Google Patents

Description

関連出願の相互参照
本出願は、その内容全体が参照により本明細書に組み込まれる、２０１７年１１月１日に出願された中国特許出願第２０１７１１０６０１１６．４号の優先権を主張するものである。

本開示は、一般に、移動端末の技術分野に関し、特に、デュアルカメラを使用する画像処理のための方法および移動端末に関する。

移動端末では、通常、そのサイズの限界のために、光学モードで背景のぼかし効果を達成することができない。画像の背景をぼかし処理するために、既存の技術では、２つのカメラがそれぞれ写真を取り込むように適合され得る。２枚の写真のうち一方が画像写真として選択され、画像写真の深度情報が写真の他方に基づいて計算される。次いで、深度情報に従って画像写真の背景に対してぼかしプロセスが行われる。

しかしながら、暗い光環境の場合、画像写真の画像効果が不十分である一方で深度情報も十分に正確ではないため、得られるぼかし処理写真の効果が不十分になる。

本開示では、関連技術における技術的問題の少なくとも１つを解決することが意図されている。この目的で、本開示は、画像の画像効果を向上させ、深度情報の正確さを向上させる画像処理のための方法および移動端末を提案する。

本開示の一態様によれば、画像処理のための方法が提供される。本方法は、ｎ個の第１の画像とｍ個の第２の画像とを取得することであって、第１の画像と第２の画像とがそれぞれ、一次カメラと二次カメラとによって取り込まれ、ｎとｍとがどちらも２より大きい整数である、ことと、一次画像と二次画像とをそれぞれ取得するためにｎ個の第１の画像とｍ個の第２の画像とに対してそれぞれ合成・ノイズ除去プロセスを行うことと、一次画像と二次画像とに基づいて一次画像の深度情報を取得することと、ターゲット画像を取得するために一次画像の深度情報に基づいて一次画像のためのぼかしプロセスを行うことと、を含み得る。

本開示の別の態様によれば、移動端末が提供される。本移動端末は、回路を含み得る。回路は、上記態様における画像処理のための方法を行うように構成され得る。

本開示のさらに別の態様によれば、非一時的コンピュータ可読媒体が提供される。本非一時的コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサに、上記態様における画像処理のための方法を行わせる命令を格納し得る。

本開示の実施形態に記載される技術的解決策をより明確にするために、実施形態の説明に使用される図面について簡単に説明する。明らかに、下記の図面は限定のためではなく例示のためのものにすぎない。当業者であれば、何ら発明的作業を行わずに、これらの図面に基づいて他の図面を取得し得ることを理解されたい。

本開示の一実施形態による画像処理のための方法の流れ図である。 三角測定の原理概略図である。 本開示の一実施形態による画像処理のための別の方法の流れ図である。 カメラモジュールの構造概略図である。 本開示の一実施形態による画像処理のための装置の構造概略図である。 本開示の一実施形態による画像処理のための別の装置の構造概略図である。 本開示の一実施形態による移動端末の構造概略図である。 本開示の一実施形態による画像処理回路の概略図である。

その例が添付の図面に示されている本開示の以下の実施形態について詳細に説明する。図面において、同じかもしくは類似した参照番号は、全体を通して、同じかもしくは類似した要素または同じかもしくは類似した機能を果たす要素を表すために使用されている。添付の図面を参照して以下で説明される実施形態は例示にすぎず、すなわちそれらの実施形態は、本開示を限定するのではなく説明するためのものである。

以下において、本開示の実施形態で提供される画像処理のための方法および移動端末について、図面を参照しながら説明する。

本開示の実施形態における画像処理のための方法は、携帯電話、テーブルＰＣ、パーソナル・デジタル・アシスタント、ウェアラブル機器などのデュアルカメラを備えたハードウェア装置によって実施され得る。ウェアラブル機器は、スマートブレスレット、スマートウォッチ、スマートグラスなどであり得る。

図１は、本開示の一実施形態による画像処理のための方法の流れ図である。図１に示されるように、画像処理のための方法は、以下のブロックを含み得る。

ブロック１０１で、ｎ個の第１の画像とｍ個の第２の画像とが取得され、第１の画像と第２の画像とがそれぞれ一次カメラと二次カメラとによって取り込まれる。ｎとｍとはどちらも２より大きい整数である。

本開示の本実施形態では、第１の画像と第２の画像とに対してそれぞれ合成・ノイズ除去プロセスを行うことにより、画像品質が改善され得る。実際の適用例では、低照度の環境下ではデュアルカメラの画像効果が不十分なので、取り込まれた第１の画像と第２の画像とに多くのノイズがある。高照度の環境下では、十分な照明があるため、デュアルカメラの画像効果は優れている。ｎとｍの値は、異なる環境下でのデュアルカメラの画像性能に基づいて調整され得る。例えば、ｎとｍの値は、低照度の環境下では大きくなるように調整されるので、画像効果が可能な限り改善される。加えて、画像効果が優れていることが保証されている場合にはシステム全体の処理圧力を低減させるために、ｎとｍの値は、高照度の環境下では小さくなるように調整される。

本開示の１つの実施形態では、その下で撮影操作が検出される周囲光の輝度が取得される。例えば、周囲光の輝度は、デュアルカメラを備えたハードウェア装置内の光センサによって取得され得る。別の例として、周囲光の輝度は、デュアルカメラのＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｏｒｇａｎｉｚａｔｉｏｎ（国際標準化機構））感度値に従って取得され得る。取得された周囲光の輝度がある範囲に位置する場合、ｎとｍの対応する値を、例えば、周囲光の輝度とｎとｍの値との関係を定義するルックアップテーブルで見つけることができる。よって、一次カメラと二次カメラとは、それぞれｎ個の第１の画像とｍ個の第２の画像とを取り込むよう制御される。

周囲光の輝度の様々な範囲に対応するｎとｍの値は、多くの試験データから較正され得る。試験時には、各々のｎ個の第１の画像とｍ個の第２の画像に対してそれぞれ合成・ノイズ除去プロセスが行われた後、ｎとｍの異なる値に対する異なる画像効果および異なる処理時間が試験され、ｎとｍの各対は周囲光の輝度の各範囲に対応する。事前設定処理時間が満たされたときに最適な画像効果のためのｎとｍの特定の値が取得され得る。次いで、最適な画像効果のためのｎとｍの値と周囲光の輝度の対応する範囲との関係が確立され得る。

ｎとｍの値は、デュアルカメラを備えたハードウェア装置の画像ハードウェアにも関連し得ることに留意されたい。画像ハードウェアの感度が高いほど、ｎとｍの値は小さくなる。

ブロック１０２で、合成・ノイズ除去プロセスが、一次画像を取得するためにｎ個の第１の画像に対して、二次画像を取得するためにｍ個の第２の画像に対して行われる。

一実施形態では、合成・ノイズ除去プロセスは、一次画像を取得するためにｎ個の第１の画像に対して、二次画像を取得するためにｍ個の第２の画像に対してノイズ除去アルゴリズムを用いて行われる。本明細書に記載されるノイズ除去アルゴリズムは、非局所的手段のノイズ除去アルゴリズムであってもよく、当然ながら、他のノイズ除去アルゴリズムの１つであってもよく、これについては本実施形態では限定されない。

複数のフレームの合成・ノイズ除去プロセスをはっきりと理解するために、複数のフレームの合成・ノイズ除去プロセスについて説明する。

低照度の環境下にある場合、端末機器などの画像機器は、一般に、機器の撮影感度を自動的に向上させるモードを用いるが、このモードは多くのノイズを含む点を有する画像を生じさせることになる。複数のフレームのための合成・ノイズ除去プロセスは、高感度条件で撮影された画像品質を向上させるために、画像のノイズを含む点を低減させるように構成される。その原理は、周知のノイズを含む点は無秩序に配置されているという点にある。詳細には、複数の画像を連続して取り込んだ後、同じ位置にあるノイズを含む点は、赤のノイズを含む点、緑のノイズを含む点、または白のノイズを含む点であり得る。具体的には、同じ位置にはどんなノイズを含む点も存在しない。したがって、複数の画像が登録された後、複数の取り込み画像内の同じ位置に対応する各画素点の値に従ってノイズ（ノイズを含む点）に属する画素点をフィルタリングするために比較およびフィルタリング条件が与えられる。さらに、ノイズを含む点をフィルタリングした後、ノイズを含む点を除去するために、ノイズを含む点に対して色推測および画素置換プロセスを行うアルゴリズムがさらに用いられ得る。上記プロセスの後、低い画像品質損失でノイズ除去効果が達成され得る。

例えば、複数のフレームの合成・ノイズ除去プロセスのための簡単な方法では、複数の画像が取り込まれ、次いで複数の画像の同じ位置に対応する画素点の値が読み取られる。画素点の加重平均値が計算され、次いで合成画像の同じ位置にある対応する画素点の値が生成される。これにより、高解像度を有する画像が実現され得る。

画像の中で最高の解像度を有する１つの画像が存在し、これはベース画像として扱われ得る。可能な一実施態様として、ベース画像の重みを他の画像の重みよりも大きくし得る。言い換えると、ベース画像のノイズは、実質的に他の画像を参照して識別および除去され得る。

ブロック１０３で、一次画像と二次画像とに基づいて一次画像の深度情報が取得される。

一次カメラと二次カメラとの間にはある一定の距離があるので、これらのカメラ間に視差が形成される。よって、異なるカメラによって取り込まれた画像は異なるものになる。一次画像と二次画像とはどちらも、異なるカメラによって取り込まれた画像に対して合成・ノイズ除去プロセスを行うことによって取得される。したがって、一次画像と二次画像との間にもいくつかの差があることになる。三角測定の原理によれば、ある物体の深度情報は、一次画像内のその物体と二次画像内のその物体との差に基づいて取得でき、その物体と一次カメラと二次カメラとが位置する平面との間の距離とも呼ばれる。一次画像の深度情報は、一次画像内の様々な物体の深度情報が取得される際に取得される。

このプロセスを明確に述べるために、三角測定の原理について以下で簡単に説明する。

実際のシナリオにおいて、場面の目で識別される深度情報は立体視に基づくものであり、これは、デュアルカメラが深度情報を識別する原理と同じである。本実施形態では、画像の深度情報を取得するための方法は、主に三角測定の原理に基づいている。三角測定の原理は図２に示されている。

図２では、画像化物体、デュアルカメラの位置Ｏ_Ｒおよび位置Ｏ_Ｔ、ならびにデュアルカメラの焦点面が実際の空間に示されている。焦点面は、デュアルカメラがそれぞれ位置する平面から距離ｆの間隔で配置されており、デュアルカメラは２つの画像を取り込むためにそれぞれ焦点面において結像する。

点Ｐと点Ｐ’とは、２つの異なる取り込み画像における同じ物体の位置である。Ｐ点は、点Ｐが位置する、画像の左端境界から、距離Ｘ_Ｒの間隔で配置されており、Ｐ’点は、点Ｐ’点が位置する、別の画像の左端境界から、距離Ｘ_Ｔの間隔で配置されている。点Ｏ_Ｒと点Ｏ_Ｔとはそれぞれ２つのカメラを表し、２つのカメラは同じ平面上に配置されており、互いから距離Ｂの間隔で配置されている。

三角測定の原理によれば、図２に示される物体は、これらのカメラが位置する平面から、距離Ｚの間隔で配置されており、距離Ｚは式

を満たす。

したがって、式

が導き出され、式中、ｄは、２つの異なる取り込み画像における同じ物体の位置間の差である。Ｂおよびｆは一定値であるので、物体の距離Ｚは、差ｄに従って決定され得る。

ブロック１０４で、ターゲット画像を取得するために一次画像の深度情報に基づいて一次画像のためのぼかしプロセスが行われる。

一実施形態では、一次画像の深度情報を取得した後、深度情報に基づいて一次画像上で背景領域と前景領域とが識別される。例えば、一次画像上のある物体が前景領域に属するかそれとも背景領域に属するかが、一次画像内の物体の深度情報に従って決定される。一般に、ある物体の深度情報は、その物体が一次カメラと二次カメラとが位置する平面に近づくにつれてその物体の深度値が小さくなる場合、その物体は前景領域に属すると判断されることを指示する。そうでない場合、物体は前景領域に属すると判断され得る。

一実施形態では、ターゲット画像を取得するために背景領域に対してぼかしプロセスが行われ得る。よって、ターゲット画像では、前景領域が目立ち、背景領域はぼやけているので、前景領域の焦点領域についての画像効果がより高く、より顕著になる。

一次画像の深度情報に基づき、ぼかしプロセスは以下の方法で一次の背景領域に対して行われ得る。

一次画像の深度情報は、前景領域についての第１の深度情報と背景領域についての第２の深度情報とを含む。一実施形態では、前景領域についての第１の深度情報と背景領域についての第２の深度情報とは、一次画像の深度情報と焦点領域とに従って取得される。第１の深度情報と第２の深度情報とに基づいてぼかしレベルが計算され、次いでそのぼかしレベルでのぼかしプロセスが背景領域に対して行われる。よって、異なるぼかしレベルでの異なるぼかしプロセスが異なる深度情報に従って行われ、ぼやけた画像がより自然になり、階層的な感じを持つようになり得る。

例えば、一次画像の深度情報は、一次画像の撮影主要部分が合焦された後に、目ではっきりと結像できる、焦点領域の前後の空間深度範囲である。焦点領域の前の画像範囲は前景領域についての第１の深度情報であり、焦点領域の後の明瞭な画像範囲は背景領域についての第２の深度情報であることが理解できる。

ぼかしプロセス中に、背景領域に対してぼかしレベルでのぼかしプロセスを行うブロックは、以下に例示される異なるモードによって実現され得る。

第２の深度情報は、背景領域内の画素の深度値を含む。可能な一実施態様として、各画素のぼかし係数が、ぼかしレベルと、ターゲット一次画像の背景領域内の各画素の深度値とに従って取得される。ぼかしレベルは、背景領域内の画素のぼかし係数に関連している。ぼかし係数が大きいほど、ぼかしレベルが高くなる。例えば、ぼかしレベルをターゲット一次画像の背景領域内の各画素の深度値で乗算することによって得られる積が、各画素のぼかし係数を取得するために計算され、次いで、各画素のぼかし係数に従ってターゲット一次画像の背景領域のためのぼかしプロセスを行う。

別の可能な実施態様として、第２の深度情報は、焦点領域の深度情報からより遠く離れており、これは、対応する背景領域が焦点領域からより遠く離れており、焦点領域との関連性がより小さく、よって対応するぼかしレベルがより高いことを意味する。この例示的実施形態では、ぼかしレベルと、第２の深度情報と焦点領域の深度情報との差との間の対応関係が事前格納され得る。対応関係においては、第２の深度情報と焦点領域の深度情報との差はより大きく、対応するぼかしレベルはより大きい。よって、ターゲット一次画像の背景領域の第２の深度情報と焦点領域の深度情報との差が取得され、その差に従って対応するぼかしレベルを取得するために対応関係が探索され、ぼかしレベルに従って対応する深度情報を有する背景領域に対してぼかしプロセスが行われる。

本実施形態では、一次カメラが第１の画像を取り込み、二次カメラが第２の画像取り込んだ後、一次画像と二次画像とをそれぞれを取得するためにｎ個の第１の画像とｍ個の第２の画像とに対してそれぞれ合成・ノイズ除去プロセスが行われる。次いで、一次画像と二次画像とに基づいて一次画像の深度情報が取得され、最後に、必要なターゲット画像を取得するために一次画像の深度情報に基づいて一次画像のためのぼかしプロセスが行われる。ｎ個の第１の画像に対して合成・ノイズ除去プロセスを行うことによって一次画像が取得され、ｍ個の第２の画像に対して合成・ノイズ除去プロセスを行うことによって二次画像が取得されるという方法が用いられるので、一次画像および二次画像のノイズが低減されて、一次画像および二次画像の解像度が高くなる。その後のぼかしプロセスは、高解像度を有する一次画像と二次画像とに対して行われる。一方では、画像の画像効果が向上し、他方では、画像処理効果が良好になるように深度情報の正確さが高められ、これにより、既存の技術におけるぼかしプロセスを行った後の画像効果が不十分であるという技術的問題が解決される。

前の実施形態を明確に説明するために、本開示の一実施形態は、画像処理のための別の方法を提供する。図３Ａは、本開示の一実施形態による画像処理のための別の方法の流れ図である。

画像処理のための方法は、具体的には、携帯電話、テーブルＰＣ、パーソナル・デジタル・アシスタント、ウェアラブル機器などのデュアルカメラを備えたハードウェア装置によって実施され得る。デュアルカメラを備えたハードウェア装置は、カメラモジュールを含む。図３Ｂは、カメラモジュールの構造概略図である。図３Ｂに示されるように、カメラモジュールは、一次カメラと二次カメラとを含む。一次カメラと二次カメラとは、それぞれのレンズと、イメージセンサと、ボイス・コイル・モータなどのモータを有する。デュアルカメラの一次カメラと二次カメラとはどちらもそれぞれコネクタに接続されている。ボイス・コイル・モータを例にとると、ボイス・コイル・モータは、コネクタから提供される電流値によって駆動されて、一次カメラと二次カメラとは、ボイス・コイル・モータによって、それぞれのレンズとそれぞれのイメージセンサとの間の距離を調整するように駆動される。よって、焦点が実現される。

可能な１つの適用シナリオとして、二次カメラは一次カメラよりも低い解像度を有する。合焦時に、二次カメラのみが、撮影操作が検出されたときに一次カメラと二次カメラとについて合焦されるように構成される。二次カメラが合焦されたときに、二次カメラを合焦させるように構成された二次カメラのボイス・コイル・モータの第２の駆動電流が読み取られる。一次カメラが二次カメラと同じ合焦要件を満たす必要がある場合には、第２の駆動電流に従って一次カメラのボイス・コイル・モータの第１の駆動電流が決定される。一次カメラは次いで、第１の駆動電流によって合焦される。二次カメラは低い解像度を有するので、画像処理の速度が速く、その場合、合焦速度が加速され、これにより、既存の技術におけるデュアルカメラの低合焦速度についての技術的問題が解決される。

図３Ｂに示されるように、一次カメラと二次カメラとの間には距離がある。前の実施形態で言及された式

から分かるように、一次カメラと二次カメラとの間の距離が小さすぎる場合、計算可能な物体は密集している。物体の距離を大きくする必要がある場合、一次カメラと二次カメラとの間の距離は大きくなければならない。しかしながら、一次カメラと二次カメラとの間の距離は、多くの場合、機器構造によって制限される。したがって、デュアルカメラを備えたハードウェア装置が製造および設計される場合、一次カメラと二次カメラとの間の距離は可能な限り大きくすべきである。

デュアルカメラの具体的な実施時には、デュアルカメラの中から一次カメラおよび二次カメラとして異なるグループのカメラが選択され得る。このようにして、様々なユーザの要件が適応されることになる。

一実施形態では、二次カメラは通常のカメラとデュアルピクセルカメラの一方であり、一次カメラは通常のカメラとデュアルピクセルカメラの他方である。１つの適用シナリオでは、合焦速度が高いことが必要である。デュアルカメラの一次カメラは通常のカメラであり、デュアルカメラの二次カメラはデュアルピクセルカメラである。デュアルピクセルカメラは、通常のカメラよりも低い解像度を有する。

デュアルピクセルカメラの各画素は２つの単位で構成されることに留意されたい。２つの単位は、位相焦点検出点として使用されるか、または単一画素の画像に結合されてもよく、これにより、場面が電子的に取り込まれる際の合焦性能が大幅に向上する。デュアルピクセル相補形金属酸化膜半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ））およびセンサカメラは、センサとしてＣＭＯＳを使用するデュアルピクセルカメラとして一般に使用され、ＳＬＲカメラで最初に使用される。

別の実施形態では、二次カメラは広角カメラと望遠カメラの一方であり、一次カメラは広角カメラと望遠カメラの他方である。別の適用シナリオでは、画像効果が良好であることが必要である。広角カメラと望遠カメラのグループがデュアルカメラとして選択される。撮影要件により、一次カメラと二次カメラとは相互に切り替えられる。例えば、近景が取り込まれる必要がある場合は、広角レンズが一次カメラとして使用され、望遠レンズが二次カメラとして使用される。遠景が取り込まれる必要がある場合は、望遠レンズが一次カメラとして使用され、広角レンズが二次カメラとして使用される。よって、光学ズーム機能が実現されるだけでなく、画像品質とそれに続くぼかし効果も保証される。

デュアルカメラの選択については、他にも多くの可能な実施態様があり、これについてはここでは限定されない。

図３Ａに示されるように、本開示の実施形態によって提供される画像処理のための別の方法は、デュアルカメラを備えた上記のハードウェア装置によって実施され得る。この方法は、以下のブロックを含み得る。

ブロック３０１で、撮影操作が検出される。

一実施形態では、ユーザが、移動端末上のプレビューインターフェースによって画像を表示させようと決定した場合、ユーザはプレビューインターフェースの上に浮かんでいる撮影ウィジェットをクリックし得る。次いで、移動端末は撮影操作を検出する。

ブロック３０２で、一次カメラと二次カメラのＩＳＯ感度値がそれぞれ読み取られる。

一実施形態では、一次カメラと二次カメラとは、多くの場合、同じＩＳＯ感度値を用いることになる。対応する周囲光の輝度は、ＩＳＯ感度値によって決定され得る。しかしながら、一実施形態では、読み取られた一次カメラと二次カメラのＩＳＯ感度値が同じでない場合、一次カメラと二次カメラとのこれらのＩＳＯ感度値の平均値が、対応する周囲光の輝度であると判断され得る。

ブロック３０３で、読み取られた一次カメラと二次カメラのＩＳＯ感度値に基づいて周囲光の輝度が取得される。

ＩＳＯ感度値は、カメラの感度を指示するように構成される。ＩＳＯ感度値は、多くの場合、５０、１００、２００、４００、１０００などに設定される。カメラは、周囲光の輝度に従ってそのＩＳＯ感度値を調整し得る。よって、本実施形態では、周囲光の輝度はＩＳＯ感度値に従って導出され得る。高照度環境の場合、ＩＳＯ感度値は５０または１００に設定される。低照度環境の場合、ＩＳＯ感度値は４００以上に設定され得る。

可能な一実施態様として、ＩＳＯ感度値の範囲はいくつかの間隔に分割されてもよく、各間隔は周囲光の輝度のレベルに対応する。

例えば、間隔［０，１００）は、周囲光の輝度の高照度レベルに対応し、間隔［１００，４００）は、周囲光の輝度の通常レベルに対応し、４００を超える間隔は、周囲光の輝度の低照度レベルに対応する。

ブロック３０４で、ｎとｍの値が、周囲光の輝度に基づいて決定される。一次カメラはｎ個の第１の画像を取り込み、二次カメラはｍ個の第２の画像を取り込む。

一実施形態では、合成・ノイズ除去プロセスが行われる画像の数、例えばｎやｍは、周囲光の輝度に従って決定される。周囲光の輝度が高いほど、合成・ノイズ除去プロセスが行われる画像の数が多くなる。すなわち、ｎとｍの値は各々、周囲光の輝度と反比例関係にある。

可能な一実施態様として、ｎとｍの値は同じである。ｎとｍの値は、２以上６以下の範囲内である。

例えば、周囲光の輝度が高照度レベルの場合、ｍ＝ｎ＝６であり、周囲光の輝度が通常レベルの場合、ｍ＝ｎ＝４であり、周囲光の輝度が低照度レベルの場合、ｍ＝ｎ＝２である。

周囲光の輝度に関する上記のレベルは単なる例示であり、限定されることは意図されていないことに留意されたい。周囲光の輝度の最適レベルおよびｎとｍの値が有限の試験によって決定されることを当業者は理解するはずである。

ブロック３０５で、一次カメラと二次カメラとが複数の画像をそれぞれ取得するために同時に写真撮影する。

一次カメラと二次カメラとは同時に写真撮影する。すなわち、二次カメラは一次カメラが写真撮影するのと同時に写真撮影する。一次カメラと二次カメラとはどちらも複数の画像を取り込む。

ブロック３０６で、一次カメラの複数の画像の中からｎ個の画像がｎ個の第１の画像として選択され、二次カメラの複数の画像の中からｍ個の画像がｍ個の第２の画像として選択され、ｎ個の第１の画像とｍ個の第２の画像とはそれぞれ連続している。

あるいは、複数の画像の中から連続したｎ個の第１の画像が選択され、それらの画像の解像度に基づいて、複数の画像の中から連続した第２の画像が選択される。

ｎ＝ｍの場合、選択される第１の画像と第２の画像は、同時に写真撮影することによって取得されてもよく、非同時的に写真撮影することによって取得されてもよく、これについてはここでは限定されないことに留意されたい。

ブロック３０７で、一次画像と二次画像とをそれぞれ取得するために、ｎ個の第１の画像とｍ個の第２の画像とに対してそれぞれ合成・ノイズ除去プロセスが行われる。

合成・ノイズ除去プロセスについては前の実施形態で説明されており、ここでは繰り返さない。

ブロック３０８で、一次画像は、一次画像の画像領域を二次画像と同じにするために切り取られる。

一実施形態では、一次カメラの画角が二次カメラの画角よりも大きい場合、一次カメラと二次カメラとは同じ平面に位置するので、一次カメラの視野範囲は二次カメラの視野範囲よりも大きい。したがって、一次カメラの画像内の各物体が二次カメラによって取り込まれない可能性がある。すなわち、その物体が二次カメラによる取り込み画像に存在しない場合もある。この場合、一次カメラの一次画像は、一次画像の画像領域を二次画像と同じにするために切り取られる必要がある。

一次カメラの画角が二次カメラの画角以下である場合、一次カメラと二次カメラとは同じ平面に位置するので、一次カメラの視野範囲は二次カメラの視野範囲以下であることに留意されたい。したがって、死角を考慮することなく、一次カメラの画像内の各物体が二次カメラの画像に位置することが可能である。すなわち、物体は、二次カメラによる取り込み画像同時に存在し得る。この場合、一次カメラの一次画像は切り取られる必要はない。

ブロック３０９で、一次画像と二次画像とに基づいて一次画像の深度情報が取得される。

一実施形態では、一次画像と二次画像とが登録された後、一次画像内の物体と二次画像内の同じ物体間の位置偏差と、デュアルカメラのパラメータとに従って一次画像内の各物体の深度情報が取得される。一次画像の深度情報は、一次画像内のすべての物体の深度情報が取得される際に取得される。

ブロック３１０で、ターゲット画像を取得するために一次画像の深度情報に基づいて一次画像のためのぼかしプロセスが行われる。

一次画像の深度情報を取得した後、深度情報に基づいて一次画像上で背景領域と前景領域とが識別される。例えば、一次画像内の物体の深度情報に従って一次画像上のある物体が前景領域に属するかそれとも背景領域に属するか。一般に、ある物体の深度情報は、その物体が一次カメラと二次カメラとが位置する平面に近づくにつれてその物体の深度値が小さくなる場合、その物体は前景領域に属すると判断されることを指示する。そうでない場合、物体は前景領域に属すると判断され得る。ぼかしプロセスは、ターゲット画像を取得するために背景領域に対して行われ得る。

本実施形態では、一次カメラが第１の画像を取り込み、二次カメラが第２の画像取り込んだ後、一次画像と二次画像とをそれぞれを取得するためにｎ個の第１の画像とｍ個の第２の画像とに対してそれぞれ合成・ノイズ除去プロセスが行われる。次いで、一次画像と二次画像とに基づいて一次画像の深度情報が取得され、最後に、必要なターゲット画像を取得するために一次画像の深度情報に基づいて一次画像のためのぼかしプロセスが行われる。ｎ個の第１の画像に対して合成・ノイズ除去プロセスを行うことによって一次画像が取得され、ｍ個の第２の画像に対して合成・ノイズ除去プロセスを行うことによって二次画像が取得されるという方法が用いられるので、一次画像および二次画像のノイズが低減され、これにより、既存の技術におけるぼかしプロセスを行った後の画像効果が不十分であるという技術的問題が解決される。

上記の実施形態を実施するために、本開示では画像処理のための装置が提供される。

図４は、本開示の一実施形態による画像処理のための装置の構造概略図である。本装置は、移動端末に適用され得る。

図４に示されるように、本装置は、取得モジュール４１と、ノイズ除去モジュール４２と、計算モジュール４３と、処理モジュール４４とを含む。

取得モジュール４１は、ｎ個の第１の画像とｍ個の第２の画像とを取得するように構成され、第１の画像と第２の画像とはそれぞれ一次カメラと二次カメラとによって取り込まれる。ｎとｍとはどちらも２より大きい整数である。

具体的には、取得モジュール４１は、撮影操作が検出されたときに複数の画像をそれぞれ取得するように同時に写真撮影し、一次カメラの複数の画像の中からｎ個の画像をｎ個の第１の画像として選択し、二次カメラの複数の画像の中からｍ個の画像をｍ個の第２の画像として選択するように構成され、ｎ個の第１の画像とｍ個の第２の画像とはそれぞれ連続している。

ノイズ除去モジュール４２は、一次画像と二次画像とをそれぞれ取得するためにｎ個の第１の画像とｍ個の第２の画像とに対してそれぞれ合成・ノイズ除去プロセスを行うように構成される。

計算モジュール４３は、一次画像と二次画像とに基づいて一次画像の深度情報を取得するように構成される。

処理モジュール４４は、必要なターゲット画像を取得するために一次画像の深度情報に基づいて一次画像のためのぼかしプロセスを行うように構成される。

本開示の一実施形態では画像処理のための別の装置が提供される。図４に基づく図５に示されるように、本装置は決定モジュール４５も含む。

決定モジュール４５は、周囲光の輝度を決定し、次いで周囲光の輝度に基づいてｎとｍの値を決定するように構成される。

ｎとｍの値は各々、周囲光の輝度と反比例関係にある。あるいは、ｎとｍの値は同じである。ｎとｍの値は、２以上６以下の範囲内である。

具体的には、決定モジュール４５は、一次カメラと二次カメラのＩＳＯ感度値をそれぞれ読み取り、読み取られた一次カメラと二次カメラのＩＳＯ感度値に基づいて周囲光の輝度を取得するように構成される。

本実施形態では、一次カメラが第１の画像を取り込み、二次カメラが第２の画像取り込んだ後、一次画像と二次画像とをそれぞれを取得するためにｎ個の第１の画像とｍ個の第２の画像とに対してそれぞれ合成・ノイズ除去プロセスが行われる。次いで、一次画像と二次画像とに基づいて一次画像の深度情報が取得され、最後に、必要なターゲット画像を取得するために一次画像の深度情報に基づいて一次画像のためのぼかしプロセスが行われる。ｎ個の第１の画像に対して合成・ノイズ除去プロセスを行うことによって一次画像が取得され、ｍ個の第２の画像に対して合成・ノイズ除去プロセスを行うことによって二次画像が取得されるという方法が用いられるので、画像のノイズが低減され、これにより、既存の技術におけるぼかしプロセスを行った後の画像効果が不十分であるという技術的問題が解決される。

上記の実施形態における方法についての上記の説明は、ここには記載されない、本開示の本例示的実施形態の装置にも当てはまることに留意されたい。

上記の実施形態を達成するために、本開示は、移動端末をさらに提供する。図６は、本開示の一実施形態による移動端末の構造概略図である。図６に示されるように、移動端末１０００は、ハウジング１１００と、ハウジング１１００に配置された一次カメラ１１１２、二次カメラ１１１３、メモリ１１１４およびプロセッサ１１１５とを含む。

メモリ１１１４は、実行可能プログラム命令を格納するように構成される。プロセッサ１１１５は、前の実施形態のデュアルカメラに基づく画像処理のための方法を行うように、メモリ１１１４内の実行可能プログラム命令を読み取って実行可能プログラム命令に対応する手順を実施するように構成される。

一次カメラ１１１２の画角は二次カメラ１１１３の画角以下であり得る。よって、一次カメラ１１１２の画像領域は二次カメラ１１１３の画像領域に含まれる。その場合一次カメラ１１１２の主要部分の深度情報が計算される。

上記の実施形態を実現するために、本開示は、不揮発性コンピュータ可読メモリ媒体をさらに提供し、メモリ媒体に格納された命令が移動端末のプロセッサにおいて動作すると、上記の実施形態の画像処理のための方法が実施される。

上記の移動端末は、ハードウェアまたはソフトウェア構成要素によって達成され、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（画像信号処理））パイプラインを備えた様々な処理装置を含み得る、画像処理回路も含む。図７は、本開示の一実施形態による画像処理回路の概略図である。図７に示されるように、説明の便宜上、本開示の実施形態における画像処理技術に関連した構成要素のみが示されている。

図７に示されるように、画像処理回路は、ＩＳＰプロセッサ９４０と論理コントローラ９５０とを含む。画像機器９１０によって取り込まれた画像データはＩＳＰプロセッサ９４０によってまず処理される。ＩＳＰプロセッサ９４０は、画像機器９１０の１つまたは複数の制御パラメータを決定するように構成される画像統計情報を取り込むために画像データを解析する。画像機器９１０は、一次カメラと二次カメラである、デュアルカメラを含む。各カメラは、１つまたは複数のレンズ９１２とイメージセンサ９１４を含む。イメージセンサ９１４は、カラー・フィルタ・アレイ（ベイヤフィルタなど）を含み得る。イメージセンサ９１４は、イメージセンサ９１４の各画素によって取り込まれた光強度と波長情報とを取得し、ＩＳＰプロセッサ９４０によって処理されるべき元の画像データを提供し得る。センサ９２０は、センサ９２０のインターフェースのタイプに従ってＩＳＰプロセッサ９４０に元の画像データを提供し得る。センサ９２０のインターフェースは、ＳＭＩＡ（Ｓｔａｎｄａｒｄ Ｍｏｂｉｌｅ Ｉｍａｇｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅ）インターフェース、シリアルもしくはパラレルカメラインターフェース、または上記インターフェースの組み合わせであり得る。

ＩＳＰプロセッサ９４０は、様々なフォーマットで画素ごとに元の画像データを処理し得る。例えば、各画素は、８、１０、１２、または１４ビットのビット深度を有し、ＩＳＰプロセッサ９４０は、元の画像データについて１つまたは複数の画像処理操作を行い、画像データの統計情報を収集し得る。画像処理操作は、同じビット深度または異なるビット深度に従って行われ得る。

ＩＳＰプロセッサ９４０は、画像記憶装置９３０から画素データをさらに受け取り得る。例えば、元の画素データが、イメージセンサ９１４のインターフェースを介して画像記憶装置９３０に送られてもよく、次いで、画像記憶装置９３０に格納された元の画素データは、処理されるためにＩＳＰプロセッサ９４０に送られる。画像記憶装置９３０は、記憶装置の一部、または記憶装置もしくは電子デバイス内の独立した専用記憶域であり、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ（ダイレクトメモリアクセス））プロパティを有し得る。

イメージセンサ９２０のインターフェースまたは画像記憶装置９３０から元の画像データを受け取ると、ＩＳＰプロセッサ９４０は、時間領域フィルタリング操作などの１つまたは複数の画像処理操作を行い得る。処理された画像データは、表示される前に他のプロセスを行うために画像記憶装置９３０に送られ得る。ＩＳＰプロセッサ９４０は、画像記憶装置９３０から処理されたデータを受け取り、次いで処理されたデータのプリミティブ領域ならびにＲＧＢおよびＹＣｂＣｒ色空間の画像処理操作を行うので、処理されたデータは、ビューアによって表示され、かつ／またはグラフィックスエンジンもしくはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（グラフィックス処理装置））によってさらに処理されるようにディスプレイ９７０に送られ得る。加えて、ＩＳＰプロセッサ９４０の出力は画像記憶装置９３０にも送られ、ディスプレイ９７０は画像記憶装置９３０から画像データを読み取り得る。一例示的実施形態では、画像記憶装置９３０は、１つまたは複数のフレームバッファを含むように構成され得る。加えて、ＩＳＰプロセッサ９４０の出力は、画像データを符号化／復号するために、エンコーダ／デコーダ９６０にも送られ得る。符号化画像データは格納され、ディスプレイ９７０で表示する前に復号され得る。エンコーダ／デコーダ９６０は、ＣＰＵ、またはＧＰＵ、またはコプロセッサによって実現され得る。

ＩＳＰプロセッサ９４０によって決定された統計データは、論理コントローラ９５０に送られ得る。例えば、統計データは、自動露出、自動ホワイトバランス、自動焦点、フリッカ検出、黒レベル補正、レンズ９１２の影補正などに関連するイメージセンサ９４０の統計情報であり得る。論理コントローラ９５０は、１つまたは複数のスレッドを実行するためのＣＰＵまたはマイクロコントローラを含んでいてもよく、１つまたは複数のスレッドは、受け取った統計データに従って画像機器９１０の制御パラメータを決定し得る。例えば、制御パラメータには、イメージセンサ９１４の制御パラメータ（ざらつき、露出制御の積分時間など）、カメラのフリッカ制御パラメータ、レンズ９１２の制御パラメータ（合焦もしくはズームの焦点距離など）、またはこれらのパラメータの組み合わせが含まれ得る。ＩＳＰ制御パラメータには、自動ホワイトバランスおよび色調整（ＲＧＢ処理の持続時間におけるものなど）の利得、色補正マトリックス、およびレンズ９１２の影補正パラメータが含まれ得る。

本明細書の記述においては、実施形態または例に関連して「１つの実施形態」、「いくつかの実施形態」、「例」、「特定の例」、または「いくつかの例」という言及語が、本開示の１つの実施形態または本明細書の例に含まれる特定の特徴、構造、材料、または特性によって記述されている。これらの言及語の概略図は、必ずしも同じ実施形態または例に対するものではない。さらに、特定の特徴、構造、材料、または特性は、適切な方法で組み合わされた実施形態または例のうちのいずれか１つまたは複数であり得る。加えて、相互に矛盾しない場合には、当業者は、異なる実施形態または例を結合し、または組み合わせることもできる。

加えて、「第１」および「第２」という用語は、記述を目的として使用されているにすぎず、相対的な重要度を指示または示唆するものとも、技術的特徴の数を暗黙的に指示するものとも受け取られるべきではない。よって、定義する特徴「第１」および「第２」は、それらの特徴の少なくとも１つを明示的または暗黙的に含み得る。本開示の記述において、「複数」とは、特に明確かつ具体的に定義されない限り、少なくとも２つ、例えば、２つまたは３つを意味する。

流れ図、異なる方法によって記述された任意のプロセスまたは方法を、特定の論理的な機能またはステップを実施するための実行可能命令コードのユニット、フラグメントまたは部分と理解することができる。本開示の実施形態を、機能を果たすために実質的に同時に、または逆の順序で実施できることを当業者は理解するはずである。

流れ図の各ブロックにおける論理ユニットおよび動作は、論理機能を実施するための実行可能命令のシーケンステーブルとして定義されている。実行可能命令のシーケンステーブルは、命令実行システム、装置、または機器（例えば、命令にアクセスし、命令を実行するコンピュータベースのシステム、プロセッサを有するシステム、もしくは命令実行システム、装置、または機器）のための任意のコンピュータ可読媒体において具体化することができる。本開示では、「コンピュータ可読媒体」は、記憶、通信、伝播、伝送のプログラムまたはそれらの組み合わせを含むことができる。「コンピュータ可読媒体」は、電線による接続部分（電子デバイスなど）、ポータブル・コンピュータ・ディスケット（磁気デバイスなど）、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能書込み可能読取り専用メモリ（ＥＰＲＯＭやフラッシュメモリなど）、光ファイバデバイス、およびポータブル・コンパクト・ディスク読取り専用メモリ（ＣＤＲＯＭなど）のうちの少なくとも１つを含む。加えて、コンピュータ可読媒体は、プログラムが印刷された紙または適切な媒体でさえもあり得る。例えば、紙または適切な媒体は光学的にスキャンされる。紙または適切な媒体上のプログラムは、コンパイル方式およびインタープリタ方式を使用して電子的に取得され、コンピュータ化されたメモリに格納される。

本開示の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実施され得ることを理解されたい。上述した実施形態においては、複数の動作または方法がメモリに格納されてもよく、それらは適切な命令実行システムに実装されたソフトウェアまたはファームウェアによって実行される。各ブロックまたは方法における動作が、例えば、ハードウェアにおいて実施され得る場合、別の実施形態の場合と同様に、関連技術における以下の技法のうちの任意の１つまたはそれらの組み合わせが使用され得る。それらの技法には、データ信号上で論理機能を実施する論理ゲート回路のディスクリート論理回路、適切な組み合わせ論理ゲート回路を有する特定用途向け集積回路、プログラマブル・ゲート・アレイ（ＰＧＡ）、およびフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）が含まれる。

上述した実施形態における動作の前部または一部を、ハードウェアで実行可能なプログラム命令によって実施できることを当業者は理解するはずである。プログラム命令はコンピュータ可読媒体に格納され、プログラム命令は、ブロックにおける動作のうちの少なくとも１つについて行われる。

さらに、機能ユニットの各々は、１つの処理装置において統合され得るか、または別個の物理ユニットであり得る。例えば、２つ以上のユニットが単一のユニットにおいて統合される。統合ユニットは、ハードウェアまたはソフトウェアユニットの形態で実施することができる。１つの実施形態では、統合ユニットが独立した製品として販売または使用されるソフトウェアユニットの形態で実施される場合、統合ユニットをコンピュータ可読記憶媒体に格納することができる。

コンピュータ可読記憶媒体は、読取り専用メモリ、磁気ディスクまたは光ディスクとすることができる。当業者には理解されるように、本開示の前述の好ましい実施形態は、本開示を限定するのではなく例示するためのものである。これらの実施形態は、本開示の趣旨および範囲内に含まれる様々な改変形態および類似した構成を対象とすることが意図されており、そうしたあらゆる改変形態および類似した構造を包含するように、本開示の範囲には最も広い解釈が与えられるべきである。

Claims (12)

1. 画像処理のための方法であって、
   ｎ個の第１の画像とｍ個の第２の画像とを取得することであって、前記第１の画像と前記第２の画像とがそれぞれ、一次カメラと二次カメラとによって取り込まれ、前記ｎと前記ｍとがどちらも２より大きい整数である、ことと、
   一次画像と二次画像とをそれぞれ取得するために前記ｎ個の第１の画像と前記ｍ個の第２の画像とに対してそれぞれ合成・ノイズ除去プロセスを行うことと、
   前記一次画像と前記二次画像とに基づいて前記一次画像の深度情報を取得することと、 ターゲット画像を取得するために前記一次画像の前記深度情報に基づいて前記一次画像のためのぼかしプロセスを行うことと
   を含み、
   周囲光の輝度を取得することと、
   前記周囲光の輝度と、処理時間と、画像効果とに基づいて前記ｎと前記ｍの値を決定することとをさらに含み、前記ｎと前記ｍの前記値が各々、前記周囲光の輝度と反比例関係にあり、
   前記一次カメラが広角カメラであり、前記二次カメラが望遠カメラであり、前記一次カメラの画角が前記二次カメラの画角よりも大きく、
   前記一次画像と前記二次画像とに基づいて前記一次画像の前記深度情報を取得することの前に、前記方法が、
   前記一次画像の画像領域を前記二次画像と同じにするために前記一次画像を切り取ること
   をさらに含む方法。
2. 前記周囲光の輝度を取得する前記ブロックが、
   前記一次カメラと前記二次カメラのＩＳＯ感度値をそれぞれ読み取ることと、
   前記一次カメラの前記ＩＳＯ感度値と前記二次カメラの前記ＩＳＯ感度値とに基づいて前記周囲光の輝度を取得することと
   を含む、請求項１に記載の方法。
3. 前記一次画像のための前記ぼかしプロセスを行う前記ブロックが、
   前記深度情報に基づいて前記一次画像上の背景領域と前景領域とを識別することと、
   前記背景領域に対して前記ぼかしプロセスを行うことと
   を含む、請求項１に記載の方法。
4. 前記深度情報が、前記前景領域についての第１の深度情報と前記背景領域についての第２の深度情報とを含み、
   前記背景領域に対して前記ぼかしプロセスを行う前記ブロックが、
   前記第１の深度情報と前記第２の深度情報とに基づいてぼかしレベルを計算することと、
   前記背景領域に対して前記ぼかしレベルで前記ぼかしプロセスを行うことと
   を含む、請求項３に記載の方法。
5. 前記第２の深度情報が前記背景領域内の画素の深度値を含み、
   前記ぼかしレベルが、前記背景領域内の前記画素のぼかし係数に関連しており、前記ぼかしレベルと各画素の深度値とに基づいて各画素のぼかし係数が計算される、請求項４に記載の方法。
6. 前記背景領域内の各画素の前記ぼかし係数が、前記ぼかしレベルを各画素の前記深度値で乗算することによって得られる積である、請求項５に記載の方法。
7. 前記深度情報が前記背景領域についての第２の深度情報を含み、
   前記ぼかしレベルが、前記第２の深度情報と、前記一次カメラの焦点領域についての深度情報との間の差に関連している、請求項３に記載の方法。
8. 前記二次カメラが前記一次カメラよりも低い解像度を有し、前記二次カメラが、撮影操作が検出されたときに前記一次カメラと前記二次カメラとについて合焦されるように構成される、請求項１から７の少なくとも一項に記載の方法。
9. 前記一次カメラと前記二次カメラとがそれぞれモータを有し、前記一次カメラが、
   前記二次カメラが合焦されたときに前記二次カメラを合焦させるように構成された前記二次カメラの前記モータの第２の駆動電流を読み取ることと、
   前記一次カメラが前記二次カメラと同じ合焦要件を満たす必要がある場合に、前記第２の駆動電流に従って前記一次カメラの前記モータの第１の駆動電流を決定することと、
   前記第１の駆動電流によって前記一次カメラを合焦させることと
   を含む手段によって合焦される、請求項８に記載の方法。
10. 前記ｎ個の第１の画像と前記ｍ個の第２の画像とを取得する前記ブロックが、
    前記ｎ個の第１の画像と前記ｍ個の第２の画像とをそれぞれ取得するために、前記一次カメラと前記二次カメラとが同時に写真撮影することであって、前記ｎ個の第１の画像と前記ｍ個の第２の画像とがそれぞれ連続している、こと
    を含む、請求項１から９の少なくとも一項に記載の方法。
11. 請求項１から１０のいずれか一項に記載の画像処理のための方法を行うように構成された回路を含む、移動端末。
12. プロセッサによって実行されると、前記プロセッサに、請求項１から１０のいずれか一項に記載の画像処理のための方法を行わせる命令を格納した非一時的コンピュータ可読媒体。

Images