JP4828779B2 - 高速デジタルパンチルトズームビデオ - Google Patents

Description

【０００１】
［発明の分野］
本発明は、個別の画像を補間及び変換して、継ぎ目のない選択可能な画像、さもなければメカニカルなＰＴＺセットアップにより取得される画像にするデジタル画像処理を使用して、複数のカメラにより達成されるデジタルパン チルト ズーム（ＰＴＺ）効果に関する。
より詳細には、本発明は、高速処理向けのプレーナ変換を採用したシステムに関する。
【０００２】
［発明の背景］
従来技術では、シーンの画像を結合して１つのワイドアングル画像にする複数の手法が提供されている。１つのシステムは、Apple社のQuick Time VRであり、仮想現実の世界にパノラマを作成するために適合される。Apple社のシステムでは、写真フレームが僅かに重なり、カメラがある点の周りで回転した時に撮影される複数の画像に基づいて、パノラマを撮影するためのカメラが利用される。ソフトウェアは、個々の写真を互いに縫い合わせ、３６０°の視界を作る。結果的に得られるパノラマ画像は、円筒状の射影である。
【０００３】
加えて、Judayにより米国特許第5,067,019号に示されるように、入力画像のある入力画素が出力画像の一部に変換されるように、画像を変換することが知られている。この変換は、ズームイン及びズームアウト効果を生成する場合がある。Zimmmermannによる米国特許第5,185,667号では、使用される半球形の視界の選択された部分の遠近補正視界を提供するシステムを記載している。この装置は、魚眼レンズからの画像を入力し、歪みを除去するために数学的に補正される全体的な半球視界の円形画像を作成する。
【０００４】
Kuban等による米国特許第5,313,306号では、ワイドアングルカメラで撮影された画像の遠近及び歪み補正を可能にするシステムが示されている。このシステムは、機械的な移動なしに、パン、チルト及びズームを提供する。Kuban等による米国特許第5,359,363号では、視界の選択された部分が遠近及び歪み補正された視界を有するシステムを示している。米国特許第5,657,073号では、デジタル又はアナログビデオからなる複数のストリームを処理する方法が記載されており、それぞれは、特定又はユニークな視界を取得し、これらの画像をパノラマ式（panoramic）の出力又はパノラマ式球形（panospheric）の出力に変換する。
【０００５】
従来の技術は、ＰＴＺカメラシステムの要素に対応するあるデジタル効果についての動機を供給するものであるが、デジタル処理に基づいた十分なＰＴＺ機能性を提供するための有効なシステムについて必要がなお存在する。画像の歪み補正及びコネクションに要する処理時間は、計算的に重要な要素であり、ビデオ会議システムのような高いフレームレート及び低コストを可能にするように、上記計算的な負荷を軽減する手法についての大きな必要が存在する。
【０００６】
［発明の概要］
ビデオカメラのアレイは、処理される画像を生成し、ＰＴＺカメラと機能的に等価な構成を形成する。オフラインの前校正手順が使用されて、幾何学的な補正による観察されたシーンの２次元のモザイクが作成される。任意の中間的な視界は、画像の集合から生成される。
【０００７】
要するに、固定されたデジタルカメラのアレイが構成に搭載され、視界に重なり、パノラマ又はパノラマ式球形の区分的な到達範囲を提供する。重なりは、校正のために使用される。観察されたシーンの２次元のモザイクは、校正手順に基づきオフラインで導出された式及びルックアップテーブルを使用して、幾何学的且つ光度測定的に補正される。
【０００８】
次いで、画像の結合に補正が適用され、（要求される画素の補間により）仮想カメラの電子的パン、チルト及びズームが実行されて、選択された視界が取得される。画像補正は、レンズの収差補正、及び１つのモザイクへの画像の線形変換、及び重なり領域での強度混合を含む。モザイクを作成するために必要な変換はオフラインで計算され、ＰＴＺ処理は実時間で実行される。これらのステップは、以下により詳細に記述される。
【０００９】
入力フレームは、カメラアレイにより連続的に取得される。物体画像がカメラに非常に近くないことを保証して、ステレオ効果が回避される。個別のフレームは整合され、パノラマ式の環境マップとして共通のプレーナモザイクにワープされる（warped）。次いで、プロセッサへのＰＴＺ制御入力を使用して、モザイクの１部分が選択され、仮想カメラの視界にワープされる。
【００１０】
レンズ収差は、適切な手段により補正される。本発明の好適な実施の形態では、ワイドアングルカメラが使用され、このカメラは、長い焦点距離のレンズシステムよりも多くのレンズ収差を作る。所与の視界についてより少ない数のカメラが使用される場合があるので、かかるカメラが好ましい。後に明らかになるように、画像を整合しようとする前に、それぞれのレンズにより導入される収差を補正することが必要である。
【００１１】
画像におけるある点のレンズ収差は、３つの成分である画像中央のシフト、球面収差（バレル収差とも呼ばれる）、及び中心外れ収差に分解することができる。球面収差は、フレーム整合のために最も憂慮すべき収差である。他の収差は、画像の中心がレンズの中心に近く、レンズ要素が光学軸に直交することを仮定することにより無視することができる。
【００１２】
レンズ収差は、各種画像処理技法により補償される場合がある。１次の幾何学的球面補正により良好な結果を提供することが示され、これは以下に説明される。しかし、本発明の範囲内で多くの技法が採用される場合があることが理解され、以下の説明はこの点に関して限定されることを意図していないことが理解されるべきである。
【００１３】
殆どのワイドアングルカメラにおける球面収差は、画像の点を光学的中心に引き寄せる。この作用は、軸的に対称であり、収差パラメータを介して光学的中心からの距離にのみ依存する。収差成分は、以下のように示される。
【数１】

３次よりも高い項は、収差に対する寄与が実際に無視することができるものとして無視することができ、上記式は以下のように簡略化することができる。
Δｒ＝γ₃・ｒ³
ｘ＝ｘ_d＋γ（ｘ_d−ｘ_c）ｒ²
ｙ＝ｙ_d＋γ（ｙ_d−ｙ_c）ｒ²
ここで、（ｘ_c、ｙ_c）は画像の中心、（ｘ_d、ｙ_d）は観察（歪み）点、並びにｒ²＝（ｘ_d−ｘ_c）²＋（ｙ_d−ｙ_c）²及び（ｘ，ｙ）は非歪み点である。
【００１４】
上記式は、実際に最も重要なレンズの球面収差の３次項のみをモデル化している。簡単さのために、それぞれのビデオフレームが同じレンズ収差パラメータで歪んでいるものとし、ｘ及びｙの両者はレンズ収差により同様に影響を受けるものと仮定する。この処理は、非歪み画像に対する画素強度（及び／又は色相）の補間を含むので、処理時間に対する影響は大きい。
【００１５】
中間的な任意の視界を生成するために、カメラにより取得される画像は整合され、合成視界のパノラマ式のマップ、球形のマップ、パノラマ式球形のマップに合成されなければならない。このマップは、シーンの形状、好ましくは単なる形状への投影である。カメラシステムを完全に取り巻く関心のある領域について、この形状は、立方体又は球体とすることができる。新しい視界を作成するために環境マップの一部を再投影することは、環境マップのタイプに依存する。
【００１６】
立方体のマップについて、再投影は、視界平面における正方形にマップされる６つのテクスチャの可視領域の表示を単に必要とし、線形である。球形のマップについて、非線形のワープが行わなければならない。パノラマ式の視界又はより小さな視界について、円筒状のマップ、半球状のマップ又はプレーナ環境のマップを使用することができる。１８０°よりも小さいパンを有する大きな視界について、処理時間が重要な設計上の問題であるときに、プレーナマップが好ましい。また、Intel社のProcessing Library（ＩＰＬ）のような特別なソフトウェアによる有効なワープを許可するという利点を有する。
【００１７】
プレーナマップは、カメラからの任意の距離に位置される平面へのシーンの仮想投影である。それぞれのレンズ収差の補正画像フレームは、（プレーナプロジェクション変換により）この平面にワープされる。実時間で実行される処理のみが実際にワープするように、変換は、それぞれのフレームについてオフラインで計算することができる。画素の補間は、主要な計算的負荷となる。
【００１８】
変換は、２つのやり方で導出することができる。これは、カメラ指向性に関する所定の幾何情報、及び画像形成特性、すなわち、好ましくは画像それ自身における所定の整合点を使用した画像形成特性である。整合点は、数字的に少なくとも４であり、整合されるそれぞれのフレームのペアにおいて目に見ることができる。この処理は、2000年5月17日に出願された係属中の米国特許出願シリアル番号09/572,991号“APPRATUS AND METHOD FOR INDICATING A TARGET BY IMAGE PROCESSING WITHOUT THREE-DIMENSIONAL MODELING”に記載されており、その全体的な記載は、本明細書で十分に述べられるかのように、参照により組込まれる。
【００１９】
最終的な画像を生成するために、パノラマ式のマップ又はパノラマ球形のマップは、ＰＴＺ制御信号を使用して取得されるフレームにワープされなければならない。このために、ＰＴＺコントローラにより選択されるフレームの適切な部分は、ＰＴＺ制御信号により画定される仮想カメラの視野軸に垂直な平面にワープされる。言い換えれば、このアプローチは、視界の長方形をモザイクにおける対応する長方形に写像する遠近法の変換を回復することである。これは、プレーナモザイクを生成するために使用される、全く同じタイプの変換である。なお、仮想カメラがズームインしたときに、低解像度画像が高解像度画像に写像されるように、標準的な技法を使用した補間によりズームが得られる。好ましくは、ズーム技法は、アンチエリアシングを採用して、補間からのアーチファクトを最小にする。
【００２０】
フレームを整合するために、重なり領域は、強度及び／又は色が画素毎に混合される場合がある。これは、共通のマップへの重なり領域へのワープが、特定のシーン部分に対応する画素を実質的に一致される、という事実により可能となる。したがって、重なり領域からのそれぞれの画素の色相及び強度は、それぞれの画像からシーン情報を借りて、混合又は平均することができる。
【００２１】
平均化は、画素毎である場合があり、代替的に、画素よりも大きなカーネルの平均化が使用され、画像間の不完全な整合を受け入れる。各種技法が可能であるが、平均に寄与する色相及び／又は強度の重みが、対応する画像の中央に対する画素の距離に比例して偏りを持たされる傾斜付きの混合である。結果は、平滑化効果となる。
【００２２】
しかし、平滑化効果を適用する前に、それぞれの視界における差異を明らかにする等して、カメラにおける全体的な差異について補償するための混合の前に、（全体的なフレームについて）色相及びアルファデータの全体的な調節が行われる場合がある。
【００２３】
混合処理は、遷移が重なりの中心線からどの位離れているかにより（すなわち、それぞれの画素のその画像の境界からの距離）、１つのフレーム領域（さらに、領域は画素又は大きなユニットとすることができる）の影響を重み付けする。領域が画像の境界に接近するにつれて、重なりの領域の特性への寄与が低下する。ｋ個のフレームが重なる場合、結果的に得られる領域の特性は、特性Ｐ及び距離ｄに基づいて、以下のように計算される。
【数２】

この方法は、人間の観察者に対して最も顕著である空間的位置の強度差を処理するという利点を有している。また、重なり領域の形状ついて仮定することなしに機能するという点で一般的である。
【００２４】
本発明は、より十分な理解のために、以下の例示的な図面を参照して、好適な実施の形態に関連して記載される。図面を参照して、図示される事項は例示、及び本発明の好適な実施の形態の例示的な説明のみのためであり、最も有効であると思われるものを提供するために与えられ、本発明の原理及び概念的な態様の記載が容易に理解されることを強調しておく。
【００２５】
これに関して、本発明の基本的な理解に必要な内容よりも詳細に、本発明の構造的な詳細は示さない。添付図面を参照した記載は、どの位多くの本発明の構成が実際に実施されるかを当業者に明らかにする。
【００２６】
［発明の実施の形態］
図１を参照して、プロセッサ１１０は、本実施の形態ではスタンドアロン型コンピュータにより表されており、それぞれの視界が重なるように配置される３つのカメラ９１，９２及び９３に接続されている。図は、例示のみであり、いずれかの数のカメラが使用される場合がある。
【００２７】
図２を参照して、３つのカメラ９１，９２及び９３のそれぞれの視界１３０，１３５及び１４０における重なりは、合成視界１５０の到達範囲を提供する。様々な物体は、Ａ，Ｂ，Ｃ及びＤのような視界内に収まる。本発明により、それぞれの物体は、仮想カメラを使用して取得され、ズームイン又はズームアウトされる。したがって、物体Ｃは、カメラ９２及び９３の視界に部分的にのみ見ることができるが、１つのカメラが該物体Ｃを直接向けているかのように完全な形で見ることができる。
【００２８】
ここで、好適な実施の形態による図３を参照して、それぞれのカメラにより形成される画像は、次の通り、新たな仮想カメラ画像（図示せず）を形成するためにフィルタリングに向けられる。はじめに、それぞれの画像のレンズ収差が補正される（ステップ２００）。
【００２９】
つぎに、画像は特徴点について分析され、共通の表面にワープされる（ステップ２２０）。この表面は球面、平面のセット又は他の表面とすることができる。好ましくは、処理を早くすることができるので、画像は１つの平面に写像される。１８０°よりも実質的に小さい全体の到達範囲を提供する実施の形態では、１つの平面が適切である。
【００３０】
たとえば、カメラ９２であるかかるアレイの中心である視界を有する実施の形態では、他のカメラの画像平面は、中心のカメラの画像にワープされる。これにより、画像のうちの１つの点を写像する必要が回避される。ワープに加えて、同じ特徴点が重なりの領域においてそれぞれの画像と一致するように、画像は変換により整合される。
【００３１】
つぎに、重なる画像領域の画素特性は、混合される（ステップ２１０）。色又は強度における突然の変化により特徴付けられる結果的な輪郭が存在しないように、たとえば、画像強度、コントラスト、色相等は変更することができる。最後に、ステップ２３０では、合成画像の領域は、ＰＴＺ制御信号を使用して選択され、選択された領域は、仮想カメラの視界に対応する平面にワープされる。
【００３２】
図４を参照して、２つの重なる領域Ｐ及びＱは、領域３００において重なっている。図４では、領域Ｐ及びＱは、それぞれの画像における特徴が一致するように、共通の表面に既にワープされている。このように、領域は長方形として表されているが、この形状は修飾的なものであり、これらの領域は任意の重なっている画像領域を表し、混合されていないフレームではないことを理解すべきである。
【００３３】
特性（たとえば、赤、緑、青及び／又は強度）の混合は、合成された画像における重なる領域の特性を重み付け平均することにより達成される。平均を達成するために、平均される領域は、シーンの同じ部分を表さなければならない。画像は共通の表面にワープすることにより合成されるので、原理的に、ワープの目標としての部分は完全に一致する。実際に、それぞれの画素の一致するペアがシーンの同じ部分を正確に表さないように、ある誤差が存在する。
【００３４】
この問題に予防措置を講じるために、シーンのそれぞれの重なり領域は、存在する場合がある（及び当業者に明らかなように適用ベースに関して変化する場合がある）誤った整合の程度が、それぞれの領域における適切な差異に僅かに寄与するよりも十分大きい領域に分割される。いずれか又は他の画素特性は、領域内で重み付け平均される場合がある。１つの特性のみが整合される場合、可能性のある最も重要なものは強度である。
【００３５】
ここで、図５も参照して、各種成分の平均の重みは、隣接画像の境界が一旦交差したときに、領域がその一部である画像の境界からの距離に比例している。したがって、画像Ｐの重み３０１は、画像Ｑの境界３１１が交差するまで画像領域内で１．０であり、その後、画像Ｐの境界３１２でゼロになるまで線形に下降する。同じ処理が使用され、画像Ｑの特性について重み３０２が導出される。
【００３６】
なお、本実施の形態での説明は、線形の重み付けを仮定しており、好ましくは、特に差異が重要な場合に知覚に固有な利得を考慮した重み付けである。したがって、理想的には重みは、（輝度の倍増以下として強度の倍増を現す）視覚的な知覚において固有な利得を反映して変更される。小さな差異について、この調節は、必要ではなく、ルックアップテーブルアプローチを使用して計算を早くする場合があるが、高速処理のために無視することができる。図５を参照して、プロファイルは、完全に線形である必要はなく、様々な重み付けプロファイルが使用されてもよい。
【００３７】
図７及び図８を参照して、それぞれのカメラからの２つの画像Ｉ１及びＩ２は合成されることになる。画像Ｉ１は中央のカメラに対応し、処理時間を節約する。共通のプレーナモザイクは、画像Ｉ１の平面に形成される。同じ物体に対応する少なくとも４つの特徴点のセットは、特徴点のセットに基づいたボロノイ図及びデローニー三角分割について、領域カウント又はジョイントに基づいた相関技法を使用して、それぞれの画像において識別される。
【００３８】
好ましくは、特徴点の候補ペアの周りのガウスカーネルの２次元の相関は、高速且つ正確なテストを提供する。図７及び図８では、４つの点は、画像Ｉ１で見られるような物体３１７、及び画像Ｉ２で見られるのと同じ物体３１９により表されている。４つの点は、それぞれの物体画像３１７，３１９の隅として表されている。４つの点は、同じ平面であることが好ましいが、カメラから十分に離れている場合には、同じ平面に厳密に位置する必要はない。これらの点、及び画像３１７と関連する物体は、時間的に装置にセットアップされ、使用前にカメラを整合する。これは、整合プロセスが一旦完了すると、該プロセスはカメラが移動されるまで再び実行されることはないからである。
【００３９】
プレーナプロジェクション変換は、セットアッププロセスの間に１つの時間で、画像の特徴点に基づいて計算される場合がある。言い換えれば、変換を決定する画像をワープする計算は、オフライン（一度のみ）で行われることのみを必要とし、その後、同じ変換が繰返し適用される。変換が一旦整合されると、画像Ｉ２は、図９に示されるプレーナモザイクを形成するためにワープされる。重なり領域では、画像Ｉ２から画像領域Ｉ２’になる変換の適用の結果として、物体画像３１７及び３１９の４つの整合点は、重なり領域３２０における３２１で一致する。
【００４０】
プレーナモザイクが一旦形成されると、ＰＴＺ制御信号は仮想カメラの視野領域３２２を選択するために使用される場合がある。ＰＴＺ信号により定義される方向（方位及び偏角）に対応する角度は、プレーナモザイク画像をワープさせて、図１０に示されるような仮想カメラの視界を生成する新たな平面を計算するために使用される。
【００４１】
上記の例では、プレーナモザイクを採用すること提案しているが、画像をワープすることができる共通の表面であれば、いずれの表面であってもよいことが理解される。また、共通の表面は、連続的な２次微分（平滑化）を有する必要がないが、３６０°の鋭角視界について６面モザイクを表している立方体についてのような区分的平滑化とすることができる。平面への投影は、線形変換を通して達成される場合があり、計算の負荷が設計の要素である場合には、プレーナ共通の表面であることが好ましい。
【００４２】
球面収差は、以下のように表される。
【数３】

上記式は、３次よりも高い項を無視することができるものとして、以下のように簡略化される。
Δｒ＝γ₃・ｒ³
ｘ＝ｘ_d＋ｒ（ｘ_d−ｘ_c）ｒ²
ｙ＝ｙ_d＋ｒ（ｙ_d−ｙ_c）ｒ²
ここで、（ｘ_c、ｙ_c）は画像の中心、（ｘ_d、ｙ_d）は観察（歪み）点、及びｒ²＝（ｘ_d−ｘ_c）²＋（ｙ_d−ｙ_c）²及び（ｘ，ｙ）は非歪み点である。
【００４３】
上記式は、実際に最も重要なレンズの球面収差の３次項のみをモデル化している。簡単のために、それぞれのビデオフレームは、同じレンズ収差パラメータにより歪まされ、ｘ及びｙの両者は、レンズ収差により同様に作用される。この処理は、非歪み画像に対する画素強度の補間を含むので、処理時間に関する影響は大きい。
【００４４】
ｋフレームが重なる場合、結果的に得られる領域の特性は、特性及び距離ｄに基づいて、以下のように計算される場合がある。
【数４】

本方法は、人間の観察者に最も顕著である空間的な位置の差異を処理するという利点を有する。また、重なり領域に関して仮定することなしに機能することが一般的である。
【００４５】
本発明は上述した例示的な実施の形態の詳細に限定されないこと、及び本発明はその精神及び本質的な属性から逸脱することなしに他の特別な構成で実現してもよいことは、当業者には明らかである。したがって、本発明の実施の形態は、例示的、且つ限定するものではない全ての点で考慮されるべきであり、本発明の範囲は、上述した記載よりはむしろ、特許請求の範囲により示される。したがって、特許請求の範囲の意味及び等価な範囲内となる全ての変更は、特許請求の範囲に包含されることが意図されている。
【００４６】
上述した実施の形態では、本発明を説明するために２，３のカメラが説明されているが、カメラの数は、いずれかの数のカメラとすることができる。この場合、第１及び第２のカメラの請求項における説明は、第３、第４、第５及びそれ以上のカメラを排除せず、特許請求の範囲内になる。
【図面の簡単な説明】
【図１】 本発明の実施の形態を実現するために使用することができるコンピュータ及びカメラセットアップを例示する図である。
【図２】 カメラの視界及びその重なりを示す３つのカメラセットアップの上面図である。
【図３】 本発明による個別のカメラの画像からの仮想カメラ画像を生成するための全体的な処理のフロー図である。
【図４】 画像特性の混合技法を説明するための隣接する重なる画像を例示するための図である。
【図５】 好適な代替的な１実施の形態による適切な混合において使用するための重み付けプロファイルを例示する図である。
【図６】 好適な代替的な別の実施の形態による適切な混合において使用するための重み付けプロファイルを例示する図である。
【図７】 画像の１つのモザイクへのワープを説明するための、重なる視界を有するカメラのそれぞれの画像を示す図である。
【図８】 画像の１つのモザイクへのワープを説明するための、重なる視界を有するカメラのそれぞれの画像を示す図である。
【図９】 図７及び図８のモザイク部分を例示する図である。
【図１０】 図９のモザイクから選択された仮想カメラの画像を例示する図である。

Claims (15)

1. それぞれの視界が重なる第１のカメラと第２のカメラの画像を結合することにより、あるシーンからの任意のズームで、任意方向からの画像を生成する方法であって、
   オフラインの前校正手順において、前記第１のカメラ及び前記第２のカメラのそれぞれから導出可能な第１の画像及び第２の画像の重なる部分にある画像サブ領域の対応するペアを、ある平面に関して定義される合成画像の実質的に同一のサブ領域に写像するプレーナプロジェクション変換を計算するステップと、
   前記第１のカメラから前記第１の画像を取得し、前記第２のカメラから前記第２の画像を取得するステップと、
   前記取得するステップで取得された前記第１の画像及び前記第２の画像に対して前記変換をリアルタイムで適用し、前記合成画像を定義する前記平面に前記第一の画像と前記第二の画像とをマッピングすることで、変換された前記第一の画像及び前記第二の画像を合成して合成画像を形成するステップと、
   前記第１の画像及び前記第２の画像における前記画像の強度特性及び色特性の差異による突然の変化を低減するために、前記合成画像の中央までの距離に比例して前記第一の画像と前記第二の画像のそれぞれオーバラップする部分の強度特性及び色特性の少なくとも１つに偏りを持たせることで、前記合成画像のオーバラップする部分の強度特性及び色特性の少なくとも１つを空間的に混合するステップと、
   前記合成画像の一部を選択し、選択された部分を前記任意の方向に対応する角度に関して新たな平面に移動させることで、前記選択された部分から新たな画像を形成するステップと、
   を備える方法。
2. 前記変換は線形である、
   請求項１記載の方法。
3. 前記任意の方向に対応する前記角度は、パン チルト ズーム制御信号により定義される、
   請求項１記載の方法。
4. 前記計算するステップは、前記第１の画像と前記第２の画像における特徴点を識別するステップと、前記カメラの指向性に関する情報が前記変換を計算するために必要とされないように、前記特徴点に応じて前記変換を計算するステップと、
   を含む請求項１記載の方法。
5. 前記混合するステップは、重み付け平均を含んでおり、前記重み付け平均の重みは、前記第１の画像と前記第２の画像を分離している境界線からの距離に応じて計算される、
   請求項１記載の方法。
6. 前記混合するステップは、重み付け平均を含んでおり、前記重み付け平均の重みは、前記第１の画像と前記第２の画像を分離している境界線からの距離に比例する、
   請求項１記載の方法。
7. 前記形成するステップは、前記第１の画像からなる平面及び前記第２の画像からなる平面のいずれとも一致しない新たな平面に、前記合成画像の一部を線形に変換することを含む、
   請求項１記載の方法。
8. 前記形成するステップは、適切な画素値を補間してズーム効果を生成するステップをさらに含む、
   請求項６記載の方法。
9. それぞれの視界が重なる第１のカメラと第２のカメラの画像を結合することにより、あるシーンからの任意のズームで、任意方向からの画像を生成する装置であって、
   メモリを有し、２つのカメラからの画像データを受信するために接続可能なイメージプロセッサを備え、
   前記イメージプロセッサは、オフラインの前校正手順において、前記第１のカメラ及び前記第２のカメラのそれぞれから導出可能な第１の画像及び第２の画像の重なる部分にある画像サブ領域の対応するペアを、ある平面に関して定義される合成画像の実質的に同一のサブ領域にマッピングするプレーナプロジェクション変換を計算するためにプログラムされ、前記メモリに前記変換の定義を記憶し、
   前記イメージプロセッサは、前記第１のカメラ及び前記第２のカメラのそれぞれからの前記第１の画像及び前記第２の画像を受信し、前記第１の画像及び前記第２の画像に対して前記変換をリアルタイムで適用し、前記合成画像を定義する前記平面に前記第一の画像と前記第二の画像とをマッピングすることで、変換された前記第１の画像及び前記第二の画像を合成して合成画像を形成し、
   前記イメージプロセッサは、前記第１の画像及び前記第２の画像における前記画像の強度特性及び色特性の差異による突然の変化を低減するために、前記合成画像の中央までの距離に比例して前記第一の画像と前記第二の画像のそれぞれオーバラップする部分の強度特性及び色特性の少なくとも１つに偏りを持たせることで、前記合成画像のオーバラップする部分の強度特性及び色特性の少なくとも１つを空間的に混合し、
   前記イメージプロセッサは、前記合成画像の一部を選択し、選択された部分を前記任意の方向に対応する角度に関して新たな平面に移動させることで、前記選択された部分から新たな画像を生成する、
   装置。
10. 前記変換は線形である、
    請求項９記載の装置。
11. 前記変換は、前記第１の画像と前記第２の画像における特徴点をはじめに識別し、前記カメラの指向性に関する情報が前記変換を計算するために必要とされないように、前記特徴点に応じて前記変換を計算することにより計算される、
    請求項９記載の装置。
12. 前記イメージプロセッサは、重み付け平均により空間的に混合し、前記重み付け平均の重みは、前記第１の画像と前記第２の画像を分離している境界線からの距離に基づく、
    請求項９記載の装置。
13. 前記イメージプロセッサは、重み付け平均により空間的に混合し、前記重み付け平均の重みは、前記第１の画像と前記第２の画像を分離している境界線からの距離に比例する、
    請求項９記載の装置。
14. 前記イメージプロセッサは、前記第１の画像からなる平面及び前記第２の画像からなる平面のいずれとも一致しない新たな平面に、前記合成画像の一部を変換することにより、前記選択された画像を生成する、
    請求項９記載の装置。
15. 前記選択された画像は、適切な画素値を補間することにより、部分的に生成されてズーム効果を生成する、
    請求項１４記載の装置。

Images