JP7123215B2 - 統計ベースの電子画像安定化 - Google Patents

Description

本発明は、カメラに関し、より具体的には、カメラによって取り込まれる画像のシーケンスの電子画像安定化に関する。

シーンをモニターするために使用されるモニタリングカメラは、室外（および、時として室内）場所にしばしば設置され、異なる原因による振動を受ける。例えば、突然の一陣の風はカメラを揺動させる、あるいは、近くを通過する列車または大型トラックは同様の効果を有する場合がある。これらの振動は、カメラによって出力されるビデオを、時としてぼやけさせる可能性があり、それにより、ビデオは、実際の目的のためにほぼ役立たない。ビデオ品質の改善は、ぼやけた画像（ｂｌｕｒｒｙ ｉｍａｇｅ）に関する問題を、より明らかにしてきた。ピクセル密度を増加させること、より高い解像度、およびより強力なズーミング能力は、カメラを振動に対してより敏感にさせただけでなく、観察者を、振動に気付き易くかつ気付きがちにさせた。

振動を低減するための１つの技法は、より頑丈なマウントまたはカメラ設置のためのあまり露出しない場所を使用することである。他の２つの技法は、光学画像安定化（ＯＩＳ：Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）および（ＥＩＳ：Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）であり、両者は、その物理的周囲物内ではなく、カメラ自身内に実装される。ＯＩＳシステムは、カメラ内のジャイロスコープまたは加速度計に通常依存して、カメラ振動を検出し測定し、その後、カメラが振動しなかった場合と同じように光が画像センサに当たるようにカメラおよびレンズの揺動を補償するために、レンズまたは光学センサを移動させる。

ＥＩＳは、主に、ビデオカメラのために開発された。ＥＩＳは、画像を補正するためにその後使用される、カメラ運動をモデル化するための異なるアルゴリズムに依存する。可視画像の境界の外側のピクセルは、運動用のバッファーとして使用され、これらのピクセル内の情報は、その後、運動を相殺しかつ安定したビデオのストリームを作成するために十分な量だけ、フレームごとに電子画像をわずかにシフトさせるために使用することができる。カメラによって取り込まれた画像のシーケンスに対してＥＩＳをアクティブ化するために、時としてブラックピクセルとも呼ばれるアウトオブフレーム（ｏｕｔ－ｏｆ－ｆｒａｍｅ）ピクセルが、ＥＩＳを実施するときに導入されないように、各画像は、クロッピングされる必要がある。

例えば、風力または地盤振動によって、ピッチ、ヨー、またはロール方向のうちの１つまたは複数の方向にカメラが移動している場合、そのようなピッチ、ヨー、またはロール移動についての補償が必要とされる場合もある。しかしながら、そのような補償は、上記で述べたように、アウトオブフレームピクセルの導入を回避するために行われるクロッピングと比較して、画像をクロッピングする異なる方法をもたらす場合がある。そのため、画像をどのようにクロッピングするかを決定するときに、ＥＩＳモード、および、考えられるピッチ、ヨー、およびロール移動のバランスを可能にするよりよい技法についての必要性が存在する。これは、クロッピング、すなわち、クロッピングエリアが、画像のシーケンス内の画像の視野の安定範囲であることが所望されるときに、特に重要である。

第１の態様によれば、本発明は、カメラによって取り込まれる画像のシーケンス内でクロッピングエリアを選択するための、コンピュータシステム内の方法に関する。方法は、
・第１の外部運動データを、内部運動データと相関させることであって、第１の外部運動データおよび内部運動データは第１の時間間隔中に取得され、第１の外部運動データはカメラの移動に影響を及ぼす外部因子のデータを含み、内部運動データはカメラの移動を記述するデータを含む、相関させること、
・第１の時間間隔に続く第２の時間間隔中に第２の外部運動データを取得すること、および、
・相関および第２の外部運動データに基づいてクロッピングエリアを選択することによって、第３の時間間隔であって、第２の時間間隔に続くかまたは第２の時間間隔と部分的にオーバーラップする、第３の時間間隔中に取り込まれる画像のシーケンスを安定化させることを含み、クロッピングエリアは、第３の時間間隔中にカメラによって取り込まれる画像のシーケンス内の画像の視野に関してサイズが一定かつ最大化されたままである。

一般的なレベルで、画像安定化は、各カメラの潜在力をよりよく利用することによって、例えば、普通なら、振動がビデオ品質に影響を及ぼした可能性があるときに、ズームショットの画像品質を維持することによって、ビデオ監視システム全体をより多目的かつ費用効果的にする。より具体的には、本発明は、カメラユーザーに、風力、振動等のような外力を、カメラ内のセンサからの内部読み取り値と相関させる方法を提供する。特定のセンサ読み取り値に応答して、どの種類のクロッピングが必要とされるかを知ることと共に、外部振動が内部センサ読み取り値にどのように影響を及ぼすかを知ると、外部因子に応答して、どの種類のクロッピングが必要とされることになるかを或る程度まで予測し、任意のそのような調整を、先手を打って行うことが可能である。

換言すれば、本発明による技法を使用することによって、予め決定することができるかあるいはユーザーまたは目の前の状況によって動的に規定することができる特定の期間中に、クロッピングエリアが、カメラによって取り込まれる画像のシーケンス内の画像の視野に関してサイズが一定かつ最大化されたままであるように、画像クロッピングを動的に調整することが可能である。例えば、強風が予測される場合、余裕が大きくなるように余裕を増加することができ、振動を補償するより多くの余地が存在する。一方、風のない日の間、より小さい余裕を可能にすることが可能であるとすることができる。なぜならば、カメラが、その日全体を通してかなり安定しているままであることになるからである。これらの動的余裕を有する結果として、画像の周りのピクセルの所定の余裕が使用される従来の方法と比較して、種々のタイプの画像処理のために利用可能である画像内のより多くの「使用可能な（ｕｓａｂｌｅ）」ピクセルが存在する。

１つの実施形態によれば、第１および第２の時間間隔は、それぞれ、約１５分以上である。第１および第２の時間は、鮮明なピクチャが外部運動データおよび内部運動データからそれぞれ出現するような、統計的に有意である所定の量のデータを収集するのに役立つ。典型的には、これは、外部運動センサによって取り込まれるデータパターンの粒状性に依存する。時として、数分で十分である場合があり、他の状況下では、統計的に有意なデータセットを取得するために、データ収集を、数時間、数日、数週間、数か月、またはさらの数年にわたって行うことができる。

１つの実施形態によれば、第１の外部運動データを、内部運動データと相関させることは、第１の時間間隔内でセンサ読み出しが起こる各時点について、それぞれの第１の外部運動データを、対応する内部運動データと相関させることを含む。これは、内部センサ読み出しと外部センサ読み出しとの間の、任意の所与の時点における正確な対応を見出し、内部運動データと外部運動データとの間で統計的に有意なデータセットおよび相関を構築することを可能にする。

１つの実施形態によれば、第２の外部運動データを取得することは、第１の外部運動データおよび予測モデルに基づく予測として第２の外部運動データを取得することを含む。すなわち、第２の運動データは、センサのセットから直接取得されなければならないのではなく、第１の運動データおよび予測モデルに基づくとすることができる。例えば、天気予報は３０ｋｎｏｔの風を予測することができ、第１の運動データは、同じ風速および風向でカメラが過去にどのように挙動したかに関する情報を含むことができる。その後、到来する予報期間中に同様な方法でカメラが挙動することを予期し、その情報を、到来する期間についての第２の外部運動データとして使用することは妥当であることになる。こうして、現在センサ読み取り値だけでなく、予測モデルと組み合わせた履歴センサ読み取り値にも依存することが可能である。これはまた、外部運動データを測定するセンサまたはそのようなデータの送信に関する考えられる問題が起こった場合に、システムをより頑健にする。

１つの実施形態によれば、第１および第２の外部運動データは、風力データおよび／または地盤振動データを含み、内部運動データは、ジャイロデータ、加速度計データ、および／または画像処理による運動推定を含む。これらは、カメラの移動に影響を及ぼす一般的なタイプのデータの幾つかの例である。しかしながら、それが網羅的なリストでないこと、および、カメラを移動させることができる他の因子（例えば、雹を伴う嵐（ｈａｉｌ ｓｔｏｒｍ）の間にカメラに当たる大きい雹）も存在することが認識されるべきである。

１つの実施形態によれば、画像処理による運動推定は、デジタル画像安定化アルゴリズムを使用して行われる。すなわち、ピクセルは、例えば、水平方向および垂直方向にそれぞれどの程度ピクセルが移動するかを決定するために解析され、画像を安定化させるために使用されるオフセットが計算される。例えば、差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）アルゴリズム等の、デジタル画像安定化を実施するための幾つかの知られているアルゴリズムが存在する。デジタル画像安定化を使用することは、カメラ内での、ジャイロスコープ等のような内部運動センサの必要性を回避する。

１つの実施形態によれば、第１および第２の外部運動データをそれぞれ取得することは、運動センサおよび／または外部気象サービスから、第１および第２の外部運動データをそれぞれ受信することを含む。すなわち、第１および第２の外部運動データは運動センサに由来するとすることができる。典型的には、そのような運動センサは、カメラの状態をしっかりと反映するように、カメラのすぐそばに設置されることになる。代替的に、データは、カメラの近くにセンサを設置し維持しなければならない必要性をなくす気象サービスに由来し、代わりに、近接するローカル気象局に依存することができる。特定の状況に応じて、いずれの手法も好ましい場合がある、または、時として、第１及び第２の外部運動データを取得するために両方の手法の組み合わせを使用することができる。

１つの実施形態によれば、運動センサは、風力センサ、地盤振動センサ、または第２のカメラを含む。これらは、外部運動を決定するために使用することができる全てのセンサである。風力センサおよび地盤振動センサは、市販される多くの形態で存在し、それらの機能は、当業者によく知られている。第２のカメラは、外部運動データを決定するために使用することができる。例えば、第２のカメラは、通過するトラック上のナンバープレートを読み取るように構成されるカメラであり、その情報に基づいて、車両に関する情報、例えば、そのサイズを、データベースから取得することができる。この情報は、例えば、画像安定化が重要な特徴である交通モニタリングのために、別のカメラに対する入力として使用することができる。

１つの実施形態によれば、第２の外部運動データおよび相関に基づいて、画像安定化が、ピッチ、ヨー、およびロールのうちの１つまたは複数に基づくべきか否かに関する推奨が提供される。異なるタイプの振動は、カメラを異なる方法で移動させる。例えば、カメラを通過する列車またはトラックは、主に垂直方向である振動を引き起こす場合がある。一方、強い一陣の風は、主に水平方向である振動または変位等を引き起こす場合がある。幾つかの状況において、例えば、カメラが、風で揺れるポール上に取り付けられると、ロールについての補償が必要とされる場合もある。したがって、利用可能な異なるタイプの画像安定化を有することが有利である。これらの異なるタイプは、ピッチ、ヨー、およびロール等の異なるタイプのカメラ移動に基づくとすることができる。第２の外部運動データおよび相関に基づいて、所与の状況においてどのタイプの画像安定化が最も適切であることになるかについて推奨を行うことができる。

１つの実施形態によれば、所定の閾値を超える第２の外部運動データの変化を検出することに応答して、相関および変化した第２の外部運動データに基づいて異なるクロッピングエリアが選択される。例えば、特定のクロッピングエリアが選択され、その後、風が、突然、巻き起こるまたは減速すると仮定する。変化が、適度に小さい場合、クロッピングエリアに対して変更は行われない。しかしながら、変化が相当なものである、すなわち、変化が所定の閾値を超える場合、カメラの移動が変化するため、クロッピングエリアを変更することができる。そのような変更を行う能力を有することは、良好な画像品質を維持しながら、クロッピングエリアが、常にサイズが最大化されたままであることを保証する。

１つの実施形態によれば、クロッピングエリアを選択することは、画像のシーケンス内の画像の視野に依存する可変安定化器余裕（ｖａｒｉａｂｌｅ ｓｔａｂｉｌｉｚｅｒ ｍａｒｇｉｎ）をさらに考慮する。すなわち、現在視野と共に変化する安定化器余裕を規定することができる。例えば、幾つかの製品または設置において、広角取り込みモードにおける画像安定化についての必要性の減少、および、テレフォト取り込みモードにおける画像安定化についての必要性の増加が存在する場合がある。そのようなシナリオにおいて、最大余裕は、現在視野に基づいて調整することができる。これの１つの例は、水平視野についての角度が、例えば、９０度～３０度まで変動する場合があるワイドズームレンズカメラである。そのようなシナリオにおいて、小さい振動は、９０度ビューの画像品質にほとんど影響を及ぼさないことになる。しかしながら、３０度ビューまでズームインする場合、顕著な揺動が存在することになり、最大余裕は、それに対処するために、より高く設定される必要がある。安定化器余裕の最小サイズと最大サイズとの間の範囲を、特定のカメラ設置環境に基づいてユーザーが、予め構成するかまたは決定することができる。第２の態様によれば、本発明は、カメラによって取り込まれる画像のシーケンス内でクロッピングエリアを選択するためのシステムに関する。メモリは、プロセッサによって実行されると、プロセッサに方法を実施させる命令を含み、方法は、
・第１の外部運動データを、内部運動データと相関させることであって、第１の外部運動データおよび内部運動データは第１の時間間隔中に取得され、第１の外部運動データはカメラの移動に影響を及ぼす外部因子のデータを含み、内部運動データはカメラの移動を記述するデータを含む、相関させること、
・第１の時間間隔に続く第２の時間間隔中に第２の外部運動データを取得すること、および、
・相関および第２の外部運動データに基づいてクロッピングエリアを選択することによって、第３の時間間隔であって、第２の時間間隔に続くかまたは第２の時間間隔と部分的にオーバーラップする、第３の時間間隔中に取り込まれる画像のシーケンスを安定化させることを含み、クロッピングエリアは、第３の時間間隔中にカメラによって取り込まれる画像のシーケンス内の画像の視野に関してサイズが一定かつ最大化されたままである。

システムの利点は、方法の利点に対応し、また、同様に変動するとする場合がある。

第３の態様によれば、本発明は、カメラによって取り込まれる画像のシーケンス内でクロッピングエリアを選択するためのコンピュータプログラムに関する。コンピュータプログラムは、
・第１の外部運動データを、内部運動データと相関させるステップであって、第１の外部運動データおよび内部運動データは第１の時間間隔中に取得され、第１の外部運動データはカメラの移動に影響を及ぼす外部因子のデータを含み、内部運動データはカメラの移動を記述するデータを含む、相関させるステップ、
・第１の時間間隔に続く第２の時間間隔中に第２の外部運動データを取得するステップ、および、
・相関および第２の外部運動データに基づいてクロッピングエリアを選択することによって、第３の時間間隔であって、第２の時間間隔に続くかまたは第２の時間間隔と部分的にオーバーラップする、第３の時間間隔中に取り込まれる画像のシーケンスを安定化させるステップ
に対応する命令を含み、クロッピングエリアは、第３の時間間隔中にカメラによって取り込まれる画像のシーケンス内の画像の視野に関してサイズが一定かつ最大化されたままである。

コンピュータプログラムは、方法の利点に対応する利点を含み、また、同様に変動する場合がある。

本発明の１つまたは複数の実施形態の詳細は、添付図面および以下の説明において述べられる。本発明の他の特徴および利点は、説明および図面から、また、特許請求の範囲から明らかになる。

１つの実施形態による、クロッピングエリアを選択するためのプロセスを示す図である。 １つの実施形態による、クロッピングエリアを選択するために、外部センサデータおよび内部センサデータがどのように使用されるかの概略ダイアグラム２００である。 １つの実施形態による、本発明を実装することができるシステムを示す概略ブロックダイアグラム３００である。

種々の図面内の同様の参照符号は同様の要素を示す。

上述したように、本発明の種々の実施形態に関する１つの目標は、クロッピングエリアが固定されるかまたは焦点距離に基づいて変更される従来のシステムと比較して、良好なＥＩＳを実施するために、カメラによって取り込まれる、ビデオシーケンス等の画像のシーケンス内でクロッピングエリアを動的に選択するための技法を提供することである。クロッピングエリアを動的に選択することができることは、クロッピングエリアが最大化されることを可能にし、それにより、取り込まれる画像のピクセル密度（および解像度）を最大化する。本発明の種々の実施形態は、ここで、例としておよび図面を参照して詳細に述べられることになり、図１は、１つの実施形態による、クロッピングエリアを選択するためのプロセス１００を示し、図２は、１つの実施形態による、クロッピングエリアを選択するために、外部センサデータおよび内部センサデータがどのように使用されるかの概略ダイアグラム２００を示し、図３は、１つの実施形態による、本発明を実装することができるシステムの概略ブロックダイアグラム３００を示す。

本発明の文脈をよりよく理解するために、例示的なシステム３００の簡潔な説明が最初に提示される。個々のシステムコンポーネントおよびそれらの動作は、その後、図１および図２に関してさらに詳細に述べられる。図３に見ることができるように、システム３００はカメラ３０２を含み、カメラ３０２はビデオを取り込み、また、カメラ３０２について画像安定化を実施することが所望される。カメラ３０２は、カメラの内部運動を測定する、ジャイロスコープおよび／または加速度計等の１つまたは複数の内部運動センサ３０４を含む。システム３００は、カメラ３０２の外部の運動を測定する、風力センサ３０８および地盤振動センサ３１０等の外部運動センサ３０６のセットをさらに含む。典型的には、これらの外部運動センサ３０６は、カメラ３０２のすぐそばに位置する。

システム３００は気象局３１２をさらに含む。カメラ３０２に対する気象局３１２の物理的場所は変動する可能性がある。気象局３１２は、現在状態を測定するために、センサ３１４、例えば、風力センサ３０２を含む。幾つかの実装態様において、気象局３１２はまた、履歴データ３１６を入手できる。

幾つかの実施形態において、予測モデル３１８はシステム３００の一部を形成する。予測モデル３１８は、以下でさらに詳細に説明されることになるが、特定の状況下でカメラ３０２がどのように移動することになるかを「予報する（ｆｏｒｅｃａｓｔ）」ために、履歴データ３１６と関連して本質的に働く。さらに、以下で述べるように、幾つかの状況において、気象に依存しない（例えば、カメラ３０２を備えるプラットフォームを定期的に通過する列車）カメラ移動が存在する場合がある。そのような気象に依存しないデータは、システム３００の一部であるとすることもできる。

最後に、システム３００は、以下で述べるように、データ処理を実施する処理ユニット３２２を含む。全てのこれらのシステムコンポーネントは、有線ネットワーク、無線ネットワーク、またはその組み合わせであるとすることができるネットワーク３２４を通じて互いに通信する。通信は、標準的または独占的通信プロトコルを使用することができる。各種類の１つのシステムコンポーネントのみが、例証を容易にするために図３で示されるが、実生活実装において、幾つかのコンポーネントが存在する場合があることも留意されるべきである。例えば、単一カメラ３０２またはさらにカメラ３０２の群にデータを提供する、幾つかの気象局３１２または外部運動センサ３０６が存在する場合がある。そのため、図３に示すシステムの実施形態３００は、システムコンポーネントの数およびタイプに関して解釈されるべきでない。

図１に見ることができるように、プロセス１００は、第１の外部運動データ２０２および第１の内部運動データ２０４を収集する、ステップ１０２、ことによって開始する。第１の外部運動データ２０２は、図２に示すように、第１の時間間隔Δｔ１_{ｃｏｌｌｅｃｔｉｎｇ}中に１つまたは複数の外部運動センサから収集される。外部運動データ２０２は、全てがカメラの移動に影響を及ぼす場合がある、風向、風速、および地盤振動等の外部因子を示すデータを含む。これが網羅的なリストでないこと、および、カメラの移動に影響を及ぼす可能性がある他の因子、例えば、上述した雹も存在する場合があることが留意されるべきである。外部運動データ２０２を収集するために使用されるセンサおよび関連する方法は、当業者によく知られている種々の市販のセンサから選択することができる。

第１の外部運動データ２０２を収集している間に、内部運動データ２０４も、第１の時間間隔中に収集される。内部運動データ２０４は、多くのカメラ内の一般的なコンポーネントである、カメラジャイロスコープまたは加速度計等のカメラ内の１つまたは複数の内部運動センサから収集される。幾つかの実装態様において、内部運動データ２０４は、ピクセルの移動を解析し、画像処理運動ベクトル推定を決定することによって導出することもでき、その場合、カメラ内に内部運動センサを有する必要性は存在しないことになる。

第１の時間間隔は、本発明の種々の実施形態の方法を使用するときに使用することができる統計データセットを取得するために、数分から、数日、数週間、数か月、またはさらに数年まで、大幅に変動する可能性がある。第１の時間間隔が、図２に示すように、１つまたは複数のさらなる第１の時間間隔を伴う場合があることも留意されるべきである。例えば、カメラ設置を通過する列車から振動データを収集することは、典型的には、非常に短くかつ予測可能な状況であり、一方、突風（ｇｕｓｔｙ ｗｉｎｄ）のある日にデータを収集することは、平均風速値を取得するためにデータ収集のより長い期間を必要とする場合がある。

次に、第１の外部運動データ２０２と第１の内部運動データ２０４との間で、相関２０６が行われる、ステップ１０４。すなわち、特定の時点で採取される第１の外部運動データは、同じ時点で採取される第１の内部運動データと相関される。例えば、第１の時間間隔内の１つの時点で取得される風力センサ読み取り値および／または地盤センサ読み取り値は、第１の時間間隔内の同じ時点で取得されるジャイロ読み取り値と相関される。そのため、同じ時点について、外部運動センサデータと内部運動センサデータとの間にマッピングが存在することになる。

相関が、センサ読み取り値の１対１対応に限定されないことが留意されるべきである。例えば、所与に時点において、ジャイロからの１つの読み出しが存在する場合があるが、その読み出しは、同じ時点で起こる風向と風速の両方に相関することができる。同様に、異なるセンサは異なるサンプリング周波数をサポートすることができる。例えば、カメラ内の内部ジャイロは、数百回／秒でサンプリングすることができ、一方、外部風力センサは、１回／秒のサンプリングを可能にするだけである場合がある。そのため、目の前の特定の状況に応じて、データを相関させることができる多くの異なる方法が存在する。しかしながら、主要なポイントは同じである、すなわち、両者間の相関、外部センサ読み取り値が内部センサ読み取り値にどのようにマッピングするか、を作成することである。

さらに、多くのカメラが、ジャイロスコープまたは加速度計等の内部センサを有するが、これらのコンポーネントを欠く多くのカメラも存在することが留意されるべきである。そのような状況では、内部センサに対する代替法は、画像処理によってカメラの運動を決定することであるとすることができる。これは、典型的には、デジタル画像安定化（ＤＩＳ：Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）と呼ばれる。簡潔に言えば、ＤＩＳ実装態様において、ピクセルは、例えば、水平方向および垂直方向にそれぞれどの程度ピクセルが移動するかを決定するために解析される。画像を安定化するために使用されるオフセットが計算される。例えば、差分絶対値和（ＳＡＤ）アルゴリズム等の、当業者によく知られている、ＤＩＳを実施するための幾つかの知られている方法が存在する。

次に、第２の外部運動データ２０８が取得される、ステップ１０６。典型的には、これは、ステップ１０２に関連して上述した同じ技法を使用して、かつ、第１の時間間隔Δｔ１_{ｃｏｌｌｅｃｔｉｎｇ}に続く第２の時間間隔Δｔ２_{ｃｏｌｌｅｃｔｉｎｇ}中に行われる。しかしながら、第２の外部運動データ２０８が、カメラの特定のサイトでセンサによって収集されるのではなく、代わりに、異なるプロセスを通して取得される実施形態も存在する。例えば、第２の外部運動データ２０８は、外部気象局等の外部局から取得することができる。例えば、気象局から、特定の期間、例えば、第２の時間間隔の間、風力統計量を受信することが可能である場合がある。さらに、例えば、第２の時間間隔Δｔ２_{ｃｏｌｌｅｃｔｉｎｇ}に先行する期間から、履歴外部運動データ２１０（図３の３１６で示す）、例えば、履歴風力統計量を受信することが可能である場合がある。履歴外部運動データ２１０、３１６は、予測モデル３１８と共に使用されて、第２の時間間隔Δｔ２_{ｃｏｌｌｅｃｔｉｎｇ}の外部運動データを予測することができる。さらに、外部運動データを、時刻表、例えば、列車時刻表にマッピングすることができる。これは、例えば、カメラが鉄道プラットフォームに設置され、列車時刻表を、到着する、出発する、または単に通過する列車によって引き起こされる地盤振動にマッピングすることが所望されるときに当てはまる場合がある。そのため、第２の運動データ２０８を取得することができる種々の方法が存在する。

プロセスは、相関および第２の外部運動データに基づいてクロッピングエリアを選択することによって、第３の時間間隔中に取り込まれる一連の画像を安定化させる、ステップ１０８、ことによって終了する。従来のシステムでは、各内部運動データ、例えば、各ジャイロ読み取り値が、取り込まれる画像の特定のクロッピング、例えば、特定のクロッピングエリアにどの程度一致するかがわかっている。そのため、第１の外部運動データ２０２と第１の内部運動データ２０４との間の相関２０６を使用することによって、第２の外部運動データ２０８に直接適用することができる相関モデル２１４を構築することができる。相関モデル２１４を外部運動データ２０８に適用することによって、図２に示すように、第３の時間間隔Δｔ_{ｃｒｏｐｐｉｎｇ}中に取り込まれる画像についての適切なクロッピングエリアに外部運動データ２０８を直接マッピングすることが可能である。第３の時間間隔は、第２の時間間隔から完全に離れているかまたは第２の時間間隔と部分的にオーバーラップしているとすることができる。それぞれ第１および第２の時間間隔と同様に、第３の時間間隔は、数分から数時間、数日、または数週間までに及ぶ可能性がある。

第３の時間間隔中に、クロッピングのために内部運動データが必要とされず、なぜならば、第２の外部運動データ２０８が、統計的に処理され、相関モデル２１４によって、第３の時間間隔中に画像安定化において使用される単一のクロッピングにマッピングされる２１６からであることが留意されるべきである。

第３の時間間隔中に画像安定化を実施するときに同じ単一クロッピングを使用する利点は、クロッピングされる画像のピクセルサイズが、第３の時間間隔中に同じままであることになることである。それにより、第３の時間間隔中に、取り込まれ安定化される全ての画像は、同じ解像度を有することになる。典型的には、クロッピングは、それほど頻繁に変更されない。なぜならば、それが、カメラのズーミングに影響を及ぼし、非常に「反応性の高い（ｒｅａｃｔｉｖｅ）」クロッピングを有することが、多数回の不必要なズームイン／アウトを用いるカメラから、ビデオを見るユーザーにとって著しく「痙攣性の（ｊｅｒｋｙ）」画像ストリームを作成することになるからである。あまりにも頻繁なズーミングは、特定の画像解析アプリケーションの機能に悪い影響を及ぼす場合もある。多くの実施形態において、ズーミングを、２４時間期間について１～２回のみ変更することが好ましいが、もちろん、大幅な変形もここでは可能である。

１つの実施形態において、決定された単一クロッピングエリアは、画像のシーケンスの画像の視野内でできる限り大きく選択される。すなわち、第３の時間間隔についてのクロッピングエリアは、取り込まれる画像の或るパーセンテージに適合（ｆｉｔ）するように最大化される。そのため、第２の外部運動データが、１つまたは複数の外れ値、例えば、非常に大きい移動または振動を示す１つまたは複数のデータを含む場合、これらの外れ値は、クロッピングエリアを決定するときに無視することができる。そのような場合、カメラのこの大きい移動または振動中に取り込まれる画像を、決定されたクロッピングエリアによって安定化することができるが、それは、これらの特定の画像についての最適なクロッピングエリアでない場合がある。しかしながら、クロッピングエリアは、第３の時間間隔中の取り込まれた画像の９５％～９９％を依然として最適に安定化させ、また、従来のＥＩＳ方法と比較して有意の利点を依然として提供することができる。さらに、クロッピングエリアを最大にする利点は、ピクセル密度も最大にされることである。それにより、画像解像度および画像品質も最大にされる。

幾つかの実施形態において、クロッピングエリアを決定することに加えて、収集された外部運動データ２０８および予測モデル３１８が同様に使用されて、カメラが、将来時点でどの程度移動または振動する可能性があるかを決定することができる。この情報は、その後、カメラシステムによって使用されて、ロールがアクティブ化されるべきか否か、または、カメラが、ピッチおよびヨーに基づいて画像安定化を実施するだけであるべきか否かを提案することができる。

さらに、幾つかの実施形態において、カメラシステムは、安定化の範囲、すなわち、クロッピングエリアとして使用される視野の範囲を提案することができる。幾つかの情報に基づいて、カメラシステムは適切なＥＩＳモードを提案することができる。幾つかの実施形態において、ＥＩＳモードを提案するときに、さらなる因子を考慮することもできる。例えば、ＥＩＳモードが、季節に応じて変動する（例えば、暑い夏の日用の１つのＥＩＳモード、対、冷たい雪の日用の別のＥＩＳモード）、時刻に応じて変動する（例えば、交通量が多い昼間用の１つのＥＩＳモード、および、物事が比較的静かである夜間用の異なるＥＩＳモード）可能性がある状況が存在する場合がある。見ることができるように、当業者によってかつ目の前の特定の状況に基づいて実装することができる多くの変形が存在する。

本明細書で開示するシステムおよび方法は、ソフトウェア、ファームウェア、ハードウェア、またはその組み合わせとして実装することができる。ハードウェア実装態様において、上記説明で参照された機能ユニットまたはコンポーネント間のタスクの分割は、必ずしも物理的ユニットへの分割に対応するわけではなく；逆に、１つの物理的コンポーネントが複数の機能を有することができ、１つのタスクを、幾つかの物理的コンポーネントによって協調して実施することができる。

或るコンポーネントまたは全てのコンポーネントは、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装することができる、あるいは、ハードウェアとしてまたは特定用途向け集積回路として実装することができる。そのようなソフトウェアは、コンピュータ記憶媒体（すなわち非一時的媒体）および通信媒体（すなわち一時的媒体）を備えることができる、コンピュータ可読媒体上に配信することができる。当業者によく知られているように、用語、コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータ等の情報を記憶するための任意の方法または技術において実装される揮発性および不揮発性で取り外し可能および取り外し不能の媒体を共に含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または、他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、または、他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または、他の磁気記憶デバイス、または、所望の情報を記憶するために使用することができかつコンピュータがアクセスすることができる任意の他の媒体を含むが、それに限定されない。

図のフローチャートおよびブロックダイアグラムは、本発明の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の考えられる実装態様のアーキテクチャ、機能、および操作を示す。この点に関して、フローチャートおよびブロックダイアグラム内の各ブロックは、指定された論理機能（複数可）を実装するための１つまたは複数の実行可能命令を含む、モジュール、セグメント、または命令の所定の部分を示すことができる。幾つかの代替の実装態様において、ブロックにおいて述べる機能は、図で述べる順序から外れて起こる場合がある。例えば、関係する機能に応じて、連続して示す２つのブロックは、実際には、実質的に同時に実行することができる、または、ブロックを、時として逆順で実行することができる。ブロックダイアグラムおよび／またはフローチャート例証の各ブロックならびにブロックダイアグラムおよび／またはフローチャート例証内のブロックの組み合わせが、指定された機能または動作を実施するかあるいは専用ハードウェアおよびコンピュータ命令の組み合わせを実施する、専用ハードウェアベースシステムによって実装することができることも留意されるであろう。

当業者が、上述した実施形態を多くの方法で修正し、上記実施形態で示す本発明の利点を依然として使用することができることが認識されるであろう。したがって、本発明は、示す実施形態に限定されるべきではなく、添付特許請求の範囲によって規定されるだけであるべきである。さらに、当業者が理解するように、示す実施形態を組み合わすことができる。

Claims (13)

1. カメラ（３０２）によって取り込まれる画像のシーケンス内でクロッピングエリアを選択するための方法であって、
   特定の時点で採取される第１の外部運動データを、同じ時点で採取される第１の内部運動データと相関させることによって、第１の外部運動データ（２０２）を、内部運動データ（２０４）と相関させることであって、前記第１の外部運動データ（２０２）および前記内部運動データ（２０４）は第１の時間間隔中に取得され、前記第１の外部運動データ（２０２）は前記カメラ（３０２）の移動に影響を及ぼす外部因子のデータを含み、前記内部運動データ（２０４）は前記カメラ（３０２）の移動を記述するデータを含む、第１の外部運動データ（２０２）を、内部運動データ（２０４）と相関させること、
   前記第１の時間間隔に続く第２の時間間隔中に第２の外部運動データ（２０８）を取得すること、および、
   前記相関および前記第２の外部運動データ（２０８）に基づいてクロッピングエリアを選択することによって、第３の時間間隔であって、前記第２の時間間隔に続くかまたは前記第２の時間間隔と部分的にオーバーラップする、第３の時間間隔中に取り込まれる画像のシーケンスを安定化させること
   を含み、前記クロッピングエリアは、前記第３の時間間隔中に前記カメラによって取り込まれる画像の前記シーケンス内の前記画像の視野に関してサイズが一定かつ最大化されたままである、方法。
2. 前記第１および第２の時間間隔は、それぞれ１５分以上である、請求項１に記載の方法。
3. 前記第１の外部運動データ（２０２）を、前記内部運動データ（２０４）に前記相関させることは、
   前記第１の時間間隔内でセンサ読み出しが起こる各時点について、それぞれの第１の外部運動データを対応する内部運動データと相関させることを含む、請求項１または２に記載の方法。
4. 前記第２の外部運動データ（２０８）を取得することは、前記第１の外部運動データおよび予測モデル（３１８）に基づく予測として前記第２の外部運動データを取得することを含む、請求項１から３のいずれか一項に記載の方法。
5. 前記第１および第２の外部運動データ（２０２、２０８）は、風力データおよび地盤振動データの一方または両方を含み、
   前記内部運動データ（２０４）は、ジャイロデータ、加速度計データ、および画像処理による運動推定を含む、請求項１から４のいずれか一項に記載の方法。
6. 画像処理による前記運動推定は、デジタル画像安定化アルゴリズムを使用して行われる、請求項５に記載の方法。
7. 前記第１および第２の外部運動データ（２０２、２０８）をそれぞれ前記取得することは、
   運動センサ（３０６）および外部気象サービス（３１２）の一方または両方から、前記第１および第２の外部運動データ（２０２、２０８）をそれぞれ受信することを含む、請求項１から６のいずれか一項に記載の方法。
8. 前記運動センサ（３０６）は、風力センサ（３０８）、地盤振動センサ（３１０）、および第２のカメラのうちの１つを含む、請求項７に記載の方法。
9. 前記第２の外部運動データ（２０８）および前記相関に基づいて、画像安定化が、ピッチ、ヨー、およびロールのうちの１つまたは複数に基づくべきかどうかに関する推奨を提供することをさらに含む、請求項１から８のいずれか一項に記載の方法。
10. 所定の閾値を超える第２の外部運動データ（２０８）の変化を検出することに応答して、前記相関および前記変化した第２の外部運動データ（２０８）に基づいて異なるクロッピングエリアを選択することをさらに含む、請求項１から９のいずれか一項に記載の方法。
11. クロッピングエリアを選択することは、画像の前記シーケンス内の前記画像の視野に依存する可変安定化器余裕を考慮する、請求項１から１０のいずれか一項に記載の方法。
12. カメラ（３０２）によって取り込まれる画像のシーケンス内でクロッピングエリアを選択するためのシステムであって、
    １つまたは複数の内部運動センサ（３０４）を含むカメラ（３０２）と、
    前記カメラ（３０２）の移動に影響を及ぼす外部因子を測定するように構成される１つまたは複数のセンサ（３０６）と、
    メモリおよびプロセッサを含む処理ユニット（３２２）と
    を備え、
    前記メモリは、前記プロセッサによって実行されると、前記プロセッサに方法を実施させる命令を含み、前記方法は、
    特定の時点で採取される第１の外部運動データを、同じ時点で採取される第１の内部運動データと相関させることによって、第１の外部運動データ（２０２）を、内部運動データ（２０４）と相関させることであって、前記第１の外部運動データ（２０２）および前記内部運動データ（２０４）は第１の時間間隔中に取得され、前記第１の外部運動データ（２０２）は前記カメラ（３０２）の移動に影響を及ぼす外部因子のデータを含み、前記内部運動データ（２０４）は前記カメラ（３０２）の移動を記述するデータを含む、第１の外部運動データ（２０２）を、内部運動データ（２０４）と相関させること、
    前記第１の時間間隔に続く第２の時間間隔中に第２の外部運動データ（２０８）を取得すること、および、
    前記相関および前記第２の外部運動データ（２０８）に基づいてクロッピングエリアを選択することによって、第３の時間間隔であって、前記第２の時間間隔に続くかまたは前記第２の時間間隔と部分的にオーバーラップする、第３の時間間隔中に取り込まれる画像のシーケンスを安定化させることを含み、前記クロッピングエリアは、前記第３の時間間隔中に前記カメラ（３０２）によって取り込まれる画像の前記シーケンス内の前記画像の視野に関してサイズが一定かつ最大化されたままである、システム。
13. 処理能力を有する装置上で実行される場合に、請求項１～１１のいずれか一項に記載の方法を実施するための命令を記憶した非一時的なコンピュータ可読記憶媒体。

Images