JP5209713B2 - クロマキープロダクションの方法及び装置 - Google Patents

Description

本発明は、クロマキーイングに関する。
より詳細には、本発明は、適応型クロマキーの製作に関する。
本出願は、2007年6月29日に提出された“Method and Apparatus for Chroma Key Production”と題された国際特許出願PCT/US2007/015254に対する優先権を主張するものである。

クロマキーは、一般に、後景のシーンに前景のオブジェクトを配置する。クロマキーのパラメータは、前景のシーンのみに基づいて各フィールドについて計算されるので、前景のオブジェクトは、後景のシーンの明暗に対して適応することができない。したがって、周辺光又は人口光の使用が変わる。

実際に、クロマキーのパラメータは、後景のシーンにおける明暗よりも均質化されたスタジオの明暗の条件に基づく。このタイプの明暗のミスマッチにより、自然のクロマキーを生成することができない。

本発明の態様は、従来技術の問題点を克服する適応型のクロマキーを提供する。
この態様及び他の態様は、前景のキーを使用して合成シーンについて関心のある領域（AOI）を決定し、決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成することを含む、クロマキーを生成する方法により達成される。

本発明の別の態様によれば、クロマキーを生成する装置は、前景のキーを使用して合成シーンについて関心のある領域（AOI）を決定し、決定されたAOIにおける画素の物理的な特性を考慮してクロマキーを生成するために構成されるソース選択装置を含む。ソース選択装置は、複数の入力ソース、プロセッサ、プロセッサと通信するスイッチングロジック、並びに、プロセッサ及びスイッチングロジックに接続される適応型のクロマキーサブシステムを含み、前記クロマキーサブシステムは、プロセッサの制御下で動作し、合成シーンについて２以上の入力シーンを選択的に結合する。

本発明の他の態様及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかとなるであろう。しかし、図面は例示のために描かれており、本発明の限定する定義として描かれていないため、特許請求の範囲が参照されるべきである。図面は必ずしもスケーリングするために描かれておらず、特に示されない限り、本実施の形態で記載される構造及び手順を概念的に例示することが意図されている。図面では、同じ参照符号は、図面を通して同じコンポーネントを示す。

緑色のバーチャルスタジオセットにおける前景のシーンのグラフィック描写である。 シーンにおける前景のオブジェクトのグラフィック描写である。 前景のシーンとの使用が意図される後景のシーンのグラフィック描写である。 前景のキーのグラフィック描写である。 前景のシーンと後景のシーンの両者の合成の出力のグラフィック描写である。 合成シーンにおける関心のある領域（AOI）のグラフィック描写である。 より明るい後景と前景のオブジェクトの両者をもつ合成シーンのグラフィック描写である。 より暗い後景と前景のオブジェクトの両者をもつ合成シーンのグラフィック描写である。 図９ａから図９ｃは、後景のシーンにおける異なる色相が、異なるものの、整合する前景のオブジェクトをどのように形成するかを示すグラフィック描写である。 本発明の実現に係る、合成画像の表示のための輝度の決定のフロー図である。 本発明の実現に係る、クロマキーのAOIの決定のフロー図である。 本発明の実現に係る、合成画像の表示のための色度の決定及び適用のフロー図である。 本発明の適応型クロマキーを実現するために構成されるスイッチャ装置のブロック図である。 本発明の実現に係る適応型クロマキーサブシステムのブロック図である。

一般に、クロマキーにより、前景のオブジェクトを後景のシーンに配置することができる。クロマキーのパラメータは前景のシーンのみに基づいて各フィールドについて計算されるので、前景のオブジェクトは、後景のシーンの明暗（たとえば周囲及び人口）の変化に適応することができない。実際に、クロマキーのパラメータは、後景のシーンにおける明暗ではなく、スタジオの明暗の状態について均質化されることがある。

本発明は、後景のシーンからの輝度情報及び色度情報を使用して、クロマキーの適応的な形成を可能にすることで、このクロマキーイング（chroma keying）スキームに対する代替を提供する。

図１〜５は、本発明の概念を理解するための幾つかの後景の情報を示す。図１は、（ピクチャにおける人により表される）前景のシーン１０、及び緑色のバーチャルスタジオセット１２を示す。図２は、バーチャルスタジオセット１２がない前景のオブジェクト１０を示す。図３は、バーチャルスタジオセット上に表示される後景のシーン１４を示す。図４は、後景のシーン上に重ね合わされる前景のシーンの画像を表す前景のキー１６を示す。図５は、後景のシーン１４と前景のシーン１０の組み合わせから得られる合成出力画像の描写である。

はじめに、本発明によれば、前景のシーンと後景のシーンとの間の関心のある領域（AOI）に関する判定が行われる（図１０ａのステップ１０２）。図１０ｂを参照して、これを行うため、前景のキーは後景のシーンに重ね合わされ（ステップ１１０）、前景のキーに入る後景のシーンの全ての画素の識別が行われる（ステップ１１２）。この識別は、AOIを構成する。図６は、このプロセスから得られたAOIのグラフィック描写である。

１つの実現によれば、後景のシーンからの情報は、クロマキーを適応的に形成するため、クロマキーロジックにより使用される。これを行うことにおいて、本方法は、クロマキーを形成するため、決定されたAOIにおける画素の１以上の物理的な特性を考慮することを含む。本実施の形態の例では、これらの物理的な特性は、画素の輝度及び色度を含む。

図１０ａは、AOIの輝度を考慮する方法１００を示し、図１１は、AOIの色度を考慮する方法１５０を示す。

図１０ａを参照して、はじめに、合成シーンのAOIに関する判定（ステップ１０２）が行われる。次いで、AOIにおける画素の平均の輝度が計算され（ステップ１０４）、前景のシーンにおけるサンプルエリアの平均の輝度も計算される（ステップ１０６）。ひとたびこれらの輝度の計算が行われると、前景のシーンにおける輝度は、AOIにおける輝度にリンクされる（ステップ１０８）。言い換えると、各フィールドについて、前景のシーンにおける輝度に対するAOIにおける輝度の差（デルタ）を利用する。後景がビデオクリップのような急激な明暗の変化を有する場合、たとえばビデオクリップは、マンハッタンの明るい道路と暗い道路を見せる。前景のオブジェクト（たとえば新たなリーダ又はリポート）は、後景のシーンに適応し、これに応じてその明暗を変える。図７は、明るい前景のオブジェクトを有する明るい後景の例を示し、図８は、暗い前景のオブジェクトを有する暗い後景の例を示す。

図１１は、色度信号が考慮される方法１５０の例を示す。AOIの決定１０２の後、一定のベクトルがAOIにおける全ての画素に適用されるかが決定される（ステップ１２０）。適用されない場合、前景のシーンは、変化しないままである（ステップ１２４）。AOIにおける全ての画素に適用される一定のベクトルがある場合、僅かなパーセンテージの同じ一定のベクトルは、結果として得られる前景のシーンに適用される。たとえば、後景のシーンが多色の光ビームが回転するディスコクラブである場合、前景のオブジェクトは、後景のシーンにおける色相の変化に適応する（すなわち、赤の光ビームがAOIに含まれる場合、同様に、やや赤い色が前景のオブジェクトに現れる）。したがって、後景のシーンにおける異なる色相は、異なるものの、整合するオブジェクトを前景において形成することができる。この概念は、図９ａ〜図９ｃの例示的な画像において示される。それぞれの図において、色相は異なり、結果的に前景のオブジェクトの色における変化となり、これにより、表示される合成画像全体の全体的な変化となる。図９ｂは、後景の明暗に付加される（図９ｂ全体をカバーする非常に小さなドットのアレイにより表現される）赤色を帯びた色相の影響、及び前景のオブジェクトへの赤色を帯びた色相の全体的な影響（すなわち、後景との赤色を帯びた色相の整合）を示し、図９ｃは、後景のシーンにおける（図９ｃ全体をカバーする非常に小さなダッシュのアレイにより表される）緑色を帯びた色相の影響を示す。

図１２は、本発明に従って動作するためにプログラムされるスイッチャシステム２００のブロック図を示す。スイッチャ２０２は、複数の入力２０８、プロセッサ２０４、及びプロセッサと通信するスイッチングロジック２０６を含む。プロセッサ２０８は、オンボードメモリ２１０を含むか、ハードディスクドライブ、コンパクトディスクドライブ、フラッシュメモリ又は他の固体メモリ装置、或いは他のメモリストレージ手段のような外部記憶媒体にリンクされる場合がある。適応クロマキーサブシステム２０７は、プロセッサ２０４及びスイッチングロジック２０６と通信し、本発明の方法を実行し、後景のシーンを有する前記入力２０８のうちの１つを受け、それを前景のシーンを有する別の入力と選択的に結合し、その出力２１２で所望の合成シーンを供給する。

図１３は、本発明の実現に係る適応型クロマキーサブシステム２０７のブロック図を示す。前景のビデオ２５０及び前景のキー２５２は、補間器２５８により補間される。（第一の色相セレクタ２６２及び第二の色相セレクタ２６６を介した）色相の選択及び（第一の抑圧２６４及び第二の抑圧２６８を介した）抑圧の後、ビデオ２７０は、スイッチャ２０２における次のロジカルサブシステム（たとえば、スイッチングロジック２０６）に通過される。第二の色相セレクタ２６６は、前景の情報を出力し、この前景の情報は、後景の変化が適用される（２８０）前に処理される（チップ＆ゲイン２７８）。後景のビデオ２５４と後景のキー２５６は、補間器２６０により補間され、次いで、ＡＯＩが決定される。上述されたように、ひとたびＡＯＩが決定されると、ＡＯＩにおける輝度の変化２７４及び色度の変化２７６が決定され、前景に与えられる（２８０）。このステージで、オフセット２８２がフォアグランドキー信号に加えられ、前景のキー２１２が出力される。

様々な態様、実現及び特徴は、１以上の様々なやり方で実現される。たとえば、様々な態様、実現及び特徴は、たとえば１以上の方法、装置を使用して、方法、プログラム又は他の命令のセットを実行する装置又は処理装置を使用して、プログラム又は命令のセットを含む装置を使用して、及びコンピュータ読取可能な記録媒体を使用して実現される場合がある。

装置は、たとえば、ディスクリート又は集積されたハードウェア、ファームウェア及びソフトウェアを含む場合がある。例として、装置は、たとえばマイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを一般に含む処理装置を示すプロセッサを含む場合がある。別の例として、装置は、１以上のプロセッサを実行する命令を有する１以上のコンピュータ読取可能な記録媒体を含む場合がある。

コンピュータ読取可能な記録媒体は、たとえば、ハードディスク、コンパクトディスク、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリメモリ（ＲＯＭ）のようなソフトウェアキャリア又は他のストレージデバイスを含む場合がある。また、コンピュータ読取可能な記録媒体は、たとえば命令を符号化又は送信するフォーマットされた電磁波を含む場合がある。命令は、たとえば、ハードウェア、ファームウェア、ソフトウェア、又は電磁波である場合がある。命令は、たとえばオペレーティングシステム、個別のアプリケーション、又はこれらの組み合わせで見られる場合がある。プロセッサは、たとえば、プロセスを実行するために構成される装置及びプロセスを実行する命令を有するコンピュータ読取可能な記録媒体を含む装置の両者として特徴付けられる。

多数の実現が開示された。それにもかかわらず、様々な変更が行われる場合がある。たとえば、異なる実現のエレメントは、他の実現を生成するために結合、補充、変更又は除去される場合がある。したがって、他の実現は、以下の特許請求の範囲の概念に含まれる。

Claims (16)

1. クロマキーを生成する方法であって、
   後景のシーンに前景のキーを重ね合わせ、前記前景のキーに含まれる前記後景のシーンにおける画素を識別することにより、合成シーンについて関心のある領域（ＡＯＩ）を決定するステップと、
   決定された前記ＡＯＩにおいて識別された画素の少なくとも輝度に基づいて、前記前景キーの輝度を前記ＡＯＩの輝度に適用することによりクロマキーを生成するステップと、
   を含むことを特徴とする方法。
2. 前記生成するステップは、
   前記ＡＯＩ中の前記画素の平均の輝度を計算するステップと、
   前記前景のキーにおけるサンプルされた領域の平均の輝度を計算するステップと、
   前記前景のキーにおける輝度を前記ＡＯＩにおける輝度に関連付けるステップと、
   を更に含む請求項１記載の方法。
3. 前記生成するステップは、
   前記ＡＯＩにおける各画素の色度信号に基づいて前記クロマキーを生成するステップをさらに含み、色度の物理的な特性は、色度信号に基づく請求項１記載の方法。
4. 前記生成するステップは、
   色度信号に基づく一定のベクトルが前記ＡＯＩにおける全ての画素に適用されるか否かを判定するステップと、
   色度信号に基づく一定のベクトルが全ての画素に適用されるとき、僅かな割合の前記一定のベクトルを結果として得られる前景のシーンに適用するステップと、
   を更に含む請求項３記載の方法。
5. 前記生成するステップは、
   色度信号に基づく一定のベクトルが前記ＡＯＩにおける全ての画素に適用されるか否かを判定するステップと、
   色度信号に基づく一定のベクトルが全ての画素に適用されないとき、結果として得られる前景のシーンに変化を加えないステップと、
   を更に含む請求項３記載の方法。
6. 前記僅かな割合は５〜１０％の前記一定のベクトルを含む、
   請求項４記載の方法。
7. クロマキーを生成する装置であって、
   後景のシーンに前景のキーを重ね合わせ、前記前景のキーに含まれる前記後景のシーンにおける画素を識別することにより、合成シーンについて関心のある領域（ＡＯＩ）を決定する手段と、
   決定された前記ＡＯＩにおいて識別された画素の少なくとも輝度に基づいて、前記前景キーの輝度を前記ＡＯＩの輝度に適用することによりクロマキーを生成する手段と、
   を有することを特徴とする装置。
8. 前記ＡＯＩに中の前記画素の平均の輝度を計算するための手段と、
   前記前景のキーにおけるサンプルされた領域の平均の輝度を計算するための手段と、
   前記前景のキーにおける輝度を前記ＡＯＩにおける輝度に関連付けるための手段と、
   を更に有する請求項７記載の装置。
9. 前記生成する手段は、
   前記ＡＯＩにおける各画素の色度信号に基づいて前記クロマキーを生成する手段をさらに有し、色度の物理的な特性は前記色度信号に基づく、
   請求項７記載の装置。
10. 前記生成する手段は、
    色度信号に基づく一定のベクトルが前記ＡＯＩにおける全ての画素に適用されるか否かを判定する手段と、
    色度信号に基づく一定のベクトルが全ての画素に適用されると判定されたとき、僅かな割合の前記一定のベクトルを結果として得られる前景のシーンに適用する手段と、
    を含む請求項９記載の装置。
11. 前記生成する手段は、
    色度信号に基づく一定のベクトルが前記ＡＯＩにおける全ての画素に適用されるかを判定する手段と、
    色度信号に基づく一定のベクトルが全ての画素に適用されないとき、結果として得られる前景のシーンに変化を加えない手段と、
    を含む請求項９記載の装置。
12. 前記僅かな割合は５〜１０％の前記一定のベクトルを含む、
    請求項１０記載の装置。
13. クロマキーを生成する装置であって、
    前景のキーを使用して合成シーンについて関心のある領域（ＡＯＩ）を、光景シーン上に重ねられた前景キーと前景キー中の後景シーン内で認識された画素とによって決定し、決定されたＡＯＩにおいて認識された画素の少なくとも輝度と、前景キーにおいてＡＯＩに適用された輝度に基づいてクロマキーを生成するソース選択装置を有する、
    ことを特徴とする装置。
14. 前記ソース選択装置は、
    複数の入力ソースと、
    プロセッサと、
    前記プロセッサと通信するスイッチングロジックと、
    前記プロセッサ及び前記スイッチングロジックに接続される適用型クロマキーサブシステムであって、前記合成シーンについて２以上の入力ソースを選択的に結合するために前記プロセッサの制御下で動作する適用型クロマキーサブシステムと、
    を有する請求項１３記載の装置。
15. 前記ソース選択装置は、さらに、前記ＡＯＩにおける画素の平均の輝度を計算し、前記前景のキーにおけるサンプルされた領域の平均の輝度を計算し、前記前景のキーにおける輝度を前記ＡＯＩにおける輝度に関連付けるリンクデータを供給することで前記クロマキーを生成する、
    請求項１４記載の装置。
16. 前記ソース選択装置は、さらに、色度信号に基づく一定のベクトルが前記ＡＯＩにおける全ての画素に適用されるかを判定し、色度信号に基づく一定のベクトルが前記ＡＯＩにおける全ての画素に適用されるとき、僅かな割合の前記一定のベクトルを前記合成シーンにおける結果として得られる前景のシーンに適用する、
    請求項１４記載の装置。

Images