JP7632405B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

Description

本技術は情報処理装置、情報処理方法、プログラムに関し、例えば仮想映像を用いた映像制作の際などに用いることのできる技術に関する。

映画等の映像コンテンツの制作のための撮影手法として、いわゆるグリーンバックにより演者が演技を行い、後に背景映像を合成する技術が知られている。
また近年はグリーンバック撮影に代わって、大型の表示装置を設置したスタジオにおいて、表示装置に背景映像を表示させ、その前で演者が演技を行うことで、演者と背景を撮影できる撮影システムも開発され、いわゆるバーチャルプロダクション（Virtual Production）、インカメラＶＦＸ（In-Camera VFX）、またはＬＥＤウォールバーチャルプロダクション（LED Wall Virtual Production）として知られている
下記特許文献１には、背景映像の前で演技する演者を撮影するシステムの技術が開示されている。
また下記特許文献２には、大型の表示装置を撮影する場合にモアレを防止するためにフィルム状などの光学部材を配置する技術が開示されている。

米国特許出願公開第２０２０／０１４５６４４号明細書 特開２０１４－２０２８１６号公報

大型のディスプレイに背景映像を表示させたうえで、演者及び背景映像をカメラで撮影することによれば、撮影後に背景映像を別途合成しなくてもよいことや、演者やスタッフがシーンを視覚的に理解して演技や演技良否の判断ができるなど、グリーンバック撮影に比べて利点が多い。

ところがディスプレイの映像を撮影するため、カメラのイメージセンサの画素とディスプレイパネルの画素の干渉によりモアレ等のアーティファクトが発生する。これを避けるには、カメラは、ディスプレイにフォーカスを合わせずにぼかす必要がある。
ところが、そのモアレ等の発生条件が不明なため、実際に撮影現場でカメラや演者の位置を変えたり、レンズを調節したりして試行錯誤する必要があった。これは映像制作の効率を悪化させる。

そこで本開示では、モアレ等のアーティファクトの発生を、より的確に判定できるようにする技術を提案する。

本技術に係る情報処理装置は、ディスプレイの映像をカメラで撮影する撮影システムにおける前記ディスプレイの発光素子の間隔と、前記カメラのイメージセンサの画素間隔と、前記カメラの光学ローパスフィルタの特性と、前記カメラのレンズの焦点距離、Ｆ値、合焦距離と、前記ディスプレイと前記カメラの距離と、を用いて、前記カメラの撮影映像にモアレが発生するか否かの判定処理を行う判定部を備える。
即ち情報処理装置は、上掲の発光素子の間隔等の値を用い、撮影前や撮影中などに、ディスプレイの映像をカメラで撮影した場合に、撮影映像にモアレが発生するか否かを判定する。

本技術の実施の形態の撮影システムの説明図である。 実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。 実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。 実施の形態の映像コンテンツ制作工程の説明図である。 実施の形態の撮影システムのブロック図である。 実施の形態の撮影システムの背景映像生成のフローチャートである。 実施の形態の複数カメラを用いた撮影システムのブロック図である。 実施の形態の情報処理装置のブロック図である。 実施の形態のプレビジュアライゼーションの説明図である。 実施の形態の判定部を備えた構成例のブロック図である。 実施の形態のカメラ位置操作映像の説明図である。 実施の形態のモアレアラートの説明図である。 実施の形態のカメラ位置操作映像における操作の説明図である。 実施の形態のモアレアラート処理のフローチャートである。 実施の形態の撮影時のモアレアラート処理のフローチャートである。 イメージセンサ上の像の説明図である。 光学ＬＰＦ（Low Pass Filter）の説明図である。 光学ＬＰＦの特性の説明図である。 画素の幅の説明図である。 イメージセンサ上の像のぼけの説明図である。 正十二角形の近似の説明図である。 ＬＥＤ（Light Emitting Diode）の像の説明図である。 ＬＥＤの像が光学ＬＰＦで４つに分かれた様子の説明図である。 ＬＥＤの像がさらに直径δでぼけた様子の説明図である。 イメージセンサの画素の説明図である。 イメージセンサの各画素が感じた明るさの説明図である。 振幅特性の説明図である。 包絡線で近似させた振幅特性の説明図である。 カメラがパネル面を斜め方向から撮影している様子の説明図である。 カメラに写る範囲の説明図である。 カメラに写る範囲の最短距離と最長距離の説明図である。 イメージセンサ上の距離の説明図である。 サブカメラを用いた距離計算の説明図である。 サブカメラを用いた距離計算の説明図である。 実施の形態のモアレ判定処理のフローチャートである。 ＬＥＤウォール５０５の説明図である。 モアレを目立たせる配置の説明図である。 実施の形態のモアレ判定処理の他の例のフローチャートである。

以下、実施の形態を次の順序で説明する。
＜１．撮影システム及びコンテンツ制作＞
＜２．情報処理装置の構成＞
＜３．アーティファクトの判定部を備える構成＞
＜４．判定処理＞
＜５．まとめ及び変型例＞

なお、本開示において「映像」或いは「画像」とは静止画、動画のいずれをも含む。また「映像」とはディスプレイに表示されている状態を指すだけでなく、ディスプレイに表示されていない状態の映像データについても包括的に「映像」と表記する場合がある。
例えば実施の形態において、ディスプレイでの表示に至る前における背景映像、カメラによる撮影映像などは、実際に表示されている映像ではなく映像データであるが、便宜上「背景映像」「撮影映像」等と表記する。

＜１．撮影システム及び映像コンテンツ制作＞
本開示の技術を適用できる撮影システム及び映像コンテンツの制作について説明する。
図１は撮影システム５００を模式的に示している。この撮影システム５００はバーチャルプロダクションとしての撮影を行うシステムで、図では撮影スタジオに配置される機材の一部を示している。

撮影スタジオにおいては演者５１０が演技その他のパフォーマンスを行うパフォーマンスエリア５０１が設けられる。このパフォーマンスエリア５０１の少なくとも背面、さらには左右側面や上面には、大型の表示装置が配置される。表示装置のデバイス種別は限定されないが、図では大型の表示装置の一例としてＬＥＤウォール５０５を用いる例を示している。

１つのＬＥＤウォール５０５は、複数のＬＥＤパネル５０６を縦横に連結して配置することで、大型のパネルを形成する。ここでいうＬＥＤウォール５０５のサイズは特に限定されないが、演者５１０の撮影を行うときに背景を表示するサイズとして必要な大きさ、或いは十分な大きさであればよい。

パフォーマンスエリア５０１の上方、或いは側方などの必要な位置に、必要な数のライト５８０が配置され、パフォーマンスエリア５０１に対して照明を行う。

パフォーマンスエリア５０１の付近には、例えば映画その他の映像コンテンツの撮影のためのカメラ５０２が配置される。カメラ５０２は、カメラマン５１２が位置を移動させることができ、また撮影方向や、画角等の操作を行うことができる。もちろんリモート操作によってカメラ５０２の移動や画角操作等が行われるものも考えられる。またカメラ５０２が自動的もしくは自律的に移動や画角変更を行うものであってもよい。このためにカメラ５０２が雲台や移動体に搭載される場合もある。

カメラ５０２によって、パフォーマンスエリア５０１における演者５１０と、ＬＥＤウォール５０５に表示されている映像がまとめて撮影される。例えばＬＥＤウォール５０５に背景映像ｖＢとして風景が表示されることで、演者５１０が実際にその風景の場所に居て演技をしている場合と同様の映像を撮影できることになる。

パフォーマンスエリア５０１の付近にはアウトプットモニタ５０３が配置される。このアウトプットモニタ５０３にはカメラ５０２で撮影されている映像がモニタ映像ｖＭとしてリアルタイム表示される。これにより映像コンテンツの制作を行う監督やスタッフが、撮影されている映像を確認することができる。

このように、撮影スタジオにおいてＬＥＤウォール５０５を背景にした演者５１０のパフォーマンスを撮影する撮影システム５００では、グリーンバック撮影に比較して各種の利点がある。

例えば、グリーンバック撮影の場合、演者が背景やシーンの状況を想像しにくく、それが演技に影響するということがある。これに対して背景映像ｖＢを表示させることで、演者５１０が演技しやすくなり、演技の質が向上する。また監督その他のスタッフにとっても、演者５１０の演技が、背景やシーンの状況とマッチしているか否かを判断しやすい。

またグリーンバック撮影の場合よりも撮影後のポストプロダクションが効率化される。これは、いわゆるクロマキー合成が不要とすることができる場合や、色の補正や映り込みの合成が不要とすることができる場合があるためである。また、撮影時にクロマキー合成が必要とされた場合においても、緑や青の映像を表示するだけで済むため物理的な背景用スクリーンを追加不要とされることも効率化の一助となっている。

グリーンバック撮影の場合、演者の身体、衣装、物にグリーンの色合いが増してしまうため、その修正が必要となる。またグリーンバック撮影の場合、ガラス、鏡、スノードームなどの周囲の光景が映り込む物が存在する場合、その映り込みの画像を生成し、合成する必要があるが、これは手間のかかる作業となっている。

これに対し、図１の撮影システム５００で撮影する場合、グリーンの色合いが増すことはないため、その補正は不要である。また背景映像ｖＢを表示させることで、ガラス等の実際の物品への映り込みも自然に得られて撮影されているため、映り込み映像の合成も不要である。

ここで、背景映像ｖＢについて図２、図３で説明する。背景映像ｖＢを、ＬＥＤウォール５０５に表示させて、演者５１０とともに撮影を行うにしても、単純に背景映像ｖＢを表示させるのみでは、撮影された映像は背景が不自然になる。実際には立体で奥行きもある背景を平面的に背景映像ｖＢとしているためである。

例えばカメラ５０２は、パフォーマンスエリア５０１の演者５１０に対して、多様な方向から撮影することができ、またズーム操作も行うことができる。演者５１０も一カ所に立ち止まっているわけではない。するとカメラ５０２の位置、撮影方向、画角などに応じて、演者５１０の背景の実際の見え方は変化するはずであるが、平面映像としての背景映像ｖＢではそのような変化が得られない。そこで背景が、視差を含めて、実際の見え方と同様になるように背景映像ｖＢを変化させる。

図２はカメラ５０２が図の左側の位置から演者５１０を撮影している様子を示し、また図３はカメラ５０２が図の右側の位置から演者５１０を撮影している様子を示している。各図において、背景映像ｖＢ内に撮影領域映像ｖＢＣを示している。
なお背景映像ｖＢのうちで撮影領域映像ｖＢＣを除いた部分は「アウターフラスタム」と呼ばれ、撮影領域映像ｖＢＣは「インナーフラスタム」と呼ばれる。
ここで説明している背景映像ｖＢとは、撮影領域映像ｖＢＣ（インナーフラスタム）を含んで背景として表示される映像全体を指す。

この撮影領域映像ｖＢＣ（インナーフラスタム）の範囲は、ＬＥＤウォール５０５の表示面内で、カメラ５０２によって実際に撮影される範囲に相当する。そして撮影領域映像ｖＢＣは、カメラ５０２の位置、撮影方向、画角等に応じて、実際にそのカメラ５０２の位置を視点としたときに見える光景を表現するような映像となっている。

具体的には、撮影領域映像ｖＢＣは、背景としての３Ｄ（three dimensions）モデルである３Ｄ背景データを用意し、その３Ｄ背景データに対して、リアルタイムで逐次、カメラ５０２の視点位置に基づいてレンダリングする。
なお、実際には撮影領域映像ｖＢＣの範囲は、その時点でカメラ５０２によって撮影される範囲よりも少し広い範囲とされる。これはカメラ５０２のパン、チルトやズームなどにより撮影される範囲が若干変化したときに、描画遅延によってアウターフラスタムの映像が映り込んでしまうことを防止するためや、アウターフラスタムの映像からの回折光による影響を避けるためである。
このようにリアルタイムでレンダリングされた撮影領域映像ｖＢＣの映像は、アウターフラスタムの映像と合成される。背景映像ｖＢで用いられるアウターフラスタムの映像は、予め３Ｄ背景データに基づいてレンダリングされたものである場合や、毎フレーム或いは間欠的なフレーム毎に、リアルタイムにレンダリングされる場合があるが、そのアウターフラスタムの映像の一部に、撮影領域映像ｖＢＣ（インナーフラスタム）の映像を組み込むことで、全体の背景映像ｖＢを生成している。
なお、アウターフラスタムの映像もインナーフラスタムと同様に毎フレームレンダリングするケースがあるが、ここでは静止した映像を例にとり、以降の説明では主にアウターフラスタムの映像は先頭フレームのみレンダリングする場合を例として説明する。

これにより、カメラ５０２を前後左右に移動させたり、ズーム操作を行ったりしても、演者５１０とともに撮影される範囲の背景は、実際のカメラ５０２の移動に伴う視点位置やＦＯＶ（Field of View（視野））の変化に応じた映像として撮影されることになる。

図２、図３に示すように、アウトプットモニタ５０３には、演者５１０と背景を含むモニタ映像ｖＭが表示されるが、これが撮影された映像である。このモニタ映像ｖＭにおける背景は、撮影領域映像ｖＢＣである。つまり撮影された映像に含まれる背景は、リアルタイムレンダリングされた映像となる。

このように実施の形態の撮影システム５００においては、単に背景映像ｖＢを平面的に表示させるだけではなく、実際に風景を撮影した場合と同様の映像を撮影することができるように、撮影領域映像ｖＢＣを含む背景映像ｖＢをリアルタイムに変化させるようにしている。

なお、ＬＥＤウォール５０５に表示させた背景映像ｖＢの全体ではなく、カメラ５０２によって映り込む範囲としての撮影領域映像ｖＢＣのみをリアルタイムにレンダリングすることで、システムの処理負担も軽減するような工夫を行ってもよい。

ここで、撮影システム５００で撮影を行うバーチャルプロダクションとしての映像コンテンツの制作工程を説明しておく。図４に示すように、映像コンテンツ制作工程は３つの段階に大別される。アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３である。

アセットクリエイションＳＴ１は、背景映像ｖＢを表示するための３Ｄ背景データを制作する工程である。上述のように背景映像ｖＢは、撮影の際に３Ｄ背景データを用いてリアルタイムでレンダリングを行って生成する。そのために予め３Ｄモデルとしての３Ｄ背景データを制作しておく。

３Ｄ背景データの制作手法の例として、フルＣＧ（Full Computer Graphics）、点群データ（Point Cloud）スキャン、フォトグラメトリ（Photogrammetry）という例がある。

フルＣＧは、３Ｄモデルをコンピュータグラフィックスで制作する手法である。３つの手法の中で最も工数や時間を要する手法となるが、非現実的な映像や、実際には撮影が困難な映像などを背景映像ｖＢとしたい場合に用いられることが好適となる。

点群データスキャンは、ある位置から例えばライダー（LiDAR）を用いて距離測定を行うとともに、同じ位置からカメラで３６０度の画像を撮影し、ライダーで測距した点の上にカメラで撮影した色データを載せることで点群データによる３Ｄモデルを生成する手法である。フルＣＧに比較して、短い時間で３Ｄモデル制作ができる。またフォトグラメトリより高精細の３Ｄモデルを制作しやすい。

フォトグラメトリは、物体を複数視点から撮影して得た２次元画像から、視差情報を解析して寸法・形状を求める写真測量の技術である。３Ｄモデル制作を短時間で行うことができる。
なお、フォトグラメトリによる３Ｄデータ生成において、ライダーで取得した点群情報を用いても良い。

アセットクリエイションＳＴ１では、例えばこれらの手法を用いて３Ｄ背景データとなる３Ｄモデルを制作する。もちろん上記手法を複合的に用いてもよい。例えば点群データスキャンやフォトグラメトリで制作した３Ｄモデルの一部をＣＧで制作し、合成するなどである。

プロダクションＳＴ２は、図１に示したような撮影スタジオにおいて撮影を行う工程である。この場合の要素技術として、リアルタイムレンダリング、背景表示、カメラトラッキング、照明コントロールなどがある。

リアルタイムレンダリングは、図２、図３で説明したように各時点（背景映像ｖＢの各フレーム）で撮影領域映像ｖＢＣを得るためのレンダリング処理である。これはアセットクリエイションＳＴ１で制作した３Ｄ背景データに対して、各時点のカメラ５０２の位置等に応じた視点でレンダリングを行うものである。

このようにリアルタイムレンダリングを行って撮影領域映像ｖＢＣを含む各フレームの背景映像ｖＢを生成し、ＬＥＤウォール５０５に表示させる。

カメラトラッキングは、カメラ５０２による撮影情報を得るために行われ、カメラ５０２の各時点の位置情報、撮影方向、画角などをトラッキングする。これらを含む撮影情報を各フレームに対応させてレンダリングエンジンに提供することで、カメラ５０２の視点位置等に応じたリアルタイムレンダリングが実行できる。

撮影情報はメタデータとして映像と紐づけられたり対応づけられたりする情報である。
撮影情報としては各フレームタイミングでのカメラ５０２の位置情報、カメラの向き、画角、焦点距離、Ｆ値（絞り値）、シャッタースピード、レンズ情報などを含むことが想定される。

照明コントロールとは、撮影システム５００における照明の状態をコントロールすることで、具体的にはライト５８０の光量、発光色、照明方向などの制御を行う。例えば撮影するシーンの時刻設定や場所の設定などに応じた照明コントロールが行われる。

ポストプロダクションＳＴ３は、撮影後に行われる各種処理を示している。例えば映像の補正、映像の調整、クリップ編集、映像エフェクトなどが行われる。

映像の補正としては、色域変換や、カメラや素材間の色合わせなどが行われる場合がある。
映像の調整として色調整、輝度調整、コントラスト調整などが行われる場合がある。
クリップ編集として、クリップのカット、順番の調整、時間長の調整などが行われる場合がある。
映像エフェクトとして、ＣＧ映像や特殊効果映像の合成などが行われる場合がある。

続いてプロダクションＳＴ２で用いられる撮影システム５００の構成を説明する。
図５は、図１、図２、図３で概要を説明した撮影システム５００の構成を示すブロック図である。

図５に示す撮影システム５００は、上述した、複数のＬＥＤパネル５０６によるＬＥＤウォール５０５、カメラ５０２、アウトプットモニタ５０３、ライト５８０を備える。そしてさらに撮影システム５００は、図５に示すように、レンダリングエンジン５２０、アセットサーバ５３０、シンクジェネレータ５４０、オペレーションモニタ５５０、カメラトラッカー５６０、ＬＥＤプロセッサ５７０、ライティングコントローラ５８１、ディスプレイコントローラ５９０を備える。

ＬＥＤプロセッサ５７０のそれぞれは、１又は複数のＬＥＤパネル５０６に対応して設けられ、それぞれ対応する１又は複数のＬＥＤパネル５０６の映像表示駆動を行う。

シンクジェネレータ５４０は、ＬＥＤパネル５０６による表示映像のフレームタイミングと、カメラ５０２による撮像のフレームタイミングの同期をとるための同期信号を発生し、各ＬＥＤプロセッサ５７０、カメラ５０２、及びレンダリングエンジン５２０に供給する。

カメラトラッカー５６０は、各フレームタイミングでのカメラ５０２による撮影情報を生成し、レンダリングエンジン５２０に供給する。例えばカメラトラッカー５６０は撮影情報の１つとして、ＬＥＤウォール５０５の位置或いは所定の基準位置に対する相対的なカメラ５０２の位置情報や、カメラ５０２の撮影方向を検出し、これらをレンダリングエンジン５２０に供給する。
カメラトラッカー５６０による具体的な検出手法としては、天井にランダムに反射板を配置して、それらに対してカメラ５０２に組み付けられたカメラトラッカー５６０から照射された赤外光の反射光から位置を検出する方法がある。また検出手法としては、カメラ５０２の雲台やカメラ５０２の本体に搭載されたジャイロ情報や、カメラ５０２の撮影映像の画像認識によりカメラ５０２の自己位置推定する方法もある。

またカメラ５０２からレンダリングエンジン５２０に対しては、撮影情報として画角、焦点距離、Ｆ値、シャッタースピード、レンズ情報などが供給される場合もある。

アセットサーバ５３０は、アセットクリエイションＳＴ１で制作された３Ｄモデル、即ち３Ｄ背景データを記録媒体に格納し、必要に応じて３Ｄモデルを読み出すことができるサーバである。即ち３Ｄ背景データのＤＢ（data Base）として機能する。

レンダリングエンジン５２０は、ＬＥＤウォール５０５に表示させる背景映像ｖＢを生成する処理を行う。このためレンダリングエンジン５２０は、アセットサーバ５３０から必要な３Ｄ背景データを読み出す。そしてレンダリングエンジン５２０は、３Ｄ背景データをあらかじめ指定された空間座標から眺めた形でレンダリングしたものとして背景映像ｖＢで用いるアウターフラスタムの映像を生成する。
またレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２から供給された撮影情報を用いて３Ｄ背景データに対する視点位置等を特定して撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行う。

さらにレンダリングエンジン５２０は、アウターフラスタムに対し、カメラ５０２の動きに応じて動的に変化する撮影領域映像ｖＢＣを合成して１フレームの映像データとしての背景映像ｖＢを生成する。そしてレンダリングエンジン５２０は、生成した１フレームの映像データをディスプレイコントローラ５９０に送信する。

ディスプレイコントローラ５９０は、１フレームの映像データを、各ＬＥＤパネル５０６で表示させる映像部分に分割した分割映像信号ｎＤを生成し、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行う。このときディスプレイコントローラ５９０は、表示部間の発色などの個体差／製造誤差などに応じたキャリブレーションを行っても良い。
なお、ディスプレイコントローラ５９０を設けず、これらの処理をレンダリングエンジン５２０が行うようにしてもよい。つまりレンダリングエンジン５２０が分割映像信号ｎＤを生成し、キャリブレーションを行い、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行うようにしてもよい。

各ＬＥＤプロセッサ５７０が、それぞれ受信した分割映像信号ｎＤに基づいてＬＥＤパネル５０６を駆動することで、ＬＥＤウォール５０５において全体の背景映像ｖＢが表示される。その背景映像ｖＢには、その時点のカメラ５０２の位置等に応じてレンダリングされた撮影領域映像ｖＢＣが含まれている。

カメラ５０２は、このようにＬＥＤウォール５０５に表示された背景映像ｖＢを含めて演者５１０のパフォーマンスを撮影することができる。カメラ５０２の撮影によって得られた映像は、カメラ５０２の内部又は図示しない外部の記録装置において記録媒体に記録されるほか、リアルタイムでアウトプットモニタ５０３に供給され、モニタ映像ｖＭとして表示される。

オペレーションモニタ５５０では、レンダリングエンジン５２０の制御のためのオペレーション画像ｖＯＰが表示される。エンジニア５１１はオペレーション画像ｖＯＰを見ながら背景映像ｖＢのレンダリングに関する必要な設定や操作を行うことができる。

ライティングコントローラ５８１は、ライト５８０の発光強度、発光色、照射方向などを制御する。ライティングコントローラ５８１は、例えばレンダリングエンジン５２０とは非同期でライト５８０の制御を行うものとしてもよいし、或いは撮影情報やレンダリング処理と同期して制御を行うようにしてもよい。そのためレンダリングエンジン５２０或いは図示しないマスターコントローラ等からの指示によりライティングコントローラ５８１が発光制御を行うようにしてもよい。またレンダリングエンジン５２０からライト５８０の制御を行うようにしてもよい。

このような構成の撮影システム５００におけるレンダリングエンジン５２０の処理例を図６に示す。

レンダリングエンジン５２０は、ステップＳ１０でアセットサーバ５３０から、今回使用する３Ｄ背景データを読み出し、内部のワークエリアに展開する。
この段階でアウターフラスタムとして用いる映像を生成する場合もある。

その後レンダリングエンジン５２０は、ステップＳ２０で、読み出した３Ｄ背景データに基づく背景映像ｖＢの表示終了と判定するまで、ステップＳ３０からステップＳ６０の処理を繰り返す。

ステップＳ３０でレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２からの撮影情報を取得する。これにより、現フレームで反映させるカメラ５０２の位置や状態を確認する。

ステップＳ４０でレンダリングエンジン５２０は、撮影情報に基づいてレンダリングを行う。即ち現在のフレームに反映させるカメラ５０２の位置、撮影方向、或いは画角等に基づいて３Ｄ背景データに対する視点位置を特定してレンダリングを行う。このとき、焦点距離、Ｆ値、シャッタースピード、レンズ情報などを反映した映像処理を行うこともできる。このレンダリングによって撮影領域映像ｖＢＣ（インナーフラスタム）としての映像データを得ることができる。アウターフラスタムについては、ステップＳ１０で予め固定的な映像として生成する他、ステップＳ４０でフレーム毎に生成することもある。

ステップＳ５０でレンダリングエンジン５２０は、全体の背景映像であるアウターフラスタムと、カメラ５０２の視点位置を反映した映像、即ち撮影領域映像ｖＢＣを合成する処理を行う。例えばある特定の基準視点でレンダリングした背景全体の映像に対して、カメラ５０２の視点を反映して生成した映像を合成する処理である。これにより、ＬＥＤウォール５０５で表示される１フレームの背景映像ｖＢ、つまり撮影領域映像ｖＢＣを含む背景映像ｖＢが生成される。

ステップＳ６０の処理は、レンダリングエンジン５２０又はディスプレイコントローラ５９０で行う。ステップＳ６０でレンダリングエンジン５２０又はディスプレイコントローラ５９０は、１フレームの背景映像ｖＢについて、個別のＬＥＤパネル５０６に表示される映像に分割した分割映像信号ｎＤを生成する。キャリブレーションを行う場合もある。そして各分割映像信号ｎＤを各ＬＥＤプロセッサ５７０に送信する。

以上の処理により、各フレームタイミングで、カメラ５０２で撮像される撮影領域映像ｖＢＣを含む背景映像ｖＢがＬＥＤウォール５０５に表示されることになる。

ところで図５では１台のカメラ５０２のみを示したが、複数台のカメラ５０２で撮影を行うこともできる。図７は複数のカメラ５０２ａ，５０２ｂを使用する場合の構成例を示している。カメラ５０２ａ，５０２ｂは、それぞれ独立してパフォーマンスエリア５０１における撮影を行うことができるようにされる。また各カメラ５０２ａ，５０２ｂ及び各ＬＥＤプロセッサ５７０は、シンクジェネレータ５４０により同期が維持される。

カメラ５０２ａ，５０２ｂに対応して、アウトプットモニタ５０３ａ，５０３ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂによって撮影された映像を、モニタ映像ｖＭａ，ｖＭｂとして表示するように構成される。

またカメラ５０２ａ，５０２ｂに対応して、カメラトラッカー５６０ａ，５６０ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂの位置や撮影方向を検出する。カメラ５０２ａ及びカメラトラッカー５６０ａからの撮影情報や、カメラ５０２ｂ及びカメラトラッカー５６０ｂからの撮影情報は、レンダリングエンジン５２０に送信される。

レンダリングエンジン５２０は、カメラ５０２ａ側、或いはカメラ５０２ｂ側のいずれか一方又は両方の撮影情報を用いて、各フレームの背景映像ｖＢを得るためのレンダリングを行うことができる。

なお図７では２台のカメラ５０２ａ、５０２ｂを用いる例を示したが、３台以上のカメラ５０２を用いて撮影を行うことも可能である。
但し、複数のカメラ５０２を用い、それぞれの撮影情報を用いて、それぞれのカメラ５０２に対応した撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行い、表示させると、それぞれの撮影領域映像ｖＢＣが互いに干渉するという事情がある。例えば図７のように２台のカメラ５０２ａ、５０２ｂを用いる例では、カメラ５０２ａに対応する撮影領域映像ｖＢＣを示しているが、カメラ５０２ｂの映像を用いる場合、カメラ５０２ｂに対応する撮影領域映像ｖＢＣも必要になる。その場合に単純に各カメラ５０２ａ、５０２ｂに対応するそれぞれの撮影領域映像ｖＢＣを表示させると、それらが互いに干渉する。このため撮影領域映像ｖＢＣの表示に関する工夫が必要とされる。

＜２．情報処理装置の構成＞
次に、アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３で用いることができる情報処理装置７０の構成例を図８で説明する。
情報処理装置７０は、コンピュータ機器など、情報処理、特に映像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ、ワークステーション、スマートフォンやタブレット等の携帯端末装置、ビデオ編集装置等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。

本実施の形態の場合、具体的には情報処理装置７０は、アセットクリエイションＳＴ１において３Ｄモデルを制作する３Ｄモデル制作装置として機能できる。
また情報処理装置７０は、プロダクションＳＴ２で用いる撮影システム５００を構成するレンダリングエンジン５２０やアセットサーバ５３０としても機能できる。
また情報処理装置７０は、ポストプロダクションＳＴ３における各種映像処理を行う映像編集装置としても機能できる。

さらに情報処理装置７０は、図１０等で後述するプレビジュアライゼーションにおけるシミュレーション映像ｖＳＭの生成を行う情報処理装置（レンダリングエンジン３１）としても機能できる。

図８に示す情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。

映像処理部８５は各種の映像処理を行うプロセッサとして構成される。例えば３Ｄモデル生成処理、レンダリング、ＤＢ処理、色・輝度調整処理を含む映像処理、映像編集処理、映像解析・検出処理などのいずれか、或いは複数の処理を行うことができるプロセッサとされる。

この映像処理部８５は例えば、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現できる。
なお映像処理部８５はＣＰＵ７１内の機能として設けられてもよい。

ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、映像処理部８５は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。

入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、トラックボール、ダイヤル、タッチパネル、タッチパッド、グレーティング用パネル、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。

また入出力インタフェース７５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（electro-luminescence）パネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像、操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

入出力インタフェース７５には、ＨＤＤ（Hard Disk Drive）や固体メモリなどにより構成される記憶部７９や通信部８０が接続される場合もある。

記憶部７９は、各種のデータやプログラムを記憶することができる。記憶部７９においてＤＢを構成することもできる。
例えば情報処理装置７０がアセットサーバ５３０や後述のレンダリングエンジン３１として機能する場合、記憶部７９を利用して３Ｄ背景データ群を格納するＤＢを構築できる。

通信部８０は、インターネット等の伝送路を介しての通信処理や、外部のＤＢ、編集装置、情報処理装置等の各種機器との有線／無線通信、バス通信などによる通信を行う。
例えば情報処理装置７０がレンダリングエンジン５２０や後述のレンダリングエンジン３１として機能する場合、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスしたり、カメラ５０２やカメラトラッカー５６０からの撮影情報を受信したりすることができる。
またポストプロダクションＳＴ３に用いる情報処理装置７０の場合も、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスすることなども可能である。

入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
ドライブ８１により、リムーバブル記録媒体８２からは映像データや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータは記憶部７９に記憶されたり、データに含まれる映像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

この情報処理装置７０では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

＜３．アーティファクトの判定部を備える構成＞
以下では、モアレ等のアーティファクトの発生を判定する判定部を備える情報処理装置７０の構成例を説明する。
そのような情報処理装置７０は、図５，図７のような撮影システム５００におけるレンダリングエンジン５２０等の情報処理装置７０でもよいし、図１０で述べるプレビジュアライゼーションシステム７００で用いられる情報処理装置７０でもよい。

撮影システム５００においてＬＥＤウォール５０５をカメラ５０２で撮影することで、カメラ５０２のイメージセンサの画素とＬＥＤパネル５０６の画素の干渉によりモアレ等（モアレ、グリッド、カラーシフト等）のアーティファクトが発生する。

モアレ等を避けるには、カメラ５０２は、ＬＥＤパネル５０６にフォーカスを合わせずにぼかす必要がある。ところが、実際の撮影現場でカメラ５０２や演者５１０の位置を変えたり、レンズを調節したりすることは、映像制作の効率を悪化させる。
そこで本実施の形態では、モアレ等の発生を判定する処理を行う判定部を備えた情報処理装置７０を、撮影システム５００やプレビジュアライゼーションシステム７００で用いるようにする。

まず映像制作過程におけるプレビジュアライゼーションの位置づけを図９で説明する。
図９には先に図４で説明したアセットクリエイション（ＳＴ１）、プロダクション（ＳＴ２）、ポストプロダクション（ＳＴ３）という流れを示している。
プロダクション（ＳＴ２）は、実際にスタジオで撮影を行う段階であるが、これは撮影準備と撮影に分けられる。

プレビジュアライゼーションは、主に撮影準備よりも前の段階で行われることが想定される。なお、必ずしも時系列的な順序は限定されないが、プレビジュアライゼーションは、アセットクリエイション（ＳＴ１）において背景映像ｖＢをレンダリングするための３Ｄモデルが制作された後の段階で行われればよい。
その意味で、プレビジュアライゼーションは、アセットクリエイション（ＳＴ１）の最終段階で行われるととらえてもよいし、プロダクション（ＳＴ２）における撮影準備の前の段階で行われるととらえてもよい。

プレビジュアライゼーションでは、映像確認、モアレ判定という処理が行われる。映像確認とは、撮影に先立って、撮影により得られる撮影映像ｖＣを監督やスタッフが確認できるようにする処理である。主に撮影映像ｖＣの色合いを含む確認をシミュレーション映像により可能とする。

モアレ判定は、例えば映像確認をしながらスタッフが仮想的にカメラ位置を操作している際に行う処理である。モアレ判定によりモアレ等が出ると予測される場合に、その警告を発することもできる。これにより、その後の撮影の際のアーティファクト発生を回避できるようにする。

撮影準備の段階では、撮影システム５００におけるＬＥＤやカメラ等各種の設定とともに、色キャリブレーションが行われる。具体的にはＬＥＤウォール５０５をカメラ５０２で撮影したときに生ずる色変化をキャンセルするキャリブレーションＬＵＴ（Look Up Table）を生成する。キャリブレーションＬＵＴは例えば３Ｄ－ＬＵＴとされる。
なお３Ｄ－ＬＵＴの代わりに、マトリックスと１Ｄ－ＬＵＴの組み合わせや他の映像信号処理で行うキャリブレーションのための準備を行ってもよい。

撮影準備の段階でも、モアレ判定やそれに応じたモアレアラートを行うことができる。即ち撮影準備の段階で実際のＬＥＤパネル５０６やカメラ５０２の機種が特定され、またカメラ５０２の位置や方向が設定されることで、モアレ判定を行うことができる。

撮影の段階では、モアレ判定、キャリブレーションＬＵＴ、on-setカメラ設定が行われる。
この場合のモアレ判定とは、レンダリングエンジン５２０によるモアレ判定である。判定に応じてリアルタイムにカメラマン５１２等にモアレアラートを出力することもできる。

キャリブレーションＬＵＴとは、撮影準備の際の色キャリブレーションで生成したＬＵＴを適用してＬＥＤウォール５０５やカメラ５０２等による背景映像表示に関する色変化をキャンセルする処理である。
on-setカメラ設定とは、プレビジュアライゼーションで設定したカメラ設定を例えばクラウドサーバ等から取得し、スタジオのカメラ５０２に反映させる処理である。

実施の形態としての構成例を図１０で説明する。なお図１０では、撮影システム５００の構成と、プレビジュアライゼーションのための構成とを並記している。
図面上方は、図５等で説明した撮影システム５００の構成を簡略化して示しており、図面下方は、プレビジュアライゼーションで使用する構成（プレビジュアライゼーションシステム７００）を示している。

図１０において撮影システム５００に関しては、レンダリングエンジン５２０、ＬＥＤプロセッサ５７０、複数のＬＥＤパネル５０６によるＬＥＤウォール５０５、カメラ５０２、カメラ信号処理部５１５、オペレーションモニタ５５０又はアウトプットモニタ５０３を示している。

この図におけるオペレーションモニタ５５０又はアウトプットモニタ５０３は、撮影現場であるスタジオにおいて撮影映像ｖＣやモニタ映像ｖＭを表示するモニタを包括的に示している。以下では説明上「モニタ５５０等」と略称する。

レンダリングエンジン５２０はレンダリング部５２０ａと、ＣＧカメラ設定部５２０ｃと、判定部５２０ｄを含むものとして示している。

レンダリング部５２０ａは先に説明したとおり、アウターフラスタムやカメラ５０２の位置や撮影方向に応じたインナーフラスタム（撮影領域映像）ｖＢＣのレンダリングを行い、ＬＥＤウォール５０５に表示させる背景映像ｖＢを生成する機能を示している。即ちレンダリング部５２０ａは図６の処理を行う機能である。
レンダリングエンジン５２０におけるＣＧカメラ設定部５２０ｃと、判定部５２０ｄについては後述する。

なお、レンダリングエンジン５２０は、色キャリブレーション機能を備える場合がある。色キャリブレーション機能とは、ＬＥＤプロセッサ５７０の処理やＬＥＤウォール５０５を構成するＬＥＤパネル５０６のＬＥＤ発光特性及びカメラの受光特性や処理などにより生ずる色変化をキャンセルするための色変換を行う機能である。

即ちレンダリング部５２０ａは、レンダリングした背景映像ｖＢについて、撮影準備の段階の色キャリブレーションにより生成したＬＵＴを用いて色変換を行う場合がある。
このようにレンダリングエンジン５２０においてキャリブレーションＬＵＴを用いた色変換を行う場合は、例えば背景映像ｖＢの表示側における色変化は生じないものとすることもできる。
なお、ここでいう色変化とは、レンダリングされた背景映像ｖＢがＬＥＤウォール５０５で表示されるまでの処理や発光特性や、カメラの受光特性や処理などにより生ずる色変化のことである。

レンダリングエンジン５２０において色キャリブレーション機能を備えていない場合、或いは当該機能を備えていても有効化しない場合は、３Ｄモデルからレンダリングした状態の色と、ＬＥＤウォール５０５で表示された状態の色に、色合い、つまり色の濃淡やＲＧＢバランスなどによる変化が生ずる場合がある。

図１０では、カメラ５０２に対しては、撮像映像信号の信号処理を行うカメラ信号処理部５１５を示している。図５，図７では省略したが、このカメラ信号処理部５１５は、カメラ５０２内のプロセッサ等により形成されてもよいし、カメラ５０２とは別体ユニットの装置として設けられても良い。

カメラ５０２で撮影された映像信号はカメラ信号処理部５１５で輝度処理、色処理等を含む現像処理やリサイズ処理などをされて、撮影映像ｖＣやモニタ映像ｖＭとして出力される。

撮影映像ｖＣは本線映像とされて記録媒体に記録されたり、放送や配信のために他機器に送信されたりする。また撮影映像ｖＣはモニタ映像ｖＭとして用いられてモニタ５５０等で表示される。

以上のような撮影システム５００に対して、例えばスタジオ外のシステムとしてプレビジュアライゼーションシステム７００が構成される。プレビジュアライゼーションシステム７００ではレンダリングエンジン３１として機能する情報処理装置７０と、モニタ４０を少なくとも備える。
レンダリングエンジン３１は例えばレンダリングエンジン５２０とは別体の情報処理装置７０により構成される。

レンダリングエンジン３１はレンダリング部３２、映像処理部３３を備える。
レンダリング部３２は、上述のレンダリングエンジン５２０におけるレンダリング部５２０ａと同様のレンダリング機能であり、３Ｄモデルに基づいて背景映像ｖＢＰを生成することができる。

このレンダリング部３２は、少なくともアセットクリエイション（ＳＴ１）の工程で制作された３Ｄモデルを用いて背景映像ｖＢのレンダリングを行うことができる。つまりプロダクション（ＳＴ２）の工程で用いるものと同じ３Ｄモデルを例えばアセットサーバ５３０（図５，図７参照）から取得し、それを用いてレンダリングを行う。

そしてレンダリング部３２は、当該３Ｄモデルを用いて例えばインナーフラスタムのレンダリングを行う。なお、インナーフラスタム（撮影領域映像ｖＢＣ）を生成する場合は、任意のカメラ位置や方向が入力され、それに応じた３Ｄモデルに対する視点位置でレンダリングを行うことができる。
これら、レンダリング部３２で生成する背景映像を、撮影時にレンダリングエンジン５２０で生成する撮影領域映像ｖＢＣと説明上、区別する意味で、「背景映像ｖＢＰ」と表記する。

映像処理部３３は、背景映像ｖＢＰに対する各種の映像処理を行う機能を示している。
映像処理の１つとして映像処理部３３は実撮影映像化処理を行う。実撮影映像化処理とは、実際に撮影に用いるカメラ５０２を模したシミュレーション映像ｖＳＭを生成する処理である。この実撮影映像化処理では、背景映像ｖＢＰに対して、少なくとも撮影システム５００で使用するカメラ５０２の撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像ｖＳＭを生成する。

輝度又は色に関するパラメータを、撮影時のカメラ５０２と同じとすることで、撮影映像ｖＣと同じ色合いのシミュレーション映像ｖＳＭが生成されるようにし、そのシミュレーション映像ｖＳＭがモニタ４０に表示されるようにする。

モニタ４０は、レンダリングエンジン３１としての情報処理装置７０から出力される映像を表示するモニタ装置を示しており、例えば撮影スタジオとは別の場所にあるモニタ装置でもよいし、撮影スタジオにあるモニタ装置でもよい。モニタ４０は、少なくともプレビジュアライゼーションの段階でシミュレーション映像ｖＳＭを表示させるものであればどのような形態でもよい。

レンダリングエンジン３１においてレンダリング部３２で背景映像ｖＢＰを生成し、映像処理部３３で実撮影映像化処理を行ってシミュレーション映像ｖＳＭを生成する。これをモニタ４０に表示させることで、スタッフは、撮影時の撮影映像ｖＣに含まれる背景の映像と同じ色合いとされたシミュレーション映像ｖＳＭを確認することができる。これにより、撮影に先立って、色の確認を行い、必要に応じて撮影準備段階でのカメラ５０２やカメラ信号処理部５１５での色の調整などを行うことができるようになる。

本実施の形態のバーチャルプロダクションのような仮想的な背景映像ｖＢを用いる撮影システム５００の場合は、実際にカメラ５０２で撮影した撮影映像ｖＣの色合いなどが、監督やスタッフの思い描いていたものと異なる場合がある。そのような場合、撮影現場であるスタジオなどで、各種の設定変更などを行って色合いを調整することが必要になり、現実には極めて面倒かつ時間を要する作業となる。これは映像制作の効率を悪化させる。そこで、撮影に先立って、プレビジュアライゼーションシステム７００で、実際の撮影映像ｖＣと同じ色あいの映像を確認できるようにすることは、極めて有用である。

映像処理部３３の実撮影映像化処理としては、レンダリング部３２でレンダリングされた背景映像ｖＢＰについて、少なくとも色合いを、実際の撮影時の撮影映像ｖＣに含まれる背景の映像と同等とする。
このために具体的には映像処理部３３は、ＲＧＢゲインやホワイトバランス値、ガンマ値、オフセット値等のパラメータをカメラ５０２に合わせる。

例えば映像処理部３３は、背景映像ｖＢＰに対し、カメラ５０２におけるイメージセンサから読み出された各色の画素信号に対するゲインの値と同様のＲ、Ｇ、Ｂゲインを与える処理を行う。
また映像処理部３３は、背景映像ｖＢＰに対し、実撮影映像化処理においてカメラ５０２の撮影時のホワイトバランス値と同じホワイトバランス値でホワイトバランス処理を行う。
さらには、光路に置かれている光学部品、例えばレンズや色変換フィルタ、ＮＤフィルタ、光学ローパスフィルタ、色分解プリズム等の分光透過率、イメージセンサのオンチップカラーフィルタやオンチップレンズ等の分光透過率、イメージセンサのフォトダイオードの分光感度特性等パラメータについても加味されるようにする。具体的にはパラメータは、ＬＥＤパネル５０６のＬＥＤの分光特性と、ＬＥＤパネルに拡散板や反射防止フィルム、保護フィルム等が貼ってあればその分光透過率、更に上記各分光透過率、分光感度特性の積を波長で積分して求める。そしてパラメータに応じた色処理を行う。
これらにより、撮影映像ｖＣにおける背景と同じ色合いの背景となるシミュレーション映像ｖＳＭが得られるようにする。これによりモニタ４０では、撮影時にモニタ５５０等で撮影映像ｖＣを見る場合と同じ色合いの映像を確認できる。

さらに映像処理部３３は、実撮影映像化処理として、背景映像ｖＢＰに対し、カメラ５０２のイメージセンサからの切り出し範囲やズーム倍率設定などによる画角も同一とする処理を行ってもよい。

また映像処理部３３は、実撮影映像化処理として、背景映像ｖＢＰに対し、カメラ５０２のレンズ歪特性を反映させる処理を行ってもよい。これにより、シミュレーション映像ｖＳＭをより撮影映像ｖＣに近づける。

ところで、撮影時にレンダリングエンジン５２０での色キャリブレーション処理でＬＥＤウォール５０５までの色変化がキャンセルされる場合には、実撮影映像化処理としては、カメラ側の色変化等を反映させる処理でよい。ＬＥＤウォール５０５に表示される背景映像ｖＢはレンダリングされた状態から色変化が生じないとされるためである。
一方で、上記のような色キャリブレーションが行われない場合は、ＬＥＤウォール５０５に表示される背景映像ｖＢにおいても既に色変化が生じている場合がある。そのような場合は、映像処理部３３における実撮影映像化処理では、ＬＥＤ側の各色の輝度（強度）特性などを反映する処理も行うようにする。これにより、シミュレーション映像ｖＳＭを撮影映像ｖＣに近づけることができる。

なお、以上の実撮影映像化処理の前提として、レンダリングエンジン３１がシミュレーション映像ｖＳＭをレンダリングする際に想定する仮想的なカメラのフレームレート、シャッタースピード、露出値などのカメラ設定は、実際のカメラ５０２と同様の設定とする。即ち映像処理部３３は、背景映像ｖＢＰについて、フレームレート、シャッタースピード、露出値、ＮＤ（Neutral Density）設定、などの各種のカメラ設定に応じたＲＧＢ値となるようにした上で、ＲＧＢゲインやホワイトバランス値等の色処理を行うことで、実際の撮影映像ｖＣの色合いを模したシミュレーション映像ｖＳＭを生成する。
またＬＥＤウォール５０５の明るさについてもカメラ設定と同様に反映させるとよい。

レンダリングエンジン３１は、スタッフ等のユーザが色調整操作に用いることのできる調整操作部３５を備える。
例えばレンダリングエンジン３１とされる情報処理装置７０の表示部７７や入力部７６を利用したＧＵＩなどをユーザに提供する。これによりユーザは、モニタ４０を見ながら映像の色合いを操作することができる。
即ち、スタッフが、実撮影映像化処理によるシミュレーション映像ｖＳＭを見て、考えていた色合いとは異なっていると感じた場合に、色調整を行い、望みの色が得られるようにする。

また、調整の内容を色変換情報Ｉｃとして、例えばクラウドサーバ４１を経由してカメラ５０２やカメラ信号処理部５１５に提供することで、調整した色を、撮影時に反映できるようにもする。色変換情報Ｉｃは、例えばＬＵＴやＣＤＬ（Color Decision List）などである。
なお、映像処理部３３は色変換情報Ｉｃを、クラウドサーバ４１を経由せずにカメラ５０２やカメラ信号処理部５１５に送信してもよい。

また調整操作部３５により、ユーザは、各種のカメラ設定を変更、設定する操作を行うことができるようにしても良い。映像処理部３３は、入力に応じてシミュレーション映像ｖＳＭに反映するカメラ設定の変更処理を行い、カメラ設定情報ＣＳを出力可能とする。

ここでいうカメラ設定情報ＣＳとは、例えばカメラ５０２のイメージセンサからの読み出しサイズ設定、シャッタースピード設定、露出設定、ＮＤ設定、レンズ特性、フォーカス／アイリス／ズーム動作設定、ホワイトバランス値、ＲＧＢゲインなどを指す。
上述の実撮影映像化処理では、基本的にはこれらの設定値は、撮影に用いるカメラ５０２の設定に合わせることで、実際の撮影映像ｖＣをシミュレートする。

その上で、これらのカメラ設定を調整操作することで、各種のカメラ設定を予め用意できるようにする。
そして映像処理部３３は、操作に応じて変更したカメラ設定を示すカメラ設定情報ＣＳの記憶や送信ができるようにする。例えばオペレータの調整操作に応じたカメラ設定情報ＣＳをクラウドサーバ４１にアップロードしておき、後に撮影時にカメラ５０２等に反映させることができるようにする。

さらにレンダリングエンジン３１は、判定部３６、位置操作部３７、通信部３８を備え、モアレ判定やモアレアラートの処理を行うことができる。

位置操作部３７は、仮想的なカメラ位置をユーザが任意に操作できるようにしたインタフェース機能である。

判定部３６は、設定されているカメラ位置の状態で、モアレが発生するか否かを特定のアルゴリズムにより判定する機能である。
当該アルゴリズムは、詳しくは後述するが、実際に撮影を行うとモアレやスキャンライン等のアーティファクトが発生するということを判定するアルゴリズムである。

判定部３６は、通信部３８によって取得した各種の情報や、位置操作部３７で操作される仮想的なカメラ位置の情報や、調整操作部３５からユーザが入力した情報を用いて判定処理を行う。
具体的には、判定部３６は、撮影で用いるＬＥＤパネル５０６の発光素子であるＬＥＤの間隔（互いに隣接するＬＥＤの間隔）と、撮影で用いるカメラ５０２のイメージセンサの画素間隔（互いに隣接する画素の間隔）、光学ＬＰＦの特性、レンズの焦点距離、Ｆ値、合焦距離と、ＬＥＤパネル５０６とカメラ５０２の距離の値を用いて、モアレ等のアーティファクトの発生の判定を行う。
なおプレビジュアライゼーション段階では、実際のＬＥＤパネル５０６とカメラ５０２が存在しないため、ＬＥＤパネル５０６とカメラ５０２の距離の値とは、位置操作部３７の操作に応じた仮想的な値である。

このため通信部３８は、例えば実際に撮影に用いるＬＥＤパネル５０６やカメラ５０２等と通信して、ＬＥＤの間隔、イメージセンサの画素間隔、光学ＬＰＦの特性などの値を取得し、判定部３６に提供する。このＬＥＤの間隔、イメージセンサの画素間隔、光学ＬＰＦの特性などは、通信部３８はＬＥＤパネル５０６やカメラ５０２と通信して機種、型番などの情報を得るようにし、判定部３６が内部ＤＢを参照し、機種に応じた上記各値を取得するようにしてもよい。
またユーザが具体的な値や、機種を入力することに応じて判定部３６が上記各値を取得するようにしてもよい。
また焦点距離、Ｆ値、合焦距離については、判定部３６は、ユーザによる仮想的なカメラについてのカメラ設定や操作などに応じて取得して判定処理に用いる。
また判定部３６は、位置操作部３７の操作に応じたカメラ位置に応じてＬＥＤパネル５０６とカメラ５０２の距離の値を求め、判定に用いることができる。

判定部３６は、判定処理でモアレ発生を予測した場合は、そのモアレ発生の情報や、発生位置の情報などを映像処理部３３に通知する。
映像処理部３３は、例えばモアレの警告や、モアレ位置を示す映像をモニタ４０に表示させるようにする。

例えば図１１は、背景映像ｖＢＰのシミュレーション映像ｖＳＭを含む映像であるが、さらに仮想的なＬＥＤウォール５４や仮想的なカメラ５１を示した映像である。
映像処理部３３は、単に背景映像ｖＢＰのシミュレーション映像ｖＳＭを表示させるだけでなく、例えば視点位置をスタジオ内の或る位置に設定したような映像を表示させることもできるようにする。

図１１の映像では、さらに、ＬＥＤウォール５４の位置情報５２や、カメラの位置情報５２を表示させている。
また原点情報５０として、空間内での各位置の基準となる原点位置やＸ、Ｙ、Ｚの３軸方向を示している。

図１２は、モアレアラート５３が表示されるとともに、モアレ位置５７が示されている例である。
例えばカメラ５１の位置が図１１と変更されているが、この状態でモアレ発生予測がなされたとする。その場合、モアレアラート５３が表示され、またモアレが発生する位置がモアレ位置５７として表示される。

この映像上でのカメラ５１の位置は、ユーザが任意に変更させることができるようにする。例えばユーザがカメラ５１を指定する操作を行うと、図１３に示すようにＸ、Ｙ、Ｚ方向の移動軸５５が表示される。ユーザはカーソル５６を或る移動軸５５に合わせた状態で、ドラッグ等の操作を行うと、仮想空間内のカメラ５１の位置が変更される。例えば以上のようなユーザインタフェースが位置操作部３７の機能により提供されるようにする。

従ってユーザは、仮想的なカメラ５１を任意に動かしながら、モアレが生ずるか否かを確認していくことができる。
これにより、実際の撮影時のカメラ位置やカメラパスを、モアレが生じないように設定することも可能となる。

図１４はレンダリングエンジン３１によるモアレ等の判定に関する処理を示している。
ステップＳ４０１でレンダリングエンジン３１は判定機会であるか否かを監視する。
例えばカメラ位置操作がなされたか否かを監視する。
ユーザが位置操作部３７の機能でカメラ位置操作を行った場合は、レンダリングエンジン３１はステップＳ４０２に進み、変更したカメラ位置及び撮影方向の情報を用いて判定処理を行う。即ちその時点で取得したＬＥＤの間隔、イメージセンサの画素間隔、光学ＬＰＦの特性、焦点距離、Ｆ値、合焦距離、ＬＥＤパネル５０６とカメラ５０２の距離の値を用いて判定処理を行う。ＬＥＤパネル５０６とカメラ５０２の距離は、ユーザのカメラ位置操作に応じて仮想的な位置関係を計算し、距離を求める。
またステップＳ４０１で監視する判定機会は、カメラ位置操作の際だけに限らない。例えば仮想的なカメラ操作としてズーム操作、フォーカス操作、露出調整操作などが行われた場合にもステップＳ４０２に進むようにするとしてもよい。
即ち判定処理に用いる要素として、ＬＥＤの間隔、イメージセンサの画素間隔、光学ＬＰＦの特性は通常は変化しないが、焦点距離、Ｆ値、合焦距離、ＬＥＤパネル５０６とカメラ５０２の距離などのいずれかが変化するような機会を、判定機会としてもよい。

ステップＳ４０３でレンダリングエンジン３１は判定処理の結果を確認し、モアレ等が発生すると判定された場合は、ステップＳ４０４でモアレアラートを出力させる処理を行う。

以上により、図１２で示したようなモアレアラート５３が表示され、これによりスタッフは撮影前の段階で、モアレ等の発生を知ることができる。従ってモアレ等が発生しないようなカメラ位置やカメラパスを考えることなどを本番撮影前に行うことができる。

ところで、図１０ではレンダリングエンジン５２０側において、レンダリング部５２０ａに加えてＣＧカメラ設定部５２０ｃと判定部５２０ｄを示した。
これにより撮影準備の際や、実際の撮影時においてレンダリングエンジン５２０がモアレ判定を行うこともできる。

ＣＧカメラ設定部５２０ｃは、カメラトラッカー５６０からの撮影情報、例えばカメラ５０２の位置、撮影方向、画角、焦点距離、Ｆ値、シャッタースピード、レンズ情報などを受け、それに応じたレンダリングをレンダリング部５２０ａに実行させる。

判定部５２０ｄは、レンダリングされた撮影領域映像ｖＢＣに対して、今、モアレ等が発生しているか否かの判定処理を、ＣＧカメラ設定部５２０ｃが得た情報を利用して行う。つまり判定部５２０ｄは、上述の判定部３６と同様のアルゴリズムで現在のモアレ等の発生の判定を行う。
そしてモアレ等の発生と判定した場合は、例えばその情報をカメラ５０２に送信し、ビューファインダーなどにおいてモアレアラートが表示されるようにする。

図１５にそのようなリアルタイムのモアレアラートを行う処理例を示している。なお、図１５は図６で説明したステップＳ１０からステップＳ６０に加えて、ステップＳ７０以降が行われるようにしたものである。
上述したようにレンダリングエンジン５２０はフレームタイミング毎にステップＳ３０からステップＳ６０までの処理を行う。これにより背景映像ｖＢがＬＥＤウォール５０５に表示される。

レンダリングエンジン５２０はステップＳ７０で判定機会であるか否かを監視する。先の図１４のステップＳ４０１と同様であるが、この場合は、例えば実際のカメラトラッカー５６０から取得したカメラ５０２の位置や、撮影情報を取得することで、判定機会であるか否かをチェックする。
そして判定機会であればステップＳ７１に進み判定処理を行う。
なお、ステップＳ７０のチェックを行わず、毎フレームで判定処理を行ってもよい。

ステップＳ７２でレンダリングエンジン５２０は判定処理の結果を確認し、モアレ等が発生していると判定した場合は、ステップＳ７３でモアレアラートを出力させる処理を行う。例えばレンダリングエンジン５２０はモアレアラートの情報をカメラ５０２に送信し、ビューファインダーなどにおいてモアレアラートが表示されるようにする。或いはモニタ５５０等にモアレアラートが表示されるようにしてもよい。

以上により、カメラマン５１２は、撮影中に現在モアレが発生していると認識して対処することができる。例えばカメラ位置を移動させたり、フォーカス調整を行ったりして対処できる。

以上は撮影中の判定処理であるが、撮影システム５００において撮影準備中も、同様の処理が可能である。また撮影準備中などで、背景映像ｖＢのレンダリングを行っていない期間、即ちＬＥＤウォール５０５に背景映像ｖＢを表示させていない期間でも、カメラ５０２の位置に応じてモアレ等が発生するか否かの判定を行うこともできる。ＬＥＤパネル５０６のＬＥＤの間隔、カメラ５０２のイメージセンサの画素間隔、光学ＬＰＦの特性は予め取得でき、またカメラ５０２のレンズの焦点距離、Ｆ値、合焦距離、ＬＥＤパネル５０６とカメラ５０２の距離は、カメラトラッカー５６０からの撮影情報として取得できるためである。

＜４．判定処理＞
以上のような判定部３６や判定部５２０ｄで実行する判定処理について詳述する。
まずカメラのイメージセンサ上にできる像の大きさの計算について説明する。

図１６には、レンズ２１の光軸、被写体ＡＡ’、実像ＢＢ’の関係を示している。レンズ２１は例えばカメラ５０２の１又は複数のレンズを概念的に示すものとする。

光軸に平行にレンズ２１に入射した光（図の線分Ａ’Ｏ’）はレンズ２１の焦点Ｃを通る。一方、レンズ２１の中心Ｏを通った光（図の線分Ａ’Ｏ）はそのまま直進する。この両者の交わった点Ｂ’に実像ができる。
レンズ２１と被写体の距離を「ｓ」、レンズ２１の焦点距離を「ｆ」、レンズ２１と実像の距離を「ｉ」とする。
△ＡＯＡ’と△ＢＯＢ’が相似であるので、次の（数１）が成り立つ。なお「△」は三角形を表し、例えば「△ＡＯＡ’」は図におけるＡ点、Ｏ点、Ａ’点を頂点とする三角形である。

また、△ＯＣＯ’と△ＢＣＢ’が相似であるので（数２）が成り立つ。

そして線分ＡＯと線Ａ’Ｏ’が平行であるので
ＡＡ’＝ＯＯ’
であり、以上からｉを消去すると次のようになる。

従って、カメラ５０２のイメージセンサ上にできる像の倍率はレンズ２１から被写体までの距離ｓとレンズ２１の焦点距離ｆから上記（数３）で計算できる。

また、（数１）（数２）の相似の関係式からレンズの公式である（数４）が導かれる。

なお、ｓ＜ｆの場合は実像を結ばない。ｓ→ｆでｉ→∞となるため、物理的な制約からｓ＞ｆとなる。

次に像のぼけについて説明する。
一般に、固体撮像素子を用いたカメラでは、レンズとイメージセンサの間に光学ＬＰＦを挿入し、イメージセンサの画素での標本化による折り返し歪を抑制している。
図１７にはレンズ２１、イメージセンサ２０の間に光学ＬＰＦ２２が配置される様子を示している。

光学ＬＰＦ２２は方解石や水晶等の様に偏光によって屈折率が異なる物質を用いて、複屈折により像を２重にしてぼかすものである。
図１８は光学ＬＰＦ２２による複屈折を示している。「ｂ」で示す幅は、光学ＬＰＦ２２の特性により像がずれる量（ボケ量）であり、説明上「ずらし量ｂ」と表記する。
被写体の像が図１８のようにずらし量ｂの２重像になったとすると、その周波数特性は、フーリエ変換をして次のようになる。

振幅特性は√｛（実数部）＾２＋（虚数部）＾２ ｝であるので、次のようになる。なお、「＾」はべき乗を表し、「＾２」は２乗の意味である。
ωは角周波数で、２π×空間周波数である。

一般的には、画素の標本化周波数に零点を入れる為にずらし量ｂは画素の幅の１／２とするが、帯域幅を狭めたり広めたりしているカメラもある。また、光学ＬＰＦ２２を重ねて、二つの周波数に零点を持たせることもある。例えばずらし量ｂとずらし量ｂ’の２つの光学ＬＰＦ２２が重なっている場合の振幅特性は積の形となり、次のようになる。

イメージセンサ２０のフォトダイオードは、感度を稼ぐためにオンチップレンズ（On Chip Lens）で集光させている。配線等でのけられは無視できて、図１９のように幅Ｗｓの画素２０Ｐに入射した光がすべてフォトダイオードに集められるとすると、周波数特性はフーリエ変換して次のようになる。

ここで、像をぼかして、レンズ２１を通った光が一点に集まらずに直径δの円状に広がっているとする。
図２０ではレンズ２１と絞り２３とともに、像のぼかしの様子を示している。
被写体が位置Ａにあり、その実像が位置Ｂにできるとする（実線）。
また図示のように、レンズ２１から被写体までの距離を「ｓ」、レンズ２１から実像までの距離を「ｉ」、レンズ２１の焦点距離を「ｆ」、絞り２３で絞られたレンズ２１の口径を「ｄ」（ＯＯ’の長さ）とする。

一点鎖線で示したように、被写体よりも距離Δｓｆだけ後方の位置Ａｆに焦点を合わせると、実像は位置Ｂよりも距離Δｉｆだけ前方の位置Ｂｆにでき、位置Ｂでは直径δにぼける。
また、破線で示したように被写体よりも距離Δｓｎだけ前方の位置Ａｎに焦点を合わせると、実像は位置Ｂよりも距離Δｉｎだけ後方の位置Ｂｎにでき、位置Ｂでは直径δにぼける。

以上の実線、一点鎖線、破線で示したそれぞれの場合の、被写体までの距離と実像までの距離と焦点距離の関係式は、先の（数４）を元に次のようになる。

そして△ＯＢｆＯ’と△Ｂ’ＢｆＢ”が相似なので次のようになる。

また、△ＯＢｎＯ’と△Ｂ’ＢｎＢ”が相似なので次のようになる。

レンズ２１のＦ値を「Ｆ」とすると、定義から次のようになる。

そこで以上からｉ、Δｉｆ、Δｉｎ、ｄを消去すると直径δは次のように表される。

レンズ２１の合焦距離ｌを考えると次の様に書き換えられる。なお合焦距離は撮影距離という言い方もあるが、被写体に焦点を合わせたときのレンズと被写体の間の距離の事である。以下、合焦距離で統一する。

実際の被写体までの距離ｓに対して、レンズ２１の焦点をずらして合焦距離を「ｌ」にしたときのぼけの直径δは、上記（数１４）の通り、距離ｓ、合焦距離ｌに加えてレンズ２１の焦点距離ｆ、レンズ２１のＦ値Ｆから計算することができる。（数４）の説明で述べたようにｓ＞ｆで、またｌ＞ｆであり、さらにＦ値Ｆも零にならないので、ｆ＞０であれば（数１４）の分母は零になることはない。

直径δの円状にぼけたときの周波数特性は、フーリエ変換により次のように計算できる。

但しこの積分を解くのが難しいので、図２１の破線の様に正十二角形で近似させると、次の様に部分積分の公式で計算することができる。

ここでは直径δの円の中は均一な明るさにぼけているとして計算しているが、実際には光束がレンズの内部でけられたりして丸くならない場合もある。しかしながら、芸術作品を撮る様な高額なレンズでは奇麗に丸くぼけるものが多いので、この計算式を適用することとする。

ＬＥＤパネル５０６は、なるべくＬＥＤの面積を狭くして、黒い下地の面積を広くしてコントラスト比を稼いでいる。このため、ＬＥＤパネル５０６を撮影すると、図２２の様に写る。図は、ＬＥＤパネル５０６をカメラ５０２で撮影したときのイメージセンサ２０上のＬＥＤの像として、６個のＬＥＤのが並んでいる部分を示している。図の白い正方形がＬＥＤの像であるとしている。

今、ＬＥＤパネル５０６の実際のＬＥＤの間隔を「Ｗｐ」、カメラ５０２とＬＥＤパネル５０６の距離を「ｐ」、レンズ２１の焦点距離を「ｆ」とすると、カメラ５０２のイメージセンサ２０上にできるＬＥＤの像の間隔は、上述の（数３）をもとに次の（数１７）のように表される。

このような間隔の像が、光学ＬＰＦ２２によるずらし量ｂだけ離れた２重像になる。但し実際の画素は２次元に配列されているため、実際には縦横に分割されて、図２３に示すように、上下左右の４重の像となる。

これが直径δでぼけると四角いＬＥＤの像が俵型になる。そしてＬＥＤのぼけた像どうしがいくつ重なるかで、図２４の様に明るさのムラが生じ、それがモアレ等のアーティファクトの原因となる。

これを図２５のように画素の間隔Ｗｓのイメージセンサ２０で撮像する。画素の範囲内に入った光の積分値が画素の出力となる。
その結果が図２６の様に各画素が感じた明るさの差となる。ＬＥＤの像とイメージセンサの画素の位置関係で微妙な明るさが変わるのでＬＥＤの像の間隔よりも長い低周波のモアレが観測される。

このＬＥＤの像が光学ＬＰＦ２２と、画素での積分効果、レンズ２１でのぼけによってどの程度抑圧されるかを考える。

ＬＥＤの像の繰り返し周波数はＬＥＤの像の間隔の逆数であるので、角周波数ωは以下の式で計算できる。

光学ＬＰＦ２２による２重像の間隔（ずらし量ｂ）を考えると、光学ＬＰＦ２２の振幅Ａｆは上述の（数６）より次の（数１９）で計算できる。

イメージセンサ２０の画素の間隔Ｗｓにより、画素での積分効果による振幅Ａｐは上述の（数８）より次の（数２０）で計算できる。

レンズ２１のぼけによる振幅Ａｂは、レンズ２１のＦ値Ｆ、レンズ２１の合焦距離ｌにより、上述の（数１４）（数１５）より、凡そ以下の式で計算できる。

画素の間隔Ｗｓ、ずらし量ｂはカメラ５０２の機種によって決まる定数、ＬＥＤパネル５０６のＬＥＤの間隔ＷｐはＬＥＤパネル５０６の機種によって決まる定数である。従って光学ＬＰＦ２２の振幅Ａｆ、及び画素での積分効果による振幅Ａｐはカメラ５０２とＬＥＤパネル５０６の距離ｐ、レンズ２１の焦点距離ｆによって変わる。

レンズ２１のぼけによる振幅Ａｂはωδ（ω：角周波数、δ：ぼけの直径）の関数になる。上述の（数１８）（数２１）よりωδは以下の式で計算できる。

従って振幅Ａｂは、カメラ５０２とＬＥＤパネル５０６の距離ｐと焦点距離ｆに加えて更にレンズ２１のＦ値Ｆ、レンズ２１の合焦距離ｌによっても変わる。

ＬＥＤの像の振幅Ａは、次のように計算できる。

この振幅Ａが十分に減衰して、ある閾値よりも小さくなればモアレ等のアーティファクトは発生しない判定できる。

ぼけによる振幅Ａｂは上述の（数２１）（数２２）より、次のとおり（ωδ）の関数として表せる。

横軸にωδ、縦軸に振幅Ａｂをとったグラフを書くと、図２７の様に単調に減少せず、極大値と極小値がいくつもあるグラフとなる。
撮影の現場でレンズ２１の焦点をずらしてモアレ等のアーティファクトを消そうとするときに、例えばフォーカスリングをまわしてレンズ２１の合焦距離ｌが変わるのにつれて振幅Ａｂが減ったり増えたりする（極小値、極大値が繰り返される）と混乱のもととなる。また振幅Ａｂの計算式は前述のとおり近似式であり、厳密な計算ではない。

そこでωδに応じて振幅Ａｂが単調に減衰する様な関数に置き換える方が現場では使いやすくなる。
振幅は大きめに見積もるほうがモアレ等のアーティファクト発生の警告の用途としては余裕が出るので、図２８の実線の様に極大値をなぞる様な包絡線の形で近似させることを考える。

具体的には次のように、ωδ＜6.487887の場合から、86.34829≦ωδの場合までの各範囲の近似式で求めるようにする。なお、6.487887?ωδ＜17.240423から63.501086≦ωδ＜86.34829までの各範囲は一次式で近似している。

なお、経験上、０．５％以下に抑圧すればだいたいモアレ等は見えなくなるので、この程度で打ち切って良いと考えられる。

ところで、カメラ５０２とＬＥＤパネル５０６の相対的な位置関係を考えると、パネル面とイメージセンサ面が互いに並行となるように正対していることは稀であり、実際には図２９の様にカメラ５０２がＬＥＤパネル５０６を斜めの方向から撮影していることが多い。このような場合、カメラ５０２とＬＥＤパネル５０６の距離ｐはパネル内の場所によって変わる。

通常はＬＥＤパネル５０６よりも手前側の被写体（演者５１０等）に焦点を合わせるので、レンズ２１の合焦距離ｌは距離ｐよりも短くなる。そのため、ぼけによる振幅Ａｂはカメラ５０２に写っている範囲の最短の距離ｐで最大になることが予想される。

しかしながら、浅い角度で広角レンズを使っている場合はｌ＞ｐとなる場合も考えられ、振幅Ａｆ、振幅Ａｐは距離ｐの増加に対して単調に減少するのではないので、必ずしも最短の距離ｐでＬＥＤの像の振幅Ａが最大になるとは限らない。

そこで図２９のようにカメラ５０２がＬＥＤパネル５０６を斜め方向から撮影している場合は、カメラ５０２に写っている範囲の最短の距離ｐと、カメラ５０２に写っている範囲の最長の距離ｐの間を細かく刻んでＬＥＤの像の振幅Ａを計算し、その最大値を用いてモアレ等のアーティファクトが出るかどうかの判定に用いるようにする。

ＬＥＤパネル５０６が平面でなく、曲面であっても同様に、カメラ５０２に写っている範囲の最短の距離ｐと、カメラ５０２に写っている範囲の最長の距離ｐの間を細かく刻んでＬＥＤの像の振幅Ａを計算し、その最大値を用いてモアレ等のアーティファクトが出るかどうかの判定に用いる。

図３０は、先に図１６と概略同様にレンズ２１を介した像を示している。被写体側のカメラに映る範囲ｒは、レンズ２１の合焦距離ｌ、レンズ２１の焦点距離ｆ、イメージセンサ２０の撮像面の幅ｗにより、上述の（数３）を用いて次の（数２６）のようになる。

従って、図２１の角度θは以下の式で計算できる。
そしてカメラ５０２に写る範囲は、レンズ２１の光軸から±θの角度の範囲となる。

図３１の様に、カメラ５０２に写る範囲が光軸に対して±θの角度で、ＬＥＤパネル５０６が光軸に対してΦ（≦９０°）の角度で傾いている場合、光軸に沿ったカメラ５０２とＬＥＤパネル５０６の距離ＡＤと、カメラ５０２に写る範囲の端の距離ＡＢ、ＡＣの長さの関係式は次の様になる。

カメラ５０２からＬＥＤパネル５０６におろした垂線の足を「Ｈ」とすると、カメラ５０２とＬＥＤパネル５０６の最短距離はＡＨとなる。

Φ≧９０°－θの場合、垂線の足Ｈはカメラ５０２に写る範囲内に入るので、カメラ５０２とＬＥＤパネルの最短距離は距離ＡＨとなる。
ぼけの直径δの計算では、図１６や図２０の様に光軸上の距離を用いるので、垂線の足Ｈから光軸におろした垂線の足Ｇまでの距離ＡＧを使う。距離ＡＧは次のようになる。

Φ＜９０°－θの場合は、垂線の足Ｈはカメラ５０２に写る範囲外になるので、カメラ５０２とＬＥＤパネル５０６の最短距離は距離ＡＢとなる。ぼけの直径δの計算では光軸上の距離を用いるので、点Ｂから光軸におろした垂線の足Ｅまでの距離ＡＥとなる。

そしてカメラ５０２とＬＥＤパネル５０６の最長距離は距離ＡＣとなる。ぼけの直径δの計算では光軸上の距離を用いるので点Ｃから光軸におろした垂線の足Ｆまでの距離ＡＦとなる。

イメージセンサ２０上の距離は、画素の寸法がわかっていれば画像から測ることができる。
図３２の様に、イメージセンサ２０上で光軸から距離ｄｓの位置に写っている点をレンズ２１から見た線（図の破線）と光軸のなす角度θは、レンズ２１の合焦距離ｌ、焦点距離ｆから、上述の（数３）を用いて次の（数３３）のようになる。

ここで撮影のためのカメラ５０２に加えて、距離測定のための補助カメラ５０２Ｓを備えると仮定する。補助カメラ５０２Ｓは、カメラ５０２に固定又は内蔵された付加的な撮像光学系によるものでもよいし、別体のカメラでもよい。

図３３の様に、互いに光軸が平行で距離ｄｃだけ離れたカメラ５０２と補助カメラ５０２Ｓで同じ点Ｐを撮像した時、それぞれのカメラ（５０２，５０２Ｓ）と点Ｐを結ぶ線ＡＰ、線ＢＰと、それぞれのカメラの光軸のなす角度がα、βであったとする。
点Ｐから２台のカメラ（５０２，５０２Ｓ）を結んだ線ＡＢにおろした垂線の足Ｈまでの距離ＰＨは以下の様に計算できる。

カメラ５０２と点Ｐの距離ＡＰ、補助カメラ５０２Ｓと点Ｐの距離ＢＰはそれぞれ以下の様に計算できる。

この様に、２台のカメラを用いて、撮像した画像から、任意の点までの距離を測定することができる。

図３４の様に点Ｐがカメラ５０２の光軸の外側に位置している場合は、角度が図３３と逆方向になるので負の値になるとして計算すればよい。

なお、ここまでは２台のカメラを用いた測距の例を示したが、測距センサを用いて測定することも可能である。またカメラトラッカー５６０の情報により距離の値を得ることも可能である。
さらにカメラ５０２の位置が固定的である場合は、実際に撮影現場において巻き尺等で距離を測って入力することもできる。

ここまで、モアレ等の発生の判定処理の考え方を説明してきた。以上の考え方によって情報処理装置７０が実行する判定処理の流れを図３５に示す。
ここでいう情報処理装置７０とは、例えば図１０の判定部３６或いは判定部５２０ｄとしての機能を備えた情報処理装置のことである。具体的には、図１０の例でいえばレンダリングエンジン３１とされる情報処理装置７０や、レンダリングエンジン５２０とされる情報処理装置７０である。他の情報処理装置であってもよい。

そして図３５の処理は、情報処理装置７０のＣＰＵ７１がモアレ等の判定のためのプログラムに従って実行する処理例である。

ステップＳ５０１でＣＰＵ７１は、ＬＥＤパネル５０６のＬＥＤの間隔Ｗｐを取得する。ＬＥＤの間隔Ｗｐは機種に応じて固定の値になる。ＣＰＵ７１は、他の機器との通信やオペレータ入力などにより、ＬＥＤパネル５０６の機種の情報を得て、機種に応じてＤＢを参照してＬＥＤの間隔Ｗｐを取得することができる。このため例えば不揮発性メモリ部７４や記憶部７９などに、ＬＥＤパネル５０６の機種に応じたＬＥＤの間隔Ｗｐを記憶するＤＢが備えられているようにする。
或いはＣＰＵ７１は、オペレータ等の入力や機器間の通信により、間隔Ｗｐの値を直接取得することも考えられる。

ステップＳ５０２でＣＰＵ７１は、カメラ５０２のイメージセンサ２０の画素間隔Ｗｓ、光学ＬＰＦのずらし量ｂを取得する。
これらはカメラ５０２の機種によって固定の値になる。ＣＰＵ７１は、他の機器との通信やオペレータ入力などにより、カメラ５０２の機種の情報を得て、機種に応じてＤＢを参照して画素間隔Ｗｓやずらし量ｂを取得することができる。このため例えば不揮発性メモリ部７４や記憶部７９などに、カメラ５０２の機種に応じたＬＥＤの間隔Ｗｐを記憶するＤＢが備えられているようにする。
或いはＣＰＵ７１は、オペレータ等の入力や機器間の通信により、画素間隔Ｗｓやずらし量ｂの値を直接取得することも考えられる。

ステップＳ５０３でＣＰＵ７１は、カメラ５０２のレンズ２１の焦点距離ｆ、Ｆ値Ｆ、合焦距離ｌを取得する。
例えばＣＰＵ７１は、カメラ５０２（レンズ鏡筒）との通信により、これらの値を取得できる場合もあるし、鏡筒に表示された数値などについてのオペレータ入力によるものとすることもできる。

ステップＳ５０４でＣＰＵ７１は、カメラ５０２とＬＥＤパネル５０６の距離ｐを取得する。例えば上述の最短距離ｐｍｉｎと最長距離ｐｍａｘを取得する。

先の図３３のようにカメラ５０２と光軸が平行で距離ｄｃだけ離れて設置された補助カメラ５０２Ｓを用いて、カメラ５０２の光軸に沿った距離を測定する手順を以下（i）から（v）として示す。
図３３で、α＝０とすると、線分ＡＰの長さがカメラ５０２の光軸に沿った距離となる。

（i）
カメラ５０２から光軸中心付近の何画素かの画素値を取得する。

（ii）
補助カメラ５０２Ｓの全画素の画素値を取得する。
カメラ５０２のレンズ２１の焦点距離を「fmain」、合焦距離を「lmain」、イメージセンサ２０の画素寸法を「Wsmain」とする。
補助カメラ５０２Ｓのレンズ２１の焦点距離を「fsub」、合焦距離を「lsub」、イメージセンサ２０の画素寸法を「Wssub」とする。

カメラ５０２の画像は上述の（数３）から実際の寸法のfmain／（lmain－fmain）倍になり、画素寸法Wsmainの間隔で標本化されている。
補助カメラ５０２Ｓの画像は（数３）から実際の寸法のfsub／（lsub－fsub）倍になり、画素寸法Wssubの間隔で標本化されている。
従って、補助カメラ５０２Ｓから取得した画像を次の倍率で拡大若しくは縮小しなくてはならない。

逆に、上記（i）で取得した部分的な画像を補助カメラ５０２Ｓに合わせて拡大若しくは縮小しても構わないが、その場合は上記の倍率の逆数を用い、下記（iii）以降の計算に用いる焦点距離、合焦距離、画素寸法は補助カメラ５０２Ｓのものを使う。

（iii）
補助カメラ５０２Ｓの画素値に対して画面左上から右下に向かって、カメラ５０２から取得した光軸中心付近の画素値との相互相関関数を計算し、最大となる座標を探索する。

（iv）
補助カメラ５０２Ｓの光軸中心の画素位置と相互相関関数が最大となる座標との距離を求め、イメージセンサ２０の画素寸法Wsmainを乗じて距離ｄｓを求める。

（v）
上述の（数３４）（数３５）でα、βについて次のように代入する。

以上のα、βを（数３５）の線分ＡＰの計算式に代入し、カメラ５０２の光軸に沿ったＬＥＤパネル５０６までの距離ｐａを次の計算式で求める。

同様に（i）～（v）の手順でカメラ５０２と補助カメラ５０２Ｓの双方から見える範囲で、カメラ５０２の光軸からなるべく大きな角度θ’で見えているＬＥＤパネル５０６上の点までの距離ｐｂを求める。
ＬＥＤパネル５０６とカメラ５０２の光軸のなす角度Φにより距離ｐｂは次のようになる。

従って角度Φは以下の式で計算できる。

カメラ５０２から見える範囲が光軸に対して±θの角度の範囲であるとすると、カメラ５０２とＬＥＤパネル５０６の最短距離ｐｉｎと最長距離ｐｍａｘは以下の式で計算できる。角度Φは図３１では９０°以下であるが、９０°を超える場合でも最大値、最小値は同じ式で計算できる。しかし角度を測る方向を間違える恐れも考慮して以下の様に計算する。

例えば以上の処理で、図３５のステップＳ５０４においてＣＰＵ７１は、カメラ５０２とＬＥＤパネル５０６の最短距離ｐｍｉｎと最長距離ｐｍａｘを取得する。
但しこの最短距離ｐｍｉｎと最長距離ｐｍａｘは、測距センサの検出によってもよいし、カメラトラッカー５６０の情報に基づいて取得してもよい。さらにはオペレータ入力によってもよい。

ステップＳ５０５でＣＰＵ７１は、計算に用いる変数としての距離ｐに最短距離ｐｍｉｎを代入する。また振幅最大値Ａmaxに「０」を代入する。

ステップＳ５０６からステップＳ５１０では、ＣＰＵ７１は、距離ｐが最長距離ｐｍａｘを越えるまで、距離ｐの値を漸増させながら、振幅特性を計算する処理を行う。

先ずステップＳ５０６でＣＰＵ７１は振幅特性（振幅Ａ）を計算する。
このためＣＰＵ７１は角周波数ωを上述の（数１８）により計算する。

またＣＰＵ７１は光学ＬＰＦ２２による振幅特性（振幅Ａｆ）、画素での積分効果による振幅特性（振幅Ａｐ）をそれぞれ上述の（数１９）（数２０）の式で計算する。

またＣＰＵ７１は、焦点をぼかしたことによるぼけの直径δを上述の（数１４）の式で計算する。

そしてＣＰＵ７１は、（ωδ）の値に応じて、ぼけによる振幅Ａｂを上述の（数２５）により計算する。

振幅特性（振幅Ａ）はそれぞれの積（Ａ＝Ａｆ・Ａｐ・Ａｂ）となる。

最初は、距離ｐ＝最短距離ｐｍｉｎであるので、最短距離ｐｍｉｎにおける振幅Ａが求められる。
ステップＳ５０７でＣＰＵ７１は、算出した振幅Ａが、その時点の振幅最大値Ａmaxより大きければ、ステップＳ５０８で今回算出した振幅Ａを振幅最大値Ａmaxに代入する。

ステップＳ５０９でＣＰＵ７１は、距離ｐを漸増させる。
ステップＳ５１０でＣＰＵ７１は、距離ｐが最長距離ｐｍａｘを越えたか否かを判定し、越えていなければステップＳ５０６に戻る。そして漸増させた距離ｐで振幅Ａを計算する。
ステップＳ５１０で距離ｐが最長距離ｐｍａｘを越えていればステップＳ５１０からステップＳ５１１に進む。

従って、ステップＳ５０６からステップＳ５１０で、最短距離ｐｍｉｎから最長距離ｐｍａｘの範囲で、ある刻み幅の距離毎に振幅Ａが求められ、その中の最大値が振幅最大値Amaxとされる。

ステップＳ５１１でＣＰＵ７１は、振幅最大値Amaxと閾値Ａｔｈを比較する。
振幅最大値Amaxが閾値Ａｔｈを越えていなければ、ＣＰＵ７１は、モアレ等は発生しないとして判定処理を終える。

振幅最大値Amaxが閾値Ａｔｈを越えていれば、ＣＰＵ７１はモアレ等が発生すると判定して、ステップＳ５１２でモアレ発生判定処理を行う。
例えばモアレ発生判定としてのデータ、フラグ等の情報をセットする。これらの情報は、撮影映像ｖＣやシミュレーション映像ｖＳＭなどの映像データやカメラ設定情報ＣＳなどに対応づけて、記憶媒体に保存してもよいし、例えばクラウドサーバ４１等に送信されるようにしてもよい。また撮影映像ｖＣとしての映像データに対してメタデータとして付加されるようにしてもよい。

例えば図１４のステップＳ４０２や図１５のステップＳ７１で、この図３５の処理が行われることで、その後、図１４のステップＳ４０４や図１５のステップＳ７３でモアレアラート制御が行われる場合がある。

なお図３５のステップＳ５１１で用いる閾値Ａｔｈは、現場で調整した上で決めることが考えられる。編集の際にコントラストが強まったり弱まったりすることがあるし、出来上がった作品を鑑賞する環境によっても変わる。最終形態でモアレ等が目立たない値になるように閾値Ａｔｈを決めればよい。

ところで、ＬＥＤウォール５０５は曲面上に設置されている様にみえる場合もあるが、そのようなＬＥＤウォール５０５も、実際には図３６の様に小さな平面状のＬＥＤパネル５０６を組み合わせて設置されている。
従って、ＬＥＤパネル５０６ごとに上述の計算をすればモアレ等のアーティファクトの発生を予測することができる。

またモアレは鑑賞用途には妨害にしかならないが、図３７の様に、ＬＥＤパネル５０６の継ぎ目における微妙なＬＥＤの位置のずれがモアレによって拡大されて見える。これを活用することで、ＬＥＤウォール５０５の設営の際のＬＥＤパネル５０６の継ぎ目の位置調整には大いに役立つ。

即ち設営時に、図のようにＬＥＤウォール５０５をカメラ５０２で撮影し、例えばアウトプットモニタ５０３で観察する。するとモアレによって、ＬＥＤパネル５０６のずれが明確に現れる。これはイメージセンサ２０上にできるＬＥＤの像の間隔とイメージセンサ２０の画素の間隔が微妙に違っている場合、ノギスの主尺と副尺の関係と同様に微小なずれが拡大されて見えるためである。
このような使用を考えた場合、敢えてモアレを発生させるようにするための条件を探すために、上述の判定処理を行うことが好適となる。

図３８は判定処理の他の例を示している。
先の図３５の処理は、最短距離ｐｍｉｎから最長距離ｐｍａｘまでの間で振幅最大値Amaxを求め、これを閾値Ａｔｈと比較するため、単にモアレが発生するか否かの判定となっていた。これに対して図３８は、最短距離ｐｍｉｎから最長距離ｐｍａｘの範囲のうちで、どの距離の範囲でモアレが発生するかを判定する例である。これは撮影映像ｖＣの面内のどの範囲にモアレ等が生ずるかを判定することにもなる。

図３８においてステップＳ５０１からステップＳ５０４は図３５と同様である。
図３８のステップＳ５２０ではＣＰＵ７１は、計算のための変数としての距離ｐに最短距離ｐｍｉｎを代入する。
またＣＰＵ７１は、モアレ発生を示すフラグＦＭに「０」を代入する。フラグＦＭ＝０はモアレ等が発生しないことを示し、フラグＦＭ＝１はモアレ等が発生することを示すこととする。
またＣＰＵ７１は、変数ＰＭｍｉｎに最長距離ｐｍａｘを代入し、変数ＰＭｍａｘに最短距離ｐｍｉｎを代入する。変数ＰＭｍｉｎは、モアレが発生する範囲の最短距離を示す変数であるが、この初期値を最長距離ｐｍａｘとしておく。また変数ＰＭｍａｘは、モアレが発生する範囲の最長距離を示す変数であるが、この初期値を最短距離ｐｍｉｎとしておく。

以上のように初期値を設定した後、ステップＳ５２１からステップＳ５２９では、ＣＰＵ７１は、距離ｐが最長距離ｐｍａｘを越えるまで、距離ｐの値を漸増させながら、振幅特性を計算する処理を行う。

先ずステップＳ５２１でＣＰＵ７１はその時点の距離ｐで振幅特性（振幅Ａ）を計算する。振幅Ａの計算は図３５のステップＳ５０６と同様である。

ステップＳ５２２でＣＰＵ７１は、計算した振幅Ａを閾値Ａｔｈと比較する。この閾値Ａｔｈは、図３５のステップＳ５１１で用いた閾値Ａｔｈであり、これを越えるとモアレ等が発生すると判定する閾値である。

振幅Ａが閾値Ａｔｈを越えていなければ、ＣＰＵ７１はステップＳ５２８で距離ｐを漸増させ、さらにステップＳ５２９で距離ｐが最長距離ｐｍａｘを越えたか否かを判定し、越えていなければステップＳ５２１に戻る。

ステップＳ５２２で振幅Ａが閾値Ａｔｈを越えていた場合は、ＣＰＵ７１はステップＳ５２３に進み、フラグＦＭ＝１とする。

ステップＳ５２４でＣＰＵ７１は、距離ｐが変数ＰＭｍｉｎ以下であるか否かを判定する。
ｐ≦ＰＭｍｉｎであれば、ＣＰＵ７１はステップＳ５２５で変数ＰＭｍｉｎに距離ｐを代入する。変数ＰＭｍｉｎは初期値が最長距離ｐｍａｘとなっており、距離ｐは最短距離ｐｍｉｎから漸増されるため、最初にＡ＞Ａｔｈとされたときの距離ｐが変数ＰＭｍｉｎに代入されることになる。そしてステップＳ５２６に進む。
ｐ≦ＰＭｍｉｎでなければ、ＣＰＵ７１はステップＳ５２５をパスしてステップＳ５２６に進む。

ステップＳ５２６でＣＰＵ７１は、距離ｐが変数ＰＭｍａｘ以上であるか否かを判定する。
ｐ≧ＰＭｍａｘであれば、ＣＰＵ７１はステップＳ５２７で変数ＰＭｍａｘに距離ｐを代入する。変数ＰＭｍａｘは初期値が最短距離ｐｍｉｎとなっており、距離ｐは最短距離ｐｍｉｎから漸増されるため、最初にＡ＞Ａｔｈとされた以降、距離ｐが漸増されてＡ＞Ａｔｈの状態が継続している期間は、変数ＰＭｍａｘは各時点の距離ｐに更新されていく。そしてステップＳ５２８に進む。
ｐ≧ＰＭｍａｘでなければ、ＣＰＵ７１はステップＳ５２７をパスしてステップＳ５２８に進む。

以上の処理をＰ＞Ｐｍａｘとなるまで繰り返したら、ＣＰＵ７１はステップＳ５２９からステップＳ５３０に進む。この時点でフラグＦＭ＝０であれば、モアレ等は発生しないと判定されることになる。

一方、フラグＦＭ＝１であれば、モアレ等が発生すると判定される。この場合ＣＰＵ７１はステップＳ５３１に進み、モアレ発生判定処理を行う。
例えばモアレ発生判定及び発生範囲を示すデータ、フラグ等の情報をセットする。モアレが発生する範囲とは、変数ＰＭｍｉｎで示される距離から変数ＰＭｍａｘで示される距離の範囲である。換言すれば、この距離範囲に該当する画像の面内の領域でモアレ等が発生する。

これらのモアレ発生判定及び発生範囲の情報は、映像データやカメラ設定情報ＣＳなどに対応づけて、例えばクラウドサーバ４１等に送信されるようにしてもよい。また撮影映像ｖＣやシミュレーション映像ｖＳＭなどの映像データに対してメタデータとして付加されるようにしてもよい。

＜５．まとめ及び変形例＞
以上の実施の形態によれば次のような効果が得られる。

実施の形態におけるレンダリングエンジン３１、５２０として機能する情報処理装置７０は、ＬＥＤパネル５０６の発光素子であるＬＥＤの間隔Ｗｐと、カメラ５０２のイメージセンサ２０の画素間隔Ｗｓと、光学ＬＰＦ２２の特性（ずらし量ｂ）と、レンズ２１の焦点距離ｆ、Ｆ値Ｆ、合焦距離ｌと、ＬＥＤパネル５０６とカメラ５０２の距離ｐと、を用いて、撮影映像ｖＣにアーティファクトが発生するか否かの判定処理を行う判定部（３６，５２０ｄ）を備える。
これにより撮影の現場で、或いは撮影前の検討の段階で、取得可能な数値を元にしてモアレ等のアーティファクトが生じるかどうかを予測することができる。そして撮影の事前検討段階や撮影現場の準備段階でアーティファクトを予測するできることで、撮影時の作業を効率化できる。
モアレ等のアーティファクトとしては、モアレ、グリッド、カラーシフトなどについて判定できる。
また判定のためのＬＥＤパネル５０６側の要素としてはＬＥＤの間隔を用いるものであり映像内容に関わらない。従ってＬＥＤウォール５０５に映像を表示させていない状態でも、例えばカメラ位置に応じてのモアレ判定が可能である。

実施の形態では、判定部（３６，５２０ｄ）は、イメージセンサ２０上における発光素子の像の振幅Ａを求め、求めた振幅Ａと閾値Ａｔｈを比較することでアーティファクト発生有無を判定するものとした（図３５，図３８参照）。
例えば被写体のぼけた像同士がいくつ重なるかで明るさのムラが生じ、それがモアレ等のアーティファクトの原因となる。そこでＬＥＤパネル５０６の実際のＬＥＤについてのイメージセンサ２０上の像について振幅を求める。この振幅が大きければ、モアレ等が発生すると判定できる。

実施の形態では、判定部（３６，５２０ｄ）は、ＬＥＤパネル５０６とカメラ５０２の最短距離ｐｍｉｎと最長距離ｐｍａｘを取得し、最短距離ｐｍｉｎと最長距離ｐｍａｘを用いて判定処理を行う例を挙げた（図３１，図３５，図３８参照）。
ＬＥＤパネル５０６とカメラ５０２は、必ずしも正対した位置関係ではなく、むしろ斜め方向に対峙していることの方が多い。その場合、ＬＥＤウォール５０５（ＬＥＤパネル５０６）の表示面に対するカメラ５０２の距離として最短距離と最長距離が生ずる。この範囲でモアレ判定を行うことで、カメラ５０２の位置や方向の状態に関わらず、モアレ等の発生を適切に判定できる。

実施の形態では、判定部（３６，５２０ｄ）は、撮影映像ｖＣにおいてアーティファクトが発生する範囲の判定を行う例を挙げた（図３８参照）。
即ち撮影映像ｖＣの面内の範囲において、どのあたりにモアレが発生しているかを判定する。このような判定結果も、各種の設定変更や撮影準備などに生かすことができる。
図３８のような処理によれば、最短距離ｐｍｉｎから最長距離ｐｍａｘの間で、どの範囲でモアレが発生するかを判定できる。

実施の形態では、判定部（３６，５２０ｄ）は、アーティファクト発生と判定したことに応じて警告処理を行う例を挙げた（図１４，図１５参照）。
例えばプレビジュアライゼーション段階で視聴しているスタッフ等に警告処理を行うことで、事前準備においてモアレ等が生じないように対処できるようになる。また撮影準備の段階でスタッフに警告を行うことでも同様である。
さらに撮影中にモアレ発生と判定した場合に、カメラマン５１２等に警告を与える表示等を行うことで、カメラマン５１２がフォーカスをぼかすなどの対処を即座に実行できることにもなる。

実施の形態では、判定部（３６，５２０ｄ）は、判定処理の判定結果情報をプロジェクトに関連づける処理を行う例を挙げた。この場合のプロジェクトとは、映像コンテンツの制作プロジェクトのことである。つまり撮影システム５００において撮影を行って制作する映像制作のプロジェクトである。なお、判定結果情報をプロジェクトに関連づけるとは、プロジェクトに対応する情報とすることや、当該プロジェクトの映像に関連づけた情報とすること等を含む。映像に関連づけるとは、映像コンテンツファイルの全体に対応する管理情報等として判定結果情報を関連づけることや、映像のフレームに対応する情報として判定結果情報を関連づけることを含む。
関連づける処理としては、関連づけた状態で記憶媒体に記憶する処理や、外部機器に送信する処理がある。
例えばモアレ発生の判定結果を示すデータ、フラグ等を映像に関連づけて記憶媒体に記憶する。或いはモアレ発生の判定結果を示すデータ、フラグ等が、カメラ設定に対応してクラウドサーバ４１に送信し、記憶されるようにする。これにより、例えばプレビジュアライゼーション段階でのモアレ判定結果を撮影準備などの際に参照できる。

実施の形態では、判定部（３６，５２０ｄ）は ＬＥＤの間隔Ｗｐ、イメージセンサ２０の画素間隔Ｗｓ、光学ＬＰＦ２２のずらし量ｂ、焦点距離ｆ、Ｆ値Ｆ、合焦距離ｌ、距離ｐとしての値の全部又は一部を、他の機器との通信により受信した情報に基づいて取得する例を述べた。
例えば判定部３６，５２０ｄは、これらのモアレ判定に必要な値を、ＬＥＤパネル５０６やカメラ５０２、或いはシステム上の情報処理装置との通信により取得する。或いは判定部３６，５２０ｄはＬＥＤパネル５０６やカメラ５０２の型番等を通信により取得し、型番に応じて、各値を求めてもよい。
これらにより判定部３６，５２０ｄは、自動的に必要な数値を得てモアレ判定を行うことができる。

実施の形態では、判定部（３６，５２０ｄ）は、最短距離ｐｍｉｎと最長距離ｐｍａｘまでの複数の距離の値において、イメージセンサ２０上におけるＬＥＤの像の振幅最大値Amaxと閾値Ａｔｈを比較し、振幅最大値Amaxが閾値Ａｔｈを越えた場合に、アーティファクト発生と判定する例を挙げた（図３５参照）。
これにより実際の距離関係において比較的シンプルな処理で、アーティファクト発生有無を判定できる。

実施の形態の撮影システム５００は、３Ｄモデルを用いたレンダリングにより得た仮想映像（背景映像ｖＢ）を表示するＬＥＤパネル５０６の映像をカメラ５０２で撮影するシステムである。
そして実施の形態の情報処理装置７０であるレンダリングエンジン３１は、判定部３６を備えることに加えて、レンダリング部３２と、映像処理部３３を備える。レンダリング部３２は、撮影システム５００で用いる３Ｄモデルを用いてレンダリングを行って仮想映像を生成する。映像処理部３３はレンダリング部３２で生成した仮想映像に対して、撮影システム５００で使用するカメラ５０２の撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像ｖＳＭを生成する。
即ちこれはプレビジュアライゼーションシステム７００におけるレンダリングエンジン３１について本技術を適用する場合の構成であり、レンダリングエンジン３１がレンダリング部３２、映像処理部３３に加えて判定部３６を備える構成である。これにより、プレビジュアライゼーション段階で、本番撮影の場合と同じ条件の映像においてモアレ等が発生するか否かを判定できることになる。

また実施の形態の情報処理装置７０であるレンダリングエンジン５２０は、レンダリング部５２０ａを備える。
即ちこれは撮影システム５００におけるレンダリングエンジン５２０について本技術を適用する場合の構成であり、レンダリングエンジン５２０が判定部５２０ｄを備える構成である。これにより、撮影準備や撮影の段階で、モアレ等が発生するか否かを判定できることになる。
なお撮影システム５００において、判定部５２０ｄのようなモアレ等を判定する判定部は、レンダリングエンジン５２０以外の情報処理装置内に設けられても良い。
例えば判定部は、図７のカメラ５０２内、ディスプレイコントローラ５９０内、オペレーションモニタ５５０側の制御ユニット内、或いは図示していない各種の制御・演算ユニット内などに設けられてもよい。

実施の形態のプログラムは、上述の図１４，図１５，図３５，図３８のような処理を、例えばＣＰＵ、ＤＳＰ等のプロセッサ、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、発光素子であるＬＥＤの間隔Ｗｐと、カメラ５０２のイメージセンサ２０の画素間隔Ｗｓと、光学ＬＰＦ２２のずらし量ｂと、レンズ２１の焦点距離ｆ、Ｆ値Ｆ、合焦距離ｌと、ＬＥＤパネル５０６とカメラ５０２の距離ｐと、を用いて、撮影映像ｖＣにアーティファクトが発生するか否かを判定する処理を情報処理装置７０に実行させるプログラムである。

このようなプログラムにより、実施の形態の判定処理を行う情報処理装置７０を、各種のコンピュータ装置により実現できる。

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。また、このようなプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態のレンダリングエンジン３１、５２０となる情報処理装置７０などのように判定処理を行う情報処理装置７０の広範な提供に適している。例えばパーソナルコンピュータ、通信機器、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの装置を本開示の情報処理装置７０として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
ディスプレイの映像をカメラで撮影する撮影システムにおける前記ディスプレイの発光素子の間隔と、前記カメラのイメージセンサの画素間隔と、前記カメラの光学ローパスフィルタの特性と、前記カメラのレンズの焦点距離、Ｆ値、合焦距離と、前記ディスプレイと前記カメラの距離と、を用いて、前記カメラの撮影映像にアーティファクトが発生するか否かの判定処理を行う判定部を備えた
情報処理装置。
（２）
前記判定部は、前記判定処理では、イメージセンサ上における前記発光素子の像の振幅を求め、求めた振幅と閾値を比較することでアーティファクト発生有無を判定する
上記（１）に記載の情報処理装置。
（３）
前記判定部は、前記ディスプレイと前記カメラの最短距離と最長距離を取得し、最短距離と最長距離を用いて前記判定処理を行う
上記（１）又は（２）に記載の情報処理装置。
（４）
前記判定部は、前記判定処理では、撮影映像においてアーティファクトが発生する範囲の判定を行う
上記（１）から（３）のいずれかに記載の情報処理装置。
（５）
前記判定部は、アーティファクト発生と判定したことに応じて警告処理を行う
上記（１）から（４）のいずれかに記載の情報処理装置。
（６）
前記判定部は、前記判定処理の判定結果情報をプロジェクトに関連づける処理を行う
上記（１）から（５）のいずれかに記載の情報処理装置。
（７）
前記判定部は、前記判定結果情報をプロジェクトに関連づけて記憶媒体に記憶する処理を行う
上記（１）から（６）のいずれかに記載の情報処理装置。
（８）
前記判定部は、前記判定結果情報をプロジェクトに関連づけて外部機器に送信する処理を行う
上記（１）から（７）のいずれかに記載の情報処理装置。
（９）
前記判定部は、前記ディスプレイの発光素子の間隔、前記カメラのイメージセンサの画素間隔、前記カメラの光学ローパスフィルタの特性、前記カメラのレンズの焦点距離、Ｆ値、合焦距離、前記ディスプレイと前記カメラの距離、としての値の全部又は一部を、他の機器との通信により受信した情報に基づいて取得する
上記（１）から（８）のいずれかに記載の情報処理装置。
（１０）
前記判定部は、
前記ディスプレイと前記カメラの最短距離と最長距離を取得し、
最短距離から最長距離までの複数の距離の値において、イメージセンサ上における前記発光素子の像の振幅の最大値と閾値を比較し、最大値が閾値を越えた場合に、アーティファクト発生と判定する
上記（１）から（９）のいずれかに記載の情報処理装置。
（１１）
前記撮影システムは、３Ｄモデルを用いたレンダリングにより得た仮想映像を表示するディスプレイの映像をカメラで撮影するシステムであり、
前記３Ｄモデルを用いてレンダリングを行って仮想映像を生成するレンダリング部と、
前記レンダリング部で生成した仮想映像に対して、前記撮影システムで使用するカメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成する映像処理部と、を備える
上記（１）から（１０）のいずれかに記載の情報処理装置。
（１２）
前記撮影システムは、３Ｄモデルを用いたレンダリングにより得た仮想映像を表示するディスプレイの映像をカメラで撮影するシステムであり、
前記３Ｄモデルを用いてレンダリングを行って前記ディスプレイで表示させる仮想映像を生成するレンダリング部を備える
上記（１）から（１０）のいずれかに記載の情報処理装置。
（１３）
情報処理装置が、
ディスプレイの映像をカメラで撮影する撮影システムにおける前記ディスプレイの発光素子の間隔と、前記カメラのイメージセンサの画素間隔と、前記カメラの光学ローパスフィルタの特性と、前記カメラのレンズの焦点距離、Ｆ値、合焦距離と、前記ディスプレイと前記カメラの距離と、を用いて、前記カメラの撮影映像にアーティファクトが発生するか否かの判定処理を行う
情報処理方法。
（１４）
ディスプレイの映像をカメラで撮影する撮影システムにおける前記ディスプレイの発光素子の間隔と、前記カメラのイメージセンサの画素間隔と、前記カメラの光学ローパスフィルタの特性と、前記カメラのレンズの焦点距離、Ｆ値、合焦距離と、前記ディスプレイと前記カメラの距離と、を用いて、前記カメラの撮影映像にアーティファクトが発生するか否かを判定する処理を
情報処理装置に実行させるプログラム。

２０ イメージセンサ
２１ レンズ
２２ 光学ＬＰＦ
３１ レンダリングエンジン
３２ レンダリング部
３３ 映像処理部
３５ 調整操作部
３６ 判定部
３７ 位置操作部
３８ 通信部
７０ 情報処理装置、
７１ ＣＰＵ
５００ 撮影システム
５０２ カメラ
５０２Ｓ 補助カメラ
５０５ ＬＥＤウォール
５０６ ＬＥＤパネル
５２０ レンダリングエンジン
５２０ｄ 判定部

Claims (14)

1. ディスプレイの映像をカメラで撮影する撮影システムにおける前記ディスプレイの発光素子の間隔と、前記カメラのイメージセンサの画素間隔と、前記カメラの光学ローパスフィルタの特性と、前記カメラのレンズの焦点距離、Ｆ値、合焦距離と、前記ディスプレイと前記カメラの距離と、を用いて、前記カメラの撮影映像にモアレが発生するか否かの判定処理を行う判定部を備えた
   情報処理装置。
2. 前記判定部は、前記判定処理では、イメージセンサ上における前記発光素子の像の振幅を求め、求めた振幅と閾値を比較することでモアレ発生有無を判定する
   請求項１に記載の情報処理装置。
3. 前記判定部は、前記ディスプレイと前記カメラの最短距離と最長距離を取得し、最短距離と最長距離を用いて前記判定処理を行う
   請求項１に記載の情報処理装置。
4. 前記判定部は、前記判定処理では、撮影映像においてモアレが発生する範囲の判定を行う
   請求項１に記載の情報処理装置。
5. 前記判定部は、モアレ発生と判定したことに応じて警告処理を行う
   請求項１に記載の情報処理装置。
6. 前記判定部は、前記判定処理の判定結果情報をプロジェクトに関連づける処理を行う
   請求項１に記載の情報処理装置。
7. 前記判定部は、前記判定結果情報をプロジェクトに関連づけて記憶媒体に記憶する処理を行う
   請求項６に記載の情報処理装置。
8. 前記判定部は、前記判定結果情報をプロジェクトに関連づけて外部機器に送信する処理を行う
   請求項６に記載の情報処理装置。
9. 前記判定部は、前記ディスプレイの発光素子の間隔、前記カメラのイメージセンサの画素間隔、前記カメラの光学ローパスフィルタの特性、前記カメラのレンズの焦点距離、Ｆ値、合焦距離、前記ディスプレイと前記カメラの距離、としての値の全部又は一部を、他の機器との通信により受信した情報に基づいて取得する
   請求項１に記載の情報処理装置。
10. 前記判定部は、
    前記ディスプレイと前記カメラの最短距離と最長距離を取得し、
    最短距離から最長距離までの複数の距離の値において、イメージセンサ上における前記発光素子の像の振幅の最大値と閾値を比較し、最大値が閾値を越えた場合に、モアレ発生と判定する
    請求項１に記載の情報処理装置。
11. 前記撮影システムは、３Ｄモデルを用いたレンダリングにより得た仮想映像を表示するディスプレイの映像をカメラで撮影するシステムであり、
    前記３Ｄモデルを用いてレンダリングを行って仮想映像を生成するレンダリング部と、
    前記レンダリング部で生成した仮想映像に対して、前記撮影システムで使用するカメラの撮影時の輝度又は色の特性を実現する処理パラメータを用いてシミュレーション映像を生成する映像処理部と、を備える
    請求項１に記載の情報処理装置。
12. 前記撮影システムは、３Ｄモデルを用いたレンダリングにより得た仮想映像を表示するディスプレイの映像をカメラで撮影するシステムであり、
    前記３Ｄモデルを用いてレンダリングを行って前記ディスプレイで表示させる仮想映像を生成するレンダリング部を備える
    請求項１に記載の情報処理装置。
13. 情報処理装置が、
    ディスプレイの映像をカメラで撮影する撮影システムにおける前記ディスプレイの発光素子の間隔と、前記カメラのイメージセンサの画素間隔と、前記カメラの光学ローパスフィルタの特性と、前記カメラのレンズの焦点距離、Ｆ値、合焦距離と、前記ディスプレイと前記カメラの距離と、を用いて、前記カメラの撮影映像にモアレが発生するか否かの判定処理を行う
    情報処理方法。
14. ディスプレイの映像をカメラで撮影する撮影システムにおける前記ディスプレイの発光素子の間隔と、前記カメラのイメージセンサの画素間隔と、前記カメラの光学ローパスフィルタの特性と、前記カメラのレンズの焦点距離、Ｆ値、合焦距離と、前記ディスプレイと前記カメラの距離と、を用いて、前記カメラの撮影映像にモアレが発生するか否かを判定する処理を
    情報処理装置に実行させるプログラム。
    

Images