JP4395082B2

JP4395082B2 - 映像生成装置、及びプログラム

Info

Publication number: JP4395082B2
Application number: JP2005023646A
Authority: JP
Inventors: 竜基坂本; 郁田中; 格北原; 美香里見; 仁土川; 潔小暮; 進國藤
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2005-01-31
Filing date: 2005-01-31
Publication date: 2010-01-06
Anticipated expiration: 2025-01-31
Also published as: JP2006211531A

Description

本発明は、自由視点映像の技術分野に属する発明である。

自由視点映像の技術とは、複数カメラから得られた映像を統合して、三次元解析を行い、この解析結果を基に、自由な視点からの映像を得る技術である。
自由視点映像を得ることができる撮影システムを、社内の会議室に設置しておけば、自由な視点から、社内会議における出席者の言動を撮影することができる。また医療現場に設置しておけば、自由な視点から、医師や看護婦の医療行為を撮影することができる。

そうして得られた自由視点映像は、後日、映像化された議事録や職場の改善資料として役立てることができる。議事録や改善資料等への応用が可能であるので、自由視点映像の技術は、今後の発展が大いに期待される。尚、自由視点映像の技術に関しては、以下の非特許文献に記載された先行技術があることを出願人は認識している。
Takeo Kanade, Peter Rander, and P. J. Narayanan. Virtualized reality: Constructing virtual worlds from real scenes. IEEE MultiMedia, Vol. 4, No.1, pp. 34〜47, 1997. 井上亮文, 吉田竜二, 平石絢子, 重野寛, 岡田謙一, 松下温,映画の映像理論に基づく対面会議シーンの自動撮影手法,情報処理学会論文誌, Vol.45, No.1, pp.212-221,2004年1月.

ところで自由視点からの映像生成に関しては、上述した非特許文献においてある程度の成果が認められるものの、自由視点を、時間的にどのように変化させてゆくかについては、未だ研究の余地が残っている。何故なら、視点位置の変化は、その変化のさせかたによっては、大きな違和感を視聴者に与えかねないからである。一方、映画等の映像制作の分野では、かかる違和感を生じないための様々な撮影手法が産み出されている。

このことから、自由視点についての研究が進んでいる今日であっても、映画のような見易さを追究するには、やはり、プロの撮影スタッフによる撮影手法の力を借りなければない。しかしプロの撮影スタッフの協力には、多額の投資が必要となるので、たとえ自由視点技術が発展したとはいえ、映画のようにユーザの印象に残るような、ドキュメンタリを制作することは非常に困難であるといわれている。

本発明の目的は、プロの撮影スタッフによる手腕に頼らなくても、映画のような見易い映像を得ることができる、映像生成装置、及びプログラムを提供することである。

上記目的は、シーン記述情報に基づき、視点位置を変化させて動画像を得る映像生成装置であって、シーン記述情報は、複数の候補位置のそれぞれに対応したカメラ制御情報を配してなり、直前の視点位置と、1の候補位置との組みに対して、所定の規則を適用させることにより、各候補位置が、カレントの視点位置にどれだけ相応しいかの評価を行う評価手段と、評価結果が最も高い候補位置を、カレント視点位置に選んで、当該カレント視点位置に対応したカメラ制御情報を用いて、カレント視点位置から被写体を見た場合の動画像を生成する生成手段と、評価手段、及び生成手段に処理を繰り返し実行させる制御手段とを備えることにより達成される。

また、前記所定の規則には、被写体空間を分割する境界に関する制約を含むものがあり、当該制約に基づいて、直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差する場合、当該候補位置に対する評価を低くし、直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差しない場合、当該候補位置に対する評価を高くするとしてもよい。
さらに、前記被写体空間は、二人以上の人物を含み、前記境界は、被写体空間に含まれる二人の人物間を結ぶ直線、又は任意の直線を含み前記被写体空間を二分割するとしてもよい。

また、カメラ制御情報には、カメラのパン制御を意図するものがあり、前記所定の規則には、何れかの候補位置に対応付けられたカメラ制御情報が、直前の視点位置から当該候補位置までのパン制御を示している場合、当該候補位置の評価値を高くし、何れかの候補位置に対応付けられたカメラ制御情報が、直前の視点位置から当該候補位置までのパン制御を示していない場合、当該候補位置の評価値を低くするというものがあるとしてもよい。

さらに、前記所定の規則には、被写体空間を分割する境界に関する制約を含むものがあり、当該制約に基づいて、直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差する場合、当該候補位置に対する評価を低くし、直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差しない場合、当該候補位置に対する評価を高くするとしてもよい。
さらに、何れかの候補位置に対応付けられたカメラ制御情報が、直前の視点位置から当該候補位置までのパン制御を示している場合の当該候補位置に対する評価値は、直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差しない場合の当該候補位置に対する評価よりも高いとしてもよい。

また、カメラ制御情報は、被写体に対して候補位置がどの方向にあるかを示す視点角度θ、及び被写体が画面に占めるべき割合を示すフレーミング条件情報を含み、前記動画像を得る手順は、フレーミング条件情報に基づき、被写体と、視点位置との距離rを決定して、視点角度θ及び距離rから、候補位置の三次元座標を得る手順を含むとしてもよい。
上記目的は、シーン記述情報に基づいて視点位置を変化させた動画像を、コンピュータに生成させるプログラムであって、シーン記述情報は、複数の候補位置のそれぞれに対応したカメラ制御情報を配してなり、直前の視点位置と、1の候補位置との組みに対して、所定の規則を適用させることにより、各候補位置が、カレントの視点位置にどれだけ相応しいかの評価を行うステップと、評価結果が最も高い候補位置を、カレント視点位置に選んで、当該カレント視点位置に対応したカメラ制御情報を用いて、カレント視点位置から被写体を見た場合の動画像を得るステップとを繰り返しコンピュータに実行させることにより達成される。

上述した構成において所定の基準の1つが、"イマジナリラインと交差するような視点移動を避ける"というような基準、つまり、映画撮影の作法に従った基準である場合、かかる基準を、カレントの視点位置と、1の候補位置との組みに適用させ、この基準に基づく視点位置の選択を繰り返すことにより、映画撮影現場においてプロのカメラマンが実践しているような、視点移動を行うことができる。かかる視点移動により動画像が得られれば、プロの撮影スタッフの力を借りなくても、ユーザにとって違和感がない自由視点映像を得ることができる。

様々な撮影手法のノウハウをデータベース化して、所定の基準として適用させれば、映画と比較して遜色がない、自由視点映像を得ることができる。映画のように、ユーザの印象に残る自由視点映像を、小さな投資で作成することができるので、映像ドキュメンタリの制作を身近なものにすることができる。

本発明に係る三次元自由視点映像システムの実施形態について図面を参照しながら説明する。
三次元自由視点映像システムは、スタジオ内に設置された６台の固定カメラで撮影した映像を統合して、固定カメラの被写体となる空間（以下、「撮影空間」という。）を自由な視点から見た映像（以下、「三次元自由視点映像」という。）を生成する。

図１は本発明に係る三次元自由視点映像システムの全体構成を示す図である。図１に示すように、三次元自由視点映像システム１は映像生成部２と、アノテーション管理部３と、映像スクリプト変換部４とを含む。
映像生成部２は、固定カメラで撮影した画像から生成した未編集の三次元自由視点映像を、アノテーション管理部３、映像スクリプト変換部４に送出する。また、各時刻における視点位置座標をＸＭＬ（eXtensible Mark-up Language）にて記述したカメラワーク制御コマンドを映像スクリプト変換部４から受け取り、各時刻における指定された視点位置からの三次元自由視点映像（以下、「レンダリング映像」という。）を生成し、出力する。ここで、未編集の三次元自由視点映像とは、図２のように互いに直交するように設定されたＸＹＺの３軸に対し、それぞれ並行な向きに撮影空間をみた側面映像、正面映像、及びトップ映像の３つの映像からなる映像データである。尚、Ｘ軸とＹ軸とは、撮影空間の水平面をなす座標軸であり、Ｚ軸は撮影空間の水平面に直交する座標軸である。また、本実施形態における時刻とは、カメラ１１ａ乃至１１ｆで撮影された映像内での時刻を意味する。

アノテーション管理部３は、未編集の三次元自由視点映像に関するアノテーション情報の作成と管理を行う。また、アノテーション情報を映像スクリプト変換部４に送出する。アノテーション情報とは、撮影空間で生じた出来事（以下、「イベント」という。）と、そのイベントに関連する人物や物体とを識別することで、未編集の三次元自由視点映像の内容を示す注釈である。

映像スクリプト変換部４は、レンダリング映像を生成したいシーンの指定をシステム利用者より受け、そのシーンをレンダリングするための視点位置を示すカメラワーク制御コマンドを生成し、映像生成部２へ送出する。ここでシーンとは、所定の連続した時間内に１種類以上のショットで同一の撮影対象を撮影した一連の映像であり、例えば、撮影対象の人物Ａが撮影空間に入り撮影空間の中央で立ち止まるまでの一連の動作を撮影した入場シーンや、撮影対象の人物Ｂが人物Ｃと会話する会話シーンなどが想定される。また、ショットとは、映画の撮影でカメラが回り始めてから止まるまで連続撮影されるような一連の動画像を意味し、本実施形態では、静止した視点位置や、連続的に移動する視点位置からの三次元自由視点映像として表現される。例えば入場シーンは、撮影空間に入った人物Ａの足もとを正面からとらえたショットや、続けて、歩き出した人物Ａの全身像を側面から捕らえたショット等で構成できる。

以下、各構成について詳細に説明する。
映像生成部２は、カメラ１１ａ乃至１１ｆと、キャプチャユニット１２と、空間モデル構築用サーバ１３と、ＸＭＬ解釈部２３と、映像出力部２４２５とを含む。
カメラ１１ａ乃至１１ｆは、スタジオ内に設置された６台の固定カメラであり、それぞれ異なる位置から撮影空間の映像を撮影する。

キャプチャユニット１２は、カメラの映像をデジタル形式に変換し、画像ファイルとして保存する。
空間モデル構築用サーバ１３は、キャプチャされたカメラ１１ａ乃至１１ｆの映像ファイルを蓄積し、映像ファイルを基に任意の時点での三次元自由視点映像を生成する。
ＸＭＬ解釈部２３は、カメラワーク制御コマンドを解釈する。

映像出力部２４は、カメラワーク制御コマンドに従い、レンダリング映像を生成し出力する。
アノテーション管理部３は、アノテーション情報登録部１５と、アノテーションデータベース１６とを含む。
アノテーション情報登録部１５は、システム利用者からアノテーション情報の入力を受け付け、アノテーションデータベース１６に登録する。図３にアノテーション情報の一例を示す。アノテーション情報は、イベント名と、開始時刻と、終了時刻と、オブジェクト名と、アノテーション領域と、注視点とで構成される。

イベント名は、システム利用者により入力される任意の名称である。
開始時刻は、イベントの開始を示す時刻であり、アノテーション領域が変化しない期間の開始の時刻を示す。
終了時刻は、イベントの終了を示す時刻であり、アノテーション領域が変化しない期間の終了の時刻を示す。

オブジェクト名は、イベントに関連する人物、物体等のオブジェクトの名称を示す。
アノテーション領域は、オブジェクト名で名称を付されたオブジェクトが存在する領域であり、システム利用者により指定される２点の三次元座標が対角線となる直方体で示される。
注視点は、視点位置から撮影空間をレンダリングする際に、視線が注がれる点の座標である。

続いて、アノテーション情報の入力インタフェースの一例を図４に示す。これにより、ＧＵＩ操作によって、時刻単位でのアノテーション領域の指定が可能となる。また、一つのイベントは多数のフレームから構成されており、その一枚一枚にアノテーションを付与していくことは非常に手間のかかる作業となる。そのため、一つのイベント内で連続するフレーム間においては、アノテーション領域と注視点とを自動で補完する。このとき注視点には、アノテーション領域の中心座標が用いられる。このインタフェースで作成されたアノテーションは、アノテーションデータベース１６に蓄積される。

入力インタフェースは、トップ表示画面、正面表示画面、側面（右）表示画面、及び入力パネルとで構成される。それぞれの表示画面には、入力パネルの時刻指定バーで指定した時刻のトップ映像、正面映像、及び側面映像が表示され、これらの画像において、システム利用者はマウス等のポインティングデバイスを用い、ボックス型のマーカーで頭部又は全身を指定する。これにより、アノテーション領域を示す２点の座標を決定する。なお、アノテーション領域を示す２点の座標を変更することにより、ボックス型のマーカーを変化させるとしても良い。注視点については、システム利用者はマウス等を用い、任意の点をクリックすることにより決定することができるが、本実施形態では、説明を簡便にするため、注視点としてアノテーション領域の中心座標を用いる。

イベント名及びオブジェクト名については、システム利用者はキーボード等を用い、入力パネルにて入力する。開始時刻及び終了時刻については、システム利用者はそれぞれの時刻を時刻指定バーにより指定し、Addボタンを押すことにより決定する。
ここで時刻指定バーは、時刻を示すスライドバーである。つまり、システム利用者はアノテーション領域を示す２点の座標が変化しない期間を、時刻指定バーを操作することにより確認し、その開始時刻及び終了時刻において、Addボタンを押すことにより開始時刻及び終了時刻を決定する。

アノテーションデータベース１６は、アノテーション情報登録部１５により登録されたアノテーション情報を蓄積する。
映像スクリプト変換部４は、シーンリスト取得部１７と、シーン制御部１８と、ショット制御部１９と、実パラメータ取得部２０と、撮影知識データベース２１と、カメラワーク制御ＸＭＬ作成部２２とを含む。

シーンリスト取得部１７は、レンダリング映像を生成したいシーンを特定する情報を連ねたシーンリストを、システム利用者から取得する。シーンリストの一例を図５に示す。シーンリストは、シーン名、シーン開始時刻、シーン終了時刻、撮影対象、及び、イマジナリベクトル終点座標で構成される。撮影対象としては、大量の対象が存在する場合や、誰も存在しない場合などに任意で与えられた領域と、注視点とをもって代替することもある。

シーン名は、シーンを特定する名称である。
シーン開始時刻、及びシーン終了時刻は、カメラ１１ａ乃至１１ｆで撮影された映像のうち、シーンとして切り出す区間を時刻で示す。
撮影対象は、レンダリング映像において注視すべき撮影対象を、アノテーション情報のオブジェクト名で指定する。

イマジナリベクトル終点座標は、イマジナリベクトルの終点の三次元座標である。イマジナリベクトルとは、撮影対象である人物Ａの中心座標Ｐ_Aを始点とし、会話相手である人物Ｂの中心座標Ｐ_Bを終点としたベクトルである。また、上方無限遠に位置する視点からＸＹ平面（以下、「地面」という。）を垂直に見下ろした場合に、撮影空間を分割するように引かれる直線をイマジナリラインという。本実施形態では、イマジナリベクトルを含む直線をイマジナリラインとする。

シーン制御部１８は、シーンリスト取得部１７よりシーンリストを受け取ると、シーンリストに含まれるシーン名、シーン開始時刻、シーン終了時刻、撮影対象、及び、イマジナリベクトル終点座標の各情報を、シーン毎にショット制御部１９に送出する。また、シーンリストの各情報に応じてショット制御部１９において生成されたカメラポジションリストを、シーン毎にカメラワーク制御ＸＭＬ作成部２２に送出する。

ショット制御部１９は、シーン制御部１８から得た情報によりシーンを特定し、そのシーンをレンダリングする視点位置を時刻毎に示すカメラポジションリストを、撮影対象の三次元座標と後述するショット情報とから生成し、シーン制御部１８へ送出する。
実パラメータ取得部２０は、ショット制御部１９から時刻と撮影対象との指定を受けて、アノテーションデータベース１６に登録されているアノテーション情報から、指定の時刻に撮影対象が含まれるアノテーション領域、及び注視点の三次元座標を取得し、ショット制御部１９へ送出する。

撮影知識データベース２１は、シーン記述情報、ショット情報、及び撮影規則を蓄積しているデータベースである。シーン記述情報、ショット情報、及び撮影規則は、ショット制御部１９において、カメラポジションリストを生成する場合に用いられる情報である。
図６の（ａ）はシーン記述情報のデータ構造を示す図である。シーン記述情報は、シーン名で特定されるシーン毎に、使用するショットパターンの候補を示す情報であり、シーン名と、ショット指定１〜ｎとからなる。ショット指定１〜ｎは、候補のショットパターンを定義したショット情報を指定する情報であり、ショット名を用いてショット情報を指定する。

ここでショットパターンとは、１つのショットの映像において、撮影対象の向きや、大きさ、配置等を、どのような見かけにするかを示す画面レイアウトのイメージであり、その詳細は、ショット情報として記述される。
図６の（ｂ）はショット情報のデータ構造を示す図である。ショット情報は、撮影対象の三次元座標に応じて、所望のショットパターンで映像をクリップする為の視点位置が一意に定まるカメラ制御情報であり、ショット名、水平角度Ｄｈ、上下角度Ｄｖ、フレーミングバターン、パン角度、及び継続時間からなる。ショット情報に含まれる水平角度Ｄｈとは、図７の（ａ）に示すように、撮影対象の中心座標ＰＡを含む水平面において、イマジナリベクトルとなす角度であり、上下角度Ｄｖとは、図７の（ｂ）に示すように、中心座標ＰＡを含む水平線となす角度であり、水平角度Ｄｈと上下角度Ｄｖとにより、レンダリングする視点が中心座標ＰＡに対してどの方向にあるかが特定される。フレーミングパターンとは、図８に示すように、レンダリングした映像において撮影対象が画面の縦方向占める割合、及び、中心座標ＰＡの画面上での位置により表現される画像のイメージを、「Ｌｏｎｇ」、「Ｆｕｌｌ」等のパターン名で特定する情報である。以下、撮影対象が画面の縦方向占める割合を「フレーミング条件Ｒ１」、中心座標ＰＡの画面上での位置を「フレーミング条件Ｒ２」という。パン角度は、ショット中で中心座標ＰＡを中心に視点位置を回転させる角度である。パン角度が正の値であれば、撮影対象の上方からみて、中心座標ＰＡを中心に視点位置を右回りに回転させることを示し、パン角度が負の値であれば、中心座標ＰＡを中心に視点位置を左周りに回転させることを示す。継続時間は、ショット情報により示されるカメラ演出を適用した１つのショットを継続させる時間である。

撮影規則とは、ショット情報に基づいて確定する視点位置の候補（以下、「候補位置」という。）を評価する基準であり、映画の撮影技法として体系化された制約条件が適用される。
例えば、映画の撮影技法として、イマジナリラインを跨いで視点位置が切り替わると、画面上での人物の位置関係が逆になってしまい、視聴者に違和感を与えることが知られている。このような映画撮影技法を適用して、「直前の視点位置と候補位置とを結ぶ線分を地面に垂直に投影した線分が、イマジナリラインを地面に垂直に投影した直線と交差しない場合、候補位置の評価を高くし、直前の視点位置と候補位置とを結ぶ線分を地面に垂直に投影した線分が、イマジナリラインを地面に投影した直線と交差する場合、候補位置の評価を低くする」という撮影規則が、撮影知識データベース２１に蓄積されている。また、撮影規則の他の一例として、「候補位置に対応するショット情報が、視点位置のパン制御を意図するものであれば、候補位置の評価を高くし、候補位置に対応するショット情報が、視点位置のパン制御を意図しないものであれば、候補位置の評価を低くする」というものがある。撮影規則のさらに他の一例として、「直前の視点位置と候補位置とが同一の位置であれば、評価を低くする」というものもある。

尚、候補位置は、複数の撮影規則に基づいての評価するとしてもよい。例えば、候補位置に対応するショット情報が、視点位置のパン制御を意図するものである場合の当該候補位置に対する評価は、直前の視点位置と候補位置とを結ぶ線分を地面に垂直に投影した線分が、イマジナリラインを地面に垂直に投影した直線と交差しない場合の当該候補位置に対する評価よりも高く評価する。

カメラワーク制御ＸＭＬ作成部２２は、シーン制御部１８からカメラポジションリストを取得し、カメラポジションリストに示される時刻毎の視点位置をＸＭＬにて記述したカメラワーク制御コマンドを作成する。
以上が、三次元自由視点映像システム１の構成である。
続いて、上述の映像スクリプト変換部４において、各時刻毎におけるレンダリング映像の視点位置を決定する動作について、詳細に説明する。図９は、カメラポジションリストを生成する動作の流れを示すフローチャートである。

シーンリスト取得部１７においてシーンリストが取得されると、シーン制御部１８は、図１０に示すデータ構造のカメラポジションリストと図１１に示すデータ構造のショットリストとを、ワークメモリ上に生成する（Ｓ１１）。ズームなどのカメラパラメータを生成してもよい。次にシーン制御部１８は、シーンリストから開始時刻が早いものから順にシーンを選択し、選択したシーンのシーン名、シーン開始時刻、シーン終了時刻、撮影対象、及び、イマジナリベクトル終点座標の各パラメータを、ショット制御部１９へ通知する（Ｓ１２）。

ショット制御部１９は、ショットリストを初期化した後、シーン制御部１８から通知されたシーン名に対応するシーン記述情報を撮影知識データベース２１から読み出し、読み出したシーン記述情報のショット指定に含まれるショット名を、シーン記述情報に含まれる順番でショットリストに登録する（Ｓ１３）。ショットリストの初期化とは、ショットリストに登録されている全てのデータを削除することであり、Ｓ１３の処理が終了した時点でショットリストには、シーン記述情報において指定されているショット名のみが登録されており、候補座標、及び評価点にはデータが登録されていない。

次にショット制御部１９は、ショットリストにショット名が登録されている順に１つのショットパターンを選択し、選択したショットパターンを記述したショット情報を、撮影知識データベース２１から読み出す（Ｓ１４）。ショット制御部１９は、Ｓ１４で選択したショットパターンで撮影対象を撮影する為の視点位置の座標を、カメラポジション決定処理により算出し、算出した座標を候補位置としてショットリストに登録する（Ｓ１５）。ショット制御部１９はさらに、Ｓ１５において決定した候補位置を採点し、点数を評価点としてショットリストに登録する（Ｓ１６）。

候補位置の採点では、カメラポジションリストに最後に登録されたカメラポジションの終了視点を直前の視点位置とし、直前の視点位置と候補位置との関係が、撮影知識データベース２１に登録されている撮影規則に照らし合わせて、好ましい位置関係にあれば点数を増加させ、好ましくない位置関係にあれば、点数を減少させることで、候補位置を評価する。ただし、カメラポジションリストにカメラポジションが一つも登録されていない場合には、直前の視点位置として候補位置と同一の座標を用いる。

ショット制御部１９は、ショットリストにショット名が登録されている全てのショットパターンについて、ショットリストに候補座標、及び評価点を登録するまでＳ１４乃至Ｓ１６の処理を繰り返す。全てのショットパターンについて処理が終わると（Ｓ１７:Ｎｏ）、ショット制御部１９は、ショットリストに登録された評価点が最も高いショットの候補位置を用いて、図１０に示すカメラポジションリストに新たなカメラポジションを追加する（Ｓ１８）。ただし、複数のショットパターンが同点で最高点となった場合には、評価点が最も高いもののうち、ショットリストにおいて最も上位に登録されているものの候補位置を、カメラポジションの追加に用いる。

カメラポジションの追加とは、以下の手順でなされる。先ず、注視点には、シーン制御部１８から通知されたイマジナリベクトル終点座標を、開始視点には、評価点が最も高かった候補位置の座標を設定する。次に、評価点が最も高かったショットに対応するショット情報においてパン角度が０度である場合は、開始視点と同じ座標を終了視点に設定し、前記ショット情報のパン角度が０度以外である場合は、評価点が最も高かった候補座標を、指定角度だけパンさせた座標を終了視点に設定する。さらに、開始時刻には、一つ前に登録されているカメラポジションの終了時刻と同じ時刻を設定し、終了時刻には、評価点が最も高かったショットに対応するショット情報の継続時間を開始時刻に加算した時刻を設定する。ただし、カメラポジションリストに最初のカメラポジションを登録する場合には、カメラポジションの開始時刻としてＳ１２で選択したシーンのシーン開始時刻を設定する。

ここで終了時刻に設定された時刻が、Ｓ１２で選択されたシーンのシーン終了時刻に達していなければ（Ｓ１９:Ｎｏ）、ショット制御部１９は、Ｓ１３においてショットリストを再度初期化して、Ｓ１８までの処理を繰り返す。カメラポジションリストの終了時刻に設定された時刻が、Ｓ１２で選択されたシーンのシーン終了時刻に達した場合には（Ｓ１９:Ｙｅｓ）、シーン制御部１８は、カメラポジションリストを、カメラワーク制御ＸＭＬ作成部２２へ出力する。カメラポジションリストを取得したカメラワーク制御ＸＭＬ作成部２２では、時刻毎の視点位置座標をＸＭＬにて記述したカメラワーク制御コマンドに変換し、映像生成部２へ出力する（Ｓ２０）。カメラワーク制御ＸＭＬ作成部２２によるカメラワーク制御コマンドへの変換が完了した後、シーン制御部１８は、全てのカメラポジションのデータを削除してカメラポジションリストを初期化する。

映像スクリプト変換部４は、シーンリスト取得部１７において取得されたシーンリストに登録されている全てのシーンについて、Ｓ１２乃至Ｓ２０の処理を繰り返す。
以上の動作により、利用者がシーンリストにおいてレンダリング映像の生成を指示した期間の各時刻毎における視点位置を決定することができる。
次に、図９のＳ１５において実行されるカメラポジション決定処理について、図１２乃至図１４を用いて説明する。図１２は、カメラポジション決定処理の処理の流れを示すフローチャートであり、図１３、及び図１４は、注視点Ｐ_Aと視点位置Ｃｐｔの関係を模式的に示す図である。

Ｓ１４において選択されたショットパターンで撮影対象を撮影する視点位置を決定するために、先ず、ショット制御部１９は、シーン制御部１８から通知されている撮影対象と、カメラポジションリストに登録されている最後のカメラポジションの終了時刻とを、実パラメータ取得部２０に通知し、これらの情報に基づいてアノテーション領域、及び注視点の座標を実パラメータ取得部２０から取得する（Ｓ３１）。ただし、このときカメラポジションリストにカメラポジションが一つも登録されていない場合には、最後のカメラポジションの終了時刻に代えて、シーン制御部１８から通知されているシーン開始時刻を通知する。

アノテーション領域、及び注視点の座標を取得したショット制御部１９は、図１３に示す仮ポジションＣｐｔ_tmpの座標を算出する（Ｓ３２）。仮ポジションＣｐｔ_tmpは、注視点Ｐ_Aを中心とし半径がｒ₀である単位球面上において、イマジナリベクトルＰ_AＰ_Bに対して、水平角度Ｄ_h、及び、上下角度Ｄ_vのそれぞれの角度をなす位置である。
ショット制御部１９は、仮ポジションＣｐｔ_tmpから注視点Ｐ_Aに向かって所定の視野角でクリップしたが画面において、アノテーション領域が画面の縦方向に占める割合Ｒ０を算出する（Ｓ３３）。Ｒ０は、図１４に示すようにアノテーション領域の高さｈ_Aを、仮ポジションＣｐｔ_tmpから所定の画角でクリップしたが画面の高さｈ₀で除算することで得られる。

ショット制御部１９は、さらに、Ｓ３３において算出したＲ０と、ショット情報に設定されたフレーミングパターンのフレーミング条件Ｒ１との比率ｋを算出し（Ｓ３４）、注視点Ｐ_Aからの距離がｋ・ｒ₀の点であり、且つ、注視点Ｐ_Aと仮ポジションＣｐｔ_tmpを結ぶ線分を仮ポジションＣｐｔ_tmp側に延ばした延長線上の点を、Ｓ１４で選択されたショットで撮影対象を撮影する為の視点位置Ｃｐｔとして、その座標を算出する（Ｓ３５）。以上が、カメラポジション決定処理の詳細である。

以上のように、本実施形態に係る三次元自由視点映像システム１は、
システム利用者から、利用したいシーン記述情報と、レンダリング映像を生成したいシーンの開始時刻、終了時刻、被写体、及び、被写体の行為対象の座標との指定を受けるだけで、映画のような見易いレンダリング映像を生成することができる。
＜その他の変形例＞
以上、本発明を上記の実施形態に基づいて説明してきたが、本発明は、上記の実施形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）本発明は、上記のフローチャートに手順を示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するプログラムであるとしてもよいし、前記プログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記プログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなど、に記録したものとしてもよい。

また、本発明は、前記プログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（２）上記実施の形態では、システム利用者からイマジナリベクトルの指定を受け、イマジナリベクトルを含む直線をイマジナリラインとして用いる構成について説明したが、本発明に係る映像生成装置は、イマジナリベクトルとは別個に外部からイマジナリラインの指定を受ける構成としてもよい。
例えば、システム利用者からシーンリストと共にイマジナリラインの指定を受けるとしてもよい。具体的には、システム利用者が撮影空間中の任意の２点の座標を入力することにより、２点を通過する直線がイマジナリラインとして得られる。

このような変形例では、イマジナリベクトルとは別個に、上方無限遠から見て撮影空間を二分割するように引かれる任意の直線をイマジナリラインとして指定することができる。そのため、撮影対象の人物Ａが人物Ｂと正対していながら人物Ｃと会話しているような、撮影空間に三人以上の人物が存在するシーンでも、違和感のない三次元自由視点映像を得ることができる。

（３）上記実施の形態では、撮影知識データベースに蓄積されているシーン記述情報を用いて、視点位置を決定する構成について説明したが、シーン記述情報は必ずしも装置内に予め蓄積されている必要はない。
例えば、システム利用者が、シーンリストと共にシーン記述情報とショット情報とを入力するとしてもよい。

（４）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明は、社内会議における出席者の言動を撮影したり、医療現場における医師や看護婦の医療行為を撮影したり、アミューズメント施設、テーマパーク、老人ホーム及び介護施設などにおける利用者の言動を撮影した映像から、議事録、改善資料、映像サービス提供媒体に用いるドキュメンタリを生成する映像生成装置等の用途に適用できる。

本発明に係る三次元自由視点映像システムの全体構成を示す図。未編集の三次元自由視点映像を模式的に示す図。アノテーション情報の一例を示す図。アノテーション情報の入力インタフェースの一例を示す図。シーンリストの一例を示す図。（ａ）はシーン記述情報のデータ構造を示す図。（ｂ）はショット情報のデータ構造を示す図。（ａ）はイマジナリベクトルと水平角度Ｄ_hとの関係を示す模式図。（ｂ）はイマジナリベクトルと上下角度Ｄ_vとの関係を示す模式図。フレーミングパターンの例を示す図。カメラポジションリストを生成する動作の流れを示すフローチャート。カメラポジションリストの一例を示す図。ショットリストの一例を示す図。カメラポジション決定処理の処理の流れを示すフローチャート。注視点Ｐ_Aと視点位置Ｃｐｔの関係を示す斜視図。注視点Ｐ_Aと視点位置Ｃｐｔの関係を示す模式図。

符号の説明

１三次元自由視点映像システム
２映像生成部
３アノテーション管理部
４映像スクリプト変換部
１１ａ〜１１ｆカメラ
１２キャプチャユニット
１３空間モデル構築用サーバ
１５アノテーション情報登録部
１６アノテーションデータベース
１７シーンリスト取得部
１８シーン制御部
１９ショット制御部
２０実パラメータ取得部
２１撮影知識データベース
２２カメラワーク制御ＸＭＬ作成部
２３ＸＭＬ解釈部
２４映像出力部

Claims

シーン記述情報に基づき、視点位置を変化させて動画像を得る映像生成装置であって、
シーン記述情報は、複数の候補位置のそれぞれに対応したカメラ制御情報を配してなり、
直前の視点位置と、1の候補位置との組みに対して、所定の規則を適用させることにより、各候補位置が、カレントの視点位置にどれだけ相応しいかの評価を行う評価手段と、
評価結果が最も高い候補位置を、カレント視点位置に選んで、当該カレント視点位置に対応したカメラ制御情報を用いて、カレント視点位置から被写体を見た場合の動画像を生成する生成手段と、
評価手段、及び生成手段に処理を繰り返し実行させる制御手段と
を備えることを特徴とする映像生成装置。
前記所定の規則には、被写体空間を分割する境界に関する制約を含むものがあり、
当該制約に基づいて、
直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差する場合、当該候補位置に対する評価を低くし、
直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差しない場合、当該候補位置に対する評価を高くする、請求項１記載の映像生成装置。
前記被写体空間は、二人以上の人物を含み、
前記境界は、被写体空間に含まれる二人の人物間を結ぶ直線、又は任意の直線を含み前記被写体空間を二分割する、請求項２記載の映像生成装置。
カメラ制御情報には、カメラのパン制御を意図するものがあり、
前記所定の規則には、
何れかの候補位置に対応付けられたカメラ制御情報が、直前の視点位置から当該候補位置までのパン制御を示している場合、当該候補位置の評価値を高くし、
何れかの候補位置に対応付けられたカメラ制御情報が、直前の視点位置から当該候補位置までのパン制御を示していない場合、当該候補位置の評価値を低くするというものがある、請求項１記載の映像生成装置
前記所定の規則には、被写体空間を分割する境界に関する制約を含むものがあり、
当該制約に基づいて、
直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差する場合、当該候補位置に対する評価を低くし、
直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差しない場合、当該候補位置に対する評価を高くする、請求項４記載の映像生成装置。
何れかの候補位置に対応付けられたカメラ制御情報が、直前の視点位置から当該候補位置までのパン制御を示している場合の当該候補位置に対する評価値は、
直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差しない場合の当該候補位置に対する評価よりも高い
ことを特徴とする請求項５記載の映像生成装置。
カメラ制御情報は、被写体に対して候補位置がどの方向にあるかを示す視点角度θ、及び被写体が画面に占めるべき割合を示すフレーミング条件情報を含み、
前記動画像を得る手順は、
フレーミング条件情報に基づき、被写体と、視点位置との距離rを決定して、視点角度θ及び距離rから、候補位置の三次元座標を得る手順を含む、請求項１〜６の何れかに記載の映像生成装置。
シーン記述情報に基づいて視点位置を変化させた動画像を、コンピュータに生成させるプログラムであって、
シーン記述情報は、複数の候補位置のそれぞれに対応したカメラ制御情報を配してなり、
直前の視点位置と、1の候補位置との組みに対して、所定の規則を適用させることにより、各候補位置が、カレントの視点位置にどれだけ相応しいかの評価を行うステップと、
評価結果が最も高い候補位置を、カレント視点位置に選んで、当該カレント視点位置に対応したカメラ制御情報を用いて、カレント視点位置から被写体を見た場合の動画像を得るステップと
を繰り返しコンピュータに実行させることを特徴とするプログラム。