JP7336871B2

JP7336871B2 - 全天周映像処理装置及びプログラム

Info

Publication number: JP7336871B2
Application number: JP2019079317A
Authority: JP
Inventors: 裕之川喜田; 数馬吉野; 大一小出; 健介久富
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2019-04-18
Filing date: 2019-04-18
Publication date: 2023-09-01
Anticipated expiration: 2039-04-18
Also published as: JP2020178239A

Description

特許法第３０条第２項適用〔刊行物名〕ＨＣＧシンポジウム２０１８予稿集〔主催〕電子情報通信学会ヒューマンコミュニケーショングループ〔発行年月日〕２０１８年１２月５日

本発明は、人が知覚する現実環境をコンピュータにより拡張する技術において、被写体の切り出し映像を全天周映像にマッピングする全天周映像処理装置及びプログラムに関する。

従来、人が知覚する現実環境をコンピュータにより拡張する技術として、ＡＲ（Augmented Reality：拡張現実）、ＭＲ（Mixed Reality : 複合現実）、ＶＲ（Virtual Reality：仮想現実）等が知られており、盛んに研究開発が行われている。以下、ＡＲ、ＭＲ、ＶＲ等を総称して、ＸＲ（X Reality:クロス・リアリティ）という。

ＸＲに用いるカメラとして、例えば、全方位撮影可能な３６０度カメラ（例えば特許文献１，２を参照。）、ユーザに装備されるウェアラブル３６０度カメラ（例えば非特許文献１を参照。）等が知られている。これらのカメラにより撮影された全天周映像を用いて、ＸＲの体験サービスを提供することができる。

ＸＲに提示する物体を、視点に応じた映像としてＡＲグラスまたはＶＲゴーグル上に表示するためには、当該物体は、３次元構造（３次元座標及び色を持つ点群または面の構造）を有することが望ましい。以下、ＡＲグラス、ＶＲゴーグル等を総称して、ＨＭＤ（Head Mounted Display：頭部装着ディスプレイ）という。

特開２０１１－１８２００３号公報特開２０１１－１６０４４２号公報

FITT360-The First 360°Neckband Wearable Camera、［online］、Kickstarter、［平成３１年３月１８日検索］、インターネット＜https://www.kickstarter.com/projects/467094941/fitt360-the-first-360-neckband-wearable-camera?lang=ja＞

しかしながら、３次元構造の映像を表現するための３次元カメラ、すなわち屋外または大規模な撮影範囲にも対応し、かつ３次元構造の映像を取得可能な３次元カメラは存在しない。また、３次元構造の映像を生成したとしても、これを編集及び加工することは困難である。

このため、３次元構造の映像の代わりに２次元構造の映像を取得し、これをＨＭＤに投影することで、３次元空間の映像を表現することは、従来から引き続き重要となる。

例えば、カメラにより撮影された２次元構造の映像から被写体の映像を切り出し、この切り出し映像を全天周映像にマッピングし、切り出し映像の投影位置を自在に変更することができれば、ＨＭＤに表現される映像は、ＸＲを実現する際に一層効果的となる。つまり、ＨＭＤを用いて、２次元構造の映像を３次元的に提示することで、一層効果的な３次元空間の映像を表現することが可能となる。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像の編集及び加工が容易となり、かつ簡易な手法でＸＲの３次元映像を疑似的に提示可能な全天周映像処理装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の全天周映像処理装置は、被写体を含む全天周映像を生成する全天周映像処理装置において、複数の撮影装置により撮影された前記被写体を含む複数の映像を入力し、前記複数の映像を統合し、アルファチャンネル付き全天周映像を第一全天周映像として生成する統合部と、前記映像から前記被写体の部分を切り出し、切り出し映像を生成する切り出し部と、前記統合部により生成された前記第一全天周映像に、前記切り出し部により生成された前記切り出し映像をマッピングし、前記第一全天周映像に前記切り出し映像を貼り付けた第二全天周映像を生成するマッピング部と、前記マッピング部により生成された前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分のアルファ値に透過の値を設定し、前記切り出し映像が貼り付けられ、前記アルファ値が設定された第三全天周映像を生成するアルファ値設定部と、前記アルファ値設定部により生成された前記第三全天周映像の半径に、前記撮影装置から前記被写体までの間の距離を設定することで、前記第三全天周映像の半径を変更し、前記半径の変更に伴ってサイズが変更された前記切り出し映像を含み、前記切り出し映像の投影位置を変更した第四全天周映像を生成する半径設定部と、を備えたことを特徴とする。

また、請求項２の全天周映像処理装置は、被写体を含む全天周映像を生成する全天周映像処理装置において、単眼カメラの撮影装置により撮影された前記被写体を含むアルファチャンネル付き全天周映像を第一全天周映像として入力し、前記第一全天周映像から前記被写体の部分を切り出し、切り出し映像を生成する切り出し部と、前記第一全天周映像に、前記切り出し部により生成された前記切り出し映像をマッピングし、前記第一全天周映像に前記切り出し映像を貼り付けた第二全天周映像を生成するマッピング部と、前記マッピング部により生成された前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分のアルファ値に透過の値を設定し、前記切り出し映像が貼り付けられ、前記アルファ値が設定された第三全天周映像を生成するアルファ値設定部と、前記アルファ値設定部により生成された前記第三全天周映像の半径に、前記撮影装置から前記被写体までの間の距離を設定することで、前記第三全天周映像の半径を変更し、前記半径の変更に伴ってサイズが変更された前記切り出し映像を含み、前記切り出し映像の投影位置を変更した第四全天周映像を生成する半径設定部と、を備えたことを特徴とする。

また、請求項３の全天周映像処理装置は、請求項１または２に記載の全天周映像処理装置において、前記アルファ値設定部は、前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分の各画素のアルファ値に透過の値を設定し、前記切り出し映像を除く部分の各画素の画素値に０を設定し、前記第三全天周映像を生成する、ことを特徴とする。

また、請求項４の全天周映像処理装置は、請求項１に記載の全天周映像処理装置において、前記マッピング部が、前記複数の撮影装置のうち予め設定された基準カメラの前記撮影装置のカメラパラメータに含まれる水平角度及び垂直角度を用いて、前記被写体の方向を特定し、前記第一全天周映像における前記被写体の方向に前記切り出し映像をマッピングし、前記第二全天周映像を生成する、ことを特徴とする。

また、請求項５の全天周映像処理装置は、請求項２に記載の全天周映像処理装置において、前記マッピング部が、予め設定された水平角度を用いて、前記被写体の方向を特定し、前記第一全天周映像における前記被写体の方向に前記切り出し映像をマッピングし、前記第二全天周映像を生成する、ことを特徴とする。

さらに、請求項６のプログラムは、コンピュータを、請求項１から５までのいずれか一項に記載の全天周映像処理装置として機能させることを特徴とする。

以上のように、本発明によれば、被写体の切り出し映像を全天周映像にマッピングし、切り出し映像の投影位置を変更するようにした。これにより、映像の編集及び加工が容易となり、かつ簡易な手法でＸＲの３次元映像を疑似的に提示することができる。

本発明の実施形態による全天周映像処理装置を含む全天周映像処理システムの全体構成例を示す概略図である。撮影側の装置構成例を説明する図である。全天周映像処理装置の構成例を示すブロック図である。全天周映像処理装置の処理例を示すフローチャートである。全天周映像処理装置が入力する映像Ｉの例を示す概略図である。切り出し映像Ｋの例を示す概略図である。単眼カメラの場合のマッピング例（ステップＳ４０５）を説明する図である。多視点カメラの場合のマッピング例（ステップＳ４０５）を説明する図である。全天周映像Ｚ３の例を示す概略図である。半径設定処理例（ステップＳ４０７）を説明する図である。全天周映像Ｚ４の例を示す概略図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、透明度を示すアルファチャンネルを有する全天周映像（アルファチャンネル付き全天周映像）に、被写体の切り出し映像をマッピングし、全天周映像のアルファチャンネルの値（アルファ値）を設定し、全天周映像の半径を設定することで、切り出し映像の投影位置を変更することを特徴とする。

これにより、全天周映像に対し、被写体の切り出し映像の投影位置すなわち視聴者からの距離を変更することができる。映像の編集及び加工は、２次元映像である全天周映像及び切り出し映像に対して行えばよいから、編集及び加工作業は容易となる。

また、マッピング処理、アルファ値設定処理及び半径設定処理を行うことで、ＨＭＤに用いる全天周映像を得ることができるから、簡易な手法で、ＸＲの３次元映像を疑似的に提示することができる。

〔全天周映像処理システム〕
まず、ＸＲの３次元映像を疑似的に提示する全天周映像処理システムについて説明する。図１は、本発明の実施形態による全天周映像処理装置を含む全天周映像処理システムの全体構成例を示す概略図である。全天周映像には、半天周等の映像が含まれるものとする。以下、アルファチャンネル付き全天周映像を、単に全天周映像という。アルファチャンネルは透明度を示すチャンネルであり、画素毎に有している。

この全天周映像処理システム１は、ｎ台の撮影装置２－１～２－ｎ、ｎ台の測距装置３－１～３－ｎ、全天周映像処理装置４及びＨＭＤ５を備えて構成される。ｎは、１以上の整数である。以下、ｎ台の撮影装置２－１～２－ｎを総称して、撮影装置２といい、ｎ台の測距装置３－１～３－ｎを総称して、測距装置３という。

撮影装置２は、被写体及びその周囲等を撮影するカメラであり、映像Ｉを全天周映像処理装置４へ出力する。つまり、撮影装置２－１～２－ｎは、それぞれの位置からの撮影にて取得した映像Ｉ₁～Ｉ_nを全天周映像処理装置４へ出力する。

測距装置３は、当該測距装置３と被写体との間の距離を測定するセンサーであり、測定した距離を距離データｄとして全天周映像処理装置４へ出力する。つまり、測距装置３－１～３－ｎは、それぞれの位置からの測定にて取得した距離データｄ₁～ｄ_nを全天周映像処理装置４へ出力する。

測距装置３－１～３－ｎは、それぞれ撮影装置２－１～２－ｎに対応する。距離データｄ₁～ｄ_nは、撮影装置２－１～２－ｎと被写体との間の距離に相当する。測距装置３－１～３－ｎは、当該測距装置３－１～３－ｎと被写体との間の距離が撮影装置２－１～２－ｎと被写体との間の距離に一致するように、撮影装置２－１～２－ｎ付近に設置される。

図１に示す撮影側の装置である撮影装置２－１～２－ｎ及び測距装置３－１～３－ｎからなる構成は、後述する図２（４）に相当する。

図２は、撮影側の装置構成例を説明する図である。撮影側の装置は、撮影装置２及び測距装置３からなる。

図２（１）に示す撮影側の装置は、１台の単眼カメラである撮影装置２及び１台の測距装置３により構成される。

図２（２）に示す撮影側の装置は、２台のステレオカメラである撮影装置２－１，２－２により構成される。この例では、測距装置３が存在しない。

図２（３）に示す撮影側の装置は、４台の多視点カメラである撮影装置２－１～２－４により構成される。この例では、測距装置３が存在しない。

図２（４）に示す撮影側の装置は、４台の多視点カメラである撮影装置２－１～２－４、及び４台の測距装置３－１～３－４により構成される。

図１に戻って、全天周映像処理装置４は、撮影装置２－１～２－ｎから映像Ｉ₁～Ｉ_nを入力すると共に、測距装置３－１～３－ｎから距離データｄ₁～ｄ_nを入力する。そして、全天周映像処理装置４は、映像Ｉ₁～Ｉ_nを統合（スティッチング）して全天周映像Ｚ１を生成し、映像Ｉ₁～Ｉ_nから被写体を切り出して切り出し映像Ｋ₁～Ｋ_nを生成する。以下、ｎ個の切り出し映像Ｋ₁～Ｋ_nを総称して、切り出し映像Ｋという。

全天周映像処理装置４は、全天周映像Ｚ１に切り出し映像Ｋをマッピングして全天周映像Ｚ２を生成し、全天周映像Ｚ２に含まれる切り出し映像Ｋの部分のアルファ値及び他の部分のアルファ値をそれぞれ設定して全天周映像Ｚ３を生成する。全天周映像Ｚ３は、例えば被写体の切り出し映像Ｋのみを含む映像となる。

全天周映像処理装置４は、全天周映像Ｚ３の半径に距離データｄを設定して全天周映像Ｚ４を生成する。全天周映像処理装置４は、全天周映像Ｚ４をＨＭＤ５に出力する。全天周映像Ｚ４も、例えば被写体の切り出し映像Ｋのみを含む映像である。全天周映像処理装置４の詳細については後述する。

ＨＭＤ５は、全天周映像処理装置４から全天周映像Ｚ４を入力し、ＨＭＤ５のセンサー情報に基づいてユーザの視線方向を特定し、全天周映像Ｚ４から視線方向の映像を切り出し、切り出した映像を表示する。

ここで、ＨＭＤ５が、実物の光線がそのまま網膜に届く光学シースルー型ＡＲゴーグルの場合、ＨＭＤ５は、全天周映像Ｚ４から切り出した視線方向の映像のみを表示する。後述のように、全天周映像Ｚ４に含まれる被写体の部分が非透過であり、それ以外の部分が透過である場合、ＨＭＤ５により、実際の背景に対して被写体のみが表示される。

また、ＨＭＤ５が、ゴーグルの前にカメラを備えており、当該カメラの撮影により得られた背景映像を用いるビデオシースルー型ＡＲゴーグルの場合、ＨＭＤ５は、背景映像に視線方向の映像を合成し、合成映像を表示する。後述のように、全天周映像Ｚ４に含まれる被写体の部分が非透過であり、それ以外の部分が透過である場合、背景映像に被写体のみが合成された合成映像が表示される。

このように、全天周映像処理装置４による全天周映像Ｚ４の生成処理、及びＨＭＤ５による映像表示処理を繰り返すことで、映像Ｉ₁～Ｉ_nに対応した３次元映像を動画として疑似的に表示することができる。

〔全天周映像処理装置４〕
次に、図１に示した全天周映像処理装置４について説明する。図３は、全天周映像処理装置４の構成例を示すブロック図であり、図４は、全天周映像処理装置４の処理例を示すフローチャートである。

この全天周映像処理装置４は、統合部１０、切り出し部１１、マッピング部１２、アルファ値設定部１３及び半径設定部１４を備えている。

全天周映像処理装置４は、撮影装置２－１～２－ｎから映像Ｉ₁～Ｉ_nを入力すると共に（ステップＳ４０１）、測距装置３－１～３－ｎから距離データｄ₁～ｄ_nを入力する（ステップＳ４０２）。

統合部１０は、映像Ｉ₁～Ｉ_nを統合して全天周映像Ｚ１を生成する（ステップＳ４０３）。そして、統合部１０は、全天周映像Ｚ１をマッピング部１２に出力する。

具体的には、統合部１０は、映像Ｉ₁～Ｉ_nから、予め設定された基準カメラの撮影装置２に対応する映像Ｉを特定し、特定した映像Ｉを基準にして映像Ｉ₁～Ｉ_nを統合し、映像Ｉを基準位置とした全天周映像Ｚ１を生成する。基準カメラの撮影装置２は、撮影装置２－１～２－ｎのうち、ユーザにより予め設定されたカメラである。

尚、撮影装置２が図２（１）に示した単眼カメラである場合には、統合部１０による統合処理は不要である。単眼カメラにより、全天周映像Ｚ１（例えば半天周映像）が取得される。

図５は、全天周映像処理装置４が入力する映像Ｉの例を示す概略図であり、撮影装置２が図２（１）に示した単眼カメラである場合を示している。全天周映像処理装置４は、単眼カメラである撮影装置２から、映像Ｉ－１，Ｉ－２，Ｉ－３，Ｉ－４をこの順番に入力する。

これらの映像Ｉ－１，Ｉ－２，Ｉ－３，Ｉ－４は、被写体である人間が遠い位置から撮影装置２へ向かって近づいている時系列の映像である。

図３及び図４に戻って、切り出し部１１は、映像Ｉ₁～Ｉ_nから被写体の部分を切り出し、切り出し映像Ｋ₁～Ｋ_nを生成する（ステップＳ４０４）。そして、切り出し部１１は、切り出し映像Ｋ₁～Ｋ_nをマッピング部１２に出力する。

例えば被写体が人物である場合、切り出し部１１は、人物認識処理により、映像Ｉから人物を切り出す。また、例えば被写体が一般物である場合、切り出し部１１は、テンプレートマッチング処理により、映像Ｉから予め設定された物を切り出す。人物認識処理及びテンプレートマッチング処理は既知であるため、詳細な説明については省略する。

図６は、切り出し映像Ｋの例を示す概略図であり、撮影装置２が図２（１）に示した単眼カメラである場合を示している。

切り出し映像Ｋ－１は、図５に示した映像Ｉ－１から人物の被写体が切り出された映像であり、切り出し映像Ｋ－２は、図５に示した映像Ｉ－２から人物の被写体が切り出された映像である。

切り出し映像Ｋ－３は、図５に示した映像Ｉ－３から人物の被写体が切り出された映像であり、切り出し映像Ｋ－４は、図５に示した映像Ｉ－４から人物の被写体が切り出された映像である。

切り出し映像Ｋ－１，Ｋ－２，Ｋ－３，Ｋ－４は、被写体である人間が遠い位置から撮影装置２へ向かって近づいている映像Ｉ－１，Ｉ－２，Ｉ－３，Ｉ－４から切り出された時系列の映像である。

尚、図４の処理例では、統合部１０が映像Ｉ₁～Ｉ_nを統合して全天周映像Ｚ１を生成した後、切り出し部１１が映像Ｉ₁～Ｉ_nから切り出し映像Ｋ₁～Ｋ_nを生成するようにした。これに対し、切り出し部１１が映像Ｉ₁～Ｉ_nから切り出し映像Ｋ₁～Ｋ_nを生成した後、統合部１０が映像Ｉ₁～Ｉ_nを統合して全天周映像Ｚ１を生成するようにしてもよい。

図３及び図４に戻って、マッピング部１２は、統合部１０から全天周映像Ｚ１を入力すると共に、切り出し部１１から切り出し映像Ｋ₁～Ｋ_nを入力する。

マッピング部１２は、切り出し映像Ｋ₁～Ｋ_nのうち、予め設定された基準カメラの撮影装置２に対応する切り出し映像Ｋを特定し、全天周映像Ｚ１内の所定位置に切り出し映像Ｋをマッピングし、全天周映像Ｚ２を生成する（ステップＳ４０５）。そして、マッピング部１２は、全天周映像Ｚ２をアルファ値設定部１３に出力する。予め設定された基準カメラの撮影装置２に対応する切り出し映像Ｋとは、基準カメラの撮影装置２により取得された映像Ｉから切り出された映像である。

これにより、切り出し映像Ｋが全天周映像Ｚ１の所定位置に貼り付けられ、後述する半径設定部１４にて後述する全天周映像Ｚ３の半径が設定されるから、切り出し映像Ｋの被写体は、実空間のサイズに調整される。

図７は、単眼カメラの場合のマッピング例（ステップＳ４０５）を説明する図である。撮影装置２が単眼カメラである場合、マッピング部１２は、例えば予め設定された水平角度を用いて、全天周映像Ｚ１の中心から見た被写体の方向を特定する。予め設定された水平角度は、ユーザにより指定される。

そして、マッピング部１２は、全天周映像Ｚ１の中心から見た被写体の方向の位置に切り出し映像Ｋをマッピングすることで、全天周映像Ｚ１に切り出し映像Ｋを貼り付け、全天周映像Ｚ２を生成する。

図８は、多視点カメラの場合のマッピング例（ステップＳ４０５）を説明する図である。撮影装置２が多視点カメラである場合、マッピング部１２は、予め設定された基準カメラの撮影装置２（本例の場合は撮影装置２－２）のカメラパラメータに含まれる水平角度及び垂直角度を用いて、全天周映像Ｚ１の中心から見た被写体の方向を特定する。カメラパラメータは、撮影装置２が設置されることにより、一義的に決定される。

図３及び図４に戻って、アルファ値設定部１３は、マッピング部１２から全天周映像Ｚ２を入力する。そして、アルファ値設定部１３は、全天周映像Ｚ２のうち、切り出し映像Ｋがマッピングされた部分（貼り付けられた部分）の各画素のアルファ値に２５５を設定する。また、アルファ値設定部１３は、全天周映像Ｚ２のうち、切り出し映像Ｋがマッピングされていない部分（切り出し映像Ｋを除く部分）の各画素のアルファ値に０を設定する。

アルファ値に２５５を設定することは、非透過の値に設定することを意味し、当該部分は、画素値が反映された非透過の映像となり、ＨＭＤ５において表示されることとなる。また、アルファ値に０を設定することは、透過の値に設定することを意味し、当該部分は、画素値が反映されない透過の映像となり、ＨＭＤ５において表示されることはない。

これにより、切り出し映像Ｋの部分の画素は、全天周映像Ｚ２内で非透過となるように設定され、切り出し映像Ｋ以外の部分の画素は、全天周映像Ｚ２内で透過となるように設定される。

アルファ値設定部１３は、切り出し映像Ｋの部分の各画素値を反映し、それ以外の部分の画素値を反映しない全天周映像Ｚ３を生成する（ステップＳ４０６）。そして、アルファ値設定部１３は、全天周映像Ｚ３を半径設定部１４に出力する。

尚、アルファ値設定部１３は、全天周映像Ｚ２のうち、切り出し映像Ｋがマッピングされた部分の各画素のアルファ値に１２８を設定するようにしてもよい。この場合、切り出し映像Ｋの部分は、全天周映像Ｚ２内で半透明となる。

図９は、全天周映像Ｚ３の例を示す概略図である。この全天周映像Ｚ３－４は、図５に示した映像Ｉ－４及び図６に示した切り出し映像Ｋ－４に対応する映像である。

切り出し映像Ｋ－４の部分のアルファ値に２５５が設定されることで、当該部分は非透過となり、それ以外の部分のアルファ値に０が設定されることで、当該部分は透過となる。つまり、全天周映像Ｚ３－４において、切り出し映像Ｋ－４の部分は非透過となり、その他の部分は透過となる。

したがって、全天周映像Ｚ３－４は、切り出し映像Ｋ－４の部分については図示しない全天周映像Ｚ２の画素値がそのまま反映された映像となり、切り出し映像Ｋ－４以外の部分についてはその画素値が反映されない映像となる。

図３及び図４に戻って、半径設定部１４は、アルファ値設定部１３から全天周映像Ｚ３を入力すると共に、測距装置３－１～３－ｎから距離データｄ₁～ｄ_nを入力する。そして、半径設定部１４は、距離データｄ₁～ｄ_nのうち、予め設定された基準カメラの撮影装置２に対応する距離データｄを特定する。予め設定された基準カメラの撮影装置２に対応する距離データｄとは、基準カメラの撮影装置２に対応する測距装置３により取得された距離データである。

半径設定部１４は、全天周映像Ｚ３の半径に距離データｄを設定することで、全天周映像Ｚ３の半径を変更し、全天周映像Ｚ４を生成する（ステップＳ４０７）。そして、半径設定部１４は、全天周映像Ｚ４を出力する（ステップＳ４０８）。全天周映像Ｚ４は、例えば圧縮符号化され、符号化信号としてインターネットを介して、または放送波として送信される。

これにより、全天周映像Ｚ３の半径の変更に伴い、全天周映像Ｚ３に含まれる被写体のサイズも変更される。半径が短くなればなるほど、被写体のサイズは小さくなり、半径が大きくなればなるほど、被写体のサイズは大きくなる。

つまり、マッピング部１２により、ステップＳ４０５にて切り出し映像Ｋが全天周映像Ｚ１にマッピングされる。そして、半径設定部１４により、ステップＳ４０７にて全天周映像Ｚ３の半径に距離データｄが設定される。これにより、全天周映像Ｚ３に含まれる被写体に対し、そのサイズを直接変更する処理を行う必要がない。

したがって、全天周映像Ｚ３の半径を変更することで、被写体のサイズも変更されるから、簡易な処理にて、実空間内で適切な被写体のサイズが反映された全天周映像Ｚ４を得ることができる。

尚、全天周映像Ｚ３の半径を変更するために用いる距離データｄは、予め設定された基準カメラの撮影装置２に対応する測距装置３から被写体の代表点までの距離であってもよいし、被写体の複数点までの距離の平均または中央値であってもよい。

このように、距離データｄは、例えば被写体の代表点までの距離であればよく、または、平均等の簡易な処理にて求めた距離であればよいから、処理時間を大幅に短縮することができる。

また、図２（２）及び図２（３）に示した構成例のように、撮影側の装置に測距装置３を含まない場合には、例えば２台の撮影装置２－１，２－２により取得された映像Ｉ₁，Ｉ₂に基づいたステレオマッチングの手法により、距離データｄを求めるようにしてもよい。

図１０は、半径設定処理例（ステップＳ４０７）を説明する図であり、図１１は、全天周映像Ｚ４の例を示す概略図である。図１１に示す全天周映像Ｚ４は、図５に示した映像Ｉ－４、図６に示した切り出し映像Ｋ－４及び図９に示した全天周映像Ｚ３－４に対応する映像である。

図１０に示すように、全天周映像Ｚ３の半径に距離データｄが設定されることで、全天周映像Ｚ３の半径が変更され（図１０の例では、半径が短くなり）、被写体の切り出し映像Ｋのサイズを小さくした全天周映像Ｚ４が生成される。

同様に、図９に示した全天周映像Ｚ３－４に対し、図１１に示すように、被写体である人物のサイズを小さくした全天周映像Ｚ４－４が生成される。

以上のように、本発明の実施形態の全天周映像処理装置４によれば、統合部１０は、映像Ｉ₁～Ｉ_nを統合して全天周映像Ｚ１を生成し、切り出し部１１は、映像Ｉ₁～Ｉ_nから被写体の部分を切り出して切り出し映像Ｋ₁～Ｋ_nを生成する。

マッピング部１２は、切り出し映像Ｋ₁～Ｋ_nのうち、基準となる切り出し映像Ｋを特定し、全天周映像Ｚ１内で被写体の方向を特定し、その方向に切り出し映像Ｋをマッピングして全天周映像Ｚ２を生成する。

例えば、単眼カメラを用いた場合、マッピング部１２は、予め設定された水平角度を用いて被写体の方向を特定する。また、多視点カメラを用いた場合、マッピング部１２は、基準となるカメラパラメータに含まれる水平角度及び垂直角度を用いて被写体の方向を特定する。

アルファ値設定部１３は、全天周映像Ｚ２のうち、切り出し映像Ｋがマッピングされた部分のアルファ値に２５５を設定し、その他の部分のアルファ値に０を設定し、全天周映像Ｚ３を生成する。これにより、全天周映像Ｚ３の切り出し映像Ｋの部分は、非透過となって画素値が反映された映像となり、その他の部分は、透過となって画素値が反映されない映像となる。

半径設定部１４は、距離データｄ₁～ｄ_nのうち、基準となる距離データｄを特定し、全天周映像Ｚ３の半径に距離データｄを設定することで、全天周映像Ｚ３の半径を変更し、全天周映像Ｚ４を生成する。これにより、被写体は、全天周映像Ｚ３の半径に対応したサイズとなる。

このように、被写体の切り出し映像Ｋを全天周映像Ｚ１にマッピングし、全天周映像のアルファ値を設定し、全天周映像Ｚ３の半径を設定することで、切り出し映像Ｋの投影位置を変更した全天周映像Ｚ４を生成するようにした。

これにより、映像の編集及び加工は、２次元映像である全天周映像Ｚ４及び切り出し映像Ｋに対して行えばよいから、３次元映像に比べて、編集及び加工が容易となり、現存のルールを用いることができる。

また、マッピング処理、アルファ値設定処理及び半径設定処理を行うことで、ＨＭＤ５に用いる全天周映像Ｚ４を得ることができるから、簡易な手法でＸＲの３次元映像を疑似的に提示することができる。つまり、ＨＭＤ５を用いるユーザの視点位置を原点として、全天周映像Ｚ４の半径に従い、被写体を擬似的に３次元映像のように提示することができる。

また、切り出し部１１は、２次元映像である映像Ｉから被写体の部分を切り出すようにしたから、現行の枠のある映像でなく、枠のない映像を得ることができ、ＨＭＤ５において、より実在感のある映像を提示することができる。

また、ＨＭＤ５により、全天周映像Ｚ４が右目用及び左目用の映像に変換されて表示されるため、両眼視差のある映像を提示することができる。ＨＭＤ５により、視点の移動に伴った見え方にて、被写体を変化させることができる。

また、ＶＲのバーチャル空間またはバーチャルチャット等において、測定した物体の距離を全天周映像Ｚ４の半径に反映することで、所定の奥行きの位置に物体が提示される。これにより、手前にある物体が背後にある物体を隠して見えないようにするオクルージョン（見え隠れ）を加味した映像提示が可能となる。

ＨＭＤ５がＡＲグラスの場合、例えば市販されている両眼視差を利用することで、ユーザから数ｍ程度の奥行きの移動を表現することができる。

奥行きの分解能としては、１０ｍまでの距離を１ｍｍ単位で表す場合は１０，０００通りを表す必要があり、符号化のためには１４ビットのビット長が必要となる。ビットレートは、映像Ｉのフレーム速度が９０ｆｐｓの場合、１４×９０＝１，２６０ｂｐｓとなり、映像Ｉのビットレートと比較すれば、拡張による増加分は非常に小さくなる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば前記実施形態では、撮影側の装置の構成例として図２（１）～（４）を挙げて説明した。これらの構成は例示であり、本発明は他の構成例にも適用がある。

また、前記実施形態では、図３に示した通り、全天周映像処理装置４は、統合部１０、切り出し部１１、マッピング部１２、アルファ値設定部１３及び半径設定部１４を備えるようにした。

これに対し、撮影装置２が単眼カメラである場合、全天周映像処理装置４は、切り出し部１１、マッピング部１２、アルファ値設定部１３及び半径設定部１４を備える。この場合、切り出し部１１は、単眼カメラの撮影装置２から全天周映像Ｚ１を入力し、全天周映像Ｚ１から被写体の部分を切り出し、切り出し映像Ｋを生成する。マッピング部１２は、単眼カメラの撮影装置２から全天周映像Ｚ１を入力し、全天周映像Ｚ１に、切り出し部１１により生成された切り出し映像Ｋをマッピングする。

また、前記実施形態では、全天周映像処理装置４のアルファ値設定部１３は、全天周映像Ｚ２について、切り出し映像Ｋの部分のアルファ値に２５５を設定することで、当該部分を非透過に設定するようにした。また、アルファ値設定部１３は、切り出し映像Ｋを除く部分のアルファ値に０を設定することで、当該部分を透過に設定するようにした。

これに対し、アルファ値設定部１３は、全天周映像Ｚ２について、さらに、切り出し映像Ｋを除く部分の各画素の画素値（ＲＧＢの値）に０を設定するようにしてもよい。これにより、全天周映像処理装置４が、後段の半径設定部１４により生成された全天周映像Ｚ４を圧縮符号化して送信する際に、符号化効率を向上させることができ、送信データ量を少なくすることができる。

尚、本発明の実施形態による全天周映像処理装置４のハードウェア構成としては、通常のコンピュータを使用することができる。全天周映像処理装置４は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

全天周映像処理装置４に備えた統合部１０、切り出し部１１、マッピング部１２、アルファ値設定部１３及び半径設定部１４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１全天周映像処理システム
２撮影装置
３測距装置
４全天周映像処理装置
５ＨＭＤ（Head Mounted Display：頭部装着ディスプレイ）
１０統合部
１１切り出し部
１２マッピング部
１３アルファ値設定部
１４半径設定部
Ｉ映像
Ｋ切り出し映像
Ｚ１，Ｚ２，Ｚ３，Ｚ４全天周映像
ｄ距離データ

Claims

被写体を含む全天周映像を生成する全天周映像処理装置において、
複数の撮影装置により撮影された前記被写体を含む複数の映像を入力し、前記複数の映像を統合し、アルファチャンネル付き全天周映像を第一全天周映像として生成する統合部と、
前記映像から前記被写体の部分を切り出し、切り出し映像を生成する切り出し部と、
前記統合部により生成された前記第一全天周映像に、前記切り出し部により生成された前記切り出し映像をマッピングし、前記第一全天周映像に前記切り出し映像を貼り付けた第二全天周映像を生成するマッピング部と、
前記マッピング部により生成された前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分のアルファ値に透過の値を設定し、前記切り出し映像が貼り付けられ、前記アルファ値が設定された第三全天周映像を生成するアルファ値設定部と、
前記アルファ値設定部により生成された前記第三全天周映像の半径に、前記撮影装置から前記被写体までの間の距離を設定することで、前記第三全天周映像の半径を変更し、前記半径の変更に伴ってサイズが変更された前記切り出し映像を含み、前記切り出し映像の投影位置を変更した第四全天周映像を生成する半径設定部と、
を備えたことを特徴とする全天周映像処理装置。
被写体を含む全天周映像を生成する全天周映像処理装置において、
単眼カメラの撮影装置により撮影された前記被写体を含むアルファチャンネル付き全天周映像を第一全天周映像として入力し、前記第一全天周映像から前記被写体の部分を切り出し、切り出し映像を生成する切り出し部と、
前記第一全天周映像に、前記切り出し部により生成された前記切り出し映像をマッピングし、前記第一全天周映像に前記切り出し映像を貼り付けた第二全天周映像を生成するマッピング部と、
前記マッピング部により生成された前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分のアルファ値に透過の値を設定し、前記切り出し映像が貼り付けられ、前記アルファ値が設定された第三全天周映像を生成するアルファ値設定部と、
前記アルファ値設定部により生成された前記第三全天周映像の半径に、前記撮影装置から前記被写体までの間の距離を設定することで、前記第三全天周映像の半径を変更し、前記半径の変更に伴ってサイズが変更された前記切り出し映像を含み、前記切り出し映像の投影位置を変更した第四全天周映像を生成する半径設定部と、
を備えたことを特徴とする全天周映像処理装置。
請求項１または２に記載の全天周映像処理装置において、
前記アルファ値設定部は、
前記第二全天周映像について、前記切り出し映像の部分の各画素のアルファ値に非透過の値を設定し、前記切り出し映像を除く部分の各画素のアルファ値に透過の値を設定し、前記切り出し映像を除く部分の各画素の画素値に０を設定し、前記第三全天周映像を生成する、ことを特徴とする全天周映像処理装置。
請求項１に記載の全天周映像処理装置において、
前記マッピング部は、
前記複数の撮影装置のうち予め設定された基準カメラの前記撮影装置のカメラパラメータに含まれる水平角度及び垂直角度を用いて、前記被写体の方向を特定し、前記第一全天周映像における前記被写体の方向に前記切り出し映像をマッピングし、前記第二全天周映像を生成する、ことを特徴とする全天周映像処理装置。
請求項２に記載の全天周映像処理装置において、
前記マッピング部は、
予め設定された水平角度を用いて、前記被写体の方向を特定し、前記第一全天周映像における前記被写体の方向に前記切り出し映像をマッピングし、前記第二全天周映像を生成する、ことを特徴とする全天周映像処理装置。
コンピュータを、請求項１から５までのいずれか一項に記載の全天周映像処理装置として機能させるためのプログラム。