JP6653940B2 - コンテンツ生成装置およびコンテンツ生成方法 - Google Patents

Description

この発明は、外部の情報端末に表示させる複数の静止画を含むコンテンツを生成するコンテンツ生成装置及びコンテンツ生成方法に関する。

パーソナル・コンピュータ（以下、「ＰＣ」と表記する場合がある）やスマートフォン等の情報端末の画面に広い画角で撮影された画像の一部を表示させ、且つ、画面に表示させた画像を端末利用者の操作方向及び操作量に応じて、上下または左右方向に移動させれば、遠隔地にいる端末利用者であっても、あたかもその場にいるような感覚で視点の向きを自由に変化させることができる（例えば下記特許文献１参照）。

特開２０１５−２１６５４３号公報

近年、複数の撮影地点で撮影された複数の画像を、情報端末の画面上で切り替え表示しながら、屋内や屋外を案内するサービスが提供されている。しかしながら、広い範囲を案内するコンテンツ(文字、音声、および画像の情報を少なくとも１つを出力するプログラム)を作成する場合は、多数の撮影地点で画像を取得する必要がある。このような場合、撮影地点ごとに、カメラを設置して画像を取得する作業を繰り返し行わなければならず、撮影地点が多くなるほど、撮影に要するコスト及び工数が増加してしまう問題が生じる。
本発明は以上のような事情を背景とし、低コストで短期間に外部の情報端末に表示させる複数の静止画を含むコンテンツを生成することができるコンテンツ生成装置及びコンテンツ生成方法を提供することを目的としてなされたものである。

本発明は、外部の情報端末にて表示される複数の表示用画像を含むコンテンツを生成する装置であって、
撮影された動画を各フレームに対応した多数の静止画に変換する画像変換手段と、
所定の条件に基づいて、これら多数の静止画から特定の静止画を、前記表示用画像として抽出する画像抽出手段と、
前記表示用画像についての撮像位置情報を用いることなく抽出された前記表示用画像としての特定のフレームに対応した画像同士を関連付けて接続する画像接続手段と、を備え、
前記特定のフレームに対応した画像に基づいて生成された３次元モデルを介することなく、前記動画から得られた前記特定のフレームに対応した画像を前記表示用画像として前記情報端末の画面上にて切替表示させる前記コンテンツを生成することを特徴とする。

本発明のコンテンツ生成装置によれば、複数の静止画を、撮影された動画から得ることができる。静止画を得るための動画は、撮影状態のカメラ（動画撮影用カメラ）を、画像取得したい地点に沿って移動させることで作成することができ、撮影作業は基本１回で完了する。
このため静止画を得るため、従来必要とされていた作業、即ちカメラの設置固定、撮影（静止画を取得）、そして次の撮影地点への移動、といった撮影作業の繰り返しが不要もしくは大幅に削減され、撮影作業に要するコストと工期を削減することができる。

撮影された動画はフレームの連続で構成されており、動画からはフレームごとに静止画を取り出すことが可能である。このため、１つの撮影動画から多数の静止画を得ることができる。また本発明では、多数の静止画から所定の条件に基づいて特定の静止画を、表示用画像として抽出する画像抽出手段を備えている。表示用画像を抽出するための抽出条件は適宜決定することが可能である。例えば、動画から抽出したい表示用画像の枚数を５枚と指定して、撮影開始から所定の経過時間ごとに等間隔で５枚の静止画を抽出することができる。また、動画撮影時から経過時間を指定して、３秒目、１５秒目、２８秒目、・・と、個別に静止画を抽出することも可能である。

そして本発明は、画像接続手段を備え、抽出された表示用画像同士を関連付けて接続する。これにより、外部の情報端末にて表示される複数の表示用画像を含むひと纏まりのコンテンツが生成される。

以上のように本発明のコンテンツ生成装置によれば、撮影された動画及び抽出条件に基づいて自動的に、外部の情報端末に表示させる複数の静止画を含むコンテンツを生成することができるため、上述の撮影工期の削減を含めて、コンテンツの生成に要する工期を大幅に短縮することができる。

ここで本発明では、前記画像接続手段において、撮影順に配列させた際、互い隣接する前記表示用画像同士を前記情報端末の画面上にて切替表示可能に関連付けて接続し、
前記情報端末の画面上にて前記表示用画像に重畳して表示された前進用アイコンを選択した際、前記表示用画像を前記動画の撮影経路順に切替表示させる前記コンテンツを生成することができる。このようにすることで、外部の情報端末に表示される画像は、撮影順に切替表示される。このためコンテンツの作成者は、動画撮影に際して、閲覧させたい順に撮影経路を設定し、その経路に沿って動画撮影を行なっておけば、コンテンツを閲覧する端末利用者に対して、撮影経路の順に、即ち作成者の意図する順に複数の画像を閲覧させることできる。

本発明では、前記動画をパノラマ動画として、該パノラマ動画から得られる前記表示用画像をパノラマ静止画とすることができる。ここでパノラマ動画及びパノラマ静止画とは、上下方向または左右方向の何れか一方向の画角が少なくとも１８０度以上、望ましくは上下方向および左右方向の画角が略３６０度のものをいう。
一方、前記動画を、パノラマ動画ほどの広い画角を有していない一般的な動画として、該動画から得られる前記表示用画像を、パノラマ静止画ほどの広い画角を有していない一般的な静止画とすることができる。

本発明のコンテンツ生成装置およびこれにより生成されたコンテンツは、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ:拡張現実）、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ:仮想現実）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ:複合現実）、ＳＲ（Ｓｕｂｓｔｉｔｕｔｉｏｎａｌ Ｒｅａｌｉｔｙ：代替現実）の分野で好適に用いることができる。

本発明は、その他コンテンツの生成方法として構成することも可能である。

以上のような本発明によれば、外部の情報端末に表示させる複数の静止画を含むコンテンツを低コストで短期間に生成することができるコンテンツ生成装置及びコンテンツの生成方法を提供することができる。

本発明の一実施形態であるコンテンツ生成装置としてのサーバの構成を、外部端末等とともに示したブロック図である。 同実施形態における動画作成方法の一例を示した説明図である。 クライアント用端末及びサーバにおける処理の手順を示すフローチャートである。 生成されたコンテンツを模式的に示した図である。 コンテンツ閲覧時の利用者用端末の画面を示した図である。 図５に続く利用者用端末の画面を示した図である。

次に本発明の実施形態を図面に基づいて詳しく説明する。
図１において、１０は本実施形態におけるコンテンツ生成装置としてのサーバ、１２はパノラマ動画撮影用のカメラ、１４，１６，１８，２０は情報端末である。サーバ１０及び各情報端末１４，１６，１８，２０は、インターネット１５で接続されている。尚、サーバ１０と各情報端末１４，１６，１８，２０との接続は、インターネット１５のほか有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）等を用いることも可能である。

本例では、カメラ１２にて作成されたパノラマ動画を利用して、サーバ１０がパノラマツアー用のコンテンツを生成する。ここでパノラマツアー用のコンテンツとは、インターネット１５で接続された情報端末１６等の画面に表示され得る複数のパノラマ静止画を含んで構成されたものである。

カメラ１２は、上下方向および左右方向に１８０度以上の画角を有する２つの魚眼レンズ１３ａ，１３ｂ及びこれに対応する２つの撮像素子（図示省略）を備え、これら２つの撮像素子から出力された略半球画像同士を合成処理することにより、上下方向および左右方向に略３６０度の画角の有するパノラマ動画が得られるように構成されている。カメラ１２にて作成された動画は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）等の所定のファイル形式で出力され、カメラ１２内部の記憶部１２ａに記憶される。

情報端末１４は、サーバ１０にアクセスし、サーバ１０に対してパノラマツアー用のコンテンツの生成を要求するクライアント用端末である。カメラ１２にて撮影された動画ファイル等、コンテンツ生成のために必要な情報は、情報端末１４よりサーバ１０に送信される。この情報端末１４は、ＰＣやスマートフォン等の携帯端末であるが、インターネット１５に接続可能で且つＷｅｂブラウザ（以下、単にブラウザとする）を備えたものであれば、これらに限られない。

情報端末１６，１８，２０は、パノラマツアー用のコンテンツを閲覧するための利用者用端末である。ＰＣやスマートフォン等の携帯端末であるが、インターネット１５に接続可能で且つブラウザを備えたものであれば、これらに限られない。

サーバ１０は、通信部２２，制御部２４および記憶部２６を備えている。
通信部２２は、インターネット１５を介して情報端末１４とデータの受送信を行ない、情報端末１４に対し指示情報を送信する一方、情報端末１４からパノラマ動画等を取得する。また、インターネット１５を介して情報端末１６，１８，２０とデータの受送信を行ない、後述するパノラマツアー用のコンテンツの内容を情報端末１６，１８，２０に提供する。

制御部２４は、サーバ１０の各構成の制御を行うもので、例えばＣＰＵなどのプロセッサとすることができる。この場合、記憶部２６に記憶された制御プログラムをＣＰＵなどのプロセッサが実行することにより各構成を制御する。サーバ１０における制御部２４は、以下に示す画像変換手段３０、画像抽出手段３２および画像接続手段３４を備えている。

画像変換手段３０は、通信部２２を通じて取得したパノラマ動画をフレームごとに分解してパノラマ静止画として出力する。このときパノラマ静止画は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）等の所定のファイル形式で出力される。本実施形態では、カメラ１２で撮影された略３６０度の画角を有するパノラマ動画から、略３６０度の画角を有するパノラマ静止画が出力される。

カメラ１２で撮影された動画は、フレームの連続で構成されており、単位時間当たりのフレーム数は、通常フレームレートｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）で表される。例えば、フレームレート３０ｆｐｓで動画撮影が行われている場合、１分間（６０秒間）の動画からは、第１フレームから第１８００フレームまで１８００枚のパノラマ静止画が出力され、これらは記憶部２６に記憶される。尚、撮影された動画がフレームレート１００ｆｐｓの場合には、１分間（６０秒間）の動画からは、第１フレームから第６０００フレームまで６０００枚のパノラマ静止画が出力される。

画像抽出手段３２は、情報端末１４から受信した抽出情報を用いて、記憶部２６に記憶されている多数のパノラマ静止画の中から特定のパノラマ静止画を表示用画像として抽出する。そして、抽出された表示用画像（パノラマ静止画）には、画像が撮影された順に連番でファイル名が付けられる。

画像接続手段３４は、抽出された表示用画像同士を関連付けて接続する。上記画像抽出手段３２にて抽出された表示用画像を、撮影順に配列させた際、互い隣接する表示用画像同士で関連付けて接続することにより、外部の情報端末１６等にて表示される複数の表示用画像を含む、ひと纏まりのパノラマツアー用のコンテンツが生成され、記憶部２６に記憶される。

次に、パノラマツアー用のコンテンツを作成するための手順について説明する。ここでは一例としてショッピングセンター４０の内部の様子を紹介するためのコンテンツを生成するものとする。
コンテンツの生成を希望するクライアントは、まず、カメラ１２を用いてパノラマ動画の作成を行う。ここでは図２に示すようにショッピングセンター４０の内部を撮影するため、クライアントは入口４１近傍の地点Ｐ_Sから撮影を開始し、撮影状態を継続維持したまま中央通路４２を図中右方向に略一定速度で移動し、出口４３を越えた直後の地点Ｐ_Eで撮影を完了する。この時、撮影開始から完了まで要した時間が３分であった場合、撮影時間が３分間のパノラマ動画のファイルがカメラ１２内の記憶部１２ａに記憶される。尚、動画のフレームレートは３０ｆｐｓとする。

次にクライアントは、クライアント用端末１４の記憶部（図示省略）に、カメラ１２で作成された動画ファイルを、一旦記憶させ、端末１４にてサーバ１０にアクセスする。すると、図３に示すように、サーバ１０は入力用画面の情報を端末１４に送信する（ステップＳ１０１）。そして、この情報を受信したクライアント用端末１４は入力用画面を表示する（ステップＳ１０２）。

端末１４に表示された入力用画面は、動画ファイル情報の入力部および抽出条件の入力部を有している。クライアントは、入力用画面の入力部に動画ファイル情報及び抽出条件をそれぞれ入力する。ここでは、抽出条件として、抽出したいパノラマ静止画の枚数を「７枚」と規定し、撮影開始から完了までの撮影時間を等分割した際に得られる７枚のパノラマ静止画を抽出すること、とする。そしてクライアントが入力用画面に表示された送信ボタンを選択すると、入力部で指定された動画ファイル及び抽出条件がサーバ１０に送信される（ステップＳ１０３）。

サーバ１０は、動画ファイル及び抽出条件を受信すると（ステップＳ１０４）、次に受信した動画（パノラマ動画）をパノラマ静止画に変換する（ステップＳ１０５）。ここでは、フレームレート３０ｆｐｓで、撮影時間が３分間のパノラマ動画に基づいて、撮影開始直後の第１フレームのパノラマ静止画から撮影完了時の第５４００フレームのパノラマ静止画まで、合計で５４００枚のパノラマ静止画が出力され、それぞれ記憶部２６に記憶される。

次のステップＳ１０６では、ステップＳ１０４にて受信した抽出条件に基づいて、抽出条件を満足するパノラマ静止画を上記５４００枚のパノラマ静止画の中から抽出する。本例では、撮影開始から完了までの撮影時間を等分割した際に得られる、第１フレーム、第９００フレーム、第１８００フレーム、第２７００フレーム、第３６００フレーム、第４５００フレーム、第５４００フレーム、の計７つのパノラマ静止画が表示用画像として抽出される。ここでは抽出された７つの表示用画像は、撮影順（フレーム順）にＳ−１、Ｓ−２、・・、Ｓ−７とする。これら７つのパノラマ静止画の撮影地点は、図２におけるＰ₁、Ｐ₂、・・、Ｐ₇にそれぞれ相当する。

次のステップＳ１０７では、図４に示すように、抽出された上記７つの表示用画像Ｓ−１〜Ｓ−７を、撮影順に配列させ、隣接する表示用画像同士を関連付けて接続し、ひと纏まりのパノラマツアー用のコンテンツ４５が生成される。ここで隣接する表示用画像同士は、インターネット１５を介して接続された外部の情報端末にて、互いに切替表示可能に関連付けて接続されている。そして、生成されたコンテンツ４５は、記憶部２６の所定の領域に記憶され（ステップ１０８）、コンテンツ４５に対応する固有のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｅｒ）の情報が生成され、クライアント用端末１４に送信される（ステップＳ１０９）。

一方、クライアント用端末１４は、ＵＲＬ情報を受信して、クライアント用端末１４の画面にそのＵＲＬ情報を表示する（ステップＳ１１０）。そしてクライアントが、かかるＵＲＬ情報を自らのホームページ等で公開すれば、クライアント以外の第３者（利用者）は公開されたＵＲＬ情報を参照して、コンテンツ４５の内容を閲覧することができる。

例えば、利用者が、ＵＲＬ情報を参照して端末１６にてコンテンツ４５を閲覧すると、先ず、表示用画像Ｓ−１が表示される。この最初の表示用画像Ｓ−１は、ショッピングセンター４０の入口４１近傍の撮影地点Ｐ₁において撮影されたパノラマ画像である。図５は、この表示用画像Ｓ−１が端末１６の画面１６ａに表示された状態を示している。同図において、画面１６ａには表示用画像Ｓ−１に重畳して上向きに尖った前進用アイコン５０が表示されている。この前進用アイコン５０は次の表示用画像に切り替えるためのアイコンで、ポインティングデバイスに連動するカーソルをこの前進用アイコン５０上に移動させて、ポインティングデバイスに設けられたボタンを押下（以下、この一連の操作を単に「クリック」とする）すると、図４において表示用画像Ｓ−１と関連付けて接続されている次の表示用画像Ｓ−２が表示される。

図６は、この表示用画像Ｓ−２が端末１６の画面１６ａに表示された状態を示している。この画像は入口４１から建屋の内部に入った直後の、図２における撮影地点Ｐ₂において撮影されたパノラマ静止画である。同図に示すように、建屋内の風景を示すこの表示用画像Ｓ−２では、画面中央部に前方方向（画面上方）に向かって中央通路４２が延びており、その両側にはそれぞれ店舗が映し出されている。

同図に示すように画面１６ａには、上向きに尖った前進用アイコン５０に加えて、前進用アイコン５０の画面下方側には下向きに尖った後退用のアイコン５１が、表示用画像Ｓ−２に重畳して表示されている。前進用アイコン５０は、図５の場合と同様に、表示用画像Ｓ−２と接続されている次の表示用画像Ｓ−３に表示を切り替えるためのアイコンで、前進用アイコン５０をクリックすれば、表示用画像Ｓ−３が切替表示される。即ち、前進用アイコン５０をクリックすることで、端末利用者の視点は動画撮影時の経路に沿って順次移動することとなり、端末利用者はショッピングセンター４０の内部を、撮影地点Ｐ₁、Ｐ₂、・・、Ｐ₇の順で移動しながらのパノラマツアーを体験することができる。

一方、後退用のアイコン５１をクリックした場合には、前進用アイコン５０の場合とは逆に先程まで表示されていた表示用画像Ｓ−１が切替表示される。

尚、図５、図６に示すように端末１６の画面１６ａの下端近傍には左、右、上、下の方向をそれぞれ示す矢印状のアイコン５２，５３，５４，５５が表示されている。これらは端末利用者の視点の向きを適宜変更するためのアイコンである。例えば、図６において左方向を示すアイコン５２を、端末利用者が選択して押下した場合には、画面上に表示されている画像が右方向に移動して、画面１６ａの中央には店舗Ｌ１の様子が映し出され、端末利用者は店舗Ｌ１の内部の様子を伺い知ることができる。また右方向を示すアイコン５３を選択して押下した場合には、画面上に表示されている画像が左方向に移動して、画面１６ａの中央には店舗Ｒ１の様子が映し出され、端末利用者は店舗Ｒ１の内部の様子を伺い知ることができる。

更に上方向を示すアイコン５４を選択して押下した場合には、画面上に表示されている画像が下方向に移動して、画面１６ａの中央には建屋の天井が映し出され、下方向を示すアイコン５５を選択して押下した場合には、画面上に表示されている画像が上方向に移動して、画面１６ａの中央には建屋の床面が映し出される。尚、これら矢印形状のアイコンと並んで表示されているプラス形状のアイコン５６を選択して押下した場合には画像が拡大表示され、またマイナス形状のアイコン５７を選択して押下した場合には画像が縮小表示される。

以上のように本実施形態のサーバ１０は、画像変換手段３０を備え、複数のパノラマ静止画をパノラマ動画から得ることができる。パノラマ静止画を得るためのパノラマ動画は、図２で示すように撮影状態を維持したカメラ１２を、画像取得したい地点に沿って移動させることで作成することができ、撮影作業は基本１回で完了する。
このため複数の地点でパノラマ静止画を得るため、従来必要とされていたカメラを設置固定、撮影（静止画を取得）、そして次の撮影地点に移動、といった撮影作業の繰り返しが不要となり、撮影作業に要するコストと工期を削減することができる。

更にサーバ１０では、動画から取り出された多数のパノラマ静止画から特定のパノラマ静止画を表示用画像として抽出する画像抽出手段３２と、表示用画像同士を関連付けて接続する画像接続手段３４とを備えている。このサーバ１０では、パノラマ静止画の変換、抽出および接続が自動的に行われてパノラマツアー用のコンテンツが生成されるため、上述の撮影工数の削減を含めてコンテンツの生成に要する工期を大幅に短縮することができる。

また本実施形態では、画像接続手段３４において、撮影順に配列させた際に隣接する表示用画像同士を関連付けて接続するため、表示用画像（パノラマ静止画）は、撮影された順に外部の情報端末１６等に表示される。このためコンテンツの作成者は、動画撮影時、閲覧させたい順に撮影経路を設定し、その経路に沿って動画撮影を行なうことで、コンテンツ４５を閲覧する端末利用者に対して、撮影経路の順に、即ち作成者の意図する順に複数の表示用画像を閲覧させることできる。

以上本発明の実施形態を詳述したがこれはあくまで一例示である。上記実施形態では、画角略３６０度のパノラマ動画から画角略３６０度のパノラマ静止画を変換・抽出するものであったが、パノラマ動画ほどの広い画角を有していない一般的な動画から、パノラマ静止画ほどの広い画角を有していない一般的な静止画を変換・抽出することも可能である。また、動画から抽出する静止画の枚数や、表示用画像（抽出された静止画）を情報端末に表示させる際の順番等は適宜変更可能である。また上記実施形態では、１つの動画から必要とする静止画を得ているが、場合によっては２つ以上の動画から必要とする静止画を得るようにすることも可能である等、本発明はその趣旨を逸脱しない範囲において種々変更を加えた態様で実施可能である。

１０ サーバ（コンテンツ生成装置）
１４ クライアント用端末（情報端末）
１６，１８，２０ 利用者用端末（情報端末）
３０ 画像変換手段
３２ 画像抽出手段
３４ 画像接続手段

Claims (4)

1. 外部の情報端末にて表示される複数の表示用画像を含むコンテンツを生成する装置であって、
   撮影された動画を各フレームに対応した多数の静止画に変換する画像変換手段と、
   所定の条件に基づいて、これら多数の静止画から特定の静止画を、前記表示用画像として抽出する画像抽出手段と、
   前記表示用画像についての撮像位置情報を用いることなく抽出された前記表示用画像としての特定のフレームに対応した画像同士を関連付けて接続する画像接続手段と、を備え、
   前記特定のフレームに対応した画像に基づいて生成された３次元モデルを介することなく、前記動画から得られた前記特定のフレームに対応した画像を前記表示用画像として前記情報端末の画面上にて切替表示させる前記コンテンツを生成することを特徴とするコンテンツ生成装置。
2. 前記画像接続手段において、撮影順に配列させた際、互い隣接する前記表示用画像同士を前記情報端末の画面上にて切替表示可能に関連付けて接続し、
   前記情報端末の画面上にて前記表示用画像に重畳して表示された前進用アイコンを選択した際、前記表示用画像を前記動画の撮影経路順に切替表示させる前記コンテンツを生成することを特徴とする請求項１に記載のコンテンツ生成装置。
3. 前記動画がパノラマ動画であって、該パノラマ動画から前記表示用画像として得られる前記静止画がパノラマ静止画であることを特徴とする請求項１，２の何れか１項に記載のコンテンツ生成装置。
4. 外部の情報端末にて表示される複数の表示用画像を含むコンテンツを生成する方法であって、
   撮影された動画を各フレームに対応した多数の静止画に変換し、これら多数の静止画から所定の条件に基づいて特定の静止画を前記表示用画像として抽出した後、前記表示用画像についての撮像位置情報を用いることなく抽出された前記表示用画像としての特定のフレームに対応した画像同士を関連付けて接続し、
   前記特定のフレームに対応した画像に基づいて生成された３次元モデルを介することなく、前記動画から得られた前記特定のフレームに対応した画像を前記表示用画像として前記情報端末の画面上にて切替表示させる前記コンテンツを生成することを特徴とするコンテンツ生成方法。

Images