JP6879225B2

JP6879225B2 - 映像提示システムおよび映像提示方法

Info

Publication number: JP6879225B2
Application number: JP2018029920A
Authority: JP
Inventors: 宇翔草深
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2018-02-22
Filing date: 2018-02-22
Publication date: 2021-06-02
Anticipated expiration: 2038-02-22
Also published as: WO2019163903A1; US11392021B2; JP2019144464A; US20210088892A1

Description

本発明は、粒子の滞留を利用して、空間中における任意の場所へ空中を形成する映像提示システムおよび映像提示方法に関する。

近年、ディスプレイ技術の発達により、例えば、ナビゲーションやサイネージ等のために、屋内外に配置された視覚ディスプレイが用いられている。

しかしながら、このような視覚ディスプレイは特定の位置のみに固定的に設置されるため、視覚ディスプレイの位置に合わせてユーザが移動する必要がある。

例えば、特許文献１では、視覚ディスプレイを形成するためのスクリーンを、移動可能にするために、台車に搭載する技術が開示されている。

特開２０１６−１９７１９２号公報

このように、この種の従来の視覚ディスプレイを用いた映像提示方法では、スクリーンの位置が固定されるため、空間的スケーラビリティが低い。

例えば、別の場所にスクリーンを移動させることは、移動に伴う映像表示までのタイムラグが生じるのみならず、移動しにくい場所での利用は困難であるという問題がある。

本発明はこのような事情に鑑みてなされたものであり、空間中における任意の場所へスクリーンを形成可能とすることによって、タイムラグもなく、場所に制約されることもなく映像を提示することが可能な映像提示システムおよび映像提示方法を提供することを目的とする。

上記目的を達成するためのこの発明の第１の観点は、各々が粒子を放出する複数の粒子放出部と、映像投影部と、制御部とを備える映像提示システムであって、制御部は、複数の粒子放出部のうちの第１の粒子放出部から放出される粒子と、複数の粒子放出部のうちの第２の粒子放出部から放出される粒子とを、放出速度と放出タイミングとの何れか一方を同一とし、他方を制御しながら放出することによって衝突させ、映像が投影されるスクリーンとして使用される滞留場を生成するよう制御し、映像投影部は、滞留場に映像を投影する。

この発明の第２の観点は、請求項１に記載の映像提示システムにおいて、第１の粒子放出部および第２の粒子放出部から放出される粒子は、渦輪に内包されて放出される。

この発明の第３の観点は、請求項１または２に記載の映像提示システムにおいて、第１の粒子放出部および第２の粒子放出部は、粒子を任意の方向に放出できるように構成されている。

この発明の第４の観点は、請求項１乃至３のうち何れか１項に記載の映像提示システムにおいて、映像投影部は、滞留場において映像のピントが合うように、焦点距離を算出する焦点距離算出部と、算出された焦点距離に基づいて、映像投影部を制御する焦点制御部とを備える。

この発明の第５の観点は、第１の粒子放出部から放出される粒子と、第２の粒子放出部から放出される粒子とを、放出速度と放出タイミングとの何れか一方を同一とし、他方を制御しながら放出することによって衝突させ、映像が投影されるスクリーンとして使用される滞留場を生成し、生成された滞留場に映像を投影することを特徴とする映像提示方法である。

本発明によれば、タイムラグもなく、場所に制約されることもなく映像を提示することが可能な映像提示システムおよび映像提示方法を実現することができる。

本発明の実施形態に係る映像提示方法が適用された映像提示システムの構成例を示す概念図である。本発明の実施形態に係る映像提示方法が適用された映像提示システムの構成例を示すブロック図である。本発明の実施形態に係る映像提示方法が適用された映像提示システムの動作例を示すフローチャートである。

以下に、本発明の実施形態に係る映像提示方法が適用された映像提示システムを、図面を参照して説明する。

図１は、本発明の実施形態に係る映像提示方法が適用された映像提示システムの構成例を示す概念図である。

図２は、本発明の実施形態に係る映像提示方法が適用された映像提示システムの構成例を示すブロック図である。

本発明の実施形態に係る映像提示方法が適用された映像提示システム１０は、粒子を射出する複数の粒子射出端末２０と、映像を投影する映像投影端末３０と、パンチルトミラー４０と、これらを制御する制御装置５０とを備える。制御装置５０は、映像を提示する提示位置や、粒子射出端末２０から粒子を射出する方式等の入力をユーザから受け付ける。

図１では、一例として、互いに離間して配置された２つの粒子射出端末２０（＃１）、２０（＃２）を例示している。しかしながら、粒子射出端末２０は、３つ以上であっても良い。

例えば空気砲である粒子射出端末２０は、通信機能部２１、提示位置解析部２２、姿勢制御機能部２３、射出パラメータ設定部２４、射出タイミング制御部２５、および射出機能部２６を備える。

通信機能部２１は、提示位置解析部２２、姿勢制御機能部２３、射出パラメータ設定部２４、射出タイミング制御部２５、および射出機能部２６を制御するために、制御装置５０と通信し、映像の提示位置や、粒子を射出する射出タイミングや射出速度等を制御装置５０から受信する。なお、制御装置５０によってなされる射出タイミングや射出速度の決定方法については後述する。また、映像の提示位置は、粒子射出端末２０から射出された粒子が滞留し、空中スクリーンを形成する滞留場６０の位置に相当する。

提示位置解析部２２は、通信機能部２１によって受信された提示位置を解析して座標へ変換する。

姿勢制御機能部２３は、提示位置解析部２２によって変換された座標に基づいて、この座標へ粒子を運搬するために、粒子射出端末２０の姿勢（角度）を決定し、決定した姿勢（角度）に基づいて、例えば、図示しないパンチルトサーボモータを駆動させて、射出機能部２６を射出方向（パン方向およびチルト方向）へ向ける。

以下に、姿勢制御機能部２３によって射出機能部２６をパン方向およびチルト方向へ向ける制御の具体例について説明する。

姿勢制御機能部２３はまず、空間中のある１点（ｘ、ｙ、ｚ）と、当該粒子射出端末２０の中心点（ｘcenter、ｙcenter、ｚcenter）とを通るベクトルを求める。次に、射出機能部２６の現在の法線ベクトルと、上記で求めたベクトルとの内積を用い、パン方向およびチルト方向についてそれぞれ２直線のなす角度θを求め、図示しないパンチルトサーボモータを駆動させる。

射出パラメータ設定部２４は、通信機能部２１によって受信された射出速度に基づいて、射出機能部２６のパラメータを設定する。パラメータは、例えば、射出機能部２６が、サブウーファーのように、スピーカを駆動させて粒子を射出する場合、周期、振幅、波形種別（正弦波、ノコギリ波等）のためのパラメータを含む。

射出タイミング制御部２５は、通信機能部２１によって受信された射出タイミングに基づいて、射出機能部２６を駆動するタイミングを決定し、このタイミングに従って、射出機能部２６へ発射トリガを出力する。

射出機能部２６は、例えば、サブウーファーのようなスピーカを備え、渦輪Ｐに内包させる粒子を生成し、渦輪Ｐを可変方向へ放出するための円形の穴（図示せず）が設けられた構成となっており、姿勢制御機能部２３によって向けられた射出方向へ向けて、射出パラメータ設定部２４によって設定されたパラメータ、および、射出タイミング制御部２５から出力された発射トリガに従って、粒子を渦輪Ｐに内包させて射出する。渦輪Ｐは、射出機能部２６の円形の穴（図示せず）から空気が押し出される際に形成される、ドーナツ状の閉じた渦糸であり、渦輪Ｐ中に粒子を含んだまま空気中を安定して移動することが可能であるので、映像を投影するための空中スクリーンとして使用される滞留場６０まで粒子を安定的に運搬するのに適している。なお、粒子を滞留場６０まで安定的に運搬するために、渦輪Ｐに代えて、ソリトンを使用しても良い。

渦輪Ｐへ内包させる粒子は、映像投影を行うためミー散乱を引き起こすサイズ（可視光の波長の１０倍程度以下）の粒子を用いることが好適である。粒子の生成源としては、例えば、プロピレングリコールを用い、図示しないフォグ生成装置により粒子を充満させる。プロピレングリコールは、舞台装置において煙を発生させるために一般的に用いられており、粒子はミー散乱を起こす。また、食品添加物や保湿剤としても用いられ人体への影響が無い。

制御装置５０は、複数の粒子射出端末２０（例えば、粒子射出端末２０（＃１）および粒子射出端末２０（＃２））から放出された粒子を衝突させ、滞留場６０を生成するために、各粒子射出端末２０から粒子を射出する際の射出タイミングおよび射出速度を決定し、各粒子射出端末２０へ通知する。制御装置５０はさらに、映像投影端末３０の動作に関するパラメータの設定や動作タイミングの同期制御、投影する映像の生成および投影位置に応じて、映像のアフィン変換、射影変換等をも行う。

複数の粒子射出端末２０（例えば、粒子射出端末２０（＃１）、（＃２））から射出される粒子の衝突を制御する方式としては、射出速度を同一として、射出タイミングを制御する方式１と、射出タイミングを同一として、射出速度を制御する方式２との２種類がある。これらは何れもユーザによって決定され、制御装置５０へ入力される。

（方式１）ユーザによって方式１が入力された場合、制御装置５０は、各粒子射出端末２０から滞留場６０までの直線長さをそれぞれ求め、その差を射出速度で除して得られた時間だけ、滞留場６０まで近い粒子射出端末２０からの射出タイミングを遅らせるように制御する。例えば、射出速度が４（ｍ／秒）であり、粒子射出端末２０（＃１）から滞留場６０までの直線長さが１３．０（ｍ）であり、粒子射出端末２０（＃２）から滞留場６０までの直線長さが８．２（ｍ）であったとする。この場合、粒子射出端末２０（＃２）の方が粒子射出端末２０（＃１）よりも近く、直線長さの差は、１３．０−８．２＝４．８（ｍ）であり、これを射出速度４（ｍ／秒）で除すると、１．２（秒）となる。したがって、この場合、各粒子射出端末２０（＃１）、２０（＃２）から射出された粒子が、滞留場６０へ同時に到着するように、粒子射出端末２０（＃１）から粒子を射出した後、１．２（秒）後に、粒子射出端末２０（＃２）から渦輪を射出するように、各粒子射出端末２０に対して射出タイミングおよび射出速度を通知する。

（方式２）ユーザによって方式２が入力された場合、制御装置５０は、各粒子射出端末２０から滞留場６０までの直線長さをそれぞれ求め、直線長さに基づいて、同時に滞留場６０へ粒子が到着するように、それぞれの速度を求める。例えば、粒子射出端末２０（＃１）から滞留場６０までの直線長さが１３．０（ｍ）であり、粒子射出端末２０（＃２）から滞留場６０までの直線長さが８．２（ｍ）であったとする。そして、滞留場６０に粒子を５（秒）後に到着させたい場合、粒子射出端末２０（＃１）からは、１３／５＝２．６（ｍ／秒）の速度で、粒子射出端末２０（＃２）からは、８．２／５＝１．６４（ｍ／秒）の速度で、それぞれ同時に粒子を射出するように、各粒子射出端末２０に対して、射出タイミングおよび射出速度を通知する。

映像投影部３０は、通信機能部３１、提示位置解析部３２、姿勢制御機能部３３、焦点距離算出機能部３４、焦点制御機能部３５、射影変換行列算出部３６、映像生成機能部３７、映像投影機能部３８、および投影コンテンツデータベース（以下、「投影コンテンツＤＢ」とも称する）３９を備える。

通信機能部３１は、提示位置解析部３２、姿勢制御機能部３３、焦点距離算出機能部３４、焦点制御機能部３５、射影変換行列算出部３６、映像生成機能部３７、映像投影機能部３８、および投影コンテンツＤＢ３９を制御するために、制御装置５０と通信し、映像の提示位置、すなわち、滞留場６０の位置を受信する。

提示位置解析部３２は、通信機能部３１によって受信された提示位置、すなわち滞留場６０の位置を解析して座標に変換する。

姿勢制御機能部３３は、提示位置解析部３２によって変換された座標に基づいて、映像投影端末３０の姿勢、および、パンチルトミラー４０のパン方向およびチルト方向を制御する。

以下に、姿勢制御機能部３３によってなされるパンチルトミラー４０のパン方向およびチルト方向の具体的な制御の一例について説明する。

姿勢制御機能部３３は、まず、空間中のある１点（ｘ、ｙ、ｚ）と、パンチルトミラー４０のミラー中心点（ｘmirror、ｙmirror、ｚmirror）とを通るベクトルを求める。次に、パンチルトミラー４０の現在のミラー表面の法線ベクトルと、上記で求めたベクトルとの内積を用い、パン方向およびチルト方向についてそれぞれ２直線のなす角度θを求める。次に、パンチルトミラー４０へ入る映像投影機能部３８からの入射光は鏡面反射を起こすため、角度θへ１／２を乗じた角度(θ／２)、図示しないパンチルトサーボモータを駆動させる。

焦点距離算出機能部３４は、提示位置解析部３２によって変換された座標に、映像のピントが合うように、焦点距離を算出する。

焦点制御機能部３５は、焦点距離算出機能部３４によって算出された焦点距離に基づいて、映像投影機能部３８を制御する。

射影変換行列算出部３６は、提示位置解析部３２によって変換された座標に基づいて、投影映像が歪まない変換行列を算出する。これは、プロジェクタでいう台形補正機能に相当する。

映像生成機能部３７は、投影コンテンツを投影コンテンツＤＢ３９から選択し、投影コンテンツに対して、射影変換行列算出部３６によって算出された変換行列を用いて投影変換を行う。

投影コンテンツＤＢ３９は、投影されるコンテンツを格納したデータベースである。

映像投影機能部３８は、焦点制御機能部３５によってなされる制御の下、映像生成機能部３７によって投影変換された投影コンテンツを投影する。

パンチルトミラー４０は、パン方向およびチルト方向への回転が可能な機構を備えた鏡であって、映像投影機能部３８によって投影された投影コンテンツを反射させ、滞留場６０まで導く。パンチルトミラー４０のパン方向およびチルト方向は、姿勢制御機能部３３によって制御される。

次に、以上のように構成した本発明の実施形態に係る映像提示方法が適用された映像提示システム１０の動作例について説明する。

図３は、本発明の実施形態に係る映像提示方法が適用された映像提示システム１０の動作例を示すフローチャートである。

前述したように、２つの粒子射出端末２０（＃１）、２０（＃２）から射出される粒子の衝突を制御する方式としては、射出速度を同一として、射出タイミングを制御する方式１と、射出タイミングを同一として、射出速度を制御する方式２との２種類がある。従って、図３のフローチャートでは、これら２種類の方式を同時に説明するために、方式１の動作を図３における左側に、方式２の動作を右側に、方式１と方式２に共通する動作を中央に図示している。このように、図３は、２つの方式を、便宜的に１つのフローチャートで示すものであって、方式１と方式２とが同時に行われることを意味するものではなく、映像提示システム１０は、ユーザ指定に応じて、方式１または方式２のうちの何れかによって動作する。

ユーザによって、制御装置５０に提示位置が入力されると、入力された提示位置は、制御装置５０から、各粒子射出端末２０および映像投影端末３０へ通信され、各粒子射出端末２０における通信機能部２１、および、映像投影端末３０における通信機能部３１によって受信される。

通信機能部２１によって受信された提示位置は、提示位置解析部２２において、座標へ変換される。同様に、通信機能部３１によって受信された提示位置は、提示位置解析部３２において、座標へ変換される（Ｓ１）。この座標は、滞留場６０の座標に相当する。

各粒子射出端末２０の姿勢制御機能部２３では、変換された座標に基づいて、各粒子射出端末２０の姿勢（角度）が決定され、決定された姿勢（角度）に基づいて、例えば、パンチルトサーボモータが駆動されることによって、各粒子射出端末２０の射出機能部２６が射出方向へ向けられる（Ｓ２）。

また、制御装置５０では、ユーザにより入力された方式に応じて、粒子を射出する射出タイミングや射出速度が各粒子射出端末２０毎に計算され、それぞれ対応する粒子射出端末２０へ通知される。これら射出タイミングや射出速度は、各粒子射出端末２０の通信機能部２１によって受信される。

次に、制御装置５０へ入力された方式が方式１である場合には、射出タイミング制御部２５において、通信機能部２１によって受信された射出タイミングに基づいて、射出機能部２６を駆動するタイミングが決定される（Ｓ１１）。

一方、制御装置５０へ入力された方式が方式２である場合には、射出パラメータ設定部２４において、通信機能部２１によって受信された射出速度（Ｓ２１）に基づいて、射出機能部２６を駆動するためのパラメータが制御される（Ｓ２２）。

次に、姿勢制御機能部３３において、提示位置解析部３２において変換された座標に基づいて、映像投影端末３０の姿勢、および、パンチルトミラー４０のパン方向およびチルト方向が制御される（Ｓ３）。

その後、焦点距離算出機能部３４では、提示位置解析部３２によって解析された座標に、映像のピントが合うように、焦点距離が算出される。さらに、焦点距離に基づいて、焦点制御機能部３５によって、映像投影機能部３８が制御される。また、射影変換行列算出部３６では、提示位置解析部３２によって解析された座標に基づいて、投影映像が歪まない変換行列が算出される。これは、プロジェクタでいう台形補正機能に相当する。さらに、映像生成機能部３７によって、投影コンテンツが投影コンテンツＤＢ３９から選択され、投影コンテンツに対して、射影変換行列算出部３６によって算出された変換行列を用いて投影変換が行われる（Ｓ４）。

その後、射出タイミング制御部２５によって決定されたタイミングに従って、射出タイミング制御部２５から射出機能部２６へ発射トリガが出力される（Ｓ５）。

方式１が設定されている場合には、発射トリガに応じて、粒子射出端末２０（＃１）の射出機能部２６と、粒子射出端末２０（＃２）の射出機能部２６とから、等しい速度で粒子が射出されるが、粒子が滞留場６０に同時に到着するように、ステップＳ１１で決定されたタイミングで粒子が射出される（Ｓ１２）。

一方、方式２が設定されている場合には、発射トリガに応じて、粒子射出端末２０（＃１）の射出機能部２６と、粒子射出端末２０（＃２）の射出機能部２６とから、粒子は同時に射出されるが、粒子が滞留場６０に同時に到着するように、ステップＳ２２で決定されたパラメータに対応する速度でそれぞれ粒子が射出される（Ｓ２３）。

このようにして、方式１および方式２何れの方式が採用された場合であっても、粒子射出端末２０（＃１）の射出機能部２６から射出された粒子と、粒子射出端末２０（＃２）の射出機能部２６から射出された粒子とは、同時に滞留場６０へ到達し、衝突することによって、空中スクリーンが形成される。

このように形成された空中スクリーンに向けて、焦点制御機能部３５によってなされる制御の下、映像生成機能部３７によって投影変換された投影コンテンツが、映像投影機能部３８から投影される。投影コンテンツは、映像投影機能部３８から投影された後、姿勢制御機能部３３によってパン方向およびチルト方向が制御されたパンチルトミラー４０によって反射され、滞留場６０に形成された空中スクリーン上に投影される。

上述したように、本発明の実施形態に係る映像提示方法が適用された映像提示システム１０によれば、散乱特性を有する粒子を空間中の任意点において滞留させることによって滞留場６０を形成し、滞留場６０を空中スクリーンとして利用して映像を投影することができる。

したがって、タイムラグなく即座に、空中映像を提示することが可能となる。しかも、空気中の任意点へ空中映像を提示することができるので、ユーザは、移動先に赴く場合であっても、デバイスを携帯する必要なく、空中映像を視ることが可能となる。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０・・映像提示システム、２０・・粒子射出端末、２１・・通信機能部、２２・・提示位置解析部、２３・・姿勢制御機能部、２４・・射出パラメータ設定部、２５・・射出タイミング制御部、２６・・射出機能部、３０・・映像投影端末、３１・・通信機能部、３２・・提示位置解析部、３３・・姿勢制御機能部、３４・・焦点距離算出機能部、３５・・焦点制御機能部、３６・・射影変換行列算出部、３７・・映像生成機能部、３８・・映像投影機能部、３９・・投影コンテンツデータベース、４０・・パンチルトミラー、５０・・制御装置、６０・・滞留場。

Claims

各々が粒子を放出する複数の粒子放出部と、映像投影部と、制御部とを備える映像提示システムであって、
前記制御部は、前記複数の粒子放出部のうちの第１の粒子放出部から放出される粒子と、前記複数の粒子放出部のうちの第２の粒子放出部から放出される粒子とを、放出速度と放出タイミングとの何れか一方を同一とし、他方を制御しながら放出することによって衝突させ、映像が投影されるスクリーンとして使用される滞留場を生成するよう制御し、
前記映像投影部は、前記滞留場に映像を投影する、ことを特徴とする映像提示システム。
前記第１の粒子放出部および前記第２の粒子放出部から放出される粒子は、渦輪に内包された放出されることを特徴とする、請求項１に記載の映像提示システム。
前記第１の粒子放出部および前記第２の粒子放出部は、前記粒子を任意の方向に放出できるように構成されたことを特徴とする、請求項１または２に記載の映像提示システム。
前記映像投影部は、
前記滞留場において前記映像のピントが合うように、焦点距離を算出する焦点距離算出部と、
前記算出された焦点距離に基づいて、前記映像投影部を制御する焦点制御部とを備える、
ことを特徴とする請求項１乃至３のうち何れか１項に記載の映像提示システム。
第１の粒子放出部から放出される粒子と、第２の粒子放出部から放出される粒子とを、放出速度と放出タイミングとの何れか一方を同一とし、他方を制御しながら放出することによって衝突させ、映像が投影されるスクリーンとして使用される滞留場を生成し、
前記生成された滞留場に映像を投影する、ことを特徴とする映像提示方法。