JP6911435B2 - 情報処理装置、表示システム、及びプログラム - Google Patents

Description

本発明は、情報処理装置、表示システム、及びプログラムに関する。

特許文献１には、通行人の注目度を向上させる映像情報提示装置が記載されている。この映像情報提示装置では、通行人の移動経路上に撮影装置とディスプレイ装置とを設け、通行人の画像をリアルタイム映像として撮影する。動体認識部によりリアルタイム映像内の通行人部分を動体領域として認識し、動体画像切出部により通行人部分である動体画像を切り出す。ＣＧ映像作成部は、材料データ格納部内に用意された背景画像に動体画像を合成した初期画像を含むＣＧ映像（合成画像）を作成する。映像切替部は、動体認識がなされた時点で、ディスプレイ装置に供給する映像を、リアルタイム映像からＣＧ映像へ切り替える。通行人が、ディスプレイ画面上の自分自身が写ったリアルタイム映像に注目すると、やがてＣＧ映像へと連続的な移行が行われる。

また、特許文献２にも、通行人の注目度を向上させる映像情報提示装置が記載されている。この映像情報提示装置では、通行人の移動経路上に撮影装置とディスプレイ装置とを設け、通行人の画像をリアルタイム映像として表示する。提示対象映像提供手段により、広告映像などの提示対象映像（合成画像）を作成し、映像切替手段によって、リアルタイム映像と提示対象映像を時間的に切り替えて表示させる。通行人検出手段により通行人の存在を検出し、映像切替手段による切替タイミングを制御する。提示対象映像提供手段は、種々の材料データを用いてリアルタイムで提示対象映像を作成することができ、また、撮影装置によって撮影された背景画像や通行人画像を材料として利用して提示対象映像を作成することもできる。通行人が、自分自身が写ったリアルタイム映像に注目すると、やがて提示対象映像が効果的に提示される。

特開２０１１−１７５４１８号公報 特開２０１１−１７５０７０号公報

ところで、相互に関連のない通行人等を対象として、アピールしたい提示用画像を合成して得られる合成画像を表示させる場合、当該対象が合成画像に関心を持たない限り、合成画像によるアピール効果が期待できない。

本発明は、相互に関連のない通行人等を対象として、アピールしたい提示用画像を合成して得られる合成画像を表示させる場合と比べ、アピール効果の高い合成画像を表示させることができる情報処理装置、表示システム、及びプログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の情報処理装置は、表示装置の表示画面の前に存在する複数の対象を撮影した動画が前記表示画面に表示されている場合に、前記動画のフレーム画像に基づいて前記複数の対象の中から相互に関連する複数の関連対象を選定する選定部と、前記複数の関連対象の少なくとも一部の関連対象の画像と、前記関連対象の一部を変化させる提示用画像であって、前記関連対象の特定の部分の位置及び向きを推定することにより得られる前記特定の部分の位置及び向きに合わせて配置される前記提示用画像とが合成されて得られた合成画像を、前記フレーム画像に埋め込む埋込部と、を備えたものである。

また、請求項２に記載の情報処理装置は、請求項１に記載の発明において、前記複数の関連対象が、予め定められた時間以上一緒に移動する複数の人、予め定められた時間以上一緒に留まる複数の人、予め定められた時間以上一緒に移動する人及び動物、又は、予め定められた時間以上一緒に留まる人及び動物とされたものである。

また、請求項３に記載の情報処理装置は、請求項１又は２に記載の発明において、前記少なくとも一部の関連対象が、予め定められた属性を有する関連対象とされたものである。

また、請求項４に記載の情報処理装置は、請求項３に記載の発明において、前記属性が、動物を示す属性とされたものである。

また、請求項５に記載の情報処理装置は、請求項１〜４のいずれか１項に記載の発明において、前記フレーム画像から、前記少なくとも一部の関連対象に対応する対象領域を特定し、前記合成画像と前記対象領域とが重ならない部分領域を特定する特定部と、前記特定部により特定された前記部分領域が前記合成画像の一部である場合、前記部分領域と前記対象領域の周囲の画像との前後関係を判定する第１判定部と、を更に備え、前記埋込部が、前記第１判定部により前記部分領域が前記周囲の画像よりも前と判定された場合、前記部分領域を、前記周囲の画像よりも前に埋め込むものである。

また、請求項６に記載の情報処理装置は、請求項１〜４のいずれか１項に記載の発明において、前記フレーム画像から、前記少なくとも一部の関連対象に対応する対象領域を特定し、前記合成画像と前記対象領域とが重ならない部分領域を特定する特定部と、前記特定部により特定された前記部分領域が前記合成画像の一部である場合、前記部分領域と前記対象領域の周囲の画像との前後関係を判定する第１判定部と、を更に備え、前記埋込部が、前記第１判定部により前記部分領域が前記周囲の画像よりも後と判定された場合、前記部分領域を、前記周囲の画像よりも後に埋め込むものである。

また、請求項７に記載の情報処理装置は、請求項５又は６に記載の発明において、前記埋込部が、前記特定部により特定された前記部分領域が前記対象領域の一部である場合、前記部分領域に対応する前記フレーム画像の部分に、補完画像を埋め込むものである。

また、請求項８に記載の情報処理装置は、請求項７に記載の発明において、前記補完画像と、予め定められた基準画像とを比較することにより、前記補完画像の適否を判定する第２判定部を更に備え、前記埋込部が、前記第２判定部により前記補完画像が適切でないと判定された場合、前記補完画像の前記フレーム画像への埋め込みを中止するものである。

また、請求項９に記載の情報処理装置は、請求項８に記載の発明において、前記合成画像が複数である場合に、前記フレーム画像における前記複数の合成画像の深度の順番を判定する第３判定部を更に備え、前記埋込部が、前記第３判定部により判定された深度の順番に従って、前記複数の合成画像を前記フレーム画像に埋め込むものである。

また、請求項１０に記載の情報処理装置は、請求項１〜９のいずれか１項に記載の発明において、前記合成画像が埋め込まれた前記フレーム画像の前記表示画面への表示を報知する報知部を更に備えたものである。

一方、上記目的を達成するために、請求項１１に記載の表示システムは、表示画面を有する表示装置と、前記表示画面の前に存在する複数の対象を撮影する撮影装置と、前記撮影装置により撮影された動画を取得し、取得した動画を前記表示画面に表示させる請求項１〜１０のいずれか１項に記載の情報処理装置と、を備えたものである。

更に、上記目的を達成するために、請求項１２に記載のプログラムは、コンピュータを、請求項１〜１０のいずれか１項に記載の情報処理装置が備える各部として機能させるためのものである。

請求項１、請求項１１、及び請求項１２に係る発明によれば、相互に関連のない人等を対象として、アピールしたい提示用画像を合成して得られる合成画像を表示させる場合と比べ、アピール効果の高い合成画像を表示させることができる。

請求項２に係る発明によれば、親子や、友人、同僚、顔見知り等の関係にある可能性が高い複数の人をアピール対象とすることができる結果、よりアピール効果を高めることができる。

請求項３に係る発明によれば、提示用画像を合成する関連対象として、所望の関連対象をフレーム画像に埋め込むことができる。

請求項４に係る発明によれば、提示用画像を合成する関連対象として、アピールすべき人の関心が高いと考えられる動物が適用されるため、よりアピール効果を高めることができる。

請求項５及び請求項６に係る発明によれば、違和感のない自然な合成画像を提供することができる。

請求項７に係る発明によれば、フレーム画像の対応部分に補完画像を適用しない場合と比べ、より違和感のない自然な合成画像を提供することができる。

請求項８に係る発明によれば、不自然な補完画像が埋め込まれないようにすることができる。

請求項９に係る発明によれば、フレーム画像に複数の合成画像を埋め込む場合でも、違和感のない自然な合成画像を提供することができる。

請求項１０に係る発明によれば、合成画像が埋め込まれたフレーム画像の表示画面への表示を報知しない場合と比べ、より高いアピール効果を得ることができる。

第１の実施形態に係る表示システムの構成の一例を示すブロック図である。 第１の実施形態に係る表示システムを構成する各装置の設置状態の一例を示す斜視図である。 第１の実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 第１の実施形態に係るプログラムの処理の流れの一例を示すフローチャートである。 第１の実施形態に係るプログラムにおける深度判定処理の流れの一例を示すフローチャートである。 実施形態に係るフレーム画像の一例を示す図である。 実施形態に係るフレーム画像から提示用画像を合成する通行人を選定した状態の一例を示す図である。 実施形態に係る通行人の画像と提示用画像とに基づいて得られる合成画像の一例を示す図である。 実施形態に係るフレーム画像から通行人に対応する対象領域を特定した状態の一例を示す図である。 実施形態に係る合成画像及び対象領域の一例を示す図である。 実施形態に係る合成画像及び対象領域を重ねた状態の一例を示す図である。 実施形態に係る合成画像が埋め込まれたフレーム画像の一例を示す図である。 実施形態に係る通行人と他の提示用画像とを合成して得られる合成画像の一例を示す図である。 実施形態に係る通行人が連れているペットの画像と提示用画像とを合成して得られる合成画像の一例を示す図である。 第２の実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 第３の実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 第３の実施形態に係る表示システムを構成する各装置の設置状態の一例を示す斜視図である。

以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。

[第１の実施形態]
図１は、第１の実施形態に係る表示システム９０の構成の一例を示すブロック図である。
図１に示すように、本第１の実施形態に係る情報処理装置１０Ａは、ネットワークＮを介して表示装置２０及び撮影装置３０の各々と接続されている。

情報処理装置１０Ａは、制御部１２と、記憶部１４と、操作部１６と、通信部１８と、を備える。情報処理装置１０Ａとしては、例えば、サーバ装置や、パーソナルコンピュータ（ＰＣ）等の汎用的なコンピュータが適用される。

制御部１２は、ＣＰＵ(Central Processing Unit)１２Ａ、ＲＯＭ(Read Only Memory)１２Ｂ、ＲＡＭ(Random Access Memory)１２Ｃ、及び入出力インターフェース（Ｉ／Ｏ）１２Ｄを備えており、これら各部がバスを介して各々接続されている。

Ｉ／Ｏ１２Ｄには、記憶部１４と、操作部１６と、通信部１８と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１２Ｄを介して、ＣＰＵ１２Ａと相互に通信可能とされる。

制御部１２は、情報処理装置１０Ａの全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部１２の各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部１２の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。

記憶部１４としては、例えば、ＨＤＤ(Hard Disk Drive)、ＳＳＤ(Solid State Drive)、フラッシュメモリ等が用いられる。記憶部１４には、本実施形態に係る合成画像を表示する処理を実行するためのプログラム１４Ａが記憶される。なお、このプログラム１４Ａは、ＲＯＭ１２Ｂに記憶されていてもよい。

プログラム１４Ａは、例えば、情報処理装置１０Ａに予めインストールされていてもよい。プログラム１４Ａは、不揮発性の記憶媒体に記憶して、又はネットワークを介して配布して、情報処理装置１０Ａに適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ、フラッシュメモリ、メモリカード等が想定される。

操作部１６には、テンキーやアルファベットキー等の各種の操作キーが設けられている。操作部１６は、情報処理装置１０Ａの操作者から各種の指示を受け付ける。

通信部１８は、ＬＡＮ(Local Area Network)、ＷＡＮ(Wide Area Network)等のネットワークＮに接続されており、表示装置２０及び撮影装置３０の各々とネットワークＮを介して通信する。この例の場合、通信部１８とネットワークＮとは有線で接続されるが、無線で接続してもよい。

表示装置２０には、例えば、液晶ディスプレイ(ＬＣＤ:Liquid Crystal Display)や有機ＥＬ(Electro Luminescence)ディスプレイ等が用いられる。

撮影装置３０には、例えば、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の固体撮像素子を備えたビデオカメラ等が用いられる。

なお、本実施形態では、情報処理装置１０Ａ、表示装置２０、及び撮影装置３０の各々が別体で設けられた場合について示しているが、表示装置２０及び撮影装置３０が一体的に設けられてもよい。また、情報処理装置１０Ａは、表示装置２０と一体的に設けられてもよい。

図２は、第１の実施形態に係る表示システム９０を構成する各装置の設置状態の一例を示す斜視図である。
図２に示すように、表示装置２０は、大画面のディスプレイ装置であり、店舗４０の近傍（ここでは、店舗４０の上部）に設置される。撮影装置３０は、表示装置２０の近傍（ここでは、表示装置２０の上部）に設置される。この例では、複数の撮影装置３０が所定の間隔をあけて設置される。複数の撮影装置３０を用いて、被写体までの距離を表す深度情報を取得する。この深度情報の具体例については後述する。なお、撮影装置３０は、必ずしも複数である必要はなく、１台であっても被写体までの距離が判るものであれば適用可能である。また、情報処理装置１０Ａの設置場所は特に限定されるものではなく、店舗４０から離れた場所であってもよい。

本実施形態に係る撮影装置３０は、表示装置２０の表示画面２２の前に存在する複数の対象の動画Ｍ１を撮影する。ここでいう表示画面２２の前とは、表示画面２２の正面のみならず表示画面２２の斜め前も含む。表示装置２０の表示画面２２には、情報処理装置１０Ａを介して、撮影装置３０で撮影した動画Ｍ１がリアルタイムで表示される。なお、ここでいう複数の対象とは、例えば、図２に示す複数の通行人Ａ１〜Ａ３として表される。この場合、表示画面２２には、複数の通行人Ａ１〜Ａ３を含む動画Ｍ１がリアルタイムで表示される。また、本実施形態では、図２に示すように、複数の通行人Ａ１〜Ａ３を含む動画Ｍ１が、通行人Ａ３の前に通行人Ａ２が位置され、通行人Ａ２の前に通行人Ａ１が位置される状態で表示される場合について説明する。

図３は、第１の実施形態に係る情報処理装置１０Ａの機能的な構成の一例を示すブロック図である。

図３に示すように、本第１の実施形態に係る情報処理装置１０ＡのＣＰＵ１２Ａは、入力部５０、画像切出部５１、選定部５２、画像合成部５３、対象領域特定部５４、部分領域特定部５５、深度判定部５６、埋込部５７、及び出力部５８として機能する。ＣＰＵ１２Ａは、記憶部１４に記憶されているプログラム１４ＡをＲＡＭ１２Ｃに書き込んで、実行することにより、上記各部として機能する。

ところで、本実施形態では、通りがかりの通行人に対して表示装置２０により合成画像を表示して、店舗４０に関する何らかの広告を行う場合について想定する。この場合、相互に関連のない通行人（例えば、単独で歩いている通行人等）に対して合成画像を表示するよりも、相互に関連する複数の通行人に対して合成画像を表示するほうが、アピール効果が高いと考えられる。なお、ここでいう相互に関連する複数の通行人とは、例えば、予め定められた時間以上一緒に移動している複数の通行人や、予め定められた時間以上一緒に留まっている複数の通行人等である。この場合、複数の通行人は、親子や、友人、同僚、顔見知り等である可能性が高いため、複数の通行人の少なくとも１人が合成画像に関心を持てば、複数の通行人の全員に合成画像が周知され、アピール効果が高まる効果が期待できる。

つまり、相互に関連のない通行人を対象とした場合、この通行人が関心を持たない限り、合成画像によるアピール効果は期待できない。これに対して、相互に関連する複数の通行人を対象とした場合、当該複数の通行人の誰かが関心を持てば、複数の通行人の全員が合成画像を見る可能性が高まり、合成画像によるアピール効果が期待できる。

そこで、本第１の実施形態に係る情報処理装置１０Ａでは、選定部５２が、表示画面２２の前に存在する複数の対象を撮影した動画がリアルタイムで表示画面２２に表示されている場合に、相互に関連する複数の関連対象を選定する。ここでいう複数の関連対象とは、動画のフレーム画像に基づいて複数の対象の中から選定される対象である。そして、埋込部５７が、複数の関連対象の少なくとも一部の関連対象の画像と提示用画像とに基づいて得られた合成画像をフレーム画像に埋め込む。なお、以下では、提示用画像を合成する関連対象として、通行人を例示して説明するが、これに限定されるものではない。提示用画像を合成する関連対象としては、通行人が連れている通行人以外の動物（以下、本実施形態ではペットという。）でもよい。

本第１の実施形態によれば、相互に関連する複数の通行人のうち少なくとも１人の通行人について合成画像を表示させるため、相互に関連のない１人の通行人について合成画像を表示させる場合と比べ、高いアピール効果が得られる。

以下、図４及び図５を参照して、第１の実施形態に係る情報処理装置１０Ａの作用を説明する。なお、図４は、第１の実施形態に係るプログラム１４Ａの処理の流れの一例を示すフローチャートである。図５は、第１の実施形態に係るプログラム１４Ａにおける深度判定処理の流れの一例を示すフローチャートである。

まず、情報処理装置１０Ａは、操作者による操作等によりプログラム１４Ａの実行が指示されると、入力部５０を介して、撮影装置３０により撮影された複数の通行人を含む動画情報の入力を受け付ける。なお、撮影装置３０が複数の通行人を撮影していることを検知した場合に、プログラム１４Ａの実行を指示してもよい。

なお、図２の例では、複数の通行人Ａ１〜Ａ３を含む動画Ｍ１の入力を受け付ける。そして、表示画面２２には、入力部５０を介して動画Ｍ１がリアルタイムで表示される。

図４のステップ１００では、画像切出部５１が、入力部５０により入力を受け付けた動画情報から、処理の対象とするフレーム画像を切り出す。

図６は、本実施形態に係るフレーム画像Ｆ１の一例を示す図である。

図６に示すように、動画Ｍ１から切り出されたフレーム画像Ｆ１には、複数の通行人Ａ１〜Ａ３を示す画像が含まれる。なお、どのフレーム画像を処理対象として切り出すかは特に限定しないが、フレーム画像における複数の通行人Ａ１〜Ａ３を表す画像の割合が所定の割合より大きいフレーム画像を切り出すことが望ましい。

ステップ１０２では、選定部５２が、フレーム画像から相互に関連する複数の通行人が選定できたか否かを判定する。相互に関連する複数の通行人を選定できたと判定した場合（肯定判定の場合）、ステップ１０４に移行する。一方、相互に関連する複数の通行人が選定できないと判定した場合（否定判定の場合）、ステップ１００に戻り処理を繰り返す。

図６の例では、相互に関連する複数の通行人として、予め定められた時間以上一緒に移動する複数の通行人Ａ１〜Ａ３が選定される。すなわち、選定部５２は、画像切出部５１により切り出されたフレーム画像Ｆ１から相互に関連する複数の通行人Ａ１〜Ａ３を選定する。具体的には、機械学習による物体検出技術を用いて、相互に関連する複数の通行人Ａ１〜Ａ３を選定する。例えば、物体検出に関するＦａｓｔｅｒ-ＲＣＮＮ(Region-based Convolutional Neural Network)やＳＳＤ(Single Shot MultiBox Detector)、ＦＰＧＡ(Field-Programmable Gate Array)等に組み込まれたＣＮＮ(Convolutional Neural Network)等の技術が適用される。これらの技術により、相互に関連する複数の通行人Ａ１〜Ａ３が選定される。なお、相互に関連する複数の通行人の他の例として、予め定められた時間以上一緒に留まる複数の通行人や、予め定められた時間以上話しながら一緒に移動する複数の通行人、予め定められた時間以上話しながら一緒に留まる複数の通行人等を選定してもよい。

ステップ１０４では、選定部５２が、相互に関連する複数の通行人から、提示用画像を合成する少なくとも一部の関連対象として、予め定められた属性を有する関連対象を選定する。予め定められた属性を有する関連対象の一例として、以下のような１人の通行人を選定する。

図７は、本実施形態に係るフレーム画像Ｆ１から提示用画像を合成する通行人Ａ２を選定した状態の一例を示す図である。

図７に示す通行人Ａ２の属性は、例えば、「髪の長い女性」という属性である。なお、この属性としては、通行人が連れるペットを示す属性としてもよい。この属性に基づく選定処理についても機械学習による物体検出技術を用いることで実現できる。この機械学習による物体検出技術を用いることで、「スカートをはいた女性」や、「眼鏡をかけた女性」、「若い女性」、「熟年の男性」等、様々な属性によって、通行人を選定可能とされる。なお、属性として、例えば、「若い女性」を採用すれば、複数の通行人Ａ１〜Ａ３の全員を、提示用画像を合成する関連対象として選定することが可能となる。また、属性として、「４つ足の動物」、「犬」等を採用すれば、通行人が連れる犬等のペットを、提示用画像を合成する関連対象として選定することが可能となる。

ステップ１０６では、画像合成部５３が、選定部５２により合成対象として選定された通行人の画像と、提示用画像とに基づいて合成画像を生成する。この場合、通行人の画像の少なくとも一部に、提示用画像が合成されて合成画像が生成される。

図８は、本実施形態に係る通行人Ａ２の画像と提示用画像ｂ１１〜ｂ１４とに基づいて得られる合成画像Ｂ１の一例を示す図である。

図８に示すように、合成画像Ｂ１は、通行人Ａ２の画像の一部と提示用画像ｂ１１〜ｂ１４とが合成されて生成される。合成画像Ｂ１は、例えば、機械学習等を用いて通行人Ａ２における体の特定の部分の位置や向きを推定し、推定した位置や向きに合わせて提示用画像ｂ１１〜ｂ１４を合成することで生成される。また、通行人Ａ２の３次元モデルを推定し、推定した３次元モデルに合わせて提示用画像ｂ１１〜ｂ１４を適切に配置した上で、コンピュータグラフィック等を利用して合成画像を生成してもよい。さらに、簡易的に影等を付けて立体的な合成画像としてもよい。なお、提示用画像ｂ１１、ｂ１２は、洋服の肩のデザインを変化させた状態を示す画像であり、提示用画像ｂ１３、ｂ１４は、髪型をショートカットにした状態を示す画像である。

ステップ１０８では、対象領域特定部５４が、フレーム画像から、提示用画像を合成する通行人に対応する対象領域を特定する。

図９は、本実施形態に係るフレーム画像Ｆ１から通行人Ａ２に対応する対象領域Ｒ１を特定した状態の一例を示す図である。

図９に示す対象領域Ｒ１は、フレーム画像Ｆ１における通行人Ａ２の画像に対応する領域であり、例えば、機械学習による画像認識技術を用いて特定される。具体的には、Ｇｒａｐｈ Ｃｕｔｓや画像認識に関するＤｅｅｐＭａｓｋ等の技術が適用される。

ステップ１１０では、部分領域特定部５５が、画像合成部５３で生成された合成画像と、対象領域特定部５４で特定された対象領域とが重ならない部分領域を特定する。対象領域特定部５４及び部分領域特定部５５は、特定部の一例である。なお、この例では、説明の便宜上、対象領域特定部５４及び部分領域特定部５５を別々に示しているが、１つの特定部としてもよい。

図１０は、本実施形態に係る合成画像Ｂ１及び対象領域Ｒ１の一例を示す図である。
図１１は、本実施形態に係る合成画像Ｂ１及び対象領域Ｒ１を重ねた状態の一例を示す図である。

部分領域特定部５５は、例えば、図１０に示す対象領域Ｒ１と合成画像Ｂ１とを重ねた場合に、対象領域Ｒ１と合成画像Ｂ１とが重ならない領域を、部分領域として特定する。

図１１の左図に示すように、対象領域Ｒ１を合成画像Ｂ１の上に重ねた場合、部分領域ｒ１１、ｒ１２が特定される。これら部分領域ｒ１１、ｒ１２は、対象領域Ｒ１には存在せず、合成画像Ｂ１に存在する領域である。つまり、部分領域ｒ１１、ｒ１２は、図８に示す提示用画像ｂ１１、ｂ１２に対応する領域であり、合成画像Ｂ１の一部とされる。

一方、図１１の右図に示すように、合成画像Ｂ１を対象領域Ｒ１の上に重ねた場合、部分領域ｒ１３、ｒ１４が特定される。これら部分領域ｒ１３、ｒ１４は、対象領域Ｒ１に存在し、合成画像Ｂ１には存在しない領域である。つまり、部分領域ｒ１３、ｒ１４は、図８に示す提示用画像ｂ１３、ｂ１４を合成することにより通行人Ａ２の画像領域から除去された領域であり、対象領域Ｒ１の一部とされる。

ステップ１１２では、深度判定部５６が、図５に示すサブルーチンに従って、部分領域特定部５５により特定された部分領域について深度判定処理を行う。

図５のステップ２００では、深度判定部５６が、部分領域特定部５５により特定された部分領域が合成画像の一部であるか否かを判定する。部分領域が合成画像の一部ではないと判定した場合（否定判定の場合）、ステップ２０２に移行する。一方、部分領域が合成画像の一部であると判定した場合（肯定判定の場合）、ステップ２０４に移行する。

ステップ２０２では、深度判定部５６が、部分領域を対象領域の一部と判定し、ステップ２１０に移行する。

ステップ２０４では、深度判定部５６が、部分領域の深度＜対象領域の周囲の画像の深度、の関係を満たすか否かを判定する。当該関係を満たすと判定した場合（肯定判定の場合）、ステップ２０６に移行する。一方、当該関係を満たさないと判定した場合（否定判定の場合）、ステップ２０８に移行する。

ステップ２０６では、深度判定部５６が、部分領域が対象領域の周囲の画像の前と判定する。

ステップ２０８では、深度判定部５６が、部分領域が対象領域の周囲の画像の後ろと判定する。

すなわち、深度判定部５６は、部分領域特定部５５により特定された部分領域が合成画像の一部である場合、部分領域と対象領域の周囲の画像との前後関係を判定する。具体的には、一例として、図２に示す複数の撮影装置３０を用いて被写体までの距離を表す深度情報を取得し、取得した深度情報をフレーム画像の各画素に対応付けておく方法が挙げられる。なお、複数の撮影装置３０の代わりに、赤外線センサや超音波センサ等を用いて被写体までの距離を表す深度情報を取得してもよい。また、この場合も機械学習を用いて前後関係を判定してもよい。深度判定部５６は、第１判定部の一例である。

ステップ２１０では、深度判定部５６が、全ての部分領域について深度を判定したか否かを判定する。全ての部分領域について深度を判定した場合（肯定判定の場合）、サブルーチンの処理を終了し、図４のステップ１１４に移行する。一方、全ての部分領域について深度を判定していない場合（否定判定の場合）、ステップ２００に戻り一連の処理を繰り返す。

図４のステップ１１４では、埋込部５７が、深度判定部５６による判定結果に従って、画像合成部５３により生成された合成画像をフレーム画像に埋め込む。具体的には、埋込部５７は、深度判定部５６により部分領域が対象領域の周囲の画像よりも前と判定された場合、部分領域を、周囲の画像よりも前に埋め込む。また、埋込部５７は、深度判定部５６により部分領域が対象領域の周囲の画像よりも後と判定された場合、部分領域を、周囲の画像よりも後ろに埋め込む。

図１１の例では、部分領域ｒ１１が通行人Ａ３の画像の前に埋め込まれ、部分領域ｒ１２の一部が通行人Ａ１の画像の後ろに埋め込まれる。

一方、埋込部５７は、深度判定部５６により部分領域が対象領域の一部であると判定された場合、部分領域に対応するフレーム画像の部分に補完画像を埋め込む。つまり、合成前の元画像に存在し合成画像には存在しない領域に補完画像を埋め込み、違和感を軽減させる。なお、補完画像としては、例えば、補完画像を埋め込むフレーム画像の前又は後ろのフレーム画像から対応部分の画素値を取得してもよいし、補完画像を埋め込むフレーム画像の前及び後の各々のフレーム画像から対応部分の画素値の平均を取得してもよい。この場合、例えば、補完画像を埋め込むフレーム画像の前及び後のフレーム画像を一時的にバッファ（図示せず）に格納しておくことで、対応部分の画素値が取得される。

図１１の例では、部分領域ｒ１３、ｒ１４に対応する部分に補完画像が埋め込まれる。

そして、出力部５８が、埋込部５７により合成画像が埋め込まれたフレーム画像を表示装置２０に出力し、表示装置２０の表示画面２２に表示させる。なお、一定時間、合成画像が埋め込まれたフレーム画像を連続的に動画で表示させ、一定時間が経過した後に別の関連する複数の通行人に対象を切り替えて、合成画像表示処理を継続させる。

図１２は、本実施形態に係る合成画像Ｂ１が埋め込まれたフレーム画像Ｆ１の一例を示す図である。

図１２に示すように、フレーム画像Ｆ１は、通行人Ａ２についての合成画像Ｂ１が埋め込まれ、合成画像Ｂ１が埋め込まれたフレーム画像Ｆ１は表示画面２２に表示される。

本第１の実施形態によれば、相互に関連する複数の通行人のうち少なくとも１人の通行人について合成画像を表示させるため、相互に関連のない１人の通行人について合成画像を表示させる場合と比べ、高いアピール効果が得られる。

すなわち、上記第１の実施形態では、１人の通行人Ａ２の髪型及び洋服のデザインを変化させた合成画像を表示させたが、通行人Ａ２は、他の通行人Ａ１、Ａ３と相互に関連し、友人等の関係である可能性が高いとされる。通行人Ａ１〜Ａ３の関係により、仮に通行人Ａ２が合成画像に関心を持たなかったとしても、他の通行人Ａ１、Ａ３が通行人Ａ２の合成画像を見て、「ショートカットが似合っている。」等の感想を伝える可能性が高いと考えられる。他の通行人Ａ１、Ａ３の感想により通行人Ａ２が合成画像の髪型や洋服のデザインを気に入る可能性が高まり、結果として高いアピール効果が得られる。

図１３は、本実施形態に係る通行人Ａ２の画像に他の提示用画像ｂ１５を合成して得られる合成画像Ｂ２の一例を示す図である。

図１３に示すように、合成画像Ｂ２は、通行人Ａ２の画像と他の提示用画像ｂ１５とが合成されて生成される。本例の提示用画像ｂ１５は、ネックレスを表す画像である。提示用画像ｂ１５は、広告の対象に応じて予め準備し、記憶部１４等に記憶しておけばよい。提示用画像ｂ１５には、例えば、ネックレス以外のアクセサリーや、洋服、帽子、ハンドバック、カバン、靴等、様々な商品の画像が適用される。

以上では、提示用画像を合成する関連対象を通行人として説明したが、提示用画像を合成する関連対象を、通行人が連れるペットとしてもよい。

図１４は、本実施形態に係る通行人Ａ４が連れているペットの画像と提示用画像ｂ１６、ｂ１７とを合成して得られる合成画像Ｂ３の一例を示す図である。

図１４に示すように、選定部５２は、相互に関連する複数の関連対象として、予め定められた時間以上一緒に移動する通行人Ａ４及びペットを選定し、更に、提示用画像ｂ１６、ｂ１７を合成する関連対象として、ペットを選定する。なお、予め定められた時間以上一緒に留まる通行人Ａ４及びペットを選定してもよい。本例の提示用画像ｂ１６は、ペット用の帽子を表す画像であり、提示用画像ｂ１７は、ペット用のマフラーを表す画像である。合成画像Ｂ３は、通行人Ａ４が連れるペットの画像と提示用画像ｂ１６、ｂ１７とが合成されて生成される。

この場合、大部分の飼い主は、ペットに強い関心を持っていることが多いと考えられる。従って、通行人Ａ４に対してかわいい合成画像Ｂ３を提示することで、合成画像Ｂ３の商品を気に入る可能性が高く、高いアピール効果が得られる。

[第２の実施形態]
図１５は、第２の実施形態に係る情報処理装置１０Ｂの機能的な構成の一例を示すブロック図である。

図１５に示すように、本第２の実施形態に係る情報処理装置１０ＢのＣＰＵ１２Ａは、上記第１の実施形態で説明した各部に加え、更に、適否判定部５９、及び深度順判定部６０として機能する。ＣＰＵ１２Ａは、記憶部１４に記憶されているプログラム１４ＡをＲＡＭ１２Ｃに書き込んで、実行することにより、上記各部として機能する。

上記第１の実施形態では、合成前の元画像に存在し合成画像には存在しない領域に対して補完画像を埋め込む処理を行っていたが、例えば、補完画像として、人の体、特に、顔や手足等を埋め込む場合、不自然な画像が埋め込まれる場合がある。

これに対して、本第２の実施形態に係る情報処理装置１０Ｂでは、適否判定部５９が、補完画像と基準画像とを比較することにより、補完画像の適否を判定する。適否判定部５９は、第２判定部の一例である。

具体的には、複数種類の基準画像が予め記憶部１４に記憶されている。すなわち、補完画像として許容される適切な画像と、補完画像として許容できない不適切な画像とを、機械学習により学習し、これらの学習データを複数種類の基準画像として記憶部１４に記憶しておく。人の顔の場合、例えば、目が２つの画像は適切な画像として学習され、目が３つ以上の画像は不適切な画像として学習される。適否判定部５９は、補完画像と基準画像とを比較し、補完画像が許容される適切な画像であるか、あるいは、許容できない不適切な画像であるかを判定する。適切な画像と判定された場合、補完画像が埋め込まれた状態のフレーム画像が表示される。一方、不適切な画像と判定された場合、補完画像のフレーム画像への埋め込みを中止する。なお、不適切な画像と判定された場合、合成画像の表示自体を中止してもよい。

一方、上記では、１フレーム画像中の合成画像が１つの場合について説明したが、本実施形態は、１フレーム画像中の合成画像が複数の場合についても同様に適用可能である。

この場合、深度順判定部６０が、フレーム画像における複数の合成画像の深度の順を判定する。例えば、図２に示す複数の撮影装置３０を用いて被写体までの距離を表す深度情報を取得し、取得した深度情報をフレーム画像の各画素に対応付けておき、この深度情報に基づいて、複数の合成画像の深度の順番を判定する。深度順判定部６０は、第３判定部の一例である。

埋込部５７は、深度順判定部６０により判定された深度の順番に従って、複数の合成画像をフレーム画像に埋め込む。具体的には、深度が深い、つまり、撮影装置３０との距離が遠い合成画像から順番にフレーム画像に埋め込む。

[第３の実施形態]
図１６は、第３の実施形態に係る情報処理装置１０Ｃの機能的な構成の一例を示すブロック図である。

図１６に示すように、本第３の実施形態に係る情報処理装置１０ＣのＣＰＵ１２Ａは、上記第２の実施形態で説明した各部に加え、更に、報知部６１として機能する。ＣＰＵ１２Ａは、記憶部１４に記憶されているプログラム１４ＡをＲＡＭ１２Ｃに書き込んで、実行することにより、上記各部として機能する。

上記第１、第２の実施形態では、相互に関連する複数の通行人の誰かが表示画面２２を見ることを前提にしているが、通行人によっては全く表示画面２２を見ない可能性がある。

そこで、本第３の実施形態に係る情報処理装置１０Ｃでは、報知部６１が、合成画像が埋め込まれたフレーム画像の表示画面２２への表示を報知する。この報知により、相互に関連する複数の通行人の誰かが表示画面２２を見る可能性が高まる。なお、報知のタイミングとしては、フレーム画像が表示画面２２に表示された直後でもよいし、フレーム画像が表示画面２２に表示される直前でもよい。更には、フレーム画像が表示画面２２に表示されるタイミングと同時でもよい。

図１７は、第３の実施形態に係る表示システム９０を構成する各装置の設置状態の一例を示す斜視図である。
図１７に示すように、報知部６１は、相互に関連する複数の通行人Ａ１〜Ａ３の少なくとも１人が表示画面２２を向くようにコーションを出す。このコーションの一例として、表示画面２２に特定人物６１Ａの画像を表示させ、通行人Ａ１〜Ａ３に、特定人物６１Ａから見られている気配を感じさせる。特定人物６１Ａとしては、例えば、イケメン俳優や、女優、アイドル等のように、通行人Ａ１〜Ａ３に不快感を与えない、誰でも知っている人物のほうが望ましい。また、この特定人物６１Ａの画像は、通行人Ａ１〜Ａ３を含む実際の動画として撮影されたものではないため、常に表示させていると、通行人Ａ１〜Ａ３に少し不気味な感じを与える可能性がある。従って、一定時間表示させた後に消去することが望ましい。

また、別のコーションとして、通行人Ａ１〜Ａ３が気付くように、レーザーポインタ６１Ｂを用いて、低エネルギーのレーザー光を照射するようにしてもよい。例えば、ＪＩＳ Ｃ ６８０２で規定されるレーザークラスが「クラス１」又は「クラス１Ｍ」程度の目に害のない安全なレーザー光を用いる。但し、通行人Ａ１〜Ａ３に直接照射するのは、不快感を与える可能性があるため、通行人Ａ１〜Ａ３が視認できる、店舗４０の前の特定の場所等に照射することが望ましい。

また、表示画面２２に視線を向けた複数の通行人のグループを、画像合成処理の対象としてもよい。この場合、公知の視線検出技術を利用して、複数の通行人の少なくとも１人の視線を検出する。表示画面２２に視線を向けている通行人が１人でもいるグループは、グループの全員が表示画面２２を見る可能性が高く、より高いアピール効果が得られる。

以上、実施形態として情報処理装置及び表示システムを例示して説明した。実施形態は、情報処理装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

その他、上記実施形態で説明した情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０Ａ〜１０Ｃ 情報処理装置
１２ 制御部
１２Ａ ＣＰＵ
１２Ｂ ＲＯＭ
１２Ｃ ＲＡＭ
１２Ｄ Ｉ／Ｏ
１４ 記憶部
１４Ａ プログラム
１６ 操作部
１８ 通信部
２０ 表示装置
２２ 表示画面
３０ 撮影装置
４０ 店舗
５０ 入力部
５１ 画像切出部
５２ 選定部
５３ 画像合成部
５４ 対象領域特定部
５５ 部分領域特定部
５６ 深度判定部
５７ 埋込部
５８ 出力部
５９ 適否判定部
６０ 深度順判定部
６１ 報知部
６１Ａ 特定人物
６１Ｂ レーザーポインタ
９０ 表示システム

Claims (12)

1. 表示装置の表示画面の前に存在する複数の対象を撮影した動画が前記表示画面に表示されている場合に、前記動画のフレーム画像に基づいて前記複数の対象の中から相互に関連する複数の関連対象を選定する選定部と、
   前記複数の関連対象の少なくとも一部の関連対象の画像と、前記関連対象の一部を変化させる提示用画像であって、前記関連対象の特定の部分の位置及び向きを推定することにより得られる前記特定の部分の位置及び向きに合わせて配置される前記提示用画像とが合成されて得られた合成画像を、前記フレーム画像に埋め込む埋込部と、
   を備えた情報処理装置。
2. 前記複数の関連対象は、予め定められた時間以上一緒に移動する複数の人、予め定められた時間以上一緒に留まる複数の人、予め定められた時間以上一緒に移動する人及び動物、又は、予め定められた時間以上一緒に留まる人及び動物である請求項１に記載の情報処理装置。
3. 前記少なくとも一部の関連対象は、予め定められた属性を有する関連対象である請求項１又は２に記載の情報処理装置。
4. 前記属性は、動物を示す属性である請求項３に記載の情報処理装置。
5. 前記フレーム画像から、前記少なくとも一部の関連対象に対応する対象領域を特定し、前記合成画像と前記対象領域とが重ならない部分領域を特定する特定部と、
   前記特定部により特定された前記部分領域が前記合成画像の一部である場合、前記部分領域と前記対象領域の周囲の画像との前後関係を判定する第１判定部と、
   を更に備え、
   前記埋込部は、前記第１判定部により前記部分領域が前記周囲の画像よりも前と判定された場合、前記部分領域を、前記周囲の画像よりも前に埋め込む請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記フレーム画像から、前記少なくとも一部の関連対象に対応する対象領域を特定し、前記合成画像と前記対象領域とが重ならない部分領域を特定する特定部と、
   前記特定部により特定された前記部分領域が前記合成画像の一部である場合、前記部分領域と前記対象領域の周囲の画像との前後関係を判定する第１判定部と、
   を更に備え、
   前記埋込部は、前記第１判定部により前記部分領域が前記周囲の画像よりも後と判定された場合、前記部分領域を、前記周囲の画像よりも後に埋め込む請求項１〜４のいずれか１項に記載の情報処理装置。
7. 前記埋込部は、前記特定部により特定された前記部分領域が前記対象領域の一部である場合、前記部分領域に対応する前記フレーム画像の部分に、補完画像を埋め込む請求項５又は６に記載の情報処理装置。
8. 前記補完画像と、予め定められた基準画像とを比較することにより、前記補完画像の適否を判定する第２判定部を更に備え、
   前記埋込部は、前記第２判定部により前記補完画像が適切でないと判定された場合、前記補完画像の前記フレーム画像への埋め込みを中止する請求項７に記載の情報処理装置。
9. 前記合成画像が複数である場合に、前記フレーム画像における前記複数の合成画像の深度の順番を判定する第３判定部を更に備え、
   前記埋込部は、前記第３判定部により判定された深度の順番に従って、前記複数の合成画像を前記フレーム画像に埋め込む請求項８に記載の情報処理装置。
10. 前記合成画像が埋め込まれた前記フレーム画像の前記表示画面への表示を報知する報知部を更に備えた請求項１〜９のいずれか１項に記載の情報処理装置。
11. 表示画面を有する表示装置と、
    前記表示画面の前に存在する複数の対象を撮影する撮影装置と、
    前記撮影装置により撮影された動画を取得し、取得した動画を前記表示画面に表示させる請求項１〜１０のいずれか１項に記載の情報処理装置と、
    を備えた表示システム。
12. コンピュータを、請求項１〜１０のいずれか１項に記載の情報処理装置が備える各部として機能させるためのプログラム。

Images