JP7616389B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は情報処理装置、情報処理方法およびコンピュータ可読媒体に関する。

鉄道車両の客室に表示装置を設置し、かかる表示装置に所定の映像メッセージを表示させるデジタルサイネージが普及している。またこのデジタルサイネージにおいて乗客に対して広告を表示するための技術が提案されている。

例えば特許文献１に記載の列車内情報表示システムは、表示画面に小型カメラを搭載し、列車内状況を監視するとともに、小型カメラにて撮影した映像データをもとに、情報表示装置に表示する内容を決定する。

特開２００８－０８５６８５号公報

上述の技術は、表示画面を注視していた人に応じた映像メッセージを表示する。しかしながら、表示画面を注視している人が存在しない場合には表示する映像メッセージを好適に決定することができない。また広告の効果をさらに向上させるための工夫が期待されている。

本開示はこのような課題を鑑みてなされたものであり、効果的に映像メッセージを表示させる情報処理装置等を提供することを目的としている。

本開示の１実施形態にかかる情報処理装置は、画像データ取得部、人物画像検出部、視線推定部、視線検出部、視聴者情報生成部および出力部を有する。画像データ取得部は、映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得する。人物画像検出部は、画像データから人物画像を検出する。視線推定部は、人物画像にかかる人物画像データから人物画像にかかる人物の視線を推定する。視線検出部は、表示装置の表示領域に向いている視線および表示領域の近傍領域に向いている視線をそれぞれ検出する。視聴者情報生成部は、表示領域および近傍領域に向いている視線に基づいて視聴者情報を生成する。出力部は、視聴者情報を出力する。

本開示の１実施形態にかかる情報処理方法は、コンピュータが、以下の方法を実行する。コンピュータは、映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得する。コンピュータは、画像データから人物画像を検出する。コンピュータは、人物画像にかかる人物画像データから人物画像にかかる人物の視線を推定する。コンピュータは、表示装置の表示領域に向いている視線および表示領域の近傍領域に向いている視線をそれぞれ検出する。コンピュータは、表示領域および近傍領域に向いている視線に基づいて視聴者情報を生成する。コンピュータは、視聴者情報を出力する。

本開示の１実施形態にかかるプログラムは、コンピュータに、以下のステップを実行させるものである。コンピュータは、映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得する。コンピュータは、画像データから人物画像を検出する。コンピュータは、人物画像にかかる人物画像データから人物画像にかかる人物の視線を推定する。コンピュータは、表示装置の表示領域に向いている視線および表示領域の近傍領域に向いている視線をそれぞれ検出する。コンピュータは、表示領域および近傍領域に向いている視線に基づいて視聴者情報を生成する。コンピュータは、視聴者情報を出力する。

本開示によれば、効果的に映像メッセージを表示する情報処理装置、情報処理方法およびプログラムを提供することができる。

実施の形態１にかかる情報処理装置のブロック図である。 実施の形態１にかかる情報処理装置が実行する処理のフローチャートである。 実施の形態２にかかる情報処理システムのブロック図である。 実施の形態２にかかる情報処理装置のブロック図である。 実施の形態２にかかる表示装置のブロック図である。 実施の形態２にかかる撮影装置のブロック図である。 実施の形態２にかかる情報提供装置のブロック図である。 実施の形態２にかかる車両の例を示す図である。 表示領域、近傍領域および視線の関係の例を示す図である。 情報処理装置が記憶する視線履歴情報の第１の例を示す図である。 情報処理装置が記憶する視線履歴情報の第２の例を示す図である。 実施の形態３にかかる情報処理装置のブロック図である。 表示領域、近傍領域、広告領域および視線の関係の例を示す図である。 コンピュータのハードウェア構成を例示するブロック図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる情報処理装置１００のブロック図である。図１に示す情報処理装置１００は、所定の交通機関として運行される車両の客室に設けられた表示装置に表示される広告などの映像メッセージに向けられる視線および映像メッセージの近傍に向けられる視線を検出する。また情報処理装置１００は、検出した視線から、かかる表示装置に表示する映像メッセージの選択に関する信号を生成して出力する。なお、本開示における所定の交通機関とは例えば、列車、トラム、トロリーまたはバスなど複数の人物が搭乗する交通機関である。

本実施の形態にかかる情報処理装置１００は主な構成として、画像データ取得部１１０、人物画像検出部１１１、視線推定部１１２、視線検出部１１３、視聴者情報生成部１１４および出力部１１５を有する。情報処理装置１００は、上記車両の客室の設置されたカメラと通信可能に接続している。カメラが設置されている客室には、映像メッセージを表示するための表示装置が設置されている。また情報処理装置１００は、上記車両の客室に設置された表示装置に所定の映像メッセージを表示させる情報提供装置に通信可能に接続している。

画像データ取得部１１０は、映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得する。すなわち画像データ取得部１１０が取得する画像データは、客室に設置されたカメラが撮影することにより生成したものである。画像データ取得部１１０が取得する画像データにかかる画像には、客室に存在する人物の画像（人物画像）が含まれる。より詳細には、この画像には人物の顔を含む人物画像が含まれる。画像データ取得部１１０は、取得した画像データを人物画像検出部１１１に供給する。

人物画像検出部１１１は、画像データ取得部１１０から画像データを受け取ると、受け取った画像データから人物画像を検出する。より具体的には、人物画像検出部１１１は、画像データの輝度値から所定の検出手法を用いて人物画像を検出する。所定の検出手法とは例えばＨＯＧ（Histograms of Oriented Gradients）、機械学習などの既知の手法である。人物画像検出部１１１は検出した人物画像にかかる人物画像データを視線推定部１１２に供給する。

視線推定部１１２は、人物画像検出部１１１から人物画像データを受け取ると、受け取った人物画像データから人物画像にかかる人物の視線を推定する。視線推定部１１２が推定する視線は、カメラが撮影した３次元空間において人物がどの方向を見ているかを示すものである。すなわち視線推定部１１２が推定する人物の視線にかかる視線データは、例えば画像データに紐づけられるベクトルとして示され得る。視線推定部１１２は、人物の視線を推定すると、推定の結果である視線データを視線検出部１１３に供給する。

視線検出部１１３は、視線推定部１１２から視線データを受け取ると、表示装置の表示領域に向いている視線および表示領域の近傍領域に向いている視線をそれぞれ検出する。上述の機能を実現するために、視線検出部１１３は例えば、画像データにかかる画像が撮影された客室における３次元空間に関する空間情報を有している。またこの空間情報には、表示装置の表示領域の位置に関する情報が含まれる。視線検出部１１３は、この空間情報における表示領域と、この表示領域の近傍の領域（近傍領域）に関する位置情報を有している。さらに視線検出部１１３は、この空間情報に視線データを重畳する。これにより視線検出部１１３は、客室に存在する人物の視線が表示領域に向いていること、および、近傍領域に向いていること、をそれぞれ検出する。視線検出部１１３は、視線検出の結果に関する情報を、視聴者情報生成部１１４に供給する。視線検出の結果に関する情報には、表示領域および近傍領域に向いている視線に関する情報が含まれる。

視聴者情報生成部１１４は、視線検出部１１３から視線検出の結果に関する情報を受け取ると、受け取った情報から、視聴者情報を生成する。視聴者情報は、表示領域および近傍領域に向いている視線に関する情報を含む。視聴者情報は、例えば複数の映像メッセージの中から表示装置に表示する映像メッセージの選択をするために利用されうる。

視聴者情報は、例えば視線検出部１１３が検出した視線検出の結果そのものであってもよい。より具体的には、視聴者情報は例えば、表示領域に向いている視線の数と、近傍領域に向いている視線の数とを示すものであってもよい。また視聴者情報は、表示領域および近傍領域に向いている視線の数の増減を示すものであってもよい。視聴者情報は、表示領域および近傍領域に向いている視線の数の移動平均を示すものであってもよい。

また視聴者情報は、例えば映像メッセージを変更することを指示する信号を含むものであってもよい。また視聴者情報は、例えば表示する映像メッセージの種別を示すものであってもよい。視聴者情報は、表示する映像メッセージの識別番号を含むものであってもよい。視聴者情報生成部１１４は、視聴者情報を生成すると、生成した視聴者情報を出力部１１５に供給する。

出力部１１５は、視聴者情報生成部１１４から視聴者情報を受け取ると、受け取った視聴者情報を出力する。より具体的には、出力部１１５は視聴者情報を、情報提供装置に出力する。

次に、図２を参照して、情報処理装置１００が実行する処理について説明する。図２は、実施の形態１にかかる情報処理装置が実行する処理のフローチャートである。図２に示すフローチャートは、例えば情報処理装置１００と接続しているカメラから画像データを受け取ることにより開始する。

まず、画像データ取得部１１０は、映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得する（ステップＳ１１）。

次に、人物画像検出部１１１は、画像データ取得部１１０が取得した画像データから人物画像を検出する（ステップＳ１２）。

次に、視線推定部１１２は、人物画像検出部１１１が検出した人物画像から、人物画像にかかる人物の視線を推定する（ステップＳ１３）。

次に、視線検出部１１３は、視線推定部１１２が推定した視線から、表示装置の表示領域に向いている視線および表示領域の近傍領域に向いている視線をそれぞれ検出する（ステップＳ１４）。

次に、視聴者情報生成部１１４は、表示領域および近傍領域に向いている視線から、視聴者情報を生成する（ステップＳ１５）。

次に、出力部１１５は、視聴者情報を出力する（ステップＳ１６）。視聴者情報を出力すると、情報処理装置１００は、一連の処理を終了する。

以上、実施の形態１にかかる情報処理装置および情報処理方法について説明した。尚、情報処理装置１００は、図示しない構成としてプロセッサ及び記憶装置を有するものである。情報処理装置１００が有する記憶装置は、例えばフラッシュメモリやＳＳＤ（Solid State Drive）などの不揮発性メモリを含む記憶装置を含む。この場合に、情報処理装置１００が有する記憶装置は、上述の画像処理方法を実行するためのコンピュータプログラム（以降、単にプログラムとも称する）を記憶している。またプロセッサは、記憶装置からコンピュータプログラムをＤＲＡＭ（Dynamic Random Access Memory）等のバッファメモリへ読み込ませ、当該プログラムを実行する。

情報処理装置１００が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。なお、ここに説明した構成に関する説明は、本開示において以下に説明するその他の装置またはシステムにおいても、適用され得る。

また、情報処理装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、情報処理装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。

以上、実施の形態１について説明した。本実施の形態にかかる情報処理装置１００は、表示装置に所定の映像メッセージが表示されている場合に、かかる映像メッセージを表示する表示部の表示領域に向いている視線と、表示部の近傍領域に向いている視線とをそれぞれ検出する。そして検出した視線にかかる視線データから視聴者情報を生成して出力する。視聴者情報を受け取った情報提供装置は、視聴者情報に応じて、適宜、表示部に表示させる映像メッセージを設定できる。よって実施の形態１によれば、効果的に映像メッセージを表示する情報処理装置等を提供することができる。

＜実施の形態２＞
次に、実施の形態２について説明する。図３は、実施の形態２にかかる情報処理システム１０のブロック図である。図３に示す情報処理システム１０は主な構成として、情報処理装置１０２、表示装置２００、撮影装置３００および情報提供装置４００を有している。また表示装置２００および撮影装置３００は、車両９００に設置されている。

情報処理装置１０２、表示装置２００、撮影装置３００および情報提供装置４００はそれぞれネットワークＮ１に通信可能に接続している。これにより例えば情報処理装置１０２はネットワークＮ１を介して撮影装置３００から画像データを受け取る。また情報処理装置１０２は、ネットワークＮ１を介して情報提供装置４００に視聴者情報を出力する。また情報提供装置４００は、ネットワークＮ１を介して表示装置２００と通信可能に接続し、映像メッセージの表示に関する指示信号を供給する。あるいは情報提供装置４００は、ネットワークＮ１を介して映像メッセージを表示装置２００に供給する。

次に、図４を参照して本実施の形態にかかる情報処理装置１０２について説明する。図４は、実施の形態２にかかる情報処理装置１０２のブロック図である。本実施の形態にかかる情報処理装置１０２は、情報取得部１１６および記憶部１２０を有する点が、実施の形態１にかかる情報処理装置１００と異なる。

情報取得部１１６は、情報提供装置４００から映像メッセージに関する所定の情報を取得する。所定の情報とは例えば映像メッセージの種別に関する映像種別情報である。この場合、情報処理装置１０２は例えば、取得した映像種別情報と視線データとを併せて記憶してもよい。なお、ここで情報処理装置１０２が記憶する情報は、後述する視線履歴情報１２１である。

上記所定の情報は例えば映像メッセージの固有識別子であってもよい。この場合、情報処理装置１０２は例えば、取得した固有識別子と視線データとを併せて、視線履歴情報１２１として記憶してもよい。これにより情報処理装置１０２は車両９００に表示した映像メッセージと、車両９００における視線データとを紐づけて記憶できる。

記憶部１２０は、フラッシュメモリ、ＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）などの不揮発性メモリを含む。記憶部１２０は、視線履歴情報１２１を出力可能に記憶する。視線履歴情報１２１は、視線データと時刻情報とを紐づけた視線履歴情報を出力可能に記憶する。すなわちこの場合、記憶部１２０は、視線履歴情報として、所定の時刻において表示領域に向いている視線データと、近傍領域に向いている視線データを出力可能に記憶する。これにより情報処理装置１０２は、時刻ごとの視線データを他の機器に提供できる。例えば映像メッセージを提供する提供者は、かかる視線履歴情報１２１を取得することにより、車両９００の乗客である人物が映像メッセージに注目していたか否かを認識できる。

なお、記憶部１２０は、視線履歴情報１２１として、人物画像にかかる人物の数をさらに記憶するものであってもよい。すなわちこの場合、記憶部１２０は、視線履歴情報１２１として、画像データに含まれる人物画像データから、撮影装置３００が撮影した人物の数をカウントして記録する。これにより例えば映像メッセージを提供する提供者は、かかる視線履歴情報１２１を取得して、車両９００の乗客である人物のうちどれくらいの割合の人物が映像メッセージに注目していたかを分析できる。換言すると情報処理装置１０２は、車両９００の乗客である人物のうちどれくらいの割合の人物が映像メッセージに注目していたかを分析するための情報をユーザに提供できる。

また記憶部１２０は、視線履歴情報１２１として、時刻情報にかかる時刻に表示装置に表示されていた映像メッセージに関する情報をさらに紐づけて記憶するものであってもよい。これにより、情報処理装置１０２は、車両９００の乗客である人物のうちどれくらいの割合の人物がどのような映像メッセージに注目していたかを分析するための情報をユーザに提供できる。

なお、情報処理装置１０２が有する出力部１１５は、上述の視線履歴情報１２１を視聴者情報に含めて情報提供装置４００に出力してもよい。この場合に、情報処理装置１０２は、記憶した視線履歴情報１２１を、定期的に情報提供装置４００に提供してもよいし、情報提供装置４００の要求に応じて提供してもよい。また情報処理装置１０２は情報提供装置４００とは異なる他の装置と通信可能に接続し、かかる他の装置に対して視線履歴情報１２１を提供してもよい。この場合の他の装置は、メモリカード等の記録メディアであってもよいし、通信機能を有するコンピュータ機器であってもよい。

次に、図５を参照して表示装置２００について説明する。図５は、実施の形態２にかかる表示装置２００のブロック図である。表示装置２００は主な構成として、表示部２１１、通信部２１２、制御部２１３および記憶部２２０を有している。

表示部２１１は、映像メッセージを表示するための液晶パネルや有機エレクトロルミネッセンス等のデバイスを含む。表示部２１１は車両９００の客室において複数の乗客が視認可能な位置に設置されている。表示部２１１は例えば車両９００の側壁面の天井に近い位置に固定されていることが好ましい。表示部２１１は例えば記憶部２２０が記憶するデータ蓄積部２２１に含まれる映像メッセージを表示する。

通信部２１２は、表示装置２００をネットワークＮ１に通信可能に接続するためのインタフェースである。通信部２１２は、ネットワークＮ１を介して、情報提供装置４００から映像メッセージに関する信号を受け取る。

制御部２１３は、例えばＣＰＵまたはＭＰＵ（Micro Processing Unit）等の演算装置であって、表示装置２００が有する各構成を制御する。具体的には、例えば制御部２１３は記憶部２２０が記憶しているデータ蓄積部２２１に含まれる映像メッセージに関する画像データを、表示部２１１に表示させる。

記憶部２２０は、不揮発性メモリを含む記憶装置である。記憶部２２０は例えば、データ蓄積部２２１と固有識別データ２２２とを記憶している。データ蓄積部２２１は、映像メッセージの画像データを含む。固有識別データ２２２は表示装置２００が有している固有識別子を含むデータである。表示装置２００は例えば、情報提供装置４００からの信号を受け取る際に、情報提供装置４００から受け取った信号に、この固有識別データ２２２に含まれる識別子と一致するデータが含まれるか否かを照合することにより、情報提供装置４００からの指示を実行する。

次に、図６を参照して撮影装置３００の詳細について説明する。図６は、実施の形態２にかかる撮影装置３００のブロック図である。撮影装置３００は主な構成として、カメラ３１１、通信部３１２、制御部３１３および記憶部３２０を有している。

カメラ３１１は、車両９００の客室を撮影して画像データを生成する。カメラ３１１は、対物レンズ、撮像素子、光電変換部および画像生成部等を含む。

通信部３１２は、撮影装置３００をネットワークＮ１に通信可能に接続するためのインタフェースである。通信部３１２は、カメラ３１１が生成した画像データ等を、ネットワークＮ１を介して情報処理装置１００に供給する。また通信部３１２は、ネットワークＮ１を介して情報処理装置１００からの画像データを要求することを示す信号を受け取っても良い。

制御部３１３は、例えばＣＰＵまたはＭＰＵ等の演算装置であって、撮影装置３００が有する各構成を制御する。また制御部３１３は記憶部３２０が記憶しているプログラム３２１を実行する。より具体的には例えば制御部３１３は、予め設定されたプログラムに従い、所定の期間ごとにカメラ３１１が生成した画像データと固有識別データとを情報処理装置１０に提供する処理を実行する。

記憶部３２０は、不揮発性メモリを含む記憶装置である。記憶部３２０は例えば、撮影装置３００の制御を司るプログラム３２１を記憶している。また記憶部３２０は例えば撮影装置３００に設定されている固有識別データ３２２を記憶している。

次に、図７を参照して情報提供装置４００について説明する。図７は、実施の形態２にかかる情報提供装置４００のブロック図である。情報提供装置４００は主な構成として、通信部４１１、制御部４１２および記憶部４２０を有している。

通信部４１１は、情報処理装置１０２や表示装置２００と通信するためのインタフェースである。通信部４１１は、ネットワークＮ１を介して情報処理装置１０２から視聴者情報を受け取る。また通信部４１１は、ネットワークＮ１を介して表示装置２００に対して映像メッセージを表示するための指示信号を出力する。

制御部４１２は、ＣＰＵ等の演算装置を含み、情報提供装置４００の各構成を制御する。制御部４１２は記憶部４２０からプログラム４２１を読み取り、読み取ったプログラムにしたがって、本実施形態にかかる所定の機能を実現する。

記憶部４２０は不揮発性メモリを含む記憶装置であって、情報提供装置４００に本実施の形態における機能を実現させるためのプログラム４２１を記憶している。また記憶部４２０は、表示装置２００が表示する映像メッセージに関するデータベースであるコンテンツデータベース４２２を有している。

次に、図８を参照して、実施の形態２にかかる車両９００の例を説明する。図８は、実施の形態２にかかる車両９００の例を示す図である。図８は車両９００の一部が示されている。図に示す車両９００の乗降扉の上側の側壁には、表示装置２００が設置されている。表示装置２００は表示部に液晶パネルを有しており、表示部には映像メッセージとして商品の広告が表示されている。また車両９００は表示装置２００の傍らに撮影装置３００が設置されている。撮影装置３００は車両９００に搭乗している複数の乗客を、乗客の頭上から見下ろすように撮影する。車両９００は、表示装置２００と同じ高さの壁面に広告Ａ９０１と広告Ｂ９０２を有している。広告Ａ９０１および広告Ｂ９０２は交換可能な紙媒体である。

上述の状況において、車両９００の客室には乗客である人物Ｕ１１～Ｕ１６が搭乗している。図８は、人物Ｕ１１～Ｕ１６のそれぞれの視線が矢印により示されている。例えば人物Ｕ１１の視線は、自身が持っている携帯端末に向いている。人物Ｕ１２は、表示装置２００の表示部に向いている。人物Ｕ１３の視線は広告Ｂ９０２に向いている。人物Ｕ１４の視線は人物Ｕ１３の頭部に向いている。人物Ｕ１５の視線は広告Ａ９０１に向いている。人物Ｕ１６の視線は、自身の手元に向いている。

次に、図９を参照して、視線検出部１１３が車両９００の乗客の視線を検出している状態を説明する。図９は、表示領域、近傍領域および視線の関係の例を示す図である。図９は、客室空間６００が示されている。客室空間６００は、視線検出部１１３が有している疑似的な空間情報であって、図８に示した車両９００に対応している。客室空間６００は、遠方領域６０１、近傍領域６０２および表示領域６０３を含む。遠方領域６０１は表示領域６０３からの距離が近傍領域６０２より遠い領域である。近傍領域６０２は表示領域６０３とは重ならない領域であって、且つ、表示領域６０３の近くの領域である。表示領域６０３は、表示装置２００の表示部に対応する領域である。

客室空間６００は、点Ｐ１１～Ｐ１６を含む。点Ｐ１１～１６は、車両９００に搭乗している人物Ｕ１１～Ｕ１６の視線データである。すなわち、車両９００に搭乗する人物Ｕ１１の視線が向けられている位置は点Ｐ１１である。同様に、人物Ｕ１２の視線が向けられている位置は点Ｐ１２、人物Ｕ１３の視線が向けられている位置は点Ｐ１３、人物Ｕ１４の視線が向けられている位置は点Ｐ１４、人物Ｕ１５の視線が向けられている位置は点Ｐ１５、そして、人物Ｕ１６の視線が向けられている位置は点Ｐ１６、である。

図９に示すように、点Ｐ１１、点Ｐ１６は遠方領域６０１に存在し、点Ｐ１３、点Ｐ１４および点Ｐ１５は近傍領域６０２に存在し、点Ｐ１２は表示領域６０３に存在している。つまり、図９は、人物Ｕ１１、Ｕ１６は遠方領域６０１に視線を向けており、人物Ｕ１３、人物Ｕ１４および人物Ｕ１５は近傍領域に視線を向けており、人物Ｕ１２は表示領域６０３に視線を向けていることを意味している。このように、情報処理装置１０２は、画像データから視線データを生成し、生成した視線データを客室空間６００に重畳することにより、乗客が客室空間６００のどこに視線を向けているのかを検出できる。

次に、図１０を参照して、情報処理装置１０２が生成して記憶する視線履歴情報の例を説明する。図１０は、実施の形態３にかかる情報処理装置が記憶する視線履歴情報の第１の例を示す図である。図１０は、視線履歴情報を示す表Ｔ１０が示されている。表Ｔ１０は、時刻情報、表示領域視線データおよび近傍領域視線データという項目を含む。

時刻情報は、画像データが撮影された時刻である。画像データが撮影された時刻は、画像データ取得部１１０が取得する画像データに含まれる。画像データに時刻情報が含まれていない場合には、時刻情報は、画像データ取得部１１０が画像データを取得した時刻であってもよい。

表示領域視線データは、時刻情報にかかる画像データにおいて表示領域に向かっている視線の数を示すデータである。近傍領域視線データは、時刻情報にかかる画像データにおいて近傍領域に向かっている視線の数を示すデータである。

図１０に示す表Ｔ１０は、時刻２０２１年７月２３日１５時３０分において表示領域に向いている視線が１であって、近傍領域に向いている視線データが３であることを含む。同様に、時刻２０２１年７月２３日１５時３１分において表示領域に向いている視線が２であって、近傍領域に向いている視線データが２であることを含む。情報処理装置１０２は表示Ｔ１０に示す視線履歴情報を出力可能に記憶する。情報処理装置１０２の利用者であるユーザは、このような視線履歴情報から、任意の時刻における映像メッセージが視認されている状況の実績を知ることができる。

次に、図１１を参照して、情報処理装置１０２が生成して記憶する視線履歴情報の例をさらに説明する。図１１は、実施の形態３にかかる情報処理装置が記憶する視線履歴情報の第２の例を示す図である。図１１は、視線履歴情報を示す表Ｔ１１が示されている。表Ｔ１１は、図１０に示した表Ｔ１０の内容に加えて、表示コンテンツという項目を含む。

表示コンテンツは、映像メッセージの識別子が示されている。例えば時刻２０２１年７月２３日１５時３０分に対応する表示コンテンツの欄には、広告Ａ０１１と記載されている。すなわち表Ｔ１１によれば、車両９００において、かかる時刻には、広告Ａ０１１が表示されており、この広告に向けられていた視線は１であり、近傍領域に向いていた視線は３であったことが示されている。同様に、表Ｔ１１によれば、時刻２０２１年７月２３日１５時３１分には、広告Ｂ１０３が表示されており、この広告に向けられていた視線は２であり、近傍領域に向いていた視線は２であったことが示されている。視線履歴情報がこのような情報を有することにより、これを利用するユーザは、任意の時刻における映像メッセージの内容と、これを視認した人物の人数等を知ることができる。

以上、実施の形態２について説明した。実施の形態２によれば、情報処理装置１０２は、表示領域および近傍領域にそれぞれ向けられている視線に関する情報を時刻情報とともに記憶する。よって、情報処理装置１０２を利用するユーザは、表示領域を注目する人物の他に、近傍領域に視線を向けている人物の注意を惹くことが出来たか否かを把握できる。また情報処理装置１０２を利用するユーザは、情報処理装置１０２が出力する視聴者情報ないし視線履歴情報を利用することにより、効果的な映像メッセージの表示方法または効果的な映像メッセージの内容を把握できる。よって実施の形態２によれば、効果的に映像メッセージを表示する情報処理装置、情報処理方法およびプログラムを提供することができる。

＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態３は、情報処理装置が属性推定部を有する点が、実施の形態２にかかる情報処理装置１０２と異なる。図１２は、実施の形態３にかかる情報処理装置１０３のブロック図である。図１２に示す情報処理装置１０３は、属性推定部１１７を有する。

属性推定部１１７は、人物画像にかかる人物の属性を推定する。人物の属性とは例えば人物画像にかかる人物の性別、年齢などを含む。また人物の属性は、人物が身に着けている物に応じたものであってもよい。例えば人物の属性は、メガネ、帽子、イヤホン、ピアス等の有無を含むものであってもよい。

本実施の形態にかかる視聴者情報生成部１１４は、上述の属性を加味して視聴者情報を生成するものであってもよい。より具体的には視聴者情報生成部１１４は、表示領域および近傍領域に向いている視線にかかる人物の属性に基づいて、視聴者情報を生成するものであってもよい。換言すると、記憶部１２０は例えば図１１に示した視線履歴情報において、人物の属性をさらに紐づけて記憶してもよい。

また本実施の形態にかかる視線検出部１１３は、車両９００の空間において、他の媒体によって広告が表示される広告領域が設定されている。さらに、本実施の形態にかかる記憶部１２０は、広告情報１２２を記憶する点が、実施の形態２にかかる情報処理装置１０２と異なる。広告情報１２２は、広告領域に表示される広告に関する情報である。すなわち、情報処理装置１０３は、車両９００における所定の空間に、他の媒体によって広告が表示されていることが設定されている。

また本実施の形態にかかる視聴者情報生成部１１４は、上述の広告領域に向いている視線と広告情報とに基づいて視聴者情報を生成することができる。

次に、図１３を参照して、本実施の形態にかかる視線検出部１１３が車両９００の乗客の視線を検出している状態を説明する。図１３は、表示領域、近傍領域、広告領域および視線の関係の例を示す図である。図１３に示す客室空間６００は、広告Ａ領域６０４および広告Ｂ領域６０５を有している点が、図９に示した客室空間６００と異なる。

広告Ａ領域６０４は、車両９００に設置した紙媒体の広告である広告Ａ９０１が設置されている領域である。広告Ｂ領域６０５は、車両９００に設置した紙媒体の広告である広告Ｂ９０２が設置されている領域である。

図１３に示すように、客室空間６００において、人物Ｕ１５の視線に対応する点Ｐ１５は広告Ａ領域６０４に含まれている。同様に、客室空間６００において、人物Ｕ１４の視線に対応する点Ｐ１４は広告Ｂ領域６０５に含まれている。

本実施の形態にかかる視線検出部１１３は、近傍領域に設けられている広告領域に視線が向いていることをさらに検出する。またこの場合、視聴者情報生成部１１４は、広告領域に向いている視線データを含めた視聴者情報を生成し得る。これにより、視聴者情報生成部１１４は、広告領域に向けられている視線に応じて、視線が向けられている広告に関連する映像メッセージを表示することを示す視聴者情報を生成し得る。このような構成により、情報処理装置１０３は、表示領域に視線を向けていないけれども、他の広告媒体等に視線を向けている人物の注意を惹くことが可能となる。また近傍領域に向けられていた視線が表示領域に向けられた場合には、そのことを視線履歴情報として記憶し、これをユーザに提供できる。

以上、実施の形態３について説明した。実施の形態４によれば、効果的に情報を表示する情報処理装置、情報処理方法およびプログラムを提供することができる。

＜ハードウェア構成の例＞
以下、本開示における情報処理装置の各機能構成がハードウェアとソフトウェアとの組み合わせで実現される場合の例について説明する。

図１３は、コンピュータのハードウェア構成を例示するブロック図である。本開示における情報処理装置は、図に示すハードウェア構成を含むコンピュータ５００により上述の機能を実現できる。コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよいし、ＰＣなどの据え置き型のコンピュータであってもよい。コンピュータ５００は、各装置を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ５００は、所定のアプリケーションをインストールされることにより、所望の機能を実現できる。

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース（Ｉ／Ｆ）５１０およびネットワークインタフェース（Ｉ／Ｆ）５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

プロセッサ５０４は、ＣＰＵ、ＧＰＵまたはＦＰＧＡなどの種々のプロセッサである。メモリ５０６は、ＲＡＭ（Random Access Memory）などを用いて実現される主記憶装置である。

ストレージデバイス５０８は、ハードディスク、ＳＳＤ、メモリカード、又はＲＯＭ（Read Only Memory）などを用いて実現される補助記憶装置である。ストレージデバイス５０８は、所望の機能を実現するためのプログラムが格納されている。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、各装置の各機能構成部を実現する。

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。

以上、本開示における情報処理装置の各機能構成がハードウェアとソフトウェアとの組み合わせで実現される場合の例について説明した。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

上述のプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

この出願は、２０２１年７月１４日に出願された日本出願特願２０２１－１１６６８６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 情報処理システム
１００ 情報処理装置
１０２ 情報処理装置
１０３ 情報処理装置
１１０ 画像データ取得部
１１１ 人物画像検出部
１１２ 視線推定部
１１３ 視線検出部
１１４ 視聴者情報生成部
１１５ 出力部
１１６ 情報取得部
１１７ 属性推定部
１２０ 記憶部
１２１ 視線履歴情報
１２２ 広告情報
２００ 表示装置
２１１ 表示部
２１２ 通信部
２１３ 制御部
２２０ 記憶部
２２１ データ蓄積部
２２２ 固有識別データ
３００ 撮影装置
３１１ カメラ
３１２ 通信部
３１３ 制御部
３２０ 記憶部
３２１ プログラム
３２２ 固有識別データ
４００ 情報提供装置
４１１ 通信部
４１２ 制御部
４２０ 記憶部
４２１ プログラム
４２２ コンテンツデータベース
５００ コンピュータ
６００ 客室空間
６０１ 遠方領域
６０２ 近傍領域
６０３ 表示領域
６０４ 広告Ａ領域
６０５ 広告Ｂ領域
９００ 車両
９０１ 広告Ａ
９０２ 広告Ｂ

Claims (10)

1. 映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得する画像データ取得手段と、
   前記画像データから人物画像を検出する人物画像検出手段と、
   前記人物画像にかかる人物画像データから前記人物画像にかかる人物の視線を推定する視線推定手段と、
   前記表示装置の表示領域に向いている前記視線および前記表示領域の近傍領域に向いている前記視線をそれぞれ検出する視線検出手段と、
   前記表示領域に向いている前記視線の数と、前記近傍領域に向いている前記視線の数とを含む視聴者情報を生成する視聴者情報生成手段と、
   前記視聴者情報を出力する出力手段と、を備える
   情報処理装置。
2. 前記視線と時刻情報とを紐づけた視線履歴情報を出力可能に記憶する記憶手段をさらに備える、
   請求項１に記載の情報処理装置。
3. 前記記憶手段は、前記視線履歴情報として、前記人物画像にかかる人物の数をさらに記憶する、
   請求項２に記載の情報処理装置。
4. 前記記憶手段は、前記視線履歴情報として、前記時刻情報にかかる時刻に前記表示装置に表示されていた前記映像メッセージに関する情報をさらに紐づけて記憶する、
   請求項２または３に記載の情報処理装置。
5. 前記人物画像にかかる人物の属性を推定する属性推定手段をさらに備え、
   前記視聴者情報生成手段は、前記属性を加味して前記視聴者情報を生成する、
   請求項１～４のいずれか一項に記載の情報処理装置。
6. 前記視聴者情報生成手段は、前記表示領域および前記近傍領域に向いている前記視線にかかる人物の前記属性に基づいて、前記視聴者情報を生成する、
   請求項５に記載の情報処理装置。
7. 前記視線検出手段は、前記近傍領域に設けられている広告領域に前記視線が向いていることをさらに検出し、
   前記視聴者情報生成手段は、前記広告領域に向いている前記視線に基づいて前記視聴者情報を生成する、
   請求項１～６のいずれか一項に記載の情報処理装置。
8. 前記視線検出手段は、前記近傍領域に設けられている広告領域に前記視線が向いていることをさらに検出し、
   前記記憶手段は、前記広告領域に表示されている広告に関する広告情報をさらに記憶し、
   前記視聴者情報生成手段は、前記広告領域に向いている前記視線と前記広告情報とに基づいて前記視聴者情報を生成する、
   請求項２～４のいずれか一項に記載の情報処理装置。
9. コンピュータが、
   映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得し、
   前記画像データから人物画像を検出し、
   前記人物画像にかかる人物画像データから前記人物画像にかかる人物の視線を推定し、
   前記表示装置の表示領域に向いている前記視線および前記表示領域の近傍領域に向いている前記視線をそれぞれ検出し、
   前記表示領域に向いている前記視線の数と、前記近傍領域に向いている前記視線の数とを含む視聴者情報を生成し、
   前記視聴者情報を出力する、
   情報処理方法。
10. 映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得し、
    前記画像データから人物画像を検出し、
    前記人物画像にかかる人物画像データから前記人物画像にかかる人物の視線を推定し、
    前記表示装置の表示領域に向いている前記視線および前記表示領域の近傍領域に向いている前記視線をそれぞれ検出し、
    前記表示領域に向いている前記視線の数と、前記近傍領域に向いている前記視線の数とを含む視聴者情報を生成し、
    前記視聴者情報を出力する、
    情報処理方法を、コンピュータに実行させるプログラム。

Images