JP7616389B2

JP7616389B2 - Information processing device, information processing method, and program

Info

Publication number: JP7616389B2
Application number: JP2023534584A
Authority: JP
Inventors: 泰介吉田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2021-07-14
Filing date: 2021-12-21
Publication date: 2025-01-17
Anticipated expiration: 2041-12-21
Also published as: WO2023286292A1; JPWO2023286292A1

Description

本発明は情報処理装置、情報処理方法およびコンピュータ可読媒体に関する。 The present invention relates to an information processing device, an information processing method, and a computer-readable medium.

鉄道車両の客室に表示装置を設置し、かかる表示装置に所定の映像メッセージを表示させるデジタルサイネージが普及している。またこのデジタルサイネージにおいて乗客に対して広告を表示するための技術が提案されている。 Digital signage, which displays a specified video message on a display device installed in the passenger compartment of a railway vehicle, is becoming widespread. In addition, technology has been proposed for displaying advertisements to passengers on this digital signage.

例えば特許文献１に記載の列車内情報表示システムは、表示画面に小型カメラを搭載し、列車内状況を監視するとともに、小型カメラにて撮影した映像データをもとに、情報表示装置に表示する内容を決定する。For example, the in-train information display system described in Patent Document 1 is equipped with a small camera on the display screen to monitor the situation inside the train and determines the content to be displayed on the information display device based on the video data captured by the small camera.

特開２００８－０８５６８５号公報JP 2008-085685 A

上述の技術は、表示画面を注視していた人に応じた映像メッセージを表示する。しかしながら、表示画面を注視している人が存在しない場合には表示する映像メッセージを好適に決定することができない。また広告の効果をさらに向上させるための工夫が期待されている。The above-mentioned technology displays a video message according to the person gazing at the display screen. However, if there is no one gazing at the display screen, it is not possible to appropriately determine the video message to display. Furthermore, innovations to further improve the effectiveness of advertising are anticipated.

本開示はこのような課題を鑑みてなされたものであり、効果的に映像メッセージを表示させる情報処理装置等を提供することを目的としている。This disclosure has been made in consideration of these problems and aims to provide an information processing device, etc. that can effectively display video messages.

本開示の１実施形態にかかる情報処理装置は、画像データ取得部、人物画像検出部、視線推定部、視線検出部、視聴者情報生成部および出力部を有する。画像データ取得部は、映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得する。人物画像検出部は、画像データから人物画像を検出する。視線推定部は、人物画像にかかる人物画像データから人物画像にかかる人物の視線を推定する。視線検出部は、表示装置の表示領域に向いている視線および表示領域の近傍領域に向いている視線をそれぞれ検出する。視聴者情報生成部は、表示領域および近傍領域に向いている視線に基づいて視聴者情報を生成する。出力部は、視聴者情報を出力する。 An information processing device according to one embodiment of the present disclosure has an image data acquisition unit, a person image detection unit, a gaze estimation unit, a line of sight detection unit, a viewer information generation unit, and an output unit. The image data acquisition unit acquires image data relating to an image captured of a passenger compartment of a vehicle in which a display device capable of displaying a video message is installed. The person image detection unit detects a person image from the image data. The gaze estimation unit estimates the gaze of a person relating to the person image from the person image data relating to the person image. The gaze detection unit detects a gaze directed toward the display area of the display device and a gaze directed toward a nearby area of the display area. The viewer information generation unit generates viewer information based on the gazes directed toward the display area and the nearby area. The output unit outputs the viewer information.

本開示の１実施形態にかかる情報処理方法は、コンピュータが、以下の方法を実行する。コンピュータは、映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得する。コンピュータは、画像データから人物画像を検出する。コンピュータは、人物画像にかかる人物画像データから人物画像にかかる人物の視線を推定する。コンピュータは、表示装置の表示領域に向いている視線および表示領域の近傍領域に向いている視線をそれぞれ検出する。コンピュータは、表示領域および近傍領域に向いている視線に基づいて視聴者情報を生成する。コンピュータは、視聴者情報を出力する。 In an information processing method according to one embodiment of the present disclosure, a computer executes the following method. The computer acquires image data relating to an image captured of a passenger compartment of a vehicle in which a display device capable of displaying a video message is installed. The computer detects a person image from the image data. The computer estimates the line of sight of a person in the person image from the person image data relating to the person image. The computer detects a line of sight directed toward a display area of the display device and a line of sight directed toward a nearby area of the display area. The computer generates viewer information based on the line of sight directed toward the display area and the nearby area. The computer outputs the viewer information.

本開示の１実施形態にかかるプログラムは、コンピュータに、以下のステップを実行させるものである。コンピュータは、映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得する。コンピュータは、画像データから人物画像を検出する。コンピュータは、人物画像にかかる人物画像データから人物画像にかかる人物の視線を推定する。コンピュータは、表示装置の表示領域に向いている視線および表示領域の近傍領域に向いている視線をそれぞれ検出する。コンピュータは、表示領域および近傍領域に向いている視線に基づいて視聴者情報を生成する。コンピュータは、視聴者情報を出力する。 A program according to one embodiment of the present disclosure causes a computer to execute the following steps: The computer acquires image data relating to an image captured of a passenger compartment of a vehicle in which a display device capable of displaying a video message is installed. The computer detects a person image from the image data. The computer estimates the line of sight of a person in the person image from the person image data relating to the person image. The computer detects a line of sight directed toward a display area of the display device and a line of sight directed toward a nearby area of the display area. The computer generates viewer information based on the line of sight directed toward the display area and the nearby area. The computer outputs the viewer information.

本開示によれば、効果的に映像メッセージを表示する情報処理装置、情報処理方法およびプログラムを提供することができる。 According to the present disclosure, it is possible to provide an information processing device, an information processing method, and a program that effectively display video messages.

実施の形態１にかかる情報処理装置のブロック図である。1 is a block diagram of an information processing device according to a first embodiment; 実施の形態１にかかる情報処理装置が実行する処理のフローチャートである。4 is a flowchart of a process executed by the information processing device according to the first embodiment; 実施の形態２にかかる情報処理システムのブロック図である。FIG. 11 is a block diagram of an information processing system according to a second embodiment. 実施の形態２にかかる情報処理装置のブロック図である。FIG. 11 is a block diagram of an information processing device according to a second embodiment. 実施の形態２にかかる表示装置のブロック図である。FIG. 11 is a block diagram of a display device according to a second embodiment. 実施の形態２にかかる撮影装置のブロック図である。FIG. 11 is a block diagram of an imaging device according to a second embodiment. 実施の形態２にかかる情報提供装置のブロック図である。FIG. 11 is a block diagram of an information providing device according to a second embodiment. 実施の形態２にかかる車両の例を示す図である。FIG. 11 is a diagram illustrating an example of a vehicle according to a second embodiment. 表示領域、近傍領域および視線の関係の例を示す図である。1A and 1B are diagrams illustrating examples of relationships between a display area, a nearby area, and a line of sight. 情報処理装置が記憶する視線履歴情報の第１の例を示す図である。1 is a diagram illustrating a first example of gaze history information stored in an information processing device; 情報処理装置が記憶する視線履歴情報の第２の例を示す図である。11 is a diagram showing a second example of gaze history information stored in the information processing device; FIG. 実施の形態３にかかる情報処理装置のブロック図である。FIG. 11 is a block diagram of an information processing device according to a third embodiment. 表示領域、近傍領域、広告領域および視線の関係の例を示す図である。1 is a diagram showing an example of the relationship between a display area, a nearby area, an advertising area, and a line of sight; コンピュータのハードウェア構成を例示するブロック図である。FIG. 2 is a block diagram illustrating a hardware configuration of a computer.

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。 The present invention will be described below through embodiments of the invention, but the invention according to the claims is not limited to the following embodiments. Furthermore, not all of the configurations described in the embodiments are necessarily essential as means for solving the problem. For clarity of explanation, the following description and drawings have been omitted and simplified as appropriate. In each drawing, the same elements are given the same reference numerals, and duplicate explanations have been omitted as necessary.

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる情報処理装置１００のブロック図である。図１に示す情報処理装置１００は、所定の交通機関として運行される車両の客室に設けられた表示装置に表示される広告などの映像メッセージに向けられる視線および映像メッセージの近傍に向けられる視線を検出する。また情報処理装置１００は、検出した視線から、かかる表示装置に表示する映像メッセージの選択に関する信号を生成して出力する。なお、本開示における所定の交通機関とは例えば、列車、トラム、トロリーまたはバスなど複数の人物が搭乗する交通機関である。 <First embodiment>
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram of an information processing device 100 according to the first embodiment. The information processing device 100 shown in FIG. 1 detects a line of sight directed at a video message such as an advertisement displayed on a display device provided in a passenger compartment of a vehicle operated as a specified transportation means and a line of sight directed near the video message. The information processing device 100 also generates and outputs a signal related to the selection of a video message to be displayed on the display device from the detected line of sight. Note that the specified transportation means in this disclosure is, for example, a transportation means on which multiple people board, such as a train, a tram, a trolley, or a bus.

本実施の形態にかかる情報処理装置１００は主な構成として、画像データ取得部１１０、人物画像検出部１１１、視線推定部１１２、視線検出部１１３、視聴者情報生成部１１４および出力部１１５を有する。情報処理装置１００は、上記車両の客室の設置されたカメラと通信可能に接続している。カメラが設置されている客室には、映像メッセージを表示するための表示装置が設置されている。また情報処理装置１００は、上記車両の客室に設置された表示装置に所定の映像メッセージを表示させる情報提供装置に通信可能に接続している。The information processing device 100 according to this embodiment mainly comprises an image data acquisition unit 110, a person image detection unit 111, a gaze estimation unit 112, a gaze detection unit 113, a viewer information generation unit 114, and an output unit 115. The information processing device 100 is communicatively connected to a camera installed in the passenger compartment of the vehicle. A display device for displaying a video message is installed in the passenger compartment in which the camera is installed. The information processing device 100 is also communicatively connected to an information providing device that displays a predetermined video message on the display device installed in the passenger compartment of the vehicle.

画像データ取得部１１０は、映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得する。すなわち画像データ取得部１１０が取得する画像データは、客室に設置されたカメラが撮影することにより生成したものである。画像データ取得部１１０が取得する画像データにかかる画像には、客室に存在する人物の画像（人物画像）が含まれる。より詳細には、この画像には人物の顔を含む人物画像が含まれる。画像データ取得部１１０は、取得した画像データを人物画像検出部１１１に供給する。The image data acquisition unit 110 acquires image data relating to an image captured of a passenger compartment of a vehicle in which a display device capable of displaying a video message is installed. In other words, the image data acquired by the image data acquisition unit 110 is generated by capturing an image with a camera installed in the passenger compartment. The image data acquired by the image data acquisition unit 110 includes an image of a person present in the passenger compartment (person image). More specifically, this image includes a person image including a person's face. The image data acquisition unit 110 supplies the acquired image data to the person image detection unit 111.

人物画像検出部１１１は、画像データ取得部１１０から画像データを受け取ると、受け取った画像データから人物画像を検出する。より具体的には、人物画像検出部１１１は、画像データの輝度値から所定の検出手法を用いて人物画像を検出する。所定の検出手法とは例えばＨＯＧ（Histograms of Oriented Gradients）、機械学習などの既知の手法である。人物画像検出部１１１は検出した人物画像にかかる人物画像データを視線推定部１１２に供給する。When the person image detection unit 111 receives image data from the image data acquisition unit 110, it detects a person image from the received image data. More specifically, the person image detection unit 111 detects a person image from the luminance value of the image data using a predetermined detection method. The predetermined detection method is a known method such as HOG (Histograms of Oriented Gradients) or machine learning. The person image detection unit 111 supplies person image data related to the detected person image to the gaze estimation unit 112.

視線推定部１１２は、人物画像検出部１１１から人物画像データを受け取ると、受け取った人物画像データから人物画像にかかる人物の視線を推定する。視線推定部１１２が推定する視線は、カメラが撮影した３次元空間において人物がどの方向を見ているかを示すものである。すなわち視線推定部１１２が推定する人物の視線にかかる視線データは、例えば画像データに紐づけられるベクトルとして示され得る。視線推定部１１２は、人物の視線を推定すると、推定の結果である視線データを視線検出部１１３に供給する。When the gaze estimation unit 112 receives person image data from the person image detection unit 111, it estimates the gaze of the person in the person image from the received person image data. The gaze estimated by the gaze estimation unit 112 indicates the direction in which the person is looking in the three-dimensional space captured by the camera. In other words, the gaze data relating to the person's gaze estimated by the gaze estimation unit 112 can be represented, for example, as a vector linked to the image data. When the gaze estimation unit 112 estimates the person's gaze, it supplies the gaze data that is the result of the estimation to the gaze detection unit 113.

視線検出部１１３は、視線推定部１１２から視線データを受け取ると、表示装置の表示領域に向いている視線および表示領域の近傍領域に向いている視線をそれぞれ検出する。上述の機能を実現するために、視線検出部１１３は例えば、画像データにかかる画像が撮影された客室における３次元空間に関する空間情報を有している。またこの空間情報には、表示装置の表示領域の位置に関する情報が含まれる。視線検出部１１３は、この空間情報における表示領域と、この表示領域の近傍の領域（近傍領域）に関する位置情報を有している。さらに視線検出部１１３は、この空間情報に視線データを重畳する。これにより視線検出部１１３は、客室に存在する人物の視線が表示領域に向いていること、および、近傍領域に向いていること、をそれぞれ検出する。視線検出部１１３は、視線検出の結果に関する情報を、視聴者情報生成部１１４に供給する。視線検出の結果に関する情報には、表示領域および近傍領域に向いている視線に関する情報が含まれる。When the gaze detection unit 113 receives gaze data from the gaze estimation unit 112, it detects the gaze directed toward the display area of the display device and the gaze directed toward the area near the display area. In order to realize the above-mentioned function, the gaze detection unit 113 has, for example, spatial information regarding the three-dimensional space in the guest room in which the image related to the image data was captured. This spatial information also includes information regarding the position of the display area of the display device. The gaze detection unit 113 has position information regarding the display area in this spatial information and the area near the display area (nearby area). Furthermore, the gaze detection unit 113 superimposes the gaze data on this spatial information. As a result, the gaze detection unit 113 detects that the gaze of the person present in the guest room is directed toward the display area and toward the nearby area. The gaze detection unit 113 supplies information regarding the result of the gaze detection to the viewer information generation unit 114. The information regarding the result of the gaze detection includes information regarding the gaze directed toward the display area and the nearby area.

視聴者情報生成部１１４は、視線検出部１１３から視線検出の結果に関する情報を受け取ると、受け取った情報から、視聴者情報を生成する。視聴者情報は、表示領域および近傍領域に向いている視線に関する情報を含む。視聴者情報は、例えば複数の映像メッセージの中から表示装置に表示する映像メッセージの選択をするために利用されうる。When the viewer information generation unit 114 receives information on the results of gaze detection from the gaze detection unit 113, it generates viewer information from the received information. The viewer information includes information on the gaze directed toward the display area and a nearby area. The viewer information can be used, for example, to select a video message to be displayed on the display device from among multiple video messages.

視聴者情報は、例えば視線検出部１１３が検出した視線検出の結果そのものであってもよい。より具体的には、視聴者情報は例えば、表示領域に向いている視線の数と、近傍領域に向いている視線の数とを示すものであってもよい。また視聴者情報は、表示領域および近傍領域に向いている視線の数の増減を示すものであってもよい。視聴者情報は、表示領域および近傍領域に向いている視線の数の移動平均を示すものであってもよい。The viewer information may be, for example, the result of gaze detection detected by the gaze detection unit 113. More specifically, the viewer information may indicate, for example, the number of gazes directed toward the display area and the number of gazes directed toward a nearby area. The viewer information may also indicate an increase or decrease in the number of gazes directed toward the display area and the nearby area. The viewer information may also indicate a moving average of the number of gazes directed toward the display area and the nearby area.

また視聴者情報は、例えば映像メッセージを変更することを指示する信号を含むものであってもよい。また視聴者情報は、例えば表示する映像メッセージの種別を示すものであってもよい。視聴者情報は、表示する映像メッセージの識別番号を含むものであってもよい。視聴者情報生成部１１４は、視聴者情報を生成すると、生成した視聴者情報を出力部１１５に供給する。 The viewer information may also include, for example, a signal instructing to change the video message. The viewer information may also indicate, for example, the type of video message to be displayed. The viewer information may also include an identification number of the video message to be displayed. After generating the viewer information, the viewer information generation unit 114 supplies the generated viewer information to the output unit 115.

出力部１１５は、視聴者情報生成部１１４から視聴者情報を受け取ると、受け取った視聴者情報を出力する。より具体的には、出力部１１５は視聴者情報を、情報提供装置に出力する。When the output unit 115 receives viewer information from the viewer information generation unit 114, it outputs the received viewer information. More specifically, the output unit 115 outputs the viewer information to an information providing device.

次に、図２を参照して、情報処理装置１００が実行する処理について説明する。図２は、実施の形態１にかかる情報処理装置が実行する処理のフローチャートである。図２に示すフローチャートは、例えば情報処理装置１００と接続しているカメラから画像データを受け取ることにより開始する。Next, the processing executed by the information processing device 100 will be described with reference to Fig. 2. Fig. 2 is a flowchart of the processing executed by the information processing device according to the first embodiment. The flowchart shown in Fig. 2 starts, for example, by receiving image data from a camera connected to the information processing device 100.

まず、画像データ取得部１１０は、映像メッセージを表示可能な表示装置が設置された車両の客室を撮影した画像にかかる画像データを取得する（ステップＳ１１）。First, the image data acquisition unit 110 acquires image data relating to an image captured of a passenger compartment of a vehicle in which a display device capable of displaying a video message is installed (step S11).

次に、人物画像検出部１１１は、画像データ取得部１１０が取得した画像データから人物画像を検出する（ステップＳ１２）。Next, the person image detection unit 111 detects a person image from the image data acquired by the image data acquisition unit 110 (step S12).

次に、視線推定部１１２は、人物画像検出部１１１が検出した人物画像から、人物画像にかかる人物の視線を推定する（ステップＳ１３）。Next, the gaze estimation unit 112 estimates the gaze of the person in the person image detected by the person image detection unit 111 (step S13).

次に、視線検出部１１３は、視線推定部１１２が推定した視線から、表示装置の表示領域に向いている視線および表示領域の近傍領域に向いている視線をそれぞれ検出する（ステップＳ１４）。Next, the gaze detection unit 113 detects, from the gazes estimated by the gaze estimation unit 112, a gaze directed toward the display area of the display device and a gaze directed toward a nearby area of the display area (step S14).

次に、視聴者情報生成部１１４は、表示領域および近傍領域に向いている視線から、視聴者情報を生成する（ステップＳ１５）。Next, the viewer information generation unit 114 generates viewer information from the line of sight directed toward the display area and the nearby area (step S15).

次に、出力部１１５は、視聴者情報を出力する（ステップＳ１６）。視聴者情報を出力すると、情報処理装置１００は、一連の処理を終了する。Next, the output unit 115 outputs the viewer information (step S16). After outputting the viewer information, the information processing device 100 ends the series of processes.

以上、実施の形態１にかかる情報処理装置および情報処理方法について説明した。尚、情報処理装置１００は、図示しない構成としてプロセッサ及び記憶装置を有するものである。情報処理装置１００が有する記憶装置は、例えばフラッシュメモリやＳＳＤ（Solid State Drive）などの不揮発性メモリを含む記憶装置を含む。この場合に、情報処理装置１００が有する記憶装置は、上述の画像処理方法を実行するためのコンピュータプログラム（以降、単にプログラムとも称する）を記憶している。またプロセッサは、記憶装置からコンピュータプログラムをＤＲＡＭ（Dynamic Random Access Memory）等のバッファメモリへ読み込ませ、当該プログラムを実行する。 The above describes the information processing device and information processing method according to the first embodiment. The information processing device 100 has a processor and a storage device as components not shown. The storage device of the information processing device 100 includes a storage device including a non-volatile memory such as a flash memory or an SSD (Solid State Drive). In this case, the storage device of the information processing device 100 stores a computer program (hereinafter also simply referred to as a program) for executing the above-mentioned image processing method. The processor also loads the computer program from the storage device into a buffer memory such as a DRAM (Dynamic Random Access Memory) and executes the program.

情報処理装置１００が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。なお、ここに説明した構成に関する説明は、本開示において以下に説明するその他の装置またはシステムにおいても、適用され得る。Each of the components of the information processing device 100 may be realized by dedicated hardware. In addition, some or all of the components may be realized by general-purpose or dedicated circuits, processors, etc., or a combination of these. These may be configured by a single chip, or may be configured by multiple chips connected via a bus. Some or all of the components of each device may be realized by a combination of the above-mentioned circuits, etc., and programs. In addition, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), etc. may be used as a processor. The description of the configuration described here may also be applied to other devices or systems described below in this disclosure.

また、情報処理装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、情報処理装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。 In addition, when some or all of the components of the information processing device 100 are realized by multiple information processing devices, circuits, etc., the multiple information processing devices, circuits, etc. may be centrally arranged or distributed. For example, the information processing devices, circuits, etc. may be realized as a client-server system, cloud computing system, etc., in which each is connected via a communication network. In addition, the functions of the information processing device 100 may be provided in the form of SaaS (Software as a Service).

以上、実施の形態１について説明した。本実施の形態にかかる情報処理装置１００は、表示装置に所定の映像メッセージが表示されている場合に、かかる映像メッセージを表示する表示部の表示領域に向いている視線と、表示部の近傍領域に向いている視線とをそれぞれ検出する。そして検出した視線にかかる視線データから視聴者情報を生成して出力する。視聴者情報を受け取った情報提供装置は、視聴者情報に応じて、適宜、表示部に表示させる映像メッセージを設定できる。よって実施の形態１によれば、効果的に映像メッセージを表示する情報処理装置等を提供することができる。 The above describes embodiment 1. When a predetermined video message is displayed on a display device, the information processing device 100 according to this embodiment detects the gaze directed toward the display area of the display unit displaying the video message and the gaze directed toward an area adjacent to the display unit. Viewer information is then generated and output from gaze data related to the detected gazes. The information providing device that receives the viewer information can set the video message to be displayed on the display unit as appropriate according to the viewer information. Thus, according to embodiment 1, it is possible to provide an information processing device etc. that effectively displays video messages.

＜実施の形態２＞
次に、実施の形態２について説明する。図３は、実施の形態２にかかる情報処理システム１０のブロック図である。図３に示す情報処理システム１０は主な構成として、情報処理装置１０２、表示装置２００、撮影装置３００および情報提供装置４００を有している。また表示装置２００および撮影装置３００は、車両９００に設置されている。 <Embodiment 2>
Next, a second embodiment will be described. Fig. 3 is a block diagram of an information processing system 10 according to the second embodiment. The information processing system 10 shown in Fig. 3 mainly includes an information processing device 102, a display device 200, an image capturing device 300, and an information providing device 400. The display device 200 and the image capturing device 300 are installed in a vehicle 900.

情報処理装置１０２、表示装置２００、撮影装置３００および情報提供装置４００はそれぞれネットワークＮ１に通信可能に接続している。これにより例えば情報処理装置１０２はネットワークＮ１を介して撮影装置３００から画像データを受け取る。また情報処理装置１０２は、ネットワークＮ１を介して情報提供装置４００に視聴者情報を出力する。また情報提供装置４００は、ネットワークＮ１を介して表示装置２００と通信可能に接続し、映像メッセージの表示に関する指示信号を供給する。あるいは情報提供装置４００は、ネットワークＮ１を介して映像メッセージを表示装置２００に供給する。The information processing device 102, the display device 200, the imaging device 300 and the information providing device 400 are each communicatively connected to the network N1. As a result, for example, the information processing device 102 receives image data from the imaging device 300 via the network N1. The information processing device 102 also outputs viewer information to the information providing device 400 via the network N1. The information providing device 400 is also communicatively connected to the display device 200 via the network N1 and supplies an instruction signal regarding the display of a video message. Alternatively, the information providing device 400 supplies a video message to the display device 200 via the network N1.

次に、図４を参照して本実施の形態にかかる情報処理装置１０２について説明する。図４は、実施の形態２にかかる情報処理装置１０２のブロック図である。本実施の形態にかかる情報処理装置１０２は、情報取得部１１６および記憶部１２０を有する点が、実施の形態１にかかる情報処理装置１００と異なる。Next, the information processing device 102 according to the present embodiment will be described with reference to Fig. 4. Fig. 4 is a block diagram of the information processing device 102 according to the second embodiment. The information processing device 102 according to the present embodiment differs from the information processing device 100 according to the first embodiment in that it has an information acquisition unit 116 and a memory unit 120.

情報取得部１１６は、情報提供装置４００から映像メッセージに関する所定の情報を取得する。所定の情報とは例えば映像メッセージの種別に関する映像種別情報である。この場合、情報処理装置１０２は例えば、取得した映像種別情報と視線データとを併せて記憶してもよい。なお、ここで情報処理装置１０２が記憶する情報は、後述する視線履歴情報１２１である。The information acquisition unit 116 acquires predetermined information related to the video message from the information providing device 400. The predetermined information is, for example, video type information related to the type of the video message. In this case, the information processing device 102 may, for example, store the acquired video type information together with the gaze data. Note that the information stored by the information processing device 102 here is gaze history information 121, which will be described later.

上記所定の情報は例えば映像メッセージの固有識別子であってもよい。この場合、情報処理装置１０２は例えば、取得した固有識別子と視線データとを併せて、視線履歴情報１２１として記憶してもよい。これにより情報処理装置１０２は車両９００に表示した映像メッセージと、車両９００における視線データとを紐づけて記憶できる。The above-mentioned predetermined information may be, for example, a unique identifier of the video message. In this case, the information processing device 102 may, for example, store the acquired unique identifier together with the gaze data as gaze history information 121. This allows the information processing device 102 to link the video message displayed on the vehicle 900 with the gaze data in the vehicle 900 and store them.

記憶部１２０は、フラッシュメモリ、ＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）などの不揮発性メモリを含む。記憶部１２０は、視線履歴情報１２１を出力可能に記憶する。視線履歴情報１２１は、視線データと時刻情報とを紐づけた視線履歴情報を出力可能に記憶する。すなわちこの場合、記憶部１２０は、視線履歴情報として、所定の時刻において表示領域に向いている視線データと、近傍領域に向いている視線データを出力可能に記憶する。これにより情報処理装置１０２は、時刻ごとの視線データを他の機器に提供できる。例えば映像メッセージを提供する提供者は、かかる視線履歴情報１２１を取得することにより、車両９００の乗客である人物が映像メッセージに注目していたか否かを認識できる。The storage unit 120 includes a non-volatile memory such as a flash memory, a solid state drive (SSD) or a hard disk drive (HDD). The storage unit 120 stores gaze history information 121 in an outputtable manner. The gaze history information 121 stores gaze history information linked to gaze data and time information in an outputtable manner. That is, in this case, the storage unit 120 stores gaze history information, as gaze history information, in an outputtable manner, gaze data directed toward the display area at a specified time and gaze data directed toward a nearby area. This allows the information processing device 102 to provide gaze data for each time to other devices. For example, a provider of a video message can recognize whether or not a passenger of the vehicle 900 has paid attention to the video message by acquiring the gaze history information 121.

なお、記憶部１２０は、視線履歴情報１２１として、人物画像にかかる人物の数をさらに記憶するものであってもよい。すなわちこの場合、記憶部１２０は、視線履歴情報１２１として、画像データに含まれる人物画像データから、撮影装置３００が撮影した人物の数をカウントして記録する。これにより例えば映像メッセージを提供する提供者は、かかる視線履歴情報１２１を取得して、車両９００の乗客である人物のうちどれくらいの割合の人物が映像メッセージに注目していたかを分析できる。換言すると情報処理装置１０２は、車両９００の乗客である人物のうちどれくらいの割合の人物が映像メッセージに注目していたかを分析するための情報をユーザに提供できる。 The memory unit 120 may further store the number of people in the person image as the gaze history information 121. That is, in this case, the memory unit 120 counts and records the number of people photographed by the photographing device 300 from the person image data included in the image data as the gaze history information 121. This allows, for example, a provider of a video message to acquire the gaze history information 121 and analyze what percentage of the people who are passengers in the vehicle 900 paid attention to the video message. In other words, the information processing device 102 can provide the user with information for analyzing what percentage of the people who are passengers in the vehicle 900 paid attention to the video message.

また記憶部１２０は、視線履歴情報１２１として、時刻情報にかかる時刻に表示装置に表示されていた映像メッセージに関する情報をさらに紐づけて記憶するものであってもよい。これにより、情報処理装置１０２は、車両９００の乗客である人物のうちどれくらいの割合の人物がどのような映像メッセージに注目していたかを分析するための情報をユーザに提供できる。The memory unit 120 may further link and store information about a video message that was displayed on the display device at the time related to the time information as the gaze history information 121. This allows the information processing device 102 to provide the user with information for analyzing what percentage of passengers in the vehicle 900 were paying attention to what kind of video message.

なお、情報処理装置１０２が有する出力部１１５は、上述の視線履歴情報１２１を視聴者情報に含めて情報提供装置４００に出力してもよい。この場合に、情報処理装置１０２は、記憶した視線履歴情報１２１を、定期的に情報提供装置４００に提供してもよいし、情報提供装置４００の要求に応じて提供してもよい。また情報処理装置１０２は情報提供装置４００とは異なる他の装置と通信可能に接続し、かかる他の装置に対して視線履歴情報１２１を提供してもよい。この場合の他の装置は、メモリカード等の記録メディアであってもよいし、通信機能を有するコンピュータ機器であってもよい。 The output unit 115 of the information processing device 102 may include the above-mentioned gaze history information 121 in the viewer information and output it to the information providing device 400. In this case, the information processing device 102 may provide the stored gaze history information 121 to the information providing device 400 periodically, or may provide it in response to a request from the information providing device 400. The information processing device 102 may also be communicably connected to another device different from the information providing device 400, and provide the gaze history information 121 to the other device. In this case, the other device may be a recording medium such as a memory card, or may be a computer device having a communication function.

次に、図５を参照して表示装置２００について説明する。図５は、実施の形態２にかかる表示装置２００のブロック図である。表示装置２００は主な構成として、表示部２１１、通信部２１２、制御部２１３および記憶部２２０を有している。Next, the display device 200 will be described with reference to Fig. 5. Fig. 5 is a block diagram of the display device 200 according to the second embodiment. The display device 200 has, as its main components, a display unit 211, a communication unit 212, a control unit 213, and a memory unit 220.

表示部２１１は、映像メッセージを表示するための液晶パネルや有機エレクトロルミネッセンス等のデバイスを含む。表示部２１１は車両９００の客室において複数の乗客が視認可能な位置に設置されている。表示部２１１は例えば車両９００の側壁面の天井に近い位置に固定されていることが好ましい。表示部２１１は例えば記憶部２２０が記憶するデータ蓄積部２２１に含まれる映像メッセージを表示する。The display unit 211 includes a device such as a liquid crystal panel or organic electroluminescence for displaying a video message. The display unit 211 is installed in a position in the passenger compartment of the vehicle 900 where it can be seen by multiple passengers. It is preferable that the display unit 211 is fixed, for example, to a position close to the ceiling of the side wall surface of the vehicle 900. The display unit 211 displays, for example, a video message contained in the data accumulation unit 221 stored in the memory unit 220.

通信部２１２は、表示装置２００をネットワークＮ１に通信可能に接続するためのインタフェースである。通信部２１２は、ネットワークＮ１を介して、情報提供装置４００から映像メッセージに関する信号を受け取る。The communication unit 212 is an interface for communicatively connecting the display device 200 to the network N1. The communication unit 212 receives a signal related to a video message from the information providing device 400 via the network N1.

制御部２１３は、例えばＣＰＵまたはＭＰＵ（Micro Processing Unit）等の演算装置であって、表示装置２００が有する各構成を制御する。具体的には、例えば制御部２１３は記憶部２２０が記憶しているデータ蓄積部２２１に含まれる映像メッセージに関する画像データを、表示部２１１に表示させる。The control unit 213 is, for example, a calculation device such as a CPU or an MPU (Micro Processing Unit), and controls each component of the display device 200. Specifically, for example, the control unit 213 causes the display unit 211 to display image data relating to a video message contained in the data accumulation unit 221 stored in the memory unit 220.

記憶部２２０は、不揮発性メモリを含む記憶装置である。記憶部２２０は例えば、データ蓄積部２２１と固有識別データ２２２とを記憶している。データ蓄積部２２１は、映像メッセージの画像データを含む。固有識別データ２２２は表示装置２００が有している固有識別子を含むデータである。表示装置２００は例えば、情報提供装置４００からの信号を受け取る際に、情報提供装置４００から受け取った信号に、この固有識別データ２２２に含まれる識別子と一致するデータが含まれるか否かを照合することにより、情報提供装置４００からの指示を実行する。The memory unit 220 is a storage device including a non-volatile memory. The memory unit 220 stores, for example, a data storage unit 221 and unique identification data 222. The data storage unit 221 includes image data of a video message. The unique identification data 222 is data including a unique identifier possessed by the display device 200. For example, when receiving a signal from the information providing device 400, the display device 200 executes instructions from the information providing device 400 by checking whether the signal received from the information providing device 400 includes data that matches an identifier included in the unique identification data 222.

次に、図６を参照して撮影装置３００の詳細について説明する。図６は、実施の形態２にかかる撮影装置３００のブロック図である。撮影装置３００は主な構成として、カメラ３１１、通信部３１２、制御部３１３および記憶部３２０を有している。Next, the details of the image capturing device 300 will be described with reference to Fig. 6. Fig. 6 is a block diagram of the image capturing device 300 according to the second embodiment. The image capturing device 300 has, as its main components, a camera 311, a communication unit 312, a control unit 313, and a memory unit 320.

カメラ３１１は、車両９００の客室を撮影して画像データを生成する。カメラ３１１は、対物レンズ、撮像素子、光電変換部および画像生成部等を含む。The camera 311 captures an image of the passenger compartment of the vehicle 900 and generates image data. The camera 311 includes an objective lens, an image sensor, a photoelectric conversion unit, an image generation unit, etc.

通信部３１２は、撮影装置３００をネットワークＮ１に通信可能に接続するためのインタフェースである。通信部３１２は、カメラ３１１が生成した画像データ等を、ネットワークＮ１を介して情報処理装置１００に供給する。また通信部３１２は、ネットワークＮ１を介して情報処理装置１００からの画像データを要求することを示す信号を受け取っても良い。The communication unit 312 is an interface for communicatively connecting the imaging device 300 to the network N1. The communication unit 312 supplies image data generated by the camera 311, etc., to the information processing device 100 via the network N1. The communication unit 312 may also receive a signal indicating a request for image data from the information processing device 100 via the network N1.

制御部３１３は、例えばＣＰＵまたはＭＰＵ等の演算装置であって、撮影装置３００が有する各構成を制御する。また制御部３１３は記憶部３２０が記憶しているプログラム３２１を実行する。より具体的には例えば制御部３１３は、予め設定されたプログラムに従い、所定の期間ごとにカメラ３１１が生成した画像データと固有識別データとを情報処理装置１０に提供する処理を実行する。The control unit 313 is a calculation device such as a CPU or MPU, and controls each component of the image capturing device 300. The control unit 313 also executes a program 321 stored in the storage unit 320. More specifically, for example, the control unit 313 executes a process of providing image data and unique identification data generated by the camera 311 to the information processing device 10 at predetermined intervals in accordance with a preset program.

記憶部３２０は、不揮発性メモリを含む記憶装置である。記憶部３２０は例えば、撮影装置３００の制御を司るプログラム３２１を記憶している。また記憶部３２０は例えば撮影装置３００に設定されている固有識別データ３２２を記憶している。The memory unit 320 is a storage device including a non-volatile memory. The memory unit 320 stores, for example, a program 321 that controls the image capture device 300. The memory unit 320 also stores, for example, unique identification data 322 that is set in the image capture device 300.

次に、図７を参照して情報提供装置４００について説明する。図７は、実施の形態２にかかる情報提供装置４００のブロック図である。情報提供装置４００は主な構成として、通信部４１１、制御部４１２および記憶部４２０を有している。Next, the information providing device 400 will be described with reference to Fig. 7. Fig. 7 is a block diagram of the information providing device 400 according to the second embodiment. The information providing device 400 has, as its main components, a communication unit 411, a control unit 412, and a memory unit 420.

通信部４１１は、情報処理装置１０２や表示装置２００と通信するためのインタフェースである。通信部４１１は、ネットワークＮ１を介して情報処理装置１０２から視聴者情報を受け取る。また通信部４１１は、ネットワークＮ１を介して表示装置２００に対して映像メッセージを表示するための指示信号を出力する。The communication unit 411 is an interface for communicating with the information processing device 102 and the display device 200. The communication unit 411 receives viewer information from the information processing device 102 via the network N1. The communication unit 411 also outputs an instruction signal for displaying a video message to the display device 200 via the network N1.

制御部４１２は、ＣＰＵ等の演算装置を含み、情報提供装置４００の各構成を制御する。制御部４１２は記憶部４２０からプログラム４２１を読み取り、読み取ったプログラムにしたがって、本実施形態にかかる所定の機能を実現する。The control unit 412 includes a calculation device such as a CPU, and controls each component of the information providing device 400. The control unit 412 reads the program 421 from the memory unit 420, and realizes the specified functions of this embodiment in accordance with the read program.

記憶部４２０は不揮発性メモリを含む記憶装置であって、情報提供装置４００に本実施の形態における機能を実現させるためのプログラム４２１を記憶している。また記憶部４２０は、表示装置２００が表示する映像メッセージに関するデータベースであるコンテンツデータベース４２２を有している。The storage unit 420 is a storage device including a non-volatile memory, and stores a program 421 for causing the information providing device 400 to realize the functions of this embodiment. The storage unit 420 also has a content database 422, which is a database related to the video messages displayed by the display device 200.

次に、図８を参照して、実施の形態２にかかる車両９００の例を説明する。図８は、実施の形態２にかかる車両９００の例を示す図である。図８は車両９００の一部が示されている。図に示す車両９００の乗降扉の上側の側壁には、表示装置２００が設置されている。表示装置２００は表示部に液晶パネルを有しており、表示部には映像メッセージとして商品の広告が表示されている。また車両９００は表示装置２００の傍らに撮影装置３００が設置されている。撮影装置３００は車両９００に搭乗している複数の乗客を、乗客の頭上から見下ろすように撮影する。車両９００は、表示装置２００と同じ高さの壁面に広告Ａ９０１と広告Ｂ９０２を有している。広告Ａ９０１および広告Ｂ９０２は交換可能な紙媒体である。Next, an example of a vehicle 900 according to the second embodiment will be described with reference to FIG. 8. FIG. 8 is a diagram showing an example of a vehicle 900 according to the second embodiment. FIG. 8 shows a part of the vehicle 900. A display device 200 is installed on the side wall above the boarding door of the vehicle 900 shown in the figure. The display device 200 has a liquid crystal panel in the display section, and a product advertisement is displayed on the display section as a video message. The vehicle 900 also has a camera device 300 installed next to the display device 200. The camera device 300 photographs multiple passengers aboard the vehicle 900 by looking down from above the passengers' heads. The vehicle 900 has advertisements A901 and B902 on a wall at the same height as the display device 200. Advertisement A901 and advertisement B902 are replaceable paper media.

上述の状況において、車両９００の客室には乗客である人物Ｕ１１～Ｕ１６が搭乗している。図８は、人物Ｕ１１～Ｕ１６のそれぞれの視線が矢印により示されている。例えば人物Ｕ１１の視線は、自身が持っている携帯端末に向いている。人物Ｕ１２は、表示装置２００の表示部に向いている。人物Ｕ１３の視線は広告Ｂ９０２に向いている。人物Ｕ１４の視線は人物Ｕ１３の頭部に向いている。人物Ｕ１５の視線は広告Ａ９０１に向いている。人物Ｕ１６の視線は、自身の手元に向いている。In the above situation, passengers U11 to U16 are riding in the passenger compartment of vehicle 900. In Figure 8, the gaze of each of persons U11 to U16 is indicated by an arrow. For example, person U11's gaze is directed at the mobile terminal he is carrying. Person U12 is directed at the display unit of display device 200. Person U13's gaze is directed at advertisement B902. Person U14's gaze is directed at the head of person U13. Person U15's gaze is directed at advertisement A901. Person U16's gaze is directed at his or her hands.

次に、図９を参照して、視線検出部１１３が車両９００の乗客の視線を検出している状態を説明する。図９は、表示領域、近傍領域および視線の関係の例を示す図である。図９は、客室空間６００が示されている。客室空間６００は、視線検出部１１３が有している疑似的な空間情報であって、図８に示した車両９００に対応している。客室空間６００は、遠方領域６０１、近傍領域６０２および表示領域６０３を含む。遠方領域６０１は表示領域６０３からの距離が近傍領域６０２より遠い領域である。近傍領域６０２は表示領域６０３とは重ならない領域であって、且つ、表示領域６０３の近くの領域である。表示領域６０３は、表示装置２００の表示部に対応する領域である。 Next, referring to Figure 9, a state in which the gaze detection unit 113 detects the gaze of passengers in the vehicle 900 will be described. Figure 9 is a diagram showing an example of the relationship between the display area, the nearby area, and the gaze. Figure 9 shows a passenger compartment space 600. The passenger compartment space 600 is pseudo-spatial information possessed by the gaze detection unit 113, and corresponds to the vehicle 900 shown in Figure 8. The passenger compartment space 600 includes a distant area 601, a nearby area 602, and a display area 603. The distant area 601 is an area that is farther from the display area 603 than the nearby area 602. The nearby area 602 is an area that does not overlap with the display area 603 and is close to the display area 603. The display area 603 is an area that corresponds to the display unit of the display device 200.

客室空間６００は、点Ｐ１１～Ｐ１６を含む。点Ｐ１１～１６は、車両９００に搭乗している人物Ｕ１１～Ｕ１６の視線データである。すなわち、車両９００に搭乗する人物Ｕ１１の視線が向けられている位置は点Ｐ１１である。同様に、人物Ｕ１２の視線が向けられている位置は点Ｐ１２、人物Ｕ１３の視線が向けられている位置は点Ｐ１３、人物Ｕ１４の視線が向けられている位置は点Ｐ１４、人物Ｕ１５の視線が向けられている位置は点Ｐ１５、そして、人物Ｕ１６の視線が向けられている位置は点Ｐ１６、である。 The passenger cabin space 600 includes points P11 to P16. Points P11 to P16 are the gaze data of persons U11 to U16 aboard the vehicle 900. That is, the position at which the gaze of person U11 aboard the vehicle 900 is directed is point P11. Similarly, the position at which person U12's gaze is directed is point P12, the position at which person U13's gaze is directed is point P13, the position at which person U14's gaze is directed is point P14, the position at which person U15's gaze is point P15, and the position at which person U16's gaze is point P16.

図９に示すように、点Ｐ１１、点Ｐ１６は遠方領域６０１に存在し、点Ｐ１３、点Ｐ１４および点Ｐ１５は近傍領域６０２に存在し、点Ｐ１２は表示領域６０３に存在している。つまり、図９は、人物Ｕ１１、Ｕ１６は遠方領域６０１に視線を向けており、人物Ｕ１３、人物Ｕ１４および人物Ｕ１５は近傍領域に視線を向けており、人物Ｕ１２は表示領域６０３に視線を向けていることを意味している。このように、情報処理装置１０２は、画像データから視線データを生成し、生成した視線データを客室空間６００に重畳することにより、乗客が客室空間６００のどこに視線を向けているのかを検出できる。9, points P11 and P16 are in the distant region 601, points P13, P14 and P15 are in the nearby region 602, and point P12 is in the display region 603. In other words, FIG. 9 means that persons U11 and U16 are directing their gaze toward the distant region 601, persons U13, U14 and U15 are directing their gaze toward the nearby region, and person U12 is directing their gaze toward the display region 603. In this way, the information processing device 102 generates gaze data from image data and superimposes the generated gaze data on the passenger cabin space 600, thereby making it possible to detect where in the passenger cabin space 600 the passenger is directing his or her gaze.

次に、図１０を参照して、情報処理装置１０２が生成して記憶する視線履歴情報の例を説明する。図１０は、実施の形態３にかかる情報処理装置が記憶する視線履歴情報の第１の例を示す図である。図１０は、視線履歴情報を示す表Ｔ１０が示されている。表Ｔ１０は、時刻情報、表示領域視線データおよび近傍領域視線データという項目を含む。Next, an example of gaze history information generated and stored by the information processing device 102 will be described with reference to Fig. 10. Fig. 10 is a diagram showing a first example of gaze history information stored by the information processing device according to embodiment 3. Fig. 10 shows table T10 showing gaze history information. Table T10 includes items such as time information, display area gaze data, and nearby area gaze data.

時刻情報は、画像データが撮影された時刻である。画像データが撮影された時刻は、画像データ取得部１１０が取得する画像データに含まれる。画像データに時刻情報が含まれていない場合には、時刻情報は、画像データ取得部１１０が画像データを取得した時刻であってもよい。The time information is the time when the image data was captured. The time when the image data was captured is included in the image data acquired by the image data acquisition unit 110. If the image data does not include time information, the time information may be the time when the image data acquisition unit 110 acquired the image data.

表示領域視線データは、時刻情報にかかる画像データにおいて表示領域に向かっている視線の数を示すデータである。近傍領域視線データは、時刻情報にかかる画像データにおいて近傍領域に向かっている視線の数を示すデータである。 Display area gaze data is data indicating the number of gazes directed toward the display area in image data related to time information. Nearby area gaze data is data indicating the number of gazes directed toward a nearby area in image data related to time information.

図１０に示す表Ｔ１０は、時刻２０２１年７月２３日１５時３０分において表示領域に向いている視線が１であって、近傍領域に向いている視線データが３であることを含む。同様に、時刻２０２１年７月２３日１５時３１分において表示領域に向いている視線が２であって、近傍領域に向いている視線データが２であることを含む。情報処理装置１０２は表示Ｔ１０に示す視線履歴情報を出力可能に記憶する。情報処理装置１０２の利用者であるユーザは、このような視線履歴情報から、任意の時刻における映像メッセージが視認されている状況の実績を知ることができる。 Table T10 shown in FIG. 10 includes that at 15:30 on July 23, 2021, the gaze directed toward the display area is 1, and the gaze data directed toward the nearby area is 3. Similarly, at 15:31 on July 23, 2021, the gaze directed toward the display area is 2, and the gaze data directed toward the nearby area is 2. The information processing device 102 stores the gaze history information shown in display T10 in a manner that allows it to be output. A user, who is a user of the information processing device 102, can know the actual situation in which the video message is viewed at any time from such gaze history information.

次に、図１１を参照して、情報処理装置１０２が生成して記憶する視線履歴情報の例をさらに説明する。図１１は、実施の形態３にかかる情報処理装置が記憶する視線履歴情報の第２の例を示す図である。図１１は、視線履歴情報を示す表Ｔ１１が示されている。表Ｔ１１は、図１０に示した表Ｔ１０の内容に加えて、表示コンテンツという項目を含む。Next, an example of gaze history information generated and stored by the information processing device 102 will be further described with reference to Fig. 11. Fig. 11 is a diagram showing a second example of gaze history information stored by the information processing device according to the third embodiment. Fig. 11 shows table T11 showing gaze history information. In addition to the contents of table T10 shown in Fig. 10, table T11 includes an item called display content.

表示コンテンツは、映像メッセージの識別子が示されている。例えば時刻２０２１年７月２３日１５時３０分に対応する表示コンテンツの欄には、広告Ａ０１１と記載されている。すなわち表Ｔ１１によれば、車両９００において、かかる時刻には、広告Ａ０１１が表示されており、この広告に向けられていた視線は１であり、近傍領域に向いていた視線は３であったことが示されている。同様に、表Ｔ１１によれば、時刻２０２１年７月２３日１５時３１分には、広告Ｂ１０３が表示されており、この広告に向けられていた視線は２であり、近傍領域に向いていた視線は２であったことが示されている。視線履歴情報がこのような情報を有することにより、これを利用するユーザは、任意の時刻における映像メッセージの内容と、これを視認した人物の人数等を知ることができる。 The display content indicates the identifier of the video message. For example, in the column of the display content corresponding to the time 15:30 on July 23, 2021, advertisement A011 is written. That is, according to table T11, advertisement A011 is displayed in vehicle 900 at that time, the gaze directed at this advertisement is 1, and the gaze directed at the nearby area is 3. Similarly, according to table T11, advertisement B103 is displayed at the time 15:31 on July 23, 2021, the gaze directed at this advertisement is 2, and the gaze directed at the nearby area is 2. By having such information in the gaze history information, a user who uses it can know the content of the video message at any time and the number of people who viewed it, etc.

以上、実施の形態２について説明した。実施の形態２によれば、情報処理装置１０２は、表示領域および近傍領域にそれぞれ向けられている視線に関する情報を時刻情報とともに記憶する。よって、情報処理装置１０２を利用するユーザは、表示領域を注目する人物の他に、近傍領域に視線を向けている人物の注意を惹くことが出来たか否かを把握できる。また情報処理装置１０２を利用するユーザは、情報処理装置１０２が出力する視聴者情報ないし視線履歴情報を利用することにより、効果的な映像メッセージの表示方法または効果的な映像メッセージの内容を把握できる。よって実施の形態２によれば、効果的に映像メッセージを表示する情報処理装置、情報処理方法およびプログラムを提供することができる。 The above describes embodiment 2. According to embodiment 2, the information processing device 102 stores information about the gazes directed toward the display area and the nearby area, respectively, together with time information. Thus, a user using the information processing device 102 can know whether or not he or she has been able to attract the attention of people directing their gaze toward the nearby area, in addition to people paying attention to the display area. Furthermore, a user using the information processing device 102 can know an effective method for displaying a video message or the contents of an effective video message by using the viewer information or gaze history information output by the information processing device 102. Thus, according to embodiment 2, an information processing device, information processing method, and program that effectively display a video message can be provided.

＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態３は、情報処理装置が属性推定部を有する点が、実施の形態２にかかる情報処理装置１０２と異なる。図１２は、実施の形態３にかかる情報処理装置１０３のブロック図である。図１２に示す情報処理装置１０３は、属性推定部１１７を有する。 <Third embodiment>
Next, a third embodiment will be described. The third embodiment differs from the information processing device 102 according to the second embodiment in that the information processing device has an attribute estimation unit. Fig. 12 is a block diagram of the information processing device 103 according to the third embodiment. The information processing device 103 shown in Fig. 12 has an attribute estimation unit 117.

属性推定部１１７は、人物画像にかかる人物の属性を推定する。人物の属性とは例えば人物画像にかかる人物の性別、年齢などを含む。また人物の属性は、人物が身に着けている物に応じたものであってもよい。例えば人物の属性は、メガネ、帽子、イヤホン、ピアス等の有無を含むものであってもよい。The attribute estimation unit 117 estimates the attributes of a person associated with a person image. The attributes of a person include, for example, the gender and age of the person associated with the person image. The attributes of a person may also be based on what the person is wearing. For example, the attributes of a person may include the presence or absence of glasses, a hat, earrings, earrings, etc.

本実施の形態にかかる視聴者情報生成部１１４は、上述の属性を加味して視聴者情報を生成するものであってもよい。より具体的には視聴者情報生成部１１４は、表示領域および近傍領域に向いている視線にかかる人物の属性に基づいて、視聴者情報を生成するものであってもよい。換言すると、記憶部１２０は例えば図１１に示した視線履歴情報において、人物の属性をさらに紐づけて記憶してもよい。The viewer information generating unit 114 in this embodiment may generate viewer information by taking into account the above-mentioned attributes. More specifically, the viewer information generating unit 114 may generate viewer information based on the attributes of a person whose line of sight is directed toward the display area and the nearby area. In other words, the storage unit 120 may further link and store the attributes of a person in the gaze history information shown in FIG. 11, for example.

また本実施の形態にかかる視線検出部１１３は、車両９００の空間において、他の媒体によって広告が表示される広告領域が設定されている。さらに、本実施の形態にかかる記憶部１２０は、広告情報１２２を記憶する点が、実施の形態２にかかる情報処理装置１０２と異なる。広告情報１２２は、広告領域に表示される広告に関する情報である。すなわち、情報処理装置１０３は、車両９００における所定の空間に、他の媒体によって広告が表示されていることが設定されている。 In addition, the gaze detection unit 113 in this embodiment has an advertising area set in the space of the vehicle 900 where advertisements are displayed by other media. Furthermore, the memory unit 120 in this embodiment differs from the information processing device 102 in embodiment 2 in that it stores advertisement information 122. The advertisement information 122 is information related to advertisements displayed in the advertising area. In other words, the information processing device 103 has been set so that advertisements are displayed by other media in a specified space in the vehicle 900.

また本実施の形態にかかる視聴者情報生成部１１４は、上述の広告領域に向いている視線と広告情報とに基づいて視聴者情報を生成することができる。 In addition, the viewer information generation unit 114 in this embodiment can generate viewer information based on the line of sight directed toward the above-mentioned advertising area and the advertising information.

次に、図１３を参照して、本実施の形態にかかる視線検出部１１３が車両９００の乗客の視線を検出している状態を説明する。図１３は、表示領域、近傍領域、広告領域および視線の関係の例を示す図である。図１３に示す客室空間６００は、広告Ａ領域６０４および広告Ｂ領域６０５を有している点が、図９に示した客室空間６００と異なる。Next, referring to Figure 13, a state in which the gaze detection unit 113 in this embodiment detects the gaze of a passenger in the vehicle 900 will be described. Figure 13 is a diagram showing an example of the relationship between the display area, the vicinity area, the advertising area, and the gaze. The passenger compartment space 600 shown in Figure 13 differs from the passenger compartment space 600 shown in Figure 9 in that it has an advertising A area 604 and an advertising B area 605.

広告Ａ領域６０４は、車両９００に設置した紙媒体の広告である広告Ａ９０１が設置されている領域である。広告Ｂ領域６０５は、車両９００に設置した紙媒体の広告である広告Ｂ９０２が設置されている領域である。 Advertisement A area 604 is an area in which advertisement A901, a paper advertisement installed in vehicle 900, is installed. Advertisement B area 605 is an area in which advertisement B902, a paper advertisement installed in vehicle 900, is installed.

図１３に示すように、客室空間６００において、人物Ｕ１５の視線に対応する点Ｐ１５は広告Ａ領域６０４に含まれている。同様に、客室空間６００において、人物Ｕ１４の視線に対応する点Ｐ１４は広告Ｂ領域６０５に含まれている。 As shown in Figure 13, in the passenger cabin space 600, point P15 corresponding to the line of sight of person U15 is included in advertising A area 604. Similarly, in the passenger cabin space 600, point P14 corresponding to the line of sight of person U14 is included in advertising B area 605.

本実施の形態にかかる視線検出部１１３は、近傍領域に設けられている広告領域に視線が向いていることをさらに検出する。またこの場合、視聴者情報生成部１１４は、広告領域に向いている視線データを含めた視聴者情報を生成し得る。これにより、視聴者情報生成部１１４は、広告領域に向けられている視線に応じて、視線が向けられている広告に関連する映像メッセージを表示することを示す視聴者情報を生成し得る。このような構成により、情報処理装置１０３は、表示領域に視線を向けていないけれども、他の広告媒体等に視線を向けている人物の注意を惹くことが可能となる。また近傍領域に向けられていた視線が表示領域に向けられた場合には、そのことを視線履歴情報として記憶し、これをユーザに提供できる。 The gaze detection unit 113 in this embodiment further detects that the gaze is directed toward an advertising area provided in the nearby area. In this case, the viewer information generation unit 114 can generate viewer information including gaze data directed toward the advertising area. As a result, the viewer information generation unit 114 can generate viewer information indicating that a video message related to the advertisement to which the gaze is directed will be displayed according to the gaze directed toward the advertising area. With this configuration, the information processing device 103 can attract the attention of a person who is not directing their gaze toward the display area but is directing their gaze toward other advertising media, etc. Furthermore, when the gaze that was directed toward the nearby area is directed toward the display area, this can be stored as gaze history information and provided to the user.

以上、実施の形態３について説明した。実施の形態４によれば、効果的に情報を表示する情報処理装置、情報処理方法およびプログラムを提供することができる。 The above describes embodiment 3. According to embodiment 4, it is possible to provide an information processing device, an information processing method, and a program that effectively display information.

＜ハードウェア構成の例＞
以下、本開示における情報処理装置の各機能構成がハードウェアとソフトウェアとの組み合わせで実現される場合の例について説明する。 <Example of hardware configuration>
Hereinafter, an example will be described in which each functional configuration of an information processing device according to the present disclosure is realized by a combination of hardware and software.

図１３は、コンピュータのハードウェア構成を例示するブロック図である。本開示における情報処理装置は、図に示すハードウェア構成を含むコンピュータ５００により上述の機能を実現できる。コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよいし、ＰＣなどの据え置き型のコンピュータであってもよい。コンピュータ５００は、各装置を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ５００は、所定のアプリケーションをインストールされることにより、所望の機能を実現できる。 Figure 13 is a block diagram illustrating an example of a hardware configuration of a computer. The information processing device in the present disclosure can realize the above-mentioned functions by a computer 500 including the hardware configuration shown in the figure. The computer 500 may be a portable computer such as a smartphone or a tablet terminal, or a stationary computer such as a PC. The computer 500 may be a dedicated computer designed to realize each device, or may be a general-purpose computer. The computer 500 can realize the desired functions by installing a specified application.

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース（Ｉ／Ｆ）５１０およびネットワークインタフェース（Ｉ／Ｆ）５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。The computer 500 has a bus 502, a processor 504, a memory 506, a storage device 508, an input/output interface (I/F) 510, and a network interface (I/F) 512. The bus 502 is a data transmission path for the processor 504, the memory 506, the storage device 508, the input/output interface 510, and the network interface 512 to transmit and receive data to each other. However, the method of connecting the processor 504 and the like to each other is not limited to a bus connection.

プロセッサ５０４は、ＣＰＵ、ＧＰＵまたはＦＰＧＡなどの種々のプロセッサである。メモリ５０６は、ＲＡＭ（Random Access Memory）などを用いて実現される主記憶装置である。The processor 504 is a processor such as a CPU, a GPU, or an FPGA. The memory 506 is a main storage device realized using a RAM (Random Access Memory) or the like.

ストレージデバイス５０８は、ハードディスク、ＳＳＤ、メモリカード、又はＲＯＭ（Read Only Memory）などを用いて実現される補助記憶装置である。ストレージデバイス５０８は、所望の機能を実現するためのプログラムが格納されている。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、各装置の各機能構成部を実現する。 Storage device 508 is an auxiliary storage device realized using a hard disk, SSD, memory card, ROM (Read Only Memory), etc. Storage device 508 stores programs for realizing desired functions. Processor 504 reads the programs into memory 506 and executes them to realize each functional component of each device.

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。The input/output interface 510 is an interface for connecting the computer 500 to an input/output device. For example, an input device such as a keyboard and an output device such as a display device are connected to the input/output interface 510. The network interface 512 is an interface for connecting the computer 500 to a network.

以上、本開示における情報処理装置の各機能構成がハードウェアとソフトウェアとの組み合わせで実現される場合の例について説明した。 Above, we have described examples where each functional configuration of the information processing device in this disclosure is realized by a combination of hardware and software.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。The present invention is not limited to the above-described embodiments and can be modified as appropriate without departing from the spirit and scope of the invention.

上述のプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。The above-mentioned program includes a set of instructions (or software code) that, when loaded into a computer, causes the computer to perform one or more functions described in the embodiments. The program may be stored on a non-transitory computer-readable medium or a tangible storage medium. By way of example and not limitation, computer-readable media or tangible storage media include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drive (SSD) or other memory technology, CD-ROM, digital versatile disc (DVD), Blu-ray (registered trademark) disk or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage or other magnetic storage device. The program may be transmitted on a transitory computer-readable medium or communication medium. By way of example and not limitation, a transitory computer-readable medium or communication medium includes electrical, optical, acoustic, or other forms of propagating signals.

この出願は、２０２１年７月１４日に出願された日本出願特願２０２１－１１６６８６を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority based on Japanese Patent Application No. 2021-116686, filed on July 14, 2021, the disclosure of which is incorporated herein in its entirety.

１０情報処理システム
１００情報処理装置
１０２情報処理装置
１０３情報処理装置
１１０画像データ取得部
１１１人物画像検出部
１１２視線推定部
１１３視線検出部
１１４視聴者情報生成部
１１５出力部
１１６情報取得部
１１７属性推定部
１２０記憶部
１２１視線履歴情報
１２２広告情報
２００表示装置
２１１表示部
２１２通信部
２１３制御部
２２０記憶部
２２１データ蓄積部
２２２固有識別データ
３００撮影装置
３１１カメラ
３１２通信部
３１３制御部
３２０記憶部
３２１プログラム
３２２固有識別データ
４００情報提供装置
４１１通信部
４１２制御部
４２０記憶部
４２１プログラム
４２２コンテンツデータベース
５００コンピュータ
６００客室空間
６０１遠方領域
６０２近傍領域
６０３表示領域
６０４広告Ａ領域
６０５広告Ｂ領域
９００車両
９０１広告Ａ
９０２広告Ｂ 10 Information processing system 100 Information processing device 102 Information processing device 103 Information processing device 110 Image data acquisition unit 111 Person image detection unit 112 Gaze estimation unit 113 Gaze detection unit 114 Viewer information generation unit 115 Output unit 116 Information acquisition unit 117 Attribute estimation unit 120 Memory unit 121 Gaze history information 122 Advertising information 200 Display device 211 Display unit 212 Communication unit 213 Control unit 220 Memory unit 221 Data accumulation unit 222 Unique identification data 300 Shooting device 311 Camera 312 Communication unit 313 Control unit 320 Memory unit 321 Program 322 Unique identification data 400 Information provision device 411 Communication unit 412 Control unit 420 Memory unit 421 Program 422 Content database 500 Computer 600 Cabin space 601 Distant area 602 Near area 603 Display area 604 Advertisement A area 605 Advertisement B area 900 Vehicle 901 Advertisement A
902 Advertisement B

Claims

an image data acquisition means for acquiring image data relating to an image captured of a passenger compartment of a vehicle in which a display device capable of displaying a video message is installed;
a person image detection means for detecting a person image from the image data;
a gaze estimating means for estimating a gaze of a person in the person image from person image data of the person image;
a gaze detection means for detecting the gaze directed toward a display area of the display device and the gaze directed toward a neighboring area of the display area;
a viewer information generating means for generating viewer information including the number of lines of sight directed toward the display area and the number of lines of sight directed toward the neighboring area;
and an output unit for outputting the viewer information.

The system further includes a storage unit for storing gaze history information in which the gaze is associated with time information in an outputtable manner.
The information processing device according to claim 1 .

The storage means further stores, as the gaze history information, the number of people appearing in the person image.
The information processing device according to claim 2 .

The storage means further links and stores, as the gaze history information, information regarding the video message that was displayed on the display device at the time corresponding to the time information.
4. The information processing device according to claim 2 or 3.

The image processing device further includes an attribute estimation unit for estimating an attribute of a person related to the person image,
the viewer information generating means generates the viewer information taking into account the attributes.
The information processing device according to any one of claims 1 to 4.

the viewer information generating means generates the viewer information based on the attributes of a person whose line of sight is directed toward the display area and the nearby area.
The information processing device according to claim 5 .

The gaze detection means further detects that the gaze is directed toward an advertising area provided in the nearby area,
The viewer information generating means generates the viewer information based on the line of sight directed toward the advertising area.
The information processing device according to any one of claims 1 to 6.

The gaze detection means further detects that the gaze is directed toward an advertising area provided in the nearby area,
The storage means further stores advertisement information relating to the advertisement displayed in the advertisement area;
the viewer information generating means generates the viewer information based on the line of sight directed toward the advertising area and the advertising information.
The information processing device according to any one of claims 2 to 4.

The computer
Acquire image data relating to an image captured of a passenger compartment of a vehicle in which a display device capable of displaying a video message is installed;
Detecting a person image from the image data;
estimating a line of sight of a person in the person image from person image data of the person image;
Detecting the line of sight directed toward a display area of the display device and the line of sight directed toward a neighboring area of the display area,
generating viewer information including the number of lines of sight directed toward the display area and the number of lines of sight directed toward the neighboring area ;
outputting the viewer information;
Information processing methods.

Acquire image data relating to an image captured of a passenger compartment of a vehicle in which a display device capable of displaying a video message is installed;
Detecting a person image from the image data;
estimating a line of sight of a person in the person image from person image data of the person image;
Detecting the line of sight directed toward a display area of the display device and the line of sight directed toward a neighboring area of the display area,
generating viewer information including the number of lines of sight directed toward the display area and the number of lines of sight directed toward the neighboring area ;
outputting the viewer information;
A program that causes a computer to execute an information processing method.