Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7730601B2 - Video distribution system and video distribution method - Google Patents
[go: Go Back, main page]

JP7730601B2 - Video distribution system and video distribution method - Google Patents

Video distribution system and video distribution method

Info

Publication number
JP7730601B2
JP7730601B2 JP2024217070A JP2024217070A JP7730601B2 JP 7730601 B2 JP7730601 B2 JP 7730601B2 JP 2024217070 A JP2024217070 A JP 2024217070A JP 2024217070 A JP2024217070 A JP 2024217070A JP 7730601 B2 JP7730601 B2 JP 7730601B2
Authority
JP
Japan
Prior art keywords
video
notification
user terminal
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024217070A
Other languages
Japanese (ja)
Other versions
JP2025036448A (en
Inventor
祐介 漢
Original Assignee
株式会社ミラティブ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ミラティブ filed Critical 株式会社ミラティブ
Priority to JP2024217070A priority Critical patent/JP7730601B2/en
Publication of JP2025036448A publication Critical patent/JP2025036448A/en
Application granted granted Critical
Publication of JP7730601B2 publication Critical patent/JP7730601B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、映像配信システム及び映像配信方法に関する。 This disclosure relates to a video distribution system and a video distribution method.

配信者側のユーザ端末のディスプレイに表示されている映像をネットワークを介して配信し、当該映像を視聴者側のユーザ端末のディスプレイにリアルタイムで表示させる技術が知られている。例えば特許文献1には、配信者側のユーザ端末のディスプレイにおいて映像に重畳表示されている操作ボタン等の情報も併せて、ネットワークを介して配信する装置が開示されている。 Technology is known in which video displayed on the display of a user terminal on the distributor's side is distributed over a network, and that video is then displayed in real time on the display of a user terminal on the viewer's side. For example, Patent Document 1 discloses a device that distributes, over a network, information such as operation buttons superimposed on the video on the display of the user terminal on the distributor's side.

特開2015-41822号公報JP 2015-41822 A

上述したような技術では、配信者側のユーザ端末のディスプレイに表示されている映像が視聴者側のユーザ端末にそのまま配信される。このため、配信者が他人に公開することを意図していない内容であっても、その内容が映像に含まれていれば視聴者に公開されることとなる。特に、例えばPUSH通知等の通知画面は、配信者側のユーザ端末のディスプレイに配信者の予期しないタイミングで表示される場合がある。このため、このような通知画面は配信者の意に反して視聴者に視認されやすく、その結果、配信者に関する情報が視聴者に公開されてしまうおそれがある。 With the technology described above, the video displayed on the display of the broadcaster's user device is broadcast directly to the viewer's user device. As a result, even if the broadcaster does not intend for the content to be made public to others, if that content is included in the video, it will be made public to viewers. In particular, notification screens such as push notifications may appear on the display of the broadcaster's user device at times unexpected by the broadcaster. For this reason, such notification screens are likely to be viewed by viewers despite the broadcaster's intentions, and as a result, there is a risk that information about the broadcaster may be made public to viewers.

そこで、本開示に係る映像配信システム及び映像配信方法は、配信者に関する情報が意に反して公開されることを抑制することを目的とする。 The video distribution system and video distribution method disclosed herein aim to prevent information about distributors from being made public against their will.

本開示の一態様に係る映像配信装置(100)は、配信ユーザ端末(200)のディスプレイ(3)に表示される映像(V1)をリアルタイムで視聴ユーザ端末(300)に配信する映像配信装置(100)であって、映像(V1)に含まれる通知画像(NP1)に関する通知情報を検知する通知情報検知部(12)と、通知情報検知部(12)により通知情報が検知された場合に、映像(V1)において通知画像(NP1)の判読性を低下させるように通知情報を加工する通知情報加工部(13)と、を備えている。 A video distribution device (100) according to one aspect of the present disclosure is a video distribution device (100) that distributes video (V1) displayed on a display (3) of a distribution user terminal (200) to a viewing user terminal (300) in real time, and includes a notification information detection unit (12) that detects notification information related to a notification image (NP1) included in the video (V1), and a notification information processing unit (13) that processes the notification information so as to reduce the readability of the notification image (NP1) in the video (V1) when the notification information detection unit (12) detects the notification information.

本開示の一態様に係る映像配信プログラムは、配信ユーザ端末(200)のディスプレイ(3)に表示される映像(V1)をリアルタイムで視聴ユーザ端末(300)に配信する映像配信装置(100)のコンピュータを、映像(V1)に含まれる通知画像(NP1)に関する通知情報を検知する通知情報検知部(12)と、通知情報検知部(12)により通知情報が検知された場合に、映像(V1)において通知画像(NP1)の判読性を低下させるように通知情報を加工する通知情報加工部(13)と、として機能させる。 A video distribution program according to one aspect of the present disclosure causes a computer of a video distribution device (100), which distributes video (V1) displayed on a display (3) of a distribution user terminal (200) to a viewing user terminal (300) in real time, to function as a notification information detection unit (12) that detects notification information related to a notification image (NP1) included in the video (V1), and a notification information processing unit (13) that processes the notification information so as to reduce the readability of the notification image (NP1) in the video (V1) when the notification information detection unit (12) detects the notification information.

この映像配信装置(100)又は映像配信プログラムによれば、配信ユーザ端末(200)のディスプレイ(3)に表示される映像(V1)に通知画像(NP1)が含まれる場合であっても、映像(V1)がリアルタイムで視聴ユーザ端末(300)に配信される際に当該通知画像(NP1)の判読性を低下させることができるため、通知画像(NP1)の内容が視聴者に知得されにくくなる。したがって、この映像配信装置(100)又は映像配信プログラムは、配信者に関する情報が意に反して公開されることを抑制することができる。 With this video distribution device (100) or video distribution program, even if a notification image (NP1) is included in the video (V1) displayed on the display (3) of the distribution user terminal (200), the readability of the notification image (NP1) can be reduced when the video (V1) is distributed in real time to the viewing user terminal (300), making it difficult for viewers to discern the contents of the notification image (NP1). Therefore, this video distribution device (100) or video distribution program can prevent information about the distributor from being made public against their will.

本開示の一態様に係る映像配信装置(100)は、配信ユーザ端末(200)及び視聴ユーザ端末(300)のそれぞれと通信可能なサーバを含んで構成されていてもよい。これによれば、配信ユーザ端末(200)又は視聴ユーザ端末(300)により種々の処理の全てを実行する場合と比較して、配信ユーザ端末(200)又は視聴ユーザ端末(300)の処理負荷を低減させることができる。 A video distribution device (100) according to one aspect of the present disclosure may be configured to include a server capable of communicating with each of the broadcast user terminal (200) and the viewer user terminal (300). This reduces the processing load on the broadcast user terminal (200) or the viewer user terminal (300) compared to when all of the various processes are performed by the broadcast user terminal (200) or the viewer user terminal (300).

本開示の一態様に係る映像配信装置(100)は、映像(V1)に関する映像情報を取得する映像情報取得部(10)を備え、通知情報検知部(12)は、映像情報取得部(10)により取得された映像情報に基づいて通知情報を検知してもよい。これによれば、本開示に係る映像配信装置(100)の作用及び効果を好適に奏することができる。 A video distribution device (100) according to one aspect of the present disclosure may include a video information acquisition unit (10) that acquires video information related to video (V1), and the notification information detection unit (12) may detect the notification information based on the video information acquired by the video information acquisition unit (10). This allows the functions and effects of the video distribution device (100) according to the present disclosure to be optimally achieved.

本開示の一態様に係る映像配信装置(100)は、映像情報取得部(10)により取得された映像情報に基づいて映像(V1)を解析する映像解析部(11)を備え、通知情報検知部(12)は、映像解析部(11)により映像(V1)が解析された解析結果に基づいて通知情報を検知してもよい。これによれば、別個の装置等により解析が行われるのではなく、本装置が映像(V1)を解析することで通知情報を検知する。このため、別個の装置等の性能に左右されずに、映像(V1)の解析及び通知情報の検知を行うことができる。 A video distribution device (100) according to one aspect of the present disclosure includes a video analysis unit (11) that analyzes video (V1) based on video information acquired by a video information acquisition unit (10), and a notification information detection unit (12) may detect notification information based on the analysis results of the video (V1) analyzed by the video analysis unit (11). In this manner, the device detects notification information by analyzing the video (V1), rather than analysis being performed by a separate device or the like. Therefore, analysis of the video (V1) and detection of notification information can be performed without being affected by the performance of a separate device or the like.

本開示の一態様に係る映像配信装置(100)では、映像解析部(11)は、映像(V1)のうちの一部を解析してもよい。これによれば、映像(V1)の全部を解析する場合と比較して、映像配信装置(100)の処理負荷を低減させることができる。 In a video distribution device (100) according to one aspect of the present disclosure, the video analysis unit (11) may analyze a portion of the video (V1). This reduces the processing load on the video distribution device (100) compared to analyzing the entire video (V1).

本開示の一態様に係る映像配信装置(100)では、映像解析部(11)は、互いに時間間隔を空けた複数のタイミングにおいて映像(V1)を解析してもよい。通知画像(NP1)は配信ユーザ端末(200)にある程度の時間にわたって表示され続けるため、互いに時間間隔を空けない連続したタイミングにおいて映像(V1)を解析しても、それらの解析結果は互いに同じである可能性が高い。したがって、互いに時間間隔を空けない連続したタイミングにおいて映像(V1)を解析した場合と比較して、互いに時間間隔を空けた複数のタイミングにおいて映像(V1)を解析しても解析精度は低下しにくい。一方で、互いに時間間隔を空けた複数のタイミングにおいて映像(V1)を解析することにより、映像(V1)の全部を解析する必要がなくなるため、映像配信装置(100)の処理負荷を低減させることができる。よって、映像配信装置(100)の処理負荷を低減させつ、解析精度の低下を抑制することができる。 In a video distribution device (100) according to one aspect of the present disclosure, the video analysis unit (11) may analyze the video (V1) at multiple timings spaced apart by a time interval. Because the notification image (NP1) continues to be displayed on the distribution user terminal (200) for a certain period of time, even if the video (V1) is analyzed at successive timings with no time interval between them, the analysis results are likely to be the same. Therefore, compared to analyzing the video (V1) at successive timings with no time interval between them, analyzing the video (V1) at multiple timings spaced apart by a time interval is less likely to result in a decrease in analysis accuracy. On the other hand, by analyzing the video (V1) at multiple timings spaced apart by a time interval between them, it is not necessary to analyze the entire video (V1), thereby reducing the processing load on the video distribution device (100). Therefore, it is possible to reduce the processing load on the video distribution device (100) while suppressing a decrease in analysis accuracy.

本開示の一態様に係る映像配信装置(100)では、映像解析部(11)は、通知情報検知部(12)により通知情報が検知された場合に、予め設定された期間にわたり映像(V1)を解析しなくてもよい。通知画像(NP1)は配信ユーザ端末(200)にある程度の時間にわたって表示され続けるため、通知情報が検知された直後も引き続き通知情報が検知され続けている可能性が高い。したがって、通知情報が検知された直後は映像(V1)の解析を停止することにより、映像配信装置(100)の処理負荷を低減させることができる。 In a video distribution device (100) according to one aspect of the present disclosure, the video analysis unit (11) does not need to analyze the video (V1) for a preset period of time when notification information is detected by the notification information detection unit (12). Because the notification image (NP1) continues to be displayed on the distribution user terminal (200) for a certain period of time, it is highly likely that the notification information will continue to be detected even immediately after it is detected. Therefore, by stopping analysis of the video (V1) immediately after the notification information is detected, the processing load on the video distribution device (100) can be reduced.

本開示の一態様に係る映像配信装置(100)では、通知情報は、通知画像(NP1)の画像形状に関する画像形状情報を含み、通知情報検知部(12)は、画像形状情報に基づいて通知情報を検知してもよい。すなわち、この装置は、映像(V1)において通知画像(NP1)に特徴的な画像形状が検出された場合に通知情報を検知する。これによれば、本開示に係る映像配信装置(100)の作用及び効果を好適に奏することができる。 In a video distribution device (100) according to one aspect of the present disclosure, the notification information may include image shape information relating to the image shape of the notification image (NP1), and the notification information detection unit (12) may detect the notification information based on the image shape information. That is, this device detects the notification information when an image shape characteristic of the notification image (NP1) is detected in the video (V1). This allows the functions and effects of the video distribution device (100) according to the present disclosure to be optimally achieved.

本開示の一態様に係る映像配信装置(100)では、画像形状情報は、通知画像(NP1)における予め設定された3か所の形状に関する情報であってもよい。これによれば、画像形状情報に基づいて通知情報を検知する場合に、精度良く通知情報を検知可能であり、且つ、映像配信装置(100)の処理負荷を低減させることができる。 In a video distribution device (100) according to one aspect of the present disclosure, the image shape information may be information relating to the shapes of three preset locations in the notification image (NP1). This makes it possible to accurately detect notification information when detecting it based on the image shape information, and also reduces the processing load on the video distribution device (100).

本開示の一態様に係る映像配信装置(100)では、通知情報は、通知画像(NP1)の画像色に関する画像色情報を含み、通知情報検知部(12)は、画像色情報に基づいて通知情報を検知してもよい。すなわち、通知画像(NP1)をディスプレイ(3)に表示させるアプリケーションごとに画像色が決められている場合があり、この装置は、映像(V1)において通知画像(NP1)に当該画像色が検出された場合に通知情報を検知する。これによれば、本開示に係る映像配信装置(100)の作用及び効果を好適に奏することができる。 In a video distribution device (100) according to one aspect of the present disclosure, the notification information may include image color information relating to the image color of the notification image (NP1), and the notification information detection unit (12) may detect the notification information based on the image color information. That is, an image color may be determined for each application that displays the notification image (NP1) on the display (3), and the device detects the notification information when that image color is detected in the notification image (NP1) in the video (V1). This allows the functions and effects of the video distribution device (100) according to the present disclosure to be optimally achieved.

本開示の一態様に係る映像配信装置(100)では、通知情報は、通知画像(NP1)に含まれるアイコン(F4)に関するアイコン情報を含み、通知情報検知部(12)は、アイコン情報に基づいて通知情報を検知してもよい。すなわち、通知画像(NP1)をディスプレイ(3)に表示させるアプリケーションごとにアイコン(F4)が決められている場合があり、この装置は、映像(V1)において通知画像(NP1)に当該アイコン(F4)が検出された場合に通知情報を検知する。これによれば、本開示に係る映像配信装置(100)の作用及び効果を好適に奏することができる。 In a video distribution device (100) according to one aspect of the present disclosure, the notification information may include icon information relating to an icon (F4) included in the notification image (NP1), and the notification information detection unit (12) may detect the notification information based on the icon information. That is, an icon (F4) may be assigned to each application that displays the notification image (NP1) on the display (3), and the device detects the notification information when the icon (F4) is detected in the notification image (NP1) in the video (V1). This allows the functions and effects of the video distribution device (100) according to the present disclosure to be optimally achieved.

本開示の一態様に係る映像配信装置(100)では、通知情報加工部(13)により通知情報を加工すべき通知画像(NP1)の内容である加工対象に関する情報を、配信ユーザ端末(200)から受信する加工対象受信部(15)と、加工対象受信部(15)により配信ユーザ端末(200)から受信された加工対象に関する情報に基づいて加工対象を設定する加工対象設定部(16)と、を備えていてもよい。これによれば、配信者の希望に応じて、視聴者に公開しない通知画像(NP1)の内容及び公開する通知画像(NP1)の内容をそれぞれ指定することが可能となる。 A video distribution device (100) according to one aspect of the present disclosure may include a processing target receiving unit (15) that receives, from the broadcast user terminal (200), information regarding the processing target, which is the content of the notification image (NP1) for which the notification information processing unit (13) should process the notification information, and a processing target setting unit (16) that sets the processing target based on the information regarding the processing target received from the broadcast user terminal (200) by the processing target receiving unit (15). This makes it possible to specify, according to the broadcaster's wishes, the content of the notification image (NP1) that will not be made public to viewers and the content of the notification image (NP1) that will be made public.

本開示の一態様に係る映像配信装置(100)では、配信ユーザ端末(200)は、当該配信ユーザ端末(200)のディスプレイ(3)における映像(V1)の表示方向を複数の方向から選択可能であり、配信ユーザ端末(200)のディスプレイ(3)において選択されている映像(V1)の表示方向を検知する表示方向検知部(17)を備え、通知情報検知部(12)は、表示方向検知部(17)により検出された表示方向に応じた検知パターンにより通知情報を検知してもよい。一般に、ディスプレイ(3)において選択されている映像(V1)の表示方向によって、映像(V1)に表示される通知画像(NP1)の位置・大きさ・形状といった態様が異なる場合がある。したがって、映像(V1)の表示方向に応じて最適化された検知パターンにより通知情報を検知することが効率的である。したがって、これによれば、通知情報を効率良く検知することができる。 In a video distribution device (100) according to one aspect of the present disclosure, a broadcast user terminal (200) can select from multiple directions the display direction of a video (V1) on the display (3) of the broadcast user terminal (200), and is equipped with a display direction detection unit (17) that detects the display direction of the video (V1) selected on the display (3) of the broadcast user terminal (200), and the notification information detection unit (12) may detect notification information using a detection pattern corresponding to the display direction detected by the display direction detection unit (17). Generally, the position, size, shape, and other aspects of a notification image (NP1) displayed on the video (V1) may differ depending on the display direction of the video (V1) selected on the display (3). Therefore, it is efficient to detect notification information using a detection pattern optimized according to the display direction of the video (V1). This allows for efficient detection of notification information.

本開示の一態様に係る映像配信装置(100)は、映像(V2)を視聴ユーザ端末(300)に配信する映像情報配信部(14)を備えていてもよい。これによれば、通知画像(NP1)の判読性を低下させた映像(V1)を視聴ユーザ端末(300)に配信することができるため、本開示に係る映像配信装置(100)の作用及び効果を好適に奏することができる。 A video distribution device (100) according to one aspect of the present disclosure may include a video information distribution unit (14) that distributes video (V2) to a viewing user terminal (300). This allows video (V1) with reduced readability of the notification image (NP1) to be distributed to the viewing user terminal (300), thereby optimally achieving the functions and effects of the video distribution device (100) according to the present disclosure.

なお、上記の括弧内の符号は、後述する実施形態における構成要素の符号を本開示の一例として示したものであって、本開示を実施形態の態様に限定するものではない。 Note that the reference numerals in parentheses above indicate the reference numerals of components in the embodiments described below as an example of the present disclosure, and do not limit the present disclosure to the aspects of the embodiments.

このように、本開示に係る映像配信システム及び映像配信方法は、配信者に関する情報が意に反して公開されることを抑制することができる。 In this way, the video distribution system and video distribution method disclosed herein can prevent information about the distributor from being made public against their will.

図1は、本実施形態に係る映像配信装置を示すブロック図である。FIG. 1 is a block diagram showing a video distribution device according to this embodiment. 図2は、縦持ちされたスマートフォンにおいて、コンテンツ画像のみが表示された映像が配信されている状態を示す図である。FIG. 2 is a diagram showing a state in which a video displaying only a content image is being distributed to a smartphone held vertically. 図3は、縦持ちされたスマートフォンにおいて、コンテンツ画像及び通知画像が表示された映像が配信されている状態を示す図である。FIG. 3 is a diagram showing a state in which a video displaying a content image and a notification image is being distributed to a smartphone held vertically. 図4は、縦持ちされたスマートフォンにおいて、コンテンツ画像及び判読性を低下させた通知画像が表示された映像が配信されている状態を示す図である。FIG. 4 is a diagram showing a state in which a video displaying a content image and a notification image with reduced readability is being distributed to a smartphone held vertically. 図5は、横持ちされたスマートフォンにおいて、コンテンツ画像のみが表示された映像が配信されている状態を示す図である。FIG. 5 is a diagram showing a state in which a video displaying only a content image is being distributed to a smartphone held horizontally. 図6は、横持ちされたスマートフォンにおいて、コンテンツ画像及び通知画像が表示された映像が配信されている状態を示す図である。FIG. 6 is a diagram showing a state in which a video displaying a content image and a notification image is being distributed to a smartphone held horizontally. 図7は、横持ちされたスマートフォンにおいて、コンテンツ画像及び判読性を低下させた通知画像が表示された映像が配信されている状態を示す図である。FIG. 7 is a diagram showing a state in which a video displaying a content image and a notification image with reduced readability is being distributed to a smartphone held horizontally. 図8は、加工対象設定処理の流れを示すシーケンス図である。FIG. 8 is a sequence diagram showing the flow of the processing target setting process. 図9は、通知画像が表示されていない映像の配信処理の流れを示すシーケンス図である。FIG. 9 is a sequence diagram showing the flow of a process for delivering a video in which no notification image is displayed. 図10は、通知画像が表示されている映像の配信処理の流れを示すシーケンス図である。FIG. 10 is a sequence diagram showing the flow of a process for delivering a video on which a notification image is displayed. 図11は、検知パターン設定処理の流れを示すシーケンス図である。FIG. 11 is a sequence diagram showing the flow of the detection pattern setting process.

以下、図面を参照して例示的な実施形態について説明する。なお、各図における同一又は相当部分には同一符号を付し、重複する説明を省略する。 An exemplary embodiment will now be described with reference to the drawings. Note that identical or equivalent parts in each drawing will be designated by the same reference numerals, and duplicate explanations will be omitted.

[映像配信装置]
図1は、本実施形態に係る映像配信装置100を示すブロック図である。図2は、縦持ちされたスマートフォンにおいて、コンテンツ画像のみが表示された映像が配信されている状態を示す図である。図3は、縦持ちされたスマートフォンにおいて、コンテンツ画像及び通知画像が表示された映像が配信されている状態を示す図である。図4は、縦持ちされたスマートフォンにおいて、コンテンツ画像及び判読性を低下させた通知画像が表示された映像が配信されている状態を示す図である。図1~図4に示されるように、映像配信装置100は、配信ユーザ端末200のディスプレイ3に表示される映像V1を、当該映像V1に対して映像V1に含まれる通知画像NP1の判読性を低下させる処理を施した上で、映像V2として視聴ユーザ端末300にリアルタイムで配信する装置である。配信ユーザ端末200を用いて映像V1を配信するユーザを配信者と呼び、配信された映像V2を視聴ユーザ端末300を用いて視聴するユーザを視聴者と呼ぶ。
[Video distribution device]
FIG. 1 is a block diagram showing a video distribution device 100 according to this embodiment. FIG. 2 is a diagram showing a state in which a video displaying only a content image is being distributed to a smartphone held vertically. FIG. 3 is a diagram showing a state in which a video displaying a content image and a notification image is being distributed to a smartphone held vertically. FIG. 4 is a diagram showing a state in which a video displaying a content image and a notification image with reduced readability is being distributed to a smartphone held vertically. As shown in FIGS. 1 to 4, the video distribution device 100 is a device that distributes video V1 displayed on the display 3 of the broadcast user terminal 200 in real time to the viewer user terminal 300 as video V2 after processing the video V1 to reduce the readability of the notification image NP1 included in the video V1. A user who distributes video V1 using the broadcast user terminal 200 is called a broadcaster, and a user who watches the distributed video V2 using the viewer user terminal 300 is called a viewer.

ここで、「配信ユーザ端末」とは、配信者側のユーザ端末である。配信ユーザ端末は、少なくともディスプレイ3を備え、別の機器との間で通信(例えば無線通信)可能な機器であればよく、例えばスマートフォン、タブレット、ノートパソコン、デスクトップパソコン等であってもよい。ここでは、配信ユーザ端末200としてスマートフォンが例示されている。同様に、「視聴ユーザ端末」とは、視聴者側のユーザ端末である。視聴ユーザ端末は、少なくともディスプレイ7を備え、別の機器との間で通信(例えば無線通信)可能な機器であればよく、例えばスマートフォン、タブレット、ノートパソコン、デスクトップパソコン等であってもよい。ここでは、視聴ユーザ端末300としてスマートフォンが例示されている。 Here, a "broadcast user terminal" refers to a user terminal on the broadcaster's side. A broadcast user terminal is any device that has at least a display 3 and is capable of communication (e.g., wireless communication) with other devices, and may be, for example, a smartphone, tablet, laptop, desktop computer, etc. Here, a smartphone is used as an example of the broadcast user terminal 200. Similarly, a "viewing user terminal" refers to a user terminal on the viewer's side. A viewing user terminal is any device that has at least a display 7 and is capable of communication (e.g., wireless communication) with other devices, and may be, for example, a smartphone, tablet, laptop, desktop computer, etc. Here, a smartphone is used as an example of the viewing user terminal 300.

また、「映像」とは、配信ユーザ端末200のディスプレイ3又は視聴ユーザ端末300のディスプレイ7に表示される動画又は静止画である。配信ユーザ端末200のディスプレイ3に表示される映像を映像V1と呼び、視聴ユーザ端末300のディスプレイ7に表示される映像を映像V2と呼ぶ。ここでは、映像V1及び映像V2として動画が例示されている。 Furthermore, "video" refers to a moving image or still image displayed on the display 3 of the broadcast user terminal 200 or the display 7 of the viewer user terminal 300. The video displayed on the display 3 of the broadcast user terminal 200 is referred to as video V1, and the video displayed on the display 7 of the viewer user terminal 300 is referred to as video V2. Here, videos are exemplified as video V1 and video V2.

映像は、少なくともコンテンツ画像を含んでいる。「コンテンツ画像」とは、配信ユーザ端末200において実行されているアプリケーションの表示画面であり、ここでは野球ゲームのアプリケーションの表示画面が例示されている。また、映像は、通知画像を含む場合がある。「通知画像」とは、配信ユーザ端末200に対して外部から送信された通知を配信ユーザ端末200のディスプレイ3に表示させた画像であり、例えば配信ユーザ端末200が受信したPUSH通知の画像であってもよい。通知画像は、配信者が意図しないタイミングで配信ユーザ端末200のディスプレイ3に表示されるものであってもよい。通知画像は、配信ユーザ端末200のディスプレイ3において予め設定された1又は複数の位置に表示されてもよい。 The video includes at least a content image. A "content image" is the display screen of an application running on the broadcaster user terminal 200; here, a display screen of a baseball game application is shown as an example. The video may also include a notification image. A "notification image" is an image displayed on the display 3 of the broadcaster user terminal 200, which is a notification sent to the broadcaster user terminal 200 from outside, and may be, for example, an image of a push notification received by the broadcaster user terminal 200. The notification image may be displayed on the display 3 of the broadcaster user terminal 200 at a time not intended by the broadcaster. The notification image may be displayed in one or more pre-set positions on the display 3 of the broadcaster user terminal 200.

以下の説明では、配信ユーザ端末200のディスプレイ3に表示される映像である映像V1に含まれているコンテンツ画像をコンテンツ画像CP1と呼び、映像V1に含まれている通知画像を通知画像NP1と呼ぶ。同様に、視聴ユーザ端末300のディスプレイ7に表示される映像である映像V2に含まれているコンテンツ画像をコンテンツ画像CP2と呼び、映像V2に含まれている通知画像を通知画像NP2と呼ぶ。映像V2は映像V1が視聴ユーザ端末300に配信されたものであるため、コンテンツ画像CP2はコンテンツ画像CP1と基本的には同一の内容である。また、通知画像NP2は通知画像NP2と基本的には同一の内容であるが、後述するように通知画像NP2は通知画像NP1の判読性を低下させたものである場合がある。 In the following description, the content image included in video V1, which is the video displayed on the display 3 of the broadcasting user terminal 200, will be referred to as content image CP1, and the notification image included in video V1 will be referred to as notification image NP1. Similarly, the content image included in video V2, which is the video displayed on the display 7 of the viewing user terminal 300, will be referred to as content image CP2, and the notification image included in video V2 will be referred to as notification image NP2. Because video V2 is video V1 broadcast to the viewing user terminal 300, content image CP2 has basically the same content as content image CP1. Furthermore, notification image NP2 has basically the same content as notification image NP2, although, as described below, notification image NP2 may be notification image NP1 with reduced readability.

映像V1、コンテンツ画像CP1、及び通知画像NP1、並びに、映像V2、コンテンツ画像CP2、及び通知画像NP2のそれぞれは、配信ユーザ端末200のディスプレイ3又は視聴ユーザ端末300のディスプレイ7に表示される画面表示である。これら映像V1、コンテンツ画像CP1、及び通知画像NP1、並びに、映像V2、コンテンツ画像CP2、及び通知画像NP2のそれぞれを表すデータ(情報)は、映像V1に関する映像情報、コンテンツ画像CP1に関するコンテンツ情報、及び通知画像NP1に関する通知情報、並びに、映像V2に関する映像情報、コンテンツ画像CP2に関するコンテンツ情報、及び通知画像NP2に関する通知情報とそれぞれ呼ばれ、例えばデジタル信号によってそれぞれ構成されている。 Video V1, content image CP1, and notification image NP1, as well as video V2, content image CP2, and notification image NP2, are each screen displays displayed on the display 3 of the broadcast user terminal 200 or the display 7 of the viewing user terminal 300. The data (information) representing video V1, content image CP1, and notification image NP1, as well as video V2, content image CP2, and notification image NP2, are referred to as video information regarding video V1, content information regarding content image CP1, and notification information regarding notification image NP1, and video information regarding video V2, content information regarding content image CP2, and notification information regarding notification image NP2, respectively, and are each composed of, for example, digital signals.

動画としての映像V1は、映像V1を構成する個々の画像(フレーム)が連続的に切り替わることで動的な表現が実現されている。映像V1を構成する個々の画像(フレーム)は、映像V1に通知画像NP1が含まれていない場合には一連のコンテンツ画像CP1であり、映像V1に通知画像NP1が含まれている場合には一連のコンテンツ画像CP1及び各コンテンツ画像CP1に重畳して表示された一連の通知画像NP1である。同様に、動画としての映像V2は、映像V2を構成する個々の画像(フレーム)が連続的に切り替わることで動的な表現が実現されている。映像V2を構成する個々の画像(フレーム)は、映像V2に通知画像NP2が含まれていない場合には一連のコンテンツ画像CP2であり、映像V2に通知画像NP2が含まれている場合には一連のコンテンツ画像CP2及び各コンテンツ画像CP2に重畳して表示された一連の通知画像NP2である。 Video V1 as a moving image achieves a dynamic expression by successively switching between the individual images (frames) that make up video V1. The individual images (frames) that make up video V1 are a series of content images CP1 if video V1 does not include a notification image NP1, and are a series of content images CP1 and a series of notification images NP1 superimposed on each content image CP1 if video V1 includes a notification image NP1. Similarly, video V2 as a moving image achieves a dynamic expression by successively switching between the individual images (frames) that make up video V2. The individual images (frames) that make up video V2 are a series of content images CP2 if video V2 does not include a notification image NP2, and are a series of content images CP2 and a series of notification images NP2 superimposed on each content image CP2 if video V2 includes a notification image NP2.

映像V1に関する映像情報は、少なくとも映像V1に関する画像データを含んでおり、映像V1に付随する音声データも含んでいてもよい。コンテンツ画像CP1に関するコンテンツ情報は、少なくともコンテンツ画像CP1に関する画像データを含んでおり、コンテンツ画像CP1に付随する音声データも含んでいてもよい。通知画像NP1に関する通知情報は、少なくとも通知画像NP1に関する画像データを含んでおり、通知画像NP1に付随する音声データも含んでいてもよい。同様に、映像V2に関する映像情報は、少なくとも映像V2に関する画像データを含んでおり、映像V2に付随する音声データも含んでいてもよい。コンテンツ画像CP2に関するコンテンツ情報は、少なくともコンテンツ画像CP2に関する画像データを含んでおり、コンテンツ画像CP2に付随する音声データも含んでいてもよい。通知画像NP2に関する通知情報は、少なくとも通知画像NP2に関する画像データを含んでおり、通知画像NP2に付随する音声データも含んでいてもよい。 Video information regarding video V1 includes at least image data regarding video V1, and may also include audio data accompanying video V1. Content information regarding content image CP1 includes at least image data regarding content image CP1, and may also include audio data accompanying content image CP1. Notification information regarding notification image NP1 includes at least image data regarding notification image NP1, and may also include audio data accompanying notification image NP1. Similarly, video information regarding video V2 includes at least image data regarding video V2, and may also include audio data accompanying video V2. Content information regarding content image CP2 includes at least image data regarding content image CP2, and may also include audio data accompanying content image CP2. Notification information regarding notification image NP2 includes at least image data regarding notification image NP2, and may also include audio data accompanying notification image NP2.

「画像の判読性」とは、画像を見たユーザが当該画像の内容を認識しやすい程度のことを意味している。つまり、「画像の判読性を低下させる」とは、画像がユーザの視界に含まれた場合であっても当該画像の内容を当該ユーザが認識しにくい状態とすることを意味している。画像の判読性を低下させるための具体的な態様については後述する。なお、ユーザが画像を視認すること(すなわち、ユーザが画像を見てその内容を認識すること)の容易性を低下させることを「画像を不可視化する」と呼んでもよく、この場合、「画像を不可視化する」とは「画像の判読性を低下させる」ことと同義である。 "Image legibility" refers to the degree to which a user viewing an image can easily recognize the content of that image. In other words, "reducing the image legibility" means making it difficult for a user to recognize the content of the image, even when the image is within the user's field of vision. Specific methods for reducing the image legibility will be described later. Note that reducing the ease with which a user can view an image (i.e., a user can view an image and recognize its content) can also be referred to as "making an image invisible," and in this case, "making an image invisible" is synonymous with "reducing the image legibility."

また、「映像をリアルタイムで配信する」とは、取得した映像を逐次配信することを意味しており、一般にタイムラグが小さい状態で映像が配信される。ここで、「映像を逐次配信する」とは、例えば取得した映像を蓄積した後に視聴ユーザからのリクエストがあったタイミングで配信するのではなく、映像を構成する個々の画像(フレーム)を取得した際に、必要な処理を施した上で順次配信していくことを意味してもよい。また、「逐次配信」は、ライブ配信、生放送を意味してもよい。なお、配信される個々の画像(フレーム)は、予め設定された基準によりグループ化された単位毎に配信されてもよい。 Furthermore, "delivering video in real time" means sequentially delivering acquired video, and video is generally delivered with a small time lag. Here, "sequentially delivering video" may mean, for example, not accumulating acquired video and then delivering it when a request from a viewing user is received, but rather sequentially delivering individual images (frames) that make up the video as they are acquired, after performing the necessary processing. Furthermore, "sequential delivery" may also mean live delivery or live broadcasting. Note that the individual images (frames) to be delivered may be delivered in units grouped according to preset criteria.

映像配信装置100は、配信ユーザ端末200及び視聴ユーザ端末300のそれぞれと通信可能なサーバ(コンピュータ)として構成されている。映像配信装置100は、物理的な構成として制御演算装置、記憶装置、入出力装置を備えている。制御演算装置は、例えばCPU(Central Processing Unit)等のコントローラ1により構成されており、演算処理を実行するとともに記憶装置及び入出力装置の制御を行う。記憶装置は、例えば主記憶装置及び補助記憶装置を有している。主記憶装置は、例えばRAM(Random Access Memory)により構成されている。また、補助記憶装置は、例えばROM(Read Only Memory)により構成されている。入出力装置は、例えば外部からデータを入力されて記憶装置に送信する入力装置、及び、例えば制御演算部により演算されて記憶装置に記憶された演算結果を外部に出力する出力装置を有している。 The video distribution device 100 is configured as a server (computer) capable of communicating with each of the distribution user terminal 200 and the viewing user terminal 300. The video distribution device 100 physically comprises a control and arithmetic unit, a storage device, and an input/output device. The control and arithmetic unit is configured with a controller 1 such as a CPU (Central Processing Unit), which executes arithmetic processing and controls the storage device and input/output device. The storage device includes, for example, a main storage device and an auxiliary storage device. The main storage device is configured with, for example, RAM (Random Access Memory). The auxiliary storage device is configured with, for example, ROM (Read Only Memory). The input/output device includes, for example, an input device that inputs data from outside and sends it to the storage device, and an output device that outputs, to the outside, the results of calculations performed by the control and arithmetic unit and stored in the storage device.

映像配信装置100は、例えば、ROMに記憶されているプログラムをRAMに読み込み、RAMに読み込まれたプログラムをCPUにより実行することにより、所定の処理を実行する。なお、映像配信装置100は、コンピュータとして構成されていればよく、上述した構成とは異なる構成を備えていてもよい。 The video distribution device 100 performs predetermined processing by, for example, loading a program stored in ROM into RAM and executing the program loaded into RAM using a CPU. Note that the video distribution device 100 only needs to be configured as a computer, and may have a configuration different from that described above.

映像配信装置100のコントローラ1は、機能的には、映像情報取得部10、映像解析部11、通知情報検知部12、通知情報加工部13、映像情報配信部14、加工対象受信部15、加工対象設定部16、表示方向検知部17、及び検知パターン設定部18を備えている。 The controller 1 of the video distribution device 100 functionally comprises a video information acquisition unit 10, a video analysis unit 11, a notification information detection unit 12, a notification information processing unit 13, a video information distribution unit 14, a processing target receiving unit 15, a processing target setting unit 16, a display direction detection unit 17, and a detection pattern setting unit 18.

映像情報取得部10は、映像V1に関する映像情報を取得する。具体的には、映像情報取得部10は、後述するように配信ユーザ端末200から送信された映像V1に関する映像情報を受信し、取得する。 The video information acquisition unit 10 acquires video information related to video V1. Specifically, the video information acquisition unit 10 receives and acquires video information related to video V1 transmitted from the broadcast user terminal 200, as described below.

映像解析部11は、映像情報取得部10により取得された映像情報(映像V1に関する映像情報)に基づいて映像V1を解析する。具体的には、映像解析部11は、映像V1に関する映像情報に基づいて映像V1を解析することにより、映像V1に関する映像情報に通知情報(通知画像NP1に関する通知情報)が含まれているか否かを解析する。映像解析部11は、例えば映像V1に関する映像情報に含まれる輝度情報(輝度の勾配情報等)に基づいて、映像V1を解析してもよい(エッジ検出)。映像解析部11が映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれているとの解析結果を出力することは、映像V1に通知画像NP1(及びコンテンツ画像CP1)が含まれていることを意味している。一方、映像解析部11が映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれていないとの解析結果を出力することは、映像V1に通知画像NP1が含まれていない(映像V1にコンテンツ画像CP1のみ含まれている)ことを意味している。 The video analysis unit 11 analyzes the video V1 based on the video information (video information related to the video V1) acquired by the video information acquisition unit 10. Specifically, the video analysis unit 11 analyzes the video V1 based on the video information related to the video V1 to determine whether the video information related to the video V1 includes notification information (notification information related to the notification image NP1). The video analysis unit 11 may analyze the video V1 based on, for example, brightness information (such as brightness gradient information) included in the video information related to the video V1 (edge detection). When the video analysis unit 11 outputs an analysis result indicating that the video information related to the video V1 includes notification information related to the notification image NP1, this means that the video V1 includes the notification image NP1 (and the content image CP1). On the other hand, when the video analysis unit 11 outputs an analysis result indicating that the video information related to the video V1 does not include notification information related to the notification image NP1, this means that the video V1 does not include the notification image NP1 (i.e., the video V1 includes only the content image CP1).

映像解析部11は、映像V1のうちの一部を解析する。具体的には、映像解析部11は、互いに時間間隔を空けた複数のタイミングにおいて映像V1を解析する。より具体的には、映像解析部11は、動画としての映像V1を構成する一連のフレームであるコンテンツ画像CP1(及び、各コンテンツ画像CP1に重畳して表示されている場合には一連の通知画像NP1)のうち、一部のフレームが間引かれた残部のフレーム(例えば2~3フレームのうちの1フレーム)についてのみ、映像V1を解析する。映像解析部11は、時系列において一定又は不定の間隔で、一部のフレームを間引いてもよい。 The video analysis unit 11 analyzes a portion of the video V1. Specifically, the video analysis unit 11 analyzes the video V1 at multiple timings spaced apart by time intervals. More specifically, the video analysis unit 11 analyzes the video V1 only for the remaining frames (for example, one frame out of two or three frames) of the content images CP1 (and a series of notification images NP1 if they are displayed superimposed on each content image CP1), which are a series of frames that make up the video V1 as a moving image. The video analysis unit 11 may thin out some frames at regular or irregular intervals in chronological order.

また、映像解析部11は、後述する通知情報検知部12により通知情報(通知画像NP1に関する通知情報)が検知された場合に、予め設定された期間(例えば6秒間)にわたり映像V1を解析しない。換言すると、映像解析部11は、通知画像NP1に関する通知情報が検知されてから、予め設定された数のフレーム(例えば180フレーム)にわたり映像V1を解析しない。ここで、「映像V1を解析しない」とは、「映像V1の解析を停止する」ことを意味している。映像解析部11は、映像V1の解析を停止した後に予め設定された期間(換言すると、予め設定された数のフレーム数)が経過すると、映像V1の解析を再開する。 Furthermore, when notification information (notification information related to notification image NP1) is detected by notification information detection unit 12 (described below), video analysis unit 11 does not analyze video V1 for a preset period of time (e.g., 6 seconds). In other words, video analysis unit 11 does not analyze video V1 for a preset number of frames (e.g., 180 frames) after notification information related to notification image NP1 is detected. Here, "not analyzing video V1" means "stopping analysis of video V1." When a preset period of time (in other words, a preset number of frames) has elapsed since analysis of video V1 was stopped, video analysis unit 11 resumes analysis of video V1.

通知情報検知部12は、映像V1に含まれる通知画像NP1に関する通知情報を検知する。通知情報検知部12は、映像情報取得部10により取得された映像V1に関する映像情報に基づいて通知画像NP1に関する通知情報を検知する。具体的には、通知情報検知部12は、映像情報取得部10により取得された映像V1に関する映像情報に基づいて映像解析部11が映像V1を解析した後に、映像解析部11により映像V1が解析された解析結果に基づいて通知画像NP1に関する通知情報を検知する。すなわち、映像解析部11により映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれているとの解析結果が出力された場合、通知情報検知部12は映像V1に含まれる通知画像NP1に関する通知情報を検知することとなる。一方、映像解析部11により映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれていないとの解析結果が出力された場合、通知情報検知部12は映像V1に含まれる通知画像NP1に関する通知情報を検知しないこととなる。 The notification information detection unit 12 detects notification information related to the notification image NP1 included in the video V1. The notification information detection unit 12 detects notification information related to the notification image NP1 based on the video information related to the video V1 acquired by the video information acquisition unit 10. Specifically, after the video analysis unit 11 analyzes the video V1 based on the video information related to the video V1 acquired by the video information acquisition unit 10, the notification information detection unit 12 detects notification information related to the notification image NP1 based on the analysis results of the analysis of the video V1 by the video analysis unit 11. In other words, if the video analysis unit 11 outputs an analysis result indicating that the video information related to the video V1 includes notification information related to the notification image NP1, the notification information detection unit 12 will detect notification information related to the notification image NP1 included in the video V1. On the other hand, if the video analysis unit 11 outputs an analysis result indicating that the video information related to the video V1 does not include notification information related to the notification image NP1, the notification information detection unit 12 will not detect notification information related to the notification image NP1 included in the video V1.

通知情報加工部13は、通知情報検知部12により通知画像NP1に関する通知情報が検知された場合に、映像V1において通知画像NP1の判読性を低下させるように通知画像NP1に関する通知情報を加工する。すなわち、通知情報加工部13は、映像V1において通知画像NP1がユーザ(例えば視聴ユーザ)の視界に含まれた場合であっても当該通知画像NP1の内容を当該ユーザが認識しにくい状態となるように、通知画像NP1に関する通知情報を加工する。 When notification information regarding notification image NP1 is detected by notification information detection unit 12, notification information processing unit 13 processes the notification information regarding notification image NP1 so as to reduce the readability of notification image NP1 in video V1. In other words, notification information processing unit 13 processes the notification information regarding notification image NP1 so that even if notification image NP1 is included in the field of view of a user (e.g., a viewing user) in video V1, the content of notification image NP1 is difficult for the user to recognize.

画像の判読性を低下させるための具体的な態様として、ここでは、通知情報加工部13は、映像V1のうちの通知画像NP1の領域をぼかす処理を実行する。「画像をぼかす」とは、例えば画像の解像度を低下させることを意味してもよく、モザイク処理を実行することを意味してもよい。なお、画像の判読性を低下させるための具体的な態様として、通知情報加工部13は、映像V1のうちの通知画像NP1の領域よりも広い領域をぼかす処理を実行してもよく、映像V1の全体をぼかす処理を実行してもよい。あるいは、通知情報加工部13は、映像V1のうちの通知画像NP1の領域を塗りつぶす処理を実行してもよく、映像V1のうちの通知画像NP1の領域よりも広い領域を塗りつぶす処理を実行してもよく、映像V1の全体を塗りつぶす処理を実行してもよい。 As a specific example of reducing the readability of the image, the notification information processing unit 13 performs a process of blurring the area of the notification image NP1 in the video V1. "Blurring the image" may mean, for example, reducing the resolution of the image, or performing a mosaic process. Note that as a specific example of reducing the readability of the image, the notification information processing unit 13 may perform a process of blurring an area of the video V1 that is larger than the area of the notification image NP1, or may perform a process of blurring the entire video V1. Alternatively, the notification information processing unit 13 may perform a process of filling in the area of the notification image NP1 in the video V1, or may perform a process of filling in an area of the video V1 that is larger than the area of the notification image NP1, or may perform a process of filling in the entire video V1.

映像情報配信部14は、映像V2に関する映像情報を外部に送信する。具体的には、映像情報配信部14は、映像V2に関する映像情報を視聴ユーザ端末300に送信することにより、映像V2を視聴ユーザ端末300に配信する。映像情報配信部14は、通知情報検知部12により通知画像NP1に関する通知情報が検知された映像V1については、通知情報加工部13により通知画像NP1に関する通知情報の加工が完了した映像V2を視聴ユーザ端末300に逐次送信する。一方、映像情報配信部14は、通知情報検知部12により通知画像NP1に関する通知情報が検知されなかった映像V1については、通知情報加工部13により通知画像NP1に関する通知情報の加工を行わずに、当該映像V1をそのまま映像V2として視聴ユーザ端末300に逐次送信する。 The video information distribution unit 14 transmits video information related to video V2 to the viewer user terminal 300. Specifically, the video information distribution unit 14 distributes video V2 to the viewer user terminal 300 by transmitting video information related to video V2 to the viewer user terminal 300. For video V1 in which notification information related to notification image NP1 has been detected by the notification information detection unit 12, the video information distribution unit 14 sequentially transmits video V2 in which processing of the notification information related to notification image NP1 has been completed by the notification information processing unit 13 to the viewer user terminal 300. On the other hand, for video V1 in which notification information related to notification image NP1 has not been detected by the notification information detection unit 12, the video information distribution unit 14 sequentially transmits the video V1 as is as video V2 to the viewer user terminal 300.

加工対象受信部15は、加工対象に関する情報を配信ユーザ端末200から受信する。「加工対象」とは、通知情報加工部13により通知情報を加工すべき通知画像NP1の内容である。加工対象は、例えば通知画像NP1に係る通知を配信ユーザ端末200に表示させるアプリケーションの種類によって規定されてもよい。つまり、特定のアプリケーションに関して送信された(配信ユーザ端末200が受信した)通知のみを加工対象としてもよい。加工対象は、後述するように配信ユーザ端末200においてユーザ(例えば配信者)によって決定されて、配信ユーザ端末200から映像配信装置100に送信される。 The processing target receiving unit 15 receives information regarding the processing target from the broadcaster user terminal 200. The "processing target" is the content of the notification image NP1 for which the notification information processing unit 13 is to process the notification information. The processing target may be specified, for example, by the type of application that displays the notification related to the notification image NP1 on the broadcaster user terminal 200. In other words, only notifications sent (received by the broadcaster user terminal 200) related to a specific application may be set as the processing target. The processing target is determined by the user (e.g., the broadcaster) at the broadcaster user terminal 200, as described below, and is transmitted from the broadcaster user terminal 200 to the video distribution device 100.

加工対象設定部16は、加工対象受信部15により配信ユーザ端末200から受信された加工対象に関する情報に基づいて加工対象を設定する。これにより、映像配信装置100は以下のような処理を実行する。加工対象設定部16により加工対象が設定されると、映像解析部11は映像V1に関する映像情報に加工対象として設定された通知画像NP1に関する通知情報が含まれているか否かを解析する。映像解析部11により映像V1に関する映像情報に加工対象として設定された通知画像NP1に関する通知情報が含まれているとの解析結果が出力された場合、通知情報検知部12は映像V1に含まれる当該通知画像NP1に関する通知情報を検知する。そして、通知情報検知部12により加工対象として設定された通知画像NP1に関する通知情報が検知された場合に、通知情報加工部13は映像V1において当該通知画像NP1の判読性を低下させるように当該通知画像NP1に関する通知情報を加工する。 The processing target setting unit 16 sets the processing target based on information about the processing target received from the broadcast user terminal 200 by the processing target receiving unit 15. This causes the video distribution device 100 to perform the following processing. When the processing target setting unit 16 sets the processing target, the video analysis unit 11 analyzes whether the video information about the video V1 contains notification information about the notification image NP1 set as the processing target. If the video analysis unit 11 outputs an analysis result indicating that the video information about the video V1 contains notification information about the notification image NP1 set as the processing target, the notification information detection unit 12 detects notification information about the notification image NP1 included in the video V1. Then, if the notification information detection unit 12 detects notification information about the notification image NP1 set as the processing target, the notification information processing unit 13 processes the notification information about the notification image NP1 so as to reduce the readability of the notification image NP1 in the video V1.

なお、加工対象は、予め設定された言葉又は図柄等が通知画像NP1に含まれるか否かによって規定されてもよい。例えば、加工対象設定部16は、配信者の名前・住所・属性といったプライバシーに関する言葉又は図柄等(プライバシー情報)を含む通知画像NP1を加工対象として設定してもよい。あるいは、加工対象設定部16は、「パスワード」「PW」といった言葉又は図柄等を含む通知画像NP1を加工対象として設定してもよい。「パスワード」「PW」といった言葉又は図柄等は、当該言葉又は図柄等が含まれる通知画像NP1にパスワード等の秘匿情報が含まれることを示しており、ここでは秘匿フラグ情報と呼ぶ。 The processing target may be determined by whether or not preset words, designs, etc. are included in the notification image NP1. For example, the processing target setting unit 16 may set the notification image NP1 containing privacy-related words, designs, etc. (privacy information), such as the broadcaster's name, address, or attributes, as the processing target. Alternatively, the processing target setting unit 16 may set the notification image NP1 containing words, designs, etc., such as "password" or "PW" as the processing target. Words, designs, etc., such as "password" or "PW" indicate that the notification image NP1 containing those words, designs, etc., contains confidential information such as a password, and is referred to here as confidential flag information.

通知画像NP1のうち加工対象であると設定されたものは、映像配信装置100の処理において映像V1の解析の対象等とされてもよい。一方、通知画像NP1のうち加工対象ではないと設定されたものは、映像配信装置100の処理において映像V1の解析の対象等とされなくてもよい(すなわち、通知画像NP1ではないものとして取り扱われてもよい)。 Notification images NP1 that are set to be processed may be used as the subject of analysis of the video V1 during processing by the video distribution device 100. On the other hand, notification images NP1 that are set not to be processed may not be used as the subject of analysis of the video V1 during processing by the video distribution device 100 (i.e., they may be treated as not being notification images NP1).

表示方向検知部17は、配信ユーザ端末200のディスプレイ3において選択されている映像V1の表示方向を検知する。ここで、「表示方向」とは、配信ユーザ端末200において配信ユーザ端末200自体の傾き(角度)に基づいて自動で選択された映像V1の表示方向である。 The display direction detection unit 17 detects the display direction of the video V1 selected on the display 3 of the broadcast user terminal 200. Here, "display direction" refers to the display direction of the video V1 automatically selected in the broadcast user terminal 200 based on the tilt (angle) of the broadcast user terminal 200 itself.

具体的には、配信ユーザ端末200が縦持ちされている場合(配信ユーザ端末200の長手方向が天地方向に沿うように把持されている場合)には、配信ユーザ端末200の長手方向がディスプレイ3の上下方向となるように(いわゆるポートレート表示)表示方向が選択される(図2~図4参照)。一方、配信ユーザ端末200が横持ちされている場合(配信ユーザ端末200の短手方向が天地方向に沿うように把持されている場合)には、配信ユーザ端末200の短手方向がディスプレイ3の上下方向となるように(いわゆるランドスケープ表示)表示方向が選択される(図5~図7参照)。映像配信装置100においては、配信ユーザ端末200において選択された映像V1の表示方向と同一の方向で、視聴ユーザ端末300のディスプレイ7において映像V2が表示されてもよい。 Specifically, when the broadcast user terminal 200 is held vertically (when the broadcast user terminal 200 is held with its longer sides aligned with the top-to-bottom direction), the display orientation is selected so that the longer sides of the broadcast user terminal 200 are aligned with the top-to-bottom direction of the display 3 (so-called portrait display) (see Figures 2 to 4). On the other hand, when the broadcast user terminal 200 is held horizontally (when the shorter sides of the broadcast user terminal 200 are held with their shorter sides aligned with the top-to-bottom direction), the display orientation is selected so that the shorter sides of the broadcast user terminal 200 are aligned with the top-to-bottom direction of the display 3 (so-called landscape display) (see Figures 5 to 7). In the video distribution device 100, video V2 may be displayed on the display 7 of the viewing user terminal 300 in the same orientation as the display orientation of video V1 selected on the broadcast user terminal 200.

検知パターン設定部18は、通知情報検知部12において通知画像NP1に関する通知情報を検知する検知パターンを設定する。「検知パターン」とは、映像V1に含まれる通知画像NP1に関する通知情報を検知する態様である。検知パターンは、映像V1のうち映像解析部11により特に優先的に解析されるべき領域が指定されたパターンである。具体的には、検知パターン設定部18は、表示方向検知部17により検知された配信ユーザ端末200のディスプレイ3における表示方向に応じて検知パターンを設定する。この場合、通知情報検知部12は、表示方向検知部17により検知された表示方向に応じた検知パターンにより通知画像NP1に関する通知情報を検知する。 The detection pattern setting unit 18 sets a detection pattern for detecting notification information related to the notification image NP1 in the notification information detection unit 12. A "detection pattern" is a manner in which notification information related to the notification image NP1 contained in the video V1 is detected. A detection pattern is a pattern in which an area of the video V1 that should be analyzed with particular priority by the video analysis unit 11 is designated. Specifically, the detection pattern setting unit 18 sets a detection pattern according to the display orientation of the display 3 of the broadcast user terminal 200 detected by the display orientation detection unit 17. In this case, the notification information detection unit 12 detects notification information related to the notification image NP1 using a detection pattern according to the display orientation detected by the display orientation detection unit 17.

検知パターン設定部18は、配信ユーザ端末200の長手方向がディスプレイ3の上下方向となるように表示方向が選択されている場合には、配信ユーザ端末200のディスプレイ3の長手方向における上端側の領域である第1通知探索領域R1において優先的に通知画像NP1を検知する検知パターンを設定する(図2参照)。一方、検知パターン設定部18は、配信ユーザ端末200の短手方向がディスプレイ3の上下方向となるように表示方向が選択されている場合には、配信ユーザ端末200のディスプレイ3の短手方向における上端側の領域である第2通知探索領域R2において優先的に通知画像NP1を検知する検知パターンを設定する(図5参照)。 When the display orientation is selected so that the longitudinal direction of the broadcast user terminal 200 is the up-down direction of the display 3, the detection pattern setting unit 18 sets a detection pattern that preferentially detects the notification image NP1 in the first notification search area R1, which is the area at the top end of the longitudinal direction of the display 3 of the broadcast user terminal 200 (see Figure 2). On the other hand, when the display orientation is selected so that the lateral direction of the broadcast user terminal 200 is the up-down direction of the display 3, the detection pattern setting unit 18 sets a detection pattern that preferentially detects the notification image NP1 in the second notification search area R2, which is the area at the top end of the lateral direction of the display 3 of the broadcast user terminal 200 (see Figure 5).

[配信ユーザ端末]
配信ユーザ端末200は、ここでは上述したようにスマートフォンとして構成されており、映像配信装置100と通信可能である。配信ユーザ端末200は、物理的な構成として制御演算装置、記憶装置、入出力装置を備えている。制御演算装置は、例えばCPU等のコントローラ2により構成されており、演算処理を実行するとともに記憶装置及び入出力装置の制御を行う。記憶装置は、例えば主記憶装置及び補助記憶装置を有している。主記憶装置は、例えばRAMにより構成されている。また、補助記憶装置は、例えばROMにより構成されている。入出力装置は、例えば外部からデータを入力されて記憶装置に送信する入力装置5、及び、例えば制御演算部により演算されて記憶装置に記憶された演算結果を外部に出力するディスプレイ3等の出力装置を有している。また、配信ユーザ端末200は、配信ユーザ端末200自体の傾き(角度)を検出する角度センサ4を有している。角度センサ4としてはジャイロセンサ等の公知のセンサを用いることができる。映像配信装置100は、例えば、ROMに記憶されているプログラムをRAMに読み込み、RAMに読み込まれたプログラムをCPUにより実行することにより、所定の処理を実行する。
[Distribution user terminal]
As described above, the broadcast user terminal 200 is configured as a smartphone and is capable of communicating with the video distribution device 100. The broadcast user terminal 200 physically comprises a control and arithmetic unit, a storage device, and an input/output device. The control and arithmetic unit is configured by a controller 2 such as a CPU, which executes arithmetic processing and controls the storage device and input/output device. The storage device includes, for example, a main storage device and an auxiliary storage device. The main storage device is configured by, for example, RAM. The auxiliary storage device is configured by, for example, ROM. The input/output device includes, for example, an input device 5 that receives data from the outside and transmits it to the storage device, and an output device such as a display 3 that outputs the calculation results calculated by the control and arithmetic unit and stored in the storage device. The broadcast user terminal 200 also includes an angle sensor 4 that detects the tilt (angle) of the broadcast user terminal 200 itself. A known sensor such as a gyro sensor can be used as the angle sensor 4. The video distribution device 100, for example, executes predetermined processing by loading a program stored in ROM into RAM and executing the program loaded into RAM using the CPU.

配信ユーザ端末200のコントローラ2は、機能的には、映像表示部20、通知受信部21、映像情報送信部22、加工対象受付部23、表示方向選択部24、及び表示方向送信部25を備えている。 The controller 2 of the broadcast user terminal 200 functionally comprises a video display unit 20, a notification receiving unit 21, a video information transmitting unit 22, a processing target receiving unit 23, a display direction selecting unit 24, and a display direction transmitting unit 25.

映像表示部20は、配信ユーザ端末200のディスプレイ3に映像V1を表示させる。映像V1にはコンテンツ画像CP1が少なくとも含まれており、配信ユーザ端末200がPUSH通知等の通知を受信した場合には通知画像NP1も含まれる。通知受信部21は、PUSH通知等の通知を外部(通知を送信するアプリケーションのサーバ等)から受信する。映像情報送信部22は、映像V1に関する映像情報を映像配信装置100に逐次送信する。 The video display unit 20 displays video V1 on the display 3 of the broadcaster user terminal 200. Video V1 includes at least a content image CP1, and if the broadcaster user terminal 200 receives a notification such as a PUSH notification, it also includes a notification image NP1. The notification receiving unit 21 receives notifications such as PUSH notifications from outside (such as the server of an application that sends the notification). The video information sending unit 22 sequentially sends video information related to video V1 to the video distribution device 100.

加工対象受付部23は、例えば配信者により操作される入力装置5から、配信者によって選択された加工対象に関する情報(加工対象情報)を受け付ける。そして、加工対象受付部23は、受け付けた加工対象情報を映像配信装置100に送信する。加工対象受付部23によって受け付けられる加工対象は、例えば通知画像NP1に係る通知を配信ユーザ端末200に表示させるアプリケーションの種類、又は、通知画像NP1に記載されている言葉又は図柄等である。 The processing target receiving unit 23 receives information (processing target information) regarding the processing target selected by the distributor, for example, from the input device 5 operated by the distributor. The processing target receiving unit 23 then transmits the received processing target information to the video distribution device 100. The processing target received by the processing target receiving unit 23 is, for example, the type of application that displays a notification related to the notification image NP1 on the distributor user terminal 200, or words or designs written in the notification image NP1.

表示方向選択部24は、角度センサ4により検出された配信ユーザ端末200の傾き(角度)に応じて、配信ユーザ端末200のディスプレイ3における好適な表示方向を選択する。すなわち、配信ユーザ端末200は当該配信ユーザ端末200のディスプレイ3における映像V1の表示方向を複数の方向から選択可能であり、表示方向選択部24は、例えば配信ユーザ端末200のディスプレイ3の天地方向に応じて表示方向を設定する。配信ユーザ端末200が縦持ちされている場合には、表示方向選択部24は、配信ユーザ端末200の長手方向がディスプレイ3の上下方向となるように表示方向を選択する。この場合、図2~図4に示されるように、配信ユーザ端末200のディスプレイ3の長手方向における上端側の領域である第1通知探索領域R1に通知画像NP1が表示される。 The display direction selection unit 24 selects a suitable display direction on the display 3 of the broadcast user terminal 200 depending on the tilt (angle) of the broadcast user terminal 200 detected by the angle sensor 4. In other words, the broadcast user terminal 200 can select from multiple directions for the display direction of the image V1 on the display 3 of the broadcast user terminal 200, and the display direction selection unit 24 sets the display direction depending on, for example, the top-to-bottom orientation of the display 3 of the broadcast user terminal 200. When the broadcast user terminal 200 is held vertically, the display direction selection unit 24 selects the display direction so that the longitudinal direction of the broadcast user terminal 200 is the up-to-down direction of the display 3. In this case, as shown in Figures 2 to 4, the notification image NP1 is displayed in the first notification search area R1, which is the area at the top end of the longitudinal direction of the display 3 of the broadcast user terminal 200.

一方、図5は、横持ちされたスマートフォンにおいて、コンテンツ画像のみが表示された映像が配信されている状態を示す図である。図6は、横持ちされたスマートフォンにおいて、コンテンツ画像及び通知画像が表示された映像が配信されている状態を示す図である。図7は、横持ちされたスマートフォンにおいて、コンテンツ画像及び判読性を低下させた通知画像が表示された映像が配信されている状態を示す図である。図5~図7に示されるように、配信ユーザ端末200が横持ちされている場合には、表示方向選択部24は、配信ユーザ端末200の短手方向がディスプレイ3の上下方向となるように表示方向を選択する。この場合、配信ユーザ端末200のディスプレイ3の短手方向における上端側の領域である第2通知探索領域R2に通知画像NP1が表示される。 On the other hand, Figure 5 is a diagram showing a state in which video displaying only a content image is being distributed to a smartphone held horizontally. Figure 6 is a diagram showing a state in which video displaying a content image and a notification image is being distributed to a smartphone held horizontally. Figure 7 is a diagram showing a state in which video displaying a content image and a notification image with reduced readability is being distributed to a smartphone held horizontally. As shown in Figures 5 to 7, when the broadcaster user terminal 200 is held horizontally, the display direction selection unit 24 selects the display direction so that the widthwise direction of the broadcaster user terminal 200 is the vertical direction of the display 3. In this case, the notification image NP1 is displayed in the second notification search area R2, which is the area at the top end of the widthwise direction of the display 3 of the broadcaster user terminal 200.

図1~図4に戻り、表示方向送信部25は、表示方向選択部24により選択された表示方向に関する情報を映像配信装置100に送信する。例えば、表示方向送信部25は、映像配信装置100から表示方向を通知するよう要求する表示方向リクエストを受信したことを契機として、表示方向選択部24により選択された表示方向に関する情報を送信する。なお、表示方向送信部25は、映像配信装置100から表示方向リクエストを受信しなくても、予め設定されたタイミングで、表示方向選択部24により選択された表示方向に関する情報を送信してもよい。 Returning to Figures 1 to 4, the display direction transmission unit 25 transmits information regarding the display direction selected by the display direction selection unit 24 to the video distribution device 100. For example, the display direction transmission unit 25 transmits information regarding the display direction selected by the display direction selection unit 24 upon receiving a display direction request from the video distribution device 100 requesting notification of the display direction. Note that the display direction transmission unit 25 may also transmit information regarding the display direction selected by the display direction selection unit 24 at a preset timing, even if it does not receive a display direction request from the video distribution device 100.

[視聴ユーザ端末]
視聴ユーザ端末300は、ここでは上述したようにスマートフォンとして構成されており、映像配信装置100と通信可能である。視聴ユーザ端末300は、物理的な構成として制御演算装置、記憶装置、入出力装置を備えている。制御演算装置は、例えばCPU等のコントローラ6により構成されており、演算処理を実行するとともに記憶装置及び入出力装置の制御を行う。記憶装置は、例えば主記憶装置及び補助記憶装置を有している。主記憶装置は、例えばRAMにより構成されている。また、補助記憶装置は、例えばROMにより構成されている。入出力装置は、例えば外部からデータを入力されて記憶装置に送信する入力装置、及び、例えば制御演算部により演算されて記憶装置に記憶された演算結果を外部に出力するディスプレイ7等の出力装置を有している。視聴ユーザ端末300は、例えば、ROMに記憶されているプログラムをRAMに読み込み、RAMに読み込まれたプログラムをCPUにより実行することにより、所定の処理を実行する。
[Viewer terminal]
The viewing user terminal 300 is configured as a smartphone as described above and is capable of communicating with the video distribution device 100. The viewing user terminal 300 physically comprises a control and arithmetic unit, a storage device, and an input/output device. The control and arithmetic unit is configured by a controller 6 such as a CPU, which executes arithmetic processing and controls the storage device and the input/output device. The storage device includes, for example, a main storage device and an auxiliary storage device. The main storage device is configured by, for example, RAM. The auxiliary storage device is configured by, for example, ROM. The input/output device includes, for example, an input device that inputs data from the outside and transmits it to the storage device, and an output device such as a display 7 that outputs to the outside the results of calculations performed by the control and arithmetic unit and stored in the storage device. The viewing user terminal 300 executes predetermined processing, for example, by loading a program stored in the ROM into the RAM and executing the program loaded into the RAM using the CPU.

視聴ユーザ端末300のコントローラ6は、機能的には、映像情報受信部60及び配信映像表示部61を備えている。 The controller 6 of the viewing user terminal 300 functionally comprises a video information receiving unit 60 and a distributed video display unit 61.

映像情報受信部60は、映像配信装置100の映像情報配信部14により送信された映像V2に関する映像情報を受信する。具体的には、映像情報受信部60は、映像配信装置100の映像情報配信部14から逐次送信されてくる映像V2に関する映像情報を逐次受信する。 The video information receiving unit 60 receives video information about video V2 transmitted by the video information distribution unit 14 of the video distribution device 100. Specifically, the video information receiving unit 60 sequentially receives video information about video V2 transmitted sequentially from the video information distribution unit 14 of the video distribution device 100.

配信映像表示部61は、映像情報受信部60により受信された映像V2に関する映像情報をディスプレイ7に表示させる。映像配信装置100の通知情報検知部12により通知画像NP1に関する通知情報が検知された場合には、配信映像表示部61によりディスプレイ7に表示される映像V2は、コンテンツ画像CP1と同一のコンテンツ画像CP2、及び、通知画像NP1の判読性を低下させるように通知画像NP1に関する通知情報が加工された通知画像NP2を含む映像である。一方、映像配信装置100の通知情報検知部12により通知画像NP1に関する通知情報が検知されなかった場合には、配信映像表示部61によりディスプレイ7に表示される映像V2は、コンテンツ画像CP1と同一のコンテンツ画像CP2のみを含む映像である。 The distributed video display unit 61 displays video information about the video V2 received by the video information receiving unit 60 on the display 7. When notification information about the notification image NP1 is detected by the notification information detection unit 12 of the video distribution device 100, the video V2 displayed on the display 7 by the distributed video display unit 61 is a video including a content image CP2 identical to the content image CP1, and a notification image NP2 in which the notification information about the notification image NP1 has been processed to reduce the readability of the notification image NP1. On the other hand, when notification information about the notification image NP1 is not detected by the notification information detection unit 12 of the video distribution device 100, the video V2 displayed on the display 7 by the distributed video display unit 61 is a video including only the content image CP2 identical to the content image CP1.

[検知方法]
通知情報検知部12による通知画像NP1に関する通知情報の検知方法について説明する。図2~図7に示されるように、通知情報検知部12は、通知画像NP1の態様に応じた検知方法により、通知画像NP1に関する通知情報を検知する。
[Detection method]
The following describes a method for detecting notification information related to the notification image NP1 by the notification information detection unit 12. As shown in Figures 2 to 7, the notification information detection unit 12 detects notification information related to the notification image NP1 using a detection method that corresponds to the aspect of the notification image NP1.

通知画像NP1に関する通知情報が、通知画像NP1の画像形状に関する画像形状情報を含んでいる場合、通知情報検知部12は、画像形状情報に基づいて通知画像NP1に関する通知情報を検知してもよい。画像形状情報とは、通知画像NP1において特徴づけられた所定部分の形状である。ここでは、通知画像NP1は、縦持ちされた配信ユーザ端末200のディスプレイ3の第1通知探索領域R1に、四隅が曲線で構成された(すなわち、面取りされた)矩形状のウィンドウとして表示される。このとき、通知情報検知部12は、通知画像NP1のウィンドウの形状に関する画像形状情報に基づいて、通知画像NP1に関する通知情報を検知する。 If the notification information related to the notification image NP1 includes image shape information related to the image shape of the notification image NP1, the notification information detection unit 12 may detect the notification information related to the notification image NP1 based on the image shape information. The image shape information is the shape of a specific portion characterized in the notification image NP1. Here, the notification image NP1 is displayed as a rectangular window with curved corners (i.e., chamfered corners) in the first notification search area R1 on the display 3 of the broadcast user terminal 200 held vertically. At this time, the notification information detection unit 12 detects the notification information related to the notification image NP1 based on the image shape information related to the shape of the window of the notification image NP1.

具体的には、画像形状情報とは、通知画像NP1における予め設定された3か所(第1形状検出部位F1、第2形状検出部位F2、及び第3形状検出部位F3)の形状に関する情報であってもよい。より具体的には、通知情報検知部12は、通知画像NP1のウィンドウの四隅のうちの3か所の形状(曲線で構成された角)と形状及び相対位置が一致する画像を、通知画像NP1に関する通知情報として検知する。ここでは第1形状検出部位F1、第2形状検出部位F2、及び第3形状検出部位F3は通知画像NP1のウィンドウの四隅のうちの3か所のそれぞれであるが、第1形状検出部位F1、第2形状検出部位F2、及び第3形状検出部位F3はこれらとは別の部位(例えばウィンドウの内部の部位)であってもよい。なお、通知画像NP1のウィンドウの四隅のうちの3か所の形状(曲線で構成された角)と形状及び相対位置が一致する画像がディスプレイ3の画面表示内に存在するか否かは、映像解析部11が解析し、その解析結果に基づいて通知情報検知部12が通知画像NP1に関する通知情報を検知してもよい。このとき、映像解析部11は、配信ユーザ端末200のディスプレイ3の第1通知探索領域R1を優先的に解析してもよい。 Specifically, the image shape information may be information regarding the shapes of three pre-defined locations (first shape detection region F1, second shape detection region F2, and third shape detection region F3) in the notification image NP1. More specifically, the notification information detection unit 12 detects, as notification information related to the notification image NP1, an image whose shape and relative position match the shapes (curved corners) of three of the four corners of the window of the notification image NP1. Here, the first shape detection region F1, second shape detection region F2, and third shape detection region F3 are each one of the three of the four corners of the window of the notification image NP1, but the first shape detection region F1, second shape detection region F2, and third shape detection region F3 may be other locations (e.g., locations inside the window). The video analysis unit 11 may analyze whether there is an image on the screen of the display 3 whose shape and relative position match the shapes (curved corners) of three of the four corners of the window of the notification image NP1, and the notification information detection unit 12 may detect notification information related to the notification image NP1 based on the analysis results. At this time, the video analysis unit 11 may prioritize analysis of the first notification search area R1 on the display 3 of the broadcast user terminal 200.

通知画像NP1に関する通知情報が、通知画像NP1の画像色に関する画像色情報を含んでいる場合、通知情報検知部12は、画像色情報に基づいて通知画像NP1に関する通知情報を検知してもよい。画像色情報とは、通知画像NP1において特徴づけられた所定部分の色である。ここでは、通知画像NP1は、縦持ちされた配信ユーザ端末200のディスプレイ3の第1通知探索領域R1に、通知画像NP1に係る通知を行うアプリケーションの代表色(当該アプリケーションを特徴づける色であり、当該アプリケーションの画面等に多用される色)を含んで構成されたウィンドウとして表示される。このとき、通知情報検知部12は、通知画像NP1のウィンドウの色に関する画像色情報に基づいて、通知画像NP1に関する通知情報を検知する。 If the notification information related to the notification image NP1 includes image color information related to the image color of the notification image NP1, the notification information detection unit 12 may detect the notification information related to the notification image NP1 based on the image color information. Image color information is the color of a specific portion characterized in the notification image NP1. Here, the notification image NP1 is displayed in the first notification search area R1 on the display 3 of the broadcast user terminal 200 held vertically as a window configured to include the representative color of the application that provides the notification related to the notification image NP1 (a color that characterizes the application and is frequently used on the screen of the application, etc.). In this case, the notification information detection unit 12 detects the notification information related to the notification image NP1 based on image color information related to the window color of the notification image NP1.

具体的には、通知情報検知部12は、通知画像NP1のウィンドウの色が予め記憶されたアプリケーションの代表色と一致する画像を、通知画像NP1に関する通知情報として検知する。なお、通知画像NP1のウィンドウの色が予め記憶されたアプリケーションの代表色と一致する画像がディスプレイ3の画面表示内に存在するか否かは、映像解析部11が解析し、その解析結果に基づいて通知情報検知部12が通知画像NP1に関する通知情報を検知してもよい。このとき、映像解析部11は、配信ユーザ端末200のディスプレイ3の第1通知探索領域R1を優先的に解析してもよい。 Specifically, the notification information detection unit 12 detects an image in which the window color of the notification image NP1 matches the representative color of a pre-stored application as notification information related to the notification image NP1. The video analysis unit 11 may analyze whether an image in which the window color of the notification image NP1 matches the representative color of a pre-stored application is present on the screen display of the display 3, and the notification information detection unit 12 may detect notification information related to the notification image NP1 based on the analysis results. In this case, the video analysis unit 11 may prioritize analysis of the first notification search area R1 on the display 3 of the broadcast user terminal 200.

通知画像NP1に関する通知情報が、通知画像NP1に含まれるアイコンF4に関するアイコン情報を含んでいる場合、通知情報検知部12は、アイコン情報に基づいて通知画像NP1に関する通知情報を検知してもよい。アイコン情報とは、通知画像NP1において特徴づけられたアイコンの形状又は色等の情報である。ここでは、通知画像NP1は、縦持ちされた配信ユーザ端末200のディスプレイ3の第1通知探索領域R1に、通知画像NP1に係る通知を行うアプリケーションのアイコンF4(当該アプリケーションのアイコン)を含んで構成されたウィンドウとして表示される。このとき、通知情報検知部12は、通知画像NP1のアイコンF4に関する画像色情報に基づいて、通知画像NP1に関する通知情報を検知する。 If the notification information related to the notification image NP1 includes icon information related to the icon F4 included in the notification image NP1, the notification information detection unit 12 may detect the notification information related to the notification image NP1 based on the icon information. Icon information is information such as the shape or color of an icon characterized in the notification image NP1. Here, the notification image NP1 is displayed in the first notification search area R1 on the display 3 of the broadcast user terminal 200 held vertically as a window configured to include the icon F4 (icon of the application) of the application that provides the notification related to the notification image NP1. At this time, the notification information detection unit 12 detects the notification information related to the notification image NP1 based on the image color information related to the icon F4 of the notification image NP1.

具体的には、通知情報検知部12は、通知画像NP1に含まれるアイコンF4が予め記憶されたアプリケーションのアイコンと一致する画像を、通知画像NP1に関する通知情報として検知する。なお、通知画像NP1に含まれるアイコンF4が予め記憶されたアプリケーションのアイコンと一致する画像がディスプレイ3の画面表示内に存在するか否かは、映像解析部11が解析し、その解析結果に基づいて通知情報検知部12が通知画像NP1に関する通知情報を検知してもよい。このとき、映像解析部11は、配信ユーザ端末200のディスプレイ3の第1通知探索領域R1を優先的に解析してもよい。 Specifically, the notification information detection unit 12 detects an image in which the icon F4 included in the notification image NP1 matches the icon of a pre-stored application as notification information related to the notification image NP1. The video analysis unit 11 may analyze whether an image in which the icon F4 included in the notification image NP1 matches the icon of a pre-stored application is present on the screen display of the display 3, and the notification information detection unit 12 may detect notification information related to the notification image NP1 based on the analysis results. In this case, the video analysis unit 11 may prioritize analysis of the first notification search area R1 on the display 3 of the broadcast user terminal 200.

なお、映像配信装置100は、配信ユーザ端末200のOS(Operating System)に応じた検知方法を実行してもよい。あるいは、映像配信装置100は、配信ユーザ端末200として特定のOSを備えるものから受信した映像V1についてのみ加工してもよい。 The video distribution device 100 may execute a detection method that corresponds to the OS (Operating System) of the broadcaster user terminal 200. Alternatively, the video distribution device 100 may process only the video V1 received from a broadcaster user terminal 200 that is equipped with a specific OS.

[加工対象設定処理]
映像配信装置100において実行される加工対象設定処理について説明する。図8は、加工対象設定処理の流れを示すシーケンス図である。図8のステップS10において、配信ユーザ端末200は、加工対象受付部23により、例えば配信者により操作される入力装置5から、配信者によって選択された加工対象に関する情報(加工対象情報)を受け付ける。加工対象受付部23によって受け付けられる加工対象は、例えば通知画像NP1に係る通知を配信ユーザ端末200に表示させるアプリケーションの種類、又は、通知画像NP1に記載されている言葉又は図柄等である。その後、加工対象設定処理はステップS12に移行する。
[Processing target setting process]
The processing target setting process executed in the video distribution device 100 will now be described. FIG. 8 is a sequence diagram showing the flow of the processing target setting process. In step S10 of FIG. 8, the broadcast user terminal 200 receives, via the processing target receiving unit 23, information (processing target information) regarding the processing target selected by the broadcaster, for example, from the input device 5 operated by the broadcaster. The processing target received by the processing target receiving unit 23 is, for example, the type of application that displays a notification related to the notification image NP1 on the broadcast user terminal 200, or words or designs written in the notification image NP1. The processing target setting process then proceeds to step S12.

ステップS12において、配信ユーザ端末200は、加工対象受付部23により、受け付けた加工対象情報を映像配信装置100に送信する。その後、加工対象設定処理はステップS14に移行する。 In step S12, the broadcast user terminal 200 transmits the received processing target information to the video broadcasting device 100 via the processing target receiving unit 23. The processing target setting process then proceeds to step S14.

ステップS14において、映像配信装置100は、加工対象受信部15により、加工対象に関する情報を配信ユーザ端末200から受信する。その後、映像配信装置100は、加工対象設定部16により、加工対象受信部15により配信ユーザ端末200から受信された加工対象に関する情報に基づいて加工対象を設定する。以上により、映像配信装置100による加工対象設定処理が完了する。 In step S14, the video distribution device 100 receives information about the processing target from the broadcast user terminal 200 via the processing target receiving unit 15. The video distribution device 100 then sets the processing target via the processing target setting unit 16 based on the information about the processing target received from the broadcast user terminal 200 via the processing target receiving unit 15. This completes the processing target setting process by the video distribution device 100.

[配信処理(通知画像なし配信処理)]
映像配信装置100において実行される配信処理のうち、映像V1に通知画像NP1が含まれていない場合の配信処理(通知画像なし配信処理)について説明する。図9は、通知画像が表示されていない映像の配信処理の流れを示すシーケンス図である。図9のステップS20において、配信ユーザ端末200は、映像表示部20により、ディスプレイ3に映像V1を表示させる。ここでは、映像V1にはコンテンツ画像CP1のみが含まれており、通知画像NP1は含まれていない。続くステップS22において、配信ユーザ端末200は、映像情報送信部22により、映像V1に関する映像情報を映像配信装置100に逐次送信する。その後、通知画像なし配信処理はステップS24に移行する。
[Distribution process (distribution process without notification image)]
Among the distribution processes executed by the video distribution device 100, the distribution process when the video V1 does not include a notification image NP1 (distribution process without a notification image) will be described. FIG. 9 is a sequence diagram showing the flow of distribution process for video in which a notification image is not displayed. In step S20 of FIG. 9, the broadcast user terminal 200 causes the video display unit 20 to display the video V1 on the display 3. Here, the video V1 includes only the content image CP1, and does not include the notification image NP1. In the following step S22, the broadcast user terminal 200 sequentially transmits video information related to the video V1 to the video distribution device 100 via the video information transmission unit 22. Thereafter, the distribution process without a notification image proceeds to step S24.

ステップS24において、映像配信装置100は、映像情報取得部10により、映像配信装置100から送信された映像V1に関する映像情報を取得する。その後、映像配信装置100は、映像解析部11により、映像情報取得部10により取得された映像V1に関する映像情報に基づいて映像V1を解析する。具体的には、映像解析部11は、映像V1に関する映像情報に基づいて映像V1を解析することにより、映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれているか否かを解析する。続くステップS26において、映像配信装置100は、通知情報検知部12により、映像V1に含まれる通知画像NP1に関する通知情報を検知しない。その後、通知画像なし配信処理はステップS28に移行する。 In step S24, the video distribution device 100 acquires video information about the video V1 transmitted from the video distribution device 100 using the video information acquisition unit 10. Then, the video distribution device 100 analyzes the video V1 using the video analysis unit 11 based on the video information about the video V1 acquired by the video information acquisition unit 10. Specifically, the video analysis unit 11 analyzes the video V1 based on the video information about the video V1 to determine whether the video information about the video V1 includes notification information about the notification image NP1. In the following step S26, the video distribution device 100 detects, using the notification information detection unit 12, that notification information about the notification image NP1 included in the video V1. Then, the distribution process without a notification image proceeds to step S28.

ステップS28において、映像配信装置100は、映像情報配信部14により、映像V2に関する映像情報を視聴ユーザ端末300に送信する。具体的には、通知情報加工部13により通知画像NP1に関する通知情報の加工を行わずに、当該映像V1をそのまま映像V2として視聴ユーザ端末300に逐次送信する。その後、通知画像なし配信処理はステップS30に移行する。 In step S28, the video distribution device 100 transmits video information about video V2 to the viewer user terminal 300 via the video information distribution unit 14. Specifically, the notification information processing unit 13 does not process the notification information about the notification image NP1, and the video V1 is transmitted to the viewer user terminal 300 as video V2 without modification. Thereafter, the distribution process without a notification image proceeds to step S30.

ステップS30において、視聴ユーザ端末300は、映像情報受信部60により、映像配信装置100の映像情報配信部14により送信された映像V2に関する映像情報を受信する。具体的には、映像情報受信部60は、映像配信装置100の映像情報配信部14から逐次送信されてくる映像V2に関する映像情報を逐次受信する。その後、視聴ユーザ端末300は、配信映像表示部61により、映像情報受信部60により受信された映像V2に関する映像情報をディスプレイ7に表示させる。このとき、配信映像表示部61によりディスプレイ7に表示される映像V2は、コンテンツ画像CP1と同一のコンテンツ画像CP2のみを含む映像である。以上により、映像配信装置100による通知画像なし配信処理が完了する。 In step S30, the viewing user terminal 300 receives, via the video information receiving unit 60, video information related to video V2 transmitted by the video information distribution unit 14 of the video distribution device 100. Specifically, the video information receiving unit 60 sequentially receives video information related to video V2 transmitted sequentially from the video information distribution unit 14 of the video distribution device 100. The viewing user terminal 300 then causes the distributed video display unit 61 to display, on the display 7, the video information related to video V2 received by the video information receiving unit 60. At this time, the video V2 displayed on the display 7 by the distributed video display unit 61 is an image that includes only the content image CP2 that is identical to the content image CP1. This completes the notification image-free distribution process by the video distribution device 100.

[配信処理(通知画像あり配信処理)]
映像配信装置100において実行される配信処理のうち、映像V1に通知画像NP1が含まれている場合の配信処理(通知画像あり配信処理)について説明する。図10は、通知画像が表示されている映像の配信処理の流れを示すシーケンス図である。図10のステップS40において、配信ユーザ端末200は、映像表示部20により、ディスプレイ3に映像V1を表示させる。ステップS40の時点では、映像V1にはコンテンツ画像CP1のみが含まれており、通知画像NP1は含まれていない。その後、通知画像あり配信処理はステップS42に移行する。
[Distribution process (distribution process with notification image)]
Among the distribution processes executed by the video distribution device 100, the distribution process (distribution process with notification image) when the video V1 includes a notification image NP1 will be described. FIG. 10 is a sequence diagram showing the flow of the distribution process for video in which a notification image is displayed. In step S40 of FIG. 10, the broadcast user terminal 200 causes the video display unit 20 to display the video V1 on the display 3. At the time of step S40, the video V1 includes only the content image CP1, and does not include the notification image NP1. Thereafter, the distribution process with notification image proceeds to step S42.

ステップS42において、配信ユーザ端末200は、通知受信部21により、PUSH通知等の通知を外部から受信する。続くステップS44において、配信ユーザ端末200は、映像表示部20により、ディスプレイ3に映像V1を表示させる。ステップS42の時点では、映像V1にはコンテンツ画像CP1及び通知画像NP1の両方が含まれている。続くステップS46において、配信ユーザ端末200は、映像情報送信部22により、映像V1に関する映像情報を映像配信装置100に逐次送信する。その後、通知画像あり配信処理はステップS48に移行する。 In step S42, the broadcaster user terminal 200 receives a notification, such as a PUSH notification, from the outside via the notification receiving unit 21. In the following step S44, the broadcaster user terminal 200 causes the video display unit 20 to display video V1 on the display 3. At the time of step S42, video V1 includes both a content image CP1 and a notification image NP1. In the following step S46, the broadcaster user terminal 200 sequentially transmits video information related to video V1 to the video distribution device 100 via the video information transmission unit 22. The notification image distribution process then proceeds to step S48.

ステップS48において、映像配信装置100は、映像情報取得部10により、映像配信装置100から送信された映像V1に関する映像情報を取得する。その後、映像配信装置100は、映像解析部11により、映像情報取得部10により取得された映像V1に関する映像情報に基づいて映像V1を解析する。具体的には、映像解析部11は、映像V1に関する映像情報に基づいて映像V1を解析することにより、映像V1に関する映像情報に通知画像NP1に関する通知情報が含まれているか否かを解析する。続くステップS50において、映像配信装置100は、通知情報検知部12により、映像V1に含まれる通知画像NP1に関する通知情報を検知する。その後、通知画像あり配信処理はステップS52に移行する。 In step S48, the video distribution device 100 acquires video information about the video V1 transmitted from the video distribution device 100 using the video information acquisition unit 10. Then, the video distribution device 100 analyzes the video V1 using the video analysis unit 11 based on the video information about the video V1 acquired by the video information acquisition unit 10. Specifically, the video analysis unit 11 analyzes the video V1 based on the video information about the video V1, thereby determining whether the video information about the video V1 includes notification information about the notification image NP1. In the following step S50, the video distribution device 100 detects notification information about the notification image NP1 included in the video V1 using the notification information detection unit 12. Then, the notification image distribution process proceeds to step S52.

ステップS52において、映像配信装置100は、映像解析部11により、予め設定された期間にわたり(すなわち、予め設定された数のフレームにわたって)、映像V1の解析を停止する。その後、通知画像あり配信処理はステップS54に移行する。 In step S52, the video distribution device 100 causes the video analysis unit 11 to stop analyzing the video V1 for a predetermined period (i.e., for a predetermined number of frames). After that, the notification image distribution process proceeds to step S54.

ステップS54において、配信ユーザ端末200は、通知情報加工部13により、映像V1において通知画像NP1の判読性を低下させるように通知画像NP1に関する通知情報を加工する。画像の判読性を低下させるための具体的な態様として、ここでは、通知情報加工部13は、映像V1のうちの通知画像NP1の領域をぼかす処理を実行する。その後、通知画像あり配信処理はステップS56に移行する。 In step S54, the broadcast user terminal 200 uses the notification information processing unit 13 to process the notification information related to the notification image NP1 so as to reduce the readability of the notification image NP1 in the video V1. As a specific example of reducing the readability of the image, the notification information processing unit 13 performs a process to blur the area of the notification image NP1 in the video V1. Thereafter, the broadcast process with notification image proceeds to step S56.

ステップS56において、映像配信装置100は、映像情報配信部14により、映像V1において通知画像NP1の判読性を低下させるように加工された映像V2を視聴ユーザ端末300に送信する。その後、通知画像あり配信処理はステップS58に移行する。 In step S56, the video distribution device 100 transmits, via the video information distribution unit 14, video V2 that has been processed to reduce the readability of the notification image NP1 in video V1 to the viewer user terminal 300. The notification image distribution process then proceeds to step S58.

ステップS58において、視聴ユーザ端末300は、映像情報受信部60により、映像配信装置100の映像情報配信部14により送信された映像V2に関する映像情報を受信する。具体的には、映像情報受信部60は、映像配信装置100の映像情報配信部14から逐次送信されてくる映像V2に関する映像情報を逐次受信する。その後、視聴ユーザ端末300は、配信映像表示部61により、映像情報受信部60により受信された映像V2に関する映像情報をディスプレイ7に表示させる。このとき、配信映像表示部61によりディスプレイ7に表示される映像V2は、コンテンツ画像CP1と同一のコンテンツ画像CP2、及び、通知画像NP1の判読性を低下させるように通知画像NP1に関する通知情報が加工された通知画像NP2を含む映像である。以上により、映像配信装置100による通知画像あり配信処理が完了する。 In step S58, the viewing user terminal 300 receives, via the video information receiving unit 60, video information related to video V2 transmitted by the video information distribution unit 14 of the video distribution device 100. Specifically, the video information receiving unit 60 sequentially receives video information related to video V2 transmitted sequentially from the video information distribution unit 14 of the video distribution device 100. The viewing user terminal 300 then causes the distributed video display unit 61 to display, on the display 7, the video information related to video V2 received by the video information receiving unit 60. At this time, the video V2 displayed on the display 7 by the distributed video display unit 61 is an image including a content image CP2 identical to content image CP1, and a notification image NP2 in which notification information related to notification image NP1 has been processed to reduce the readability of notification image NP1. This completes the distribution process with notification image by the video distribution device 100.

[検知パターン設定処理]
映像配信装置100において実行される検知パターン設定処理について説明する。図11は、検知パターン設定処理の流れを示すシーケンス図である。図11のステップS60において、配信ユーザ端末200は、角度センサ4により、配信ユーザ端末200自体の傾き(角度)を検出して取得する。続くステップS62において、配信ユーザ端末200は、表示方向選択部24により、角度センサ4により検出された配信ユーザ端末200の傾き(角度)に応じて、配信ユーザ端末200のディスプレイ3における好適な表示方向を選択する。その後、検知パターン設定処理はステップS64に移行する。
[Detection pattern setting process]
The detection pattern setting process executed in the video distribution device 100 will now be described. Fig. 11 is a sequence diagram showing the flow of the detection pattern setting process. In step S60 of Fig. 11, the broadcast user terminal 200 uses the angle sensor 4 to detect and obtain the tilt (angle) of the broadcast user terminal 200 itself. In the following step S62, the broadcast user terminal 200 uses the display direction selection unit 24 to select a suitable display direction on the display 3 of the broadcast user terminal 200 in accordance with the tilt (angle) of the broadcast user terminal 200 detected by the angle sensor 4. The detection pattern setting process then proceeds to step S64.

ステップS64において、映像配信装置100は、配信ユーザ端末200に対して現在の表示方向を通知するよう要求する表示方向リクエストを送信する。続くステップS66において、配信ユーザ端末200は、表示方向送信部25により、表示方向選択部24により選択されている表示方向に関する情報を映像配信装置100に送信する。その後、検知パターン設定処理はステップS68に移行する。 In step S64, the video distribution device 100 transmits a display direction request to the broadcast user terminal 200, requesting that the broadcast user terminal 200 be notified of the current display direction. In the following step S66, the broadcast user terminal 200 transmits information regarding the display direction selected by the display direction selection unit 24 to the video distribution device 100 via the display direction transmission unit 25. The detection pattern setting process then proceeds to step S68.

ステップS68において、映像配信装置100は、表示方向選択部24により選択されている表示方向に関する情報を配信ユーザ端末200から受信する。これにより、映像配信装置100は、表示方向検知部17により、配信ユーザ端末200のディスプレイ3において選択されている映像V1の表示方向を検知する。その後、検知パターン設定処理はステップS70に移行する。 In step S68, the video distribution device 100 receives information from the broadcast user terminal 200 regarding the display direction selected by the display direction selection unit 24. As a result, the video distribution device 100 detects the display direction of the video V1 selected on the display 3 of the broadcast user terminal 200 using the display direction detection unit 17. The detection pattern setting process then proceeds to step S70.

ステップS70において、映像配信装置100は、検知パターン設定部18により、通知情報検知部12において通知画像NP1に関する通知情報を検知する検知パターンを設定する。検知パターンは、映像解析部11により映像V1のうち特に優先的に解析がされるべき領域が指定されたパターンである。具体的には、検知パターン設定部18は、表示方向検知部17により検知された配信ユーザ端末200のディスプレイ3における表示方向に応じて検知パターンを設定する。以上により、映像配信装置100による検知パターン設定処理が完了する。 In step S70, the video distribution device 100 sets, via the detection pattern setting unit 18, a detection pattern for detecting notification information related to the notification image NP1 in the notification information detection unit 12. The detection pattern is a pattern in which an area of the video V1 that should be analyzed with particular priority by the video analysis unit 11 is designated. Specifically, the detection pattern setting unit 18 sets the detection pattern according to the display orientation of the display 3 of the broadcast user terminal 200 detected by the display orientation detection unit 17. This completes the detection pattern setting process by the video distribution device 100.

[映像配信プログラム]
コンピュータを映像配信装置100として機能させるための映像配信プログラムについて説明する。映像配信プログラムは、メインモジュール、通知情報検知モジュール、及び通知情報加工モジュールを備えている。メインモジュールは、コンピュータを統括的に制御する部分である。通知情報検知モジュール及び通知情報加工モジュールのそれぞれを実行させることにより実現される機能は、上述した映像配信装置100の通知情報検知部12及び通知情報加工部13とそれぞれ同様である。これにより、映像配信プログラムは、配信ユーザ端末200のディスプレイ3に表示される映像V1をリアルタイムで視聴ユーザ端末300に配信する映像配信装置100のコンピュータを、映像V1に含まれる通知画像NP1に関する通知情報を検知する通知情報検知部12と、通知情報検知部12により通知画像NP1に関する通知情報が検知された場合に、映像V1において通知画像NP1の判読性を低下させるように通知画像NP1に関する通知情報を加工する通知情報加工部13と、として機能させることができる。
[Video Streaming Program]
A video distribution program for causing a computer to function as the video distribution device 100 will be described. The video distribution program includes a main module, a notification information detection module, and a notification information processing module. The main module is the part that controls the computer overall. The functions realized by executing the notification information detection module and the notification information processing module are similar to the notification information detection unit 12 and the notification information processing unit 13 of the video distribution device 100 described above. As a result, the video distribution program causes the computer of the video distribution device 100, which distributes the video V1 displayed on the display 3 of the broadcast user terminal 200 to the viewing user terminal 300 in real time, to function as a notification information detection unit 12 that detects notification information related to the notification image NP1 included in the video V1, and a notification information processing unit 13 that processes the notification information related to the notification image NP1 so as to reduce the readability of the notification image NP1 in the video V1 when the notification information detection unit 12 detects the notification information related to the notification image NP1.

なお、映像配信プログラムは、映像情報取得モジュール、映像解析モジュール、映像情報送信モジュール、加工対象受信モジュール、加工対象設定モジュール、表示方向検知モジュール、及び検知パターン設定モジュールを備えていてもよい。この場合、映像情報取得モジュール、映像解析モジュール、映像情報送信モジュール、加工対象受信モジュール、加工対象設定モジュール、表示方向検知モジュール、及び検知パターン設定モジュールのそれぞれを実行させることにより実現される機能は、上述した映像配信装置100の映像情報取得部10、映像解析部11、映像情報配信部14、加工対象受信部15、加工対象設定部16、表示方向検知部17、及び検知パターン設定部18とそれぞれ同様である。 The video distribution program may include a video information acquisition module, a video analysis module, a video information transmission module, a processing target receiving module, a processing target setting module, a display direction detection module, and a detection pattern setting module. In this case, the functions realized by executing the video information acquisition module, video analysis module, video information transmission module, processing target receiving module, processing target setting module, display direction detection module, and detection pattern setting module are similar to the video information acquisition unit 10, video analysis unit 11, video information distribution unit 14, processing target receiving unit 15, processing target setting unit 16, display direction detection unit 17, and detection pattern setting unit 18 of the video distribution device 100 described above, respectively.

[作用及び効果]
以上説明したように、映像配信装置100は、配信ユーザ端末200のディスプレイ3に表示される映像V1をリアルタイムで視聴ユーザ端末300に配信する映像配信装置100であって、映像V1に含まれる通知画像NP1に関する通知情報を検知する通知情報検知部12と、通知情報検知部12により通知情報が検知された場合に、映像V1において通知画像NP1の判読性を低下させるように通知情報を加工する通知情報加工部13と、を備えている。
[Action and effect]
As described above, the video distribution device 100 is a video distribution device 100 that distributes the video V1 displayed on the display 3 of the distribution user terminal 200 to the viewing user terminal 300 in real time, and is equipped with a notification information detection unit 12 that detects notification information regarding the notification image NP1 included in the video V1, and a notification information processing unit 13 that, when notification information is detected by the notification information detection unit 12, processes the notification information so as to reduce the readability of the notification image NP1 in the video V1.

また、映像配信プログラムは、配信ユーザ端末200のディスプレイ3に表示される映像V1をリアルタイムで視聴ユーザ端末300に配信する映像配信装置100のコンピュータを、映像V1に含まれる通知画像NP1に関する通知情報を検知する通知情報検知部12と、通知情報検知部12により通知情報が検知された場合に、映像V1において通知画像NP1の判読性を低下させるように通知情報を加工する通知情報加工部13として機能させる。 The video distribution program also causes the computer of the video distribution device 100, which distributes the video V1 displayed on the display 3 of the distribution user terminal 200 to the viewing user terminal 300 in real time, to function as a notification information detection unit 12 that detects notification information regarding the notification image NP1 included in the video V1, and a notification information processing unit 13 that processes the notification information so as to reduce the readability of the notification image NP1 in the video V1 when notification information is detected by the notification information detection unit 12.

映像配信装置100又は映像配信プログラムにより、配信ユーザ端末200のディスプレイ3に表示される映像V1に通知画像NP1が含まれる場合であっても、映像V1がリアルタイムで視聴ユーザ端末300に配信される際に当該通知画像NP1の判読性を低下させることができるため、通知画像NP1の内容が視聴者に知得されにくくなる。したがって、この映像配信装置100又は映像配信プログラムは、配信者に関する情報が意に反して公開されることを抑制することができる。 Even if the video V1 displayed on the display 3 of the broadcaster user terminal 200 includes a notification image NP1, the video broadcasting device 100 or video broadcasting program can reduce the readability of the notification image NP1 when the video V1 is broadcast in real time to the viewer user terminal 300, making it difficult for viewers to discern the contents of the notification image NP1. Therefore, this video broadcasting device 100 or video broadcasting program can prevent information about the broadcaster from being made public against their will.

映像配信装置100は、配信ユーザ端末200及び視聴ユーザ端末300のそれぞれと通信可能なサーバとして構成されている。これにより、配信ユーザ端末200又は視聴ユーザ端末300により種々の処理を実行する場合と比較して、配信ユーザ端末200又は視聴ユーザ端末300の処理負荷を低減させることができる。 The video distribution device 100 is configured as a server capable of communicating with both the broadcast user terminal 200 and the viewer user terminal 300. This reduces the processing load on the broadcast user terminal 200 or the viewer user terminal 300 compared to when various processes are performed by the broadcast user terminal 200 or the viewer user terminal 300.

映像配信装置100は、映像V1に関する映像情報を取得する映像情報取得部10を備え、通知情報検知部12は、映像情報取得部10により取得された映像情報に基づいて通知情報を検知する。これにより、映像配信装置100の作用及び効果を好適に奏することができる。 The video distribution device 100 includes a video information acquisition unit 10 that acquires video information related to video V1, and a notification information detection unit 12 that detects notification information based on the video information acquired by the video information acquisition unit 10. This allows the functions and effects of the video distribution device 100 to be optimally achieved.

映像配信装置100は、映像情報取得部10により取得された映像情報に基づいて映像V1を解析する映像解析部11を備え、通知情報検知部12は、映像解析部11により映像V1が解析された解析結果に基づいて通知情報を検知する。これにより、別個の装置等により解析が行われるのではなく、本装置が映像V1を解析することで通知情報を検知する。このため、別個の装置等の性能に左右されずに、映像V1の解析及び通知情報の検知を行うことができる。 The video distribution device 100 includes a video analysis unit 11 that analyzes the video V1 based on the video information acquired by the video information acquisition unit 10, and a notification information detection unit 12 that detects notification information based on the analysis results of the video V1 by the video analysis unit 11. As a result, the device detects notification information by analyzing the video V1, rather than analysis being performed by a separate device, etc. This allows analysis of the video V1 and detection of notification information to be performed without being affected by the performance of a separate device, etc.

映像配信装置100では、映像解析部11は、映像V1のうちの一部を解析する。これにより、映像V1の全部を解析する場合と比較して、映像配信装置100の処理負荷を低減させることができる。 In the video distribution device 100, the video analysis unit 11 analyzes a portion of the video V1. This reduces the processing load on the video distribution device 100 compared to analyzing the entire video V1.

映像配信装置100では、映像解析部11は、互いに時間間隔を空けた複数のタイミングにおいて映像V1を解析する。通知画像NP1は配信ユーザ端末200にある程度の時間にわたって表示され続けるため、互いに時間間隔を空けない連続したタイミングにおいて映像V1を解析しても、それらの解析結果は互いに同じである可能性が高い。したがって、互いに時間間隔を空けない連続したタイミングにおいて映像V1を解析した場合と比較して、互いに時間間隔を空けた複数のタイミングにおいて映像V1を解析しても解析精度は低下しにくい。一方で、互いに時間間隔を空けた複数のタイミングにおいて映像V1を解析することにより、映像V1の全部を解析する必要がなくなるため、映像配信装置100の処理負荷を低減させることができる。よって、映像配信装置100の処理負荷を低減させつ、解析精度の低下を抑制することができる。 In the video distribution device 100, the video analysis unit 11 analyzes the video V1 at multiple timings spaced apart by a time interval. Because the notification image NP1 continues to be displayed on the distribution user terminal 200 for a certain period of time, even if the video V1 is analyzed at successive timings with no time interval between them, the analysis results are likely to be the same. Therefore, compared to analyzing the video V1 at successive timings with no time interval between them, analyzing the video V1 at multiple timings spaced apart by a time interval is less likely to result in a decrease in analysis accuracy. On the other hand, by analyzing the video V1 at multiple timings spaced apart by a time interval between them, it is not necessary to analyze the entire video V1, thereby reducing the processing load on the video distribution device 100. Therefore, it is possible to reduce the processing load on the video distribution device 100 while suppressing a decrease in analysis accuracy.

映像配信装置100では、映像解析部11は、通知情報検知部12により通知情報が検知された場合に、予め設定された期間にわたり映像V1を解析しない。通知画像NP1は配信ユーザ端末200にある程度の時間にわたって表示され続けるため、通知情報が検知された直後も引き続き通知情報が検知され続けている可能性が高い。したがって、通知情報が検知された直後は映像V1の解析を停止することにより、映像配信装置100の処理負荷を低減させることができる。 In the video distribution device 100, when notification information is detected by the notification information detection unit 12, the video analysis unit 11 does not analyze the video V1 for a preset period of time. Because the notification image NP1 continues to be displayed on the broadcast user terminal 200 for a certain period of time, there is a high possibility that the notification information will continue to be detected even immediately after it is detected. Therefore, by stopping the analysis of the video V1 immediately after the notification information is detected, the processing load on the video distribution device 100 can be reduced.

映像配信装置100では、通知情報は、通知画像NP1の画像形状に関する画像形状情報を含み、通知情報検知部12は、画像形状情報に基づいて通知情報を検知する。すなわち、この装置は、映像V1において通知画像NP1に特徴的な画像形状が検出された場合に通知情報を検知する。これにより、映像配信装置100の作用及び効果を好適に奏することができる。 In the video distribution device 100, the notification information includes image shape information regarding the image shape of the notification image NP1, and the notification information detection unit 12 detects the notification information based on the image shape information. In other words, this device detects the notification information when a characteristic image shape of the notification image NP1 is detected in the video V1. This allows the functions and effects of the video distribution device 100 to be optimally achieved.

映像配信装置100では、画像形状情報は、通知画像NP1における予め設定された3か所の形状に関する情報である。これにより、画像形状情報に基づいて通知情報を検知する場合に、精度良く通知情報を検知可能であり、且つ、映像配信装置100の処理負荷を低減させることができる。 In the video distribution device 100, the image shape information is information about the shapes of three preset locations on the notification image NP1. This makes it possible to accurately detect notification information when detecting it based on the image shape information, while also reducing the processing load on the video distribution device 100.

映像配信装置100では、通知情報は、通知画像NP1の画像色に関する画像色情報を含み、通知情報検知部12は、画像色情報に基づいて通知情報を検知する。すなわち、通知画像NP1をディスプレイ3に表示させるアプリケーションごとに画像色が決められている場合があり、この装置は、映像V1において通知画像NP1に当該画像色が検出された場合に通知情報を検知する。これにより、映像配信装置100の作用及び効果を好適に奏することができる。 In the video distribution device 100, the notification information includes image color information regarding the image color of the notification image NP1, and the notification information detection unit 12 detects the notification information based on the image color information. In other words, an image color may be determined for each application that displays the notification image NP1 on the display 3, and this device detects the notification information when that image color is detected in the notification image NP1 in the video V1. This allows the functions and effects of the video distribution device 100 to be optimally achieved.

映像配信装置100では、通知情報は、通知画像NP1に含まれるアイコンF4に関するアイコン情報を含み、通知情報検知部12は、アイコン情報に基づいて通知情報を検知する。すなわち、通知画像NP1をディスプレイ3に表示させるアプリケーションごとにアイコンF4が決められている場合があり、この装置は、映像V1において通知画像NP1に当該アイコンF4が検出された場合に通知情報を検知する。これにより、映像配信装置100の作用及び効果を好適に奏することができる。 In the video distribution device 100, the notification information includes icon information related to the icon F4 included in the notification image NP1, and the notification information detection unit 12 detects the notification information based on the icon information. That is, an icon F4 may be assigned to each application that displays the notification image NP1 on the display 3, and the device detects the notification information when the icon F4 is detected in the notification image NP1 in the video V1. This allows the functions and effects of the video distribution device 100 to be optimally achieved.

映像配信装置100では、通知情報加工部13により通知情報を加工すべき通知画像NP1の内容である加工対象に関する情報を、配信ユーザ端末200から受信する加工対象受信部15と、加工対象受信部15により配信ユーザ端末200から受信された加工対象に関する情報に基づいて加工対象を設定する加工対象設定部16と、を備えている。これにより、配信者の希望に応じて、視聴者に公開しない通知画像NP1の内容及び公開する通知画像NP1の内容をそれぞれ指定することが可能となる。 The video distribution device 100 is equipped with a processing target receiving unit 15 that receives information about the processing target, which is the content of the notification image NP1 for which the notification information processing unit 13 should process the notification information, from the broadcaster user terminal 200, and a processing target setting unit 16 that sets the processing target based on the information about the processing target received from the broadcaster user terminal 200 by the processing target receiving unit 15. This makes it possible to specify the content of the notification image NP1 that will not be made public to viewers and the content of the notification image NP1 that will be made public, depending on the broadcaster's wishes.

映像配信装置100では、配信ユーザ端末200は、当該配信ユーザ端末200のディスプレイ3における映像V1の表示方向を複数の方向から選択可能であり、配信ユーザ端末200のディスプレイ3において選択されている映像V1の表示方向を検知する表示方向検知部17を備え、通知情報検知部12は、表示方向検知部17により検出された表示方向に応じた検知パターンにより通知情報を検知する。一般に、ディスプレイ3において選択されている映像V1の表示方向によって、映像V1に表示される通知画像NP1の位置・大きさ・形状といった態様が異なる場合がある。したがって、映像V1の表示方向に応じて最適化された検知パターンにより通知情報を検知することが効率的である。したがって、これにより、通知情報を効率良く検知することができる。 In the video distribution device 100, the broadcaster user terminal 200 can select from multiple directions for the display direction of the video V1 on the display 3 of the broadcaster user terminal 200, and is equipped with a display direction detection unit 17 that detects the display direction of the video V1 selected on the display 3 of the broadcaster user terminal 200, and the notification information detection unit 12 detects notification information using a detection pattern corresponding to the display direction detected by the display direction detection unit 17. Generally, the position, size, shape, and other aspects of the notification image NP1 displayed on the video V1 may differ depending on the display direction of the video V1 selected on the display 3. Therefore, it is efficient to detect notification information using a detection pattern optimized for the display direction of the video V1. This allows for efficient detection of notification information.

映像配信装置100は、映像V1を視聴ユーザ端末300等の外部に配信する映像情報配信部14を備えている。これにより、通知画像NP1の判読性を低下させた映像V1を視聴ユーザ端末300に配信することができるため、映像配信装置100の作用及び効果を好適に奏することができる。 The video distribution device 100 is equipped with a video information distribution unit 14 that distributes the video V1 to an external device such as a viewer user terminal 300. This allows the video V1, in which the readability of the notification image NP1 has been reduced, to be distributed to the viewer user terminal 300, thereby optimally achieving the functions and effects of the video distribution device 100.

[変形例]
上述した実施形態は、当業者の知識に基づいて変更又は改良が施された様々な形態により実施可能である。
[Modification]
The above-described embodiment can be implemented in various forms with modifications or improvements made based on the knowledge of those skilled in the art.

例えば、上述した実施形態において映像配信装置100は単一のサーバとして構成されているが、映像配信装置100は、複数のサーバに機能が分散されて構成されていてもよい。あるいは、映像配信装置100は、1又は複数のサーバに加えて、別個の装置を含んで構成されていてもよい。換言すると、映像配信装置100は、配信ユーザ端末200及び視聴ユーザ端末300のそれぞれと通信可能なサーバを含んで構成されていてもよい。映像配信装置100において、機能の一部が配信ユーザ端末200又は視聴ユーザ端末300において実現されていてもよい。あるいは、映像配信装置100において、機能の全部が配信ユーザ端末200又は視聴ユーザ端末300において実現されていてもよい。これらの場合であっても、映像配信装置100は映像配信システムとして、上述した映像配信装置100と同様の作用及び効果を奏する。 For example, while in the above-described embodiment the video distribution device 100 is configured as a single server, the video distribution device 100 may be configured with its functions distributed across multiple servers. Alternatively, the video distribution device 100 may be configured to include separate devices in addition to one or more servers. In other words, the video distribution device 100 may be configured to include a server that can communicate with both the broadcast user terminal 200 and the viewer user terminal 300. In the video distribution device 100, some of the functions may be implemented in the broadcast user terminal 200 or the viewer user terminal 300. Alternatively, in the video distribution device 100, all of the functions may be implemented in the broadcast user terminal 200 or the viewer user terminal 300. Even in these cases, the video distribution device 100, as a video distribution system, will achieve the same effects and advantages as the video distribution device 100 described above.

また、映像配信装置100は、映像情報取得部10により取得された映像V1を録画する機能を備えていてもよい。つまり、映像配信装置100は、取得した映像V1を不揮発性の記憶装置に記憶させてもよい。 The video distribution device 100 may also have a function for recording the video V1 acquired by the video information acquisition unit 10. In other words, the video distribution device 100 may store the acquired video V1 in a non-volatile storage device.

3 ディスプレイ
10 映像情報取得部
11 映像解析部
12 通知情報検知部
13 通知情報加工部
14 映像情報配信部
15 加工対象受信部
16 加工対象設定部
17 表示方向検知部
100 映像配信装置
200 配信ユーザ端末
300 視聴ユーザ端末
CP1 コンテンツ画像
F4 アイコン
NP1 通知画像
V1 映像
3 Display 10 Video information acquisition unit 11 Video analysis unit 12 Notification information detection unit 13 Notification information processing unit 14 Video information distribution unit 15 Processing target reception unit 16 Processing target setting unit 17 Display direction detection unit 100 Video distribution device 200 Distribution user terminal 300 Viewing user terminal CP1 Content image F4 Icon NP1 Notification image V1 Video

Claims (2)

配信ユーザ端末と、
前記配信ユーザ端末のディスプレイにアプリケーションによって表示される映像をリアルタイムで視聴ユーザ端末に配信する映像配信装置と、を備え、
前記配信ユーザ端末は、前記アプリケーションとは異なるアプリケーションのサーバであって前記映像配信装置とは異なる前記サーバから通知画像を受信したことに応じて、前記通知画像を前記映像に重畳して表示し、
前記映像配信装置は、
前記配信ユーザ端末で表示されている前記映像に関する情報であって前記配信ユーザ端末から送信された映像情報を取得する映像情報取得部と、
前記配信ユーザ端末が前記サーバから受信して前記映像に重畳して表示した前記通知画像に関する通知情報を、前記映像情報に基づいて検知する通知情報検知部と、
前記通知情報検知部により前記通知情報が検知された場合に、前記視聴ユーザ端末に配信される前記映像において前記通知画像の判読性を低下させるように前記通知情報を加工する通知情報加工部と、を備える、映像配信システム。
A distribution user terminal;
a video distribution device that distributes video displayed by an application on a display of the distribution user terminal to a viewing user terminal in real time;
the broadcast user terminal, in response to receiving a notification image from a server of an application different from the application and different from the video broadcasting device, displays the notification image superimposed on the video;
The video distribution device is
a video information acquisition unit that acquires video information transmitted from the broadcast user terminal, the video information being information about the video being displayed on the broadcast user terminal;
a notification information detection unit that detects, based on the video information, notification information regarding the notification image that the broadcast user terminal has received from the server and displayed superimposed on the video;
A video distribution system comprising: a notification information processing unit that processes the notification information so as to reduce the readability of the notification image in the video distributed to the viewing user terminal when the notification information is detected by the notification information detection unit.
配信ユーザ端末のディスプレイにアプリケーションによって表示される映像を映像配信装置がリアルタイムで視聴ユーザ端末に配信するステップと、
前記配信ユーザ端末が、前記アプリケーションとは異なるアプリケーションのサーバであって前記映像配信装置とは異なる前記サーバから通知画像を受信したことに応じて、前記通知画像を前記映像に重畳して表示するステップと、
前記配信ユーザ端末が前記サーバから受信して前記映像に重畳して表示した前記通知画像に関する通知情報を、前記配信ユーザ端末で表示されている前記映像に関する情報であって前記配信ユーザ端末から送信された映像情報に基づいて前記映像配信装置が検知するステップと、
前記通知情報が検知された場合に、前記視聴ユーザ端末に配信される前記映像において前記通知画像の判読性を低下させるように前記通知情報を加工するステップと、を備える、映像配信方法。
a step in which the video distribution device distributes the video displayed by the application on the display of the distribution user terminal to the viewing user terminal in real time;
a step in which the broadcast user terminal displays a notification image superimposed on the video in response to receiving the notification image from a server of an application different from the application and different from the video broadcasting device;
a step in which the video distribution device detects notification information regarding the notification image that the broadcast user terminal has received from the server and displayed superimposed on the video, based on video information that is information regarding the video displayed on the broadcast user terminal and transmitted from the broadcast user terminal ;
When the notification information is detected, the notification information is processed so as to reduce the readability of the notification image in the video delivered to the viewing user terminal.
JP2024217070A 2020-08-27 2024-12-11 Video distribution system and video distribution method Active JP7730601B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024217070A JP7730601B2 (en) 2020-08-27 2024-12-11 Video distribution system and video distribution method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020143454A JP7633641B2 (en) 2020-08-27 2020-08-27 Video distribution device and video distribution program
JP2024217070A JP7730601B2 (en) 2020-08-27 2024-12-11 Video distribution system and video distribution method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020143454A Division JP7633641B2 (en) 2020-08-27 2020-08-27 Video distribution device and video distribution program

Publications (2)

Publication Number Publication Date
JP2025036448A JP2025036448A (en) 2025-03-14
JP7730601B2 true JP7730601B2 (en) 2025-08-28

Family

ID=80498070

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020143454A Active JP7633641B2 (en) 2020-08-27 2020-08-27 Video distribution device and video distribution program
JP2024217070A Active JP7730601B2 (en) 2020-08-27 2024-12-11 Video distribution system and video distribution method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020143454A Active JP7633641B2 (en) 2020-08-27 2020-08-27 Video distribution device and video distribution program

Country Status (1)

Country Link
JP (2) JP7633641B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021775A (en) 2016-04-20 2017-01-26 株式会社 ディー・エヌ・エー System, method and program for distributing output screen of terminal device
JP2019097888A (en) 2017-12-01 2019-06-24 株式会社ソニー・インタラクティブエンタテインメント Information processor and game image distribution method
US20190245819A1 (en) 2016-03-03 2019-08-08 Genband Us Llc System and method for blocking notification messages during screen sharing
US20200077150A1 (en) 2018-08-28 2020-03-05 International Business Machines Corporation Filtering Images of Live Stream Content

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6058978B2 (en) 2012-11-19 2017-01-11 サターン ライセンシング エルエルシーSaturn Licensing LLC Image processing apparatus, image processing method, photographing apparatus, and computer program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190245819A1 (en) 2016-03-03 2019-08-08 Genband Us Llc System and method for blocking notification messages during screen sharing
JP2017021775A (en) 2016-04-20 2017-01-26 株式会社 ディー・エヌ・エー System, method and program for distributing output screen of terminal device
JP2019097888A (en) 2017-12-01 2019-06-24 株式会社ソニー・インタラクティブエンタテインメント Information processor and game image distribution method
US20200077150A1 (en) 2018-08-28 2020-03-05 International Business Machines Corporation Filtering Images of Live Stream Content

Also Published As

Publication number Publication date
JP2025036448A (en) 2025-03-14
JP2022038790A (en) 2022-03-10
JP7633641B2 (en) 2025-02-20

Similar Documents

Publication Publication Date Title
US12301900B1 (en) Systems and methods for content display using a network
US9892716B2 (en) Image display program, image display method, and image display system
US10210845B2 (en) Method and apparatus for compensating for variable refresh rate display range limitations
US9025927B2 (en) Systems and methods of variable frame rate playback
KR101965746B1 (en) Server and method for streaming virtual reality contents
KR102126987B1 (en) Displaying applications on a fixed orientation display
US6563506B1 (en) Method and apparatus for memory bandwith allocation and control in a video graphics system
US20230254534A1 (en) Systems and methods for adaptively modifying presentation of media content
CN113889049A (en) Image display method, display terminal and readable storage medium
JP7730601B2 (en) Video distribution system and video distribution method
US10212316B2 (en) Video processing apparatus
CN115129279B (en) Image drawing method, image drawing device, electronic equipment and computer storage medium
CN106910448B (en) Display screen refresh rate control method and system based on mobile terminal
US12190411B2 (en) Display device, display method, and non-transitory storage medium
CN116996639B (en) Screen-projection frame rate acquisition method and device, computer equipment and storage medium
US6774918B1 (en) Video overlay processor with reduced memory and bus performance requirements
CN118413745A (en) Method, device, equipment and storage medium for playing panoramic video
JP7609803B2 (en) Signal processing device, image display device, and signal processing method
US20150138242A1 (en) Apparatus and method of reproducing multi image
US20190057636A1 (en) Method of displaying frame rate
US20250284449A1 (en) Method for displaying casted content on split window and circuit system
US20210067709A1 (en) Information processing method and electronic apparatus
JP5496043B2 (en) Display control apparatus and display control method
CN118433441A (en) Image refreshing method, device, computer equipment and storage medium
CN116996655A (en) Control method of head-mounted display device, head-mounted display device and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241211

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20241213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250808

R150 Certificate of patent or registration of utility model

Ref document number: 7730601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150