Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7631755B2 - VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD - Google Patents
[go: Go Back, main page]

JP7631755B2 - VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD - Google Patents

VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD Download PDF

Info

Publication number
JP7631755B2
JP7631755B2 JP2020194925A JP2020194925A JP7631755B2 JP 7631755 B2 JP7631755 B2 JP 7631755B2 JP 2020194925 A JP2020194925 A JP 2020194925A JP 2020194925 A JP2020194925 A JP 2020194925A JP 7631755 B2 JP7631755 B2 JP 7631755B2
Authority
JP
Japan
Prior art keywords
icon
unit
video
image
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020194925A
Other languages
Japanese (ja)
Other versions
JP2022083548A (en
Inventor
智紀 角
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2020194925A priority Critical patent/JP7631755B2/en
Publication of JP2022083548A publication Critical patent/JP2022083548A/en
Application granted granted Critical
Publication of JP7631755B2 publication Critical patent/JP7631755B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、映像通信装置、および映像表示方法に関する。 The present invention relates to a video communication device and a video display method.

ネットワークを介して、遠隔地の相手と会議等を行うことができるWEB会議装置が知られている(例えば、特許文献1)。 There is a known web conferencing device that allows users to hold conferences with people in remote locations via a network (for example, see Patent Document 1).

特開2018-93315号公報JP 2018-93315 A

WEB会議装置は、ユーザの顔の方向を撮影した映像を参加者が共有することができるが、必要に応じてカメラ機能をオフにして利用することがある。例えば、多人数でのWEB会議などでは、発話者以外のカメラ機能をオフにすることもある。このような場合、発話者は、他のユーザの表情などが確認できず、発話内容に対する反応が把握できないことから、コミュニケーションが円滑に行えない場合もある。 Web conferencing devices allow participants to share video captured in the direction of the user's face, but the camera function may be turned off as necessary. For example, in a multi-person web conference, the camera function may be turned off for everyone except the speaker. In such cases, the speaker may not be able to see the facial expressions of other users and may not be able to understand their reactions to what they are saying, which may hinder smooth communication.

本発明は、カメラ映像を表示せずとも、円滑なコミュニケーションを行うことができる映像通信装置、および映像表示方法を提供することを目的とする。 The present invention aims to provide a video communication device and a video display method that enable smooth communication without displaying camera images.

本発明に係る映像通信装置は、カメラが撮影した映像を取得する映像取得部と、前記映像の送信を制限する操作を受け付ける操作制御部と、前記映像取得部が取得した映像から人物を認識し、認識した人物の動作または表情を分析する分析部と、前記分析部の分析結果を反映したアイコンを生成するアイコン生成部と、前記映像取得部が取得した映像を送信し、前記操作制御部が前記映像の送信を制限する操作を受けた場合、前記映像に代えて前記アイコン生成部が生成したアイコンを他端末に送信する通信部と、を備える。 The video communication device according to the present invention includes a video acquisition unit that acquires video captured by a camera, an operation control unit that receives an operation to restrict transmission of the video, an analysis unit that recognizes a person from the video acquired by the video acquisition unit and analyzes the actions or facial expressions of the recognized person, an icon generation unit that generates an icon that reflects the analysis results of the analysis unit, and a communication unit that transmits the video acquired by the video acquisition unit and transmits the icon generated by the icon generation unit instead of the video to another terminal when the operation control unit receives an operation to restrict transmission of the video.

本発明に係る映像表示方法は、カメラが撮影した映像を取得するステップと、前記カメラから取得した映像から人物を認識し、認識した人物の動作または表情を分析するステップと、認識した人物の動作または表情の分析結果を反映したアイコンを生成するステップと、前記カメラから取得した映像を送信し、前記映像の送信を制限する操作を受けた場合、前記映像に代えて認識した人物の動作または表情の分析結果を反映したアイコンを他端末に送信するステップと、を、映像通信装置が実行する。 The video display method of the present invention is performed by a video communication device, which performs the following steps: acquiring video captured by a camera; recognizing a person from the video acquired from the camera and analyzing the recognized person's actions or facial expressions; generating an icon reflecting the analysis results of the recognized person's actions or facial expressions; and transmitting the video acquired from the camera, and when an operation to restrict the transmission of the video is received, transmitting to another terminal an icon reflecting the analysis results of the recognized person's actions or facial expressions instead of the video.

本発明によれば、カメラ映像を表示せずとも、円滑なコミュニケーションを行うことができる。 According to the present invention, smooth communication can be carried out without displaying camera images.

図1は、第一実施形態に係る映像通信装置の構成例を示すブロック図である。FIG. 1 is a block diagram showing an example of the configuration of a video communication device according to the first embodiment. 図2は、第一実施形態に係る表示映像の一例を説明するための図である。FIG. 2 is a diagram illustrating an example of a display image according to the first embodiment. 図3は、第一実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。FIG. 3 is a flowchart showing an example of a process flow of the video communication device according to the first embodiment. 図4は、通信制御部が、他の映像通信装置に送信する映像を説明するための図である。FIG. 4 is a diagram for explaining a video that the communication control unit transmits to another video communication device. 図5は、通信制御部が、他の映像通信装置に送信する通常のアイコンを説明するための図である。FIG. 5 is a diagram for explaining a normal icon that the communication control unit transmits to another video communication device. 図6は、第一実施形態に係るアイコン生成部が生成するアイコンの一例を説明するための図である。FIG. 6 is a diagram for explaining an example of an icon generated by the icon generating unit according to the first embodiment. 図7は、第一実施形態に係るアイコン生成部が生成するアイコンの一例を説明するための図である。FIG. 7 is a diagram for explaining an example of an icon generated by the icon generating unit according to the first embodiment. 図8は、第一実施形態に係るアイコン生成部が生成するアイコンの一例を説明するための図である。FIG. 8 is a diagram for explaining an example of an icon generated by the icon generating unit according to the first embodiment. 図9は、第一実施形態に係るアイコン生成部が生成するアイコンの一例を説明するための図である。FIG. 9 is a diagram for explaining an example of an icon generated by the icon generating unit according to the first embodiment. 図10は、頷き動作を反映させたアイコンを送信する方法を説明するための図である。FIG. 10 is a diagram for explaining a method of transmitting an icon reflecting a nodding action. 図11は、顔を横に振る動作を反映させたアイコンを送信する方法を説明するための図である。FIG. 11 is a diagram for explaining a method of transmitting an icon reflecting a head shaking action. 図12は、第二実施形態に係る映像通信装置の構成を説明するための図である。FIG. 12 is a diagram for explaining the configuration of a video communication device according to the second embodiment. 図13は、第二実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。FIG. 13 is a flowchart showing an example of a process flow of the video communication device according to the second embodiment.

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。 The following describes in detail an embodiment of the present invention with reference to the drawings. Note that the present invention is not limited to the embodiment described below.

[第一実施形態]
図1を用いて、第一実施形態に係る映像通信装置について説明する。図1は、第一実施形態に係る映像通信装置の構成例を示すブロック図である。
[First embodiment]
A video communication device according to the first embodiment will be described with reference to Fig. 1. Fig. 1 is a block diagram showing an example of the configuration of a video communication device according to the first embodiment.

図1に示すように、映像通信装置10は、カメラ12と、マイクロフォン14と、操作受付部16と、通信部18と、表示部20と、音声出力部22と、制御部(映像通信制御装置)24と、を備える。映像通信装置10は、例えば、PC(Personal Computer)、スマートフォン、タブレット端末など、映像を表示する表示画面と、表示画面の近傍に表示画面と同じ方向を向いたカメラが備えられている装置である。映像通信装置10は、例えば、WEB会議などに用いられることで、WEB会議の参加者間で映像と音声を用いたコミュニケーションを行うことのできる装置である。 As shown in FIG. 1, video communication device 10 includes a camera 12, a microphone 14, an operation reception unit 16, a communication unit 18, a display unit 20, an audio output unit 22, and a control unit (video communication control device) 24. Video communication device 10 is a device such as a PC (Personal Computer), a smartphone, or a tablet terminal that includes a display screen for displaying video and a camera located near the display screen and facing in the same direction as the display screen. Video communication device 10 is a device that can be used, for example, in a web conference, allowing participants in the web conference to communicate using video and audio.

カメラ12は、映像通信装置10の周辺を撮像する。カメラ12は、例えば、表示部20が向いている方向を撮像するように配置されている。カメラ12は、所定のフレームレートで、時系列で連続した映像、所謂動画像を撮像する。カメラ12は、撮像した映像を映像取得部30に出力する。カメラ12は、映像通信装置10に接続される外部カメラであってもよい。 The camera 12 captures images of the periphery of the video communication device 10. The camera 12 is positioned so as to capture images in the direction in which the display unit 20 is facing, for example. The camera 12 captures continuous images in time series, so-called moving images, at a predetermined frame rate. The camera 12 outputs the captured images to the image acquisition unit 30. The camera 12 may be an external camera connected to the video communication device 10.

マイクロフォン14は、映像通信装置10の周辺の音声を収音する。マイクロフォン14は、マイクロフォン14に向かって発話している人物の音声を収音する。マイクロフォン14は、収音した音声を音声取得部32に出力する。マイクロフォン14は、映像通信装置10に接続される外部のマイクロフォンであってもよい。 The microphone 14 picks up sounds around the video communication device 10. The microphone 14 picks up the sound of a person speaking into the microphone 14. The microphone 14 outputs the picked up sound to the sound acquisition unit 32. The microphone 14 may be an external microphone connected to the video communication device 10.

操作受付部16は、ユーザの操作によって映像通信装置10に対する各種操作を受け付ける。操作受付部16は、例えば、ユーザなどから、他の映像通信装置に対する映像の送信を制限するための操作を受け付ける。操作受付部16は、例えば、タッチパネル、スイッチ、ボタンなどを含み得る。操作受付部16は、ユーザなどから受け付けた操作に関する操作情報を操作制御部34に出力する。 The operation reception unit 16 receives various operations on the video communication device 10 through user operations. The operation reception unit 16 receives, for example, an operation from a user to restrict the transmission of video to other video communication devices. The operation reception unit 16 may include, for example, a touch panel, a switch, a button, etc. The operation reception unit 16 outputs operation information related to the operation received from the user, etc. to the operation control unit 34.

通信部18は、有線または無線で図示しないインターネット網などの通信網に接続されている。通信部18は、通信網を介して、他の外部装置と情報の送受信を行う。通信部18は、例えば、他の映像通信装置と情報の送受信を行う。通信部18は、例えば、カメラ12が撮影した映像およびマイクロフォン14が収音した音声を、他の映像通信装置に送信する。通信部18は、例えば、他の映像通信装置のカメラが撮影した映像およびマイクロフォンが収音した音声を受信する。通信部18は、例えば、他の映像通信装置から、他の映像通信装置のカメラが撮影した映像を制限する情報を受信する。以下の説明において、通信部18が、他の映像通信装置に映像等を送信すると記載された場合は、通信部18が、他の映像通信装置が接続され、通信部18が送信した映像等を他の映像通信装置が参照することができる外部のサーバなどに映像等を送信することも含む。また、通信部18が、他の映像通信装置から映像等を受信すると記載された場合は、通信部18が、他の映像通信装置が接続され、他の映像通信装置が送信した映像等を参照することができる外部のサーバなどから映像等を受信することも含む。 The communication unit 18 is connected to a communication network such as the Internet (not shown) by wire or wirelessly. The communication unit 18 transmits and receives information to and from other external devices via the communication network. The communication unit 18 transmits and receives information to and from, for example, other video communication devices. The communication unit 18 transmits, for example, video captured by the camera 12 and audio picked up by the microphone 14 to the other video communication device. The communication unit 18 receives, for example, video captured by the camera of the other video communication device and audio picked up by the microphone. The communication unit 18 receives, for example, information from the other video communication device that restricts the video captured by the camera of the other video communication device. In the following description, when it is described that the communication unit 18 transmits video, etc. to the other video communication device, this also includes the communication unit 18 transmitting video, etc. to an external server to which the other video communication device is connected and from which the other video communication device can refer to the video, etc. transmitted by the communication unit 18. In addition, when it is described that the communication unit 18 receives video, etc. from another video communication device, this also includes the communication unit 18 receiving video, etc. from an external server, etc. to which the other video communication device is connected and which can refer to video, etc. transmitted by the other video communication device.

表示部20は、各種情報を表示する。表示部20は、例えば、カメラ12がユーザを撮影した映像や、WEB会議に参加している他の映像通信装置10が撮影した他のユーザの映像などを表示する。表示部20は、例えば、映像通信装置10の利用者を示す所定のアイコンや、WEB会議に参加している他の映像通信装置のユーザを示すアイコンを表示する。表示部20は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどを含むディスプレイである。 The display unit 20 displays various information. For example, the display unit 20 displays video of the user captured by the camera 12, video of other users captured by other video communication devices 10 participating in the WEB conference, etc. The display unit 20 displays, for example, a predetermined icon indicating the user of the video communication device 10, or an icon indicating the user of the other video communication devices participating in the WEB conference. The display unit 20 is, for example, a display including a liquid crystal display (LCD) or an organic EL (Electro-Luminescence) display.

音声出力部22は、スピーカやヘッドフォン等であり、映像通信装置10に備えられているものや、映像通信装置10に接続される外部のスピーカやヘッドフォン等である。音声出力部22は、各種音声を出力する。音声出力部22は、例えば、WEB会議に参加している他の映像通信装置から送信された他のユーザが発話した音声などを出力する。 The audio output unit 22 is a speaker, a headphone, or the like, which is provided in the video communication device 10, or an external speaker, a headphone, or the like connected to the video communication device 10. The audio output unit 22 outputs various types of audio. For example, the audio output unit 22 outputs audio uttered by other users transmitted from other video communication devices participating in the WEB conference.

制御部24は、映像通信装置10の各部の動作を制御する、所謂、映像通信制御装置である。制御部24は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、図示しない記憶部に記憶されたプログラムがRAM等を作業領域として実行されることにより、各種機能が実現される。このため、制御部24は、実施形態に係る映像表示方法を実行させる。また、制御部24は、本発明に係るプログラムを動作させるコンピュータである。制御部24は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。制御部24は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。 The control unit 24 is a so-called video communication control device that controls the operation of each part of the video communication device 10. The control unit 24 realizes various functions by, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit) executing a program stored in a storage unit (not shown) using a RAM or the like as a working area. Therefore, the control unit 24 executes the video display method according to the embodiment. The control unit 24 is also a computer that runs the program according to the present invention. The control unit 24 may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). The control unit 24 may be realized by a combination of hardware and software.

制御部24は、映像取得部30と、音声取得部32と、操作制御部34と、通信制御部36と、表示制御部38と、音声出力制御部40と、分析部42と、アイコン生成部44と、を備える。言い換えると、制御部24は、映像取得部30と、音声取得部32と、操作制御部34と、通信制御部36と、表示制御部38と、音声出力制御部40と、分析部42と、アイコン生成部44としての機能を実現する。 The control unit 24 includes a video acquisition unit 30, an audio acquisition unit 32, an operation control unit 34, a communication control unit 36, a display control unit 38, an audio output control unit 40, an analysis unit 42, and an icon generation unit 44. In other words, the control unit 24 realizes the functions of the video acquisition unit 30, the audio acquisition unit 32, the operation control unit 34, the communication control unit 36, the display control unit 38, the audio output control unit 40, the analysis unit 42, and the icon generation unit 44.

映像取得部30は、カメラ12が出力した映像を取得する。映像取得部30は、例えば、カメラ12が撮影した、映像通信装置10のユーザの顔を含む範囲を撮影した映像を取得する。 The video acquisition unit 30 acquires the video output by the camera 12. For example, the video acquisition unit 30 acquires video captured by the camera 12 of an area including the face of the user of the video communication device 10.

音声取得部32は、マイクロフォン14が出力した音声を取得する。音声取得部32は、例えば、マイクロフォン14が取得した、映像通信装置10のユーザの発話した音声を取得する。 The voice acquisition unit 32 acquires the voice output by the microphone 14. The voice acquisition unit 32 acquires, for example, the voice spoken by the user of the video communication device 10, acquired by the microphone 14.

操作制御部34は、操作受付部16が受け付けた操作に関する操作情報を取得する。操作制御部34は、例えば、操作受付部16がユーザなどから受け付けた、映像の送信を制限する操作に関する操作情報を受け付ける。 The operation control unit 34 acquires operation information related to the operation accepted by the operation acceptance unit 16. For example, the operation control unit 34 accepts operation information related to an operation to restrict the transmission of video, which is accepted by the operation acceptance unit 16 from a user or the like.

通信制御部36は、通信部18を制御する。通信制御部36は、通信部18を制御して、他の外部装置と各種の情報の送受信を行う。通信制御部36は、例えば、通信部18を制御して、他の映像通信装置との間で映像および音声の送受信を行う。 The communication control unit 36 controls the communication unit 18. The communication control unit 36 controls the communication unit 18 to transmit and receive various information to and from other external devices. The communication control unit 36 controls, for example, the communication unit 18 to transmit and receive video and audio to and from other video communication devices.

表示制御部38は、表示部20に各種映像を表示させる。表示制御部38は、例えば、映像通信装置10のユーザおよびWEB会議に参加している他の映像通信装置のユーザの映像を表示させる。表示制御部38は、例えば、通信部18が映像表示を制限する情報を受信した場合には、他のユーザの映像に代えて、アイコン生成部44が生成したアイコンを表示部20に表示させる。 The display control unit 38 causes various images to be displayed on the display unit 20. For example, the display control unit 38 causes images of the user of the video communication device 10 and users of other video communication devices participating in the WEB conference to be displayed. For example, when the communication unit 18 receives information restricting image display, the display control unit 38 causes the display unit 20 to display icons generated by the icon generation unit 44 instead of images of other users.

音声出力制御部40は、音声出力部22に各種音声を出力させる。音声出力制御部40は、例えば、音声出力部22からWEB会議に参加している他のユーザの音声を出力させる。 The audio output control unit 40 causes the audio output unit 22 to output various sounds. For example, the audio output control unit 40 causes the audio output unit 22 to output the sounds of other users participating in the web conference.

分析部42は、映像取得部30がカメラ12から取得した映像を分析する。分析部42は、音声取得部32がマイクロフォン14から取得した音声を分析する。分析部42は、例えば、カメラ12が撮影した映像から人物を認識する。分析部42は、例えば、カメラ12が撮影した映像から人物が認識できた場合に、認識した動作および表情の少なくとも1つを分析する。 The analysis unit 42 analyzes the video acquired by the video acquisition unit 30 from the camera 12. The analysis unit 42 analyzes the audio acquired by the audio acquisition unit 32 from the microphone 14. The analysis unit 42, for example, recognizes a person from the video captured by the camera 12. For example, when the analysis unit 42 recognizes a person from the video captured by the camera 12, it analyzes at least one of the recognized actions and facial expressions.

アイコン生成部44は、各種のアイコンを生成する。アイコン生成部44は、例えば、分析部42の分析結果に応じたアイコンを生成する。 The icon generation unit 44 generates various icons. For example, the icon generation unit 44 generates an icon according to the analysis results of the analysis unit 42.

[表示映像]
図2を用いて、第一実施形態に係る表示映像について説明する。図2は、第一実施形態に係る表示映像の一例を説明するための図である。
[Display image]
A display image according to the first embodiment will be described with reference to Fig. 2. Fig. 2 is a diagram for explaining an example of a display image according to the first embodiment.

図2に示すように、映像通信装置10の表示部20に表示される表示映像20aは、第一表示領域50と、第二表示領域52と、第三表示領域54と、第四表示領域56と、を含む。表示映像20aは、例えば、映像通信装置10のユーザU1を含む4人でWEB会議を行っている場合に表示される画面の一例である。映像通信装置10のユーザ以外の他の3人のユーザの映像通信装置にも表示映像20aと同様の映像が表示される。 As shown in FIG. 2, the display image 20a displayed on the display unit 20 of the video communication device 10 includes a first display area 50, a second display area 52, a third display area 54, and a fourth display area 56. The display image 20a is an example of a screen that is displayed when, for example, four people including user U1 of the video communication device 10 are holding a web conference. An image similar to the display image 20a is also displayed on the video communication devices of the other three users other than the user of the video communication device 10.

第一表示領域50は、例えば、4人のユーザのうちの、第一ユーザであるユーザU1に関する情報を表示する。第二表示領域52は、例えば、4人のユーザのうちの、第二ユーザに関する情報を表示する。第三表示領域54は、例えば、4人のユーザのうちの、第三ユーザに関する情報を表示する。第四表示領域56は、例えば、4人のユーザのうちの、第四ユーザに関する情報を表示する。 The first display area 50 displays, for example, information about user U1, who is the first user of the four users. The second display area 52 displays, for example, information about the second user of the four users. The third display area 54 displays, for example, information about the third user of the four users. The fourth display area 56 displays, for example, information about the fourth user of the four users.

映像通信装置10には、カメラ12が撮影している映像を他の映像通信装置に送信して表示させる「映像オンモード」がある。映像通信装置10には、カメラ12で撮影を行わずに映像を他の映像通信装置に送信しない「映像オフモード」がある。映像通信装置10には、カメラ12が撮影している映像を他の映像通信装置に送信するが、その映像を他の映像通信装置に表示させない「映像制限モード」がある。本実施形態では、WEB会議に参加する各ユーザは、「映像オンモード」、「映像オフモード」、および「映像制限モード」を任意に設定することができる。 Video communication device 10 has a "video on mode" in which the video captured by camera 12 is transmitted to other video communication devices for display. Video communication device 10 has a "video off mode" in which camera 12 does not capture video and does not transmit video to other video communication devices. Video communication device 10 has a "video restricted mode" in which the video captured by camera 12 is transmitted to other video communication devices but the video is not displayed on the other video communication devices. In this embodiment, each user participating in the WEB conference can set the "video on mode", "video off mode", and "video restricted mode" as desired.

図2に示す例では、ユーザU1は、「映像オンモード」を選択し、第二ユーザ、第三ユーザ、および第四ユーザは、それぞれ、「映像オフモード」を選択しているものとする。 In the example shown in FIG. 2, user U1 selects the "video on mode," and the second user, third user, and fourth user each select the "video off mode."

第一表示領域50には、ユーザU1の映像と、アイコンI1とが、表示される。ユーザU1は、例えば、第一表示領域50の中央部に表示される。アイコンI1は、第一表示領域50の右上隅に表示される。アイコンI1は、ユーザU1の情報を示すアイコンである。アイコンI1は、例えば、「YS」などのようにユーザU1の名前のイニシャルが表示され得る。 In the first display area 50, an image of user U1 and an icon I1 are displayed. User U1 is displayed, for example, in the center of the first display area 50. Icon I1 is displayed in the upper right corner of the first display area 50. Icon I1 is an icon that shows information about user U1. Icon I1 may display, for example, the initials of user U1's name, such as "YS."

第二表示領域52には、中央部にアイコンI2が表示されている。アイコンI2は、第二ユーザの情報を示すアイコンである。アイコンI2は、例えば、「RS」などのように第二ユーザの名前のイニシャルが表示され得る。 An icon I2 is displayed in the center of the second display area 52. Icon I2 is an icon that indicates information about the second user. Icon I2 may display the initials of the second user's name, such as "RS."

第三表示領域54には、中央部にアイコンI3が表示されている。アイコンI3は、第三ユーザの情報を示すアイコンである。アイコンI3は、例えば、「KT」などのように第三ユーザの名前のイニシャルが表示され得る。 An icon I3 is displayed in the center of the third display area 54. Icon I3 is an icon that indicates information about the third user. Icon I3 may display the initials of the third user's name, such as "KT."

第四表示領域56には、中央部にアイコンI4が表示されている。アイコンI4は、第四ユーザの情報を示すアイコンである。アイコンI4は、例えば、「CJ」などのように第四ユーザの名前のイニシャルが表示され得る。 An icon I4 is displayed in the center of the fourth display area 56. Icon I4 is an icon that indicates information about the fourth user. Icon I4 may display the initials of the fourth user's name, such as "CJ."

本実施形態に係る映像通信装置10は、「映像制限モード」が設定されることで、映像通信装置10のユーザの動作または表情に応じて、表示形態を変更したアイコンを、WEB会議に参加している他の映像通信装置に送信する。本実施形態に係る映像通信装置10は、表示形態を変更したアイコンを送信することで、カメラ映像を表示しない状態でも、映像通信装置10のユーザの反応を他の参加者に適切に把握させることを可能にし、コミュニケーションを円滑にすることができる。 When the "video restriction mode" is set, the video communication device 10 according to this embodiment transmits an icon with a changed display form according to the actions or facial expression of the user of the video communication device 10 to the other video communication devices participating in the WEB conference. By transmitting an icon with a changed display form, the video communication device 10 according to this embodiment allows other participants to properly understand the reaction of the user of the video communication device 10 even when the camera image is not displayed, thereby facilitating communication.

[映像通信装置の処理]
図3を用いて、第一実施形態に係る映像通信装置の処理について説明する。図3は、第一実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。
[Video Communication Device Processing]
The process of the video communication device according to the first embodiment will be described with reference to Fig. 3. Fig. 3 is a flow chart showing an example of the flow of the process of the video communication device according to the first embodiment.

図3の処理は、例えばWEB会議が開始されることによって開始される。図3の処理が開始され、WEB会議の他の参加者との通信部18による通信が開始されることで、制御部24は、映像通信装置10のカメラ12がオンであるか否かを判定する(ステップS10)。具体的には、映像取得部30は、カメラ12から映像を取得することができた場合に、カメラ12がオンであると判定する。カメラ12がオンであると判定された場合(ステップS10;Yes)、ステップS12に進む。カメラ12がオンであると判定されなかった場合(ステップS10;No)、ステップS16に進む。 The process in FIG. 3 is started, for example, when a WEB conference is started. When the process in FIG. 3 is started and communication with other participants in the WEB conference is started by the communication unit 18, the control unit 24 determines whether the camera 12 of the video communication device 10 is on or not (step S10). Specifically, when the video acquisition unit 30 is able to acquire video from the camera 12, it determines that the camera 12 is on. When it is determined that the camera 12 is on (step S10; Yes), the process proceeds to step S12. When it is not determined that the camera 12 is on (step S10; No), the process proceeds to step S16.

ステップS10でYesと判定された場合、制御部24は、取得した映像に送信制限があるか否かを判定する(ステップS12)。取得した映像に送信制限があることとは、映像通信装置10に「映像制限モード」が設定されている場合である。具体的には、操作制御部34は、操作受付部16から映像の送信を制限する操作に関する情報を受け付けたか否かに基づいて、他の映像通信装置に対して取得した映像を送信する制限があるか否かを判定する。取得した映像に送信制限がないと判定された場合(ステップS12;No)、ステップS14に進む。取得した映像に送信制限があると判定された場合(ステップS12;Yes)、ステップS18に進む。 If step S10 is determined as Yes, the control unit 24 determines whether or not there is a transmission restriction on the acquired video (step S12). The acquired video has a transmission restriction when the video communication device 10 is set to a "video restriction mode." Specifically, the operation control unit 34 determines whether or not there is a restriction on transmitting the acquired video to another video communication device based on whether or not information regarding an operation to restrict video transmission has been received from the operation reception unit 16. If it is determined that there is no transmission restriction on the acquired video (step S12; No), the process proceeds to step S14. If it is determined that there is a transmission restriction on the acquired video (step S12; Yes), the process proceeds to step S18.

ステップS12でNoと判定された場合、制御部24は、取得した映像を送信する(ステップS14)。具体的には、通信制御部36は、通信部18を介して、カメラ12が撮影した映像を他の映像通信装置に送信する。図4は、通信制御部36が、他の映像通信装置に送信する映像を説明するための図である。図3の処理では、第二ユーザの映像またはアイコンを送信する例について説明するが、ユーザU1、第三ユーザ、および第四ユーザについても同様である。図4に示す例においては、通信制御部36は、第二ユーザが利用している映像通信装置10のカメラ12が撮影した映像として、第二ユーザU2が映された映像と、第二ユーザを示すアイコンI2またはアイコンI2を他の映像通信装置で生成可能な情報を他の映像通信装置に送信する。そして、ステップ26に進む。 If the result of the determination in step S12 is No, the control unit 24 transmits the acquired video (step S14). Specifically, the communication control unit 36 transmits the video captured by the camera 12 to the other video communication device via the communication unit 18. FIG. 4 is a diagram for explaining the video transmitted by the communication control unit 36 to the other video communication device. In the process of FIG. 3, an example of transmitting a video or icon of the second user is described, but the same applies to the user U1, the third user, and the fourth user. In the example shown in FIG. 4, the communication control unit 36 transmits to the other video communication device a video showing the second user U2 as a video captured by the camera 12 of the video communication device 10 used by the second user, and an icon I2 indicating the second user or information that can generate the icon I2 in the other video communication device. Then, proceed to step 26.

ステップS10でNoと判定された場合、制御部24は、通常のアイコンを送信する(ステップS16)。ステップS10でNoと判定されることは、映像通信装置10において、「映像オフモード」が設定されている場合である。具体的には、通信制御部36は、通信部18を介して、他の映像通信装置に表示させるための通常のアイコンを送信する。図5は、通信制御部36が、他の映像通信装置に送信する通常のアイコンを説明するための図である。通信制御部36は、例えば、映像取得部30がカメラ12から映像を取得できなかった場合には、第二ユーザに対応するアイコンI2を他の映像通信装置に送信する。そして、ステップS26に進む。 If step S10 is determined as No, the control unit 24 transmits a normal icon (step S16). If step S10 is determined as No, then the video communication device 10 is set to "video off mode." Specifically, the communication control unit 36 transmits a normal icon to be displayed on the other video communication device via the communication unit 18. FIG. 5 is a diagram for explaining the normal icon that the communication control unit 36 transmits to the other video communication device. For example, if the video acquisition unit 30 is unable to acquire video from the camera 12, the communication control unit 36 transmits an icon I2 corresponding to the second user to the other video communication device. Then, proceed to step S26.

ステップS12でYesと判定された場合、制御部24は、カメラ12から取得した映像から人物が検出されたか否かを判定する(ステップS18)。具体的には、分析部42は、例えば、カメラ12から取得した映像に対して、図示しない人物を認識するための辞書データを用いて、人物認識処理を実行して、映像に人物が含まれているか否かを判定する。人物が検出されたと判定された場合(ステップS18;Yes)、ステップS20に進む。人物が検出されたと判定されない場合(ステップS18;No)、ステップS16に進む。 If step S12 is judged as Yes, the control unit 24 judges whether or not a person has been detected from the video acquired from the camera 12 (step S18). Specifically, the analysis unit 42 performs person recognition processing on the video acquired from the camera 12, for example, using dictionary data for recognizing people (not shown), to judge whether or not a person is included in the video. If it is judged that a person has been detected (step S18; Yes), the process proceeds to step S20. If it is not judged that a person has been detected (step S18; No), the process proceeds to step S16.

ステップS18でYesと判定された場合、制御部24は、検出された人物の動作または表情を検出したか否かを判定する(ステップS20)。具体的には、分析部42は、例えば、検出された人物に対して、図示しない表情を認識するための辞書データを用いたたAI機能を用いるなど、周知の動体検出処理を用いたりすることで、人物の動作および表情の少なくとも一方を検出する。人物の動作または表情を検出したと判定された場合(ステップS20;Yes)、ステップS22に進む。人物の動作または表情を検出したと判定されない場合(ステップS20;No)、ステップS16に進む。 If the answer to step S18 is Yes, the control unit 24 determines whether or not a movement or facial expression of the detected person has been detected (step S20). Specifically, the analysis unit 42 detects at least one of the movement and facial expression of the detected person by using a well-known motion detection process, such as an AI function using dictionary data for recognizing facial expressions (not shown), for example. If it is determined that a movement or facial expression of the person has been detected (step S20; Yes), the process proceeds to step S22. If it is not determined that a movement or facial expression of the person has been detected (step S20; No), the process proceeds to step S16.

ステップS20で検出される人物の動作または表情とは、人物の動作または表情の変化を検出することと言い換えてもよい。例えば、検出されている人物の表情が笑顔に変化した場合や、頷く動作、顔を横に振るような動作などに変化した場合などを検出する。 The movement or facial expression of the person detected in step S20 can be said to be detection of a change in the person's movement or facial expression. For example, cases where the facial expression of the detected person changes to a smile, a nodding movement, a movement such as shaking the head from side to side, etc. are detected.

ステップS20でYesと判定された場合、制御部24は、分析結果に基づくアイコンを生成する(ステップS22)。具体的には、アイコン生成部44は、分析部42の検出された人物に対する動作または表示の分析結果に応じたアイコンを生成する。分析結果に応じたアイコンとは、例えば図5に示すような通常のアイコンに対して、分析部42が検出した人物の動作や表情が表されるようにデフォルメしたアイコンである。分析結果に応じたアイコンとは、分析結果が表されるように、形状、構成、動きの少なくともいずれかが変更される。 If the answer to step S20 is Yes, the control unit 24 generates an icon based on the analysis results (step S22). Specifically, the icon generation unit 44 generates an icon according to the analysis results of the actions or display of the person detected by the analysis unit 42. An icon according to the analysis results is, for example, an icon that is deformed to represent the actions or facial expressions of the person detected by the analysis unit 42, as compared to a normal icon such as that shown in FIG. 5. An icon according to the analysis results has at least one of its shape, configuration, and movement changed to represent the analysis results.

図6と、図7と、図8と、図9とを用いて、第一実施形態に係るアイコン生成部44が生成するアイコンについて説明する。図6から図9は、第一実施形態に係るアイコン生成部44が生成するアイコンの一例を説明するための図である。 The icons generated by the icon generating unit 44 according to the first embodiment will be described with reference to Figures 6, 7, 8, and 9. Figures 6 to 9 are diagrams for explaining an example of an icon generated by the icon generating unit 44 according to the first embodiment.

図6に示すように、アイコン生成部44は、例えば、分析部42が第二ユーザの頷く動作を検出した場合には、図5に示すアイコンI2を頷くように傾けたアイコンI2Aを生成する。図7に示すように、アイコン生成部44は、例えば、分析部42が第二ユーザの右に向く動作を検出した場合には、図5に示すアイコンI2を右に向くように傾けたアイコンI2Bを生成する。図8に示すように、アイコン生成部44は、例えば、分析部42が第二ユーザの左に向く動作を検出した場合には、図5に示すアイコンI2を左に向くように傾けたアイコンI2Cを生成する。すなわち、アイコン生成部44は、分析部42による第二ユーザの動作の分析結果に応じたアイコンを生成する。 As shown in FIG. 6, for example, when the analysis unit 42 detects a nodding motion of the second user, the icon generation unit 44 generates an icon I2A by tilting the icon I2 shown in FIG. 5 as if nodding. As shown in FIG. 7, for example, when the analysis unit 42 detects a motion of the second user turning to the right, the icon generation unit 44 generates an icon I2B by tilting the icon I2 shown in FIG. 5 to turn to the right. As shown in FIG. 8, for example, when the analysis unit 42 detects a motion of the second user turning to the left, the icon generation unit 44 generates an icon I2C by tilting the icon I2 shown in FIG. 5 to turn to the left. That is, the icon generation unit 44 generates an icon according to the analysis result of the second user's motion by the analysis unit 42.

図9に示すように、アイコン生成部44は、例えば、分析部42が第二ユーザの笑顔を検出した場合、笑顔を示すアイコンI2Dを生成する。すなわち、アイコン生成部44は、分析部42による第二ユーザの表情の分析結果に応じたアイコンを生成し得る。 As shown in FIG. 9, for example, when the analysis unit 42 detects a smile of the second user, the icon generation unit 44 generates an icon I2D indicating a smile. That is, the icon generation unit 44 can generate an icon according to the analysis result of the second user's facial expression by the analysis unit 42.

図3に戻る。制御部24は、生成したアイコンを送信する(ステップS24)。具体的には、通信制御部36は、例えば、図5から図9に示したようなアイコンを他の映像通信装置に送信する。 Returning to FIG. 3, the control unit 24 transmits the generated icon (step S24). Specifically, the communication control unit 36 transmits, for example, an icon such as those shown in FIG. 5 to FIG. 9 to another video communication device.

図10と、図11とを用いて、第一実施形態に係る通信制御部36がアイコンを送信する方法について、説明する。図10と、図11とは、第一実施形態に係る通信制御部36がアイコンを送信する方法を説明するための図である。 The method by which the communication control unit 36 according to the first embodiment transmits an icon will be described with reference to Figs. 10 and 11. Figs. 10 and 11 are diagrams for explaining the method by which the communication control unit 36 according to the first embodiment transmits an icon.

図10は、頷き動作を反映させたアイコンを送信する方法を説明するための図である。この場合、まず、通信制御部36は、例えば、通常の第二ユーザのアイコンI2を他の映像通信装置に送信する(ステップS1)。次いで、通信制御部36は、例えば、第二ユーザが頷いていることを示すアイコンI2Aを他の映像通信装置に送信する(ステップS2)。通信制御部36、例えば、ステップS1の状態と、ステップS2の状態とのアイコンを1秒ごとに切り替えて送信することで、アイコンに頷き動作を与えて、第二ユーザの頷き動作を反映させる。つまり、通信制御部36は、第二ユーザが頷き動作を行っているときは、頷き動作を行っている第二ユーザのアイコンを図10に示すような動作となるようなアイコンとして送信する。 FIG. 10 is a diagram for explaining a method of transmitting an icon reflecting a nodding motion. In this case, first, the communication control unit 36 transmits, for example, a normal second user icon I2 to the other video communication device (step S1). Next, the communication control unit 36 transmits, for example, an icon I2A indicating that the second user is nodding to the other video communication device (step S2). The communication control unit 36 transmits, for example, an icon in the state of step S1 and an icon in the state of step S2 every second, thereby giving the icon a nodding motion and reflecting the nodding motion of the second user. In other words, when the second user is performing a nodding motion, the communication control unit 36 transmits the icon of the second user performing the nodding motion as an icon that performs the motion shown in FIG. 10.

図11は、顔を左右の横方向に振る動作を反映させたアイコンを送信する方法を説明するための図である。まず、通信制御部36は、例えば、第二ユーザが右を向いていることを示すアイコンI2Bを他の映像通信装置に送信する(ステップS3)。次いで、通信制御部36は、例えば、第二ユーザが左を向いていることを示すアイコンI2Cを他の映像通信装置に送信する(ステップS4)。通信制御部36は、例えば、ステップS3の状態と、ステップS4の状態とのアイコンを1秒ごとに切り替えて送信することで、アイコンに首を左右に振っている動作を与えて、第二ユーザの顔を左右に振る動作を反映させる。つまり、通信制御部36は、第二ユーザが顔を左右に振っている動作を行っているときは、顔を左右に振っている第二ユーザのアイコンを図11に示すような動作となるようなアイコンとして送信する。 FIG. 11 is a diagram for explaining a method of transmitting an icon reflecting a motion of shaking one's head from side to side. First, the communication control unit 36 transmits, for example, an icon I2B indicating that the second user is facing right to the other video communication device (step S3). Next, the communication control unit 36 transmits, for example, an icon I2C indicating that the second user is facing left to the other video communication device (step S4). The communication control unit 36 transmits, for example, an icon of the state of step S3 and the state of step S4 every second, thereby giving the icon a motion of shaking one's head from side to side, thereby reflecting the motion of the second user shaking his or her head from side to side. In other words, when the second user is shaking his or her head from side to side, the communication control unit 36 transmits the icon of the second user shaking his or her head from side to side as an icon that performs the motion shown in FIG. 11.

また、通信制御部36は、第二ユーザの笑顔をアイコンに表示させる場合には、笑顔を検出している間は、図9に示すアイコンI2Dを他の映像通信装置に連続的に送信することで、第二ユーザの笑顔を反映させる。 In addition, when the communication control unit 36 displays the second user's smiling face in an icon, the communication control unit 36 reflects the second user's smiling face by continuously transmitting the icon I2D shown in FIG. 9 to other video communication devices while the smiling face is being detected.

図3に戻る。制御部24は、生成したアイコンを他の映像通信装置に送信させた後、ステップS26に進む。 Returning to FIG. 3, the control unit 24 transmits the generated icon to the other video communication device, and then proceeds to step S26.

ステップS14、ステップS16、またはステップS24の後、制御部24は、図3の処理を終了するか否かを判定する(ステップS26)。制御部24は、例えば、操作受付部16が図3の処理を終了する操作および電源をオフする操作を受け付けた場合に、図3の処理を終了すると判定する。処理を終了すると判定された場合(ステップS26;Yes)、図3の処理を終了する。処理を終了すると判定されない場合(ステップS26;No)、ステップS10に進む。ステップS26で判定する処理の終了とは、例えば、WEB会議の終了である。また、WEB会議が終了しなくとも、映像通信装置10のユーザがWEB会議との接続を終了させた場合は、図3の処理を終了させる。 After step S14, step S16, or step S24, the control unit 24 determines whether or not to end the process of FIG. 3 (step S26). For example, when the operation reception unit 16 receives an operation to end the process of FIG. 3 and an operation to turn off the power, the control unit 24 determines that the process of FIG. 3 is to be ended. If it is determined that the process is to be ended (step S26; Yes), the control unit 24 ends the process of FIG. 3. If it is not determined that the process is to be ended (step S26; No), the control unit 24 proceeds to step S10. The end of the process determined in step S26 is, for example, the end of the WEB conference. Also, even if the WEB conference is not ended, if the user of the video communication device 10 ends the connection to the WEB conference, the control unit 24 ends the process of FIG. 3.

上述のとおり、第一実施形態は、WEB会議などにおいて映像表示が制限されている場合に、映像表示を制限しているユーザのアイコンにユーザの動作または表情を反映させて他の映像通信装置に送信する。これにより、第一実施形態は、映像通信装置10のユーザがカメラ映像を表示しない状態でも、映像通信装置10のユーザの反応を他の参加者に適切に把握させることができ、コミュニケーションを円滑にすることができる。 As described above, in the first embodiment, when video display is restricted in a web conference or the like, the icon of the user whose video display is restricted reflects the user's actions or facial expressions and is transmitted to other video communication devices. In this way, in the first embodiment, even when the user of the video communication device 10 is not displaying camera video, other participants can properly understand the reaction of the user of the video communication device 10, making communication smoother.

[第二実施形態]
図12を用いて、第二実施形態に係る映像通信装置の構成を説明する。図12は、第二実施形態に係る映像通信装置の構成を説明するための図である。
[Second embodiment]
The configuration of the video communication device according to the second embodiment will be described with reference to Fig. 12. Fig. 12 is a diagram for explaining the configuration of the video communication device according to the second embodiment.

図12に示すように、第二実施形態に係る映像通信装置10Aは、制御部24Aが判断部46を備える点で、図1に示す映像通信装置10とは異なる。 As shown in FIG. 12, the video communication device 10A according to the second embodiment differs from the video communication device 10 shown in FIG. 1 in that the control unit 24A includes a determination unit 46.

判断部46は、映像通信装置10Aのユーザの感情を判断する。判断部46は、分析部42の分析結果に含まれる映像通信装置10Aのユーザの動作または表情がポジティブな動作または表情であるか否かを判断する。ポジティブな動作または表情とは、例えば、ある発言などに対する肯定的な反応を意味し得る。具体的には、判断部46は、分析部42が映像通信装置10Aのユーザが頷いていたり、笑顔になったりしたことを検出した場合に、ポジティブな動作または表情であると判断する。判断部46は、分析部42による映像の分析結果に加えて、分析部42による音声の分析結果を含めて、映像通信装置10Aのユーザがポジティブな動作または表情であるかの判断を行ってもよい。 The judgment unit 46 judges the emotions of the user of the video communication device 10A. The judgment unit 46 judges whether the movement or facial expression of the user of the video communication device 10A included in the analysis result of the analysis unit 42 is a positive movement or facial expression. A positive movement or facial expression may mean, for example, a positive reaction to a certain statement. Specifically, the judgment unit 46 judges that the movement or facial expression is positive when the analysis unit 42 detects that the user of the video communication device 10A has nodded or smiled. The judgment unit 46 may judge whether the movement or facial expression of the user of the video communication device 10A is positive based on the analysis result of the audio by the analysis unit 42 in addition to the analysis result of the video by the analysis unit 42.

映像通信装置10Aは、ユーザの動作または表情がポジティブな動作または表情である場合に、その動作または表情を反映させてアイコンを生成し、そのアイコンを他の映像通信装置に送信する。 When the user's movement or facial expression is positive, the video communication device 10A generates an icon that reflects that movement or facial expression and transmits the icon to another video communication device.

図13を用いて、第二実施形態に係る映像通信装置の処理について説明する。図13は、第二実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。 The processing of the video communication device according to the second embodiment will be described with reference to FIG. 13. FIG. 13 is a flowchart showing an example of the processing flow of the video communication device according to the second embodiment.

ステップS30からステップS40、およびステップS44からステップS48の処理は、それぞれ、ステップS10からステップS20、およびステップS22からステップS26の処理と同一の処理なので、説明を省略する。 The processes from steps S30 to S40 and from steps S44 to S48 are the same as the processes from steps S10 to S20 and from steps S22 to S26, respectively, and therefore will not be described here.

ステップS40でYesと判定された場合、制御部24は、検出された動作または表情がポジティブな動作または表情であるか否かを判定する(ステップS42)。具体的には、判断部46は、予め定められたポジティブな動作または表情と、検出された動作または表情とが一致するか否かに基づいて、出された動作または表情がポジティブな動作または表情であるか否かを判定する。ポジティブな動作または表情であると判定された場合(ステップS42;Yes)、ステップS44に進む。ポジティブな動作または表情であると判定されなかった場合(ステップS42;No)、ステップS36に進む。 If the answer to step S40 is Yes, the control unit 24 determines whether the detected movement or expression is a positive movement or expression (step S42). Specifically, the judgment unit 46 determines whether the movement or expression is a positive movement or expression based on whether the detected movement or expression matches a predetermined positive movement or expression. If it is determined to be a positive movement or expression (step S42; Yes), the process proceeds to step S44. If it is not determined to be a positive movement or expression (step S42; No), the process proceeds to step S36.

上述のとおり、第二実施形態は、WEB会議などにおいて映像表示が制限されている場合に、映像通信装置10Aのユーザの動作または表情がポジティブな場合に、WEB会議に参加している他のユーザの映像通信装置に、映像通信装置10Aのユーザのアイコンにユーザの動作または表情を反映させて送信する。これにより、第二実施形態は、映像通信装置10Aのユーザがカメラ映像を表示しない状態でも、映像通信装置10のAユーザのポジティブな反応を他の参加者に適切に把握させることができ、コミュニケーションを円滑にすることができる。 As described above, in the second embodiment, when video display is restricted in a web conference or the like, if the user of video communication device 10A has a positive movement or facial expression, the icon of the user of video communication device 10A is transmitted to the video communication devices of the other users participating in the web conference with the user's movement or facial expression reflected in the icon. In this way, in the second embodiment, even when the user of video communication device 10A does not display camera video, the other participants can properly understand the positive reaction of user A of video communication device 10, facilitating communication.

また、WEB会議の参加者が多く、表示部20の表示画面にWEB会議に参加している他のユーザの顔を撮影した映像が多数表示されていると、発話者は、他のユーザの全体的な反応を把握することが困難である。このような場合、上述した各実施形態においては、他のユーザの反応またはポジティブな反応が、映像よりはシンプルなアイコンとして表示されるため、適切に全体的な反応を把握することができる。 In addition, when there are many participants in a web conference and many images of the faces of other users participating in the web conference are displayed on the display screen of the display unit 20, it is difficult for the speaker to grasp the overall reactions of the other users. In such cases, in each of the above-mentioned embodiments, the reactions or positive reactions of other users are displayed as simple icons rather than images, so that the speaker can properly grasp the overall reactions.

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。 Although the embodiments of the present invention have been described above, the present invention is not limited to the contents of these embodiments. The above-mentioned components include those that a person skilled in the art can easily imagine, those that are substantially the same, and those that are within the so-called equivalent range. Furthermore, the above-mentioned components can be combined as appropriate. Furthermore, various omissions, substitutions, or modifications of the components can be made without departing from the spirit of the above-mentioned embodiments.

10,10A 映像通信装置
12 カメラ
14 マイクロフォン
16 操作受付部
18 通信部
20 表示部
22 音声出力部
24,24A 制御部(映像通信制御装置)
30 映像取得部
32 音声取得部
34 操作制御部
36 通信制御部
38 表示制御部
40 音声出力制御部
42 分析部
44 アイコン生成部
46 判断部
10, 10A Video communication device 12 Camera 14 Microphone 16 Operation reception unit 18 Communication unit 20 Display unit 22 Audio output unit 24, 24A Control unit (video communication control device)
30 Video acquisition unit 32 Audio acquisition unit 34 Operation control unit 36 Communication control unit 38 Display control unit 40 Audio output control unit 42 Analysis unit 44 Icon generation unit 46 Determination unit

Claims (5)

カメラが撮影した映像を取得する映像取得部と、
前記映像の送信を制限する操作を受け付ける操作制御部と、
前記映像取得部が取得した前記映像から人物を認識し、認識した人物の動作を分析する分析部と、
前記分析部の分析結果に応じてアイコンを生成するアイコン生成部と、
前記映像取得部が前記映像を取得した場合は前記映像を送信し、前記映像を取得しない場合は所定の第1のアイコンを他端末に送信する通信部と、
を備え
前記分析部が人物を認識し、かつ認識した人物の動作を検出した場合、前記アイコン生成部は、前記第1のアイコンを認識した人物の動作に合わせて傾けた第2のアイコンを生成し、
前記通信部は、生成された前記第2のアイコンを前記他端末に送信する、
映像通信装置。
an image acquisition unit that acquires an image captured by a camera;
an operation control unit that accepts an operation to restrict transmission of the video;
an analysis unit that recognizes a person from the image acquired by the image acquisition unit and analyzes a movement of the recognized person;
an icon generating unit that generates an icon in response to an analysis result of the analysis unit;
a communication unit that transmits the image when the image acquisition unit acquires the image, and transmits a predetermined first icon to another terminal when the image acquisition unit does not acquire the image ;
Equipped with
When the analysis unit recognizes a person and detects a movement of the recognized person, the icon generation unit generates a second icon by tilting the first icon in accordance with the movement of the recognized person,
The communication unit transmits the generated second icon to the other terminal.
Video communication equipment.
カメラが撮影した映像を取得する映像取得部と、an image acquisition unit that acquires an image captured by a camera;
前記映像の送信を制限する操作を受け付ける操作制御部と、an operation control unit that accepts an operation to restrict transmission of the video;
前記映像取得部が取得した前記映像から人物を認識し、認識した人物の動作を分析する分析部と、an analysis unit that recognizes a person from the image acquired by the image acquisition unit and analyzes a movement of the recognized person;
前記分析部の分析結果に応じてアイコンを生成するアイコン生成部と、an icon generating unit that generates an icon in response to an analysis result of the analysis unit;
前記映像取得部が前記映像を取得した場合は前記映像を送信し、前記映像を取得しない場合は所定の第1のアイコンを他端末に送信する通信部と、a communication unit that transmits the image when the image acquisition unit acquires the image, and transmits a predetermined first icon to another terminal when the image acquisition unit does not acquire the image;
を備え、Equipped with
前記分析部が人物を認識し、かつ認識した人物の動作を検出した場合、前記アイコン生成部は、前記第1のアイコンを認識した人物の動作に合わせて傾けた第2のアイコンを生成し、When the analysis unit recognizes a person and detects a movement of the recognized person, the icon generation unit generates a second icon by tilting the first icon in accordance with the movement of the recognized person,
前記操作制御部が映像表示を制限する情報を受けた場合、前記通信部は、生成された前記第2のアイコンまたは前記第1のアイコンを前記他端末に送信する、When the operation control unit receives information to restrict image display, the communication unit transmits the generated second icon or the generated first icon to the other terminal.
映像通信装置。Video communication equipment.
前記アイコン生成部は、前記分析部が前記人物の頷く動作を検出した場合、前後に傾けたアイコンを生成し、前記分析部が前記人物の左右に向く動作を検出した場合、左右に傾けたアイコンを生成する、
請求項1または2に記載の映像通信装置。
The icon generating unit generates an icon tilted forward and backward when the analysis unit detects a nodding motion of the person, and generates an icon tilted left and right when the analysis unit detects a motion of the person turning left and right .
3. A video communication device according to claim 1 or 2 .
前記分析部が分析した人物の動作または表情がポジティブな動作または表情であるか否かを判断する判断部をさらに備え、
前記アイコン生成部は、前記判断部がポジティブな動作または表情と判断した場合の分析結果を反映したアイコンを生成する、
請求項1から3のいずれか1項に記載の映像通信装置。
A determination unit that determines whether the action or facial expression of the person analyzed by the analysis unit is a positive action or facial expression,
The icon generating unit generates an icon reflecting an analysis result when the determining unit determines that the action or expression is positive.
4. A video communication device according to claim 1.
カメラが撮影した映像を取得するステップと、
前記カメラから取得した前記映像から人物を認識し、認識した人物の動作を分析するステップと、
認識した人物の動作または表情の分析結果に応じてアイコンを生成するステップと、
前記カメラから取得した前記映像を取得した場合は前記映像を送信し、前記映像を取得しない場合は所定の第1のアイコンを他端末に送信するステップと、
を、映像通信装置が実行する映像表示方法であって、
人物を認識し、かつ認識した人物の動作を検出した場合、前記第1のアイコンを認識した人物の動作に合わせて傾けた第2のアイコンを生成し、生成された前記第2のアイコンを前記他端末に送信することを特徴とする、
映像表示方法
acquiring an image captured by the camera;
A step of recognizing a person from the image acquired from the camera and analyzing the movement of the recognized person;
generating an icon according to an analysis result of the recognized person's actions or facial expressions;
a step of transmitting the image captured by the camera when the image is captured , and transmitting a predetermined first icon to another terminal when the image is not captured ;
A video display method executed by a video communication device, comprising:
When a person is recognized and a motion of the recognized person is detected, a second icon is generated by tilting the first icon in accordance with the motion of the recognized person, and the generated second icon is transmitted to the other terminal.
Image display method .
JP2020194925A 2020-11-25 2020-11-25 VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD Active JP7631755B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020194925A JP7631755B2 (en) 2020-11-25 2020-11-25 VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020194925A JP7631755B2 (en) 2020-11-25 2020-11-25 VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD

Publications (2)

Publication Number Publication Date
JP2022083548A JP2022083548A (en) 2022-06-06
JP7631755B2 true JP7631755B2 (en) 2025-02-19

Family

ID=81855536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020194925A Active JP7631755B2 (en) 2020-11-25 2020-11-25 VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD

Country Status (1)

Country Link
JP (1) JP7631755B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7844384B2 (en) * 2023-04-03 2026-04-13 株式会社東芝 Remote conferencing support program, remote conferencing support device, and remote conferencing support method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125105A (en) 2007-12-14 2008-05-29 Nec Corp Communication terminal device, videophone control method, and program thereof
JP2010093583A (en) 2008-10-08 2010-04-22 Yamaha Corp Conference support apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008125105A (en) 2007-12-14 2008-05-29 Nec Corp Communication terminal device, videophone control method, and program thereof
JP2010093583A (en) 2008-10-08 2010-04-22 Yamaha Corp Conference support apparatus

Also Published As

Publication number Publication date
JP2022083548A (en) 2022-06-06

Similar Documents

Publication Publication Date Title
JP6992870B2 (en) Information processing systems, control methods, and programs
US11503162B2 (en) Information processing apparatus and information processing method
US9263044B1 (en) Noise reduction based on mouth area movement recognition
CN113508423A (en) Communication support system, communication support method, and image control program
JP2012054897A (en) Conference system, information processing apparatus, and information processing method
CN107924392A (en) Annotation based on posture
JP7631756B2 (en) VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD
CN119817091A (en) Eye contact optimization
JP7631755B2 (en) VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD
US11984137B2 (en) Two-way communication support system and storage medium
US12244770B2 (en) Conferencing system, server, information processing device and non-transitory recording medium
JP7716917B2 (en) Conference control device, conference control method, and computer program
JP7231301B2 (en) Online meeting support system and online meeting support program
CN117652138A (en) Communication assistance system, communication assistance method and communication assistance program
JP6798258B2 (en) Generation program, generation device, control program, control method, robot device and call system
JP7647089B2 (en) VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD
JPH09107534A (en) Video conference device and video conference system
JP2023131825A (en) Information processing device, control program and control method
JP2022139436A (en) CONFERENCE SUPPORT DEVICE, CONFERENCE SUPPORT SYSTEM, CONFERENCE SUPPORT METHOD, AND PROGRAM
JP2018049480A (en) Information processing apparatus, evaluation system, and program
WO2024038699A1 (en) Expression processing device, expression processing method, and expression processing program
JP7553627B1 (en) Information processing device, information processing method, and information processing program
JP2023123119A (en) Communication terminal and communication system
JP2025034342A (en) Information processing device and information processing method
JP2023147481A (en) Information processing device, information processing system, control program and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250120

R150 Certificate of patent or registration of utility model

Ref document number: 7631755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150