JP7631755B2 - VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD - Google Patents
VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD Download PDFInfo
- Publication number
- JP7631755B2 JP7631755B2 JP2020194925A JP2020194925A JP7631755B2 JP 7631755 B2 JP7631755 B2 JP 7631755B2 JP 2020194925 A JP2020194925 A JP 2020194925A JP 2020194925 A JP2020194925 A JP 2020194925A JP 7631755 B2 JP7631755 B2 JP 7631755B2
- Authority
- JP
- Japan
- Prior art keywords
- icon
- unit
- video
- image
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像通信装置、および映像表示方法に関する。 The present invention relates to a video communication device and a video display method.
ネットワークを介して、遠隔地の相手と会議等を行うことができるWEB会議装置が知られている(例えば、特許文献1)。 There is a known web conferencing device that allows users to hold conferences with people in remote locations via a network (for example, see Patent Document 1).
WEB会議装置は、ユーザの顔の方向を撮影した映像を参加者が共有することができるが、必要に応じてカメラ機能をオフにして利用することがある。例えば、多人数でのWEB会議などでは、発話者以外のカメラ機能をオフにすることもある。このような場合、発話者は、他のユーザの表情などが確認できず、発話内容に対する反応が把握できないことから、コミュニケーションが円滑に行えない場合もある。 Web conferencing devices allow participants to share video captured in the direction of the user's face, but the camera function may be turned off as necessary. For example, in a multi-person web conference, the camera function may be turned off for everyone except the speaker. In such cases, the speaker may not be able to see the facial expressions of other users and may not be able to understand their reactions to what they are saying, which may hinder smooth communication.
本発明は、カメラ映像を表示せずとも、円滑なコミュニケーションを行うことができる映像通信装置、および映像表示方法を提供することを目的とする。 The present invention aims to provide a video communication device and a video display method that enable smooth communication without displaying camera images.
本発明に係る映像通信装置は、カメラが撮影した映像を取得する映像取得部と、前記映像の送信を制限する操作を受け付ける操作制御部と、前記映像取得部が取得した映像から人物を認識し、認識した人物の動作または表情を分析する分析部と、前記分析部の分析結果を反映したアイコンを生成するアイコン生成部と、前記映像取得部が取得した映像を送信し、前記操作制御部が前記映像の送信を制限する操作を受けた場合、前記映像に代えて前記アイコン生成部が生成したアイコンを他端末に送信する通信部と、を備える。 The video communication device according to the present invention includes a video acquisition unit that acquires video captured by a camera, an operation control unit that receives an operation to restrict transmission of the video, an analysis unit that recognizes a person from the video acquired by the video acquisition unit and analyzes the actions or facial expressions of the recognized person, an icon generation unit that generates an icon that reflects the analysis results of the analysis unit, and a communication unit that transmits the video acquired by the video acquisition unit and transmits the icon generated by the icon generation unit instead of the video to another terminal when the operation control unit receives an operation to restrict transmission of the video.
本発明に係る映像表示方法は、カメラが撮影した映像を取得するステップと、前記カメラから取得した映像から人物を認識し、認識した人物の動作または表情を分析するステップと、認識した人物の動作または表情の分析結果を反映したアイコンを生成するステップと、前記カメラから取得した映像を送信し、前記映像の送信を制限する操作を受けた場合、前記映像に代えて認識した人物の動作または表情の分析結果を反映したアイコンを他端末に送信するステップと、を、映像通信装置が実行する。 The video display method of the present invention is performed by a video communication device, which performs the following steps: acquiring video captured by a camera; recognizing a person from the video acquired from the camera and analyzing the recognized person's actions or facial expressions; generating an icon reflecting the analysis results of the recognized person's actions or facial expressions; and transmitting the video acquired from the camera, and when an operation to restrict the transmission of the video is received, transmitting to another terminal an icon reflecting the analysis results of the recognized person's actions or facial expressions instead of the video.
本発明によれば、カメラ映像を表示せずとも、円滑なコミュニケーションを行うことができる。 According to the present invention, smooth communication can be carried out without displaying camera images.
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。 The following describes in detail an embodiment of the present invention with reference to the drawings. Note that the present invention is not limited to the embodiment described below.
[第一実施形態]
図1を用いて、第一実施形態に係る映像通信装置について説明する。図1は、第一実施形態に係る映像通信装置の構成例を示すブロック図である。
[First embodiment]
A video communication device according to the first embodiment will be described with reference to Fig. 1. Fig. 1 is a block diagram showing an example of the configuration of a video communication device according to the first embodiment.
図1に示すように、映像通信装置10は、カメラ12と、マイクロフォン14と、操作受付部16と、通信部18と、表示部20と、音声出力部22と、制御部(映像通信制御装置)24と、を備える。映像通信装置10は、例えば、PC(Personal Computer)、スマートフォン、タブレット端末など、映像を表示する表示画面と、表示画面の近傍に表示画面と同じ方向を向いたカメラが備えられている装置である。映像通信装置10は、例えば、WEB会議などに用いられることで、WEB会議の参加者間で映像と音声を用いたコミュニケーションを行うことのできる装置である。
As shown in FIG. 1, video communication device 10 includes a
カメラ12は、映像通信装置10の周辺を撮像する。カメラ12は、例えば、表示部20が向いている方向を撮像するように配置されている。カメラ12は、所定のフレームレートで、時系列で連続した映像、所謂動画像を撮像する。カメラ12は、撮像した映像を映像取得部30に出力する。カメラ12は、映像通信装置10に接続される外部カメラであってもよい。
The
マイクロフォン14は、映像通信装置10の周辺の音声を収音する。マイクロフォン14は、マイクロフォン14に向かって発話している人物の音声を収音する。マイクロフォン14は、収音した音声を音声取得部32に出力する。マイクロフォン14は、映像通信装置10に接続される外部のマイクロフォンであってもよい。
The
操作受付部16は、ユーザの操作によって映像通信装置10に対する各種操作を受け付ける。操作受付部16は、例えば、ユーザなどから、他の映像通信装置に対する映像の送信を制限するための操作を受け付ける。操作受付部16は、例えば、タッチパネル、スイッチ、ボタンなどを含み得る。操作受付部16は、ユーザなどから受け付けた操作に関する操作情報を操作制御部34に出力する。 The operation reception unit 16 receives various operations on the video communication device 10 through user operations. The operation reception unit 16 receives, for example, an operation from a user to restrict the transmission of video to other video communication devices. The operation reception unit 16 may include, for example, a touch panel, a switch, a button, etc. The operation reception unit 16 outputs operation information related to the operation received from the user, etc. to the operation control unit 34.
通信部18は、有線または無線で図示しないインターネット網などの通信網に接続されている。通信部18は、通信網を介して、他の外部装置と情報の送受信を行う。通信部18は、例えば、他の映像通信装置と情報の送受信を行う。通信部18は、例えば、カメラ12が撮影した映像およびマイクロフォン14が収音した音声を、他の映像通信装置に送信する。通信部18は、例えば、他の映像通信装置のカメラが撮影した映像およびマイクロフォンが収音した音声を受信する。通信部18は、例えば、他の映像通信装置から、他の映像通信装置のカメラが撮影した映像を制限する情報を受信する。以下の説明において、通信部18が、他の映像通信装置に映像等を送信すると記載された場合は、通信部18が、他の映像通信装置が接続され、通信部18が送信した映像等を他の映像通信装置が参照することができる外部のサーバなどに映像等を送信することも含む。また、通信部18が、他の映像通信装置から映像等を受信すると記載された場合は、通信部18が、他の映像通信装置が接続され、他の映像通信装置が送信した映像等を参照することができる外部のサーバなどから映像等を受信することも含む。
The communication unit 18 is connected to a communication network such as the Internet (not shown) by wire or wirelessly. The communication unit 18 transmits and receives information to and from other external devices via the communication network. The communication unit 18 transmits and receives information to and from, for example, other video communication devices. The communication unit 18 transmits, for example, video captured by the
表示部20は、各種情報を表示する。表示部20は、例えば、カメラ12がユーザを撮影した映像や、WEB会議に参加している他の映像通信装置10が撮影した他のユーザの映像などを表示する。表示部20は、例えば、映像通信装置10の利用者を示す所定のアイコンや、WEB会議に参加している他の映像通信装置のユーザを示すアイコンを表示する。表示部20は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどを含むディスプレイである。
The
音声出力部22は、スピーカやヘッドフォン等であり、映像通信装置10に備えられているものや、映像通信装置10に接続される外部のスピーカやヘッドフォン等である。音声出力部22は、各種音声を出力する。音声出力部22は、例えば、WEB会議に参加している他の映像通信装置から送信された他のユーザが発話した音声などを出力する。
The
制御部24は、映像通信装置10の各部の動作を制御する、所謂、映像通信制御装置である。制御部24は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、図示しない記憶部に記憶されたプログラムがRAM等を作業領域として実行されることにより、各種機能が実現される。このため、制御部24は、実施形態に係る映像表示方法を実行させる。また、制御部24は、本発明に係るプログラムを動作させるコンピュータである。制御部24は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。制御部24は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
The
制御部24は、映像取得部30と、音声取得部32と、操作制御部34と、通信制御部36と、表示制御部38と、音声出力制御部40と、分析部42と、アイコン生成部44と、を備える。言い換えると、制御部24は、映像取得部30と、音声取得部32と、操作制御部34と、通信制御部36と、表示制御部38と、音声出力制御部40と、分析部42と、アイコン生成部44としての機能を実現する。
The
映像取得部30は、カメラ12が出力した映像を取得する。映像取得部30は、例えば、カメラ12が撮影した、映像通信装置10のユーザの顔を含む範囲を撮影した映像を取得する。
The video acquisition unit 30 acquires the video output by the
音声取得部32は、マイクロフォン14が出力した音声を取得する。音声取得部32は、例えば、マイクロフォン14が取得した、映像通信装置10のユーザの発話した音声を取得する。
The
操作制御部34は、操作受付部16が受け付けた操作に関する操作情報を取得する。操作制御部34は、例えば、操作受付部16がユーザなどから受け付けた、映像の送信を制限する操作に関する操作情報を受け付ける。 The operation control unit 34 acquires operation information related to the operation accepted by the operation acceptance unit 16. For example, the operation control unit 34 accepts operation information related to an operation to restrict the transmission of video, which is accepted by the operation acceptance unit 16 from a user or the like.
通信制御部36は、通信部18を制御する。通信制御部36は、通信部18を制御して、他の外部装置と各種の情報の送受信を行う。通信制御部36は、例えば、通信部18を制御して、他の映像通信装置との間で映像および音声の送受信を行う。 The communication control unit 36 controls the communication unit 18. The communication control unit 36 controls the communication unit 18 to transmit and receive various information to and from other external devices. The communication control unit 36 controls, for example, the communication unit 18 to transmit and receive video and audio to and from other video communication devices.
表示制御部38は、表示部20に各種映像を表示させる。表示制御部38は、例えば、映像通信装置10のユーザおよびWEB会議に参加している他の映像通信装置のユーザの映像を表示させる。表示制御部38は、例えば、通信部18が映像表示を制限する情報を受信した場合には、他のユーザの映像に代えて、アイコン生成部44が生成したアイコンを表示部20に表示させる。
The
音声出力制御部40は、音声出力部22に各種音声を出力させる。音声出力制御部40は、例えば、音声出力部22からWEB会議に参加している他のユーザの音声を出力させる。
The audio
分析部42は、映像取得部30がカメラ12から取得した映像を分析する。分析部42は、音声取得部32がマイクロフォン14から取得した音声を分析する。分析部42は、例えば、カメラ12が撮影した映像から人物を認識する。分析部42は、例えば、カメラ12が撮影した映像から人物が認識できた場合に、認識した動作および表情の少なくとも1つを分析する。
The analysis unit 42 analyzes the video acquired by the video acquisition unit 30 from the
アイコン生成部44は、各種のアイコンを生成する。アイコン生成部44は、例えば、分析部42の分析結果に応じたアイコンを生成する。 The icon generation unit 44 generates various icons. For example, the icon generation unit 44 generates an icon according to the analysis results of the analysis unit 42.
[表示映像]
図2を用いて、第一実施形態に係る表示映像について説明する。図2は、第一実施形態に係る表示映像の一例を説明するための図である。
[Display image]
A display image according to the first embodiment will be described with reference to Fig. 2. Fig. 2 is a diagram for explaining an example of a display image according to the first embodiment.
図2に示すように、映像通信装置10の表示部20に表示される表示映像20aは、第一表示領域50と、第二表示領域52と、第三表示領域54と、第四表示領域56と、を含む。表示映像20aは、例えば、映像通信装置10のユーザU1を含む4人でWEB会議を行っている場合に表示される画面の一例である。映像通信装置10のユーザ以外の他の3人のユーザの映像通信装置にも表示映像20aと同様の映像が表示される。
As shown in FIG. 2, the
第一表示領域50は、例えば、4人のユーザのうちの、第一ユーザであるユーザU1に関する情報を表示する。第二表示領域52は、例えば、4人のユーザのうちの、第二ユーザに関する情報を表示する。第三表示領域54は、例えば、4人のユーザのうちの、第三ユーザに関する情報を表示する。第四表示領域56は、例えば、4人のユーザのうちの、第四ユーザに関する情報を表示する。
The
映像通信装置10には、カメラ12が撮影している映像を他の映像通信装置に送信して表示させる「映像オンモード」がある。映像通信装置10には、カメラ12で撮影を行わずに映像を他の映像通信装置に送信しない「映像オフモード」がある。映像通信装置10には、カメラ12が撮影している映像を他の映像通信装置に送信するが、その映像を他の映像通信装置に表示させない「映像制限モード」がある。本実施形態では、WEB会議に参加する各ユーザは、「映像オンモード」、「映像オフモード」、および「映像制限モード」を任意に設定することができる。
Video communication device 10 has a "video on mode" in which the video captured by
図2に示す例では、ユーザU1は、「映像オンモード」を選択し、第二ユーザ、第三ユーザ、および第四ユーザは、それぞれ、「映像オフモード」を選択しているものとする。 In the example shown in FIG. 2, user U1 selects the "video on mode," and the second user, third user, and fourth user each select the "video off mode."
第一表示領域50には、ユーザU1の映像と、アイコンI1とが、表示される。ユーザU1は、例えば、第一表示領域50の中央部に表示される。アイコンI1は、第一表示領域50の右上隅に表示される。アイコンI1は、ユーザU1の情報を示すアイコンである。アイコンI1は、例えば、「YS」などのようにユーザU1の名前のイニシャルが表示され得る。
In the
第二表示領域52には、中央部にアイコンI2が表示されている。アイコンI2は、第二ユーザの情報を示すアイコンである。アイコンI2は、例えば、「RS」などのように第二ユーザの名前のイニシャルが表示され得る。
An icon I2 is displayed in the center of the
第三表示領域54には、中央部にアイコンI3が表示されている。アイコンI3は、第三ユーザの情報を示すアイコンである。アイコンI3は、例えば、「KT」などのように第三ユーザの名前のイニシャルが表示され得る。
An icon I3 is displayed in the center of the
第四表示領域56には、中央部にアイコンI4が表示されている。アイコンI4は、第四ユーザの情報を示すアイコンである。アイコンI4は、例えば、「CJ」などのように第四ユーザの名前のイニシャルが表示され得る。
An icon I4 is displayed in the center of the
本実施形態に係る映像通信装置10は、「映像制限モード」が設定されることで、映像通信装置10のユーザの動作または表情に応じて、表示形態を変更したアイコンを、WEB会議に参加している他の映像通信装置に送信する。本実施形態に係る映像通信装置10は、表示形態を変更したアイコンを送信することで、カメラ映像を表示しない状態でも、映像通信装置10のユーザの反応を他の参加者に適切に把握させることを可能にし、コミュニケーションを円滑にすることができる。 When the "video restriction mode" is set, the video communication device 10 according to this embodiment transmits an icon with a changed display form according to the actions or facial expression of the user of the video communication device 10 to the other video communication devices participating in the WEB conference. By transmitting an icon with a changed display form, the video communication device 10 according to this embodiment allows other participants to properly understand the reaction of the user of the video communication device 10 even when the camera image is not displayed, thereby facilitating communication.
[映像通信装置の処理]
図3を用いて、第一実施形態に係る映像通信装置の処理について説明する。図3は、第一実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。
[Video Communication Device Processing]
The process of the video communication device according to the first embodiment will be described with reference to Fig. 3. Fig. 3 is a flow chart showing an example of the flow of the process of the video communication device according to the first embodiment.
図3の処理は、例えばWEB会議が開始されることによって開始される。図3の処理が開始され、WEB会議の他の参加者との通信部18による通信が開始されることで、制御部24は、映像通信装置10のカメラ12がオンであるか否かを判定する(ステップS10)。具体的には、映像取得部30は、カメラ12から映像を取得することができた場合に、カメラ12がオンであると判定する。カメラ12がオンであると判定された場合(ステップS10;Yes)、ステップS12に進む。カメラ12がオンであると判定されなかった場合(ステップS10;No)、ステップS16に進む。
The process in FIG. 3 is started, for example, when a WEB conference is started. When the process in FIG. 3 is started and communication with other participants in the WEB conference is started by the communication unit 18, the
ステップS10でYesと判定された場合、制御部24は、取得した映像に送信制限があるか否かを判定する(ステップS12)。取得した映像に送信制限があることとは、映像通信装置10に「映像制限モード」が設定されている場合である。具体的には、操作制御部34は、操作受付部16から映像の送信を制限する操作に関する情報を受け付けたか否かに基づいて、他の映像通信装置に対して取得した映像を送信する制限があるか否かを判定する。取得した映像に送信制限がないと判定された場合(ステップS12;No)、ステップS14に進む。取得した映像に送信制限があると判定された場合(ステップS12;Yes)、ステップS18に進む。
If step S10 is determined as Yes, the
ステップS12でNoと判定された場合、制御部24は、取得した映像を送信する(ステップS14)。具体的には、通信制御部36は、通信部18を介して、カメラ12が撮影した映像を他の映像通信装置に送信する。図4は、通信制御部36が、他の映像通信装置に送信する映像を説明するための図である。図3の処理では、第二ユーザの映像またはアイコンを送信する例について説明するが、ユーザU1、第三ユーザ、および第四ユーザについても同様である。図4に示す例においては、通信制御部36は、第二ユーザが利用している映像通信装置10のカメラ12が撮影した映像として、第二ユーザU2が映された映像と、第二ユーザを示すアイコンI2またはアイコンI2を他の映像通信装置で生成可能な情報を他の映像通信装置に送信する。そして、ステップ26に進む。
If the result of the determination in step S12 is No, the
ステップS10でNoと判定された場合、制御部24は、通常のアイコンを送信する(ステップS16)。ステップS10でNoと判定されることは、映像通信装置10において、「映像オフモード」が設定されている場合である。具体的には、通信制御部36は、通信部18を介して、他の映像通信装置に表示させるための通常のアイコンを送信する。図5は、通信制御部36が、他の映像通信装置に送信する通常のアイコンを説明するための図である。通信制御部36は、例えば、映像取得部30がカメラ12から映像を取得できなかった場合には、第二ユーザに対応するアイコンI2を他の映像通信装置に送信する。そして、ステップS26に進む。
If step S10 is determined as No, the
ステップS12でYesと判定された場合、制御部24は、カメラ12から取得した映像から人物が検出されたか否かを判定する(ステップS18)。具体的には、分析部42は、例えば、カメラ12から取得した映像に対して、図示しない人物を認識するための辞書データを用いて、人物認識処理を実行して、映像に人物が含まれているか否かを判定する。人物が検出されたと判定された場合(ステップS18;Yes)、ステップS20に進む。人物が検出されたと判定されない場合(ステップS18;No)、ステップS16に進む。
If step S12 is judged as Yes, the
ステップS18でYesと判定された場合、制御部24は、検出された人物の動作または表情を検出したか否かを判定する(ステップS20)。具体的には、分析部42は、例えば、検出された人物に対して、図示しない表情を認識するための辞書データを用いたたAI機能を用いるなど、周知の動体検出処理を用いたりすることで、人物の動作および表情の少なくとも一方を検出する。人物の動作または表情を検出したと判定された場合(ステップS20;Yes)、ステップS22に進む。人物の動作または表情を検出したと判定されない場合(ステップS20;No)、ステップS16に進む。
If the answer to step S18 is Yes, the
ステップS20で検出される人物の動作または表情とは、人物の動作または表情の変化を検出することと言い換えてもよい。例えば、検出されている人物の表情が笑顔に変化した場合や、頷く動作、顔を横に振るような動作などに変化した場合などを検出する。 The movement or facial expression of the person detected in step S20 can be said to be detection of a change in the person's movement or facial expression. For example, cases where the facial expression of the detected person changes to a smile, a nodding movement, a movement such as shaking the head from side to side, etc. are detected.
ステップS20でYesと判定された場合、制御部24は、分析結果に基づくアイコンを生成する(ステップS22)。具体的には、アイコン生成部44は、分析部42の検出された人物に対する動作または表示の分析結果に応じたアイコンを生成する。分析結果に応じたアイコンとは、例えば図5に示すような通常のアイコンに対して、分析部42が検出した人物の動作や表情が表されるようにデフォルメしたアイコンである。分析結果に応じたアイコンとは、分析結果が表されるように、形状、構成、動きの少なくともいずれかが変更される。
If the answer to step S20 is Yes, the
図6と、図7と、図8と、図9とを用いて、第一実施形態に係るアイコン生成部44が生成するアイコンについて説明する。図6から図9は、第一実施形態に係るアイコン生成部44が生成するアイコンの一例を説明するための図である。 The icons generated by the icon generating unit 44 according to the first embodiment will be described with reference to Figures 6, 7, 8, and 9. Figures 6 to 9 are diagrams for explaining an example of an icon generated by the icon generating unit 44 according to the first embodiment.
図6に示すように、アイコン生成部44は、例えば、分析部42が第二ユーザの頷く動作を検出した場合には、図5に示すアイコンI2を頷くように傾けたアイコンI2Aを生成する。図7に示すように、アイコン生成部44は、例えば、分析部42が第二ユーザの右に向く動作を検出した場合には、図5に示すアイコンI2を右に向くように傾けたアイコンI2Bを生成する。図8に示すように、アイコン生成部44は、例えば、分析部42が第二ユーザの左に向く動作を検出した場合には、図5に示すアイコンI2を左に向くように傾けたアイコンI2Cを生成する。すなわち、アイコン生成部44は、分析部42による第二ユーザの動作の分析結果に応じたアイコンを生成する。 As shown in FIG. 6, for example, when the analysis unit 42 detects a nodding motion of the second user, the icon generation unit 44 generates an icon I2A by tilting the icon I2 shown in FIG. 5 as if nodding. As shown in FIG. 7, for example, when the analysis unit 42 detects a motion of the second user turning to the right, the icon generation unit 44 generates an icon I2B by tilting the icon I2 shown in FIG. 5 to turn to the right. As shown in FIG. 8, for example, when the analysis unit 42 detects a motion of the second user turning to the left, the icon generation unit 44 generates an icon I2C by tilting the icon I2 shown in FIG. 5 to turn to the left. That is, the icon generation unit 44 generates an icon according to the analysis result of the second user's motion by the analysis unit 42.
図9に示すように、アイコン生成部44は、例えば、分析部42が第二ユーザの笑顔を検出した場合、笑顔を示すアイコンI2Dを生成する。すなわち、アイコン生成部44は、分析部42による第二ユーザの表情の分析結果に応じたアイコンを生成し得る。 As shown in FIG. 9, for example, when the analysis unit 42 detects a smile of the second user, the icon generation unit 44 generates an icon I2D indicating a smile. That is, the icon generation unit 44 can generate an icon according to the analysis result of the second user's facial expression by the analysis unit 42.
図3に戻る。制御部24は、生成したアイコンを送信する(ステップS24)。具体的には、通信制御部36は、例えば、図5から図9に示したようなアイコンを他の映像通信装置に送信する。
Returning to FIG. 3, the
図10と、図11とを用いて、第一実施形態に係る通信制御部36がアイコンを送信する方法について、説明する。図10と、図11とは、第一実施形態に係る通信制御部36がアイコンを送信する方法を説明するための図である。 The method by which the communication control unit 36 according to the first embodiment transmits an icon will be described with reference to Figs. 10 and 11. Figs. 10 and 11 are diagrams for explaining the method by which the communication control unit 36 according to the first embodiment transmits an icon.
図10は、頷き動作を反映させたアイコンを送信する方法を説明するための図である。この場合、まず、通信制御部36は、例えば、通常の第二ユーザのアイコンI2を他の映像通信装置に送信する(ステップS1)。次いで、通信制御部36は、例えば、第二ユーザが頷いていることを示すアイコンI2Aを他の映像通信装置に送信する(ステップS2)。通信制御部36、例えば、ステップS1の状態と、ステップS2の状態とのアイコンを1秒ごとに切り替えて送信することで、アイコンに頷き動作を与えて、第二ユーザの頷き動作を反映させる。つまり、通信制御部36は、第二ユーザが頷き動作を行っているときは、頷き動作を行っている第二ユーザのアイコンを図10に示すような動作となるようなアイコンとして送信する。 FIG. 10 is a diagram for explaining a method of transmitting an icon reflecting a nodding motion. In this case, first, the communication control unit 36 transmits, for example, a normal second user icon I2 to the other video communication device (step S1). Next, the communication control unit 36 transmits, for example, an icon I2A indicating that the second user is nodding to the other video communication device (step S2). The communication control unit 36 transmits, for example, an icon in the state of step S1 and an icon in the state of step S2 every second, thereby giving the icon a nodding motion and reflecting the nodding motion of the second user. In other words, when the second user is performing a nodding motion, the communication control unit 36 transmits the icon of the second user performing the nodding motion as an icon that performs the motion shown in FIG. 10.
図11は、顔を左右の横方向に振る動作を反映させたアイコンを送信する方法を説明するための図である。まず、通信制御部36は、例えば、第二ユーザが右を向いていることを示すアイコンI2Bを他の映像通信装置に送信する(ステップS3)。次いで、通信制御部36は、例えば、第二ユーザが左を向いていることを示すアイコンI2Cを他の映像通信装置に送信する(ステップS4)。通信制御部36は、例えば、ステップS3の状態と、ステップS4の状態とのアイコンを1秒ごとに切り替えて送信することで、アイコンに首を左右に振っている動作を与えて、第二ユーザの顔を左右に振る動作を反映させる。つまり、通信制御部36は、第二ユーザが顔を左右に振っている動作を行っているときは、顔を左右に振っている第二ユーザのアイコンを図11に示すような動作となるようなアイコンとして送信する。 FIG. 11 is a diagram for explaining a method of transmitting an icon reflecting a motion of shaking one's head from side to side. First, the communication control unit 36 transmits, for example, an icon I2B indicating that the second user is facing right to the other video communication device (step S3). Next, the communication control unit 36 transmits, for example, an icon I2C indicating that the second user is facing left to the other video communication device (step S4). The communication control unit 36 transmits, for example, an icon of the state of step S3 and the state of step S4 every second, thereby giving the icon a motion of shaking one's head from side to side, thereby reflecting the motion of the second user shaking his or her head from side to side. In other words, when the second user is shaking his or her head from side to side, the communication control unit 36 transmits the icon of the second user shaking his or her head from side to side as an icon that performs the motion shown in FIG. 11.
また、通信制御部36は、第二ユーザの笑顔をアイコンに表示させる場合には、笑顔を検出している間は、図9に示すアイコンI2Dを他の映像通信装置に連続的に送信することで、第二ユーザの笑顔を反映させる。 In addition, when the communication control unit 36 displays the second user's smiling face in an icon, the communication control unit 36 reflects the second user's smiling face by continuously transmitting the icon I2D shown in FIG. 9 to other video communication devices while the smiling face is being detected.
図3に戻る。制御部24は、生成したアイコンを他の映像通信装置に送信させた後、ステップS26に進む。
Returning to FIG. 3, the
ステップS14、ステップS16、またはステップS24の後、制御部24は、図3の処理を終了するか否かを判定する(ステップS26)。制御部24は、例えば、操作受付部16が図3の処理を終了する操作および電源をオフする操作を受け付けた場合に、図3の処理を終了すると判定する。処理を終了すると判定された場合(ステップS26;Yes)、図3の処理を終了する。処理を終了すると判定されない場合(ステップS26;No)、ステップS10に進む。ステップS26で判定する処理の終了とは、例えば、WEB会議の終了である。また、WEB会議が終了しなくとも、映像通信装置10のユーザがWEB会議との接続を終了させた場合は、図3の処理を終了させる。
After step S14, step S16, or step S24, the
上述のとおり、第一実施形態は、WEB会議などにおいて映像表示が制限されている場合に、映像表示を制限しているユーザのアイコンにユーザの動作または表情を反映させて他の映像通信装置に送信する。これにより、第一実施形態は、映像通信装置10のユーザがカメラ映像を表示しない状態でも、映像通信装置10のユーザの反応を他の参加者に適切に把握させることができ、コミュニケーションを円滑にすることができる。 As described above, in the first embodiment, when video display is restricted in a web conference or the like, the icon of the user whose video display is restricted reflects the user's actions or facial expressions and is transmitted to other video communication devices. In this way, in the first embodiment, even when the user of the video communication device 10 is not displaying camera video, other participants can properly understand the reaction of the user of the video communication device 10, making communication smoother.
[第二実施形態]
図12を用いて、第二実施形態に係る映像通信装置の構成を説明する。図12は、第二実施形態に係る映像通信装置の構成を説明するための図である。
[Second embodiment]
The configuration of the video communication device according to the second embodiment will be described with reference to Fig. 12. Fig. 12 is a diagram for explaining the configuration of the video communication device according to the second embodiment.
図12に示すように、第二実施形態に係る映像通信装置10Aは、制御部24Aが判断部46を備える点で、図1に示す映像通信装置10とは異なる。
As shown in FIG. 12, the
判断部46は、映像通信装置10Aのユーザの感情を判断する。判断部46は、分析部42の分析結果に含まれる映像通信装置10Aのユーザの動作または表情がポジティブな動作または表情であるか否かを判断する。ポジティブな動作または表情とは、例えば、ある発言などに対する肯定的な反応を意味し得る。具体的には、判断部46は、分析部42が映像通信装置10Aのユーザが頷いていたり、笑顔になったりしたことを検出した場合に、ポジティブな動作または表情であると判断する。判断部46は、分析部42による映像の分析結果に加えて、分析部42による音声の分析結果を含めて、映像通信装置10Aのユーザがポジティブな動作または表情であるかの判断を行ってもよい。
The
映像通信装置10Aは、ユーザの動作または表情がポジティブな動作または表情である場合に、その動作または表情を反映させてアイコンを生成し、そのアイコンを他の映像通信装置に送信する。
When the user's movement or facial expression is positive, the
図13を用いて、第二実施形態に係る映像通信装置の処理について説明する。図13は、第二実施形態に係る映像通信装置の処理の流れの一例を示すフローチャートである。 The processing of the video communication device according to the second embodiment will be described with reference to FIG. 13. FIG. 13 is a flowchart showing an example of the processing flow of the video communication device according to the second embodiment.
ステップS30からステップS40、およびステップS44からステップS48の処理は、それぞれ、ステップS10からステップS20、およびステップS22からステップS26の処理と同一の処理なので、説明を省略する。 The processes from steps S30 to S40 and from steps S44 to S48 are the same as the processes from steps S10 to S20 and from steps S22 to S26, respectively, and therefore will not be described here.
ステップS40でYesと判定された場合、制御部24は、検出された動作または表情がポジティブな動作または表情であるか否かを判定する(ステップS42)。具体的には、判断部46は、予め定められたポジティブな動作または表情と、検出された動作または表情とが一致するか否かに基づいて、出された動作または表情がポジティブな動作または表情であるか否かを判定する。ポジティブな動作または表情であると判定された場合(ステップS42;Yes)、ステップS44に進む。ポジティブな動作または表情であると判定されなかった場合(ステップS42;No)、ステップS36に進む。
If the answer to step S40 is Yes, the
上述のとおり、第二実施形態は、WEB会議などにおいて映像表示が制限されている場合に、映像通信装置10Aのユーザの動作または表情がポジティブな場合に、WEB会議に参加している他のユーザの映像通信装置に、映像通信装置10Aのユーザのアイコンにユーザの動作または表情を反映させて送信する。これにより、第二実施形態は、映像通信装置10Aのユーザがカメラ映像を表示しない状態でも、映像通信装置10のAユーザのポジティブな反応を他の参加者に適切に把握させることができ、コミュニケーションを円滑にすることができる。
As described above, in the second embodiment, when video display is restricted in a web conference or the like, if the user of
また、WEB会議の参加者が多く、表示部20の表示画面にWEB会議に参加している他のユーザの顔を撮影した映像が多数表示されていると、発話者は、他のユーザの全体的な反応を把握することが困難である。このような場合、上述した各実施形態においては、他のユーザの反応またはポジティブな反応が、映像よりはシンプルなアイコンとして表示されるため、適切に全体的な反応を把握することができる。
In addition, when there are many participants in a web conference and many images of the faces of other users participating in the web conference are displayed on the display screen of the
以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。 Although the embodiments of the present invention have been described above, the present invention is not limited to the contents of these embodiments. The above-mentioned components include those that a person skilled in the art can easily imagine, those that are substantially the same, and those that are within the so-called equivalent range. Furthermore, the above-mentioned components can be combined as appropriate. Furthermore, various omissions, substitutions, or modifications of the components can be made without departing from the spirit of the above-mentioned embodiments.
10,10A 映像通信装置
12 カメラ
14 マイクロフォン
16 操作受付部
18 通信部
20 表示部
22 音声出力部
24,24A 制御部(映像通信制御装置)
30 映像取得部
32 音声取得部
34 操作制御部
36 通信制御部
38 表示制御部
40 音声出力制御部
42 分析部
44 アイコン生成部
46 判断部
10, 10A
30
Claims (5)
前記映像の送信を制限する操作を受け付ける操作制御部と、
前記映像取得部が取得した前記映像から人物を認識し、認識した人物の動作を分析する分析部と、
前記分析部の分析結果に応じてアイコンを生成するアイコン生成部と、
前記映像取得部が前記映像を取得した場合は前記映像を送信し、前記映像を取得しない場合は所定の第1のアイコンを他端末に送信する通信部と、
を備え、
前記分析部が人物を認識し、かつ認識した人物の動作を検出した場合、前記アイコン生成部は、前記第1のアイコンを認識した人物の動作に合わせて傾けた第2のアイコンを生成し、
前記通信部は、生成された前記第2のアイコンを前記他端末に送信する、
映像通信装置。 an image acquisition unit that acquires an image captured by a camera;
an operation control unit that accepts an operation to restrict transmission of the video;
an analysis unit that recognizes a person from the image acquired by the image acquisition unit and analyzes a movement of the recognized person;
an icon generating unit that generates an icon in response to an analysis result of the analysis unit;
a communication unit that transmits the image when the image acquisition unit acquires the image, and transmits a predetermined first icon to another terminal when the image acquisition unit does not acquire the image ;
Equipped with
When the analysis unit recognizes a person and detects a movement of the recognized person, the icon generation unit generates a second icon by tilting the first icon in accordance with the movement of the recognized person,
The communication unit transmits the generated second icon to the other terminal.
Video communication equipment.
前記映像の送信を制限する操作を受け付ける操作制御部と、an operation control unit that accepts an operation to restrict transmission of the video;
前記映像取得部が取得した前記映像から人物を認識し、認識した人物の動作を分析する分析部と、an analysis unit that recognizes a person from the image acquired by the image acquisition unit and analyzes a movement of the recognized person;
前記分析部の分析結果に応じてアイコンを生成するアイコン生成部と、an icon generating unit that generates an icon in response to an analysis result of the analysis unit;
前記映像取得部が前記映像を取得した場合は前記映像を送信し、前記映像を取得しない場合は所定の第1のアイコンを他端末に送信する通信部と、a communication unit that transmits the image when the image acquisition unit acquires the image, and transmits a predetermined first icon to another terminal when the image acquisition unit does not acquire the image;
を備え、Equipped with
前記分析部が人物を認識し、かつ認識した人物の動作を検出した場合、前記アイコン生成部は、前記第1のアイコンを認識した人物の動作に合わせて傾けた第2のアイコンを生成し、When the analysis unit recognizes a person and detects a movement of the recognized person, the icon generation unit generates a second icon by tilting the first icon in accordance with the movement of the recognized person,
前記操作制御部が映像表示を制限する情報を受けた場合、前記通信部は、生成された前記第2のアイコンまたは前記第1のアイコンを前記他端末に送信する、When the operation control unit receives information to restrict image display, the communication unit transmits the generated second icon or the generated first icon to the other terminal.
映像通信装置。Video communication equipment.
請求項1または2に記載の映像通信装置。 The icon generating unit generates an icon tilted forward and backward when the analysis unit detects a nodding motion of the person, and generates an icon tilted left and right when the analysis unit detects a motion of the person turning left and right .
3. A video communication device according to claim 1 or 2 .
前記アイコン生成部は、前記判断部がポジティブな動作または表情と判断した場合の分析結果を反映したアイコンを生成する、
請求項1から3のいずれか1項に記載の映像通信装置。 A determination unit that determines whether the action or facial expression of the person analyzed by the analysis unit is a positive action or facial expression,
The icon generating unit generates an icon reflecting an analysis result when the determining unit determines that the action or expression is positive.
4. A video communication device according to claim 1.
前記カメラから取得した前記映像から人物を認識し、認識した人物の動作を分析するステップと、
認識した人物の動作または表情の分析結果に応じてアイコンを生成するステップと、
前記カメラから取得した前記映像を取得した場合は前記映像を送信し、前記映像を取得しない場合は所定の第1のアイコンを他端末に送信するステップと、
を、映像通信装置が実行する映像表示方法であって、
人物を認識し、かつ認識した人物の動作を検出した場合、前記第1のアイコンを認識した人物の動作に合わせて傾けた第2のアイコンを生成し、生成された前記第2のアイコンを前記他端末に送信することを特徴とする、
映像表示方法。 acquiring an image captured by the camera;
A step of recognizing a person from the image acquired from the camera and analyzing the movement of the recognized person;
generating an icon according to an analysis result of the recognized person's actions or facial expressions;
a step of transmitting the image captured by the camera when the image is captured , and transmitting a predetermined first icon to another terminal when the image is not captured ;
A video display method executed by a video communication device, comprising:
When a person is recognized and a motion of the recognized person is detected, a second icon is generated by tilting the first icon in accordance with the motion of the recognized person, and the generated second icon is transmitted to the other terminal.
Image display method .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020194925A JP7631755B2 (en) | 2020-11-25 | 2020-11-25 | VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020194925A JP7631755B2 (en) | 2020-11-25 | 2020-11-25 | VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022083548A JP2022083548A (en) | 2022-06-06 |
| JP7631755B2 true JP7631755B2 (en) | 2025-02-19 |
Family
ID=81855536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020194925A Active JP7631755B2 (en) | 2020-11-25 | 2020-11-25 | VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7631755B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7844384B2 (en) * | 2023-04-03 | 2026-04-13 | 株式会社東芝 | Remote conferencing support program, remote conferencing support device, and remote conferencing support method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008125105A (en) | 2007-12-14 | 2008-05-29 | Nec Corp | Communication terminal device, videophone control method, and program thereof |
| JP2010093583A (en) | 2008-10-08 | 2010-04-22 | Yamaha Corp | Conference support apparatus |
-
2020
- 2020-11-25 JP JP2020194925A patent/JP7631755B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008125105A (en) | 2007-12-14 | 2008-05-29 | Nec Corp | Communication terminal device, videophone control method, and program thereof |
| JP2010093583A (en) | 2008-10-08 | 2010-04-22 | Yamaha Corp | Conference support apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022083548A (en) | 2022-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6992870B2 (en) | Information processing systems, control methods, and programs | |
| US11503162B2 (en) | Information processing apparatus and information processing method | |
| US9263044B1 (en) | Noise reduction based on mouth area movement recognition | |
| CN113508423A (en) | Communication support system, communication support method, and image control program | |
| JP2012054897A (en) | Conference system, information processing apparatus, and information processing method | |
| CN107924392A (en) | Annotation based on posture | |
| JP7631756B2 (en) | VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD | |
| CN119817091A (en) | Eye contact optimization | |
| JP7631755B2 (en) | VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD | |
| US11984137B2 (en) | Two-way communication support system and storage medium | |
| US12244770B2 (en) | Conferencing system, server, information processing device and non-transitory recording medium | |
| JP7716917B2 (en) | Conference control device, conference control method, and computer program | |
| JP7231301B2 (en) | Online meeting support system and online meeting support program | |
| CN117652138A (en) | Communication assistance system, communication assistance method and communication assistance program | |
| JP6798258B2 (en) | Generation program, generation device, control program, control method, robot device and call system | |
| JP7647089B2 (en) | VIDEO COMMUNICATION DEVICE AND VIDEO DISPLAY METHOD | |
| JPH09107534A (en) | Video conference device and video conference system | |
| JP2023131825A (en) | Information processing device, control program and control method | |
| JP2022139436A (en) | CONFERENCE SUPPORT DEVICE, CONFERENCE SUPPORT SYSTEM, CONFERENCE SUPPORT METHOD, AND PROGRAM | |
| JP2018049480A (en) | Information processing apparatus, evaluation system, and program | |
| WO2024038699A1 (en) | Expression processing device, expression processing method, and expression processing program | |
| JP7553627B1 (en) | Information processing device, information processing method, and information processing program | |
| JP2023123119A (en) | Communication terminal and communication system | |
| JP2025034342A (en) | Information processing device and information processing method | |
| JP2023147481A (en) | Information processing device, information processing system, control program and control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241001 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7631755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |