JP7768207B2

JP7768207B2 - Information processing device, information processing program, information processing system, and information processing method

Info

Publication number: JP7768207B2
Application number: JP2023188134A
Authority: JP
Inventors: 耕司桑田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2019-07-30
Filing date: 2023-11-02
Publication date: 2025-11-12
Anticipated expiration: 2039-07-30
Also published as: JP2021022909A; JP7379907B2; JP2024014888A; JP2025123288A

Description

本発明は、情報処理装置、情報処理プログラム、情報処理システム、情報処理方法に関する。 The present invention relates to an information processing device, an information processing program, an information processing system, and an information processing method.

従来から、互いに離れた複数の地点の間で遠隔会議を行うための会議システムが知られている。この会議システムでは、例えば、参加者の映像データから発話欲求があると想定される所定の動作を検出すると、会議映像に参加者の発話欲求レベルを示す情報を設定する技術が知られている。 Conference systems for holding remote conferences between multiple remote locations have been known for some time. In these conference systems, for example, a technology is known that, when a specific behavior that is presumed to indicate a desire to speak is detected from video data of a participant, sets information indicating the participant's desire to speak in the conference video.

上述した従来の技術では、例えば、発話者の話の内容が理解できていない参加者や、話の内容に興味を示していない参加者等のように、発話者が重視すべき相手を見つけることができない。 The conventional technology described above makes it impossible for a speaker to identify participants who should be given priority, such as participants who do not understand what the speaker is saying or who are not interested in what is being said.

開示の技術は、発話者が重視すべき相手を通知することを目的とする。 The disclosed technology aims to notify speakers of people they should prioritize.

開示の技術は、複数の情報処理装置により、複数の拠点間でビデオ会議を行う情報処理システムであって、第１の拠点の情報処理装置は、検知対象の人物の表情の設定を受け付け、受け付けた表情の検知を第２の拠点の情報処理装置に要求する全体処理部と、を有し、前記第２の拠点の情報処理装置は、画像データに基づき、人物の表情を推定する表情推定部と、前記表情推定部によって推定された前記人物の表情が、検知対象の表情であると推定された場合に、前記第１の拠点の情報処理装置に推定結果を通知として送信するネットワーク処理部と、を有し、前記第１の拠点の情報処理装置は、前記第２の拠点の情報処理端末から受信した通知と画像データとを表示する表示部を有する。
The disclosed technology is an information processing system for conducting video conferences between multiple locations using multiple information processing devices, wherein the information processing device at a first location has an overall processing unit that accepts settings for the facial expression of a person to be detected and requests the information processing device at a second location to detect the accepted facial expression, the information processing device at the second location has an expression estimation unit that estimates the facial expression of the person based on image data, and a network processing unit that sends the estimation result as a notification to the information processing device at the first location if the facial expression of the person estimated by the expression estimation unit is estimated to be the facial expression of the person to be detected, and the information processing device at the first location has a display unit that displays the notification and image data received from the information processing terminal at the second location.

発話者が重視すべき相手を通知することができる。 The speaker can be notified of the people they should pay attention to.

第一の実施形態の情報処理システムのシステム構成の一例を示す図である。FIG. 1 illustrates an example of a system configuration of an information processing system according to a first embodiment. 第一の実施形態のサーバのハードウェア構成の一例を示す図である。FIG. 2 illustrates an example of a hardware configuration of a server according to the first embodiment. 通信端末のハードウェア構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of a communication terminal. 第一の実施形態の通信端末の機能を説明する図である。FIG. 2 is a diagram illustrating functions of a communication terminal according to the first embodiment. 第一の実施形態の通信端末の動作を説明するフローチャートである。10 is a flowchart illustrating an operation of the communication terminal according to the first embodiment. 第一の実施形態の通信端末の表示レイアウトの一例を示す図である。FIG. 2 is a diagram illustrating an example of a display layout of the communication terminal according to the first embodiment. 第一の実施形態の通信端末の表示レイアウトの他の例を示す図である。FIG. 10 is a diagram illustrating another example of a display layout of the communication terminal according to the first embodiment. 電子黒板のハードウェア構成について説明する図である。FIG. 2 is a diagram illustrating a hardware configuration of an electronic whiteboard. スマートフォンのハードウェア構成の一例を示す図である。FIG. 1 is a diagram illustrating an example of a hardware configuration of a smartphone. 第二の実施形態の情報処理システムのシステム構成を説明する図である。FIG. 10 is a diagram illustrating a system configuration of an information processing system according to a second embodiment.

（第一の実施形態）
以下に、図面を参照して第一の実施形態について説明する。図１は、第一の実施形態の情報処理システムのシステム構成の一例を示す図である。 (First embodiment)
The first embodiment will be described below with reference to the drawings. Fig. 1 is a diagram showing an example of the system configuration of an information processing system according to the first embodiment.

本実施形態の情報処理システム１００は、サーバ２００と、複数の通信端末３００－１、３００－２、・・・、３００－Ｎを含む。情報処理システム１００において、サーバ２００と、通信端末３００－１、３００－２、・・・、３００－Ｎとは、インターネット、イントラネット、ＬＡＮ（Local Area Network）等のネットワークＮを介して接続される。以下の説明では、通信端末３００－１、３００－２、・・・、３００－Ｎを区別しない場合には、通信端末３００と呼ぶ。本実施形態の通信端末３００は、ＣＰＵ（Central Processing Unit）とメモリとを有する情報処理装置の一例である。 Information processing system 100 of this embodiment includes server 200 and multiple communication terminals 300-1, 300-2, ..., 300-N. In information processing system 100, server 200 and communication terminals 300-1, 300-2, ..., 300-N are connected via network N, such as the Internet, an intranet, or a LAN (Local Area Network). In the following description, when there is no need to distinguish between communication terminals 300-1, 300-2, ..., 300-N, they will be referred to as communication terminals 300. In this embodiment, communication terminal 300 is an example of an information processing device having a CPU (Central Processing Unit) and memory.

本実施形態の情報処理システム１００では、これら複数の装置により、複数の拠点間でいわゆるビデオ会議を行う。 In the information processing system 100 of this embodiment, these multiple devices are used to conduct so-called video conferences between multiple locations.

本実施形態のサーバ２００は、通信端末３００によるビデオ会議に関する各種制御を行う。例えば、サーバ２００は、ビデオ会議の開始時においては、各通信端末３００とサーバ２００との通信接続状態の監視、各通信端末３００に対する呼び出し等を行う。また、サーバ２００は、ビデオ会議中においては、複数の通信端末３００の間における各種データ（例えば、映像データ、音声データ、描画データ等）の転送処理等を行う。 In this embodiment, the server 200 performs various controls related to the video conference held by the communication terminals 300. For example, at the start of the video conference, the server 200 monitors the communication connection status between each communication terminal 300 and the server 200, and calls each communication terminal 300. During the video conference, the server 200 also performs processes such as transferring various data (e.g., video data, audio data, drawing data, etc.) between multiple communication terminals 300.

本実施形態の通信端末３００は、映像処理装置、撮像装置の一例である。通信端末３００は、ビデオ会議が行われる各拠点に設置され、ビデオ会議の参加者によって使用される。例えば、通信端末３００は、ビデオ会議において入力された各種データ（例えば、映像データ、音声データ、描画データ等）を、ネットワークＮ及びサーバ２００を介して、他の通信端末３００へ送信する。 The communication terminal 300 of this embodiment is an example of a video processing device or an imaging device. The communication terminal 300 is installed at each location where a video conference is held and is used by the participants of the video conference. For example, the communication terminal 300 transmits various data (e.g., video data, audio data, drawing data, etc.) input during the video conference to other communication terminals 300 via the network N and the server 200.

また、例えば、通信端末３００は、他の通信端末３００から受信した各種データを、データの種類に応じた出力方法（例えば、表示、音声出力等）によって出力することにより、ビデオ会議の参加者へ呈示する。 Furthermore, for example, the communication terminal 300 presents various data received from other communication terminals 300 to participants in the video conference by outputting the data using an output method (e.g., display, audio output, etc.) appropriate for the type of data.

また、本実施形態の通信端末３００－１、３００－２、・・・、３００－Ｎのそれぞれは、本実施形態の主要な処理を実現する機能部として、映像解析部３１０－１、３１０－２、・・・、３１０－Ｎ、映像生成部３２０－１、３２０－２、・・・、３２０－Ｎを有する。 Furthermore, each of the communication terminals 300-1, 300-2, ..., 300-N of this embodiment has a video analysis unit 310-1, 310-2, ..., 310-N and a video generation unit 320-1, 320-2, ..., 320-N as functional units that realize the main processing of this embodiment.

本実施形態の映像解析部３１０－１、３１０－２、・・・、３１０－Ｎは、それぞれが同様の機能を実現するものである。以下の説明では、映像解析部３１０－１、３１０－２、・・・、３１０－Ｎを区別しない場合には、映像解析部３１０と呼ぶ。また、本実施形態の映像生成部３２０－１、３２０－２、・・・、３２０－Ｎは、それぞれが同様の機能を実現するものである。以下の説明では、映像生成部３２０－１、３２０－２、・・・、３２０－Ｎを区別しない場合には、映像生成部３２０と呼ぶ。 In this embodiment, the video analysis units 310-1, 310-2, ..., 310-N each realize the same functions. In the following description, when there is no need to distinguish between the video analysis units 310-1, 310-2, ..., 310-N, they will be referred to as video analysis unit 310. Furthermore, in this embodiment, the video generation units 320-1, 320-2, ..., 320-N each realize the same functions. In the following description, when there is no need to distinguish between the video generation units 320-1, 320-2, ..., 320-N, they will be referred to as video generation unit 320.

本実施形態の通信端末３００において、映像解析部３１０は、複数の通信端末３００のそれぞれが撮像部から取得した画像データを解析し、画像データから認識される人物の顔画像から人物の表情を推定する。画像データから認識される人物とは、通信端末３００が設置された拠点における会議の参加者である。 In the communication terminal 300 of this embodiment, the video analysis unit 310 analyzes image data acquired from the imaging unit of each of the multiple communication terminals 300, and estimates the facial expression of a person from a facial image of the person recognized from the image data. The person recognized from the image data is a participant in a conference at the location where the communication terminal 300 is installed.

また、映像解析部３１０は、他の通信端末３００から、特定の表情の検知の要求を受け付ける。ここでは、他の通信端末３００とは、参加者が発話している拠点に設置された通信端末３００である。以下の説明では、参加者が発話している拠点に設置された通信端末３００を発話者端末３００と呼ぶ場合がある。 The video analysis unit 310 also receives requests to detect specific facial expressions from other communication terminals 300. Here, the other communication terminals 300 are communication terminals 300 installed at the locations where participants are speaking. In the following description, the communication terminals 300 installed at the locations where participants are speaking may be referred to as speaker terminals 300.

そして、映像解析部３１０は、画像データから特定の表情が推定されると、撮像部が取得した画像データと共に、特定の表情が推定されたことを示す情報を発話者端末３００に送信する。本実施形態の特定の表情とは、例えば、不安そうな表情、無関心な表情、眠そうな表情等であっても良い。 Then, when a specific facial expression is estimated from the image data, the video analysis unit 310 transmits information indicating that a specific facial expression has been estimated to the speaker terminal 300, along with the image data acquired by the imaging unit. In this embodiment, the specific facial expression may be, for example, an anxious expression, an indifferent expression, a sleepy expression, etc.

本実施形態の映像生成部３２０は、自機が発話者端末３００である場合、他の通信端末３００から、特定の表情が推定されたことを示す情報と共に画像データを受信すると、この画像データと、画像データの送信元の拠点の参加者の表情を通知する情報とを含む画像データを生成し、表示部に表示させる。 In this embodiment, when the video generation unit 320 is the speaker terminal 300 and receives image data from another communication terminal 300 together with information indicating that a specific facial expression has been estimated, the video generation unit 320 generates image data including this image data and information notifying the facial expression of the participant at the location from which the image data was sent, and displays the image data on the display unit.

このように、本実施形態の通信端末３００は、自機が発話者端末３００でない場合には、参加者の表情を推定し、発話者端末３００から検知の要求があった表情が推定された場合に、推定結果を発話者端末３００へ送信する。 In this way, when the communication terminal 300 of this embodiment is not the speaker terminal 300, it estimates the facial expressions of the participants, and when it estimates the facial expression requested for detection by the speaker terminal 300, it transmits the estimation result to the speaker terminal 300.

また、本実施形態の通信端末３００は、自機が発話者端末３００である場合には、他の通信端末３００から、参加者から特定の表情が推定されたことを示す通知を受けて、この参加者の画像データと、特定の表情であることを示す通知と、出力する。 Furthermore, when the communication terminal 300 of this embodiment is the speaker terminal 300, it receives a notification from another communication terminal 300 indicating that a specific facial expression has been estimated from a participant, and outputs image data of this participant and a notification indicating that it is a specific facial expression.

したがって、本実施形態によれば、例えば、話者の話の内容が理解できずに困っている参加者や、話の内容に興味を持ってもらいたい参加者等のように、発話者が重視すべき聞き手を見つけ、発話者に通知することができる。また、本実施形態では、発話者が重視すべき聞き手を画面に表示させることで、この聞き手の様子を発話者に把握させることができる。 Accordingly, this embodiment makes it possible for a speaker to identify and notify listeners who should be given priority by the speaker, such as participants who are having trouble understanding what the speaker is saying, or participants who the speaker wants to attract interest in what is being said. Furthermore, this embodiment makes it possible for the speaker to understand the state of these listeners by displaying on the screen the listeners that the speaker should give priority to.

以下に、本実施形態の情報処理システム１００の有する各装置のハードウェア構成について説明する。 The hardware configuration of each device in the information processing system 100 of this embodiment is described below.

図２は、第一の実施形態のサーバのハードウェア構成の一例を示す図である。本実施形態のサーバ２００は、コンピュータによって構築されており、ＣＰＵ２３１、ＲＯＭ２３２、ＲＡＭ２３３、ＨＤ２３４、ＨＤＤ(Hard Disk Drive)コントローラ２３５、ディスプレイ２３６、外部機器接続Ｉ／Ｆ(Interface)２３８、ネットワークＩ／Ｆ２３９、データバスＢ、キーボード２４１、ポインティングデバイス２４２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ２４４、メディアＩ／Ｆ２４６を備えている。 Figure 2 is a diagram showing an example of the hardware configuration of a server according to the first embodiment. The server 200 according to this embodiment is constructed using a computer and includes a CPU 231, ROM 232, RAM 233, HDD 234, HDD (Hard Disk Drive) controller 235, display 236, external device connection I/F (Interface) 238, network I/F 239, data bus B, keyboard 241, pointing device 242, DVD-RW (Digital Versatile Disk Rewritable) drive 244, and media I/F 246.

これらのうち、ＣＰＵ２３１は、サーバ５全体の動作を制御する。ＲＯＭ２３２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ２３１の駆動に用いられるプログラムを記憶する。ＲＡＭ２３３は、ＣＰＵ２３１のワークエリアとして使用される。ＨＤ２３４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２３５は、ＣＰＵ２３１の制御にしたがってＨＤ２３４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ２３６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。 Of these, the CPU 231 controls the overall operation of the server 5. The ROM 232 stores programs used to drive the CPU 231, such as the IPL (Initial Program Loader). The RAM 233 is used as a work area for the CPU 231. The HD 234 stores various data such as programs. The HDD controller 235 controls the reading and writing of various data from the HD 234 under the control of the CPU 231. The display 236 displays various information such as a cursor, menu, window, text, or image.

外部機器接続Ｉ／Ｆ２３８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２３９は、ネットワークＮを利用してデータ通信をするためのインターフェースである。バスラインＢは、図３に示されているＣＰＵ２３１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 The external device connection I/F 238 is an interface for connecting various external devices. In this case, external devices include, for example, USB (Universal Serial Bus) memory and printers. The network I/F 239 is an interface for data communication using the network N. The bus line B is an address bus, data bus, etc. for electrically connecting each component such as the CPU 231 shown in Figure 3.

また、キーボード２４１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２４２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ２４４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ２４３に対する各種データの読み出し又は書き込みを制御する。尚、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ２４６は、フラッシュメモリ等の記録メディア２４５に対するデータの読み出し又は書き込み（記憶）を制御する。 The keyboard 241 is a type of input device equipped with multiple keys for inputting characters, numbers, various instructions, etc. The pointing device 242 is a type of input device for selecting and executing various instructions, selecting processing targets, moving the cursor, etc. The DVD-RW drive 244 controls the reading and writing of various data from a DVD-RW 243, which is an example of a removable recording medium. Note that this is not limited to a DVD-RW, and may be a DVD-R or the like. The media I/F 246 controls the reading and writing (storing) of data from a recording medium 245, such as a flash memory.

図３は、通信端末のハードウェア構成の一例を示す図である。図３では、通信端末３００をビデオ会議端末の一例とした場合の通信端末３００のハードウェア構成を示している。 Figure 3 is a diagram showing an example of the hardware configuration of a communication terminal. Figure 3 shows the hardware configuration of communication terminal 300 when communication terminal 300 is an example of a video conference terminal.

尚、ビデオ会議端末７は、通信端末３００の一例であり、通信端末３００は、ビデオ会議端末７に限定されない。通信端末３００の他の例は、後述する。 Note that the video conference terminal 7 is an example of a communication terminal 300, and the communication terminal 300 is not limited to the video conference terminal 7. Other examples of the communication terminal 300 will be described later.

ビデオ会議端末７は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、フラッシュメモリ７０４、ＳＳＤ７０５、メディアＩ／Ｆ７０７、操作ボタン７０８、電源スイッチ７０９、バスライン７１０、ネットワークＩ／Ｆ７１１、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ７１２、撮像素子Ｉ／Ｆ７１３、マイク７１４、スピーカ７１５、音入出力Ｉ／Ｆ７１６、ディスプレイＩ／Ｆ７１７、外部機器接続Ｉ／Ｆ(Interface)７１８、近距離通信回路７１９、近距離通信回路７１９のアンテナ７１９ａを備えている。 The video conference terminal 7 includes a CPU 701, ROM 702, RAM 703, flash memory 704, SSD 705, media I/F 707, operation buttons 708, power switch 709, bus line 710, network I/F 711, CMOS (Complementary Metal Oxide Semiconductor) sensor 712, image sensor I/F 713, microphone 714, speaker 715, sound input/output I/F 716, display I/F 717, external device connection I/F (Interface) 718, short-range communication circuit 719, and antenna 719a of the short-range communication circuit 719.

これらのうち、ＣＰＵ７０１は、ビデオ会議端末７全体の動作を制御する。ＲＯＭ７０２は、ＩＰＬ等のＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。フラッシュメモリ７０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。尚、フラッシュメモリ704はSSD705の内部に搭載されたフラッシュメモリであってもよい。 Of these, the CPU 701 controls the overall operation of the videoconferencing terminal 7. The ROM 702 stores programs used to drive the CPU 701, such as IPL. The RAM 703 is used as a work area for the CPU 701. The flash memory 704 stores various data such as communication programs, image data, and sound data. Note that the flash memory 704 may be a flash memory mounted inside the SSD 705.

ＳＳＤ７０５は、ＣＰＵ７０１の制御にしたがってフラッシュメモリ７０４に対する各種データの読み出し又は書き込みを制御する。尚、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。操作ボタン７０８は、ビデオ会議端末７の宛先を選択する場合などに操作されるボタンである。電源スイッチ７０９は、ビデオ会議端末７の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。 The SSD 705 controls the reading and writing of various data from and to the flash memory 704 under the control of the CPU 701. Note that an HDD may be used instead of an SSD. The media I/F 707 controls the reading and writing (storage) of data from and to a recording medium 706 such as a flash memory. The operation button 708 is a button that is operated when selecting a destination for the video conference terminal 7, for example. The power switch 709 is a switch for turning the power of the video conference terminal 7 ON/OFF.

また、ネットワークＩ／Ｆ７１１は、インターネット等のネットワークＮを利用してデータ通信をするためのインターフェースである。ＣＭＯＳセンサ７１２は、ＣＰＵ７０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。尚、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。 The network I/F 711 is an interface for data communication using a network N such as the Internet. The CMOS sensor 712 is a type of built-in imaging device that captures an image of a subject under the control of the CPU 701 to obtain image data. Note that instead of a CMOS sensor, an imaging device such as a CCD (Charge Coupled Device) sensor may also be used.

撮像素子Ｉ／Ｆ７１３は、ＣＭＯＳセンサ７１２の駆動を制御する回路である。マイク７１４は、音を電気信号に変える内蔵型の回路である。スピーカ７１５は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ７１６は、ＣＰＵ７０１の制御に従ってマイク７１４及びスピーカ７１５との間で音信号の入出力を処理する回路である。 The image sensor I/F 713 is a circuit that controls the driving of the CMOS sensor 712. The microphone 714 is a built-in circuit that converts sound into an electrical signal. The speaker 715 is a built-in circuit that converts the electrical signal into physical vibrations to produce sounds such as music or voice. The sound input/output I/F 716 is a circuit that processes the input and output of sound signals between the microphone 714 and speaker 715 under the control of the CPU 701.

ディスプレイＩ／Ｆ７１７は、ＣＰＵ７０１の制御に従って外付けのディスプレイに画像データを送信する回路である。外部機器接続Ｉ／Ｆ７１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路７１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。 The display I/F 717 is a circuit that transmits image data to an external display under the control of the CPU 701. The external device connection I/F 718 is an interface for connecting various external devices. The short-range communication circuit 719 is a communication circuit such as NFC (Near Field Communication) or Bluetooth (registered trademark).

また、バスライン７１０は、図３に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Furthermore, bus line 710 is an address bus, data bus, etc. for electrically connecting each component such as CPU 701 shown in Figure 3.

ディスプレイＩ／Ｆ７１７と接続されるディスプレイは、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)等によって構成された表示手段の一種である。また、ディスプレイは、ケーブルによってディスプレイＩ／Ｆ７１７と接続される。このケーブルは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。 The display connected to the display I/F 717 is a type of display means configured with liquid crystal or organic EL (Electro Luminescence) for displaying subject images, operation icons, etc. The display is also connected to the display I/F 717 via a cable. This cable may be a cable for analog RGB (VGA) signals, a cable for component video, or a cable for HDMI (High-Definition Multimedia Interface) (registered trademark) or DVI (Digital Video Interactive) signals.

尚、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ７１２は、ＣＰＵ７０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。尚、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。外部機器接続Ｉ／Ｆ７１８には、ＵＳＢケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。 The CMOS (Complementary Metal Oxide Semiconductor) sensor 712 is a type of built-in imaging device that captures an image of a subject under the control of the CPU 701 to obtain image data. Instead of a CMOS sensor, an imaging device such as a CCD (Charge Coupled Device) sensor may also be used. External devices such as an external camera, external microphone, and external speakers can be connected to the external device connection I/F 718 via a USB cable or the like.

外付けカメラが接続された場合には、ＣＰＵ７０１の制御に従って、内蔵型のＣＭＯＳセンサ７１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ７０１の制御に従って、それぞれが内蔵型のマイク７１４や内蔵型のスピーカ７１５に優先して、外付けマイクや外付けスピーカが駆動する。 When an external camera is connected, the external camera is driven under the control of the CPU 701, prioritizing the built-in CMOS sensor 712. Similarly, when an external microphone or external speaker is connected, the external microphone or external speaker is driven under the control of the CPU 701, prioritizing the built-in microphone 714 or built-in speaker 715, respectively.

また、記録メディア７０６は、ビデオ会議端末７に対して着脱自在な構成となっている。また、ＣＰＵ７０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ７０４に限らず、ＥＥＰＲＯＭ等を用いてもよい。 The recording medium 706 is configured to be detachable from the videoconference terminal 7. Furthermore, the storage medium is not limited to the flash memory 704, and EEPROM or other non-volatile memory may be used as long as it reads or writes data under the control of the CPU 701.

次に、図４を参照して、本実施形態の通信端末３００の機能について説明する。図４は、第一の実施形態の通信端末の機能を説明する図である。 Next, the functions of the communication terminal 300 of this embodiment will be described with reference to Figure 4. Figure 4 is a diagram explaining the functions of the communication terminal of the first embodiment.

本実施形態の通信端末３００は、映像解析部３１０、映像生成部３２０、映像編集部３３０、音声処理部３４０、全体処理部３５０、撮像部３６１、集音部３６２、音声出力部
３６３、ネットワーク処理部３６４、コーデック部３６５、操作部３６６、録画部３６７を有する。上述した各部は、ＣＰＵ７０１が、ＲＯＭ７０２等に格納されたプログラムを読み出して実行することで、実現される。また、本実施形態の通信端末３００は、記憶部３６８を有する。記憶部３６８は、例えば、ＲＡＭ等に設けられた記憶領域である。 The communication terminal 300 of this embodiment has a video analysis unit 310, a video generation unit 320, a video editing unit 330, an audio processing unit 340, an overall processing unit 350, an imaging unit 361, a sound collection unit 362, an audio output unit 363, a network processing unit 364, a codec unit 365, an operation unit 366, and a recording unit 367. Each of the above-mentioned units is realized by the CPU 701 reading and executing a program stored in the ROM 702 or the like. The communication terminal 300 of this embodiment also has a memory unit 368. The memory unit 368 is, for example, a memory area provided in a RAM or the like.

映像解析部３１０は、画像データに含まれる顔画像の認識や、表情の推定を行う。映像解析部３１０の詳細は後述する。 The video analysis unit 310 recognizes facial images contained in image data and estimates facial expressions. Details of the video analysis unit 310 will be described later.

尚、本実施形態の画像は静止画と動画を含み、本実施形態の画像データは静止画データと動画データを含む。本実施形態では、情報処理システム１００において、ビデオ会議中に撮像部３６１で撮像される画像データは、動画データとする。また、以下の説明では、動画データと音声データとを同期させたデータを映像データと呼ぶ場合がある。 Note that, in this embodiment, images include still images and videos, and image data in this embodiment includes still image data and video data. In this embodiment, in the information processing system 100, image data captured by the imaging unit 361 during a video conference is video data. In the following description, data in which video data and audio data are synchronized may be referred to as video data.

映像生成部３２０は、映像解析部３１０の処理結果に応じた画像データを生成する。映像編集部３３０は、ビデオ会議に参加している他の拠点に設置された他の通信端末３００から転送されてくる映像データを、ネットワーク処理部３６４を介して取り込み、映像生成部３２０で生成された画像データと合成して表示部３７０に表示させる。 The video generation unit 320 generates image data according to the processing results of the video analysis unit 310. The video editing unit 330 imports video data transferred from other communication terminals 300 installed at other locations participating in the video conference via the network processing unit 364, synthesizes it with the image data generated by the video generation unit 320, and displays it on the display unit 370.

表示部３７０は、例えば、通信端末３００と接続されるモニタ装置等であって良い。また、表示部３７０は、通信端末３００に含まれていても良い。 The display unit 370 may be, for example, a monitor device connected to the communication terminal 300. The display unit 370 may also be included in the communication terminal 300.

音声処理部３４０は、ネットワーク処理部３６４を介して受信した音声データを取得すると、コーデック処理、ノイズキャンセル等、音声データ処理では一般的とされている処理を行い、音声出力部３６３に転送する。また、音声処理部３４０は、集音部３６２に回り込んで入力される音声データに対してエコーキャンセル（ＥＣ）処理を行う。 When the audio processing unit 340 acquires audio data received via the network processing unit 364, it performs common audio data processing such as codec processing and noise cancellation, and transfers the data to the audio output unit 363. The audio processing unit 340 also performs echo cancellation (EC) processing on the audio data that is input to the sound collection unit 362.

また、本実施形態の音声処理部３４０は、話者追従検知部３４１を有する。話者追従検知部３４１は、集音部３６２が集音した音声データと、映像解析部３１０によって検知された人物の顔画像と、に基づき、話者を検知し、追従する。本実施形態の話者追従検知部３４１は、話者を追従している間は、ネットワーク処理部３６４を介して、発話者を特定する情報を他の拠点の通信端末３００へ送信しても良い。 The audio processing unit 340 of this embodiment also has a speaker tracking detection unit 341. The speaker tracking detection unit 341 detects and tracks the speaker based on the audio data collected by the audio collection unit 362 and the facial image of the person detected by the video analysis unit 310. While tracking the speaker, the speaker tracking detection unit 341 of this embodiment may transmit information identifying the speaker to a communication terminal 300 at another location via the network processing unit 364.

全体処理部３５０は、通信端末３００全体の制御を司る。また、全体処理部３５０は、会議の参加者等の指示に従って各ジュールやブロックのモード設定やステータス管理を行う。 The overall processing unit 350 is responsible for overall control of the communication terminal 300. The overall processing unit 350 also performs mode setting and status management for each module and block according to instructions from conference participants, etc.

具体的には、全体処理部３５０は、例えば、集音部３６２から音声処理部３４０に音声データが入力された場合には、自機が発話者端末３００となったものとする。 Specifically, for example, when audio data is input from the sound collection unit 362 to the audio processing unit 340, the overall processing unit 350 assumes that its own device has become the speaker terminal 300.

また、全体処理部３５０は、例えば、自機が発話者端末３００となった場合に、他の通信端末３００において、検知を要求する参加者の表情の設定等を受け付ける、そして、全体処理部３５０は、自機が発話者端末３００となった場合に、設定された表情の検知を他の通信端末３００に要求する。 Furthermore, when the overall processing unit 350 becomes the speaker terminal 300, for example, it accepts the settings of the facial expressions of the participants that are requested to be detected from the other communication terminals 300, and when the overall processing unit 350 becomes the speaker terminal 300, it requests the other communication terminals 300 to detect the set facial expressions.

また、本実施形態の全体処理部３５０は、表示部３７０の表示に関わるにレイアウト設定や指示を映像生成部３２０に対して行い、画面レイアウト制御の状況に合わせて、他の通信端末３００に送信するメッセージの生成や選択を行う。 In addition, the overall processing unit 350 of this embodiment performs layout settings and instructions related to the display on the display unit 370 on the video generation unit 320, and generates and selects messages to be sent to other communication terminals 300 according to the screen layout control status.

具体的には、全体処理部３５０は、他の通信端末３００から、要求した表情が検知されたことを示す通知を受けると、この通知の送信元から送信される画像データと、この通知とが表示部３７０に表示されるように、レイアウトを制御する。 Specifically, when the overall processing unit 350 receives a notification from another communication terminal 300 indicating that the requested facial expression has been detected, it controls the layout so that the image data sent from the sender of this notification and this notification are displayed on the display unit 370.

撮像部３６１は、カメラモジュールであり、ＣＭＯＳセンサ７１２、撮像素子Ｉ／Ｆ等によって撮像された画像の画像データを取得する。撮像部３６１は、会議シーンの画像データ（動画データ）の入力を行う。撮像部３６１は、例えば、レンズ、及びレンズを介して集光された映像を電気信号に変換するイメージセンサ、イメージセンサから転送されたＲＡＷデータに対して、ＤＳＰ（digital signal processor）により、既知となっている各種の処理を加えて、ＹＵＶデータを生成する。 The imaging unit 361 is a camera module that acquires image data of images captured by the CMOS sensor 712, the image sensor I/F, etc. The imaging unit 361 inputs image data (video data) of the conference scene. The imaging unit 361 includes, for example, a lens and an image sensor that converts the image collected through the lens into an electrical signal, and a DSP (digital signal processor) that applies various known processes to the RAW data transferred from the image sensor to generate YUV data.

集音部３６２は、マイクに入力された音声の音声データを取得する。集音部３６２は、会議における発話者の音声データを集音すると、集音した音声データをデジタルデータに変換して音声処理部３４０へ転送する。尚、集音部３６２は、複数のマイクをアレイ形式から集音する形態としても良い。 The sound collection unit 362 acquires audio data of the voice input to the microphone. When the sound collection unit 362 collects the voice data of the speaker in the conference, it converts the collected voice data into digital data and transfers it to the audio processing unit 340. Note that the sound collection unit 362 may also be configured to collect sound from multiple microphones in an array format.

音声出力部３６３は、他の拠点に設置された他の通信端末３００から受信した音声データを、アナログ信号に変換して、スピーカに出力する。 The audio output unit 363 converts audio data received from other communication terminals 300 installed at other locations into analog signals and outputs them to a speaker.

ネットワーク処理部３６４は、送信する画像データについては、コーデック部３６５から転送されてきた符号化データを、ネットワークを介して送信先の通信端末３００に転送する。 For image data to be transmitted, the network processing unit 364 transfers the encoded data transferred from the codec unit 365 to the destination communication terminal 300 via the network.

また、ネットワーク処理部３６４は、他の通信端末３００から転送される符号化データについては、ネットワークを介して符号化データを取得し、その符号データをコーデック部３６５に転送する。尚、ネットワーク処理部３６４は、符号化パラメータ（ＱＰ値等）を決めるために、ネットワークの帯域を監視する機能を有しても良い。また、通信端末３００は、符号化パラメータや送信モードの設定を最適化するために、他の通信端末３００の機能や性能に関する情報を入力する機能が設けられていても良い。 Furthermore, for encoded data transferred from other communication terminals 300, the network processing unit 364 acquires the encoded data via the network and transfers the encoded data to the codec unit 365. Note that the network processing unit 364 may also have a function for monitoring the network bandwidth in order to determine encoding parameters (such as QP values). Furthermore, the communication terminal 300 may also have a function for inputting information regarding the functions and performance of other communication terminals 300 in order to optimize the settings of encoding parameters and transmission modes.

コーデック部３６５は、送受信される画像データのエンコード／デコード処理を行うためのコーデック回路又はソフトウェアによって実現される。 The codec unit 365 is implemented by a codec circuit or software for encoding/decoding image data to be transmitted and received.

コーデック部３６５は、送信する画像データについては、映像解析部３１０から入力された画像データに対して符号化処理を行い、符号化された画像データをネットワーク処理部３６４に転送する。また、コーデック部３６５は、受信する画像データについては、他の通信端末３００から、ネットワーク処理部３６４を経由して符号化された画像データを受信し、符号化された画像データに対して復号処理して、映像生成部３２０に転送する。 For image data to be transmitted, the codec unit 365 performs encoding processing on the image data input from the video analysis unit 310 and transfers the encoded image data to the network processing unit 364. For image data to be received, the codec unit 365 receives encoded image data from other communication terminals 300 via the network processing unit 364, decodes the encoded image data, and transfers it to the video generation unit 320.

操作部３６６は、会議の参加者等による、パン／チルト操作を受け付ける。また、操作部３６６は、各種の設定や会議の参加者の呼び出し等のオペレーション操作が行われる。 The operation unit 366 accepts pan/tilt operations by conference participants, etc. The operation unit 366 also performs various settings, calls to conference participants, and other operations.

録画部３６７は、映像生成部３２０、音声処理部３４０から、会議中の音声データや映像データを取得し、会議シーンの映像を録画する。本実施形態では、音声処理部３４０、映像生成部３２０に録画データを出力し、会議シーンを再生することができる。 The recording unit 367 acquires audio data and video data from the conference from the video generation unit 320 and audio processing unit 340, and records video of the conference scene. In this embodiment, the recording data is output to the audio processing unit 340 and video generation unit 320, allowing the conference scene to be played back.

記憶部３６８は、例えば、ＲＡＭ等で実現されるものであり、映像解析部３１０の処理結果が一時される。 The memory unit 368 is realized, for example, by RAM, and temporarily stores the processing results of the video analysis unit 310.

次に、本実施形態の映像解析部３１０についてさらに説明する。本実施形態の映像解析部３１０は、顔検知部３１１、動作検出部３１２、表情推定部３１３、判定部３１４を有する。 Next, the video analysis unit 310 of this embodiment will be further described. The video analysis unit 310 of this embodiment has a face detection unit 311, a movement detection unit 312, a facial expression estimation unit 313, and a determination unit 314.

本実施形態の顔検知部３１１は、撮像部３６１が撮像した画像データ（動画データ）から、人物の顔を検知する。また、顔検知部３１１は、人物の顔が検知された領域の位置を示す情報を動作検出部３１２へ提供する。 In this embodiment, the face detection unit 311 detects a person's face from image data (video data) captured by the imaging unit 361. The face detection unit 311 also provides the movement detection unit 312 with information indicating the position of the area in which the person's face is detected.

動作検出部３１２は、顔検知部３１１から提供された位置情報に基づき、人物の画像データを取得して、動きを分析する。具体的には、動作検出部３１２は、挙手をしている、頷いている、モニタ（表示部３７０）を見ている又は見ていない、寝ている、等の動きを検出し、検出結果を記憶部３６８に格納する。 The movement detection unit 312 acquires image data of a person and analyzes their movements based on the position information provided by the face detection unit 311. Specifically, the movement detection unit 312 detects movements such as raising a hand, nodding, looking at or not looking at the monitor (display unit 370), sleeping, etc., and stores the detection results in the memory unit 368.

表情推定部３１３は、取得した画像データに基づき、人物の表情を推定し、推定結果を記憶部３６８へ格納する。具体的には、表情推定部３１３は、例えば、人物の顔画像の変化から、喜び・驚き・怒り・悲しみ・不安等の表情を推定しても良い。 The facial expression estimation unit 313 estimates the facial expression of the person based on the acquired image data and stores the estimation result in the memory unit 368. Specifically, the facial expression estimation unit 313 may estimate facial expressions such as joy, surprise, anger, sadness, and anxiety from changes in the person's facial image, for example.

判定部３１４は、記憶部３６８を参照し、表情推定部３１３による推定結果や、動作検出部３１２による検知結果が、発話者端末３００から要求された表情であるか否かを判定し、判定結果を全体処理部３５０へ通知する。 The determination unit 314 refers to the memory unit 368 and determines whether the estimation result by the facial expression estimation unit 313 or the detection result by the movement detection unit 312 is the facial expression requested by the speaker terminal 300, and notifies the overall processing unit 350 of the determination result.

具体的には、例えば、発話者端末３００から要求された表情が「不安」であった場合、判定部３１４は、表情推定部３１３によって推定された表情が「不安」であるか否かを判定する。そして、判定部３１４は、推定された表情が「不安」であった場合には、要求された表情が検知されたことを全体処理部３５０へ通知する。 Specifically, for example, if the facial expression requested by the speaker terminal 300 is "anxiety," the determination unit 314 determines whether the facial expression estimated by the facial expression estimation unit 313 is "anxiety." If the estimated facial expression is "anxiety," the determination unit 314 notifies the overall processing unit 350 that the requested facial expression has been detected.

次に、図５を参照して、本実施形態の通信端末３００の動作について説明する。図５は、第一の実施形態の通信端末の動作を説明するフローチャートである。 Next, the operation of the communication terminal 300 of this embodiment will be described with reference to Figure 5. Figure 5 is a flowchart explaining the operation of the communication terminal of the first embodiment.

本実施形態の通信端末３００は、全体処理部３５０により、起動時に各モジュールの初期設定を行い、撮像部３６１での撮影が可能な状態とする（ステップＳ５０１）。 In this embodiment, the communication terminal 300 uses the overall processing unit 350 to perform initial settings for each module at startup, enabling the imaging unit 361 to capture images (step S501).

続いて、通信端末３００は、遠隔会議に参加している参加者の情報を取得する（ステップＳ５０２）。 Next, the communication terminal 300 acquires information about the participants participating in the remote conference (step S502).

具体的には、通信端末３００は、顔認証機能を有していても良い。この場合、通信端末３００は、他の拠点に設置された通信端末３００から、参加者の顔画像に参加者名が付与された画像データを取得しても良い。 Specifically, the communication terminal 300 may have a facial recognition function. In this case, the communication terminal 300 may acquire image data in which the participant's name is added to the facial image of the participant from a communication terminal 300 installed at another location.

また、本実施形態では、サーバ２００において、遠隔会議の参加者の顔認証を行い、サーバ２００が各拠点の通信端末３００に参加者の顔画像に参加者名が付与された画像データを配信しても良い。 In addition, in this embodiment, the server 200 may perform facial authentication of the participants in the remote conference, and the server 200 may distribute image data in which the participant's name is assigned to the facial image of the participant to the communication terminal 300 at each location.

さらに、通信端末３００やサーバ２００に顔認証機能が備えられていない場合には、各拠点において、遠隔会議の参加者が自身の氏名を参加者情報として入力し、他の拠点の通信端末３００へ送信しても良い。 Furthermore, if the communication terminal 300 or server 200 does not have a facial recognition function, participants in the remote conference at each location may enter their own names as participant information and send it to communication terminals 300 at other locations.

続いて、通信端末３００は、遠隔会議を開始させ、タイマを初期化してカウントを開始させる（ステップＳ５０３）。尚、タイマのカウント値は、表示部３７０の画面レイアウトが更新（変更）されてからの時間を示す。また、例えば、タイマは、全体処理部３５０の機能の一部として有していても良い。 Next, the communication terminal 300 starts the remote conference, initializes the timer, and starts counting (step S503). The timer's count value indicates the time since the screen layout of the display unit 370 was updated (changed). Also, for example, the timer may be included as part of the overall processing unit 350's functions.

続いて、通信端末３００は、表示部３７０の表示に関する設定の変更を行うか否を判定する（ステップＳ５０４）。尚、遠隔会議の開始直後の表示部３７０の表示レイアウトは、デフォルトの設定のままか、又は、最後に設定された表示レイアウトが維持されているものとする。 Next, the communication terminal 300 determines whether to change the display settings of the display unit 370 (step S504). It is assumed that the display layout of the display unit 370 immediately after the start of the remote conference remains at the default settings, or the display layout last set is maintained.

ステップＳ５０４において、設定の変更を行わない場合、通信端末３００は、後述するステップＳ５０７へ進む。 If no settings are to be changed in step S504, the communication terminal 300 proceeds to step S507, which will be described later.

ステップＳ５０４において、表示部３７０の表示レイアウトに関する設定内容の変更を行う場合、通信端末３００は、操作部３６６により、設定内容の変更を受け付ける画面を表示させ、全体処理部３５０により、受け付けた設定を行う（ステップＳ５０５）。 In step S504, if changes are to be made to the settings related to the display layout of the display unit 370, the communication terminal 300 causes the operation unit 366 to display a screen for accepting changes to the settings, and the overall processing unit 350 implements the accepted settings (step S505).

本実施形態の表示レイアウトに関する設定内容には、検知すべき表情（検知対象の表情）や、検知すべき動作を示す情報を含む。 The settings for the display layout in this embodiment include information indicating the facial expression to be detected (the facial expression of the detection target) and the movement to be detected.

また、設定内容は、表示部３７０に画面を表示する拠点の数や、拠点毎の画像の大きさ（画素数）、拠点毎の画像のレイアウトの指定を示す情報を含む。また、設定内容は、拠点毎に付与する優先順位の付与の仕方を示す情報を含む。 The settings also include information indicating the number of locations for which screens will be displayed on the display unit 370, the size (number of pixels) of the images for each location, and the layout of the images for each location. The settings also include information indicating how to assign priorities to each location.

具体的には、例えば、設定内容は、以下の例が考えられる。
例１）参加者が発言中である拠点の優先順位を最も高くし、その前に発言した参加者がいる拠点の優先順位を、その次とするように、過去の参加者の発言順に応じて拠点に優先順位を付与する。
例２）参加者が発言中である拠点の優先順位を最も高くし、次に、発言時間の累計順に優先順位を付与する。
例３）映像解析部３１０の表情推定部３１３によって、参加者の表情が「不安」と推定された拠点を抽出し、優先順位を付与する。この場合には、例えば、拠点毎に、参加者の表情が「不安」と推定される頻度をログ情報として記憶部３６８に保持しておき、この頻度が高い拠点から順に優先順位を付与する。
例４）参加者が発言中である拠点の優先順位を最も高くし、参加者の表情が「不安」と推定された拠点に対し、次に高い優先順位を付与する。 Specifically, for example, the following setting contents can be considered:
Example 1) Priority is assigned to locations based on the order in which previous participants spoke, with the highest priority being given to the location where a participant is currently speaking, followed by the location where the participant who spoke previously.
Example 2) The location where a participant is speaking is given the highest priority, followed by the location where the participant has been speaking in order of cumulative speaking time.
Example 3) The facial expression estimation unit 313 of the video analysis unit 310 extracts locations where the participant's facial expression is estimated to be "anxious" and assigns a priority to those locations. In this case, for example, the frequency with which the participant's facial expression is estimated to be "anxious" for each location is stored as log information in the storage unit 368, and the locations are assigned a priority in descending order of frequency.
Example 4) The location where a participant is speaking is given the highest priority, and the location where the participant's facial expression is estimated to be "anxious" is given the next highest priority.

尚、表示レイアウトに関する設定内容は、上述した例に限定されず、拠点毎に通信端末３００の利用者（参加者）によって、任意に設定されて良い。 Note that the settings for the display layout are not limited to the examples described above, and may be set arbitrarily by the user (participant) of the communication terminal 300 for each location.

続いて、通信端末３００は、ネットワーク処理部３６４を介して、設定内容を各拠点の他の通信端末３００に通知し、タイマを再び初期化してカウントを開始させる（ステップＳ５０６）。 Next, the communication terminal 300 notifies the other communication terminals 300 at each base of the setting contents via the network processing unit 364, and re-initializes the timer to start counting (step S506).

通信端末３００において、例えば、表示レイアウトに関する設定内容が、例１に示す内容であったとする。この場合、他の通信端末３００は、自機の判定部３１４により記憶部３６８を参照し、動作検出部３１２の検出結果が「発話」であるか否かを判定する。 For example, suppose the settings for the display layout on the communication terminal 300 are as shown in Example 1. In this case, the other communication terminal 300 references the memory unit 368 via its own determination unit 314 and determines whether the detection result of the action detection unit 312 is "speaking."

そして、他の通信端末３００は、動作検出部３１２の検出結果が「発話」である場合、参加者の画像データと共に、「発話」を検出したことを示す情報を通信端末３００へ送信する。 Then, if the detection result of the action detection unit 312 is "speech," the other communication terminal 300 transmits information indicating that "speech" has been detected to the communication terminal 300, along with image data of the participant.

また、通信端末３００において、例えば、表示レイアウトに関する設定内容として、例３の設定がなされたとする。この場合、通信端末３００は、他の拠点に設置された他の通信端末３００に対し、参加者の「不安」という表情を検知すべき情報として通知する。 Also, assume that the settings in Example 3 are configured as display layout settings on the communication terminal 300. In this case, the communication terminal 300 notifies other communication terminals 300 installed at other locations that a participant's facial expression of "anxiety" is information that should be detected.

この通知を受けた他の通信端末３００は、自機の判定部３１４により記憶部３６８を参照し、表情推定部３１３の推定結果が「不安」であるか否かを判定する。 When the other communication terminal 300 receives this notification, the device's determination unit 314 references the memory unit 368 and determines whether the estimation result from the facial expression estimation unit 313 is "anxiety."

そして、他の通信端末３００は、推定結果が「不安」である場合に、参加者の画像データと共に、「不安」という表情を検知したことを示す情報を通信端末３００へ送信する。 Then, if the estimation result is "anxious," the other communication terminal 300 transmits to the communication terminal 300 information indicating that it has detected an "anxious" facial expression, along with image data of the participant.

続いて、通信端末３００は、タイマのカウント値から、時間Ｔｍが経過したか否かを判定する（ステップＳ５０７）。ステップＳ５０７において、時間Ｔｍが経過していない場合、通信端末３００は、後述するステップＳ５１３へ進む。 Next, the communication terminal 300 determines whether the time Tm has elapsed based on the timer count value (step S507). If the time Tm has not elapsed in step S507, the communication terminal 300 proceeds to step S513, which will be described later.

ステップＳ５０７において、時間Ｔｍが経過した場合、通信端末３００は、レイアウトを変更するか否かを判定する（ステップＳ５０８）。 If time Tm has elapsed in step S507, the communication terminal 300 determines whether to change the layout (step S508).

ステップＳ５０８において、レイアウトを変更すると判定された場合、通信端末３００は、表示部３７０の表示レイアウトを設定に従って変更し（ステップＳ５０９）、後述するステップＳ５１２へ進む。 If it is determined in step S508 that the layout should be changed, the communication terminal 300 changes the display layout of the display unit 370 in accordance with the settings (step S509) and proceeds to step S512, which will be described later.

以下に、ステップＳ５０８とステップＳ５０９の処理について説明する。 The processing in steps S508 and S509 is explained below.

本実施形態の通信端末３００は、ステップＳ５０８において、各拠点において、検知すべき情報が検知されたか否かを判定している。 In step S508, the communication terminal 300 of this embodiment determines whether information that should be detected has been detected at each location.

例えば、表示レイアウトに関する設定内容として、例１の設定がなされた場合、通信端末３００は、各拠点から、画像データと共に「発話」という動作が検知されたことを示す情報を受信したか否かを判定する。 For example, if the settings for Example 1 are configured as the display layout settings, the communication terminal 300 determines whether it has received, along with image data, information from each location indicating that the action of "speaking" has been detected.

具体的には、通信端末３００は、全体処理部３５０により、所定時間の間に「発話」という動作が所定回数以上検知された拠点に対して、この拠点の参加者は「発話」中であると判定する。そして、全体処理部３５０は、参加者が「発話」中であると判定された拠点に対して最も高い優先順位を付与し、この拠点から送信される画像データが最も大きく表示されるように、表示部３７０の表示レイアウトを変更する。 Specifically, the overall processing unit 350 of the communication terminal 300 determines that a participant at a location where the action of "speaking" has been detected a predetermined number of times or more within a predetermined period of time is "speaking." The overall processing unit 350 then assigns the highest priority to the location where it has been determined that the participant is "speaking," and changes the display layout of the display unit 370 so that the image data sent from this location is displayed in the largest size.

また、例えば、表示レイアウトに関する設定内容として、例４の設定がなされた場合、通信端末３００は、画像データと共に「発話」という動作が検知されたことを示す情報を送信した拠点の有無と、画像データと共に「不安」な表情が検知されたことを示す情報を送信した拠点の有無とを判定する。 Furthermore, for example, if the settings for Example 4 are made as the settings related to the display layout, the communication terminal 300 determines whether there are any locations that have sent information indicating that the action of "speaking" has been detected along with the image data, and whether there are any locations that have sent information indicating that an "anxious" facial expression has been detected along with the image data.

具体的には、通信端末３００は、所定時間の間に「発話」という動作が所定回数以上検知された拠点に対して、この拠点の参加者は「発話」中であると判定する。 Specifically, the communication terminal 300 determines that a participant at a location is "speaking" when the "speaking" action is detected a predetermined number of times or more within a predetermined period of time.

また、通信端末３００は、所定時間の間に「不安」な表情が所定回数以上検知された拠点に対して、この拠点の参加者は「不安」な表情をしていると判定する。 Furthermore, if an "anxious" expression is detected at a location a predetermined number of times or more within a predetermined period of time, the communication terminal 300 determines that the participant at that location has an "anxious" expression.

通信端末３００は、参加者が発話中である拠点と、参加者が不安な表情である拠点とが有る場合に、参加者が発話中である拠点に対して、最も高い優先順位を付与し、参加者が不安な表情である拠点に対して、２番目に高い優先順位を付与する。 When there is a location where a participant is speaking and another location where a participant has an anxious expression, the communication terminal 300 assigns the highest priority to the location where the participant is speaking and the second highest priority to the location where the participant has an anxious expression.

そして、通信端末３００は、優先順位が高い拠点から順に、送信される画像データが大きく表示されるように、表示部３７０の表示レイアウトを変更する。 The communication terminal 300 then changes the display layout of the display unit 370 so that the image data to be sent is displayed larger in order of priority, starting with the location with the highest priority.

尚、通信端末３００は、例えば、全体処理部３５０により、表示レイアウトに対応したメッセージを、優先順位が付与された拠点の通信端末３００に送信しても良い。 Furthermore, the communication terminal 300 may, for example, use the overall processing unit 350 to send a message corresponding to the display layout to the communication terminal 300 at the base to which priority has been assigned.

ステップＳ５０８において、レイアウトを変更しない判定された場合、通信端末３００は、表示部３７０の表示レイアウトがデフォルトの状態であるいか否かを判定する（ステップＳ５１０）。 If it is determined in step S508 that the layout will not be changed, the communication terminal 300 determines whether the display layout of the display unit 370 is in the default state (step S510).

ステップＳ５１０において、表示レイアウトがデフォルトの状態である場合、通信端末３００は、後述するステップＳ５１３へ進む。ステップＳ５１０において、表示レイアウトがデフォルトの状態でない場合、通信端末３００は、表示レイアウトをデフォルトの状態に戻す（ステップＳ５１１）。 If the display layout is in the default state in step S510, the communication terminal 300 proceeds to step S513, which will be described later. If the display layout is not in the default state in step S510, the communication terminal 300 returns the display layout to the default state (step S511).

続いて、通信端末３００は、タイマをリセットし、再度カウントを開始させる（ステップＳ５１２）。続いて、通信端末３００は、遠隔会議が継続されているか否かを判定する（ステップＳ５１３）。具体的には、通信端末３００は、遠隔会議の終了指示を受け付けたか否かを判定している。 The communication terminal 300 then resets the timer and starts counting again (step S512). The communication terminal 300 then determines whether the remote conference is continuing (step S513). Specifically, the communication terminal 300 determines whether an instruction to end the remote conference has been received.

ステップＳ５１３において、遠隔会議が継続している場合、通信端末３００は、ステップＳ５０４へ戻る。ステップＳ５１３において、遠隔会議が終了する場合、通信端末３００は、処理を終了する。 If the remote conference is continuing in step S513, the communication terminal 300 returns to step S504. If the remote conference is ending in step S513, the communication terminal 300 ends the process.

以上のように、本実施形態では、参加者の表情を含む設定内容に応じて、表示部のレイアウトを変更することができる。また、本実施形態では、タイマを設定して時間Ｔｍをカウントすることで、各拠点での参加者の挙動に応じて表示レイアウトが頻繁に変更され、参加者に不快感を与えることを抑制している。 As described above, in this embodiment, the layout of the display can be changed according to the settings, including the facial expressions of the participants. Furthermore, in this embodiment, by setting a timer to count the time Tm, the display layout is frequently changed according to the behavior of the participants at each location, preventing discomfort to the participants.

次に、図６を参照して、本実施形態の通信端末３００の表示レイアウトについて説明する。図６は、第一の実施形態の通信端末の表示レイアウトの一例を示す図である。 Next, the display layout of the communication terminal 300 of this embodiment will be described with reference to Figure 6. Figure 6 is a diagram showing an example of the display layout of the communication terminal of the first embodiment.

図６の例では、拠点Ａ～Ｄのそれぞれに、通信端末３００－Ａ、３００－Ｂ、３００－Ｃ、３００－Ｄが設定されて、遠隔会議が開催されている。 In the example of Figure 6, communication terminals 300-A, 300-B, 300-C, and 300-D are set up at locations A to D, respectively, and a remote conference is being held.

また、図６の例では、拠点Ａの参加者が発話者であり、これまでの発話時間の累計は、拠点Ａの参加者、拠点Ｃの参加者、拠点Ｂの参加者、拠点Ｄの参加者である。 Furthermore, in the example of Figure 6, the participant at location A is the speaker, and the cumulative speaking time to date is the participants at location A, location C, location B, and location D.

そして、図６の例では、拠点Ａの通信端末３００－Ａでは、表示レイアウトに関する設定として、参加者の表情が「不安」と推定された拠点の優先順位を最も高くし、且つ、２拠点の画像を表示させる設定がされていたとする。 In the example of Figure 6, the display layout settings on communication terminal 300-A at site A are set to give the highest priority to the site where the participant's facial expression is estimated to be "anxious," and to display images from both sites.

そして、拠点Ｂ、Ｃ、Ｄでは、表示レイアウトに関する設定として、参加者が発話中の拠点の優先順位を最も高くし、且つ、２拠点の画像を表示させる設定がされていたとする。 And let's say that the display layout settings at locations B, C, and D are set so that the location where a participant is speaking has the highest priority and images from both locations are displayed.

この場合、拠点Ａの通信端末３００－Ａは、拠点Ｂ～Ｄの通信端末３００－Ｂ、３００－Ｃ、３００－Ｄに対し、参加者の表情が「不安」であることを検知したことを通知するように要求する。 In this case, communication terminal 300-A at site A requests communication terminals 300-B, 300-C, and 300-D at sites B to D to notify them that it has detected that the participant's facial expression shows "anxiety."

そして、拠点Ａの通信端末３００－Ａは、拠点Ｄの通信端末３００－Ｄから、画像データと共に、参加者の「不安」な表情を検知したことを示す情報を、所定時間内に所定回数以上受信すると、表示部３７０Ａの表示レイアウトを図６に示すように変更する。 Then, when communication terminal 300-A at site A receives, from communication terminal 300-D at site D, image data and information indicating that an "anxious" expression has been detected from a participant a predetermined number of times within a predetermined time, it changes the display layout of display unit 370A as shown in Figure 6.

具体的には、通信端末３００－Ａは、表示部３７０Ａに、拠点Ｄの参加者の画像３７１を表示させる。 Specifically, communication terminal 300-A displays image 371 of the participant at site D on display unit 370A.

また、拠点Ｂ、Ｃ、Ｄの通信端末３００は、他の拠点の通信端末３００に対し、参加者の「発話」を検知したことを通知するように要求する。したがって、拠点Ｂ、Ｃ、Ｄの通信端末３００には、拠点Ａの参加者に画像が表示され、次に、発話時間の累積が大きい拠点の画像が優先的に表示される。 Furthermore, the communication terminals 300 at bases B, C, and D request the communication terminals 300 at other bases to notify them that they have detected a participant's "speech." Therefore, the communication terminals 300 at bases B, C, and D display an image of the participant at base A, followed by images of the base with the longest cumulative speaking time.

このように、本実施形態では、遠隔会議において、発言をしていなかったり、発言欲求をしていない参加者であっても、その参加者の画像を優先的に表示部３７０に表示させることができる。 In this way, in this embodiment, even if a participant is not speaking or does not have the desire to speak during a remote conference, the image of that participant can be displayed preferentially on the display unit 370.

言い換えれば、本実施形態では、遠隔会議において、積極的に会話に参加できていない参加者や、話の内容を理解できていない様子の参加者を、参加者の表情から検知し、話者に通知することができる。 In other words, in this embodiment, participants who are not actively participating in the conversation during a remote conference or who do not appear to understand what is being said can be detected from the participants' facial expressions and notified to the speaker.

図７は、第一の実施形態の通信端末の表示レイアウトの他の例を示す図である。図７の例では、拠点Ａの参加者が発話中であるものとする。また、図７の例では、通信端末３００－Ａでは、表示レイアウトに関する設定として、発言時間の累計順に優先順位を付与し、且つ、参加者の表情が「不安」と検知された拠点が存在する場合には、その拠点を通知する設定がされていた場合を示している。 Figure 7 shows another example of the display layout of a communication terminal in the first embodiment. In the example of Figure 7, it is assumed that a participant at location A is currently speaking. The example of Figure 7 also shows a case where communication terminal 300-A is configured to assign priority to participants in order of cumulative speaking time as a display layout setting, and to notify any location where a participant's facial expression is detected as "anxious."

この場合、拠点Ａの表示部３７０Ａでは、発言時間の累積が最も多い順に、拠点Ｂの参加者の画像と拠点Ｃの参加者の画像とが表示される。また、表示部３７０Ａでは、拠点邸Ｄにおいて、参加者の表情が「不安」と推定されたことを示すメッセージ３７２Ａが表示される。 In this case, the display unit 370A at base A displays images of the participants at base B and base C in order of the longest cumulative speaking time. Also, the display unit 370A displays a message 372A indicating that the facial expression of the participant at base residence D has been estimated to be "anxious."

本実施形態では、このように、参加者の表情が「不安」と推定された拠点の存在を、発話中の拠点Ａの参加者に通知することができる。これにより、例えば、拠点Ａの参加者は、拠点Ｄの参加者に対して、質問の有無や、話の内容に対する意見の有無等を訪ねる、といった声かけを行うことができ、会議を活性化できる。 In this embodiment, the presence of a location where a participant's facial expression is estimated to be "anxious" can be notified to the participant at location A who is currently speaking. This allows, for example, the participant at location A to ask the participant at location D if they have any questions or if they have any opinions on the content of the discussion, thereby livening up the meeting.

尚、本実施形態では、通信端末３００をビデオ会議端末７として説明したが、これに限定されない。通信端末３００は、例えば、電子黒板等であっても良いし、スマートフォン等であっても良い。 In this embodiment, the communication terminal 300 is described as a video conference terminal 7, but this is not limited to this. The communication terminal 300 may be, for example, an electronic whiteboard or a smartphone.

通信端末３００が、電子黒板（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）やスマートフォンである場合には、通信端末３００に表示部３７０（図４参照）が含まれるようになる。 If the communication terminal 300 is an interactive whiteboard (an electronic whiteboard with interactive functions) or a smartphone, the communication terminal 300 will include a display unit 370 (see Figure 4).

以下に、通信端末３００の一例である電子黒板のハードウェア構成について説明する。図８は、電子黒板のハードウェア構成について説明する図である。 The following describes the hardware configuration of an electronic whiteboard, which is an example of a communication terminal 300. Figure 8 is a diagram illustrating the hardware configuration of an electronic whiteboard.

電子黒板２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ／Ｆ２０５、及び、外部機器接続Ｉ／Ｆ(Interface)２０６を備えている。 The electronic whiteboard 2 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, a SSD (Solid State Drive) 204, a network I/F 205, and an external device connection I/F (Interface) 206.

これらのうち、ＣＰＵ２０１は、電子黒板２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、電子黒板用のプログラム等の各種データを記憶する。ネットワークＩ／Ｆ２０５は、ネットワークＮとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ２３０、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。 Of these, the CPU 201 controls the overall operation of the electronic whiteboard 2. The ROM 202 stores the CPU 201 and programs used to drive the CPU 201, such as the IPL (Initial Program Loader). The RAM 203 is used as a work area for the CPU 201. The SSD 204 stores various data, such as programs for the electronic whiteboard. The network I/F 205 controls communication with the network N. The external device connection I/F 206 is an interface for connecting various external devices. In this case, external devices include, for example, a USB (Universal Serial Bus) memory 230 and external devices (microphone 240, speaker 250, camera 260).

また、電子黒板２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。 The electronic whiteboard 2 also includes a capture device 211, a GPU 212, a display controller 213, a contact sensor 214, a sensor controller 215, an electronic pen controller 216, a short-range communication circuit 219, an antenna 219a for the short-range communication circuit 219, a power switch 222, and selection switches 223.

これらのうち、キャプチャデバイス２１１は、外付けのＰＣ(Personal Computer))２７０のディスプレイに対して映像情報を静止画または動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ２８０等へ出力するために画面表示の制御及び管理を行う。 Of these, the capture device 211 displays video information as still images or moving images on the display of an external PC (Personal Computer) 270. The GPU (Graphics Processing Unit) 212 is a semiconductor chip that specializes in graphics. The display controller 213 controls and manages the screen display to output images from the GPU 212 to a display 280, etc.

接触センサ２１４は、ディスプレイ２８０上に電子ペン２９０やユーザの手Ｈ等が接触したことを検知する。センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。 The contact sensor 214 detects contact with the display 280 by the electronic pen 290, the user's hand H, etc. The sensor controller 215 controls the processing of the contact sensor 214. The contact sensor 214 inputs and detects coordinates using an infrared blocking method.

この座標の入力及び座標の検出する方法は、ディスプレイ２８０の上側両端部に設置された２つ受発光装置が、ディスプレイ２８０に平行して複数の赤外線を放射し、ディスプレイ２８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。 The method for inputting and detecting these coordinates is as follows: two light-emitting and receiving devices installed at both ends of the upper side of the display 280 emit multiple infrared rays parallel to the display 280, and receive the light that is reflected by a reflective member installed around the periphery of the display 280 and returns along the same optical path as the light emitted by the light-receiving element.

接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン２９０と通信することで、ディスプレイ２８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ２８０の表示の明暗や色合い等を調整するためのスイッチ群である。 The contact sensor 214 outputs the ID of the infrared light emitted by the two light-emitting/receiving devices that was blocked by the object to the sensor controller 215, and the sensor controller 215 identifies the coordinate position of the contact point of the object. The electronic pen controller 216 communicates with the electronic pen 290 to determine whether the pen tip or the pen tail is touching the display 280. The short-range communication circuit 219 is a communication circuit such as NFC (Near Field Communication) or Bluetooth (registered trademark). The power switch 222 is a switch for turning the power of the electronic whiteboard 2 ON/OFF. The selection switches 223 are a group of switches for adjusting, for example, the brightness and color of the display 280.

更に、電子黒板２は、バスライン２１０を備えている。バスライン２１０は、図１１に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Furthermore, the electronic whiteboard 2 is equipped with a bus line 210. The bus line 210 is an address bus, data bus, etc., for electrically connecting each component, such as the CPU 201 shown in FIG. 11.

尚、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン２９０のペン先及びペン尻だけでなく、電子ペン２９０のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 The contact sensor 214 is not limited to an infrared blocking type, and various detection means may be used, such as a capacitive touch panel that identifies the contact position by detecting changes in capacitance, a resistive film touch panel that identifies the contact position by voltage changes across two opposing resistive films, or an electromagnetic induction touch panel that identifies the contact position by detecting electromagnetic induction caused by an object touching the display unit. Furthermore, the electronic pen controller 216 may determine whether or not the part of the electronic pen 290 that the user grips or other parts of the electronic pen have been touched, in addition to the tip and butt of the electronic pen 290.

次に、図９を参照して、本実施形態の通信端末３００の一例であるスマートフォンのハードウェア構成について説明する。図９は、スマートフォンのハードウェア構成の一例を示す図である。 Next, with reference to Figure 9, we will explain the hardware configuration of a smartphone, which is an example of a communication terminal 300 of this embodiment. Figure 9 is a diagram showing an example of the hardware configuration of a smartphone.

スマートフォン４は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４、ＣＭＯＳセンサ４０５、撮像素子Ｉ／Ｆ４０６、加速度・方位センサ４０７、メディアＩ／Ｆ４０９、ＧＰＳ受信部４１１を備えている。 The smartphone 4 includes a CPU 401, a ROM 402, a RAM 403, an EEPROM 404, a CMOS sensor 405, an image sensor I/F 406, an acceleration/orientation sensor 407, a media I/F 409, and a GPS receiver 411.

これらのうち、ＣＰＵ４０１は、スマートフォン４全体の動作を制御する。ＲＯＭ４０２は、ＣＰＵ４０１やＩＰＬ等のＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＥＥＰＲＯＭ４０４は、ＣＰＵ４０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。 Of these, the CPU 401 controls the overall operation of the smartphone 4. The ROM 402 stores the CPU 401 and programs used to drive the CPU 401, such as IPL. The RAM 403 is used as a work area for the CPU 401. The EEPROM 404 reads and writes various data, such as smartphone programs, under the control of the CPU 401.

ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ４０５は、ＣＰＵ４０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。尚、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ４０６は、ＣＭＯＳセンサ４０５の駆動を制御する回路である。 The CMOS (Complementary Metal Oxide Semiconductor) sensor 405 is a type of built-in imaging device that captures an image of a subject (mainly a self-portrait) under the control of the CPU 401 to obtain image data. Note that instead of a CMOS sensor, an imaging device such as a CCD (Charge Coupled Device) sensor may also be used. The imaging element I/F 406 is a circuit that controls the operation of the CMOS sensor 405.

加速度・方位センサ４０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ４０９は、フラッシュメモリ等の記録メディア４０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部４１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。 The acceleration/azimuth sensor 407 is a variety of sensors, such as an electronic magnetic compass that detects geomagnetism, a gyrocompass, and an acceleration sensor. The media I/F 409 controls the reading and writing (storage) of data from the recording media 408, such as flash memory. The GPS receiver 411 receives GPS signals from GPS satellites.

また、スマートフォン４は、遠距離通信回路４１２、ＣＭＯＳセンサ４１３、撮像素子Ｉ／Ｆ４１４、マイク４１５、スピーカ４１６、音入出力Ｉ／Ｆ４１７、ディスプレイ４１８、外部機器接続Ｉ／Ｆ(Interface)４１９、近距離通信回路４２０、近距離通信回路４２０のアンテナ４２０ａ、及びタッチパネル４２１を備えている。 The smartphone 4 also includes a long-distance communication circuit 412, a CMOS sensor 413, an image sensor I/F 414, a microphone 415, a speaker 416, an audio input/output I/F 417, a display 418, an external device connection I/F (Interface) 419, a short-distance communication circuit 420, an antenna 420a for the short-distance communication circuit 420, and a touch panel 421.

これらのうち、遠距離通信回路４１２は、ネットワークＮを介して、他の機器と通信する回路である。ＣＭＯＳセンサ４１３は、ＣＰＵ４０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ４１４は、ＣＭＯＳセンサ４１３の駆動を制御する回路である。 Of these, the long-distance communication circuit 412 is a circuit that communicates with other devices via the network N. The CMOS sensor 413 is a type of built-in imaging means that captures an image of a subject and obtains image data under the control of the CPU 401. The image sensor I/F 414 is a circuit that controls the operation of the CMOS sensor 413.

マイク４１５は、音を電気信号に変える内蔵型の回路である。スピーカ４１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ４１７は、ＣＰＵ４０１の制御に従ってマイク４１５及びスピーカ４１６との間で音信号の入出力を処理する回路である。 The microphone 415 is a built-in circuit that converts sound into an electrical signal. The speaker 416 is a built-in circuit that converts the electrical signal into physical vibrations to produce sounds such as music or voice. The sound input/output I/F 417 is a circuit that processes the input and output of sound signals between the microphone 415 and speaker 416 under the control of the CPU 401.

ディスプレイ４１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ４１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路４２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル４２１は、利用者がディスプレイ４１８を押下することで、スマートフォン４を操作する入力手段の一種である。 The display 418 is a type of display means, such as a liquid crystal display (LCD) or organic electroluminescence (EL) display, that displays images of subjects and various icons. The external device connection I/F 419 is an interface for connecting various external devices. The short-range communication circuit 420 is a communication circuit such as NFC (Near Field Communication) or Bluetooth (registered trademark). The touch panel 421 is a type of input means that allows the user to operate the smartphone 4 by pressing the display 418.

また、スマートフォン４は、バスライン４１０を備えている。バスライン４１０は、図４に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 The smartphone 4 also includes a bus line 410. The bus line 410 is an address bus, a data bus, etc., for electrically connecting the components such as the CPU 401 shown in FIG. 4.

また、本実施形態の通信端末３００は、通信機能を備えた装置であれば良い。通信端末３００は、例えば、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣまたはデスクトップＰＣ等であってもよい。 Furthermore, the communication terminal 300 of this embodiment may be any device equipped with communication functions. The communication terminal 300 may be, for example, an output device such as a PJ (Projector), digital signage, a HUD (Head Up Display) device, industrial machinery, medical equipment, network appliances, connected cars, notebook PCs (Personal Computers), mobile phones, tablet devices, game consoles, PDAs (Personal Digital Assistants), digital cameras, wearable PCs, or desktop PCs.

（第二の実施形態）
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態は、サーバ側に映像解析部の機能を設けた点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。 Second Embodiment
The second embodiment will be described below with reference to the drawings. The second embodiment differs from the first embodiment in that the server is provided with the functionality of a video analysis unit. Therefore, in the following description of the second embodiment, only the differences from the first embodiment will be described, and components having the same functional configuration as the first embodiment will be assigned the same reference numerals as those used in the description of the first embodiment, and their description will be omitted.

図１０は、第二の実施形態の情報処理システムのシステム構成を説明する図である。本実施形態の情報処理システム１００Ａは、サーバ２００Ａと、通信端末３００Ａとを有する。 Figure 10 is a diagram illustrating the system configuration of an information processing system according to the second embodiment. The information processing system 100A of this embodiment includes a server 200A and a communication terminal 300A.

本実施形態のサーバ２００Ａは、映像解析部３１０と、映像生成指示部３２０Ａとを有する。また、本実施形態の通信端末３００Ａは、映像解析部３１０を有していない。 The server 200A of this embodiment has a video analysis unit 310 and a video generation instruction unit 320A. Furthermore, the communication terminal 300A of this embodiment does not have a video analysis unit 310.

本実施形態のサーバ２００Ａの映像解析部３１０は、各通信端末３００Ａで行われた表示レイアウトに関する設定内容を示す情報を保持している。 In this embodiment, the video analysis unit 310 of the server 200A stores information indicating the display layout settings made by each communication terminal 300A.

そして、映像解析部３１０は、各通信端末３００Ａから送信される画像データを解析し、映像生成指示部３２０Ａにより、各通信端末３００Ａに対し、表示レイアウトの関する設定内容に応じて選択された拠点の画像を含む画像データの生成指示を行う。 The video analysis unit 310 then analyzes the image data sent from each communication terminal 300A, and the video generation instruction unit 320A instructs each communication terminal 300A to generate image data including an image of the location selected in accordance with the display layout settings.

本実施形態では、このように、映像解析部３１０をサーバ２００Ａに設けることで、通信端末３００Ａの処理の負荷を軽減できる。また、サーバ２００Ａには、複数の通信端末３００Ａから送信される画像データの解析結果が蓄積されていくため、例えば、表情の推定の精度を向上させることができる。 In this embodiment, by providing the video analysis unit 310 on the server 200A, the processing load on the communication terminal 300A can be reduced. Furthermore, since the server 200A accumulates the analysis results of image data sent from multiple communication terminals 300A, it is possible to improve the accuracy of facial expression estimation, for example.

尚、上述した各実施形態の通信端末は、通信機能を備えた装置であれば良い。通信端末３００は、例えば、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣまたはデスクトップＰＣ等であってもよい。 The communication terminal in each of the above-described embodiments may be any device equipped with communication functions. The communication terminal 300 may be, for example, a PJ (Projector), an output device such as digital signage, a HUD (Head Up Display) device, industrial machinery, medical equipment, network appliances, connected cars, notebook PCs (Personal Computers), mobile phones, tablet devices, game consoles, PDAs (Personal Digital Assistants), digital cameras, wearable PCs, or desktop PCs.

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。 The functions of the above-described embodiments can be realized by one or more processing circuits. In this specification, the term "processing circuit" includes processors programmed to perform functions by software, such as processors implemented by electronic circuits, as well as devices such as ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), FPGAs (Field Programmable Gate Arrays), and conventional circuit modules designed to perform the above-described functions.

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。 The present invention has been described above based on various embodiments, but the present invention is not limited to the requirements set forth in the above embodiments. These aspects can be modified without departing from the spirit of the present invention, and can be determined appropriately depending on the application form.

１００、１００Ａ情報処理システム
２００、２００Ａサーバ
３００、３００Ａ通信端末
３１０映像解析部
３１１顔検知部
３１２動作検出部
３１３表情推定部
３１４判定部
３２０映像生成部
３５０全体処理部
３７０表示部 100, 100A Information processing system 200, 200A Server 300, 300A Communication terminal 310 Video analysis unit 311 Face detection unit 312 Movement detection unit 313 Facial expression estimation unit 314 Determination unit 320 Video generation unit 350 Overall processing unit 370 Display unit

特開２０１２－２４４２８５号公報JP 2012-244285 A

Claims

An information processing system for conducting a video conference between a plurality of locations using a plurality of information processing devices,
The information processing device at the first location
an overall processing unit that receives settings of the facial expression of the person to be detected and requests the information processing device at the second location to detect the received facial expression;
The information processing device at the second location
a facial expression estimation unit that estimates a facial expression of a person based on image data;
a network processing unit that, when the facial expression of the person estimated by the facial expression estimation unit is estimated to be the facial expression of a detection target, transmits an estimation result as a notification to the information processing device of the first location,
The information processing device at the first base
an information processing system having a display unit that displays the notification and image data received from the information processing terminal at the second location;

The notice shall:
The information processing system according to claim 1 , wherein a message indicating that the facial expression of the detection target has been detected is displayed on a display unit of the information processing device at the first location.

The setting includes an action to be detected;
The information processing device at the second location
3. The information processing system according to claim 1, further comprising a movement detection unit that detects a movement of a person recognized from image data.

An information processing device for conducting a video conference among a plurality of locations,
a display unit that displays a notification indicating that a facial expression of a person has been detected from image data acquired by another information processing device in a video conference in which the information processing device and the other information processing device are participating;
an overall processing unit that receives settings indicating facial expressions of a detection target;
a network processing unit that notifies other information processing devices of the setting .

An information processing method by an information processing device for performing a video conference among a plurality of locations,
a display step of displaying a notification indicating that a facial expression of a person has been detected from image data acquired by another information processing device in a video conference in which the information processing device and the other information processing device are participating;
an overall processing step of accepting a setting indicating a facial expression of a detection target;
and a network processing step of notifying other information processing devices of the setting .

A program executed by an information processing device that performs a video conference among a plurality of locations,
a display step of displaying a notification indicating that a facial expression of a person has been detected from image data acquired by another information processing device in a video conference in which the information processing device and the other information processing device are participating;
an overall processing step of accepting a setting indicating a facial expression of a detection target;
a network processing step of notifying other information processing devices of the setting;
A program with.