JP2556925B2 - Three-dimensional conversation communication device - Google Patents
Three-dimensional conversation communication deviceInfo
- Publication number
- JP2556925B2 JP2556925B2 JP2139499A JP13949990A JP2556925B2 JP 2556925 B2 JP2556925 B2 JP 2556925B2 JP 2139499 A JP2139499 A JP 2139499A JP 13949990 A JP13949990 A JP 13949990A JP 2556925 B2 JP2556925 B2 JP 2556925B2
- Authority
- JP
- Japan
- Prior art keywords
- conversation
- mask
- dimensional
- information
- communication device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、送信側の被写体の立体形状を受信側で再
現しながら双方向の通信を実行できる、立体会話通信装
置に関するものである。Description: TECHNICAL FIELD The present invention relates to a three-dimensional conversation communication device that can perform two-way communication while reproducing the three-dimensional shape of a subject on the transmitting side on the receiving side.
第６図は例えば「64kbpsビデオ符号化技術とテレコン
ファレンス構成法」の中の「V.動画システムの構成法」
に示された従来のテレビ会議・テレビ電話システムの方
法を示したものである。第６図（ａ），（ｂ），
（ｃ），（ｄ）において（100），（200），（300），
（400）はそれぞれ別の人物、（500）は棒グラフ等の図
表、（10）はテレビ受像機を示している。Fig. 6 shows, for example, "V. Video system configuration method" in "64kbps video coding technology and teleconference configuration method".
3 shows a method of the conventional video conference / video telephone system shown in FIG. 6 (a), (b),
In (c) and (d), (100), (200), (300),
(400) is a different person, (500) is a chart such as a bar graph, and (10) is a television receiver.
次に動作について説明する。まず異地点間とのテレビ
会議・テレビ電話を行うための表示画面としてテレビ受
像機（10）で示すようなテレビジョン用のCRTディスプ
レイを用いる。またテレビ会議モードでは全景用（４人
以上用）として第６図の（ａ）、また２〜３人の少人数
用として（ｂ）、さらに人物の映像以外の図表を表示さ
せる場合には（ｄ）に示すようになる。一方、テレビ電
話モードでは同図の（ｃ）に示すように各テレビ受像機
で互いの通話相手が表示され対面通話を行う。Next, the operation will be described. First, a CRT display for television as shown in the television receiver (10) is used as a display screen for performing a video conference / telephone call between different points. In the video conference mode, (a) in FIG. 6 for the whole view (for 4 or more people), (b) for a small number of people (2 to 3 people), and when displaying a chart other than the image of the person ( As shown in d). On the other hand, in the videophone mode, as shown in (c) of the figure, the other parties are displayed on each of the video receivers to perform a face-to-face conversation.
従来のテレビ電話・テレビ会議システムによる画像表
示方法は以上のように行われているので、１画面中に複
数の人物や対象物を容易に映し出すことができる反面、
臨場感に乏しく、通信相手の立体的な形状が得られない
ために、微妙な表情変化まで検知することはほとんど不
可能であるという課題があった。Since the image display method by the conventional videophone / videoconference system is performed as described above, it is possible to easily project a plurality of persons or objects on one screen,
There is a problem that it is almost impossible to detect even a subtle change in facial expression because it is not realistic and the three-dimensional shape of the communication partner cannot be obtained.
この発明は上記のような課題を解決するためになされ
たもので、各受像機側では送信されて来た被写体の画像
信号を立体形状に再現して送信者の会話を立体的に代替
することができる立体会話通信装置を得ることを目的と
する。The present invention has been made to solve the above problems, and each image receiver side stereoscopically substitutes the conversation of the sender by reproducing the image signal of the transmitted subject in a three-dimensional shape. An object is to obtain a three-dimensional conversation communication device capable of performing.
この発明に係る立体会話通信装置は、対面通話を行う
各通話者側に、通話者を立体視的に撮像しステレオ画像
情報を生成する２眼式カメラと通話相手側からのステレ
オ画像情報に基づいて通話相手側の顔表情を立体的に造
形する会話マスクと備えると共に、撮像された通話者の
顔の立体形状を前記ステレオ画像情報に基づいて計測し
て形状情報を出力する立体形状計測部と、通話相手側に
設置した会話マスクを前記出力された形状情報に基づき
通話者の顔表情に立体的に変形させる制御棒の制御情報
を出力するマスク制御部とを備えたものである。A three-dimensional conversation communication device according to the present invention is based on stereoscopic image information from a two-eye camera that stereoscopically images a caller to generate stereoscopic image information on each side of the caller who makes a face-to-face call and stereoscopic image information from the other party. And a three-dimensional shape measuring unit for measuring the three-dimensional shape of the imaged face of the caller based on the stereo image information and outputting the shape information. And a mask control unit for outputting control information of a control rod for three-dimensionally transforming the conversation mask installed on the other party's side into the facial expression of the caller based on the output shape information.
この発明によれば、２眼式カメラで撮像された通話相
手の被写体のステレオ画像情報より抽出された被写体の
立体形状情報を、通信先のマスク制御部へ送出すること
で通信先の会話マスクを通信相手の被写体の形状に変形
することができる。According to the present invention, the conversation mask of the communication destination is set by transmitting the stereoscopic shape information of the subject extracted from the stereo image information of the subject of the communication partner imaged by the twin-lens camera to the mask control unit of the communication destination. It can be transformed into the shape of the subject of the communication partner.
以下、この発明の一実施例を図を用いて説明する。 An embodiment of the present invention will be described below with reference to the drawings.
第１図は本実施例における立体会話通信装置の構成図
を示す。図において、（30）は立体会話表示装置、（60
0）は会話マスク、（700）は会話マスク（600）の外
枠、（80）は会話マスク（600）の両眼部に設置された
小型カメラ（第３図の（1000））より入力したステレオ
画像情報（40）を立体形状情報（50）に変換する立体形
状計測部。（70）は上記立体形状情報（50）から会話マ
スク（600）を変形するための制御情報（60）を出力す
るマスク制御部である。FIG. 1 shows a block diagram of a three-dimensional conversation communication device in this embodiment. In the figure, (30) is a three-dimensional conversation display device, and (60)
0) is the conversation mask, (700) is the outer frame of the conversation mask (600), (80) is input from the small cameras ((1000) in Fig. 3) installed on both eyes of the conversation mask (600). A three-dimensional shape measuring unit that converts stereo image information (40) into three-dimensional shape information (50). Reference numeral (70) is a mask control unit for outputting control information (60) for transforming the conversation mask (600) from the three-dimensional shape information (50).
尚、上記（600）は立体的に再現された通話相手の会
話マスク、（600a）は小型カメラ（100）の前方に位置
する通話者（被写体）である。Note that (600) is the conversation mask of the other party reproduced in three dimensions, and (600a) is the caller (subject) located in front of the small camera (100).
次に動作について説明する。 Next, the operation will be described.
会話マスク（600）の両眼部に設置された小型カメラ
より得られる被写体（600a）の左右両画像（ステレオ画
像）が立体形状計測部（80）に入力され、左右両画像の
マッチングを取ることにより被写体（600a）の立体形状
情報（50）が得られる。該立体形状情報（50）はマスク
制御部（70）に入力され、ここで会話マスク（600）を
該被写体（600a）の立体形状に変形するための制御情報
（60）が出力される。最後に該制御情報（60）は、通し
相手側の立体会話表示装置（30）の入力となり、該立体
会話表示装置（30）上の会話マスク（600）が変形さ
れ、結局送信者の被写体（600a）の立体形状が相手側の
会話マスクに表現されることになる。第１図により、実
際には上記の通信を両方向同時に実現することになり、
送受信双方が、相手側の被写体（600a）が自分側の会話
マスクでリアルタイムに働きながら会話するのを見なが
ら、同時会話通信を進める要領である。Left and right images (stereo image) of the subject (600a) obtained from small cameras installed on both eyes of the conversation mask (600) are input to the stereoscopic shape measuring unit (80) to match the left and right images. Thus, three-dimensional shape information (50) of the subject (600a) can be obtained. The three-dimensional shape information (50) is input to the mask control unit (70), where control information (60) for transforming the conversation mask (600) into the three-dimensional shape of the subject (600a) is output. Finally, the control information (60) is input to the three-dimensional conversation display device (30) on the other party's side, the conversation mask (600) on the three-dimensional conversation display device (30) is deformed, and eventually the subject of the sender ( The three-dimensional shape of 600a) will be expressed in the conversation mask of the other party. According to Fig. 1, the above communication is actually realized simultaneously in both directions.
It is a way to proceed with simultaneous conversational communication while both the sender and the receiver watch the subject (600a) of the other party while working in real time with his or her own conversation mask while working in real time.
第４図は実際に送信者が立体会話表示装置（30）上に
立体的に表示される会話マスク（600）を見ながら会話
を進める様子を図示したものである。ここで会話マスク
（600）の両眼には小型カメラ（第３図の（1000））が
設置されていて、該小型カメラから得られた左右両眼の
画像ステレオ画像情報（40）として立体形状計測部（8
0）の入力となる。FIG. 4 illustrates how the sender actually advances the conversation while looking at the conversation mask (600) stereoscopically displayed on the three-dimensional conversation display device (30). Here, a small camera ((1000) in FIG. 3) is installed in both eyes of the conversation mask (600), and a stereoscopic shape is obtained as left and right image stereo image information (40) obtained from the small camera. Measuring unit (8
It becomes the input of 0).
第２図（ａ），（ｂ）は各々、立体会話表示装置（3
0）の正面図（ａ）、側面図（ｂ）であり、会話マスク
（600）は側面から見ると（ｂ）のように外枠（700）か
ら突起していることがわかる。FIGS. 2 (a) and 2 (b) are three-dimensional conversation display devices (3
It is a front view (a) and a side view (b) of (0), and it can be seen that the conversation mask (600) is projected from the outer frame (700) as seen from the side, as shown in (b).
また第３図は会話マスク（600）の内部構造を図示し
たものであるが、会話マスク（600）は表面がビニール
でできており小さな皺や滑らかな勾配も表現できるよう
になっている。また外枠（700）は固体のプラスチック
あるいは木材でもよい。他方、（800）は会話マスク（6
00）の内部に密着しており、これは風船である。従って
風船（800）の内部は制御棒（900）とカメラ入力画像
（20）以外は空気で覆われている。第１図におけるマス
ク制御部（70）では実際に制御棒（900）を動かして、
被写体（600a）の形状を再現するが、制御棒（900）の
片端は人間の顔を構成するためのポイントとなる点に接
続されており、どの点の制御棒をどの程度動かせば、被
写体（600a）の形状を会話マスク（600）上に正確に再
現できるかの情報が該マスク制御部（70）に記憶されて
いる。また同第３図において２眼カメラ1000より入力し
たカメラ入力画像（20）は、第１図におけるステレオ画
像情報（40）になる。Further, FIG. 3 shows the internal structure of the conversation mask (600). The conversation mask (600) has a vinyl surface so that small wrinkles and smooth slopes can be expressed. The outer frame (700) may be solid plastic or wood. On the other hand, (800) is the conversation mask (6
It is closely attached to the inside of 00), which is a balloon. Therefore, the inside of the balloon (800) is covered with air except for the control rod (900) and the camera input image (20). In the mask control unit (70) in FIG. 1, the control rod (900) is actually moved,
Although the shape of the subject (600a) is reproduced, one end of the control rod (900) is connected to a point that is a point for constructing a human face, and by moving the control rod at any point, the subject (600a) Information on whether the shape of 600a) can be accurately reproduced on the conversation mask (600) is stored in the mask control section (70). Further, the camera input image (20) input from the twin-lens camera 1000 in FIG. 3 becomes the stereo image information (40) in FIG.
また、上記の実施例では、第１図に示す通り１対１通
信であったが、第５図のように１対多数であっても全く
同様に会話通信が実現でき、同第５図に示す通り、人物
（150）の立体形状はA,B,C,D,E,Fの相手側のそれぞれの
会話マスクに再現される。また人物（150）は、同時に
A,B,C,D,E,Fの立体形状が自分側の６台の会話マスクに
再現されている像を見ながら、それぞれの相手と会話を
進行させることができる。Further, in the above embodiment, the one-to-one communication was performed as shown in FIG. 1. However, even if the one-to-many communication is performed as shown in FIG. 5, conversation communication can be realized in exactly the same manner. As shown, the three-dimensional shape of the person (150) is reproduced in the conversation masks of A, B, C, D, E, and F on the other side. Also, the person (150)
While seeing the images in which the three-dimensional shapes of A, B, C, D, E, and F are reproduced on the six conversation masks on your side, you can proceed with the conversation with each other.
以上のように、この発明に係る立体会話通信装置は１
台で送信器と受信器を兼用する会話マスクに通信相手の
立体形状を正確に再現させ、あたかもその通信相手がそ
こで会話しているような臨場感を生むという効果があ
る。また、各通話者は各会話マスクの眼球部に設置した
カメラレンズを見つめて会話を進めるため、通話相手側
においても会話マスクと通話相手側との目線が合い極め
て自然な感じで対面通話を行うことができる。更に、２
眼式カメラからのステレオ画像を利用した立体形状自動
計測機能により、常に被写体の立体形状が安定して提供
されるという効果がある。As described above, the three-dimensional conversation communication device according to the present invention is
The three-dimensional shape of the communication partner can be accurately reproduced on the conversation mask that doubles as a transmitter and receiver on the stand, and the effect is that the communication partner creates a realistic sensation of talking there. In addition, since each talker looks at the camera lens installed on the eyeball part of each conversation mask to proceed with the conversation, the other party also has a natural face-to-face conversation when the conversation mask and the other party's eyes are aligned. be able to. Furthermore, 2
The stereoscopic shape automatic measurement function using the stereo image from the eye type camera has an effect that the stereoscopic shape of the subject is always provided stably.
第１図はこの発明の一実施例による立体会話通信装置の
構成を示すブロック図、第２図（ａ），（ｂ）は立体会
話表示装置と会話マスクをあらわす正面図及び側面図、
第３図は会話マスクの内部構造をあらわす図、第４図は
第１図における１対１通信の場合の状況を説明するため
の図、第５図は１対多数通信の場合の状況を説明するた
めの図、第６図は従来のテレビ電話・テレビ会議の状況
を説明するための図である。 図において、（40）はステレオ画像情報、（50）は立体
形状情報、（60）は制御情報、（70）はマスク制御部、
（80）は立体形状計測部、（600）は会話マスク、（600
a）は被写体。FIG. 1 is a block diagram showing a configuration of a three-dimensional conversation communication device according to an embodiment of the present invention, and FIGS. 2 (a) and 2 (b) are front and side views showing a three-dimensional conversation display device and a conversation mask.
FIG. 3 is a diagram showing the internal structure of the conversation mask, FIG. 4 is a diagram for explaining the situation in the case of one-to-one communication in FIG. 1, and FIG. 5 is a diagram for explaining the situation in the case of one-to-many communication. FIG. 6 and FIG. 6 are diagrams for explaining the situation of a conventional videophone / videoconference. In the figure, (40) is stereo image information, (50) is three-dimensional shape information, (60) is control information, (70) is a mask controller,
(80) is a three-dimensional shape measurement unit, (600) is a conversation mask, (600
a) is the subject.
Claims (2)
体視的に撮像しステレオ画像情報を生成する２眼式カメ
ラと通話相手側からのステレオ画像情報に基づいて通話
相手側の顔表情を立体的に造形する会話マスクと備える
と共に、撮像された通話者の立体形状を前記ステレオ画
像情報に基づいて計測して形状情報を出力する立体形状
計測部と、通話相手側に設置した会話マスクを、前記出
力された形状情報に基づき通話者の顔表情に立体的に変
形させる制御棒の制御情報を出力するマスク制御部とを
備えたことを特徴とする立体会話通信装置。1. A twin-lens camera that stereoscopically images a caller to generate stereoscopic image information on each caller side who performs a face-to-face call, and the callee side of the callee side based on stereo image information from the callee side. A conversation mask for three-dimensionally modeling facial expressions is provided, and a three-dimensional shape measuring unit that measures the three-dimensional shape of the imaged caller based on the stereo image information and outputs the shape information is installed on the other end of the call. A three-dimensional conversation communication device comprising: a mask control unit that outputs control information of a control rod that stereoscopically transforms a conversation mask into a facial expression of a caller based on the output shape information.
スクの各眼球部に設置したことを特徴とする請求項１に
記載の立体会話通信装置。2. The three-dimensional conversation communication device according to claim 1, wherein each range of the twin-lens camera is installed in each eyeball portion of the conversation mask.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2139499A JP2556925B2 (en) | 1990-05-29 | 1990-05-29 | Three-dimensional conversation communication device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2139499A JP2556925B2 (en) | 1990-05-29 | 1990-05-29 | Three-dimensional conversation communication device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0432388A JPH0432388A (en) | 1992-02-04 |
| JP2556925B2 true JP2556925B2 (en) | 1996-11-27 |
Family
ID=15246703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2139499A Expired - Fee Related JP2556925B2 (en) | 1990-05-29 | 1990-05-29 | Three-dimensional conversation communication device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2556925B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2773647B2 (en) * | 1993-07-15 | 1998-07-09 | 日本電気株式会社 | Video display device |
| CN107396035A (en) * | 2017-08-15 | 2017-11-24 | 罗静 | Stereoscopic face expression reappears component, device and 3D tele-conferencing systems |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6256986A (en) * | 1985-09-06 | 1987-03-12 | 高橋 史郎 | Balloon-like structural body |
| JPS63194497A (en) * | 1987-02-07 | 1988-08-11 | Nippon Telegr & Teleph Corp <Ntt> | Stereoscopic video conference system |
-
1990
- 1990-05-29 JP JP2139499A patent/JP2556925B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0432388A (en) | 1992-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7697112B2 (en) | Communication terminal equipment | |
| US6583808B2 (en) | Method and system for stereo videoconferencing | |
| JPH07255044A (en) | Animated electronic conference room, video conference system, and video conference method | |
| JP4144492B2 (en) | Image display device | |
| GB2294605A (en) | Video conference system providing parallax correction and a sense of presence | |
| WO2016024288A1 (en) | Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing | |
| TWI744558B (en) | Window system based on video communication | |
| JPH08205197A (en) | Human interface device | |
| US12614361B2 (en) | Implementing shared mixed reality | |
| JPWO2018158852A1 (en) | Call system | |
| JP2001136501A (en) | Sight line match video conference apparatus | |
| JP4501037B2 (en) | COMMUNICATION CONTROL SYSTEM, COMMUNICATION DEVICE, AND COMMUNICATION METHOD | |
| TW201943258A (en) | Video communication device and method for connecting video communication to other device | |
| JP3452348B2 (en) | Speaker identification method in virtual space and recording medium storing the program | |
| JP2556925B2 (en) | Three-dimensional conversation communication device | |
| KR101303203B1 (en) | Videotelephony apparatus and method for making full face image | |
| JP3389102B2 (en) | Network conference image processing device | |
| JPH08256316A (en) | Teleconference system | |
| JPH09200715A (en) | Communication device, communication method, and communication system | |
| JPH06121311A (en) | Virtual reality space service system | |
| US20240303940A1 (en) | Mixed-reality communication method, communication system, computer program, and information medium | |
| JPH08336166A (en) | Video viewing device | |
| CN118413625A (en) | Video conference system and method based on virtual reality | |
| JP2000218575A (en) | Image display device | |
| CN116954349A (en) | MR element universe remote psychological consultation AI interactive immersion system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |