JP4850690B2 - 通信会議装置 - Google Patents

Description

本発明は、聞き手が、話者の発言内容をもれなく知ることができ、議事録を容易に作成できる通信会議装置、例えば、テレビ会議装置または音声会議装置に関する。

本発明は、地理的に離れた地点間でリアルタイムに会議を行うことができる通信会議システム（例えば、音声会議システムやテレビ会議システム）において、特に聞き手が容易に話者を区別することができ、発言内容を聞き逃すことがないように配慮した通信会議システム（テレビ会議装置、音声会議装置）に関する。

近年、通信会議システムの重要性が高まっている中で、テレビ会議システムの場合は、聞き手は通信相手の表情を見ながら会議できるので、話者を識別するのは容易である。しかし、多地点での会議の場合では、話者が複数となり、議論が白熱した際等に、参加者は、全ての話者の発言内容を聞きとれないままに会議が進行してしまうことがある。

また、音声会議では、通信相手が見えず、聞き手は話者を識別するのが困難であり、参加者は、テレビ会議以上に、全ての話者の発言内容を聞きとれないままに会議が進行してしまうことがある。

この問題を解決するための技術として、話者の識別が容易であり、また、音声信号を議事録として記録する音声会議システム（例えば、特許文献１参照）が提案されている。
特開平２００５−０８０１１０号公報

従来の技術では、会議中に話者の発言内容を聞きとれなかった場合、同席者に発言内容を尋ねたり、会議後に議事録を見ることによってしか発言内容を理解することができなかった。また、数時間に及ぶ会議の議事録を作成する際、保存した議事録の音声データを文書に変換しても会議の要点が分かりにくく、そのままでは議事録として使用できず、全体的に見直す必要がある。

本発明は、上記の事情に鑑みて、通信会議中に、聞き逃した発言内容を知ることができ、また、誰の発言であるかを知ることができ、かつ、議事録に残す発言を選択することによって、重要な内容のみを議事録データに残すことを容易とした通信会議システムを構成する通信会議装置（テレビ会議装置、音声会議装置）を提供することを課題とする。

上記課題を解決するために、本発明は、通信会議システムにおいて、モニタ画面に発言者の発言内容を発言者識別情報および文字データとして表示画面上に所望の時間遅れて表示する追いかけ表示を行い、さらに、パソコン等の設定手段からの設定により、議事録に残すデータを選択することを特徴とする。

本発明は、モニタ画面に相手の映像を表示するとともに、発言内容の文字データをモニタ画面に追いかけて表示するので、話者の声が聞き取りにくい場合でも、会議の参加者が、話者の発言内容を常に把握できるという利点がある。

さらに、本発明によれば、通信会議中、発言内容を文字データとしてモニタ画面の一部に追いかけ表示することにより、万が一聞き逃した発言内容を知ることができる。さらに、話者識別機能により、モニタ画面に表示した発言内容が誰の発言であるか表示することができ、通信会議装置に接続されたパソコンからの設定により、議事録に残す発言を選択することによって、重要な内容のみを議事録データに残すことが容易になる。

本発明は、テレビ会議システムおよび音声会議システムなどの通信会議システムにおいて、音声の発言内容を文字データに変換する文字データ変換機能と、話者を識別する話者識別機能と、モニタ画面上に文字データを表示する機能と、文字データを所望の時間遅延させてモニタ画面に表示させる遅延表示機能とを備えることを特徴とする。さらに、本発明のテレビ会議装置は、一つのモニタ画面に、相手の画像と、話者識別情報および発言内容の文字データを追いかけて表示する構成とした。したがって、本発明は、従来のテレビ会議システムに文字データ変換機能と、文字データ表示機能と、遅延表示機能を付加することにより、実現することができる。

すなわち、本発明は、話者の音声を集音したマイクロホンからのアナログ音声信号をディジタル音声信号に変換する音声Ａ／Ｄ変換手段と、音声信号から話者を識別し特定する話者識別情報を取得する話者識別処理手段と、前記ディジタル音声信号に話者情報を付加して情報付加音声信号に変換する話者識別情報付加手段と、当該話者識別情報付加手段が出力する前記情報付加音声信号を記録する音声記録メモリと、当該情報付加音声信号を圧縮して通信網へ圧縮音声情報を送信する送信手段と、当該通信網から前記圧縮音声情報を受信する受信手段と、受信した前記圧縮音声信号を伸張して再度情報付加音声信号とし、前記付加されていた前記話者識別情報を抽出した後、再度ディジタル音声信号とする音声データ処理手段と、当該ディジタル音声信号を再度アナログ音声信号に変換してスピーカから出力する音声Ｄ／Ａ変換手段と、を有する通信会議装置であって、文字データを表示させる画面と、前記ディジタル音声信号を文字データに変換する音声―文字データ変換手段と、当該変換された文字データを記憶する文字データメモリと、該変換された文字データを前記画面に表示させる映像に変換する映像Ｄ／Ａ変換手段と、該変換された文字データを該当する話者の発言より遅れて追っかけて前記画面上に表示する文字データ表示手段と、前記音声記録メモリに記録された前記情報付加音声信号に含まれる音声データを再生しているときに、または、前記文字データメモリの文字データを前記画面に表示しているときに、当該再生している音声データ、または、当該表示している文字データに対してマーキング信号を入力するマーキング信号入力手段と、当該マーキング信号入力手段からの入力に応じて、前記音声記録メモリに記録された前記情報付加音声信号に含まれる音声データ、または、前記文字データメモリに記録された文字データ、の先頭にフラグを付与するフラグ付与手段と、該フラグ付与手段により前記フラグを付与された音声データまたは文字データを用いて議事録データを作成する第１の議事録データ作成手段と、を有する。

さらに本発明は、上記通信会議装置において、話者を撮影するカメラと、当該カメラで撮影した話者のアナログ映像信号をディジタル映像信号に変換する映像Ａ／Ｄ変換手段と、前記ディジタル映像信号を圧縮して圧縮映像信号としこの圧縮映像信号を通信網へ送信する映像信号送信手段と、前記通信網から受信した圧縮映像信号を伸張してディジタル映像信号に変換する映像信号伸張手段と、映像を表示するモニタと、前記ディジタル映像信号に前記話者識別情報と発言内容の文字データを重畳させて前記モニタに表示させるＯＳＤ機能部とを有する。

本発明は、上記通信会議装置において、前記第１の議事録データ作成手段に換えて、
前記話者識別情報を指定することで前記識別情報付加音声信号を用いて議事録データを作成する第２の議事録データ作成手段を有する。また、本発明は、上記通信会議装置が、テレビ会議装置または音声会議装置であることを特徴とする。

図１を用いて、通信会議システムのひとつである本発明にかかるテレビ会議システムを構成するテレビ会議装置１のハードウエア構成を、図２を用いてテレビ会議装置１の機能構成を説明する。図１は本発明にかかるテレビ会議システムのハードウエアの構成を説明する図である。図２は図１に示したテレビ会議システムの機能構成を説明する図である。図３は図１に示したテレビ会議装置の複数台を互いに通信網に接続してテレビ会議システムを構成した例を示す図である。

テレビ会議装置１は、音声処理部１１と、映像処理部１３と、記憶部１４と、通信網インタフェース１５と、ＣＰＵ１６と、バス１７とを備えて構成される。さらに、テレビ会議装置１には、通信網（インターネット、構内ＬＡＮなど）３と、パソコン１８と、複数のマイクロホン１９１と、スピーカ１９２と、カメラ１９４と、モニタ１９３が接続される。

音声処理部１１は、複数の音声Ａ／Ｄ変換回路１１１と、音声Ｄ／Ａ変換回路１１２と、音声ＣＯＤＥＣ１１５とを有している。

映像処理部１３は、映像Ｄ／Ａ変換回路１３１と、映像Ａ／Ｄ変換回路１３２と、ＯＳＤ機能回路１３３と、映像ＣＯＤＥＣ１３４とを有している。

記憶部１４は、主メモリ１４１と、音声一時記録メモリ１４２と、音声記録メモリ１４３と、文字データメモリ１４４を有している。

音声ＣＯＤＥＣ１１５と、映像ＣＯＤＥＣ１３４と、ＯＳＤ機能部１３３と、ＣＰＵ１６と、主メモリ１４１と、音声一時記録メモリ１４２と、音声記録メモリ１４３と、文字データメモリ１４４は、それぞれバス１７によって接続され、バス１７を介して相互にデータや信号を交換する。

音声Ａ／Ｄ変換回路１１１は、複数のマイクロホン１９１からのアナログ音声信号をそれぞれＡ／Ｄ変換してディジタル音声信号を得る手段である。このディジタル音声信号は、音声ＣＯＤＥＣ１１５に出力される。

音声Ｄ／Ａ変換回路１１２は、音声ＣＯＤＥＣ１１５からのディジタル音声信号をＤ／Ａ変換してアナログ音声信号を得て、スピーカ１９２へ出力する。

音声ＣＯＤＥＣ１１５は、複数のアナログ音声信号のうちもっとも大きな出力の音声信号を主マイクロホンの位置と認識し、このマイクロホンに対応した話者に関する情報を話者識別情報とするとともに、この話者識別情報と現在時刻を音声Ａ／Ｄ変換回路１１１からのディジタル音声信号に付加して情報付加音声信号に変換し、この情報付加映像信号を圧縮して圧縮音声信号としてバス１７に出力する。さらに、音声ＣＯＤＥＣ１１５は、通信網３から通信インタフェース１５を介して受信した圧縮音声信号を伸張して情報付加音声信号を得、この情報付加音声信号から話者識別情報と現在時刻を抜き取った後のディジタル音声信号を音声Ｄ／Ａ変換回路１１２に出力する。音声Ｄ／Ａ変換回路１１２では、ディジタル音声信号にＤ／Ａ変換処理を行ない、アナログ音声信号としてスピーカ１９２へ出力する。音声ＣＯＤＥＣ１１５は、同時にＣＰＵ１６からの情報付加音声信号を記憶部１４の音声一時記録メモリ１４２に記録する。

映像Ｄ／Ａ変換回路１３１は、ディジタル映像信号にＤ／Ａ変換処理を行なってモニタ出力用のアナログ映像信号に変換し、アナログ映像信号をモニタ１９３へ出力する。

映像Ａ／Ｄ変換回路１３２は、カメラ１９４からのアナログ映像信号をディジタル映像信号にＡ／Ｄ変換する。

ＯＳＤ機能部１３３は、音声信号の内容を認識して文字データに変換する音声−文字データ変換機能を有しており、ＣＰＵ１６からのオーダにより、音声一時記録メモリ１４２から音声信号と話者識別情報を読み出し、音声信号をモニタ表示用の文字データに変換して、話者識別情報とともに、映像ＣＯＤＥＣ１３４に出力する。また、ＯＳＤ機能部１３３は、変換した文字データおよび識別情報を文字データメモリ１４４に出力する。

映像ＣＯＤＥＣ１３４は、映像Ａ／Ｄ変換回路１３２からのディジタル映像信号を圧縮して圧縮映像信号としてバス１７に出力する。また、映像ＣＯＤＥＣ１３４は、バス１７から受信した圧縮映像信号を伸長してディジタル映像信号に変換する。さらに、映像ＣＯＤＥＣ１３４は、伸長変換したディジタル映像信号に、ＯＳＤ機能部１３３からのモニタ表示用の文字データおよび話者識別情報を重畳させて情報付加ディジタル映像信号とし、映像Ｄ／Ａ変換回路１３１においてＤ／Ａ変換を行なって、文字データおよび話者識別情報が付加されたアナログ映像信号に変換して、モニタ１９３の画面に表示させる。このようにしてモニタ１９３の画面に表示したカメラ映像の一部に、話者識別情報と発言内容を順次表示させる。

主メモリ１４１は、本装置の主メモリであり、ＣＰＵ１６を動作させるためのプログラムの格納や、動作中の一時的な保持メモリとして動作する部分である。

音声一時記録メモリ１４２は、話者識別情報と現在時刻を付加した情報付加音声信号を一時記録する手段である。音声一時記録メモリ１４２に記録された情報付加音声信号は、パソコン１８からの指定により、通信網インタフェース１５→ＣＰＵ１６→音声一時記録メモリ１４２とアクセスされ、指定された音声データのみが音声一時記録メモリ１４２から音声記録メモリ１４３に、議事録データとして順次格納されていく。

音声記録メモリ１４３は、音声一時記録メモリ１４２からの音声データのうち、パソコン１８から指定された音声データを話者識別情報とともに議事録データとして順次格納する。

文字データメモリ１４４は、ＯＳＤ機能部１３３において音声−文字データ変換処理した文字データおよび話者識別情報を格納する。

通信網インタフェース１５は、通信網３との間で送受信する圧縮映像信号または圧縮音声信号の電気インタフェースを変換して、通信網３に送出し、通信網３から受信した圧縮映像信号または圧縮音声信号の電気インタフェースを変換して装置内に取り込む手段である。すなわち、通信網インタフェース１５は、通信網３のインタフェースに合わせたデータフォーマットに変換された圧縮映像信号または圧縮音声信号の電気インタフェースを変換して、通信網３にデータを送信し、通信網３から圧縮映像信号または圧縮音声信号を受信して、装置内でのデータフォーマットに電気インタフェースを変換する。

ＣＰＵ１６は、情報付加音声信号を通信網３のインタフェースに合わせたデータフォーマットの圧縮音声信号に変換するよう音声ＣＯＤＥＣ１１５に指示する。さらに、ＣＰＵ１６は、受信した圧縮音声信号を通信網３のデータフォーマットから装置内の情報付加音声信号に変換するよう音声ＣＯＤＥＣ１１５に指示する。また、ＣＰＵ１６は、圧縮映像信号を通信網３のインタフェースに合わせたデータフォーマットに変換するよう映像ＣＯＤＥＣ１３４に指示する。また、ＣＰＵ１６は、受信した通信網３の電気インタフェースを変換した圧縮映像信号のデータフォーマットを装置内のディジタル映像信号に変換する。

音声記録メモリ１４３に記録されたデータの中から必要な情報を読み出す場合は、パソコン１８から識別信号、記録時間、発言内容の一部等のキーワードを指定し、音声記録メモリ１４３を検索することにより必要な情報を読み出すことができる。検索した結果は、モニタ１９３に表示する。結果が複数の場合、記録時間の早いものから順に話者の識別情報と発言内容を表示する。

会議終了後、保存された議事録音声データを、パソコン１８からの操作により、通信網インタフェース１５→ＣＰＵ１６→音声記録メモリ１４３とアクセスし、パソコン１８へ読み出すことができる。読み出した議事録データをパソコンの文字変換ソフト等により文書化し、議事録を作成する。

上述のような議事録音声データを読み出す手法に代えて、パソコン１８からの操作により、通信網インタフェース１５→ＣＰＵ１６→文字データメモリ１４４とアクセスし、パソコン１８へ議事録文字データを読み出し、この議事録文字データを用いて議事録を作成することができる。

図２を用いて、本発明にかかるテレビ会議システムを構成するテレビ会議装置の機能構成の１実施例を説明する。

まず、図２を用いてテレビ会議装置の機能構成の概要を説明する。テレビ会議装置１は、音声処理部１１と、議事録作成処理部１２と、映像処理部１３と、記憶部１４と、通信処理部１５とを有している。さらに、テレビ会議装置１は、複数のマイクロホン１９１と、スピーカ１９２と、モニタ１９３と、カメラ１９４と、パソコン１８が接続される。テレビ会議装置１は、通信網３を介して他のテレビ会議装置と接続される。

音声処理部１１は、マイクロホン１９１から入力されたアナログ音声信号をディジタル音声信号に変換する音声Ａ／Ｄ変換処理機能１１１Ｍと、ディジタル音声信号をアナログ音声信号に変換してスピーカ１９２に出力する音声Ｄ／Ａ変換処理機能１１２Ｍと、音声信号が入力されたマイクロホン１９１の位置から話者を識別する話者識別機能１１３Ｍと、ディジタル音声信号に話者識別情報および現在時刻を付加する話者識別・現在時刻付加処理機能１１４Ｍと、ディジタル音声信号を通信網３に送り出すのに適した音声データ形式に変換するとともに通信網３から受信した音声信号を内部処理に適した音声データ形式に変換する音声データ送受信処理機能１１５Ｍとを有している。

音声処理部１１は、マイクロホン１９１から入力されたアナログ音声信号をディジタル音声信号に変換した後、話者識別処理機能１１３Ｍで取得した話者識別情報および現在時刻情報をディジタル音声信号に付加して情報付加音声信号とし、さらにこの情報付加音声信号を通信網（インターネット、構内ＬＡＮなど）３へ送り出すに適した音声データ形式にした圧縮音声信号に変換して通信処理部１５へ送り出す働きを有している。また、音声処理部１１は、通信網３から通信処理部１５を介して受信した圧縮音声信号を伸張して情報付加音声信号とした後、話者識別情報および現在時刻情報を取り除いてディジタル音声信号とし、音声Ｄ／Ａ変換処理機能１１２Ｍでアナログ音声信号に変換してスピーカ１９２から出力する働きを有している。

議事録作成処理部１２は、マーキング遡り処理機能１２１Ｍを有しており、パソコン１８からの指示によって、音声記録メモリ１４３に格納された音声データもしくは文字データメモリ１４４に格納された文字データに、議事録として採用することを示すマーキングをデータを遡ってマーキングする働きを有している。

映像処理部１３は、通信網３から受信した圧縮映像信号から変換されたディジタル映像信号に話者識別情報および文字データを付加した情報付加映像信号を、モニタ１９３に表示するアナログ信号に変換処理する映像Ｄ／Ａ変換処理機能１３１Ｍと、表示画面内に文字データを表示させる処理を行うＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）処理機能１３３Ｍと、映像Ａ／Ｄ変換処理機能１３２Ｍからのディジタル映像信号を通信網３に送り出すのに適した画像データ形式とした圧縮映像信号に変換するとともに、通信網３から受信した圧縮映像信号を内部処理に適した映像データ形式に変換する映像データ送受信処理機能１３４Ｍとを有している。

映像Ａ／Ｄ変換処理機能１３２Ｍと、ＯＳＤ処理機能１３３Ｍと、映像データ送受信処理機能１３４Ｍは、映像ＣＯＤＥＣ部１３４がＣＰＵ１６と共同して実現される機能である。ＯＳＤ処理機能１３３Ｍは、ＯＳＤ処理機能３３１Ｍと、音声−文字データ変換処理機能３３２Ｍとから成る。音声―文字データ変換処理機能３３２Ｍは、音声一時記憶メモリ１４２に記憶された音声データを読出し、その内容を認識して文字データに変換する機能を有している。この音声−文字データ変換処理は相当の処理時間を必要とするので、ＯＳＤ機能によってモニタの画面に表示するときは、話者の発言から少し遅れて表示されるが、聞き逃しなどを確認するには具合のよい表示タイミングになる。音声−文字データ変換処理に要する時間が短い場合には、文字データのＯＳＤ表示に遅延を入れて表示タイミングを望みの時間遅らせて表示する。ＯＳＤ処理機能３３１Ｍは、音声−文字データ変換処理機能３３２Ｍが変換した文字データを話者識別情報とともにディジタル映像信号に重畳し、情報付加映像信号とする機能である。

ＯＳＤ処理機能１３３Ｍの情報付加映像信号力は、映像Ｄ／Ａ変換処理機能１３１Ｍに出力される。

記憶部１４は、主メモリ１４１と、音声一時記録メモリ１４２と、音声記録メモリ１４３と、文字データメモリ１４４を有している。各メモリの働きは、図１の説明と同じであるので説明を省略する。

このようなテレビ会議装置１において、議事録作成者がテレビ会議における発言内容を聞き取りながらまたは文字化された発言内容を読み取りながら議事録として採用すべきと判断したときに、例えばパソコン１８から議事録として採用することを示すマーキング信号を入力することによって、音声記録メモリ１４３に格納された音声データ（発言内容）または文字データメモリ１４４に格納された文字化された発言内容の先頭に遡って音声議事録に採用のフラグを立てる。このフラグは、記憶部１４の音声メモリ１４２または文字データメモリ１４４に記録されたデータの先頭に付与される。

議事録作成時には、音声記録メモリ１４３および／または文字データメモリ１４４にパソコン１８からアクセスし、その内容を確認しながら議事録を作成することができる。

通信処理部（通信網インタフェース）１５は、自己のテレビ会議装置１に通信網３を介して対向して設けられた少なくとも一つのテレビ会議装置との間で音声データおよび画像データならびに文字データをそれぞれ異なる帯域を用いて送受信するための処理を行う。さらに、通信処理部１５は、一部に設けたパソコン１８との間の通信のための処理を実行する。

以下、テレビ会議装置１の動作について説明する。まず、音声信号の処理について述べる。複数のマイクロホン１９１からのアナログ音声信号を音声Ａ／Ｄ変換機能１１１ＭでＡ／Ｄ変換してディジタル音声信号とし、話者識別処理機能１１３Ｍによりアナログ音声信号の主マイクロホン１９１の位置から話者を識別して話者識別情報を取得し、話者識別・現在時刻付加処理機能１１４Ｍにより、話者識別情報と現在時刻をディジタル音声信号に付加して情報付加音声信号とし、この情報付加音声信号を音声データ送受信処理機能１１５Ｍと音声一時記録メモリ１４２へ送出する。

情報付加音声信号を受信した音声データ送受信処理機能１１５Ｍは、情報付加音声信号を通信網３のインタフェースに合わせたデータフォーマットに圧縮変換処理して圧縮音声信号として通信処理部１５へ送り出す。通信処理部１５は、通信網３に合わせて電気インタフェースを変換して、通信網３にデータを送信する。同時に音声データ送受信処理機能１１５Ｍにより話者識別情報と現在時刻を付加したディジタル音声信号を記憶部１４に設けた音声一時記録メモリ１４２に記録する。

また、通信網３からのディジタル音声信号を通信処理部１５で受信し、電気インタフェースを変換して圧縮音声信号とした後、音声データ送受信処理機能１１５Ｍに出力する。

音声データ送受信処理機能１１５Ｍは、通信網のデータフォーマットから装置内のデータフォーマットに変換して話者識別情報と現在時刻を付加した情報付加音声信号に変換し、話者識別情報と現在時刻を抜き取ったディジタル音声信号を音声Ｄ／Ａ変換処理機能１１２Ｍに送出する。同時に、音声データ送受信処理機能１１５Ｍは、話者識別情報と現在時刻を付加したディジタル音声信号を記憶部１４の音声一時記録メモリ１４２に記録する。

音声Ｄ／Ａ変換処理機能１１２Ｍは、ディジタル音声信号をＤ／Ａ変換してアナログ音声信号とし、スピーカ１９２へ出力する。

次に、映像信号の処理について述べる。映像Ａ／Ｄ変換処理機能１３２Ｍは、カメラ１９４からのアナログ映像信号をＡ／Ｄ変換してディジタル映像信号を得て映像データ送受信処理機能１３４Ｍへ送出する。映像データ送受信処理機能１３４Ｍは、このディジタル映像信号を、通信網３のインタフェースに合わせたデータフォーマットの圧縮映像信号に圧縮変換した後、通信処理部１５に送信する。通信処理部１５は、圧縮映像信号の電気インタフェースを変換して通信網内圧縮映像信号を得て、通信網３に送信する。

一方、通信網３からの通信網内圧縮映像信号を受信した通信処理部１５は、電気インタフェースを変換した後、通信網３のデータフォーマットを装置内のデータフォーマットに変換して圧縮映像信号とした後、映像データ送受信処理機能１３４Ｍに送信する。映像データ送受信処理機能１３４Ｍは、圧縮映像信号を伸長変換してディジタル映像信号を得て、ＯＳＤ処理機能１３３Ｍへ送出する。ＯＳＤ処理機能１３３Ｍは、文字データおよび話者識別情報を付加して情報付加映像信号として映像Ｄ／Ａ変換処理機能１３１Ｍへ出力する。映像Ｄ／Ａ変換処理機能１３１Ｍは、情報付加映像信号をアナログ映像信号に変換してモニタ１９３へ出力する。

ＯＳＤ処理機能１３３Ｍは、ＣＰＵ１６からのオーダにより、記憶部１４の音声一時記録メモリ１４２から音声信号と話者識別情報を読み出し、モニタ表示用の文字データに変換する。ＯＳＤ処理機能１３３Ｍは、ディジタル映像信号に、ＯＳＤ処理機能１３３Ｍからのモニタ表示用の文字データと話者識別情報を重畳させて、モニタ画面に表示するカメラ映像の一部に、話者識別情報と発言内容の文字データを順次表示させる。

モニタ１９３に表示させる映像は、自己のテレビ会議装置のカメラで撮影した映像と文字データなどを表示するほかに、通信網３を介して取得した他のテレビ会議装置からの映像と文字データなどを表示させることができる。また、自己テレビ会議装置の映像と他テレビ会議装置の映像を、後述する分割表示方式で同一画面上に分割表示させ、さらに、話者の文字データを画面上に文字データとして表示することができる。

記憶部１４の音声一時記録メモリ１４２は、音声データを一時記録し、パソコン１８からの指定により、通信処理部１５→ＣＰＵ１６→記憶部１４の音声一時記録メモリ１４２とアクセスし、指定された音声データのみを音声一時記録メモリ１４２から音声記録メモリ１４３に、議事録データとして格納していく。

また、音声記録メモリ１４３に記録されたデータの中から、必要な情報を読み出すときには、パソコン１８から識別信号、記録時間、発言内容の一部等のキーワードを指定し、検索することができる。検索した結果は、パソコン１８のモニタに表示する。結果が複数の場合、記録時間の早いものから順に話者の識別情報と発言内容を表示する。

会議終了後、保存された議事録データを、パソコン１８からの操作により、通信処理部１５→ＣＰＵ１６→音声記録メモリ１４２とアクセスし、パソコン１８へ読み出すことができる。読み出した議事録データをパソコン１８の文字変換ソフト等により文書化し、議事録を作成する。

次に、図３を用いて、上記テレビ会議装置１を用いて、Ａ地点およびＢ地点ならびにＣ地点の３地点間でテレビ会議を行う場合のテレビ会議システムの構成を説明する。図３は、テレビ会議システムの一例を示し、本発明のテレビ会議装置１を用いたテレビ会議システムは、３地点間のみでなく、２地点間や４、５地点間での接続も可能である。また、２地点間の場合、通信網３におけるＭＣＵ（多地点接続装置）３１は不要である。

まず、３地点のテレビ会議装置１Ａ〜１Ｃ間を、通信網３を介して互いに接続する。各テレビ会議装置１Ａ〜１Ｃを通信網３に接続した後、Ａ地点のマイクロホン１９１Ａから発言した内容は、Ｂ地点およびＣ地点のそれぞれのスピーカ１９２Ｂ、１９２Ｃで再生される。また、Ａ地点のカメラ１９４Ａで撮影した映像は、それぞれＢ地点およびＣ地点のモニタ１９３Ｂ，１９３Ｃに表示される。確認のために、Ａ地点の映像をモニタ１９３Ａに表示することができる。

Ｂ地点およびＣ地点の発言内容および画像についても、それぞれ同じようにマイクロホン１９１Ｂ、１９１Ｃから発言し、他地点の音声をスピーカ１９２Ａ〜１９２Ｃで再生し、カメラ１９４Ｂ，１９４Ｃの映像をモニタ１９３Ａ〜１９３Ｃに表示する。

このようにして、Ａ、Ｂ、Ｃの３地点間で互いに相手の映像を見ながら発言内容を聴取してテレビ会議を進めることができる。

本発明においては、Ａ地点の複数のマイクロホン１９１Ａのうち、ある一つのマイクロホン１９１Ａから発言した内容は、文字データに変換され話者識別情報と共に、Ａ、Ｂ、Ｃ地点の各々のモニタ１９３Ａ〜１９３Ｃの映像表示中の一部に、追いかけて文字表示される。同様に、Ｂ、Ｃ地点の複数のマイクロホン１９２Ｂ、１９２Ｃから発言した内容を、文字データに変換し話者識別情報と共に、Ａ、Ｂ、Ｃ地点の各々のモニタ１９３Ａ〜１９３Ｃの映像表示中の一部に、追いかけて文字表示する。

会議の参加者は、発言内容を万が一聞き逃した場合にも、後からモニタ１９３Ａ〜１９３Ｃに発言者と発言内容が文字で表示されるので、その発言内容を知ることができる。

また、会議の参加者のうち、議事録作成の担当者は、発言内容をスピーカ１９２で聞いた後、このモニタ１９３に表示された文字による発言内容を見て、議事録に残したい内容をパソコン１８にて選択し、テレビ会議装置１の記憶部１４２にマーキングしてその他の音声データまたは文字データとともに保存する。パソコン１８での議事録作成用の選択動作は、このように会議中にも行なうことができるが、会議終了後に会議の内容を再生して選択して議事録を作成することができる。また、このような議事録作成者の選択によらずに、議事録の選択内容を、予め議事録に残す発言者をマイクロホンの位置（音声の識別信号）で設定したり、声（ボリューム）の大きさで設定したりする等により、設定することができる。

図４および図５を用いて本発明にかかる音声会議システムの構成を説明する。図４は音声会議装置のハードウエア構成の例であり、図５は音声会議装置を互いに通信網に接続して構成した音声会議システムの例示す図である。図４に示す音声会議装置１´は、図１に示したテレビ会議装置の構成から、映像処理部１３の映像Ａ／Ｄ変換処理回路１３２およびカメラ１９４の機能を省いた構成となっており、映像信号を通信網３へ送受信する機能を持っていないのを除いて、テレビ会議装置１と同様の機能動作を実行できる。図５に示す音声会議システムでは、ＯＳＤ機能部１３３は、マイクロホンからの音声信号に基づいて発言内容を文字データ化し、これをモニタ１９３に表示させる。各地点のモニタ１９３には、話者識別情報と同時に、発言内容が文字表示されるのみである。

この実施例にかかる音声会議装置１´の機能構成は、図２に示したテレビ会議装置１の機能構成からカメラからの映像をＡ／Ｄ変換する映像Ａ／Ｄ変換処理機能１３２Ｍを除いた構成となる。議事録の作成は、テレビ会議装置における処理と同じ処理を行うことができる。

図６は、図５に示した音声会議装置１´の３地点間を接蔵した音声会議システムの接続構成において、外部にモニタ１８を接続しない場合の構成例を示す。この構成の場合、外部モニタ１９４の代用として、パソコン１８のモニタを使用する。その際の表示動作は、図４において、ＯＳＤ機能部１３が、ＣＰＵ１６からのオーダにより、音声一時記録メモリ１４２から音声信号を読み出し、モニタ表示用の文字データに変換して、映像ＣＯＤＥＣ１３４に出力し、モニタ表示用の文字データのみＣＰＵ１６でパソコン１８のモニタ表示のインタフェースに合わせたデータフォーマットに変換し、通信網インタフェース１５で電気インタフェースを変換して、パソコン１８に送信することによって、話者識別情報と発言内容を、順次、パソコン１８のモニタに表示させる。

図７を用いて、３地点間のテレビ会議におけるＡ地点でのモニタに映像を分割表示する表示例を説明する。モニタ１９４の表示部１９４Ｄには、例えば、Ａ地点の映像１９４Ａと、Ｂ地点の映像１９４Ｂと、Ｃ地点の映像１９４Ｃが分割表示され、画面下部に話者識別情報から作成した話者名と音声−文字データ変換処理機能１３２Ｍで作成した文字データが表示される。文字データは、画面に表示された映像よりも遅延した後追いで表示される。

このように、本発明にかかる通信会議システムは、発言内容を後追いで画面上で確認することができ、従来のテレビ会議システムや音声会議システムと同等の接続および同等の使用方法で操作することが可能となり、システムの導入が容易である。

テレビ会議装置のハードウエア構成を説明する図 図１のテレビ会議装置の機能構成を説明する図 テレビ会議装置を互いに接続したテレビ会議システムの構成を説明する図 音声会議装置のハードウエア構成を説明する図 図４の音声会議装置を互いに接続した音声会議システムの構成を説明する図 音声会議システムの他の構成を説明する図 モニタに表示する分割画面および文字表示例を説明する図

符号の説明

１：テレビ会議装置、１´：音声会議装置、１１：音声処理部、１１１：音声Ａ／Ｄ変換回路、１１１Ｍ：音声Ａ／Ｄ変換処理機能、１１２：音声Ｄ／Ａ変換回路、１１２Ｍ：音声Ｄ／Ａ変換処理機能、１１３Ｍ話者識別処理機能、１１４Ｍ：話者識別・現在時刻付加処理機能、１１５：音声ＣＯＤＥＣ部、１１５Ｍ：音声データ送受信処理機能、１２：議事録作成処理部、１２１Ｍ：マーキング遡り処理機能、１３：映像処理部、１３１：映像Ｄ／Ａ変換回路、１３１Ｍ：映像Ｄ／Ａ変換処理機能、１３２：映像Ａ／Ｄ変換回路、１３２Ｍ：映像Ａ／Ｄ変換処理機能、１３３：ＯＳＤ機能部、１３４：映像ＣＯＤＥＣ部、１３４Ｍ：映像データ送受信処理機能、１４：記憶部、１４１：主メモリ、１４２：音声一時記録メモリ、１４３：音声記録用メモリ、１４４：文字データメモリ、１５：通信網インタフェース（通信処理部）、１６：中央処理装置（ＣＰＵ）、１７：バス、１８：パソコン、１９１：マイクロホン、１９２：スピーカ、１９４：カメラ、１９３：モニタ、３：通信網、３１：多地点接続装置（ＭＣＵ）、３３１Ｍ：ＯＳＤ処理機能、３３２Ｍ：音声―文字データ変換処理機能。

Claims (4)

1. 話者の音声を集音したマイクロホンからのアナログ音声信号をディジタル音声信号に変換する音声Ａ／Ｄ変換手段と、
   音声信号から話者を識別し特定する話者識別情報を取得する話者識別処理手段と、
   前記ディジタル音声信号に前記話者識別情報を付加して情報付加音声信号に変換する話者識別情報付加手段と、
   当該話者識別情報付加手段が出力する前記情報付加音声信号を記録する音声記録メモリと、
   当該情報付加音声信号を圧縮して通信網へ圧縮音声情報を送信する送信手段と、
   当該通信網から前記圧縮音声情報を受信する受信手段と、
   受信した前記圧縮音声信号を伸張して再度情報付加音声信号とし、前記付加されていた前記話者識別情報を抽出した後、再度ディジタル音声信号とする音声データ処理手段と、
   当該ディジタル音声信号を再度アナログ音声信号に変換してスピーカから出力する音声Ｄ／Ａ変換手段と、
   を有する通信会議装置であって、
   文字データを表示させる画面と、
   前記ディジタル音声信号を文字データに変換する音声―文字データ変換手段と、
   当該変換された文字データを記憶する文字データメモリと、
   該変換された文字データを前記画面に表示させる映像に変換する映像Ｄ／Ａ変換手段と、該変換された文字データを該当する話者の発言より遅れて追っかけて前記画面上に表示する文字データ表示手段と、
   前記音声記録メモリに記録された前記情報付加音声信号に含まれる音声データを再生しているときに、または、前記文字データメモリの文字データを前記画面に表示しているときに、当該再生している音声データ、または、当該表示している文字データに対してマーキング信号を入力するマーキング信号入力手段と、
   当該マーキング信号入力手段からの入力に応じて、前記音声記録メモリに記録された前記情報付加音声信号に含まれる音声データ、または、前記文字データメモリに記録された文字データ、の先頭にフラグを付与するフラグ付与手段と、
   該フラグ付与手段により前記フラグを付与された音声データまたは文字データを用いて議事録データを作成する第１の議事録データ作成手段と、
   を有することを特徴とする通信会議装置。
2. 請求項１記載の通信会議装置において、
   話者を撮影するカメラと、
   当該カメラで撮影した話者のアナログ映像信号をディジタル映像信号に変換する映像Ａ／Ｄ変換手段と、
   前記ディジタル映像信号を圧縮して圧縮映像信号としこの圧縮映像信号を通信網へ送信する映像信号送信手段と、前記通信網から受信した圧縮映像信号を伸張してディジタル映像信号に変換する映像信号伸張手段と、
   映像を表示するモニタと、
   前記ディジタル映像信号に前記話者識別情報と発言内容の文字データを重畳させて前記モニタに表示させるＯＳＤ機能部と
   を有することを特徴とする通信会議装置。
3. 請求項１記載の通信会議装置において、
   前記第１の議事録データ作成手段に換えて、
   前記話者識別情報を指定することで前記識別情報付加音声信号を用いて議事録データを作成する第２の議事録データ作成手段を有することを特徴とする通信会議装置。
4. 請求項１記載の通信会議装置が、テレビ会議装置または音声会議装置であることを特徴とする通信会議装置。
   

Images