JP2655413B2 - マルチメディア文書通信方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はマルチメディア文書通信方法に関し、特にビ
デオテックス，データベース検索や会議サービスのよう
な会話型通信サービスにおいて文字，音声，グラフィッ
クス，静止画像，動画像などのマルチメディア情報から
構成されるマルチメディア文書情報を通信するマルチメ
ディア文書通信方法に関する。

〔従来の技術〕

従来、文字，静止画像，グラフィクスなど時間的に静
的な非実時間情報を含んだ文書構造は多数提案され標準
化も進んでいる。一方、時間的に連続な実時間情報であ
る音声情報，動画像情報，ポインティング情報を文字情
報などの非実時間情報と混在したマルチメディア文書と
して通信及び表示する方法としては、文書情報本体に同
期制御情報を埋め込む方法が提案されている（石橋他、
昭和61年度電子通信学会通信部門全国大会論文集、分冊
１、パート１、１−259、プライベートデジタルビデオ
テックス方式）。

これは、画像情報や文字情報のような非実時間情報の
中に再生停止コマンドを埋め込み、音声情報などの実時
間情報の中に再生停止解除コマンドを挿入することによ
り実現する。通信に際し、再生停止コマンドを含んだ非
実時間情報を実時間情報より先に送り、端末側で一端蓄
積し、再生停止コマンドにより表示を停止しておき、再
生停止解除コマンドを実時間情報と共に送ることによ
り、表示を開始させ、実時間情報の出力と非実時間情報
の同期出力を実現する。

〔発明が解決しようとする課題〕

しかしながら、上記のように文書情報の中にメディア
間の同期情報が混在した方法では、同期の設定は文書情
報の作成者にまかされており、同期を意識した情報入力
作業が必要であり、同期情報の設定及び定義が難しい。

また、ビデオテックスのように単に検索するだけでな
く、データベースや会議サービスのように蓄積，再編
集，再送信という文書情報の再利用を考えると、同期情
報と文書情報が分離されていないため、情報の分割及び
出力順序の入れ替え等の編集作業が最初の作成者以外は
非常に難しくなる問題がある。

本発明は実時間情報と非実時間情報とが混在するマル
チメディア文書の通信において利用者が文書構成要素間
の通信の同期制御を容易に設定でき、かつ再利用に際し
ても容易に同期制御のできる文書の構成並びに通信方法
を提供することにある。

〔課題を解決するための手段〕

本発明は、ネットワークに接続された複数の端末間や
端末・ホスト計算機間で非実時間情報及び実時間情報を
含むマルチメディア文書を送受信するマルチメディア文
書通信方法において、前記マルチメディア文書の送信側
では、前記非実時間情報及び前記実時間情報に対して付
与されている識別子を用いて、前記非実時間情報及び前
記実時間情報の同期通信手順を記述した同期通信記述部
を作成し、前記同期通信記述部の同期通信手順の記述の
解釈を行い、前記解釈結果に従って前記非実時間情報及
び前記実時間情報を前記マルチメディア文書の受信側に
対して送信することを特徴とする。

また、本発明は、ネットワークに接続された複数の端
末間や端末・ホスト計算機間で非実時間情報及び実時間
情報を含むマルチメディア文書を送受信するマルチメデ
ィア文書通信方法において、前記マルチメディア文書の
送信側では、前記非実時間情報及び前記実時間情報に対
して付与されている識別子を用いて、前記非実時間情報
及び前記実時間情報の同期通信手順を記述した同期通信
記述部を作成し、作成された前記同期通信記述部を前記
マルチメディア文書の受信側に送信を行い、さらに前記
マルチメディア文書の送信側では、前記同期通信記述部
の同期通信手順の記述の解釈を行い、前記解釈結果に従
って前記非実時間情報及び前記実時間情報を前記マルチ
メディア文書の受信側に対して送信を行うと共に、前記
マルチメディア文書の受信側においても、送信された前
記同期通信記述部の解釈を行い、前記解釈結果に従って
前記非実時間情報及び前記実時間情報の受信を行うこと
を特徴とする。

〔作用〕

ネットワーク経由で文字情報，データ，グラフィック
ス，静止画像のように時間的に静的な非実時間情報に音
声や動画像などの時間的に動的な実時間情報を付加し
て、文章の内容を音声や映像を用いて説明したりするな
ど、より高度の利用を行なうにはマルチメディア情報の
同期制御が必須である。同期制御を実現する方法にはセ
マフォやメッセージパッシングによる方法が知られてい
るが、重要なのは利用者にこれらの複合メディアの制御
を簡単に実現させることである。一方、計算機言語の分
野では、並列処理や分散処理を実現するため、セマフォ
やメッセージパッシングを表現する言語の開発が進めら
れている。

そこで、本発明の方法では、従来、ネットワークに接
続された複数の端末間や端末・ホスト計算機間で通信シ
ステムごとに決めていた通信制御方式を並列手続きや同
期を記述する同期記述言語により非実時間情報及び実時
間情報に対して付与した識別子間の同期通信手順を記述
し、マルチメディア文書の一部として構成し、通信に際
しては、同期通信記述部を翻訳し、解釈実行を行ないな
がら文書の内容の同期通信を実現することを基本として
いる。

この方法により、文書本体と同期情報が分離されて、
作成者は情報の入力と同期情報の入力を別々に行えるよ
うになるため、同期を意識して文書入力を行なう必要が
なくなる。同期情報の入力は同期言語の記述のため、文
字入力と同じ方法で簡単に実現される。

また、再編集可能な文書情報として通信する場合に
は、通信に際して、最初に同期通信記述部を送受信した
後、送信側と受信側で同期通信記述部を翻訳及び解釈し
実行して文書の同期通信を実現する。これにより、受信
側に同期通信記述部を含めた全ての文書構成要素が得ら
れ、さらに再編集も文書情報の編集と同期情報の編集に
分離され、同期情報の編集は文字情報からなる同期通信
記述部の修正となるため、作成者以外でも同期情報の変
更が容易に実行できる。

この結果、通信サービス毎に異なる応答速度や表示順
序の指定を同期通信手順の記述として利用者に解放でき
るため、最適の通信手順を文書作成者が構築できる柔軟
性を持っている。

なお、同期記述部は文字情報であるから、文字情報の
入力、編集システムを用いて作成及び保守できる。ま
た、その記述形式を標準化する事により、異なったシス
テム間でもデータの交換が可能となる。

以下の説明では、実時間情報として音声情報について
説明するが動画像やポインティング情報にも適用可能で
ある。また、非実時間情報として文字情報について説明
するが、グラフィックスや静止画像でもよい。さらに、
既存の電子メールなどの非実時間型サービスなどで同期
通信記述部が必要ないときは文字情報の１つとして内容
を無視して通信すればなんら問題はない。以下の文書通
信の説明では、通信手順についてのみ述べる。個々のメ
ディア情報の実際の通信はネットワークに対してプロト
コルで通信されるものとする。

〔実施例〕

第１図（ａ），（ｂ），（ｃ），（ｄ），（ｅ）は本
発明のマルチメディア文書通信方法の一実施例を説明す
る図である。

第１図（ａ）は本方法で扱うマルチメディア文書のデ
ータ構造を示す。同図において、１は同期情報を記述し
た同期通信記述部、2a,2bは文字情報、3a,3bは音声情
報、4a,4b,4c,4dは各メディア情報を一意に識別するた
めの識別子である。ここで文字情報及び音声情報はそれ
ぞれ符号化され蓄積されているものとする。

第１図（ｂ）は同期通信記述部１の具体的な例であ
る。10はそれに続く｛と｝の間の命令を逐次実行するこ
とを示す逐次実行命令、12はそれに続く｛と｝の間の命
令を並列に実行する並列実行命令、11a,11bは文字情報
を通信させる非実時間情報通信命令、13a,13bは音声情
報を通信する実時間情報通信命令である。非実時間情報
通信命令11a,11bと実時間情報通信命令13a,13bとはそれ
ぞれ実際の動作を行なう対象として、文字情報及び音声
情報の識別子4a,4b,4c,4dを持つ。

第１図（ｃ）はこの実施例の機能ブロック図である。
20は第１図（ａ）の構造の文書情報を蓄積する文書情報
蓄積部、21は同期通信記述部１を解釈実行する同期通信
制御部、22は文字情報の通信を実行する文字情報通信制
御部、23は音声情報の通信を実行する音声情報通信制御
部である。

第１図（ｄ）は同期通信制御部21が送信時に行なう通
信制御アルゴリズムを説明す図である。同期通信制御部
21は、（１）最初に制御レベルを０とし、同期通信記述
部１の先頭に字句解析の始点を設定する（100）。
（２）同期通信記述部１を最終まで処理したか判定する
（101）。（３）次の命令の１語を読み込み判定を行な
う（102）。（４）逐次実行命令の場合は、制御レベル
を１つ上げ、逐次実行モードをセットする（103）。
（５）並列実行命令の場合は、制御レベルを１つ上げ、
並列実行モードをセットする（104）。（６）文字情報
通信命令の場合、上記文字情報通信制御部に文字情報の
通信依頼を行い（105）、実行モードの判定を行い（10
6）、逐次実行モードのときは通信の終了を待ち合わせ
る（107）。（７）音声情報通信命令の場合、上記音声
情報通信制御部に音声情報の通信依頼を行い（108）、
実行モードの判定を行い（109）、逐次実行モードのと
きは通信の終了を待ち合わせる（110）。（８）終端記
号“｝”の場合は、並列実行モードが判定し（111）、
並列実行モードの場合はそのレベルで依頼した通信の終
了を待ち合わせ（112）、制御レベルを１つ下げる（11
3）。（９）終端記号“｛”は読み飛ばす。（10）全て
の処理後、ステップ101へ戻る。（11）上記同期通信記
述部を解釈し終ると、送信が完了する（114）。

また、第１図（ｅ）は再編集可能な形式で文書通信を
実行する第２のアルゴリズムを説明する図である。文書
本体の通信に先立ち、同期通信記述部１を文字情報通信
制御部22に依頼して送信した後（200）、第１の方法と
同じ方法で同期通信を実現する。

どちらの方法でも同期制御は送信側で行なうため、受
信側では特別の同期制御は必要ない。再編集可能な第２
の方法では、受信側でよりきめ細かなタイミング制御を
同期通信記述部１の内容に従って実現してもよい。

第１図（ａ），（ｂ）の構造で表現されるマルチメデ
ィア文書を通信する動作を第２図を用いて説明する。第
２図は各通信チャンネル毎に各メディア情報の通信時の
タイムチャートを示す図である。（１）最初の逐次実行
命令10を読み込む。（２）次に、文字通信命令11aを読
み込み“文字1"の識別子のついて文字情報2aを文字情報
通信回線を用いて送信する。通信にはt₁時間がかかった
とする。（３）次に、並列実行命令12を読み込み、並列
実行動作を開始し、並列に実行する命令11b,13aを続け
て読み込む。（４）文字情報2b“文字2"の送信と音声情
報3a“音声1"の通信が並列に実行される。（５）２つの
命令の実行の終了を待ち合わせして、次の命令に移る。
第２図では、文字の通信はt₂で終わるが、音声の通信は
t₃（t₃＜t₂）かかるので次の命令の実行はt₃から開始さ
れる。（６）最後に音声情報3b“音声2"が送信されて通
信が終了する。

以上のようにして、マルチメディア文書の通信が実現
される。第１図（ｂ）のような同期通信制御情報は文字
情報の編集システムで作成する。同期通信制御はシステ
ムが実行するため、同期通信記述部１を利用者が作成す
る場合に時間的なタイミングを意識する必要はない。文
字情報の通信と音声情報の通信は、独立の管理部が独立
の通信回線を用いて実行するため、並列通信や同期出力
が実現される。ただし、２つの通信回線とも論理的に独
立で有ればよく、物理的な通信回線は２本用いても可能
であるし、ビット多重，フレーム多重，パケット多重な
どの多重化技術を用いて１本の回線でも実現可能であ
る。また、上記説明では、制御命令として基本的な逐次
実行と並列実行について述べているが、より複雑な文法
を導入すれば、待ち合わせ，条件実行，例外実行など複
雑な構成のマルチメディア文書表示システムを簡単に実
現できる。

〔発明の効果〕 以上説明したように本発明によれば、文字情報などの
非実時間情報及び音声情報などの実時間情報が混在する
マルチメディア文書において、通信におけるメディア間
の同期が同期記述言語の記述で時間を意識せずに容易に
設定及び変更ができ、同期通信を利用者やサービスの要
求に合わせて設定できる。また、再利用が容易に実現で
きる再編集可能形式で同期通信を実現できる。さらに同
期通信記述部の形式を標準化することにより、サービス
に依存しない文書の同期通信を同時に実現できる。

【図面の簡単な説明】

第１図（ａ），（ｂ），（ｃ），（ｄ），（ｅ）は本発
明の一実施例を説明する図、第２図は同実施例の同期通
信のタイミングを説明する図である。 １……同期通信記述部、2a,2b……文字情報、3a,3b……
音声情報、4a,4b,4c,4d……識別子、10,11a,11b,12,13
a,13b……制御命令、20……文書情報蓄積部、21……同
期通信制御部、22……文字情報通信制御部、23……音声
情報通信制御部。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】ネットワークに接続された複数の端末間や
   端末・ホスト計算機間で非実時間情報及び実時間情報を
   含むマルチメディア文書を送受信するマルチメディア文
   書通信方法において、 前記マルチメディア文書の送信側では、前記非実時間情
   報及び前記実時間情報に対して付与されている識別子を
   用いて、前記非実時間情報及び前記実時間情報の同期通
   信手順を記述した同期通信記述部を作成し、 前記同期通信記述部の同期通信手順の記述の解釈を行
   い、前記解釈結果に従って前記非実時間情報及び前記実
   時間情報を前記マルチメディア文書の受信側に対して送
   信することを特徴とするマルチメディア文書通信方法。
2. 【請求項２】ネットワークに接続された複数の端末間や
   端末・ホスト計算機間で非実時間情報及び実時間情報を
   含むマルチメディア文書を送受信するマルチメディア文
   書通信方法において、 前記マルチメディア文書の送信側では、前記非実時間情
   報及び前記実時間情報に対して付与されている識別子を
   用いて、前記非実時間情報及び前記実時間情報の同期通
   信手順を記述した同期通信記述部を作成し、作成された
   前記同期通信記述部を前記マルチメディア文書の受信側
   に送信を行い、 さらに前記マルチメディア文書の送信側では、前記同期
   通信記述部の同期通信手順の記述の解釈を行い、前記解
   釈結果に従って前記非実時間情報及び前記実時間情報を
   前記マルチメディア文書の受信側に対して送信を行うと
   共に、前記マルチメディア文書の受信側においても、送
   信された前記同期通信記述部の解釈を行い、前記解釈結
   果に従って前記非実時間情報及び前記実時間情報の受信
   を行うことを特徴とするマルチメディア文書通信方法。