JP3590639B2 - Information synchronization control method, information transmission device, and information output device - Google Patents

Description

【００２４】
”ｓｔａｔｅ”の項には、状態番号と対応する状態名の組を記述する。状態番号は、この”ｓｔａｔｅ”の項内で一意な整数である。”ｅｖｅｎｔ”の項には、”＜状態番号（正の整数）＞→＜状態番号（正の整数）＞”で示される＜状態番号（正の整数）＞→＜状態番号（正の整数）＞の状態遷移を引き起こすイベントの名前とイベント番号が組にして列挙される。イベント番号は、この”ｅｖｅｎｔ”の項内で一意な整数である。なお、”［．．．］＊”は、．．．が１つ以上出現することを表す。なお、後述するように、状態番号”０”として設定された状態は、初期状態とされる。
【００２５】
導出クラスのシンタクスは、以下のように定義される。

【００２６】
この”クラス名”で識別される導出クラスは、親クラスである”基本クラス名”または”導出クラス名”で識別されるクラスの状態遷移と、それを引き起こすイベントを継承する。この場合、”状態番号”のフォーマットは、”．”で区切られた２つ以上の正の整数列で表わされ、最も右側の整数の左に隣接する整数は、１つ上位の親クラスの状態番号を表わす（後述の例を参照のこと）。すなわち、導出クラスの記述は、親のクラス（基本クラスまたは導出クラス）のある状態を、さらに細分化した状態を定義することになる。
【００２７】
例えば、ある基本クラスにおいて、状態番号ｎ（ｎは正の整数）が定義される場合、その導出クラス（子クラス）において、親クラスの状態番号ｎに対応する状態をさらに細分化して定義するときは、状態番号をｎ．ｍ（ｎ、ｍは正の整数）とする。
【００２８】
さらに、その導出クラス（子クラス）の導出クラス（孫クラス）において、子クラスの状態番号ｎ．ｍに対応する状態をさらに細分化して定義する場合は、状態番号をｎ．ｍ．ｋ（ｎ、ｍ、ｋは正の整数）とする。
【００２９】
以上のことを、図１を参照してさらに説明する。図１において、１は、基本クラスＡにおける状態の集合を表し、１．０は状態番号０の状態を表し、１．１は状態番号１の状態を表し、１．２は状態番号ｎの状態を表している。また、２は、基本クラスＡの導出クラスＢにおける、Ａの状態番号ｎの状態１．２を細分化した状態の集合を表し、２．０は状態番号ｎ．０の状態を表し、２．１は状態番号ｎ．１の状態を表し、２．２は状態番号ｎ．ｍの状態を表している。同様に、３は、導出クラスＢの導出クラスＣにおける、Ｂの状態番号ｎ．ｍの状態２．２を細分化した状態の集合を表し、３．０は状態番号ｎ．ｍ．０の状態を表し、３．１は状態番号ｎ．ｍ．１の状態を表し、３．２は状態番号ｎ．ｍ．ｋの状態を表している。
【００３０】
上述のクラス定義に記述された状態遷移に従うオブジェクトの宣言と、それらの表示制御手続きがスクリプトに記述される。スクリプトのシンタクスは以下のようになる。
ｓｃｒｉｐｔ ＜スクリプト名＞ ｛
＜オブジェクト定義部＞
＜イニシャルメッセージパッシング記述部＞
＜イベントメッセージパッシング記述部＞
｝
【００３１】
オブジェクト定義部は、次のように規定される。
＜オブジェクト定義部＞ ＝
［＜オブジェクト変数＞ ＝ ｎｅｗ ＜クラス名＞（＜内容部識別子＞）；］＊
【００３２】
オブジェクト定義部は、このスクリプトで記述の対象となるオブジェクトを定義する部分である。オブジェクト変数は、指定されたクラスのインスタンスを特定する識別子となる。
【００３３】
内容識別子は、次式で表わされるように、そのオブジェクトの表現メディアそのもののデータを特定する識別子である。
＜内容識別子＞ ＝
ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ ＝ ＜正の整数＞
【００３４】
イニシャルメッセージパッシング記述部は、次式で表わされ、そのスクリプトが起動されたとき、一番最初に実行される部分である。
＜イニシャルメッセージパッシング記述部＞ ＝
＜メッセージパッシング記述部＞
【００３５】
メッセージパッシング記述部は次式で表わされる。
＜メッセージパッシング記述部＞ ＝
ｄｏ ｛［＜イベント名＞ → ＜オブジェクト変数＞；］＊｝
【００３６】
この式により、オブジェクト変数で特定されるオブジェクトに対してイベント名で特定されるイベントが送られる。その結果、対象オブジェクトの状態遷移が起こる。このイベント名は、対象のオブジェクトのクラス定義において定義されていなければならない。
【００３７】
イベントメッセージパッシング記述部は次式で表わされる。
＜イベントメッセージパッシング記述部＞ ＝
［ｓｗｉｔｃｈ （＜イベント判定部＞） ｛
［ｃａｓｅ （＜状態判定部＞） ＜メッセージパッシング記述部＞］＊
｝］＊
【００３８】
イベント転送の検出（後述）が起こったとき、すべてのｓｗｉｔｃｈ文のイベント判定部に指定されている条件のテストが行なわれ、それが成立した場合、ｃａｓｅ文の状態判定部に指定されている条件のテストが行なわれる。テストした条件が成立した場合、メッセージパッシング記述部に記述されているメッセージパッシングが行なわれる。
【００３９】
ｃａｓｅ文の状態判定部はなくてもよく、その場合には、ただちにメッセージパッシングが行なわれる。
【００４０】
イベント判定部は次式で表わされる。
＜イベント判定部＞ ＝
＜オブジェクト変数＞ ． ＜イベント判定メソッド＞
【００４１】
オブジェクト変数で特定される対象オブジェクトにおいて当該イベントが起こったか否かをテストする。起こっていれば、このイベント判定部が成立することとなる。
【００４２】
イベント判定メソッドは次式で表わされる。
＜イベント判定メソッド＞ ＝
ｉｓＳｅｌｅｃｔｅｄ（）、または、ｇｅｔＭｅｓｓａｇｅ（＜イベント名＞）
【００４３】
ｉｓＳｅｌｅｃｔｅｄ（）メソッドは、対象オブジェクトに対して”ユーザの選択”（後述）が起こったか否かをテストするものであり、ｇｅｔＭｅｓｓａｇｅ（）メソッドは、引き数＜イベント名＞で特定されるイベントが対象オブジェクトにおいて起こったか否かをテストするものである。
【００４４】
状態判定部は次式で表わされる。
＜状態判定部＞ ＝
＜オブジェクト変数＞ ． ＜状態判定メソッド＞
［＜論理演算子＞ ＜オブジェクト変数＞ ． ＜状態判定メソッド＞］＊
【００４５】
これは、オブジェクト変数で特定される対象オブジェクトにおける状態をテストするものであり、対象オブジェクトが下記の状態判定メソッドの引き数＜状態番号＞で特定される状態にあるか否かをテストする。
＜状態判定メソッド＞ ＝
ｔｅｓｔＳｔａｔｅ（＜状態番号＞）
【００４６】
なお、＜論理演算子＞ はＣ言語の論理演算子（＆＆（および），｜｜（または））と同じ意味である。
【００４７】
上述のクラス定義の表記構文と、スクリプトの表記構文にもとづいて、具体的なクラス定義とスクリプトの例を送り側で記述し、それらを伝送媒体を介して受け側のマルチメディア情報表示／再生情報処理装置に伝送し、受け側において、送り側で意図したシナリオにもとづいて、マルチメディア情報を同期制御する方法を以下に説明する。
【００４８】
最初に、メディア（Ｍｅｄｉａ）クラスを定義する。このクラスに属するオブジェクトのとりえる状態として、例えば、次の２つの状態を定義する。
あ）表示待機中（ＷＡＩＴ）
い）表示中（ＲＵＮ）
【００４９】
このオブジェクトが生成されたときの初期状態は”表示待機中（ＷＡＩＴ）”とする。
【００５０】
また、イベントとして、次の２つを定義する。
ア）ｒｕｎ
イ）ｓｔｏｐ
【００５１】
以上のメディアの定義をまとめると、次のようになる。

【００５２】
図２に示すように、このオブジェクトが状態”ＷＡＩＴ”の時に、”ｒｕｎ”というメッセージを受けると、このオブジェクトの状態が、”ＲＵＮ”に遷移する。また、オブジェクトが状態”ＲＵＮ”の時に、”ｓｔｏｐ”というメッセージを受けると、このオブジェクトの状態が”ＷＡＩＴ”に遷移する。この状態遷移を表にまとめると、表１に示すようになる。
【００５３】
【表１】

【００５４】
次に、上述のメディアクラスから導出される連続メディア（Ｃｏｎｔｉｎｕｏｕｓ Ｍｅｄｉａ：再生状態が時間に依存するメディア）クラスを定義する。この連続メディアクラスは上述のメディアクラスの導出クラスであるから、上記２つの状態”ＷＡＩＴ”と”ＲＵＮ”を有する。
【００５５】
さらに、”ＲＵＮ”の状態を
あ）通常再生（ＰＬＡＹ）
い）早送り再生（ＦＡＳＴ＿ＰＬＡＹ）
の２つの状態に分ける。このうち、”通常再生（ＰＬＡＹ）”を初期状態とする（状態番号を０として設定した方が初期状態とされる）。
【００５６】
このようなＣｏｎｔｉｎｕｏｕｓＭｅｄｉａクラスのクラス定義は次のようになる。
ｃｌａｓｓ ＣｏｎｔｉｎｕｏｕｓＭｅｄｉａ ： Ｍｅｄｉａ ｛
ｓｔａｔｅ：
１．０： ＰＬＡＹ；
１．１： ＦＡＳＴ＿ＰＬＡＹ；
ｅｖｅｎｔ：
１．０：ｐｌａｙＦａｓｔ： １．０→１．１；
１．１：ｐｌａｙＮｏｒｍａｌ： １．１→１．０；
｝
【００５７】
ここで、”：Ｍｅｄｉａ”は、”ＣｏｎｔｉｎｕｏｕｓＭｅｄｉａ”クラスが導出される親クラスを示す。また、状態番号が”ｎ．ｍ（ｎ，ｍは正の整数）”となっているのは、状態”ｎ．ｍ： ．．．”が、親クラスの状態”ｎ： ．．．”に含まれることを意味する。すなわち、状態”１．０：ＰＬＡＹ”と”１．１：ＦＡＳＴ＿ＰＬＡＹ”は、ともに親クラス”Ｍｅｄｉａ”の状態”１：ＲＵＮ”の中に含まれる。
【００５８】
ただし、この場合、状態”１．０：ＰＬＡＹ”が初期状態（状態番号が０となっているため）となる。つまり、状態”ＷＡＩＴ”のときにイベント”ｒｕｎ”を受け取ると、状態”ＰＬＡＹ”に遷移する。また、状態”ＰＬＡＹ”または”ＦＡＳＴ＿ＰＬＡＹ”のときにイベント”ｓｔｏｐ”を受け取ると、状態”ＷＡＩＴ”に遷移する。このように、子のクラス（下位のクラス）を定義する場合に、親のクラス（上位のクラス）に定義されている状態遷移を継承させることができる。
【００５９】
また、以上のＣｏｎｔｉｎｕｏｕｓＭｅｄｉａクラスの状態遷移を図と表に表わすと、図３と表２に示すようになる。
【００６０】
【表２】

【００６１】
次に、上述の各クラス（ＭｅｄｉａとＣｏｎｔｉｎｕｏｕｓＭｅｄｉａ）を用いて、所定のオブジェクトの表示状態を制御するために、例えば、下記のようなスクリプト（スクリプト名”ｓａｍｐｌｅ”）を定義する。

【００６２】
即ち、この実施例においては、オブジェクトａがクラスＭｅｄｉａとして規定され、オブジェクトｂとｃがクラスＣｏｎｔｉｎｕｏｕｓＭｅｄｉａとして規定される。そして、それぞれはＩＤ（ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ）１，２または３として識別されるようになされている。
【００６３】
ｄｏ ｛ｒｕｎ→ａ；｝
は、オブジェクトａにイベントｒｕｎを転送することを意味している。

は、ａというオブジェクトがｒｕｎというメッセージを受けたとき、ｃというオブジェクトにｒｕｎというイベントを転送することを意味している。
【００６４】

は、オブジェクトａが選択されたとき、各ｃａｓｅの条件が充足されるか否かを順次判定するものである。このうち、例えば
ｃａｓｅ （（ｂ．ｔｅｓｔＳｔａｔｅ（０）） ＆＆ （ｃ．ｔｅｓｔＳｔａｔｅ（０））） ｄｏ ｛ｒｕｎ→ｂ；｝
は、オブジェクトｂの状態が０（ＷＡＩＴ）であり、かつ、オブジェクトｃの状態も０（ＷＡＩＴ）であるとき、オブジェクトｂに対して、ｒｕｎのイベントを転送することを意味している。
【００６５】
図４に、上述のクラス定義とスクリプトを交換するマルチメディア情報表示／再生装置（情報伝送装置または情報出力装置）の構成例を示す。この実施例においては、図中左側が、クラス定義とスクリプトの作成を行う送り側３１とされ、図中右側が、表示制御を行なう受け側３２とされている。
【００６６】
上述したクラス定義部のファイルとスクリプトのファイルが、送り側３１のクラス定義／スクリプト作成部１１において作成される。さらに、スクリプトにおけるｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ１，２，３に対応する表現メディアのオブジェクトが、メディアオブジェクトデータ作成部１２において作成される。例えば、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ１のデータとして、符号化方式Ａで符号化された静止画のデータが含まれているファイルが作成され、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ２のデータとして、符号化方式Ｂで符号化された音声のデータが含まれているファイルが作成され、さらに、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ３のデータとして、符号化方式Ｃで符号化された動画のデータが含まれているファイルが作成される。
【００６７】
この例においては、スクリプトから判るように、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ１に対応するオブジェクトはＭｅｄｉａクラスのオブジェクトであり、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ２，３に対応するオブジェクトはＣｏｎｔｉｎｕｏｕｓＭｅｄｉａクラスのオブジェクトであり、符号化方式にそれぞれＡ，Ｂ，Ｃを選んでいるが、他の符号化方式を用いることができるのは勿論である。すなわち、スクリプトそのものは、表現メディアの符号化方式に依存しないため、受け側３２の能力に合わせた符号化方式を選択することができる。
【００６８】
それぞれの表現メディアオブジェクトファイルのデータ構造には、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒを記述するレコード、符号化方式を記述するレコード、表示属性を記述するレコード、および符号化されたデータが格納されるレコードがある。
【００６９】
クラス定義スクリプト作成部１１により作成したクラス定義部とスクリプトのファイル、並びに、メディアオブジェクトデータ作成部１２により作成されたメディアオブジェクトのファイルは、転送制御部１３に入力され、合成される。転送制御部１３より出力されたデータは、通信制御装置１４において所定の方式で変調され、伝送媒体１０に伝送される。
【００７０】
伝送媒体１０と転送制御プロトコルには、例えば、ＥｔｈｅｒｎｅｔとＴＣＰ／ＩＰを用いることができる。勿論、その他の組合せを用いることも可能である。
【００７１】
受け側３２においては、伝送媒体１０を介して伝送されてきたデータを通信制御装置１５が受信、復調し、これを転送制御部１６に供給する。転送制御部１６は、受け取ったファイルを分離し、クラス定義部とスクリプトのファイルをスクリプト解釈／実行部１７に供給し、残りの表現メディアオブジェクトのファイルを表示制御部１８に供給する。
【００７２】
スクリプト解釈／実行部１７においてクラス定義またはスクリプトが解釈される以前に、送り側３１と受け側３２の間で（具体的には送り側３１のクラス定義／スクリプト作成部１１と、受け側３２のスクリプト解釈／実行部１７の間で）、各クラスの状態の表示上の意味について合意がなされている必要がある。例えば、この実施例では、Ｍｅｄｉａクラスの状態ＷＡＩＴとＲＵＮや、ＣｏｕｔｉｎｕｏｕｓＭｅｄｉａクラスの状態ＰＬＡＹとＦＡＳＴ＿ＰＬＡＹの違いについて合意がなされている必要がある。
【００７３】
本実施例においては、状態を識別したり、状態間の遷移を定義することは可能であるが、個々の状態の表示上の意味については定義されていない。従って、スクリプトの交換（伝送）に先立ち、予め各クラスの状態の意味について合意を行なうという過程が必要となるのである。
【００７４】
以上のような合意が予めなされている状態で、最初にスクリプト解釈／実行部１７において、クラス定義部の解釈が行なわれ、次にスクリプトの＜オブジェクト定義部＞が解釈され、オブジェクトａ，ｂ，ｃの状態情報を記憶する領域が確保される。状態情報を記憶する領域には、オブジェクトａ，ｂ，ｃの各々の状態番号が記憶される。クラス定義から、オブジェクトａは１桁の状態番号を持ち、オブジェクトｂ，ｃは２桁の状態番号を持つことが判るので、表３に示すように、各々のオブジェクトに対して２つの整数のフィールド１，２を持つレコードが定義される。
【００７５】
【表３】

【００７６】
スクリプト解釈／実行部１７では、すべてのオブジェクトを初期状態にセットする。すなわちオブジェクトａ，ｂ，ｃのいずれも状態”ＷＡＩＴ”になり、すべてのフィールドは”０”で初期化される（表４の状態ｎｏ．１参照）。
【００７７】
【表４】

【００７８】
このとき、スクリプト解釈／実行部１７において、スクリプトの＜イニシャルメッセージパッシング記述部＞が解釈され、”ｒｕｎ”という名前のイベントがオブジェクトａに送られる。
【００７９】
オブジェクトａは、上述したように、次のような文により、Ｍｅｄｉａクラスのオブジェクトと宣言されている。
ａ ＝ ｎｅｗ Ｍｅｄｉａ（ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ ＝ １）；
このため、Ｍｅｄｉａクラスの定義により、イベント”ｒｕｎ”を受け取ると、状態が０から１、すなわち状態”ＷＡＩＴ”から状態”ＲＵＮ”に遷移することになる。従って、オブジェクトａの状態情報を記憶する領域の第１フィールドには状態番号”１”が記憶される（表４における状態ｎｏ．２参照）。
【００８０】
このときまた、スクリプト解釈／実行部１７は、表示制御部１８に対して、オブジェクトａの内容部を表示するよう要求する。これにより、表示制御部１８は、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ＝１に対応する表現メディアオブジェクトのデータ（符号化方式Ａにて符号化されている）を、内蔵する復号器（符号化方式Ａに対応する、例えばＭＲ（ｍｏｄｉｆｉｅｄ ｒｅａｄ）復号器）により復号化し、内蔵するディスプレイに表示させる。
【００８１】
このように、あるイベントがあるオブジェクトに送られ、その対象オブジェクトの状態遷移が起こる事象を、”イベントの転送が検出される”という。スクリプト解釈／実行部１７は、表示制御部１８によりイベント転送が検出された場合、スクリプトの＜イベントメッセージパッシング記述部＞の＜イベント判定部＞を１つずつテストする。
【００８２】
いまの場合、最初の文
ｓｗｉｔｃｈ （ａ．ｇｅｔＭｅｓｓａｇｅ（ｒｕｎ）） ｛
ｄｏ ｛ｒｕｎ→ｃ；｝
｝
の＜イベント判定部＞に該当するイベントが起こったことになるため、ｄｏ以降の＜メッセージパッシング記述部＞
ｄｏ ｛ｒｕｎ→ｃ；｝
が実行される。すなわち、”ｒｕｎ”という名前のイベントがオブジェクトｃに送られる。
【００８３】
オブジェクトｃは文
ｃ ＝ ｎｅｗ ＣｏｎｔｉｎｕｏｕｓＭｅｄｉａ（ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ ＝ ３）；
により、ＣｏｎｔｉｎｕｏｕｓＭｅｄｉａクラスのオブジェクトと宣言されているが、ＣｏｎｔｉｎｕｏｕｓＭｅｄｉａクラスの定義には、イベント”ｒｕｎ”を受け取った場合の状態遷移の定義がなされていない。しかしながら、このＣｏｎｔｉｎｕｏｕｓＭｅｄｉａクラスの親クラスがＭｅｄｉａクラスであるので、Ｍｅｄｉａクラスに定義されているイベント”ｒｕｎ”を受け取った場合の状態遷移定義に従い、オブジェクトｃの状態が状態”ＲＵＮ”、すなわち状態”ＰＬＡＹ”になる。なぜなら、ＣｏｎｔｉｎｕｏｕｓＭｅｄｉａクラスの定義により、親クラスの状態”ＲＵＮ”の初期状態が状態”ＰＬＡＹ”になると宣言されているためである。
【００８４】
そして、オブジェクトｃの状態情報を記憶する領域の第１フィールドに状態番号１が、第２フィールドに状態番号０が記憶される。すなわち、状態番号”１．０”が記憶されることになる（表４の状態ｎｏ．３参照）。このとき、スクリプト解釈／実行部１７は、表示制御部１８に対して、オブジェクトｃの内容部、すなわち、ｃｏｎｔｅｎｔ＿ｉｄｅｎｔｉｆｉｅｒ＝３に対応する表現メディアオブジェクトを表示するよう要求する。表示制御部１８は、この要求に対応して、符号化方式Ｃの復号器により動画データを復号し、ディスプレイに表示させる。
【００８５】
ここで、オブジェクトｃの動画の内容が再生されている途中で、ユーザがディスプレイ上で、例えばマウス等の表示制御部１８の管理下の指示装置により、オブジェクトａを指示したとすると、オブジェクトスクリプト解釈／実行部１７にイベント転送の検出が通知（この場合のイベントは表示状態の遷移を起こさない特別なものである。つまり、オブジェクトａの表示領域内においてユーザの指示が起こったという事象のみが通知）され、スクリプトの＜イベントメッセージパッシング記述部＞の＜イベント判定部＞がテストされる。
【００８６】
このとき、このイベントが、
ｓｗｉｔｃｈ （ａ．ｉｓＳｅｌｅｃｔｅｄ（）） ｛
｝
に該当するイベントであることが判るため、このｓｗｉｔｃｈ文の中の各ｃａｓｅ文の＜状態判定部＞がテストされる。
【００８７】
いまの場合、
ｃａｓｅ （（ｂ．ｔｅｓｔＳｔａｔｅ（０）） ＆＆ （ｃ．ｔｅｓｔＳｔａｔｅ（１．０））） ｄｏ ｛ｐｌａｙＦａｓｔ→ｃ；｝
に該当するので（オブジェクトｂが状態”ＷＡＩＴ”であり、かつ、オブジェクトｃが状態”ＰＬＡＹ”であるので）、
＜メッセージパッシング記述部＞
ｄｏ ｛ｐｌａｙＦａｓｔ→ｃ；｝
が実行され、”ｐｌａｙＦａｓｔ”という名前のイベントがオブジェクトｃに送られる。
【００８８】
これにより、オブジェクトｃは状態が、”ＰＬＡＹ”から”ＦＡＳＴ＿ＰＬＡＹ”に遷移する。従って、オブジェクトｃの状態情報を記憶する領域に、状態番号”１．１”が記憶される（表４の状態ｎｏ．４参照）。またこのとき、オブジェクトｃの動画の再生速度を早くする指令が、スクリプト解釈／実行部１７から表示制御部１８に通知され、表示制御部１８において、オブジェクトｃの動画が高速再生される。
【００８９】
この後、オブジェクトｃの再生が終了する（データの最後まで再生してしまう）と、オブジェクトｃに対して”ｓｔｏｐ”というイベントが送られ、オブジェクトｃの状態が状態”ＷＡＩＴ”に遷移し、状態番号が”０”に設定される（表４の状態ｎｏ．５参照）。
【００９０】
この”ｓｔｏｐ”イベントの転送は、スクリプトそのものには記述されていない特別なもので、時間に依存する連続メディアの再生が終了したときに限り、表示制御部１８が”ｓｔｏｐ”イベントの転送が起こったとものとみなし、スクリプト解釈／実行部１７に対してイベント転送の検出を通知する。
【００９１】
このとき、スクリプトの＜イベントメッセージパッシング記述部＞の＜イベント判定部＞がテストされ、このイベントが、
ｓｗｉｔｃｈ （ｃ．ｇｅｔＭｅｓｓａｇｅ（ｓｔｏｐ）） ｛
｝
に該当するイベントであることが判るため、このｓｗｉｔｃｈ文の中の各ｃａｓｅ文の＜状態判定部＞がテストされる。
【００９２】
いまの場合、オブジェクトａが状態”ＰＬＡＹ”であり、かつ、オブジェクトｂが状態”ＷＡＩＴ”であるから、
ｃａｓｅ （（ａ．ｔｅｓｔＳｔａｔｅ（１） ＆＆ ｂ．ｔｅｓｔＳｔａｔｅ（０）） ｄｏ ｛ｓｔｏｐ→ａ；｝
の＜メッセージパッシング記述部＞
ｄｏ ｛ｓｔｏｐ→ａ；｝
が実行され、オブジェクトａの表示がディスプレイから消えて、状態が状態”ＷＡＩＴ”に遷移する（表４の状態ｎｏ．６参照）。
【００９３】
上述の表４の状態ｎｏ．３において、オブジェクトｃの再生が終了してしまった後に、ユーザがディスプレイ上でオブジェクトａを指示した場合の表示の流れは、表５に示すようになる。
【００９４】
【表５】

【００９５】
オブジェクトｃの再生が終了した場合、オブジェクトｃに対して”ｓｔｏｐ”というイベントが送られたものとみなされ、オブジェクトｃの状態が”ＷＡＩＴ”に遷移し、状態番号が”０”に設定される（表５の状態ｎｏ．４参照）。スクリプト解釈／実行部１７にイベント転送の検出が通知され、オブジェクトａの内容がディスプレイから消えて、状態が”ＷＡＩＴ”に遷移する（表５の状態ｎｏ．５参照）。
【００９６】
従って、以後は、ユーザがディスプレイ上でマウス等の指示装置により、オブジェクトａを指示することができないため、オブジェクトの状態遷移の表４の場合と異なる状態の流れとなる。
【００９７】
以上の処理をフローチャートに表すと、図５および図６に示すようになる。即ち、図５に示すように、最初にステップＳ１において、クラス定義部の解釈を行い、次にステップＳ２において、スクリプトの解釈／実行を行う。
【００９８】
このステップＳ２におけるスクリプトの解釈／実行の処理の詳細は、図６に示されている。
【００９９】
即ち、最初にステップＳ１１において、オブジェクト定義部の解釈が実行される。次にステップＳ１２に進み、ステップＳ１１におけるオブジェクト定義部の解釈に対応して、オブジェクト状態領域の確保が実行される。さらにステップＳ１３においては、ステップＳ１２において確保したオブジェクト状態記憶領域が初期化される。
【０１００】
次にステップＳ１４において、イニシャルメッセージパッシング記述部が実行され、そしてステップＳ１５において、オブジェクト状態が更新される。
【０１０１】
ステップＳ１６においては、ｅｖｅｎｔ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒが１にセットされる。そして、次にステップＳ１７に進み、ｅｖｅｎｔ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒ番目（いまの場合、この値は、ステップＳ１６において１に設定されている）のイベント判定部のテストが実行される。テストの結果が正しいとき、ステップＳ１８に進み、ｓｔａｔｅ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒに１が設定される。
【０１０２】
次にステップＳ１９に進み、ｓｔａｔｅ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒ番目（いまの場合、この値は、ステップＳ１８において１に設定されている）の状態判定部のテストが実行される。このテストの結果が正しいとき、ステップＳ２０に進み、ｓｔａｔｅ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒ番目のメッセージパッシング記述部が実行される。
【０１０３】
ステップＳ２０における処理の後、ステップＳ２１に進み、ｓｔａｔｅ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒの値が１だけインクリメントされる。ステップＳ１９において、ｓｔａｔｅ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒ番目の状態判定部のテストの結果が誤りであると判定された場合においては、ステップＳ２０の処理はスキップされ（そのメッセージパッシング記述部は実行されず）、ステップＳ２１の処理が実行される。
【０１０４】
次にステップＳ２２に進み、ｓｔａｔｅ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒの値が１つのｓｗｉｔｃｈ文における状態判定部の総数と等しいか否かが判定される。ステップＳ２２における判定がＮＯである場合においては、ステップＳ１９に戻り、それ以降の処理が繰り返される。ステップＳ２２における判定がＹＥＳである場合においては、ステップＳ２３に進み、ｅｖｅｎｔ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒを１だけインクリメントする。ステップＳ１７において、ｅｖｅｎｔ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒ番目のイベント判定部のテストの結果が誤りであると判定された場合においては、ステップＳ１８乃至Ｓ２２における処理がスキップされ、ステップＳ２３の処理が実行される。
【０１０５】
ステップＳ２３の次にステップＳ２４に進み、ステップＳ２３でインクリメントしたｅｖｅｎｔ＿ｃｈｅｃｋ＿ｃｏｕｎｔｅｒの値がイベント判定部の総数と等しいか否かが判定される。ステップＳ２４の判定がＮＯである場合においては、ステップＳ１７に戻り、それ以降の処理が繰り返し実行される。ステップＳ２４の判定がＹＥＳである場合においては、ステップＳ２５に進み、イベント転送の検出待ちの状態となる。そして、イベント転送が検出されたとき、ステップＳ２５からステップＳ１５に戻り、それ以降の処理が繰り返し実行される。
【０１０６】
以上においては、送り側３１から受け側３２に対して、伝送媒体１０を介してクラス定義とスクリプトを伝送するようにしたが、例えば図７に示すように、蓄積媒体２０を介して送り側３１から受け側３２に対して、これらのデータを伝送することが可能である。この場合においては、図４の実施例における通信制御装置１４，１５が、蓄積媒体制御装置２１，２２に変更される。蓄積媒体制御装置２１は、転送制御部１３より供給されるデータを蓄積媒体２０に記録し、蓄積媒体制御装置２２は、蓄積媒体２０に記録されたデータを再生し、転送制御部１６に出力する。
【０１０７】
以上においては、クラス定義／スクリプトの交換に先立ち、予め各クラスの状態の表示上の意味について、送り側と受け側の間で、合意がなされていなければならないことを述べたが、これは、例えば、標準化機関等において、クラス定義の登録手続きを規定し、クラス名により一意に参照可能なクラス定義と、そこで記述されている状態の表示上の意味を記述したドキュメントを登録することにより実現することができる。
【０１０８】
このようにすれば、クラス定義の部分を広範囲の異なるシステムにおいて共有することができる。また、スクリプトの汎用性（さまざまなベンダーからのシステム／プラットフォーム上でのスクリプトの互換性）が保証されることとなる。
【０１０９】
【発明の効果】
以上の如く、本発明の情報同期制御方法によれば、各情報のメディアからの出力状態が、上位階層の所定の出力状態をさらに細分化した出力状態とするように階層的に定義され、各階層の出力状態のそれぞれの遷移が、上位階層の出力状態の遷移を継承するように階層的に定義され、各情報が出力されるとき、各情報の出力状態とその遷移の定義内容が記述されるとともに、各情報のそれぞれについての定義内容に従った状態遷移の手続きであって、各情報の出力状態の同期関係を規定する所定のシナリオに基づく手続きが記述されたスクリプトに従って、各情報の出力状態の同期関係が制御されるようにしたので、マルチメディアオブジェクトのより細かな同期制御が可能となる。
本発明の情報伝送装置によれば、各情報のメディアからの出力状態が、上位階層の所定の出力状態をさらに細分化した出力状態とするように階層的に定義され、各階層の出力状態のそれぞれの遷移が、上位階層の出力状態の遷移を継承するように階層的に定義され、各情報の出力状態とその遷移の定義内容が記述されるとともに、各情報のそれぞれについての定義内容に従った状態遷移の手続きであって、各情報の出力状態の同期関係を規定する所定のシナリオに基づく手続きが記述されたスクリプトの伝送が可能になるようにした。従って、このスクリプトが伝送された装置においては、そのスクリプトに従って、各情報の出力状態の同期が制御される。これにより、マルチメディアオブジェクトのより細かな同期制御が可能となる。
本発明の情報出力装置によれば、各情報のメディアからの出力状態が、上位階層の所定の出力状態をさらに細分化した出力状態とするように階層的に定義され、各階層の出力状態のそれぞれの遷移が、上位階層の出力状態の遷移を継承するように階層的に定義され、各情報が出力される場合、各情報の出力状態とその遷移の定義内容が記述されるとともに、各情報のそれぞれについての定義内容に従った状態遷移の手続きであって、各情報の出力状態の同期関係を規定する所定のシナリオに基づく手続きが記述されたスクリプトに従って、各情報の出力状態の同期関係が制御されるようにしたので、マルチメディアオブジェクトのより細かな同期制御が可能となる。
【図面の簡単な説明】
【図１】クラスの階層的定義による状態遷移の継承を説明する図である。
【図２】メディアクラスの状態遷移を説明する図である。
【図３】連続メディアクラスの状態遷移を説明する図である。
【図４】本発明の情報伝送装置および情報出力装置の一実施例の構成を示すブロック図である。
【図５】図４の実施例の動作を説明するフローチャートである。
【図６】図５のステップＳ２のより詳細な処理を説明するフローチャートである。
【図７】本発明の情報伝送装置および情報出力装置の他の実施例の構成を示すブロック図である。
【符号の説明】
１１ クラス定義スクリプト作成部
１２ メディアオブジェクトデータ作成部
１３ 転送制御部
１４，１５ 通信制御装置
１６ 転送制御部
１７ スクリプト解釈／実行部
１８ 表示制御部
２０ 蓄積媒体
２１，２２ 蓄積媒体制御装置[0001]
[Industrial applications]
The present invention relates to an information synchronization control method for controlling a synchronization relationship between information elements, an information transmission device, and an information output device in an information processing device for displaying / reproducing multimedia information.
[0002]
[Prior art]
With the development of workstations, storage devices, communication devices, etc., not only text data and still images, but also new expression media such as sound sequences, audiovisuals, etc. (types of data exchanged, described in encoded form) Application programs that use the information itself) are becoming widespread.
[0003]
Due to the diversification of expression media, the usage of combining each media, that is, the demand for handling multimedia (multiple types of expression media) is increasing, and the standard for sharing multimedia information between different platforms is also increasing. It is desired to define a standard information exchange format.
[0004]
One example is a definition of a synchronization control method (control method of time dependency) in display / reproduction between information elements (lumps represented by a single expression medium, hereinafter also referred to as a media object).
[0005]
The control method of the multimedia synchronization control can be roughly divided into two stages, that is, a bit / packet level and an object (unit of one meaning). The former example includes CCITT Recommendation H. 221 and the like, and an example of the latter is ISO / IEC / DIS 10744 (HyTime).
[0006]
In a conventional object-level synchronization control method such as HyTime, appearance positions / areas of individual media objects are addressed on a space and a time axis. That is, the display / reproduction position is statically scheduled.
[0007]
[Problems to be solved by the invention]
Of the methods of controlling the synchronization relationship between information elements when displaying / reproducing multimedia information, a method of statically scheduling a display / reproduction position is generally used in an object-level synchronization control method.
[0008]
However, such a control method that supports only static scheduling has a problem that the ability to control synchronization based on the timing of a dialogue from a user is poor.
[0009]
For example, here, there is a multimedia information display / playback apparatus, which reads a script describing a synchronous relationship (a program describing a display / playback control scenario between information elements) and executes it. Is possible. Then, it is assumed that the script describes such that a button and a moving image display area are arranged on the screen of the display device, and that the moving image is reproduced when the user presses the button on the screen.
[0010]
However, the script is described in a synchronous control description method that supports only static scheduling. Here, the static scheduling means a description method such as "When a button is pressed, a moving image is reproduced from the beginning of the data."
[0011]
Therefore, in this case, when the button is pressed during the reproduction of the moving image, the reproduction is performed from the beginning of the moving image regardless of whether or not the moving image is being reproduced. Cannot be selected. That is, there is a problem that the reproduction method cannot be finely controlled depending on the display state of the moving image when the button is pressed.
[0012]
Therefore, in order to effectively describe the synchronization control of multimedia objects, including the interaction management with the user, the ability to describe the synchronization control depending on the display state of the currently displayed media object in the script ( Dynamic scheduling capability).
[0013]
Furthermore, since different media have different types of states, it is possible to define a state that is common to all media and has the ability to define a state that depends on the characteristics of individual media. It is desirable.
[0014]
For example, in the case of a still image and a moving image, since a still image is data (discrete media) that does not depend on time, the display state of the still image can be roughly classified into “displaying” or “not displayed”. "In one of the two states. On the other hand, in the case of a moving image, since it is time-dependent data (continuous media), it is classified into two states, “displaying” and “not displayed”. "Medium" is further classified into "reproduction at normal speed" and "double speed reproduction".
[0015]
The present invention has been made in view of the above-described problems, and when performing the synchronous control of multimedia information, performs fine synchronous control depending on the state of the multimedia information element during the display of the multimedia object. It is intended to be possible.
[0016]
[Means for Solving the Problems]
The information synchronization control method according to claim 1, wherein each information when outputting information from a plurality of media is provided.Output stateIn the information synchronization control method that controls the synchronization relationship, the output state of each information from the mediaBut,Hierarchically defined so that the specified output state of the upper hierarchy is further subdivided into output statesThe output state of each layer is defined hierarchically so that the transition of the output state of each layer inherits the transition of the output state of the upper layer. When each information is output, the output state of each information and the definition of the transition According to a script that describes a state transition procedure according to the definition of each piece of information, and describes a procedure based on a predetermined scenario that defines a synchronization relationship between output states of each piece of information,Synchronization of output status of each informationRelationshipIs controlled.
[0017]
Output status of each information from mediaTosoThe transition of the base class, the derived class below the base class,Is derivedDefined by the derived class below the outgoing classCan be done.
[0018]
In addition, the base class and the derived class can be defined by a state that defines the state of the media and an event that indicates a transition of the state.
[0019]
The information transmission device according to claim 4,The output state of each piece of information from the media is defined hierarchically so that a predetermined output state of the upper layer is further subdivided into output states, and each transition of the output state of each layer is defined as the output state of the upper layer. The state transition procedure is defined hierarchically so as to inherit the transition of each information, and describes the output state of each information and the definition contents of the transition, and is a state transition procedure according to the definition contents of each information. A procedure based on a predetermined scenario that specifies the synchronization relation of the output state ofA class definition script creating section 11 as a first creating means for creating a script,Corresponding to each of the informationMedia object data as a second creation unit for creating each of the object data, and a transfer control unit as a transmission unit for combining and transmitting the outputs of the first creation unit and the second creation unit. 13 is provided.
[0020]
The information output device according to claim 5,The output state of each piece of information from the media is defined hierarchically so that a predetermined output state of the upper layer is further subdivided into output states, and each transition of the output state of each layer is defined as the output state of the upper layer. Is defined hierarchically so as to inherit the transition of the information, the output state of each information and the definition content of the transition are described, and a state transition procedure according to the definition content of each information, A signal in which a script describing a procedure based on a predetermined scenario that defines a synchronous relationship between information output states and each object data corresponding to each piece of information are combined as an input signal.Input signalRasuCrypto and,eachA transfer control unit 16 as separation means for separating the object data from the object data;Separation meansInterprets scripts separated byAnd outputting control information for controlling a synchronous relationship between output states of respective information corresponding to the respective object data separated by the separating means based on the interpretation result.A script interpretation execution unit 17 as an interpretation means,InterpretationCorresponding to the output ofSeparation meansAnd a display control unit 18 as processing means for processing each object data separated by.
[0021]
In the information synchronization control method of the present invention,The output state of each piece of information from the media is defined hierarchically so that a predetermined output state of the upper layer is further subdivided into output states, and each transition of the output state of each layer is defined as the output state of the upper layer. Is defined hierarchically to inherit the transition of each information, when each information is output, the output state of each information and the definition contents of the transition are described, and the state according to the definition contents of each information According to a script describing a procedure of transition, which is a procedure based on a predetermined scenario that defines a synchronous relationship between output states of each information., Synchronization of output status of each informationRelationshipIs controlled. Therefore, finer synchronization control of the multimedia object is possible.
Information transmission of the present inventionEquipmentIn the meantime,The output state of each piece of information from the media is defined hierarchically so that a predetermined output state of the upper layer is further subdivided into output states, and each transition of the output state of each layer is defined as the output state of the upper layer. Is defined hierarchically so as to inherit the transition of the information, the output state of each information and the definition content of the transition are described, and a state transition procedure according to the definition content of each information, It is possible to transmit a script in which a procedure based on a predetermined scenario that defines a synchronous relationship between information output states is described. Therefore, in the device to which this script has been transmitted, according to the script,The synchronization of the output state of each information is controlled. Therefore, finer synchronization control of the multimedia object is possible.
In the information output device of the present invention, the output state of each piece of information from the medium is defined hierarchically so that the predetermined output state of the upper layer is further subdivided into output states. Are hierarchically defined so as to inherit the transition of the output state of the upper layer, the output state of each information and the definition of the transition are described, and the definition of each information is followed. The synchronization of the output state of each piece of information is controlled in accordance with a script describing a procedure for a state transition, which is based on a predetermined scenario that defines the synchronization relationship between the output states of each piece of information. Therefore, finer synchronization control of the multimedia object is possible.
[0022]
【Example】
Examples will be described below. In this embodiment, the media is defined as a class, and in the class, the state transition of the media is defined as an event. Classes are further divided into base classes and derived classes.
[0023]
The syntax of the base class is defined as follows.

[0024]
The "state" field describes a set of a state number and a corresponding state name. The state number is a unique integer within the term “state”. In the item of “event”, <state number (positive integer)> → <state number (positive integer)> ”<state number (positive integer)> → <state number (positive integer) The name and event number of the event that causes the state transition of> are listed as a pair. The event number is a unique integer within this “event” term. Note that "[...] *" indicates. . . Represents one or more occurrences. Note that, as described later, the state set as the state number “0” is an initial state.
[0025]
The derived class syntax is defined as follows:

[0026]
The derived class identified by this “class name” inherits the state transition of the class identified by the parent class “base class name” or “derived class name” and the event that causes it. In this case, the format of the “state number” is represented by a sequence of two or more positive integers separated by “.”, And the integer adjacent to the left of the rightmost integer is the parent class of the next higher parent class. Represents the state number (see example below). That is, the description of the derived class defines a state in which a state of a parent class (base class or derived class) is further subdivided.
[0027]
For example, when a state number n (n is a positive integer) is defined in a certain base class, when a state corresponding to the state number n of the parent class is further subdivided and defined in the derived class (child class) Sets the state number to n. m (n and m are positive integers).
[0028]
Further, in the derived class (grandchild class) of the derived class (child class), the state number n. When the state corresponding to m is further subdivided and defined, the state number is set to n. m. k (n, m, and k are positive integers).
[0029]
The above is further described with reference to FIG. In FIG. 1, 1 represents a set of states in the basic class A, 1.0 represents a state of a state number 0, 1.1 represents a state of a state number 1, and 1.2 represents a state of a state number n. Is represented. 2 represents a set of states obtained by subdividing the state 1.2 of the state number n of A in the derived class B of the basic class A, and 2.0 represents a state number n. 0 represents a state, and 2.1 represents a state number n. 1 represents the state of 2.2, and 2.2 represents the state number n. m. Similarly, 3 is the state number n.B of B in derived class C of derived class B. m represents a set of states obtained by subdividing the state 2.2 of 3.0, and 3.0 represents a state number n. m. 0 represents the state of 3.1, and 3.1 represents the state number n. m. 1 represents the state of 3.2, and 3.2 represents the state number n. m. The state of k is shown.
[0030]
The declaration of the objects according to the state transition described in the above class definition and the display control procedure thereof are described in the script. The syntax of the script is as followsBecome.
script <script name> ｛
<Object definition section>
<Initial message passing description section>
<Event message passing description section>
｝
[0031]
The object definition part is defined as follows.
<Object definition part> =
[<Object variable> = new <class name> (<content part identifier>);] *
[0032]
The object definition section defines an object to be described in this script. The object variable is an identifier for specifying an instance of the specified class.
[0033]
The content identifier is an identifier that specifies the data of the expression media of the object itself, as expressed by the following equation.
<Content identifier> =
content_identifier = <positive integer>
[0034]
The initial message passing description part is expressed by the following equation, and is the part that is executed first when the script is started.
<Initial message passing description part> =
<Message passing description section>
[0035]
The message passing description part is expressed by the following equation.
<Message passing description part> =
do {[<event name> → <object variable>;] *}
[0036]
According to this expression, an event specified by the event name is sent to the object specified by the object variable. As a result, a state transition of the target object occurs. This event name must be defined in the class definition of the target object.
[0037]
The event message passing description is expressed by the following equation.
<Event message passing description section> =
[Switch (<event judging unit>) ｛
[Case (<state determination unit>) <message passing description unit>] *
｝] *
[0038]
When an event transfer is detected (to be described later), a test is performed on the conditions specified in the event determination units of all the switch statements. If the test is satisfied, the conditions specified in the state determination unit of the case statement are determined. Test is performed. If the tested condition is satisfied, the message passing described in the message passing description section is performed.
[0039]
The state determination unit of the case statement may not be provided, and in that case, message passing is performed immediately.
[0040]
The event determination unit is represented by the following equation.
<Event judgment part> =
<Object variable>. <Event judgment method>
[0041]
Test whether the event has occurred in the target object specified by the object variable. If so, this event determination unit is established.
[0042]
The event determination method is represented by the following equation.
<Event judgment method> =
isSelected () or getMessage (<event name>)
[0043]
The isSelected () method tests whether or not “user selection” (described later) has occurred for the target object. The getMessage () method targets the event specified by the argument <event name>. Tests whether something happened in the object.
[0044]
The state determination unit is represented by the following equation.
<State judgment unit> =
<Object variable>. <Status judgment method>
[<Logical operator> <object variable>. <Status judgment method>] *
[0045]
This tests the state of the target object specified by the object variable, and tests whether the target object is in the state specified by the argument <state number> of the following state determination method.
<Status judgment method> =
testState (<state number>)
[0046]
Note that <logical operator> has the same meaning as the logical operators in C language (&& (and), || (or)).
[0047]
Based on the notation syntax of the class definition and the notation syntax of the script, specific examples of the class definition and the script are described on the transmission side, and the multimedia information display / playback information on the reception side is transmitted via a transmission medium. A method of transmitting multimedia data to a processing device and performing synchronous control of multimedia information on the receiving side based on a scenario intended on the transmitting side will be described below.
[0048]
First, a Media class is defined. For example, the following two states are defined as possible states of an object belonging to this class.
A) Waiting for display (WAIT)
I) Displaying (RUN)
[0049]
The initial state when this object is generated is "waiting for display (WAIT)".
[0050]
Also, the following two events are defined.
A) run
B) stop
[0051]
The above media definitions can be summarized as follows.

[0052]
As shown in FIG. 2, when a message "run" is received when the object is in the state "WAIT", the state of the object transits to "RUN". Further, when a message “stop” is received when the object is in the state “RUN”, the state of the object transits to “WAIT”. Table 1 summarizes the state transitions.
[0053]
[Table 1]

[0054]
Next, a continuous media (continuous media: media whose playback state depends on time) derived from the above-described media class is defined. Since this continuous media class is a derived class of the above-described media class, it has the two states “WAIT” and “RUN”.
[0055]
In addition, the status of "RUN"
A) Normal playback (PLAY)
I) Fast forward playback (FAST_PLAY)
Into two states. Of these, "normal reproduction (PLAY)" is set as the initial state (the state where the state number is set to 0 is the initial state).
[0056]
The class definition of such a ContinuousMedia class is as follows.
class ContinuousMedia: Media ｛
state:
1.0: PLAY;
1.1: FAST_PLAY;
event:
1.0: playFast: 1.0 → 1.1;
1.1: playNormal: 1.1 → 1.0;
｝
[0057]
Here, “: Media” indicates a parent class from which the “ContinuousMedia” class is derived. Also, the state number "nm (n, m is a positive integer)" means that the state "nm: ..." is replaced by the parent class state "n: ...". It is meant to be included. That is, the states “1.0: PLAY” and “1.1: FAST_PLAY” are both included in the state “1: RUN” of the parent class “Media”.
[0058]
However, in this case, the state “1.0: PLAY” is the initial state (because the state number is 0). That is, when the event “run” is received in the state “WAIT”, the state transits to the state “PLAY”. When the event “stop” is received in the state “PLAY” or “FAST_PLAY”, the state transits to the state “WAIT”. As described above, when a child class (lower class) is defined, a state transition defined in a parent class (higher class) can be inherited.
[0059]
FIG. 3 and Table 2 show the state transition of the ContinuousMedia class in a diagram and a table.
[0060]
[Table 2]

[0061]
Next, for example, the following script (script name “sample”) is defined in order to control the display state of a predetermined object using the above-described classes (Media and ContinuousMedia).

[0062]
That is, in this embodiment, the object a is defined as the class Media, and the objects b and c are defined as the class ContinuousMedia. Each is identified as an ID (content_identifier) 1, 2, or 3.
[0063]
do ｛run → a ；｝
Means that the event run is transferred to the object a.

Means that when the object a receives the message run, an event run is transferred to the object c.
[0064]

Is to sequentially determine whether or not the condition of each case is satisfied when the object a is selected. Of these, for example
case ((b. testState (0)) && (c. testState (0))) do {run → b;}
Indicates that when the state of the object b is 0 (WAIT) and the state of the object c is also 0 (WAIT), a run event is transferred to the object b.
[0065]
FIG. 4 shows a configuration example of a multimedia information display / reproduction device (information transmission device or information output device) that exchanges the above-described class definition and script. In this embodiment, the left side in the figure is a sending side 31 for creating a class definition and a script, and the right side in the figure is a receiving side 32 for performing display control.
[0066]
The class definition file and the script file described above are created in the class definition / script creation unit 11 of the sender 31. Further, an object of the expression media corresponding to the content_identifiers 1, 2, and 3 in the script is created in the media object data creating unit 12. For example, a file containing still image data encoded by the encoding scheme A is created as content_identifier1 data, and audio data encoded by the encoding scheme B is included as content_identifier2 data. Is created, and a file containing moving image data encoded by the encoding method C is created as content_identifier3 data.
[0067]
In this example, as can be seen from the script, the object corresponding to content_identifier1 is an object of the Media class, the object corresponding to content_identifier2 and 3 is an object of the ContinuousMedia class, and A, B, and C are respectively used as the encoding methods. Although it has been selected, it goes without saying that other encoding methods can be used. That is, since the script itself does not depend on the encoding method of the expression media, it is possible to select an encoding method according to the capability of the receiving side 32.
[0068]
The data structure of each expression media object file includes a record that describes content_identifier, a record that describes an encoding method, a record that describes a display attribute, and a record that stores encoded data.
[0069]
The class definition part and script file created by the class definition script creation part 11 and the media object file created by the media object data creation part 12 are input to the transfer control part 13 and synthesized. The data output from the transfer control unit 13 is modulated in the communication control device 14 by a predetermined method and transmitted to the transmission medium 10.
[0070]
As the transmission medium 10 and the transfer control protocol, for example, Ethernet and TCP / IP can be used. Of course, other combinations can be used.
[0071]
On the receiving side 32, the communication control device 15 receives and demodulates the data transmitted via the transmission medium 10, and supplies it to the transfer control unit 16. The transfer control unit 16 separates the received file, supplies the class definition unit and the script file to the script interpreting / executing unit 17, and supplies the remaining expression media object files to the display control unit 18.
[0072]
Before the class definition or the script is interpreted by the script interpreting / executing unit 17, between the sender 31 and the receiver 32 (specifically, the class definition / script generator 11 of the sender 31 and the (Between the script interpreting / executing units 17), it is necessary to agree on the display meaning of the state of each class. For example, in this embodiment, it is necessary to agree on a difference between the states WAIT and RUN of the Media class and between the states PLAY and FAST_PLAY of the County Media class.
[0073]
In the present embodiment, it is possible to identify states and to define transitions between states, but the display meaning of each state is not defined. Therefore, prior to the exchange (transmission) of the script, a process of agreeing in advance on the meaning of the state of each class is required.
[0074]
In the state where the above agreement has been made in advance, first, the script interpreting / executing section 17 interprets the class definition section, and then interprets the <object definition section> of the script to obtain the objects a, b, An area for storing the state information of c is secured. In the area for storing state information, the state numbers of the objects a, b, and c are stored. From the class definition, it can be seen that object a has a one-digit state number and objects b and c have a two-digit state number, so as shown in Table 3, two integer fields for each object. A record having 1 and 2 is defined.
[0075]
[Table 3]

[0076]
The script interpreting / executing unit 17 sets all objects to an initial state. That is, all of the objects a, b, and c are in the state “WAIT”, and all the fields are initialized with “0” (see state no. 1 in Table 4).
[0077]
[Table 4]

[0078]
At this time, the script interpreting / executing unit 17 interprets the <initial message passing description unit> of the script and sends an event named “run” to the object a.
[0079]
As described above, the object a is declared as an object of the Media class by the following statement.
a = new Media (content_identifier = 1);
Therefore, according to the definition of the Media class, when the event “run” is received, the state changes from 0 to 1, that is, from the state “WAIT” to the state “RUN”. Therefore, the state number “1” is stored in the first field of the area for storing the state information of the object a (see state No. 2 in Table 4).
[0080]
At this time, the script interpreting / executing unit 17 requests the display control unit 18 to display the contents of the object a. Accordingly, the display control unit 18 converts the data of the expression media object (encoded by the encoding scheme A) corresponding to the content_identifier = 1 into a built-in decoder (corresponding to the encoding scheme A, for example, MR (Modified read) decoder) to display the data on a built-in display.
[0081]
In this manner, an event in which a certain event is sent to an object and the state transition of the target object occurs is referred to as "event transfer is detected". When an event transfer is detected by the display control unit 18, the script interpreting / executing unit 17 tests the <event determining unit> of the <event message passing description unit> of the script one by one.
[0082]
In this case, the first sentence
switch (a. getMessage (run)) ｛
do ｛run → c;｝
｝
Since the event corresponding to the <event determination unit> has occurred, the <message passing description unit> after do
do ｛run → c;｝
Is executed. That is, an event named “run” is sent to the object c.
[0083]
Object c is a sentence
c = newContinuousMedia (content_identifier = 3);
Is declared as an object of the ContinuousMedia class, but the definition of the ContinuousMedia class does not define the state transition when the event “run” is received. However, since the parent class of the ContinuousMedia class is the Media class, the state of the object c is the state "RUN", that is, the state "PLAY" according to the state transition definition when the event "run" defined in the Media class is received. "become. This is because the definition of the ContinuousMedia class declares that the initial state of the state “RUN” of the parent class becomes the state “PLAY”.
[0084]
Then, the state number 1 is stored in the first field and the state number 0 is stored in the second field of the area for storing the state information of the object c. That is, the state number “1.0” is stored (see state No. 3 in Table 4). At this time, the script interpretation / execution unit 17 requests the display control unit 18 to display the content part of the object c, that is, the expression media object corresponding to content_identifier = 3. In response to this request, the display control unit 18 decodes the moving image data using the decoder of the encoding system C, and displays the moving image data on the display.
[0085]
Here, if it is assumed that the user designates the object a on the display by a pointing device under the control of the display control unit 18 such as a mouse while the content of the moving image of the object c is being reproduced, the object script interpretation is performed. / Execution unit 17 is notified of the detection of the event transfer (the event in this case is a special event that does not cause a transition of the display state. That is, only the event that the user's instruction has occurred in the display area of object a is notified. ), And the <event determination unit> of the <event message passing description unit> of the script is tested.
[0086]
At this time, this event
switch (a. isSelected ()) ｛
｝
Is determined, the <state determination unit> of each case statement in the switch statement is tested.
[0087]
In this case,
case ((b. testState (0)) && (c. testState (1.0))) do {playFast → c;}
(Since the object b is in the state “WAIT” and the object c is in the state “PLAY”),
<Message passing description section>
do {playFast → c;}
Is executed, and an event named “playFast” is sent to the object c.
[0088]
As a result, the state of the object c changes from “PLAY” to “FAST_PLAY”. Therefore, the state number “1.1” is stored in the area for storing the state information of the object c (see state No. 4 in Table 4). At this time, the script interpreting / executing unit 17 notifies the display control unit 18 of a command to increase the reproduction speed of the moving image of the object c, and the display control unit 18 reproduces the moving image of the object c at high speed.
[0089]
Thereafter, when the reproduction of the object c is completed (the data is reproduced to the end of the data), an event of “stop” is sent to the object c, and the state of the object c transits to the state “WAIT”. The number is set to "0" (see state no. 5 in Table 4).
[0090]
The transfer of the “stop” event is a special one not described in the script itself, and the display control unit 18 causes the transfer of the “stop” event to occur only when the reproduction of the time-dependent continuous media ends. Assuming that this is the case, the script interpreting / executing unit 17 is notified of the event transfer detection.
[0091]
At this time, the <event determination section> of the <event message passing description section> of the script is tested, and this event is
switch (c.getMessage (stop))
｝
Is determined, the <state determination unit> of each case statement in the switch statement is tested.
[0092]
In this case, since the object a is in the state “PLAY” and the object b is in the state “WAIT”,
case ((a. testState (1) && b. testState (0)) do {stop → a;}
<Message passing description part>
do ｛stop → a;｝
Is executed, the display of the object a disappears from the display, and the state transits to the state “WAIT” (see state no. 6 in Table 4).
[0093]
The state no. In Table 3, after the reproduction of the object c is completed, the display flow when the user designates the object a on the display is as shown in Table 5.
[0094]
[Table 5]

[0095]
When the reproduction of the object c is completed, it is considered that the event “stop” has been sent to the object c, the state of the object c transits to “WAIT”, and the state number is set to “0”. (See state no. 4 in Table 5). The script interpreting / executing unit 17 is notified of the detection of the event transfer, the content of the object a disappears from the display, and the state transits to “WAIT” (see state no. 5 in Table 5).
[0096]
Therefore, thereafter, since the user cannot specify the object a with the pointing device such as the mouse on the display, the state flow is different from that in Table 4 of the state transition of the object.
[0097]
FIG. 5 and FIG. 6 show the above processing in a flowchart. That is, as shown in FIG. 5, first, in step S1, the class definition part is interpreted, and then in step S2, the script is interpreted / executed.
[0098]
Details of the script interpretation / execution process in step S2 are shown in FIG.
[0099]
That is, first, in step S11, the interpretation of the object definition unit is executed. Next, the process proceeds to step S12, in which an object state area is secured according to the interpretation of the object definition unit in step S11. Further, in step S13, the object state storage area secured in step S12 is initialized.
[0100]
Next, in step S14, the initial message passing description section is executed, and in step S15, the object state is updated.
[0101]
In step S16, event_check_counter is set to 1. Then, the process proceeds to step S17, where a test of the event_check_counter (in this case, the value is set to 1 in step S16) of the event determination unit is executed. If the result of the test is correct, the process proceeds to step S18, where 1 is set to the state_check_counter.
[0102]
Next, proceeding to step S19, a test of the state_check_counter state determination unit (in this case, this value is set to 1 in step S18) is executed. If the result of this test is correct, the process proceeds to step S20, where the state_check_counter-th message passing description part is executed.
[0103]
After the process in step S20, the process proceeds to step S21, and the value of the state_check_counter is incremented by one. If it is determined in step S19 that the test result of the state_check_counter-th state determination unit is incorrect, the process in step S20 is skipped (the message passing description unit is not executed), and the process in step S21 is performed. Be executed.
[0104]
Next, the process proceeds to step S22, and it is determined whether the value of the state_check_counter is equal to the total number of state determination units in one switch statement. If the determination in step S22 is NO, the process returns to step S19, and the subsequent processing is repeated. If the determination in step S22 is YES, the process proceeds to step S23, and the event_check_counter is incremented by one. If it is determined in step S17 that the test result of the event_check_counter-th event determination unit is incorrect, the processing in steps S18 to S22 is skipped, and the processing in step S23 is performed.
[0105]
After step S23, the process proceeds to step S24, and it is determined whether the value of event_check_counter incremented in step S23 is equal to the total number of event determination units. If the determination in step S24 is NO, the process returns to step S17, and the subsequent processing is repeatedly executed. If the determination in step S24 is YES, the process proceeds to step S25, and waits for detection of event transfer. When the event transfer is detected, the process returns from step S25 to step S15, and the subsequent processes are repeatedly executed.
[0106]
In the above description, the class definition and the script are transmitted from the transmission side 31 to the reception side 32 via the transmission medium 10. However, for example, as shown in FIG. It is possible to transmit these data to the receiving side 32. In this case, the communication control devices 14 and 15 in the embodiment of FIG. 4 are changed to storage medium control devices 21 and 22. The storage medium control device 21 records the data supplied from the transfer control unit 13 on the storage medium 20, and the storage medium control device 22 reproduces the data recorded on the storage medium 20 and outputs the data to the transfer control unit 16. .
[0107]
In the above, prior to the exchange of the class definition / script, it has been stated that the display meaning of the state of each class must be agreed in advance between the sender and the receiver. For example, a standardization organization stipulates a procedure for registering a class definition, and registers a class definition that can be uniquely referenced by a class name and a document that describes the display meaning of the state described therein. be able to.
[0108]
In this way, portions of the class definition can be shared by a wide variety of different systems. Also, script versatility (script compatibility on systems / platforms from various vendors) is guaranteed.
[0109]
【The invention's effect】
As described above, according to the information synchronization control method of the present invention,The output state of each piece of information from the media is defined hierarchically so that a predetermined output state of the upper layer is further subdivided into output states, and each transition of the output state of each layer is defined as the output state of the upper layer. Is defined hierarchically to inherit the transition of each information, when each information is output, the output state of each information and the definition contents of the transition are described, and the state according to the definition contents of each information In accordance with a script describing a procedure based on a predetermined scenario that defines a synchronous relationship between output states of each information, a synchronous relationship between output states of each information is controlled.As a result, finer synchronization control of the multimedia object is possible.
According to the information transmission device of the present invention,The output state of each piece of information from the media is defined hierarchically so that a predetermined output state of the upper layer is further subdivided into output states, and each transition of the output state of each layer is defined as the output state of the upper layer. Is defined hierarchically so as to inherit the transition of the information, the output state of each information and the definition content of the transition are described, and a state transition procedure according to the definition content of each information, It is possible to transmit a script describing a procedure based on a predetermined scenario that defines a synchronous relationship between information output states. Therefore, in the device to which this script has been transmitted, the synchronization of the output state of each information is controlled according to the script. This allowsFiner synchronization control of multimedia objects becomes possible.
According to the information output device of the present invention, the output state of each piece of information from the medium is hierarchically defined such that the predetermined output state of the upper layer is further subdivided into output states. Each transition is defined hierarchically so as to inherit the transition of the output state of the upper layer, and when each information is output, the output state of each information and the definition contents of the transition are described, and each information is described. According to a script describing a procedure based on a predetermined scenario that defines a synchronization relationship between the output states of each information, the synchronization relationship between the output states of each information is Since the control is performed, finer synchronization control of the multimedia object can be performed.
[Brief description of the drawings]
Fig. 1 State transition by hierarchical definition of classesInheritanceFIG.
FIG. 2 is a diagram illustrating a state transition of a media class.
FIG. 3 is a diagram illustrating a state transition of a continuous media class.
FIG. 4 is a block diagram illustrating a configuration of an embodiment of an information transmission device and an information output device according to the present invention.
FIG. 5 is a flowchart for explaining the operation of the embodiment in FIG. 4;
FIG. 6 is a flowchart illustrating a more detailed process of step S2 of FIG. 5;
FIG. 7 is a block diagram showing a configuration of another embodiment of the information transmission device and the information output device of the present invention.
[Explanation of symbols]
11 Class definition script creation unit
12 Media object data creation unit
13 Transfer control unit
14,15 Communication control device
16 Transfer control unit
17 Script interpreter / executor
18 Display control unit
20 Storage media
21 and 22 storage medium control device

Claims (5)

In an information synchronization control method for controlling a synchronization relationship between output states of each information when outputting information from a plurality of media,
The output state of each piece of information from the medium is hierarchically defined such that a predetermined output state of the upper layer is further subdivided into output states, and each transition of the output state of each layer is output from the upper layer. Defined hierarchically to inherit state transitions,
When the above information is output,
The output state of each piece of information and the definition content of the transition are described, and a state transition procedure according to the definition content of each piece of the information is performed. An information synchronization control method comprising: controlling a synchronization relationship between output states of respective information in accordance with a script in which the procedure based on a prescribed predetermined scenario is described . Transition of the output state and its from the media of the respective information, the base class, a derived class of the lower of the base class, or to claim 1, characterized in that it is defined by the derived classes of the lower guide out class Information synchronization control method described. The information synchronization control method according to claim 2, wherein the base class and the derived class are defined by a state that defines a state of the media and an event that indicates a transition of the state. The output state of each piece of information from the medium is hierarchically defined such that a predetermined output state of the upper layer is further subdivided into output states, and each transition of the output state of each layer is output from the upper layer. It is defined hierarchically so as to inherit the transition of the state, describes the output state of each piece of information and the definition of the transition, and performs a state transition procedure according to the definition of each piece of the information. First creation means for creating a script describing the procedure based on a predetermined scenario defining a synchronous relationship between output states of each information ;
Second creating means for creating each of the object data corresponding to each of the information ;
An information transmission apparatus, comprising: a transmission unit that combines and transmits outputs of the first generation unit and the second generation unit. The output state of each piece of information from the medium is hierarchically defined such that a predetermined output state of the upper layer is further subdivided into output states, and each transition of the output state of each layer is output from the upper layer. The state transition is defined hierarchically so as to inherit the state transition, the output state of the information and the definition of the transition are described, and a state transition procedure according to the definition for each of the information is performed. A script that describes the procedure based on a predetermined scenario that defines a synchronous relationship between output states of the information,
Each object data corresponding to each of the information;
Is used as the input signal,
Separating means for separating said input signal or al the script, said each object data,
Interpreting said script separated by the separating means, on the basis of the interpretation result, the control information for controlling the synchronization relationship between the output state of each information corresponding to each of the respective object data separated by said separating means Interpreting means for outputting
An information output device comprising: a processing unit configured to process the object data separated by the separation unit in accordance with an output of the interpretation unit.

Images