JP4165385B2 - 映像音声通信システム - Google Patents

Description

本発明は、映像情報と音声情報とを符号化して特定のフレームを形成し、パケット通信を行う映像音声通信システムに関するものである。

従来の映像音声通信システムにおいては、送信側の機器では、映像情報と音声情報をそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器では、フレーム番号を参照して受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離した後に映像情報と音声情報を再生するようにしたものが提案されている（例えば、特許文献１参照）
特開２００３−１８９３０１号公報

従来、このような映像音声通信システムにおいては、受信側の機器において映像情報を復号化処理する際に時間がかかって１フレーム周期以上遅延して処理される場合がある。このようなときには、映像情報を再生するタイミングが合わなくなり、タイムラグを生じるなどの不都合を生じていた。

これを防止するために、従来、大容量のバッファメモリを設けて再生タイミングを調整することも行われている。しかし、このように大容量のバッファメモリを設けて映像再生を行う場合にはリアルタイム性が損なわれるとともに、装置のコストアップの要因となるため好ましくない。

本発明は、上記の課題を解決するためになされたもので、受信側の機器において映像情報の復号化処理に要する時間が１フレーム周期を越えた場合でも、映像フレームを再生する際のタイムラグを少なくしてリアルタイム性を確保することができ、しかも、大容量のバッファメモリ等をもつ必要のない映像音声通信システムを提供することを目的とする。

上記の目的を達成するために、本発明にあっては、送信側の機器は、映像情報と音声情報をそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器は、前記フレーム番号を参照して受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離した後に映像情報と音声情報を再生する映像音声通信システムにおいて、次の構成を採用している。

すなわち、請求項１記載の発明に係る映像音声通信システムでは、受信側の機器は、映像情報の復号化処理に要する時間が１フレーム周期を越えた場合には、当該映像情報の復号化処理が完了するまでそのまま処理を継続させるとともに、当該復号化処理に要した期間の内、１フレーム周期を越えた期間分だけ前の映像フレームが再生されるように制御する繰返再生制御手段を備え、前記受信側の機器は、映像情報の復号化処理が１フレーム周期以上継続する状態が所定回数以上続いた場合には、送信側の機器に対して単位時間内に送信される映像フレームの数を減らすことを要求する送信フレーム数削減要求手段を備えることを特徴としている。

請求項２記載の発明に係る映像音声通信システムでは、請求項１記載の映像音声通信システムの構成において、受信側の機器は、前記送信フレーム数削減要求手段によって単位時間内に送信される映像フレームの数を減らした状態で、映像情報の復号化処理が１フレーム周期内で終了する状態が所定回数以上続いた場合には、送信側の機器に対して単位時間内に送信される映像フレームの数を元の状態にまで増やすことを要求する送信フレーム数増加要求手段を備えることを特徴としている。

請求項１記載の発明によれば、受信側の機器において、映像情報の復号化処理に要する時間が１フレーム周期を越えた場合には、当該映像情報の復号化処理が完了するまでそのまま処理を継続させるとともに、当該復号化処理に要した期間の内、１フレーム周期を越えた期間分だけ前の映像フレームを再生するので、大容量のバッファメモリがなくても映像の補間を行うことができ、映像情報再生時のタイムラグを減らすことができる。このため、映像情報のリアルタイム性を重視した映像情報の伝送を行うことが可能になる。

また、映像情報の復号化処理が１フレーム周期以上継続する状態が所定回数以上続いた場合には、送信側の機器から単位時間内に送信される映像フレームの数を減らすことができるので、映像フレームの再生タイミングに間に合わせることができる。その結果、映像情報の復号化処理の遅れが積み重なって遅延時間が増加し続けてリアルタイム性が損なわれるといったことを防止することができる。

請求項２記載の発明によれば、受信側の機器において、単位時間内に送信される映像フレームの数を減らした状態で、１フレーム周期内で終了する状態が所定回数以上続いた場合には、映像情報の情報量がそれほど多くない状態なので、このときには、送信側の機器から単位時間内に送信される映像フレームの数を元の状態にまで増やすことができる。このため映像情報のリアルタイム性を増すことができる。

ここでは、本発明の映像音声通信システムを集合住宅用ホームオートメーションシステム（以下、マンションＨＡシステムという）に適用した場合を例にとって説明する。

図１はマンションＨＡシステムの構成を示すブロック図である。

この実施形態のマンションＨＡシステムは、各住戸に設置される住戸端末Ａ（ここではその内の一つのみを示す）と、マンションのロビーに設置されるカメラ付きのロビーインターホンＢとを備え、両者Ａ，Ｂ間が通信回線Ｌを介して互いに接続されている。

住戸端末Ａは、制御部Ａ１、インタフェイスＡ２、映像処理部Ａ３、表示部Ａ４、映像入力部Ａ５、音声処理部Ａ６、音声入出力部Ａ７、および操作部Ａ８を備えており、音声入出力部Ａ７や映像入力部Ａ５から入力された音声情報や映像情報をフレーム化したパケットをロビーインターホンＢに送信するとともに、ロビーインターホンＢから送られてきた音声情報や映像情報のパケットを受信して、これらのパケットを再生する機能を有している。

ロビーインターホンＢは、制御部Ｂ１、インタフェイスＢ２、映像処理部Ｂ３、表示部Ｂ４、映像入力部Ｂ５、音声処理部Ｂ６、音声入出力部Ｂ７、および操作部Ｂ８を備えており、音声入出力部Ｂ７や映像入力部Ｂ５から入力された音声情報や映像情報をフレーム化したパケットを住戸端末Ａに送信するとともに、住戸端末Ａから送られてきた音声情報や映像情報のパケットを受信して、これらのパケットを再生する機能を有している。

なお、上記の各制御部Ａ１，Ｂ１が特許請求の範囲における繰返再生手段、送信フレーム数削減要求手段、および送信フレーム数増加要求手段に対応している。

次に、上記構成において、例えばロビーインターホンＢを送信側の機器、住戸端末Ａを受信側の機器として、ロビーインターホンＢから住戸端末Ａに向けて映像情報と音声情報とを送信する場合の動作について説明する。なお、上記の場合とは逆に住戸端末ＡからロビーインターホンＢに映像情報と音声情報を送信する場合の動作も基本的に同じである。

ロビーインターホンＢは、映像入力部Ｂ５で映像情報をキャプチャし、映像処理部Ｂ３でこの映像情報が符号化され、続いて、制御部Ｂ１で所定の形式にフレーム化される。また、音声入出力部Ｂ７から入力された音声情報は、音声処理部Ｂ６で符号化され、続いて、制御部Ｂ１で所定の形式にフレーム化される。その際、制御部Ｂ１は、同時期に発生した映像情報と音声情報には同一のフレーム番号を付与する。こうして所定の形式にフレーム化された映像情報と音声情報とは、制御部Ｂ１で共にパケット化されてインタフェイスから通信回線Ｌを介して住戸端末Ａに向けて送信される。

一方、住戸端末Ａは、ロビーインターホンＢから通信回線Ｌを介して送られてきた映像情報と音声情報の各パケットを共に受信すると、制御部Ａ１はこれらの情報をアンパケット化する。アンパケット化された映像情報は、映像処理部Ａ３で復号化され、表示部Ａ４に出力されて表示される。また、アンパケット化された音声情報は音声処理部Ａ６で復号化され音声入出力部Ａ７で出力再生される。

ここで、いま、ロビーインターホンＢにおいて、正常にパケット通信が行われている場合、住戸端末Ａの制御部Ａ１は、図２に示すように、各パケットの映像フレームと音声フレームに付された各フレーム番号を参照してフレーム周期に同期して映像情報と音声情報とをアンパケット化するので、同じフレーム番号を有する映像情報と音声情報とが同じタイミングで再生されて両情報の整合性が保たれている。

一方、図３に示すように、受信側の機器となる住戸端末Ａにおいて、映像処理部Ａ３においてフレーム番号“１１”の映像情報を復号化する際、この復号化処理に要する時間が１フレーム周期で終了せずに２フレーム周期までかかる場合には、制御部Ａ１は、このフレーム番号“１１”の映像情報の復号化処理を１フレーム周期で終了せずに復号化が完了するまでそのまま継続させる。また、当該復号化処理に要した期間の内、１フレーム周期を越えた期間分だけ前のフレーム番号“１０”の映像フレームが再生されるように制御する。これにより、大容量のバッファメモリがなくても、映像が途中で１フレーム分欠落してしまうのを防ぐことができる。

なお、上記の映像情報の復号化処理を行うと、そのときに生じた映像情報の遅延により音声情報との整合性がとれなくなることが起こるので、基準となるフレーム番号を有する映像情報が再生されるタイミングに合わせて、これと同一のフレーム番号を有する音声情報を再生することで両情報の整合性をとるようにしている。

ところで、上記のように、復号化処理が１フレーム周期ごとに完了せずに遅延する状態が継続すると、映像情報と音声情報との整合性がとれなくなったり、ロビーインターホンＢでキャプチャした映像情報と住戸端末Ａで再生している映像情報とのリアルタイム性が損なわれることになる。これは、受信側の機器における復号化処理能力よりも送信側の機器から単位時間内に送信される映像情報の情報量が多いためである。

そこで、映像情報の復号化処理が１フレーム周期以上継続する状態が所定回数以上続いた場合には、制御部Ａ１は、送信側の機器であるロビーインターホンＢに対して単位時間内に送信される映像フレームの数を減らすことを要求する。例えば、ロビーインターホンＢから１秒間に３０フレームの映像情報が送信されている場合、制御部Ａ１は、その半分の１秒間に１５フレームの映像情報が送信されるように要求を出す。

このように、映像情報の復号化処理が１フレーム周期以上継続する状態が所定回数以上続いた場合には、ロビーインターホンＢから単位時間内に送信される映像フレームの数を減らすことで、映像フレームの再生タイミングに間に合わせることができる。その結果、映像情報の復号化処理の遅れが積み重なって遅延時間が増加し続けてリアルタイム性が損なわれるといったことを防止することができる。

一方、上記のようにして、ロビーインターホンＢから単位時間内に送信される映像フレームの数を減らした状態（上記の例では１秒間に１５フレームの映像情報を送信する状態）にあるとき、映像情報の復号化処理が１フレーム周期で完結する状態が所定回数以上続いた場合、これは受信側の機器における復号化処理能力よりも送信側の機器から単位時間内に送信される映像情報の情報量が少なくなったことを意味する。

そこで、１フレーム周期内で終了する状態が所定回数以上続いた場合には、制御部Ａ１は、送信側の機器であるロビーインターホンＢに対して単位時間内に送信される映像フレームの数を元の状態（すなわち、１秒間に３０フレームの映像情報を送信する状態）にまで増やすように要求を出す。これにより、映像情報のリアルタイム性を増すことができる。

なお、上記の実施形態では、映像音声通信システムをマンションＨＡシステムに適用した場合について説明したが、本発明はこれに限定されるものではなく、映像情報と音声情報とを共に通信ネットワークを介してリアルタイムで伝送する必要がある、例えばテレビ電話システムやテレビ会議システムなどの映像と音声のオン・デマンドの通信システムに対して広く適用することができる。

本発明の実施形態におけるマンションＨＡシステムの構成を示すブロック図である。 正常にパケット通信が行われている場合の映像情報と音声情報の通信手順を示すタイミングチャートである。 受信側の機器において映像情報の復号化処理が１フレーム周期以上遅延した場合の映像情報と音声情報の処理内容を示すタイミングチャートである。

符号の説明

Ａ 住戸端末
Ｂ カメラ付きのロビーインターホン
Ｌ 通信回線
Ａ１，Ｂ１ 制御部（繰返再生手段、送信フレーム数削減要求手段、送信フレーム数増加要求手段）

Claims (2)

1. 送信側の機器は、映像情報と音声情報をそれぞれ符号化するとともに、両情報に対して互いに対応したフレーム番号を順次付加して特定のフレームに形成し、このフレーム化された両情報をフレーム周期に同期してパケット送信する一方、受信側の機器は、受信したパケットを前記フレーム周期に同期して映像フレームと音声フレームとに別々に分離した後に映像情報と音声情報を再生する映像音声通信システムにおいて、前記受信側の機器は、映像情報の復号化処理に要する時間が１フレーム周期を越えた場合には、当該映像情報の復号化処理が完了するまでそのまま処理を継続させるとともに、当該復号化処理に要した期間の内、１フレーム周期を越えた期間分だけ前の映像フレームが再生されるように制御する繰返再生制御手段を備え、前記受信側の機器は、映像情報の復号化処理が１フレーム周期以上継続する状態が所定回数以上続いた場合には、送信側の機器に対して単位時間内に送信される映像フレームの数を減らすことを要求する送信フレーム数削減要求手段を備えることを特徴とする映像音声通信システム。
2. 請求項１記載の映像音声通信システムにおいて、前記受信側の機器は、前記送信フレーム数削減要求手段によって単位時間内に送信される映像フレームの数を減らした状態で、映像情報の復号化処理が１フレーム周期内で終了する状態が所定回数以上続いた場合には、送信側の機器に対して単位時間内に送信される映像フレームの数を元の状態にまで増やすことを要求する送信フレーム数増加要求手段を備えることを特徴とする映像音声通信システム。
   
   

Images