JP4058285B2 - Video processing apparatus, video processing method, program, and computer-readable recording medium - Google Patents
Video processing apparatus, video processing method, program, and computer-readable recording medium Download PDFInfo
- Publication number
- JP4058285B2 JP4058285B2 JP2002093698A JP2002093698A JP4058285B2 JP 4058285 B2 JP4058285 B2 JP 4058285B2 JP 2002093698 A JP2002093698 A JP 2002093698A JP 2002093698 A JP2002093698 A JP 2002093698A JP 4058285 B2 JP4058285 B2 JP 4058285B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- video
- server device
- camera
- video information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラサーバ装置のコストアップを回避しつつ、カメラサーバ装置で撮影される映像を他の装置に配信するための技術に関するものである。
【０００２】
【従来の技術】
特開平１０−０４０１８５号公報には、遠隔地に配置されたカメラの画像をインターネットなどのネットワーク経由で見ることができる機能を提供しているカメラが開示されている。以下では、このようなネットワーク機能を有したカメラをカメラサーバ装置と呼ぶ。本従来例は、多人数が同時にカメラサーバ装置からの映像を見ることができるだけでなく、カメラのパン・チルト角度やズーム倍率を遠隔から制御することが可能である。
【０００３】
このような、カメラの制御も許すようなカメラサーバ装置システムにおいて、多人数に1台のカメラ制御を許す場合には、物理的には1台しかないカメラを制御する権利を調停する必要がある。これに関しては特開平１０−０４２２７８号公報において開示されている。制御権という概念を導入することで、利用者が制御権を有している間だけカメラ制御できるようになっている。一方、このようなカメラサーバ装置からの映像に情報を重畳するという技術が特開平１１−１９６４０４号公報で開示されている。
【０００４】
【発明が解決しようとする課題】
近年、携帯電話や携帯端末技術の進歩により、こうした機器からもカメラ映像を見たり操作できるようになる可能性が出てきた。しかしながら、このようなカメラサーバ装置からの映像を従来どおりの端末にだけでなく、携帯電話や携帯端末等にも見せようとすると、映像の配送方法や映像フォーマットなどが異なるため、カメラサーバ装置に両方のインタフェースを持つ必要があり、カメラサーバ装置がコストアップしてしまうという問題点がある。これはカメラ制御についても同様であり、カメラサーバ装置側に携帯端末からのカメラ制御のための専用インタフェースを別途持つ必要があり、カメラサーバ装置の複雑化とコストアップになる。
【０００５】
一方、広告などを映像に重畳する機能を持たないカメラサーバ装置からの映像に対して、あとから柔軟に広告を重畳することはできなかった。また、重畳したい情報が非常に大きな場合、カメラサーバ装置に重畳情報を保持するのは本来の映像配信という目的と異なる機能であり、コスト面から現実的ではなかった。さらには、従来技術では、例えば、携帯電話には広告情報を重畳し、従来どおりの端末には広告情報を重畳しないといったことはできなかった。
【０００６】
そこで、本発明の目的は、撮影装置のコストアップを回避するとともに、必要な端末装置にのみ映像情報とともに広告等の情報を提供することを可能とすることにある。
【０００９】
【課題を解決するための手段】
本発明の映像処理装置は、撮影装置から第１の端末装置に配信するための第１の圧縮形式の映像情報を受信する映像情報受信手段と、前記映像情報受信手段によって受信された第１の圧縮形式の映像情報を伸張する伸張手段と、時間帯並びにパン、チルト及びズームの値のうち少なくとも１つを含む前記撮影装置の制御情報に対応した、前記伸張手段によって伸張された映像情報とは異なる情報を該映像情報に重畳させる位置及び該映像情報とは異なる情報のサイズに関する情報を有するデータベースと、現在の時刻及び前記撮影装置の制御情報に対応する、位置及びサイズに関する情報を前記データベースから取得し、取得した前記位置及びサイズに関する情報に基づいて、前記伸張手段によって伸張された映像情報に該映像情報とは異なる情報を重畳する映像加工手段と、前記映像加工手段によって加工された映像情報を前記第１の圧縮形式とは異なる第２の圧縮形式で圧縮する圧縮手段と、前記圧縮手段によって圧縮された映像情報を前記第１の端末装置とは異なる種類の第２の端末装置に配信する配信手段と、を有することを特徴とする。
本発明の映像処理装置の映像処理方法は、撮影装置から第１の端末装置に配信するための第１の圧縮形式の映像情報を受信する映像情報受信ステップと、前記映像情報受信ステップによって受信された第１の圧縮形式の映像情報を伸張する伸張ステップと、時間帯並びにパン、チルト及びズームの値のうち少なくとも１つを含む前記撮影装置の制御情報に対応した、前記伸張手段によって伸張された映像情報とは異なる情報を該映像情報に重畳させる位置及び該映像情報とは異なる情報のサイズに関する情報を有するデータベースから、現在の時刻及び前記撮影装置の制御情報に対応する位置及びサイズに関する情報を取得し、取得した前記位置及びサイズに関する情報に基づいて、前記伸張ステップによって伸張された映像情報に該映像情報とは異なる情報を重畳する映像加工ステップと、前記映像加工ステップによって加工された映像情報を前記第１の圧縮形式とは異なる第２の圧縮形式で圧縮する圧縮ステップと、前記圧縮ステップによって圧縮された映像情報を前記第１の端末装置とは異なる種類の第２の端末装置に配信する配信ステップと、を有することを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照しながら詳細に説明する。
【００１６】
＜第１の実施形態＞
本実施形態は、遠隔制御可能なカメラサーバ装置で取り込んだ映像を、配送途中の変換サーバ装置にて広告などの情報を映像に重畳して、携帯表示端末に映像を配送し、さらに携帯表示端末からのカメラ制御を可能にするものである。
【００１７】
図１は本実施形態の物理的な構成の概要図である。まず図１を用いて構成の概要について説明する。まず、カメラサーバ装置1-1、表示操作端末1-2及びネットワーク1-3とともに、変換サーバ装置1-4、広告サーバ装置1-5、ネットワーク1-6、配送サーバ装置1-7、ネットワーク1-8、携帯表示端末1-9からカメラサーバ装置システムが構成されている。
【００１８】
カメラサーバ装置システムを構成する部分では、ネットワーク1-3経由で、操作表示端末1-2からカメラサーバ装置1-1のアドレスを指定して接続し、カメラサーバ装置1-1で撮影したリアルタイム映像を取得すると共に、必要に応じてカメラ制御権を取得してカメラ制御を行う。表示操作端末1-2、カメラサーバ装置1-1はネットワーク上で互いが識別できれば複数存在してもかまわない。
【００１９】
図２はカメラサーバ装置1-1のブロック図であり、撮像手段2-1すなわちカメラで撮影した映像を、映像取り込み圧縮手段2-2でデジタルデータとして取り込み、Motion JPEG形式の圧縮画像を生成し、映像通信手段2-5により、接続要求のあった表示操作端末に映像を配送する。接続要求が複数の表示操作端末からあれば、同時に複数の表示操作端末に対して映像配送を行う。また、カメラを制御する権利(制御権)を獲得した表示操作端末がカメラ制御手段2-3に対してカメラ制御コマンドを発行して、パン・チルト・ズームなどのカメラ制御できるようになっている。カメラ制御通信手段2-6はこうしたカメラ制御コマンドの生成・解釈、応答の制御を行う。通信制御手段2-7は、映像通信手段2-5、カメラ制御通信手段2-6と外部との通信を制御している。
【００２０】
表示操作端末1-2は、本実施形態ではグラフィカルな画面操作が可能なパーソナルコンピュータのような装置によって構成されているものとする。表示操作端末1-2よりカメラサーバ装置1-1のアドレスを指定してカメラサーバ装置に接続すると、図３のようなユーザインタフェース画面を表示する。図３において、3-1は映像表示部であり、カメラサーバ装置1-1から取得した映像が伸張して表示される。カメラ制御する場合には、3-5のボタンを押して、制御権が獲得できた後、カメラパンのためのスクロールバー3-2、カメラチルトのためのスクロールバー3-3、カメラズームのためのクスロールバー3-4を操作してカメラ制御するようになっている。なお、カメラ操作のための制御権は同時には1つのクライアントしか取得することはできない。こうした操作に対応してカメラ制御コマンドを発行するが、ここで用いるカメラ制御コマンドおよびカメラサーバ装置からの応答を図５に示す。コマンドについては後で詳述する。
【００２１】
変換サーバ装置1-4は、カメラサーバ装置1-1から取得したMotion JPEG形式の圧縮映像を、携帯表示端末1-9で表示できるような圧縮映像フォーマット（本実施形態ではMPEG4とする）に変換すると同時に、必要に応じて広告サーバ装置1-5から取得した情報を映像に重畳し、ネットワーク1-6を通じて配送サーバ装置1-7に流す。
【００２２】
さらに配送サーバ装置1-7では、接続中の複数の携帯表示端末1-9に映像を配送し、各携帯表示端末1-9では、受信したMPEG4映像をデコードして表示する。なお、携帯表示端末1-9は、例えば64kbps程度のデジタル映像を高速に受信し表示できるようなものを想定している。図４に携帯表示端末の例を示す。4-1は映像・情報表示部、4-2はキーボタン部である。
【００２３】
本実施形態においては、変換サーバ装置1-4はMotion JPEG映像からMPEG4映像に変換をするようになっている。従って、システムで用いられている映像フォーマットとしては、カメラサーバ装置1-1から変換サーバ装置1-4ないし表示操作端末1-2までの系ではMotion JPEG、変換サーバ装置1-4から携帯端末1-9までの系ではMPEG4のビジュアルの部分のシンプルプロファイルを想定している。
【００２４】
しかし、本実施形態では、映像の圧縮形式にこだわるものではなく、変換サーバ装置1-4において、カメラサーバ装置から受信した圧縮映像フォーマットを携帯端末1-9で表示できる圧縮映像フォーマットに変換できる、という条件を満たしているシステムであればよい。また、必ずしもフォーマット変換しなくても、映像が正しく流れて表示できれば、情報重畳だけできればよい。また、処理面およびネットワーク負荷面から考えて映像圧縮しなくても間に合うのであれば、非圧縮映像であってもかまわない。
【００２５】
なお、カメラ制御に関しては、携帯端末1-9からカメラサーバ装置1-1に制御権を要求・獲得して、制御コマンドを発行し、配送サーバ装置1-7、変換サーバ装置1-4を経由してカメラサーバ装置1-1に制御コマンドがわたるようになっている。携帯端末1-9から配送サーバ装置1-7、変換サーバ装置1-4までの系において、本実施形態では、通話用の双方向音声チャネルを用いて制御信号およびその応答を流すものとして説明する。この点に関しては後で詳述する。
【００２６】
なお、変換サーバ装置1-4は、カメラサーバ装置1-1から見れば、一部を除き表示操作端末と同等に見える。なお、本実施形態で述べる各装置には携帯表示端末1-9を除きネットワーク上で互いが一意に特定できる識別アドレスとしてIPアドレス(アドレスと以下呼ぶ)が割り振られているものとする。ただし、ネットワーク上の携帯表示端末1-9の識別は、携帯電話特有の仕組みすなわち電話番号を用いて識別できるようになっているものとする。しかし、互いの装置、端末の識別ができて通信が可能であれば、どんな識別機構であろうとかまわない。
【００２７】
ネットワーク1-3は、ネットワーク上にある複数の操作表示端末1-2や変換サーバ装置1-4、カメラサーバ装置1-1間でのカメラ制御コマンドや映像を相互に通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればなんでもよい。なお、本実施形態ではネットワーク1-4を流れる映像はMotion JPEGをパケット化したものであり、カメラ制御コマンドおよびその応答もコマンドごとにパケット化したものである。
【００２８】
ネットワーク1-6は、変換サーバ装置1-4と配送サーバ装置1-7の間で映像およびカメラ制御コマンドおよび応答を通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればなんでもよい。本実施形態ではネットワーク1-6を流れる映像はMPEG4映像をパケット化したものであり、カメラ制御コマンドおよび応答は、後述するように音声データをデジタル化してパケット化した双方向デジタル音声データである。
【００２９】
ネットワーク1-8は、本実施形態では配送サーバ装置1-7から携帯表示端末1-9に対して映像およびカメラ制御コマンドを通すのに十分な帯域がある携帯表示端末1-9側では無線になっている携帯電話網を想定しているが、論理的には、配送サーバ装置1-7と携帯端末1-9の間での通信に必要十分な帯域が確保できていれば物理的な構成にこだわるものではない。本実施形態ではネットワーク1-8を流れる映像はMPEG4映像をパケット化したものであり、カメラ制御コマンドおよび応答は、後述するようにネットワーク1-6，1-8上においては通話用の双方向音声チャネルの音として流れる。また、変換サーバ装置1-4と広告サーバ装置1-5の間は、広告情報を流すのに十分な帯域があるネットワークで接続されていれば何でもよい。
【００３０】
図６に、データの流れに着目した論理的な構成を示す。カメラサーバ装置6-1(1-1)にとって、表示操作端末6-2(1-2と同じ)は、カメラサーバ装置6-1にとってクライアントである。カメラサーバ装置6-1は、カメラ操作部6-21、表示部6-22からなる。図３の操作画面において、カメラ操作部6-21は3-2〜3-5に、表示部6-22は3-1に対応している。それぞれカメラサーバ装置6-1のカメラ制御通信手段、映像通信手段とデータをやり取りして、映像を3-1に表示し、3-2〜3-5を用いてカメラ制御を行うようになっている。なお、前述のように複数の表示操作端末6-2が1つのカメラサーバ装置6-1に同時に接続することができる。
【００３１】
変換サーバ装置6-3(1-4)は、映像の圧縮フォーマットを変換するストリーム変換と広告管理部6-51から取得した広告情報を映像に重畳することを実施する映像変換部6-32と、後述の制御権の管理と特定のデジタル音声データをカメラ制御コマンドに変換する制御権管理・音変換部6-31からなる。変換サーバ装置6-3を起動すると、配送サーバ装置6-4、広告サーバ装置6-5、カメラサーバ装置6-1にそれぞれアドレスを指定して接続する。それぞれの接続先のアドレスは、接続管理部6-33に保存されており、これを用いて接続する。なお、接続先の装置に関して、ネットワーク上に配送サーバ装置6-4、広告サーバ装置6-5、カメラサーバ装置6-1がそれぞれ複数ある場合もありうる。その場合には、各装置のなかから各1台ずつ指定すればよい。
【００３２】
配送サーバ装置6-4(1-7)は、音声配送部6-41と映像配送部6-42からなり、変換サーバ装置6-3とは1対1で接続するが、携帯表示端末6-6とは同時に複数台と接続し、データをやり取りする。音声配送部6-41は、携帯表示端末6-6〜8からのデジタル音声データを変換サーバ装置6-3の制御権管理・音変換部6-31に渡すとともに、制御権管理・音変換部6-31から返ってきたカメラサーバ装置6-1の応答(デジタル音声データ)を必要な携帯表示端末6-6に配送する。映像配送部6-42は、変換サーバ装置6-31から配送されてきたMPEG4映像ストリームを配送サーバ装置6-4に接続している複数の携帯表示端末6-6〜8に同時に配送する。
【００３３】
携帯表示端末6-6〜8(1-9)は、操作制御部6-61〜81と表示制御部6-62〜82からなり、操作制御部6-61〜81は図４のキーボタン4-1を押すことでキー押下音として発生するトーン信号(主力時はデジタル音声データになる)を、配送サーバ装置6-4に送るとともに、表示制御部6-62〜82は配送サーバ装置6-4から送られてきたMPEG4ストリームなどの映像や文字を表示部4-2に対して表示する制御を行う。
【００３４】
まず映像の流れに着目して図６の動作をもう少し詳しく説明する。カメラサーバ装置6-1は、カメラサーバ装置6-1に接続している全てのクライアント、すなわち表示操作端末6-2および変換サーバ装置6-3に対して撮像手段2-1で取り込んだMotion JPEG圧縮された映像を配送する。なお，表示操作端末6-2および変換サーバ装置6-3は図6では1つであるように記述されているが，当然それぞれ複数であってもかまわない．
【００３５】
図７に変換サーバ装置6-3の映像変換部6-32のフローを示す。映像変換部6-32では、受信したMotion JPEG圧縮画像を1フレームずつ一旦伸張し（S7003）、広告重畳が必要な場合には、映像に広告重畳処理し（S7005）、再度映像をMPEG4圧縮して（S7004）、配送サーバ装置6-4に送信する（S7007）。なおこの際に、広告重畳処理S7005では、広告サーバ装置6-5に、制御権管理・音変換部で保持しているPTZ値(パン角度、チルト角度、ズーム倍率)を渡し、広告データベース6-52から、このPTZ値に対応する必要な広告情報を取得し、この広告情報を用いて映像に重畳する。配送サーバ装置6-4では、受信したMPEG4映像ストリームを配送サーバ装置6-4に接続している複数の携帯表示端末(図６では6-6、6-7、6-8)に同時に配送する。なお、後述の図８から得られる広告情報が、時間帯やカメラのPTZ値によっては、何もない場合があるので、その場合は、広告は重畳しないことになる。つまり、Ｓ７００４で広告重畳OFFになる。
【００３６】
広告情報は、広告ファイルと重畳位置の組み合わせである。広告サーバ装置6-5内にデータベースを有しており、現在の時刻とカメラのPTZ値を与えて問い合わせると、広告ファイルと重畳位置が得られるようになっている。データベースでは、図８のような形式の表形式をエントリ番号の小さいほうから検索して、対応する時刻、PTZ範囲に当てはまる最初に見つかったエントリの広告ファイルと重畳位置情報を獲得する。*は範囲指定なし(常に当てはまること)を意味する。なお、得られる広告ファイルとしては、
・テロップ文字列
・静止画
・動画クリップ
等がある。
【００３７】
静止画、動画クリップについては、αプレーン情報を有しており、必要があれば、背景である映像が一部透けて見えるように重畳できるようになっている。動画の場合は、各フレームで時間的に同期させて重畳されることになる。なお、本実施形態では、広告情報としたが、広告情報にこだわるものではなく、途中で映像に付加したい情報ならなんでもかまわない。例えば、制御権待ち人数や制御権待ち時間、パン・チルト・ズーム値などの接続先カメラサーバ装置から得られるカメラサーバ装置の制御状態情報を重畳してもよい。なお、広告重畳処理S7005では、重畳位置情報を元に重畳位置(上下左右中央など)と広告情報表示サイズ(大・中・小)を決定している。
【００３８】
なお、配送サーバ装置6-4の携帯表示端末6-6〜6-8側のネットワークインタフェースとして電話番号を持っており、携帯表示端末6-6〜6-8がその電話番号に対して電話すると、接続が確立され、配送サーバ装置6-4から映像が流れてくるので、それを表示制御部6-62〜6-82で伸張表示するようになっている。複数の携帯表示端末6-6〜6-8から接続する場合でも、同じ電話番号で同時に接続できるようになっているものとする。配送サーバ装置6-4は複数の携帯表示端末6-6〜6-8に対して、映像および後述の双方向音声を流せるだけの能力を備えているものとする。なお、ここで、電話番号による接続でなくとも、NTT DoCoMo社のサービスであるi-mode(R)サービスのようなインターネット接続でのIPアドレスによる指定やWWWの接続先指定方法におけるURL(Uniform Resource Locator)指定であってもかまわない。
【００３９】
次に制御の流れに着目して図６の動作を詳しく説明する。図９にカメラ制御権取得から、カメラ制御コマンド発行の流れを示す。携帯表示端末6-6〜6-8、変換サーバ装置6-3、表示操作端末6-2いずれも、カメラ制御の際には、カメラサーバ装置に対して制御権取得の要求を発行し（S9002）、制御権を取得した後（S9003/yes）、制御権を失うまでカメラサーバ操作に対する制御コマンドの送信と、その応答の送受信を繰り返す（S9006、S9007）。このようにカメラ制御に係る部分の流れは、基本的には同じである。ただし、接続中の複数の携帯表示端末では、双方向音声データチャネル使えるようになっている点が異なる。
【００４０】
カメラ制御権要求及びカメラ制御コマンドは図５に示してある。図５には制御権要求、パン角度、チルト角度、ズーム変更などとその応答が示してある。ただし、携帯表示端末6-6の場合には、これらのコマンドを直接発行するわけではなく、図４の操作部4-2の各種キーボタンを用いて制御コマンドに対応する音声データを発行し、変換サーバ装置6-3で図５のようなカメラ制御コマンドに変換して、カメラ制御を行う。制御権要求でも全く同様である。
【００４１】
図１０に制御コマンドの流れを示す。携帯表示端末の操作部4-2の制御操作に対応する各種キーボタンを押すと、トーン信号音(制御コマンド音)が発生する。操作制御部6-61ではこれをGSM AMR等でエンコードしデジタル音声データに変換して、配送サーバ装置6-4の音声配送部6-41に渡す。音声配送部6-41では、変換サーバ装置6-3の制御権管理・音変換部6-31にそのまま音声データをスルーする。
【００４２】
制御権管理・音変換部6-31では、この音声データを取得し、これを対応するカメラ制御コマンドに変換し、カメラサーバ装置6-1に発行することでカメラ制御を行う。カメラ制御に対する応答はこれと逆の流れになる。図１１（ａ）にキーボタンとカメラ制御コマンドの対応表を示す。キーボタンの組み合わせ操作により、制御コマンド音とする。パン・チルト・ズーム値は数字キーを入れるようになっている。図１９は、カメラサーバ装置による制御コマンドに応じた応答動作の流れを示した図である。カメラサーバ装置は、対象の装置が制御権を有していると判断すると（S10102）、制御コマンドを受け付け（S10103）、応答情報を送信する(S10104)。一方で、制御権のない装置から制御コマンドを受け付けた場合には、NG応答を送信する(S10105)。
【００４３】
図１１（ｂ）にはカメラサーバ装置6-1からの応答と携帯表示端末6-6〜6-8で再生する応答音声の対応表を示す。応答が来ると、対応表にある言葉を読み上げた音声を生成する。なお、図１１（ｂ）中、θ、Φ、zは、パンチルト角度、ズーム倍率を示す数字である。
【００４４】
カメラ制御の例を挙げる。制御権が獲得できている状態で、キーボタンを4、2、0と3つ続けて押すと、変換サーバ装置6-4で左に20単位分パンするという図２１に示すようなカメラ制御コマンドを生成して、カメラサーバ装置6-1に渡す。(-20は現在位置から20単位左にパンするという意味である。+20なら20単位右にパンするという命令になる。)
【００４５】
なお、図５のカメラ制御コマンドおよび応答において、1、2番目の項目である送信元アドレス、送信先アドレスは、それぞれコマンド、応答の送信元装置、送信先装置のアドレスを示し、3番目の項目はコマンドないし応答の種類の識別文字列である。パン、チルト角度変更、ズーム倍率変更は、それぞれ変更角度を相対値で指定する。数値の＋はそれぞれ右パン、上チルト、ズーム拡大を示し、−はその逆である。また数値そのものは、最小制御量を1単位とするようになっている。カメラ制御応答には、制御した結果のパン、チルト角度、ズーム倍率が数値で返ってくる。
【００４６】
応答は、それぞれ制御コマンド音を発行した携帯表示端末にしか返らないが、カメラ制御応答だけは、接続中の全ての携帯表示端末に返すことでカメラのパン・チルト・ズームの状態を音声で通知するようになっている。配送サーバ装置6-4と変換サーバ装置6-3間でやりとりされる音声のデータ形式を図２２に示す。
【００４７】
実際の送信時には小パケットに分割してもよいが、上記のような形式のデータが双方向でやり取りされることになる。配送サーバ装置6-4から変換サーバ装置6-3に音声データを渡すときには、制御コマンド音に対応するデジタル音声データと制御コマンド音発行元の携帯表示端末識別子(電話番号)から構成され、逆に変換サーバ装置6-3から配送サーバ装置6-4に音声データを渡すときには、デジタル化された読み上げ音声と、音声を送信する先の携帯表示端末識別子(電話番号)から構成される。なお、カメラ制御応答のように、接続中の全ての携帯表示端末6-6〜6-8に音声データを返す場合には、携帯表示端末識別子(電話番号)として、図２３に示すように全て番号が0にする等、特定の携帯表示端末に渡す音声データではないことを一意的に示すようにする。
【００４８】
ここで、制御権の管理について説明する。カメラサーバ装置6-1の制御権管理フローを図２０に示す。基本的に制御権を待つ場合には待ち行列に並び、順番が回ってくると、待ち行列から取り出し(S12103)、制御権が獲得できるようになっている(S12104〜S12106)。制御時間持ちが終了してタイムアウトが発生して接続が切れると、S12201の制御権終了処理を行う。即ち、制御権要求の送信元Ａについて制御権を解除し（S12202）、タイムアウトの旨の応答情報を送信する。そして、その時点に他の制御待ちがあれば(S12204/yes)、その制御待ちに該当する装置に制御権を付与し、また制御待ちがなければカメラサーバ装置の制御状態をクリアする(S12206)。また、カメラサーバ装置との接続を絶つ場合には、図２４に示すように、カメラサーバ装置は送信元Ａによる制御が終了したことを確認した後（S12302/no）、待ち行列を削除する(S12303)。
【００４９】
また、図１２に示すように、カメラサーバ装置6-1は、制御権要求を受け付け、それらの制御権を保持した状態にあるとき（12002）、制御権の受け付けが待ち行列の最大長Nmaxを越えたか否かを判断する(S12003)。この判断において最大長Nmaxを超えると待つことはできなくなる(S12008)。なお、制御権には特権レベルがあり、他が制御していても特権レベルに応じて制御権の扱いが異なってくる。数値が大きいほど特権が大きくなるようになっている。表示操作端末6-2は通常特権レベル0でしか制御権を取得できない。また、特権レベル0では、同じアドレスの端末、装置からは待ち行列に並ぶことはできないが、特権レベルが1の場合には、同じアドレスで並べるようになっている。変換サーバ装置は特権レベル1で接続することで、制御待ち行列に複数並ぶことができるようになっている(S12004内の処理で重複応答S12010の場合)。
【００５０】
制御権管理・音変換部6-31における制御権要求時の流れの概略を図１３に示す。変換サーバ装置6-3は、携帯表示端末の識別子(電話番号)の待ち行列を持っており、携帯表示端末から制御権要求があると(S13001)、待ち行列に識別電話番号を登録する（S13003）。制御権OK応答がカメラサーバ装置6-1から返ってくると(S13006)、待ち行列の先頭から識別電話番号を取り出し(S13007)、対応する携帯表示端末に対応音声を返すようになっている(S13008)。
【００５１】
なお、変換サーバ装置、配送サーバ装置、広告サーバ装置で実現している機能については、それぞれの機能が実現できれば、物理的な装置構成にこだわるものではなく、例えば全て同じ装置上で実現されていてもかまわない。
【００５２】
本実施形態によれば、配送途中の経路に変換サーバ装置を用いることで、必要な端末にのみ広告情報のような付加情報を重畳した異なる映像を配信することができる。また、広告サーバ装置との連携により、この付加情報は、時刻、カメラ制御値（PTZ値)によって異なる情報切替えて重畳できる。また付加情報には、静止画だけでなく動画、テキストを使用することが可能である。
【００５３】
さらに、本実施形態では、携帯電話のようなキーボタンからの制御を直接受け付けられないカメラサーバ装置のような制御装置に対して、変換サーバ装置にてキーボタンの音データを制御コマンドに変換することにより、カメラ制御制御権獲得やカメラ制御操作をキーボタンで行うことが可能になった。また、カメラサーバ装置からの応答を音声に変換するので、音声で制御内容を確認することが可能である。カメラのパン・チルト・ズームの状態も音声で確認することが可能である。
【００５４】
＜第２の実施形態＞
第１の実施形態では、配送サーバ装置、変換サーバ装置で、接続先カメラが起動時に決まっていた。第２の実施形態は、外部から変換サーバ装置が接続するカメラサーバ装置を切替えるものである。携帯表示端末から切替える方法を説明する。
【００５５】
基本的に第１の実施形態と同じであるが、変換サーバ装置の動作が若干異なるため、第１の実施形態との違いのみ述べる。携帯表示端末から見た図１４にカメラ切替制御の流れを示す。配送サーバ装置に接続した携帯表示端末において、カメラ切替えコマンドを発行する。カメラ切替コマンドは、キーボタンの組み合わせで指定する。ここでは、"#"を押す(S14002)。すると、第１の実施形態の制御権要求やカメラ制御コマンド同様に、変換サーバ装置の制御権管理・音変換部6-31までデジタル音声が伝わる。
【００５６】
制御権管理・音変換部6-31で、これをカメラサーバ装置切替命令であると解釈すると、音声応答をし、パスワードを問い合わせる(S14003)。ここで携帯表示端末ではパスワードを入力し、パスワードが正しければ(S14004)、音声応答を返し(S14005)、切替カメラ番号を入力させる(S14006)。制御権管理・音変換部6-31は、図１５のようなカメラ番号-カメラ名(音声データ有り)-カメラアドレス対応表を有しており、この情報を用いて応答音声およびカメラサーバ装置アドレスを得る。
【００５７】
カメラ番号を入力すると(S14006)、制御権管理・音変換部6-31では、図１５を用いて対応するカメラサーバ装置アドレス(例えば100.20.30.102とする)に変換し、これまで接続していたカメラサーバ装置との接続を一旦終了し、新たに100.20.30.102のアドレスを持つカメラサーバ装置に接続する。これにより、携帯表示端末からカメラサーバ装置を切替えることが可能になる。
【００５８】
なお、変換サーバ装置に別な接続の口を用意しておき、接続カメラサーバ装置ドレスを変更して、異なるカメラサーバ装置に再接続することでも、カメラサーバ装置切替えは実現できる。
【００５９】
＜第３の実施形態＞
第３の実施形態は、第２の実施形態のようにカメラサーバ装置が切替えられる場合に、接続カメラサーバ装置によって広告を切替えるというものである。
【００６０】
変換サーバ装置の接続先カメラを外部から切替えられる点と広告サーバ装置の広告情報テーブルが異なる点を除いて、基本的には第１の実施形態と同じである。カメラ切替えの方法は第２の実施形態で説明したような方法で実現可能である。このとき、広告サーバ装置のデータベースとして、図８の代わりに図１６のような広告情報テーブルを有していれば、変換サーバ装置から広告データベース6-52に渡すデータとして、現在時刻とカメラのPTZ値に加えて、接続中のカメラサーバ装置ドレスを渡し、図１６の表中でカメラサーバ装置ドレスに最初に一致したエントリの広告情報つまり重畳位置と広告ファイルデータを変換サーバ装置に持ってくる。これにより、接続するカメラサーバ装置に応じて表示する広告情報を切替えることができる。
【００６１】
＜第４の実施形態＞
第４の実施形態は、第１の実施形態の構成において、携帯情報端末からカメラサーバ装置までの接続経路を考えたときに、配送サーバ装置と変換サーバ装置、広告サーバ装置の組み合わせを複数経路選択できるようにしたものである。
【００６２】
図１７に第４の実施形態の構成を示す。各装置、端末とも複数ネットワーク上に存在し、第１の実施形態と同様に相互に一意に識別できるようになっている。基本的な各装置の動作は第１の実施形態と同様であるので、ここではシステムとしての違いのみ述べる。
【００６３】
携帯表示端末17-9は、配送サーバ装置の電話番号に電話して接続し、映像表示およびカメラ制御を行うが、複数存在する配送サーバ装置17-7ごとに異なる接続電話番号が割り当てられている。従って、異なる配送サーバ装置17-7に接続すれば、異なる変換サーバ装置17-4、異なる広告サーバ装置17-5に接続することになる。例えば、図１７では、配送サーバ装置17-71に接続すると、17-41の変換サーバ装置と17-51の広告サーバ装置を用いることになり、配送サーバ装置17-72に接続すると、17-42の変換サーバ装置と17-52の広告サーバ装置を用いることになる。変換サーバ装置17-51と17-52が同じカメラサーバ装置に接続するようになっていれば、見える映像は同じであり、カメラ制御も同様である。
【００６４】
ただし、広告サーバ装置の有する図８の広告情報テーブルの内容が異なっていれば、同じカメラに接続しても、重畳する情報を異なるようにすることができる。
【００６５】
これにより、例えば掲載希望広告がカメラサーバ装置に対して多すぎる場合に、このような構成をとることで、同じカメラサーバ装置映像であっても、広告内容を切替えることが可能になる。
【００６６】
＜第５の実施形態＞
第５の実施形態は第１の実施形態において、情報を映像に重畳するのではなく、映像と切替えて表示するというものである。第１の実施形態との違いの述べる。
【００６７】
変換サーバ装置6-32において、図７におけるS7004、S7005を広告重畳とするのではなく、一時的にカメラ映像を中断して映像を広告データベースから検索した映像、画像、テキスト、或いはカメラサーバ装置から取得した制御状態情報などに切り替えるようにすればよい。こうした広告情報に切替えるタイミングとして、カメラ制御中は映像が流れて見にくい場合が多いので、制御情報によりカメラサーバ装置が制御されている期間中、広告情報に切替えるようにすればよい。そのため、図１８のようなフローを新たに追加する。つまりカメラサーバ装置から、PTZ制御を開始してPTZ動作が停止していない状態、すなわちカメラ動作中という状態を変換サーバ装置に戻してもらうようにする(S18002)。カメラ動作中状態は、Motion JPEG映像の各フレームヘッダー内に含めるようにする。そして、図１８のようなフローにて、このカメラ動作中状態を検知して(S18003)、カメラ動作中は広告を入れるようにすればよい(S18004)。
【００６８】
第５の実施形態では、カメラ動作中に広告情報に切替えて表示するようにしたが、それ以外でも
1)カメラ制御待ちの間、広告情報に切り替えて表示する。
2)変換サーバ装置がカメラサーバ装置に接続し、変換サーバ装置に映像データが来るでの間、広告情報に切り替えて表示する。
3)定期的に広告情報に切り替えて表示する。
等、映像に広告情報を挿入して表示するようにしてもよい。
【００６９】
なお以上全ての第１〜第５の実施形態において、表示情報は必ずしも広告情報でなくてもよく、データ容量が大きかったり、途中で入れたほうが良かったりする等の理由により、カメラサーバ装置に置くべきでない情報、あるいは置くことのできない情報であって、途中で重畳すべき情報であれば、どんな情報であっても構わない。
【００７０】
以上の実施形態によれば、配送途中の経路に変換サーバ装置を用いることで、必要な端末にのみ広告情報のような付加情報を重畳したり特定のタイミングで異なる付加情報を含めた映像を配信することができる。また、広告サーバ装置との連携により、この付加情報は、時刻、カメラ制御値（PTZ値）によって異なる情報切替えて重畳・切替表示できる。また付加情報には、静止画だけでなく動画、テキストなどを使用することが可能である。
【００７１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００７２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００７４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７６】
【発明の効果】
本発明によれば、撮影装置のコストアップを回避するとともに、必要な端末装置にのみ映像情報とともに広告等の情報を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態における情報配信システムの物理的な構成を示した概要図である。
【図２】カメラサーバ装置の構成を示したブロック図である。
【図３】ユーザインタフェース画面の一例を示した図である。
【図４】携帯表示端末の一例を示した図である。
【図５】カメラ制御権要求及びカメラ制御コマンドを示したデータフォーマットを示した図である。
【図６】データの流れに着目した情報配信システムの論理的な構成を示した図である。
【図７】変換サーバ装置の映像変換部の動作を示したフローチャートである。
【図８】広告サーバ装置のデータベース構成を示した図である。
【図９】カメラ制御権取得からカメラ制御コマンド発行の流れを示した図である。
【図１０】制御コマンド発行から応答音受信までの流れを示した図である。
【図１１】キーボタンとカメラ制御コマンド、カメラサーバ装置からの応答と携帯表示端末で再生する応答音声の対応表を示した図である。
【図１２】カメラサーバ装置の動作を示したフローチャートである。
【図１３】制御権管理・音変換部における制御権要求時の流れの概略を示した図である。
【図１４】カメラ切り替え制御の流れを示した図である。
【図１５】カメラ番号−カメラ名−カメラアドレス対応表を示した図である。
【図１６】広告情報テーブルの構成を示した図である。
【図１７】本発明の他の実施形態における情報配信システムの構成を示した図である。
【図１８】本発明の他の実施形態における変換サーバ装置の動作を示したフローチャートである。
【図１９】カメラサーバ装置による制御コマンドに応じた応答動作の流れを示した図である。
【図２０】カメラサーバ装置の制御権管理フローを示した図である。
【図２１】カメラ制御コマンドのデータフォーマットを示した図である。
【図２２】配送サーバ装置と変換サーバ装置間でやりとりされる音声データのフォーマットを示した図である。
【図２３】配送サーバ装置と変換サーバ装置間でやりとりされる音声データのフォーマットを示した図である。
【図２４】カメラサーバ装置による接続の切断動作を示したフローチャートである。
【符号の説明】
１−１ カメラサーバ装置
１−２ 表示操作端末
１−３ ネットワーク１
１−４ 変換サーバ装置
１−５ 広告サーバ装置
１−６ ネットワーク２
１−７ 配送サーバ装置
１−８ ネットワーク３
１−９ 携帯表示端末[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for distributing video captured by a camera server device to another device while avoiding an increase in the cost of the camera server device.
[0002]
[Prior art]
Japanese Patent Application Laid-Open No. 10-040185 discloses a camera that provides a function of allowing an image of a camera disposed at a remote place to be viewed via a network such as the Internet. Hereinafter, a camera having such a network function is referred to as a camera server device. In this conventional example, not only can a large number of people simultaneously view images from the camera server device, but also the pan / tilt angle and zoom magnification of the camera can be controlled remotely.
[0003]
In such a camera server system that also allows camera control, in order to allow a large number of people to control one camera, it is necessary to mediate the right to control only one camera physically. . This is disclosed in Japanese Patent Application Laid-Open No. 10-042278. By introducing the concept of control right, the camera can be controlled only while the user has control right. On the other hand, Japanese Patent Application Laid-Open No. 11-196404 discloses a technique for superimposing information on video from such a camera server device.
[0004]
[Problems to be solved by the invention]
In recent years, with the advancement of mobile phone and mobile terminal technologies, there is a possibility that camera images can be viewed and operated from such devices. However, if the video from such a camera server device is to be shown not only on a conventional terminal but also on a mobile phone, a mobile terminal, etc., the video delivery method and the video format are different. It is necessary to have both interfaces, and there is a problem that the cost of the camera server apparatus increases. This also applies to camera control, and it is necessary to provide a dedicated interface for camera control from the portable terminal on the camera server device side, which complicates and increases the cost of the camera server device.
[0005]
On the other hand, it has not been possible to flexibly superimpose an advertisement on a video from a camera server device that does not have a function of superimposing an advertisement on the video. Also, if the information to be superimposed is very large, holding the superimposed information in the camera server device is a function different from the original purpose of video distribution, which is not practical from the viewpoint of cost. Furthermore, in the prior art, for example, it is not possible to superimpose advertisement information on a mobile phone and not superimpose advertisement information on a conventional terminal.
[0006]
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to avoid an increase in the cost of a photographing apparatus and to provide information such as advertisements together with video information only to necessary terminal apparatuses.
[0009]
[Means for Solving the Problems]
The video processing apparatus according to the present invention includes video information receiving means for receiving video information in a first compression format for delivery from the photographing apparatus to the first terminal device, and first information received by the video information receiving means. Decompression means for decompressing compressed video information, and video information decompressed by the decompression means corresponding to control information of the photographing apparatus including at least one of time zone and pan, tilt, and zoom values A database having information on the position at which different information is superimposed on the video information and information on the size of information different from the video information, and information on the position and size corresponding to the current time and the control information of the photographing apparatus are stored in the database. Based on the acquired information on the position and size, the video information expanded by the expansion unit is different from the video information. Video processing means for superimposing information, compression means for compressing video information processed by the video processing means in a second compression format different from the first compression format, and video information compressed by the compression means Distribution means for distributing the information to a second terminal device of a different type from the first terminal device.
The video processing method of the video processing apparatus of the present invention is received by the video information receiving step for receiving video information in the first compression format for distribution from the photographing device to the first terminal device, and the video information receiving step. A decompression step of decompressing the video information of the first compression format, and decompressed by the decompression means corresponding to the control information of the photographing apparatus including at least one of time zone and pan, tilt and zoom values. Information on the position and size corresponding to the current time and the control information of the photographing apparatus is obtained from a database having information on the position where information different from the video information is superimposed on the video information and the size of information different from the video information. And acquiring the video information in the video information expanded by the expansion step based on the acquired information on the position and size. A video processing step for superimposing information different from the video processing step, a compression step for compressing the video information processed by the video processing step in a second compression format different from the first compression format, and a compression step performed by the compression step. A distribution step of distributing the received video information to a second terminal device of a type different from that of the first terminal device.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0016]
<First Embodiment>
In the present embodiment, video captured by a remotely controllable camera server device is superimposed on the video by a conversion server device in the middle of delivery, and the video is delivered to the mobile display terminal. Further, the mobile display terminal The camera can be controlled from the camera.
[0017]
FIG. 1 is a schematic diagram of a physical configuration of the present embodiment. First, an outline of the configuration will be described with reference to FIG. First, together with the camera server device 1-1, the display operation terminal 1-2, and the network 1-3, the conversion server device 1-4, the advertisement server device 1-5, the network 1-6, the delivery server device 1-7, the network 1 -8, the mobile display terminal 1-9 constitutes a camera server system.
[0018]
In the part that constitutes the camera server system, the real-time video imaged by the camera server apparatus 1-1 is connected via the network 1-3 by specifying the address of the camera server apparatus 1-1 from the operation display terminal 1-2. As well as acquiring camera control rights as necessary to perform camera control. A plurality of display operation terminals 1-2 and camera server apparatuses 1-1 may exist as long as they can be identified from each other on the network.
[0019]
FIG. 2 is a block diagram of the camera server device 1-1. The image captured by the image capturing means 2-1, that is, the camera, is captured as digital data by the image capturing / compressing means 2-2, and a motion JPEG format compressed image is generated. Then, the video communication means 2-5 delivers the video to the display operation terminal that requested the connection. If there are connection requests from a plurality of display operation terminals, video delivery is simultaneously performed to the plurality of display operation terminals. In addition, the display operation terminal that has acquired the right to control the camera (control right) can issue a camera control command to the camera control means 2-3 to control the camera such as pan / tilt / zoom. . The camera control communication means 2-6 performs generation / interpretation of these camera control commands and response control. The communication control means 2-7 controls communication between the video communication means 2-5 and the camera control communication means 2-6 and the outside.
[0020]
In the present embodiment, the display operation terminal 1-2 is assumed to be configured by a device such as a personal computer capable of performing a graphical screen operation. When an address of the camera server device 1-1 is designated from the display operation terminal 1-2 and connected to the camera server device, a user interface screen as shown in FIG. 3 is displayed. In FIG. 3, reference numeral 3-1 denotes a video display unit, which expands and displays a video acquired from the camera server device 1-1. When controlling the camera, press the 3-5 button to acquire the control right, then scroll bar 3-2 for camera pan, scroll bar 3-3 for camera tilt, and camera zoom The camera is controlled by operating the scroll bar 3-4. Note that the control right for camera operation can be acquired by only one client at the same time. A camera control command is issued in response to such an operation. The camera control command used here and the response from the camera server device are shown in FIG. The command will be described in detail later.
[0021]
The conversion server device 1-4 converts the compressed motion JPEG format video acquired from the camera server device 1-1 into a compressed video format (in this embodiment, MPEG4) that can be displayed on the mobile display terminal 1-9. At the same time, the information acquired from the advertisement server device 1-5 is superimposed on the video as necessary and is sent to the delivery server device 1-7 through the network 1-6.
[0022]
Further, the delivery server device 1-7 delivers the video to a plurality of connected mobile display terminals 1-9, and each mobile display terminal 1-9 decodes and displays the received MPEG4 video. The portable display terminal 1-9 is assumed to be capable of receiving and displaying a digital video of, for example, about 64 kbps at high speed. FIG. 4 shows an example of a portable display terminal. 4-1 is a video / information display section, and 4-2 is a key button section.
[0023]
In the present embodiment, the conversion server device 1-4 converts motion JPEG video into MPEG4 video. Accordingly, the video format used in the system is Motion JPEG in the system from the camera server device 1-1 to the conversion server device 1-4 to the display operation terminal 1-2, and from the conversion server device 1-4 to the
[0024]
However, in the present embodiment, it is not particular about the video compression format, the conversion server device 1-4 can convert the compressed video format received from the camera server device into a compressed video format that can be displayed on the mobile terminal 1-9. Any system that satisfies this condition may be used. Further, even if the format is not necessarily converted, if the video can be correctly displayed and displayed, it is only necessary to superimpose information. In addition, an uncompressed image may be used as long as it does not need to be compressed in view of processing and network load.
[0025]
For camera control, request and acquire control rights from the mobile terminal 1-9 to the camera server device 1-1, issue a control command, and pass through the delivery server device 1-7 and the conversion server device 1-4. Thus, the control command is passed to the camera server device 1-1. In the system from the portable terminal 1-9 to the delivery server device 1-7 and the conversion server device 1-4, this embodiment will be described assuming that a control signal and its response are sent using a bidirectional audio channel for telephone calls. . This point will be described in detail later.
[0026]
Note that the conversion server device 1-4 looks the same as the display operation terminal except for a part when viewed from the camera server device 1-1. It is assumed that each device described in the present embodiment is assigned an IP address (hereinafter referred to as an address) as an identification address that can be uniquely specified on the network except for the portable display terminal 1-9. However, it is assumed that the mobile display terminals 1-9 on the network can be identified using a mechanism unique to the mobile phone, that is, a telephone number. However, any identification mechanism may be used as long as the devices and terminals can be identified and can communicate with each other.
[0027]
Network 1-3 has sufficient bandwidth to pass camera control commands and video between multiple operation display terminals 1-2, conversion server device 1-4, and camera server device 1-1 on the network. Any digital network such as the Internet or an intranet may be used. In this embodiment, the video flowing through the network 1-4 is a packet of Motion JPEG, and the camera control command and its response are also packetized for each command.
[0028]
The network 1-6 may be any digital network such as the Internet or an intranet with sufficient bandwidth to pass video and camera control commands and responses between the conversion server device 1-4 and the delivery server device 1-7. . In this embodiment, the video flowing through the network 1-6 is a packetized MPEG4 video, and the camera control command and response are bidirectional digital audio data obtained by digitizing and packetizing audio data as will be described later.
[0029]
In this embodiment, the network 1-8 is wireless on the mobile display terminal 1-9 side that has sufficient bandwidth to pass video and camera control commands from the delivery server device 1-7 to the mobile display terminal 1-9. However, logically, if the necessary and sufficient bandwidth is secured for communication between the delivery server device 1-7 and the mobile terminal 1-9, the physical configuration I am not particular about it. In this embodiment, the video flowing through the network 1-8 is a packetized MPEG4 video, and the camera control command and response are bidirectional audio for calls on the networks 1-6 and 1-8 as will be described later. Flows as channel sound. Further, the conversion server device 1-4 and the advertisement server device 1-5 may be anything connected as long as they are connected by a network having a sufficient bandwidth for flowing advertisement information.
[0030]
FIG. 6 shows a logical configuration focusing on the data flow. For the camera server device 6-1 (1-1), the display operation terminal 6-2 (same as 1-2) is a client for the camera server device 6-1. The camera server device 6-1 includes a camera operation unit 6-21 and a display unit 6-22. In the operation screen of FIG. 3, the camera operation unit 6-21 corresponds to 3-2 to 3-5, and the display unit 6-22 corresponds to 3-1. Each exchanges data with the camera control communication means and video communication means of the camera server device 6-1 to display the video on 3-1, and to perform camera control using 3-2 to 3-5 Yes. As described above, a plurality of display operation terminals 6-2 can be simultaneously connected to one camera server device 6-1.
[0031]
The conversion server device 6-3 (1-4) includes a video conversion unit 6-32 that performs stream conversion to convert a video compression format and superimposes advertisement information acquired from the advertisement management unit 6-51 on the video. The control right management / sound conversion unit 6-31 converts control right management described later and specific digital audio data into a camera control command. When the conversion server device 6-3 is activated, it connects to the delivery server device 6-4, the advertisement server device 6-5, and the camera server device 6-1 by specifying addresses. The address of each connection destination is stored in the connection management unit 6-33, and the connection is made using this. Note that there may be a plurality of delivery server devices 6-4, advertisement server devices 6-5, and camera server devices 6-1 on the network as connection destination devices. In that case, you only need to specify one device from each device.
[0032]
The delivery server device 6-4 (1-7) includes an audio delivery unit 6-41 and a video delivery unit 6-42, and is connected to the conversion server device 6-3 on a one-to-one basis. Connect to multiple devices at the same time with 6 to exchange data. The voice delivery unit 6-41 passes the digital voice data from the portable display terminals 6-6 to 8 to the control right management / sound conversion unit 6-31 of the conversion server device 6-3, and also controls the right control / sound conversion unit. The response (digital audio data) of the camera server device 6-1 returned from 6-31 is delivered to the necessary portable display terminal 6-6. The video delivery unit 6-42 simultaneously delivers the MPEG4 video stream delivered from the conversion server device 6-31 to a plurality of portable display terminals 6-6 to 8 connected to the delivery server device 6-4.
[0033]
The portable display terminals 6-6 to 8 (1-9) include operation control units 6-61 to 81 and display control units 6-62 to 82, and the operation control units 6-61 to 81 are
[0034]
First, paying attention to the flow of video, the operation of FIG. 6 will be described in more detail. The camera server device 6-1 is the Motion JPEG captured by the imaging unit 2-1 for all clients connected to the camera server device 6-1, that is, the display operation terminal 6-2 and the conversion server device 6-3. Deliver compressed video. In addition, although the display operation terminal 6-2 and the conversion server device 6-3 are described as one in FIG. 6, there may naturally be a plurality of them.
[0035]
FIG. 7 shows a flow of the video conversion unit 6-32 of the conversion server device 6-3. The video converter 6-32 once decompresses the received Motion JPEG compressed image one frame at a time (S7003), and if advertisement superimposition is necessary, it performs advertisement superimposition processing on the video (S7005) and compresses the video to MPEG4 again. (S7004), and transmits it to the delivery server device 6-4 (S7007). At this time, in the advertisement superimposition processing S7005, the PTZ values (pan angle, tilt angle, zoom magnification) held in the control right management / sound conversion unit are passed to the advertisement server device 6-5, and the advertisement database 6- The necessary advertisement information corresponding to the PTZ value is acquired from 52, and is superimposed on the video using the advertisement information. In the delivery server device 6-4, the received MPEG4 video stream is delivered simultaneously to a plurality of portable display terminals (6-6, 6-7, 6-8 in FIG. 6) connected to the delivery server device 6-4. . In addition, since there may be nothing in the advertisement information obtained from FIG. 8 described later depending on the time zone and the PTZ value of the camera, in that case, the advertisement is not superimposed. That is, the advertisement superimposition is turned off in S7004.
[0036]
The advertisement information is a combination of an advertisement file and a superimposed position. The advertisement server device 6-5 has a database. When an inquiry is given by giving the current time and the PTZ value of the camera, the advertisement file and the superimposed position can be obtained. In the database, the table format shown in FIG. 8 is searched from the smallest entry number, and the advertisement file and the superimposed position information of the first entry that falls within the corresponding time and PTZ range are acquired. * Means no range is specified (always applies). In addition, as an obtained advertisement file,
・ Telop character string
·Still image
・ Video clip
Etc.
[0037]
The still image and the moving image clip have α plane information, and can be superimposed so that a part of the background video can be seen through if necessary. In the case of a moving image, each frame is superimposed in time synchronization. In the present embodiment, the advertisement information is used. However, the information is not particular to the advertisement information, and any information desired to be added to the video on the way may be used. For example, the control status information of the camera server device obtained from the connection destination camera server device such as the control privilege waiting number, the control privilege wait time, the pan / tilt / zoom value may be superimposed. In the advertisement superimposition process S7005, the superimposition position (up / down / left / right center, etc.) and the advertisement information display size (large / medium / small) are determined based on the superimposition position information.
[0038]
In addition, when the mobile display terminals 6-6 to 6-8 call the telephone number as a network interface on the mobile display terminals 6-6 to 6-8 side of the delivery server device 6-4, Since the connection is established and the video flows from the delivery server device 6-4, the video is expanded and displayed by the display control units 6-62 to 6-82. Even when connecting from a plurality of portable display terminals 6-6 to 6-8, it is assumed that the same telephone number can be connected simultaneously. It is assumed that the delivery server device 6-4 has a capability of allowing video and bidirectional audio described later to flow to the plurality of portable display terminals 6-6 to 6-8. It should be noted that here, even if the connection is not a phone number, the URL (Uniform Resource) in the IP address designation method for the Internet connection such as the i-mode (R) service, which is a service of NTT DoCoMo, or the WWW destination designation method (Locator) specification may be used.
[0039]
Next, the operation of FIG. 6 will be described in detail with a focus on the control flow. FIG. 9 shows a flow of camera control command issuance from acquisition of the camera control right. The mobile display terminals 6-6 to 6-8, the conversion server apparatus 6-3, and the display operation terminal 6-2 all issue a control right acquisition request to the camera server apparatus during camera control (S9002). ) After acquiring the control right (S9003 / yes), until the control right is lost, the control command transmission to the camera server operation and the response transmission / reception are repeated (S9006, S9007). Thus, the flow of the part related to camera control is basically the same. However, it is different in that a plurality of connected portable display terminals can use a bidirectional audio data channel.
[0040]
The camera control right request and the camera control command are shown in FIG. FIG. 5 shows a control right request, pan angle, tilt angle, zoom change, and the response. However, in the case of the portable display terminal 6-6, these commands are not issued directly, but the voice data corresponding to the control command is issued using the various key buttons of the operation unit 4-2 in FIG. The conversion server device 6-3 converts the camera control command as shown in FIG. 5 to perform camera control. The same applies to the control right request.
[0041]
FIG. 10 shows the flow of control commands. When various key buttons corresponding to the control operation of the operation unit 4-2 of the portable display terminal are pressed, a tone signal sound (control command sound) is generated. The operation control unit 6-61 encodes this with GSM AMR or the like, converts it into digital audio data, and passes it to the audio delivery unit 6-41 of the delivery server device 6-4. The voice delivery unit 6-41 passes the voice data directly to the control right management / sound conversion unit 6-31 of the conversion server device 6-3.
[0042]
The control right management / sound conversion unit 6-31 acquires this audio data, converts it into a corresponding camera control command, and issues it to the camera server device 6-1 to perform camera control. The response to camera control is reversed. FIG. 11A shows a correspondence table between key buttons and camera control commands. A control command sound is generated by a key button combination operation. Pan, tilt and zoom values are keyed in. FIG. 19 is a diagram illustrating a flow of a response operation according to a control command by the camera server device. When the camera server device determines that the target device has the control right (S10102), it accepts the control command (S10103) and transmits response information (S10104). On the other hand, when a control command is received from a device without the control right, an NG response is transmitted (S10105).
[0043]
FIG. 11B shows a correspondence table between responses from the camera server device 6-1 and response voices reproduced by the portable display terminals 6-6 to 6-8. When a response comes, it generates a voice that reads out the words in the correspondence table. In FIG. 11B, θ, Φ, and z are numbers indicating the pan / tilt angle and the zoom magnification.
[0044]
Give an example of camera control. When the control right has been acquired, if the key button is pressed continuously four, four, two, and zero, the camera control command as shown in FIG. Is generated and passed to the camera server device 6-1. (-20 means pan 20 units left from the current position. +20 is a command to pan 20 units right.)
[0045]
In the camera control command and response of FIG. 5, the first and second items, the source address and destination address, indicate the address of the command, response source device and destination device, respectively, and the third item. Is a command or response type identification string. For pan, tilt angle change, and zoom magnification change, the change angle is specified as a relative value. The numerical value + indicates right pan, up tilt, and zoom enlargement, respectively, and-is the opposite. The numerical value itself has a minimum control amount as one unit. In the camera control response, the pan, tilt angle, and zoom magnification as a result of the control are returned numerically.
[0046]
Each response is returned only to the mobile display terminal that issued the control command sound, but only the camera control response is returned to all connected mobile display terminals to notify the camera pan / tilt / zoom status by voice. It is supposed to be. FIG. 22 shows a data format of voice exchanged between the delivery server device 6-4 and the conversion server device 6-3.
[0047]
Although it may be divided into small packets at the time of actual transmission, data in the above format is exchanged bidirectionally. When passing voice data from the delivery server device 6-4 to the conversion server device 6-3, it is composed of digital voice data corresponding to the control command sound and the mobile display terminal identifier (telephone number) of the control command sound issuing source. When voice data is transferred from the conversion server device 6-3 to the delivery server device 6-4, it is composed of digitized read-out voice and a portable display terminal identifier (telephone number) to which the voice is transmitted. In the case of returning audio data to all connected mobile display terminals 6-6 to 6-8 as in camera control responses, all mobile display terminal identifiers (phone numbers) are shown as shown in FIG. Uniquely indicate that the audio data is not to be passed to a specific portable display terminal, such as 0.
[0048]
Here, control right management will be described. A control right management flow of the camera server device 6-1 is shown in FIG. Basically, when waiting for the control right, it is arranged in a queue, and when the turn comes, it is taken out from the queue (S12103), and the control right can be acquired (S12104 to S12106). When the control time has expired and a timeout has occurred and the connection is lost, the control right termination process of S12201 is performed. That is, the control right is canceled for the transmission source A of the control right request (S12202), and response information indicating timeout is transmitted. If there is another control wait at that time (S12204 / yes), the control right is given to the device corresponding to the control wait, and if there is no control wait, the control state of the camera server device is cleared (S12206). . Further, when the connection with the camera server apparatus is disconnected, as shown in FIG. 24, the camera server apparatus confirms that the control by the transmission source A is completed (S12302 / no), and then deletes the queue ( S12303).
[0049]
Also, as shown in FIG. 12, when the camera server device 6-1 accepts the control right request and is in a state of holding those control rights (12002), the acceptance of the control right determines the maximum queue length Nmax. It is determined whether or not it has been exceeded (S12003). If the maximum length Nmax is exceeded in this determination, it is impossible to wait (S12008). Note that the control right has a privilege level, and the handling of the control right varies depending on the privilege level even if others are controlling. The greater the number, the greater the privilege. The display operation terminal 6-2 can acquire the control right only at the
[0050]
FIG. 13 shows an outline of the flow when a control right is requested in the control right management / sound conversion unit 6-31. The conversion server device 6-3 has a queue of identifiers (phone numbers) of portable display terminals, and when there is a control right request from the portable display terminal (S13001), the identification telephone number is registered in the queue (S13003). ). When the control right OK response is returned from the camera server device 6-1 (S13006), the identification telephone number is extracted from the head of the queue (S13007), and the corresponding voice is returned to the corresponding portable display terminal ( S13008).
[0051]
In addition, about the function implement | achieved by the conversion server apparatus, the delivery server apparatus, and the advertisement server apparatus, if each function is realizable, it will not be particular about a physical apparatus structure, for example, it is implement | achieved all on the same apparatus. It doesn't matter.
[0052]
According to the present embodiment, by using the conversion server device in the route in the middle of delivery, it is possible to distribute different videos in which additional information such as advertisement information is superimposed only on necessary terminals. In addition, in cooperation with the advertisement server device, this additional information can be superposed by switching different information depending on the time and the camera control value (PTZ value). Further, as the additional information, not only a still image but also a moving image and text can be used.
[0053]
Furthermore, in the present embodiment, for a control device such as a camera server device that cannot directly accept control from a key button such as a mobile phone, the conversion server device converts the sound data of the key button into a control command. As a result, camera control control right acquisition and camera control operations can be performed with key buttons. In addition, since the response from the camera server device is converted into voice, it is possible to confirm the control content by voice. The pan / tilt / zoom status of the camera can also be confirmed by voice.
[0054]
<Second Embodiment>
In the first embodiment, the connection destination camera is determined at the time of activation in the delivery server device and the conversion server device. In the second embodiment, the camera server device to which the conversion server device is connected is switched from the outside. A method for switching from a portable display terminal will be described.
[0055]
Basically the same as in the first embodiment, but the operation of the conversion server device is slightly different, so only the differences from the first embodiment will be described. FIG. 14 viewed from the portable display terminal shows the flow of camera switching control. A camera switching command is issued at the portable display terminal connected to the delivery server device. The camera switching command is specified by a combination of key buttons. Here, “#” is pressed (S14002). Then, the digital voice is transmitted to the control right management / sound conversion unit 6-31 of the conversion server device, similarly to the control right request and camera control command of the first embodiment.
[0056]
When the control right management / sound conversion unit 6-31 interprets this as a camera server device switching command, it makes a voice response and inquires about the password (S14003). Here, the portable display terminal inputs a password. If the password is correct (S14004), a voice response is returned (S14005), and a switching camera number is input (S14006). The control right management / sound conversion unit 6-31 has a camera number-camera name (with audio data) -camera address correspondence table as shown in FIG. 15, and using this information, response voice and camera server device address Get.
[0057]
When the camera number is input (S14006), the control right management / sound conversion unit 6-31 converts it to the corresponding camera server device address (for example, 100.20.30.102) using FIG. The connection with the camera server device is temporarily terminated, and a new connection is made to the camera server device having an address of 100.20.30.102. Thereby, it becomes possible to switch a camera server apparatus from a portable display terminal.
[0058]
Note that switching the camera server device can also be realized by preparing another connection port in the conversion server device, changing the connected camera server device address, and reconnecting to a different camera server device.
[0059]
<Third Embodiment>
In the third embodiment, when the camera server device is switched as in the second embodiment, the advertisement is switched by the connected camera server device.
[0060]
This is basically the same as in the first embodiment except that the connection destination camera of the conversion server device can be switched from the outside and the advertisement information table of the advertisement server device is different. The camera switching method can be realized by the method described in the second embodiment. At this time, if the database of the advertisement server device has an advertisement information table as shown in FIG. 16 instead of FIG. 8, the current time and the PTZ of the camera are used as data to be passed from the conversion server device to the advertisement database 6-52. In addition to the value, the camera server device address being connected is passed, and the advertisement information, that is, the superimposed position and the advertisement file data of the entry that first matches the camera server device dress in the table of FIG. 16 is brought to the conversion server device. Thereby, advertisement information to be displayed can be switched according to the camera server device to be connected.
[0061]
<Fourth Embodiment>
In the fourth embodiment, in the configuration of the first embodiment, when a connection route from the portable information terminal to the camera server device is considered, a plurality of combinations of a delivery server device, a conversion server device, and an advertisement server device are selected. It is something that can be done.
[0062]
FIG. 17 shows the configuration of the fourth embodiment. Each device and terminal are present on a plurality of networks, and can be uniquely identified from each other as in the first embodiment. Since the basic operation of each apparatus is the same as that of the first embodiment, only differences as a system will be described here.
[0063]
The mobile display terminal 17-9 is connected by calling the telephone number of the delivery server device, and performs video display and camera control. A different connection phone number is assigned to each of the plurality of delivery server devices 17-7. . Therefore, if connected to a different delivery server device 17-7, it connects to a different conversion server device 17-4 and a different advertisement server device 17-5. For example, in FIG. 17, when connecting to the delivery server device 17-71, a conversion server device 17-41 and an advertisement server device 17-51 are used, and when connecting to the delivery server device 17-72, 17-42 Conversion server device and 17-52 advertisement server device. If the conversion server devices 17-51 and 17-52 are connected to the same camera server device, the visible images are the same, and the camera control is also the same.
[0064]
However, if the contents of the advertisement information table shown in FIG. 8 of the advertisement server device are different, the information to be superimposed can be made different even when connected to the same camera.
[0065]
Thus, for example, when there are too many advertisements for posting on the camera server device, the content of the advertisement can be switched even with the same camera server device video by adopting such a configuration.
[0066]
<Fifth Embodiment>
In the first embodiment, the information is not superimposed on the video but displayed in a switched manner with the video in the first embodiment. Differences from the first embodiment will be described.
[0067]
In the conversion server device 6-32, instead of using S7004 and S7005 in FIG. 7 as advertisement superposition, the camera video is temporarily interrupted and the video, image, text, or camera server device searched for the video from the advertisement database is used. What is necessary is just to switch to the acquired control state information. As the timing for switching to such advertisement information, video often flows during camera control and is difficult to see. Therefore, it is only necessary to switch to advertisement information while the camera server device is controlled by the control information. Therefore, a flow as shown in FIG. 18 is newly added. That is, the camera server device starts the PTZ control and returns the state where the PTZ operation is not stopped, that is, the camera operation state to the conversion server device (S18002). The camera operating state should be included in each frame header of Motion JPEG video. Then, the camera operating state is detected in the flow shown in FIG. 18 (S18003), and an advertisement may be inserted during the camera operation (S18004).
[0068]
In the fifth embodiment, the advertisement information is switched and displayed during the camera operation.
1) While waiting for camera control, switch to advertisement information and display.
2) While the conversion server device is connected to the camera server device and video data arrives at the conversion server device, it is switched to the advertisement information and displayed.
3) Switch to advertisement information periodically and display.
For example, advertisement information may be inserted and displayed in the video.
[0069]
In all the first to fifth embodiments described above, the display information does not necessarily have to be advertisement information, and is placed in the camera server device for reasons such as a large data capacity or better insertion in the middle. Any information may be used as long as it is information that should not be or cannot be placed and should be superimposed on the way.
[0070]
According to the above embodiment, by using the conversion server device in the route in the middle of delivery, video including additional information such as advertisement information is superimposed only on necessary terminals or different additional information is distributed at a specific timing. can do. In addition, in cooperation with the advertisement server device, this additional information can be superimposed and switched by switching different information depending on the time and the camera control value (PTZ value). Further, as the additional information, not only a still image but also a moving image, text, and the like can be used.
[0071]
Another object of the present invention is to supply a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the storage medium. Needless to say, this can also be achieved by reading and executing the program code stored in.
[0072]
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
[0073]
As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0074]
Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0075]
Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion board or function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
[0076]
【The invention's effect】
According to the present invention, it is possible to avoid an increase in the cost of a photographing apparatus and to provide information such as advertisements together with video information only to necessary terminal devices.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a physical configuration of an information distribution system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a camera server device.
FIG. 3 is a diagram showing an example of a user interface screen.
FIG. 4 is a diagram showing an example of a portable display terminal.
FIG. 5 is a diagram showing a data format indicating a camera control right request and a camera control command.
FIG. 6 is a diagram showing a logical configuration of an information distribution system focusing on data flow.
FIG. 7 is a flowchart showing an operation of a video conversion unit of the conversion server device.
FIG. 8 is a diagram showing a database configuration of an advertisement server device.
FIG. 9 is a diagram showing a flow from camera control right acquisition to camera control command issuance.
FIG. 10 is a diagram showing a flow from issuing a control command to receiving a response sound.
FIG. 11 is a diagram showing a correspondence table of key buttons, camera control commands, responses from the camera server device, and response sounds reproduced on the portable display terminal.
FIG. 12 is a flowchart showing the operation of the camera server device.
FIG. 13 is a diagram showing an outline of a flow when a control right is requested in a control right management / sound conversion unit;
FIG. 14 is a diagram illustrating a flow of camera switching control.
FIG. 15 is a table showing a camera number-camera name-camera address correspondence table;
FIG. 16 is a diagram showing a configuration of an advertisement information table.
FIG. 17 is a diagram showing a configuration of an information distribution system according to another embodiment of the present invention.
FIG. 18 is a flowchart showing the operation of the conversion server device in another embodiment of the present invention.
FIG. 19 is a diagram showing a flow of a response operation according to a control command by the camera server device.
FIG. 20 is a diagram showing a control right management flow of the camera server device.
FIG. 21 is a diagram showing a data format of a camera control command.
FIG. 22 is a diagram showing a format of audio data exchanged between the delivery server device and the conversion server device.
FIG. 23 is a diagram showing a format of audio data exchanged between the delivery server device and the conversion server device.
FIG. 24 is a flowchart showing a connection disconnection operation by the camera server device.
[Explanation of symbols]
1-1 Camera server device
1-2 Display operation terminal
1-3
1-4 Conversion server device
1-5 Advertising server device
1-6
1-7 Delivery server device
1-8
1-9 Mobile display terminal
Claims (5)
前記映像情報受信手段によって受信された第１の圧縮形式の映像情報を伸張する伸張手段と、
時間帯並びにパン、チルト及びズームの値のうち少なくとも１つを含む前記撮影装置の制御情報に対応した、前記伸張手段によって伸張された映像情報とは異なる情報を該映像情報に重畳させる位置及び該映像情報とは異なる情報のサイズに関する情報を有するデータベースと、
現在の時刻及び前記撮影装置の制御情報に対応する、位置及びサイズに関する情報を前記データベースから取得し、取得した前記位置及びサイズに関する情報に基づいて、前記伸張手段によって伸張された映像情報に該映像情報とは異なる情報を重畳する映像加工手段と、
前記映像加工手段によって加工された映像情報を前記第１の圧縮形式とは異なる第２の圧縮形式で圧縮する圧縮手段と、
前記圧縮手段によって圧縮された映像情報を前記第１の端末装置とは異なる種類の第２の端末装置に配信する配信手段と、を有することを特徴とする映像処理装置。Video information receiving means for receiving video information in a first compression format for distribution from the imaging device to the first terminal device;
Decompression means for decompressing video information in the first compression format received by the video information reception means;
A position at which information different from the video information expanded by the expansion means corresponding to the control information of the imaging apparatus including at least one of a time zone and pan, tilt, and zoom values is superimposed on the video information; and A database having information about the size of information different from the video information;
Information on the position and size corresponding to the current time and the control information of the photographing apparatus is acquired from the database, and the video information is expanded into the video information expanded by the expansion unit based on the acquired information on the position and size. Video processing means for superimposing information different from information;
Compression means for compressing the video information processed by the video processing means in a second compression format different from the first compression format;
A video processing apparatus comprising: distribution means for distributing the video information compressed by the compression means to a second terminal device of a type different from the first terminal device.
前記映像情報受信ステップによって受信された第１の圧縮形式の映像情報を伸張する伸張ステップと、
時間帯並びにパン、チルト及びズームの値のうち少なくとも１つを含む前記撮影装置の制御情報に対応した、前記伸張手段によって伸張された映像情報とは異なる情報を該映像情報に重畳させる位置及び該映像情報とは異なる情報のサイズに関する情報を有するデータベースから、現在の時刻及び前記撮影装置の制御情報に対応する位置及びサイズに関する情報を取得し、取得した前記位置及びサイズに関する情報に基づいて、前記伸張ステップによって伸張された映像情報に該映像情報とは異なる情報を重畳する映像加工ステップと、
前記映像加工ステップによって加工された映像情報を前記第１の圧縮形式とは異なる第２の圧縮形式で圧縮する圧縮ステップと、
前記圧縮ステップによって圧縮された映像情報を前記第１の端末装置とは異なる種類の第２の端末装置に配信する配信ステップと、を有することを特徴とする映像処理装置の映像処理方法。A video information receiving step for receiving video information in a first compression format for distribution from the imaging device to the first terminal device;
A decompressing step of decompressing the video information in the first compression format received by the video information receiving step;
A position corresponding to control information of the photographing apparatus including at least one of a time zone and pan, tilt, and zoom values, and a position for superimposing information different from the video information expanded by the expansion unit on the video information; and From the database having information on the size of information different from the video information, obtain information on the position and size corresponding to the current time and the control information of the imaging device, and based on the obtained information on the position and size, A video processing step of superimposing information different from the video information on the video information expanded by the expansion step;
A compression step of compressing the video information processed by the video processing step in a second compression format different from the first compression format;
A distribution step of distributing the video information compressed in the compression step to a second terminal device of a type different from that of the first terminal device.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002093698A JP4058285B2 (en) | 2002-03-29 | 2002-03-29 | Video processing apparatus, video processing method, program, and computer-readable recording medium |
| US10/402,187 US7425986B2 (en) | 2002-03-29 | 2003-03-27 | Conversion apparatus for image data delivery |
| CNB031214878A CN1251504C (en) | 2002-03-29 | 2003-03-28 | Image data distribution method, image data distribution device and system |
| KR10-2003-0019768A KR20030078794A (en) | 2002-03-29 | 2003-03-29 | Image data delivery |
| US12/145,870 US7595834B2 (en) | 2002-03-29 | 2008-06-25 | Camera system with display for displaying superimposed information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002093698A JP4058285B2 (en) | 2002-03-29 | 2002-03-29 | Video processing apparatus, video processing method, program, and computer-readable recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003299056A JP2003299056A (en) | 2003-10-17 |
| JP4058285B2 true JP4058285B2 (en) | 2008-03-05 |
Family
ID=29386811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002093698A Expired - Fee Related JP4058285B2 (en) | 2002-03-29 | 2002-03-29 | Video processing apparatus, video processing method, program, and computer-readable recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4058285B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4510519B2 (en) * | 2004-05-28 | 2010-07-28 | キヤノン株式会社 | Video communication apparatus, video communication method, and computer program |
| JP4733942B2 (en) * | 2004-08-23 | 2011-07-27 | 株式会社日立国際電気 | Camera system |
| JP4646780B2 (en) * | 2005-10-27 | 2011-03-09 | 三洋電機株式会社 | Camera system |
| JP2007318470A (en) * | 2006-05-26 | 2007-12-06 | Sony Corp | Server apparatus, transmission order determination method, and content distribution system |
-
2002
- 2002-03-29 JP JP2002093698A patent/JP4058285B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003299056A (en) | 2003-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7595834B2 (en) | Camera system with display for displaying superimposed information | |
| US6414707B1 (en) | Apparatus and method for incorporating virtual video conferencing environments | |
| US6646677B2 (en) | Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method | |
| EP1860841B1 (en) | Method and system for replacing media stream in a communication process of a terminal | |
| US7277115B2 (en) | Communication terminal device capable of transmitting visage information | |
| JP2002007294A (en) | Image distribution system and method, and storage medium | |
| JP3659528B2 (en) | Video conference system | |
| US7425979B2 (en) | Communication system | |
| JP6931815B2 (en) | Video conferencing equipment | |
| JP4208476B2 (en) | Information distribution apparatus, information distribution method, program, and computer-readable recording medium | |
| JP4058285B2 (en) | Video processing apparatus, video processing method, program, and computer-readable recording medium | |
| CN101051919B (en) | Communication device | |
| JP5802116B2 (en) | Call system with data sharing function | |
| JPH11196379A (en) | Video server, control method therefor, and storage medium | |
| JP4401672B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2001281759A (en) | Projection system, projection device, and storage medium storing projection program | |
| JP4261934B2 (en) | Video clip generation device, video clip generation method, program, and storage medium | |
| JP2003070042A (en) | Communication system, service provision status management apparatus and method | |
| JPH1198257A (en) | Conference system | |
| CN100534174C (en) | Information distribution device, information distribution system, and information distribution method | |
| JP4510519B2 (en) | Video communication apparatus, video communication method, and computer program | |
| EP2592897A1 (en) | Thin client system, management server, management method, and programme | |
| JP4174060B2 (en) | COMMUNICATION CONTROL SYSTEM, COMMUNICATION CONTROL METHOD, AND PROGRAM | |
| JP2003163906A (en) | Video conference system and video conference method | |
| JP2002150163A (en) | Communication system and communication method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071211 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071217 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131221 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |