JP3545556B2

JP3545556B2 - Imaging system

Info

Publication number: JP3545556B2
Application number: JP32723496A
Authority: JP
Inventors: 充村田; 昌子本
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 1996-12-06
Filing date: 1996-12-06
Publication date: 2004-07-21
Anticipated expiration: 2016-12-06
Also published as: JPH10173975A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、画像データの伝送にタイムラグを生じる状況で、遠隔地にある画像を表示する際に適した撮像システムに関するものである。
【０００２】
【従来の技術】
遠隔地に配置されたビデオカメラで撮像された画像データを、受信して表示装置に表示するとともに、ビデオカメラ等の撮影範囲を受信側で遠隔操作することが可能な画像データ受信装置が種々開発されている。
例えば、受信側で表示されている画面の中から利用者が見たい領域を自由に選択し、この領域を拡大して見られるような装置として、特開平６−１２１２２９号公報に記載された技術が提案されている。
この画像データ受信装置は、表示画面制御部において、映像表示部に表示された映像の中の任意の領域を指定し、指定された領域の映像情報を映像表示部の表示領域に拡大して表示するようにしている。
【０００３】
更に、テレビ電話の分野では、受信側での受信画像の選択や、領域についての設定を操作する技術については、例えば、特開平６−２０５４０７号に開示されている。この技術では、受信側において、送信側のカメラ入力部および書画カメラ入力部の切り換え、あるいは、その首振り機能やズーム機能を制御することができるようになっている。この場合、受信側において相手画像入力操作部からカメラ入力部等を制御する制御情報を入力する。送信側では、この情報を受信すると、受信した制御情報に基づき送信側のカメラ入力部および書画カメラ入力部を制御するようになっている。
【０００４】
【発明が解決しようとする課題】
しかし、圧縮した画像データを携帯電話、衛星電話等の無線通信によって送受信する場合のように、比較的タイムラグが大きい状況では、例えば、遠隔操作で撮像範囲を右にずらす指示をしても、実際に右側の画面が表示されるまでには時間がかかる。そして、撮像範囲をずらした位置に目的とする画像がない場合には、さらに撮像範囲をずらさなければならないが、目的の画像に到達するまで無駄な映像が表示され、また、操作全体に長時間を必要とするという問題があった。
さらに、一度に撮像できる画角以上の移動を一度に行うと、画像の繋がりが判らなくなり、目的とする画像を探せなくなるため、少しずつ撮像範囲をずらす必要があり、通信時間、通信コストを増加させる原因となっていた。
【０００５】
また、上述のように、比較的タイムラグが大きい状況では、例えば、遠隔操作で撮像範囲を右にずらす指示をしても、実際に右側の画面が表示されるまでには時間がかかるため、現在表示されている画像が、これまでの撮像範囲における画像か、あるいは、新たに指定された撮像範囲の画像であるか区別が付きにくいことがある。この問題は、撮像範囲を少ししかずらさないような場合や、これまで設定していた撮像範囲の画像と新たに設定された撮像範囲の画像の変化が少ない場合に特に顕著となる。
この発明は、上述した事情に鑑みてなされたもので、画像データの伝送にタイムラグがある状況においても、表示したい領域を素早く指示することができる撮像システムを提供するところにある。
また、この発明の他の目的は、画像データの伝送にタイムラグがある状況においても、更新前後の画像を明瞭に区別することができる撮像システムを提供するところにある。
【０００６】
【課題を解決するための手段】
上述した目的を達成するために、本発明は、撮像した画像に対応する画像信号を出力するとともに、制御信号に従って撮像範囲を変更することが可能な撮像手段と、前記撮像手段が出力する画像信号に基づいて表示を行う表示手段と、前記撮像手段によって撮像可能な全範囲を複数の領域に分割し、分割された各領域を順次撮像するための前記制御信号を前記撮像手段に出力する分割撮像制御手段と、前記撮像手段が出力する各分割領域の画像信号に基づいて、前記各分割領域の画像を合成して全範囲の画像を作成し、前記表示手段に表示させる合成画像表示制御手段とを有し、前記撮像手段は、撮像した画面についての撮像範囲情報を前記画像信号に付加して出力し、前記合成画像表示制御手段は、前記撮像範囲情報に基づいて前記各分割領域の画像の合成を行うことを特徴とする撮像システムを提供する。
また、本発明は、撮像した画像に対応する画像信号を出力するとともに、制御信号に従って撮像範囲を変更することが可能な撮像手段と、前記撮像手段が出力する画像信号に基づいて表示を行う表示手段と、前記撮像手段によって撮像可能な全範囲を複数の領域に分割し、分割された各領域を順次撮像するための前記制御信号を前記撮像手段に出力する分割撮像制御手段と、前記撮像手段が出力する各分割領域の画像信号に基づいて、前記各分割領域の画像を合成して全範囲の画像を作成し、前記表示手段に表示させる合成画像表示制御手段とを有し、前記撮像手段と前記表示手段とは離間した場所に設けられ、前記分割撮像制御手段は前記撮像手段側に設けられることを特徴とする撮像システムを提供する。
本発明の好ましい態様においては、前記表示手段に表示された前記全範囲の画像に撮像範囲枠を重ねて表示する撮像範囲表示手段と、撮像範囲表示手段が表示している撮像範囲枠に対応する撮像範囲情報を出力する撮像範囲指定手段とを具備し、前記分割撮像制御手段は、前記撮像範囲指定手段から前記撮像範囲情報が供給されると当該撮像範囲情報に対応した制御信号を前記撮像手段に出力し、前記合成画像表示制御手段は、前記撮像範囲指定手段が指定した撮像範囲に該当する画像信号が前記撮像手段から供給されると、当該画像信号に対応する撮像範囲に新たな撮像範囲枠を表示させ、前記表示手段は前記撮像範囲枠もしくは前記撮像範囲枠内の画像の表示態様を、新たな画像を表示する前と後で変化させるようにしても良い。
【０００７】
また、本発明は、撮像した画像に対応する画像信号を出力するとともに、制御信号に従って撮像範囲を変更することが可能な撮像手段と、前記撮像手段が出力する画像信号に基づいて表示を行う画像表示手段と、前記撮像手段の撮像範囲を指定する撮像範囲指定手段と、前記撮像範囲指定手段から撮像範囲を示す撮像範囲情報が供給されると、当該撮像範囲情報に対応した制御信号を前記撮像手段に出力する撮像範囲制御手段と、前記撮像範囲指定手段によって指定された撮像範囲を表示する撮像範囲表示手段とを具備し、前記撮像手段は、前記撮像範囲情報を前記画像信号に付加して出力し、前記撮像範囲表示手段は、前記撮像範囲情報に基づいて表示を行い、前記画像表示手段は、前記撮像範囲指定手段が指定した撮像範囲に該当する画像信号が前記撮像手段から供給されると、当該画像信号に対応する画像を表示することを特徴とする撮像システムを提供する。
本発明の好ましい態様においては、前記撮像範囲表示手段は表示態様を、新たな画像を表示する前と後で変化させるようにしても良い。
また、好ましい態様においては、前記撮像範囲表示手段は、前記表示態様を変化させる手法として撮像範囲を異なる線種または図形で表示するようにしても良い。
また、好ましい態様においては、前記撮像範囲表示手段は、前記表示態様を変化させる手法として画像の明度あるいは色調の少なくともいずれか一方を変化させるようにしても良い。
【０００８】
（実施形態の構成）
図１は、本願発明の一実施形態である撮像システムの構成を示すブロック図である。図に示す１は、撮像した画像を送信する送信ステーションであり、２は送信された画像を受信して表示する受信ステーションである。
送信ステーション１にはビデオカメラ４が設けられ、このビデオカメラ４は制御部５によって撮像位置、撮像範囲が制御されるようになっている。６は画像伝送装置であり、ビデオカメラ４が出力する画像データをビデオインターフェイスを介して受ける。また、画像伝送装置６は制御部５に対し、ＲＳ２３２Ｃインターフェイスを介して撮像角度（上下方向角度（チルト）、左右方向角度（パン））、ズームによる撮像範囲、フォーカス等を制御するための制御信号を出力する。
【０００９】
この画像伝送装置６は、図示しないが、画像データの送受信に関する各種制御を行うＣＰＵと、このＣＰＵによる各種制御のためのプログラムが格納されたＲＯＭと、画像データ等を格納するメモリ（フラッシュメモリ、Ｓ−ＲＡＭ等）と、ビデオ信号の取り込みや画像圧縮を行う画像処理部を備えている。この画像伝送装置６における画像圧縮については、既存の各種圧縮方法が用いられる。例えば、特開平５−２２７５４７号公報に記載されているＦＳＴ圧縮の方法、国際標準規格であるＭＰＥＧやＪＰＥＧ、特開平８−１５４２６１号公報に記載されたＴＩＭ圧縮等の各種方法を採用することができる。本実施形態では、これらの画像データ圧縮は、画像伝送装置６に設けられたハードウエアによって処理されるが、ソフトＭＰＥＧ、ＪＰＥＧ等のようにソフトウエアによる処理で圧縮することも可能である。この場合、画像伝送装置６は、圧縮した画像信号を送信するに際し、そのヘッダ部にビデオカメラ４の撮像範囲を示す撮像範囲情報（チルト、パン、フォーカス等の情報）を付加する。
また、画像伝送装置６は、携帯電話７等と接続するための各種接続インターフェイス部と、これらを制御するための制御部等を有している。
【００１０】
一方、受信ステーション２には、携帯電話９、パーソナルコンピュータ（以下、パソコンという）１０および両者を接続するインターフェイスであるカードタイプの通信制御装置（いわゆる携帯電話接続カード）１８が設けられている。上述した構成による送信ステーション１と受信ステーション２との間は、携帯電話７、９を介して回線接続され、デジタル移動通信網を介在した９６００ｂｐｓの通信速度により画像データや制御データの授受を行うようになっている。例えば、受信ステーション２から送信ステーション１にビデオカメラ４の撮像位置やズーム値などの制御データが転送されると、送信ステーション１はこれに応じてビデオカメラ４を制御し、制御データに対応した画像データを受信ステーション２に送信する。なお、送信ステーション１と受信ステーション２の間における送受信動作については、後に詳述する。
【００１１】
ここで、図２はパソコン１０の構成を示すブロック図である。図において、１１は本体各部を制御する制御部であり、バスライン１２を介して、キーボード１３、マウス１４、表示装置１５、記憶装置１６、記憶媒体駆動装置１７、通信制御装置１８および入出力インターフェイス１９と接続されている。
制御部１１は、ＣＰＵ１１１と、ＲＯＭ１１２、ＲＡＭ１１３を備えている。ＲＯＭ１１２には、各種データやプログラムが予め格納されている。ＲＡＭ１３は、ＣＰＵ１１１にワーキングメモリとして使用され、画像ファイルやカメラ位置変更コマンド等の情報が格納されるようになっている。
【００１２】
キーボード１３は、かな文字を入力するためのかなキーやテンキー、各種機能を実行するための機能キー、カーソルキー等の各種キーが配置されている。
表示装置１５は、例えば、ＣＲＴや液晶ディスプレイ等が使用される。
【００１３】
ここで、図３は表示装置１５の表示画面を示したものである。この図に示すように、表示装置１５の表示画面には、ビデオカメラ４で撮像した画像が表示されるメイン画像ウインドウ１５１と、ビデオカメラ４の撮像位置やズーム値等を遠隔操作するためのカメラ制御ウインドウ１５２が表示される。カメラ制御ウインドウ１５２の図面左側には、カメラ制御用のキーとして、「全画面取込」キー１５３と「取込中止キー」１５５が設けられ、さらに、カーソルキー１５６ａ〜１５６ｄが設けられている。ここで、「全画面取込」キー１５３は全画面１５７に表示される全ての画像データの取込を指示するキーであり、「取込中止」キーは全画面取込動作中にクリックされたときに、その取込動作の中止を指示するキーである。
【００１４】
また、カメラ制御ウインドウ１５２には、ビデオカメラ４の撮像可能全範囲の合成画像を表示する全画面１５７が配置されている。全画面１５７に表示される画像は、ビデオカメラ４では１度に撮像することができないので、全画面を複数の小領域からなる分割画面に分解し、各分割画面毎に撮像した後、これらを合成表示するようにしている。この全画面１５７には、ビデオカメラ４の任意の位置における撮像範囲を示すカメラ枠１５８が表示される。また、カメラ枠１５８の表示位置は、メイン画像ウインドウ１５１における全画面１５７の表示位置に関係なく、全画面１５７に対する相対的な位置として表示される。
【００１５】
上述したメイン画像ウインドウ１５１とカメラ制御ウインドウ１５２とは、同時表示することも、いずれか一方を表示することも可能であり、同時表示の場合には両ウインドウを並べて表示したり、重ねて表示することができるようになっている。
マウス１４は、ポインティングデバイスであり、表示装置１５に表示されたキーやアイコン等をクリックすることで、対応する機能の指定を行う。本実施形態では、このマウス１４を使用し、全画像（ビデオカメラ４が撮像できる最大範囲の画像データ）の取り込みを指示したり、全画像中に表示されたカメラ枠１５８（図３参照）をドラッグすることでビデオカメラ４の撮像領域を指定できる。
【００１６】
記憶装置１６は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置で構成されている。この記憶装置１６に使用される記憶媒体としては、主としてハードディスクが使用されるが、その他の読み書き可能な記憶媒体を使用するようにしてもよい。
記憶装置１６には、ビデオカメラ４（図１参照）の種別と、各種別毎の制御可能な事項に関する情報（ズーム、パン、チルト範囲等）が記憶される。また、送信ステーション１に接続するためのダイヤル番号等が格納されるようになっている。
【００１７】
記憶装置１６のプログラム格納エリアには、パソコン１０を動作させるＯＳ等の基本プログラムの他、本実施形態による画像データ受信関連プログラム等の各種アプリケーションプログラムが格納されている。また、送信ステーション１から送られる画像データは、所定の圧縮処理が施されているため、これを伸張するためのプログラムが記憶装置１６に格納されている。例えば、送信ステーション１でＭＰＥＧによる画像圧縮を行う場合、記憶装置１６にはＭＰＥＧによる伸張を行うためのプログラムが記憶される。なお、画像データの伸張には、ハードウエアを用いても良い。
【００１８】
記憶媒体駆動装置１７は、ＣＰＵ１１が外部の記憶媒体からコンピュータプログラムを読み込むための駆動装置である。この場合、外部の記憶媒体に記録されているコンピュータープログラムには、本実施形態のパソコン１０により実行される画像データ受信関連のアプリケーションプログラムおよびそこで使用される辞書、データなどが含まれる。ここで、記憶媒体とは、フロッピーディスク等の磁気記憶媒体の他、半導体記憶媒体、光学記憶媒体、印刷物を用いた記憶媒体、その他各種方法でコンピュータプログラムが記録される記憶媒体が含まれる。記憶媒体駆動装置１７は、これらの各種記憶媒体からコンピュータプログラムを読み込む他に、フロッピーディスクのように書き込み可能な記憶媒体である場合には、ＲＡＭ１１３や記憶装置１６のデータ等を書き込むことが可能である。
【００１９】
また、パソコン１０では、ＣＰＵ１１１が、記憶媒体駆動装置１７にセットされた外部の記憶媒体からコンピュータプログラムを読み込んで、記憶装置１６に格納（インストール）する。そして、本実施形態による画像データ受信関連プログラムを実行する場合、記憶装置１６から該当プログラムをＲＡＭ１１３に読み込んで実行するようになっている。
ただし、記憶装置１６からではなく、記憶媒体駆動装置１７により外部の記憶媒体から直接ＲＡＭ１３に読み込んで実行することも可能である。
【００２０】
また、本実施形態の画像データ受信関連プログラムを予めＲＯＭ１１２に記録しておき、これをＣＰＵ１１１が実行するようにしてもよい。
前述した通信制御装置１８は、携帯電話９の接続端子を有しており、パソコン１０と携帯電話９との間で、データの授受を行う。また、通信制御装置１８は、送信ステーション１との間のデータ通信のみならず、他のパソコン等との間でテキストデータや画像データ等の送受信を行うこともできる。
入出力インターフェイス１９は、表示装置１５に表示された画像や文字その他各種印刷を行う印刷装置や、音声や音楽等の出力を行うスピーカ等との間の信号の授受を制御する。なお、印刷装置としては、レーザプリンタ、インクジェットプリンタ等の各種印刷装置が使用可能である。
【００２１】
（実施形態の動作）
１：全画面取込動作
次に、上記構成による本実施形態の動作について説明する。はじめに、ビデオカメラ４が撮影可能な全範囲の画像データを取り込んで表示する全画面取込動作について説明する。
まず、図４は、全画面を取り込む場合の分割画面の一例を示すものである。図に示す例では、全画面１５７は、分割画面ａ〜ｌに分割され、各分割画面毎に撮影された画像が、後述する処理により合成されて全画面１５７として表示装置１５に表示される。なお、この合成に際しては、各画面の露出、色合いを調整して見やすくしてもよい。
【００２２】
ここで、分割画面について説明する。ビデオカメラ４のパンの可動範囲角度を０〜θｐ（０＜θｐ）、チルトの可動範囲角度を０〜θｔ（０＜θｔ）として、所定ズーム値の場合のビデオカメラの水平画角をαｐ、垂直画角をαｔとすると、このズーム値において、このビデオカメラによって撮影できる全領域に対する、パン方向の画面分割数Ｎｍａｘ、チルト方向の画面分割数Ｍｍａｘは、次式で表される。
Ｎｍａｘ＝ＩＮＴ（θｐ／αｐ）＋２（但し、θｐ／αｐが整数でない場合）
Ｎｍａｘ＝（θｐ／αｐ）＋１（但し、θｐ／αｐが整数の場合）
Ｍｍａｘ＝ＩＮＴ（θｔ／αｔ）＋２（但し、θｔ／αｔが整数でない場合）
Ｍｍａｘ＝（θｔ／αｔ）＋１（但し、θｔ／αｔが整数の場合）
（上記式においてＩＮＴ（ｎ）はｎを超えない整数を表す）
【００２３】
次に、図４に示すように、分割画面の位置を示す点としてその中心点をとり、これをパン−チルト座標として定義すれば、パン−チルト座標が移動し得る範囲は、図に一点鎖線で示す範囲となる。そして、各分割画面ａ〜ｌに対するパン−チルトの座標ｘ、ｙは、ビデオカメラ４を最も左下に向けた位置を原点（ｘ＝ｙ＝０）として、分割画面のパン方向の番号を左側からＮ、チルト方向の番号を下側からＭとした場合、次の（１）式、（２）式により制御部１１で算出される（ちなみに、分割画面ｉは、Ｎ＝３，Ｍ＝１となる）。
パンの座標ｘ：ｘ＝（Ｎ−１）αＰ ……（１）
但し、（Ｎｍａｘ−１）αｐ＞θｐの場合はｘ＝θｐ
チルトの座標ｙ：ｙ＝（Ｍ−１）αｔ ……（２）
但し、（Ｍｍａｘ−１）αｔ＞θｔの場合はｙ＝θｔ
【００２４】
制御部１１は、上述の数式に基づいて算出した分割画面のパン−チルト座標のデータを、順次ビデオカメラ４の位置変更コマンドと共に画像伝送装置６に送信する。画像伝送装置６は、受信したパン−チルト座標を制御部５に供給し、これにより、制御部５がビデオカメラ４を駆動して、その撮像位置を制御する。
一方、ビデオカメラ４からは、各分割画面の画像データが順次出力され、これらが画像伝送装置６、携帯電話７、９、通信制御装置１８を順次介して、制御部１１に供給される。制御部１１では、各分割画面の画像データを伸張してビットマップデータにした後にＲＡＭ１１３内の画像ファイルに記憶する。そして、画像ファイルに格納された分割画面を合成し、表示装置１５に表示させる。これにより、全画面の画像が表示される。
【００２５】
１−１：受信ステーションに２における全画面取込動作の詳細
次に、通信中の全画面取り込み作業の詳細について、図６に示すフローチャートを参照して説明する。
ここでは、受信ステーション２が撮像範囲として図４に示す分割画面ａ〜ｌを順次切り換えて全画面取り込みを行う場合を例にとって説明する。
パソコン１０から全画面取込キー１５３がクリックされると（図６のステップＳ１６）、カメラのパン方向、およびチルト方向の分割画面数、および各分割画面でのパン−チルト座標を計算する（図６のステップＳ１７）。なお、本実施例では、全画面取り込みにおけるカメラのズーム値、パン方向の最大可動角度、チルト方向の最大可動角度はあらかじめ設定しておくことを想定しているが、もちろん必要に応じて全画面取り込みの都度設定しても構わない。
【００２６】
次に、取込中止キー１５５がクリックされているか否かを判断し（ステップＳ１８）、クリックされている場合には、全画面取り込み動作を中止する。取り込み中止キー１５５がクリックされていない場合には、制御部１１は、全画面中の対応する分割位置にビデオカメラ４の撮像範囲を移動させるコマンドを画像伝送装置６に送信する（図６のステップＳ１９）。このコマンドにより、ビデオカメラ４の撮像位置（パンおよびチルト）が変更される。
【００２７】
そして、制御部１１は、画像伝送装置６から順次送信されてくる圧縮データを携帯電話９および通信制御装置１８を介して受信し（ステップＳ２０）、そのヘッダに付加されたビデオカメラ４の撮像範囲情報から、受信した圧縮画像データが指定した位置で撮像したデータか否かを確認する（ステップＳ２１）。
受信した圧縮画像データが指定位置のデータでない場合、すなわち、ビデオカメラの移動前または移動途中に撮影された画像データである場合は、ステップ２０に戻って再度圧縮画像データを受信する。
【００２８】
一方、受信した圧縮画像データが指定位置のデータである場合は、制御部１１は、受信した圧縮画像データを、画像伝送装置６における圧縮方法に対応する方法で伸張（デコード）し、当該分割画面の画像を全画面表示画面に追加する（ステップＳ２２）。次に、制御部１１は、全ての分割画面に対応する全画面の取り込みが終了したか否かを確認する（ステップＳ２３）。終了していない場合、制御部１１は、次に取り込むべき分割画面の位置を更新し（ステップＳ２４）、ステップ１９に戻って分割画面の取り込み処理を継続する。
【００２９】
以上の処理により、例えば、分割画面ａ→ｂ→ｃ……→ｌという順序で、各画像データが画像ファイルに蓄えられて行き、全画面が次第に蓄積されて行くとともに、例えば、分割画面ａ→分割画面ａ＋ｂ→分割画面ａ＋ｂ＋ｃというように表示がなされていく。
１−２：全画面取込動作における送信ステーション１の動作
【００３０】
次に、上記受信ステーション２の動作に対応する送信ステーション１側での動作について説明すると、まず、パソコン１０から全画面取込キーがクリックされたことが、通信により画像伝送装置６に通知されると、あらかじめ設定されたズーム、カメラ位置に撮像位置を変更する。そして、撮像位置を変更し終えたら、画面を撮像し、受信ステーション２に画像を伝送する。全画面を撮像するか、取込中止コマンドを受信するまで、上記手順を繰り返す。
【００３１】
２：撮像範囲枠（カメラ枠）の更新
この処理は、カメラ枠で任意の撮像位置、範囲を選び、その部分の画像が表示されるとともに、その部分のカメラ枠を更新する処理である。より詳細に言えば、全体画面を見ながら見たい部分を探し、その部分にカメラ枠を移動させることで、当該枠に相当する撮像範囲の画像を取り込み、表示するとともに、旧カメラ枠と新カメラ枠の表示を区別し、当該画像が伝送され表示された場合にカメラ枠を更新することにより、表示されている画像が既に指定されたものどうかを容易に区別するための処理である。
ここで、図５（ａ）は、全画面１５７の表示例を示しており、湖にヨットが浮かんでいる画像が表示されている。この画像は、前述した全画面取込処理により、送信ステーション１から受信ステーション２に伝送された画像である。図５（ａ）には、カメラ枠１５８も表示されているが、この枠線は実線で表示されている。
【００３２】
次に、操作者は、例えば、マウスカーソル（図示略）をカメラ枠１５８内に移動してドラッグすると、ＣＰＵ１１１（図２参照）がこれを検出し、カメラ枠１５８の表示位置をドラッグされた方向に移動させる。また、カーソルキー１５６ａ〜１５６ｄをマウスカーソルによってクリックすると、ＣＰＵ１１１がこれを検出し、カーソルキーの矢印方向に、クリック回数に応じた距離だけカメラ枠１５８を移動させる。なお、１クリックで移動する距離は、予め設定されている。
【００３３】
一方、マウスカーソルをカメラ枠の枠線上または枠線の角に位置させてドラッグすると、ＣＰＵ１１１がこれを検知して、ドラッグの方向に併せてカメラ枠１５８を拡大または縮小する。図５（ｂ）に示す例は、右側にあったカメラ枠１５８を破線矢印で示すように左側に移動し、かつ、拡大させている。そして、位置や大きさが変更されたカメラ枠１５８は、その枠線が破線で表示され、変更がなされたことを操作者に認識させる。なお、破線表示に変えて、変更後のカメラ枠１５８内の表示態様を変え、これによって枠移動があったことを認識させるようにしてもよい。さらに、表示態様は、例えば、輝度の変更、明度や色彩の変更、斜線付加など他の画像と区別できるものであればよく、カメラ枠の図形を異ならせてもよい。
【００３４】
次に、以上の枠移動操作に関連する動作と移動後の新たな画像データを取り込む処理について図７に示すフローチャートを参照して説明する。
まず、移動後のカメラ枠１５８がクリックされると、ステップＳ３１の判定が「ＹＥＳ」となり、ステップＳ３２に進んで新しいカメラ枠の位置と大きさを取得する。すなわち、制御部１１は、操作者によって設定された新しいカメラ枠１５９の位置と大きさを認識する。そして、新カメラ枠１５９の枠線を波線表示する（ステップＳ３３）。
【００３５】
次に、図２に示すＲＡＭ１１３内のカメラ位置変更コマンドを読み出し、送信ステーション１の画像伝送装置６へ送信する（ステップＳ３４）。これにより、画像伝送装置６は、制御部５にそのコマンドを転送し、制御部５はビデオカメラ４を駆動して、その撮影位置を移動させる。
一方、受信ステーション２の制御部１１は、送信ステーション１の画像伝送装置６から送信されてくる圧縮画像データを受信し（図７のステップＳ３５）、圧縮画像データのヘッダに付加されているカメラ位置（パン、チルト）およびズーム値からなる位置情報を読み込む（ステップＳ３６）。そして、これらの情報から、送られてきた画像が移動後のカメラ枠１５８に対応する画像か否かを判断する（ステップＳ３７）。移動後のカメラ枠１５８に対応する画像でない場合は、ステップ３５に戻って新カメラ枠１５９に対応する画像データの受信を継続する。
【００３６】
移動後のカメラ枠１５８に対応する画像を取得した場合には、制御部１１は、図５（ｃ）に示すように、旧カメラ枠１５８の表示を消去するとともに、新カメラ枠１５８の枠線を破線表示から実線表示へと切り換える。また、取得した圧縮画像データを伸張してＲＡＭ１１３の画像ファイルの該当する領域に格納し、かつ、表示装置１５のメイン画像ウインドウ１５１に表示する。
【００３７】
以上説明したように、本実施形態によれば、カメラで撮像可能な全領域を分割して順次撮像して伝送することで、画像受信側の表示装置にカメラで撮像可能な全領域が表示される。したがって、ユーザは、全領域の画像を見ながら詳細に確認したい領域を正確に決定することができる。
これにより、画像データの伝送が比較的遅い場合であっても、位置指定の誤りによる無駄な画像の送受信が無くなり、ユーザが確認したい領域についての画像データを、確実に素早く表示させることができる。
【００３８】
また、本実施形態によれば、全画面１５７に表示されたカメラ枠１５８の移動操作に連係して、ビデオカメラ４の遠隔操作を行うようにしているので、ビデオカメラ４の撮像位置の指定を極めて簡単に行うことができる。
また、上述した実施形態は、例えば、建築現場などの進捗状況の監視や報告、人間が常にいることのできない場合での遠隔監視、火事やダムの調査、遠隔地で撮影したニュース映像の伝送、テレビ番組やイベントなどの演出ツールなどとして利用することができる。
【００３９】
（変形例）
▲１▼上述した実施形態では、送信側ステーション１におけるビデオカメラ４の遠隔操作機能は、ソフトウエアにより処理される。したがって、各機能についてのプログラムをＣＤＲＯＭやフロッピーディスク等の記憶媒体に格納することで、広く供給することができる。そしてこの記憶媒体に記録されたプログラムをパソコンにインストールすることで、本実施形態の各機能を実現することができる。
【００４０】
▲２▼上述の実施形態では、受信ステーション２をパソコンとソフトウエアで実現する例について説明したが、もちろんハードウエアによって構成することもできる。
【００４１】
▲３▼本実施例では、撮像した画像データに、撮像位置情報を付加して伝送し、撮像位置情報によって、所望の画像か否かを判断する例について説明したが、画像伝送装置６で、撮像位置が変更された画像である旨の情報（たとえばフラグ）を付加する方法によっても実現可能である。
【００４２】
▲４▼画像伝送装置６において、全画面取り込み終了まで、分割して撮像された画像を蓄積し、合成した後１枚の画像として受信ステーションに送信することも可能である。
【００４３】
▲５▼実施形態では全画面取込を操作手段（全画面取込キー）によって指示したが、全画面取込処理を一定時間おきに行って、全画面の自動更新をするように構成してもよい。
【００４４】
▲６▼実施形態においては、携帯電話９と携帯電話７との間において、デジタル移動通信網を介した９６００ｂｐｓの通信速度により接続を行ったが、他の通信方法を使用するようにしてもよい。例えば、ＩＳＤＮ（ＩｎｔｅｇｒａｔｅｄＳｅｒｖｉｃｅｓＤｉｇｉｔａｌＮｅｔｗｏｒｋ）や、通常の電話回線網、インターネット、ＰＨＳ、無線衛星通信、光通信、自営無線等の各種データ通信手段を介した通信を行うようにしてもよい。また、携帯電話７、９についても、各種電話機を使用することができ、両者に異なる電話機を用いても良い。
【００４５】
▲７▼ビデオカメラの画角が大きい場合など、画面を分割する必要がなければ、全画面を一度に転送してもよい。
【００４６】
▲８▼上述した実施形態では、カメラ枠によって撮像範囲を指定したが、カメラ枠を表示せず、座標入力等の他の方法によって撮像範囲を指定してもよい。
【００４７】
▲９▼上述した実施形態においては、受信側で撮像範囲を指定し、その範囲に対応した画像だけを取り込むようにしていたが、これに代えて、受信側で指定する撮像範囲に許容誤差を設け、所定の誤差内の画像が伝送された場合はこれを取り込むようにしてもよい。その場合には、送信側から送られる撮像位置情報を参照し、これに対応した位置に指定撮像範囲（カメラ枠）の表示位置を修正する。
【００４８】
以上説明したように、この発明によれば、画像データの伝送にタイムラグがある状況においても、表示したい領域を素早く指示することができる。
さらに、この発明の好ましい態様においては、画像データの伝送にタイムラグがある状況においても、更新前後の画像を明瞭に区別することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である撮像システムの構成を示すブロック図である。
【図２】同実施形態の受信ステーションにおけるパソコン１０の構成を示すブロック図である。
【図３】同実施形態における表示装置１５の表示画面を示す説明図である。
【図４】同実施形態で用いる分割画面を説明するための説明図である。
【図５】同実施形態における表示装置１５の表示例を示す図である。
【図６】同実施形態の全画面取込動作を示すフローチャートである。
【図７】同実施形態におけるカメラ枠移動処理の動作を示すフローチャートである。
【符号の説明】
１送信ステーション
２受信ステーション
４ビデオカメラ
５制御部
６画像伝送装置
７、９携帯電話
１０パーソナルコンピュータ
１１制御部
１１１ＣＰＵ
１１２ＲＯＭ
１１３ＲＡＭ
１３キーボード
１４マウス
１５表示装置
１５１メイン画像ウインドウ
１５２カメラ制御ウインドウ
１５３全画面取込キー
１５５取込中止キー
１５６ａ〜１５６ｄカーソルキー
１５７全画面ウインドウ
１５８カメラ枠
１６記憶装置
１７記憶媒体駆動装置
１８通信制御部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging system suitable for displaying an image at a remote place in a situation where a time lag occurs in transmission of image data, for example.
[0002]
[Prior art]
Developed various image data receiving devices that can receive image data captured by a video camera located at a remote location and display it on a display device, and can remotely control the shooting range of a video camera or the like on the receiving side. Have been.
For example, an apparatus described in Japanese Patent Application Laid-Open No. HEI 6-121229 is an apparatus which allows a user to freely select an area desired to be viewed from a screen displayed on a receiving side and enlarge and view the area. Has been proposed.
In the image data receiving device, the display screen control unit designates an arbitrary area in the image displayed on the image display unit, and enlarges and displays the image information of the designated area on the display area of the image display unit. I am trying to do it.
[0003]
Furthermore, in the field of videophone, a technique for selecting a received image on the receiving side and operating a setting for an area is disclosed in, for example, Japanese Patent Application Laid-Open No. 6-205407. In this technique, the receiving side can switch between the camera input unit and the document camera input unit on the transmitting side, or control the swing function and zoom function thereof. In this case, the receiving side inputs control information for controlling the camera input unit and the like from the partner image input operation unit. Upon receiving this information, the transmitting side controls the camera input unit and the document camera input unit on the transmitting side based on the received control information.
[0004]
[Problems to be solved by the invention]
However, in situations where the time lag is relatively large, such as when transmitting and receiving compressed image data by wireless communication such as a mobile phone or a satellite phone, for example, even if an instruction to shift the imaging range to the right by remote control is issued, It takes time to display the screen on the right. If there is no target image at the position where the imaging range is shifted, the imaging range must be further shifted. However, useless video is displayed until the target image is reached, and a long time is required for the entire operation. There was a problem that needed.
Furthermore, if the camera is moved more than the angle of view that can be imaged at a time, the connection of images will not be understood, and it will be impossible to search for the target image, so it will be necessary to shift the imaging range little by little, and communication time and communication cost will increase. Was causing it.
[0005]
Also, as described above, in a situation where the time lag is relatively large, for example, even if an instruction to shift the imaging range to the right is made by remote control, it takes time until the screen on the right side is actually displayed. In some cases, it is difficult to distinguish whether the displayed image is an image in a previous imaging range or an image in a newly designated imaging range. This problem is particularly remarkable when the imaging range is slightly shifted, or when there is little change between the image of the imaging range set so far and the image of the newly set imaging range.
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging system capable of promptly indicating a region to be displayed even in a situation where there is a time lag in transmission of image data.
It is another object of the present invention to provide an imaging system capable of clearly distinguishing an image before and after updating even in a situation where there is a time lag in transmission of image data.
[0006]
[Means for Solving the Problems]
To achieve the above objectives,The present invention provides an imaging unit that outputs an image signal corresponding to a captured image and that can change an imaging range according to a control signal, and a display unit that performs display based on the image signal output by the imaging unit. A divided imaging control unit that divides an entire range that can be imaged by the imaging unit into a plurality of regions, and outputs the control signal for sequentially imaging each of the divided regions to the imaging unit; Based on the image signal of each divided area to be synthesized, the image of each divided area is combined to create an image of the entire range, and the combined image display control means to display on the display means, the imaging means, The combined image display control means combines the image of each of the divided regions based on the image pickup range information, by adding image pickup range information on the imaged screen to the image signal and outputting the image signal. To provide an imaging system that.
Further, the present invention provides an image pickup means capable of outputting an image signal corresponding to a picked-up image and changing an image pickup range according to a control signal, and a display for performing display based on the image signal output by the image pickup means Means for dividing the entire range that can be imaged by the imaging means into a plurality of areas, and outputting the control signal for sequentially imaging each of the divided areas to the imaging means; and the imaging means Based on an image signal of each divided area output by the image forming apparatus, the image of the divided areas is combined to create an image of the entire range, and the combined image display control means is displayed on the display means. And the display means are provided at a distance from each other, and the divided imaging control means is provided on the imaging means side.
In a preferred aspect of the present invention, an imaging range display unit that displays an imaging range frame on the image of the entire range displayed on the display unit, and an imaging range frame corresponding to the imaging range frame displayed by the imaging range display unit An imaging range specifying unit that outputs imaging range information, wherein the divided imaging control unit receives a control signal corresponding to the imaging range information when the imaging range information is supplied from the imaging range specifying unit. And when the image signal corresponding to the imaging range designated by the imaging range designation unit is supplied from the imaging unit, the imaging range corresponding to the image signal is output. A new imaging range frame may be displayed, and the display unit may change the display mode of the imaging range frame or an image in the imaging range frame before and after displaying a new image.
[0007]
According to the present invention, there is provided an image pickup unit that outputs an image signal corresponding to a picked-up image and that can change an image pickup range according to a control signal, and an image that is displayed based on the image signal output by the image pickup unit. A display unit, an imaging range designating unit that designates an imaging range of the imaging unit, and, when imaging range information indicating an imaging range is supplied from the imaging range designating unit, a control signal corresponding to the imaging range information is sent to the imaging unit. An imaging range control unit that outputs the imaging range information to the image signal, the imaging range display unit displaying an imaging range designated by the imaging range designation unit, and the imaging unit adds the imaging range information to the image signal. The imaging range display means performs display based on the imaging range information, and the image display means displays an image corresponding to the imaging range designated by the imaging range designation means. When a signal is supplied from the image pickup means, to provide an imaging system and displaying the image corresponding to the image signal.
In a preferred aspect of the present invention, the imaging range display means may change a display mode before and after displaying a new image.
In a preferred aspect, the imaging range display means may display the imaging range using different line types or figures as a method of changing the display mode.
In a preferred aspect, the imaging range display means may change at least one of brightness and color tone of an image as a method of changing the display mode.
[0008]
(Configuration of the embodiment)
FIG. 1 is a block diagram illustrating a configuration of an imaging system according to an embodiment of the present invention. 1 is a transmitting station for transmitting a captured image, and 2 is a receiving station for receiving and displaying the transmitted image.
The transmitting station 1 is provided with a video camera 4. The video camera 4 is controlled by a control unit 5 to control the imaging position and the imaging range. Reference numeral 6 denotes an image transmission device, which receives image data output from the video camera 4 via a video interface. In addition, the image transmission device 6 sends a control signal for controlling the control unit 5 via the RS232C interface to control an imaging angle (up-down direction angle (tilt), left-right direction angle (pan)), an imaging range by zooming, focus, and the like. Is output.
[0009]
Although not shown, the image transmission device 6 includes a CPU for performing various controls relating to transmission and reception of image data, a ROM in which programs for various controls by the CPU are stored, and a memory (flash memory, S-RAM, etc.) and an image processing unit that captures video signals and compresses images. For image compression in the image transmission device 6, various existing compression methods are used. For example, it is possible to adopt various methods such as the FST compression method described in JP-A-5-227547, the MPEG and JPEG international standards, and the TIM compression described in JP-A-8-154261. it can. In the present embodiment, these image data compressions are processed by hardware provided in the image transmission device 6, but can be compressed by software processing such as software MPEG or JPEG. In this case, when transmitting the compressed image signal, the image transmission device 6 adds imaging range information (information such as tilt, pan, focus, and the like) indicating the imaging range of the video camera 4 to a header portion thereof.
In addition, the image transmission device 6 has various connection interface units for connecting to the mobile phone 7 and the like, and a control unit and the like for controlling these.
[0010]
On the other hand, the receiving station 2 is provided with a mobile phone 9, a personal computer (hereinafter, referred to as a personal computer) 10, and a card-type communication control device (so-called mobile phone connection card) 18, which is an interface for connecting the two. The transmission station 1 and the reception station 2 having the above-described configuration are connected to each other via mobile phones 7 and 9 so as to transmit and receive image data and control data at a communication speed of 9600 bps via a digital mobile communication network. It has become. For example, when control data such as an imaging position of the video camera 4 and a zoom value is transferred from the receiving station 2 to the transmitting station 1, the transmitting station 1 controls the video camera 4 in accordance with the control data and outputs an image corresponding to the control data. The data is transmitted to the receiving station 2. The transmission / reception operation between the transmitting station 1 and the receiving station 2 will be described later in detail.
[0011]
Here, FIG. 2 is a block diagram showing a configuration of the personal computer 10. In the figure, reference numeral 11 denotes a control unit for controlling each unit of the main body, and a keyboard 13, a mouse 14, a display device 15, a storage device 16, a storage medium driving device 17, a communication control device 18, and an input / output interface via a bus line 12. 19 is connected.
The control unit 11 includes a CPU 111, a ROM 112, and a RAM 113. Various data and programs are stored in the ROM 112 in advance. The RAM 13 is used as a working memory by the CPU 111, and stores information such as an image file and a camera position change command.
[0012]
The keyboard 13 has various keys such as a kana key and a numeric keypad for inputting a kana character, a function key for executing various functions, and a cursor key.
As the display device 15, for example, a CRT or a liquid crystal display is used.
[0013]
Here, FIG. 3 shows a display screen of the display device 15. As shown in the figure, the display screen of the display device 15 includes a main image window 151 in which an image captured by the video camera 4 is displayed, and a camera for remotely controlling an imaging position, a zoom value, and the like of the video camera 4. The control window 152 is displayed. On the left side of the camera control window 152 in the drawing, a “full screen capture” key 153 and a “capture stop key” 155 are provided as camera control keys, and further, cursor keys 156 a to 156 d are provided. Here, the “capture full screen” key 153 is a key for instructing the capture of all image data displayed on the full screen 157, and the “stop capture” key is clicked during the full screen capture operation. Sometimes, it is a key for instructing to stop the taking operation.
[0014]
In the camera control window 152, a full screen 157 that displays a composite image of the entire range that can be captured by the video camera 4 is arranged. Since the image displayed on the full screen 157 cannot be captured at once by the video camera 4, the entire screen is decomposed into divided screens each including a plurality of small areas, and after each divided screen is captured, these are divided. It is designed to be composited. On this full screen 157, a camera frame 158 indicating an imaging range at an arbitrary position of the video camera 4 is displayed. The display position of the camera frame 158 is displayed as a position relative to the entire screen 157 regardless of the display position of the entire screen 157 in the main image window 151.
[0015]
The above-described main image window 151 and camera control window 152 can be displayed simultaneously or one of them can be displayed. In the case of simultaneous display, both windows are displayed side by side or displayed in an overlapping manner. You can do it.
The mouse 14 is a pointing device, and specifies a corresponding function by clicking a key, an icon, or the like displayed on the display device 15. In the present embodiment, the mouse 14 is used to instruct the capture of all images (the maximum range of image data that can be captured by the video camera 4), and the camera frame 158 (see FIG. 3) displayed in all images is displayed. By dragging, the imaging area of the video camera 4 can be specified.
[0016]
The storage device 16 includes a readable / writable storage medium and a drive device for reading / writing various information such as programs and data from / to the storage medium. As a storage medium used for the storage device 16, a hard disk is mainly used, but another readable and writable storage medium may be used.
The storage device 16 stores the type of the video camera 4 (see FIG. 1) and information (zoom, pan, tilt range, and the like) on controllable items for each type. Also, a dial number and the like for connecting to the transmitting station 1 are stored.
[0017]
In the program storage area of the storage device 16, various application programs such as the image data reception related program according to the present embodiment are stored in addition to a basic program such as an OS for operating the personal computer 10. Since the image data sent from the transmitting station 1 has been subjected to a predetermined compression process, a program for expanding the image data is stored in the storage device 16. For example, when performing image compression by MPEG at the transmitting station 1, the storage device 16 stores a program for performing MPEG expansion. Note that hardware may be used to expand the image data.
[0018]
The storage medium drive 17 is a drive for the CPU 11 to read a computer program from an external storage medium. In this case, the computer programs recorded on the external storage medium include image data reception-related application programs to be executed by the personal computer 10 of the present embodiment, and dictionaries and data used therein. Here, the storage medium includes a magnetic storage medium such as a floppy disk, a semiconductor storage medium, an optical storage medium, a storage medium using printed matter, and a storage medium on which a computer program is recorded by various methods. The storage medium drive 17 can read the computer programs from these various storage media, and can also write data in the RAM 113 and the storage device 16 when the storage medium is a writable storage medium such as a floppy disk. is there.
[0019]
In the personal computer 10, the CPU 111 reads a computer program from an external storage medium set in the storage medium drive 17 and stores (installs) the program in the storage 16. When executing the image data reception related program according to the present embodiment, the program is read from the storage device 16 into the RAM 113 and executed.
However, it is also possible to read the data directly from the external storage medium into the RAM 13 by the storage medium driving device 17 and execute it instead of the storage device 16.
[0020]
Further, the image data reception related program of the present embodiment may be recorded in the ROM 112 in advance, and the program may be executed by the CPU 111.
The communication control device 18 has a connection terminal for the mobile phone 9 and exchanges data between the personal computer 10 and the mobile phone 9. In addition, the communication control device 18 can transmit and receive text data, image data, and the like to and from other personal computers and the like, in addition to data communication with the transmitting station 1.
The input / output interface 19 controls transmission and reception of signals to and from a printing device that prints images and characters displayed on the display device 15 and other various types, and a speaker that outputs audio and music. Various printing devices such as a laser printer and an ink jet printer can be used as the printing device.
[0021]
(Operation of the embodiment)
1: Full screen capture operation
Next, the operation of the present embodiment having the above configuration will be described. First, a full-screen capturing operation for capturing and displaying image data in the entire range that can be captured by the video camera 4 will be described.
First, FIG. 4 shows an example of a divided screen when the entire screen is taken. In the example shown in the figure, the full screen 157 is divided into divided screens a to l, and images captured for each divided screen are combined by a process described later and displayed on the display device 15 as the full screen 157. In addition, at the time of this combination, the exposure and the color of each screen may be adjusted to make it easier to see.
[0022]
Here, the split screen will be described. Assuming that the movable range angle of the pan of the video camera 4 is 0 to θp (0 <θp) and the movable range angle of the tilt is 0 to θt (0 <θt), the horizontal angle of view of the video camera at a predetermined zoom value is αp, Assuming that the vertical angle of view is αt, the number Nmax of screen divisions in the pan direction and the number Mmax of screen divisions in the tilt direction with respect to the entire area that can be photographed by the video camera at this zoom value are expressed by the following equations.
Nmax = INT (θp / αp) +2 (provided that θp / αp is not an integer)
Nmax = (θp / αp) +1 (provided that θp / αp is an integer)
Mmax = INT (θt / αt) +2 (provided that θt / αt is not an integer)
Mmax = (θt / αt) +1 (provided that θt / αt is an integer)
(In the above formula, INT (n) represents an integer not exceeding n)
[0023]
Next, as shown in FIG. 4, taking the center point as a point indicating the position of the divided screen and defining it as pan-tilt coordinates, the range in which the pan-tilt coordinates can move is indicated by a dashed line in the figure. It becomes the range shown by. The pan-tilt coordinates x and y with respect to each of the divided screens a to l are defined by setting the position where the video camera 4 is directed to the lower left as the origin (x = y = 0) and setting the panning number of the divided screen from the left. When N and the number in the tilt direction are M from the lower side, the number is calculated by the control unit 11 according to the following equations (1) and (2). (By the way, the divided screen i has N = 3 and M = 1. Become).
Pan coordinates x: x = (N-1) αP (1)
However, when (Nmax-1) αp> θp, x = θp
Tilt coordinate y: y = (M−1) αt (2)
However, when (Mmax-1) αt> θt, y = θt
[0024]
The control unit 11 sequentially transmits the data of the pan-tilt coordinates of the divided screen calculated based on the above-described formula to the image transmission device 6 together with the position change command of the video camera 4. The image transmission device 6 supplies the received pan-tilt coordinates to the control unit 5, whereby the control unit 5 drives the video camera 4 and controls the imaging position.
On the other hand, image data of each divided screen is sequentially output from the video camera 4, and these are supplied to the control unit 11 via the image transmission device 6, the mobile phones 7 and 9, and the communication control device 18 sequentially. The control unit 11 expands the image data of each divided screen into bitmap data, and stores the bitmap data in an image file in the RAM 113. Then, the divided screens stored in the image file are combined and displayed on the display device 15. Thereby, an image of the entire screen is displayed.
[0025]
1-1: Details of full screen capture operation in receiving station 2
Next, details of the full screen capturing operation during communication will be described with reference to the flowchart shown in FIG.
Here, a case will be described as an example in which the receiving station 2 sequentially switches the divided screens a to l shown in FIG.
When the full-screen capture key 153 is clicked from the personal computer 10 (step S16 in FIG. 6), the number of divided screens in the pan and tilt directions of the camera and the pan-tilt coordinates in each divided screen are calculated (FIG. 6 Step S17). In this embodiment, it is assumed that the zoom value of the camera, the maximum movable angle in the pan direction, and the maximum movable angle in the tilt direction in full-screen capture are set in advance. You may set it each time you import.
[0026]
Next, it is determined whether or not the capture stop key 155 has been clicked (step S18). If it has been clicked, the full screen capture operation is stopped. If the capture stop key 155 has not been clicked, the control unit 11 transmits a command to move the imaging range of the video camera 4 to the corresponding division position in the entire screen to the image transmission device 6 (step in FIG. 6). S19). With this command, the imaging position (pan and tilt) of the video camera 4 is changed.
[0027]
Then, the control unit 11 receives the compressed data sequentially transmitted from the image transmission device 6 via the mobile phone 9 and the communication control device 18 (Step S20), and adds the imaging range of the video camera 4 added to the header. From the information, it is confirmed whether or not the received compressed image data is data captured at a designated position (step S21).
If the received compressed image data is not the data at the designated position, that is, if it is image data captured before or during the movement of the video camera, the process returns to step 20 to receive the compressed image data again.
[0028]
On the other hand, if the received compressed image data is the data at the designated position, the control unit 11 expands (decodes) the received compressed image data by a method corresponding to the compression method in the image transmission device 6, and Is added to the full screen display screen (step S22). Next, the control unit 11 confirms whether or not the capture of all the screens corresponding to all the divided screens has been completed (step S23). If the processing has not been completed, the control unit 11 updates the position of the divided screen to be captured next (step S24), and returns to step 19 to continue the processing for capturing the divided screen.
[0029]
By the above-described processing, for example, each image data is stored in the image file in the order of the divided screens a → b → c... → l, and all the screens are gradually stored. The display is performed in the order of the divided screen a + b → the divided screen a + b + c.
1-2: Operation of transmitting station 1 in full screen capture operation
[0030]
Next, the operation of the transmitting station 1 corresponding to the operation of the receiving station 2 will be described. First, the image transmission device 6 is notified by communication that the full screen capture key has been clicked from the personal computer 10. Then, the imaging position is changed to a preset zoom and camera position. Then, when the imaging position has been changed, the screen is imaged, and the image is transmitted to the receiving station 2. The above procedure is repeated until the entire screen is imaged or a capture stop command is received.
[0031]
2: Update of imaging range frame (camera frame)
This process is a process of selecting an arbitrary imaging position and range with a camera frame, displaying an image of the portion, and updating the camera frame of the portion. More specifically, while looking at the entire screen, search for the desired part, and move the camera frame to that part to capture and display the image in the imaging range corresponding to that frame, and display the old camera frame and the new camera frame. This is a process for easily distinguishing whether or not the displayed image has already been designated by distinguishing the display of the frame and updating the camera frame when the image is transmitted and displayed.
Here, FIG. 5A shows a display example of the full screen 157, in which an image of a yacht floating on a lake is displayed. This image is an image transmitted from the transmitting station 1 to the receiving station 2 by the above-described full screen capturing process. FIG. 5A also shows a camera frame 158, which is indicated by a solid line.
[0032]
Next, when the operator moves and drags a mouse cursor (not shown) into the camera frame 158, for example, the CPU 111 (see FIG. 2) detects this and moves the display position of the camera frame 158 in the dragged direction. Move to When the cursor keys 156a to 156d are clicked with the mouse cursor, the CPU 111 detects the click and moves the camera frame 158 in the arrow direction of the cursor keys by a distance corresponding to the number of clicks. The distance moved by one click is set in advance.
[0033]
On the other hand, when the mouse cursor is dragged while being positioned on the frame line of the camera frame or at a corner of the frame line, the CPU 111 detects this and scales up or down the camera frame 158 in accordance with the dragging direction. In the example shown in FIG. 5B, the camera frame 158 on the right side is moved to the left side as indicated by a broken arrow, and is enlarged. The frame of the camera frame 158 whose position or size has been changed is displayed as a broken line, and the operator is made aware of the change. Note that the display mode in the camera frame 158 after the change may be changed in place of the broken line display, thereby recognizing that the frame has moved. Further, the display mode may be any one that can be distinguished from other images, for example, a change in luminance, a change in brightness or color, or addition of oblique lines, and the figure of the camera frame may be different.
[0034]
Next, an operation related to the above-described frame moving operation and a process of capturing new image data after moving will be described with reference to a flowchart shown in FIG.
First, when the moved camera frame 158 is clicked, the determination in step S31 becomes "YES", and the flow advances to step S32 to acquire a new position and size of the camera frame. That is, the control unit 11 recognizes the position and size of the new camera frame 159 set by the operator. Then, the frame line of the new camera frame 159 is displayed as a wavy line (step S33).
[0035]
Next, the camera position change command in the RAM 113 shown in FIG. 2 is read and transmitted to the image transmission device 6 of the transmission station 1 (step S34). Thereby, the image transmission device 6 transfers the command to the control unit 5, and the control unit 5 drives the video camera 4 to move the shooting position.
On the other hand, the control unit 11 of the receiving station 2 receives the compressed image data transmitted from the image transmission device 6 of the transmitting station 1 (Step S35 in FIG. 7), and sets the camera position added to the header of the compressed image data. The position information consisting of (pan, tilt) and zoom values is read (step S36). Then, based on these pieces of information, it is determined whether or not the transmitted image is an image corresponding to the moved camera frame 158 (step S37). If the image does not correspond to the moved camera frame 158, the process returns to step 35 to continue receiving image data corresponding to the new camera frame 159.
[0036]
When an image corresponding to the moved camera frame 158 is acquired, the control unit 11 deletes the display of the old camera frame 158 and the frame line of the new camera frame 158, as shown in FIG. Is switched from the broken line display to the solid line display. In addition, the acquired compressed image data is expanded and stored in a corresponding area of the image file in the RAM 113, and is displayed in the main image window 151 of the display device 15.
[0037]
As described above, according to the present embodiment, the entire area that can be captured by the camera is displayed on the display device on the image receiving side by dividing the entire area that can be captured by the camera and sequentially capturing and transmitting the divided area. You. Therefore, the user can accurately determine an area that the user wants to check in detail while viewing the image of the entire area.
Thus, even if the transmission of the image data is relatively slow, useless image transmission / reception due to an error in the position designation is eliminated, and the image data of the area that the user wants to check can be reliably and quickly displayed.
[0038]
According to the present embodiment, since the remote operation of the video camera 4 is performed in association with the movement operation of the camera frame 158 displayed on the full screen 157, the designation of the imaging position of the video camera 4 is performed. It can be done very easily.
In addition, the embodiment described above, for example, monitoring and reporting of the progress of building sites and the like, remote monitoring in the case where humans can not always be present, investigation of fires and dams, transmission of news images taken in remote locations, It can be used as a directing tool for TV programs and events.
[0039]
(Modification)
{Circle around (1)} In the embodiment described above, the remote control function of the video camera 4 in the transmitting station 1 is processed by software. Therefore, the programs for each function can be widely supplied by storing them in a storage medium such as a CDROM or a floppy disk. By installing the program recorded on the storage medium into a personal computer, each function of the present embodiment can be realized.
[0040]
{Circle around (2)} In the above-described embodiment, an example has been described in which the receiving station 2 is realized by a personal computer and software, but it is of course possible to configure the receiving station 2 by hardware.
[0041]
(3) In the present embodiment, an example has been described in which imaging position information is added to captured image data and transmitted, and whether or not a desired image is determined based on the imaging position information. This can also be realized by a method of adding information (for example, a flag) indicating that the image is an image whose imaging position has been changed.
[0042]
{Circle around (4)} In the image transmission device 6, it is also possible to accumulate the divided and imaged images until the end of capturing the entire screen, combine them, and transmit them as a single image to the receiving station.
[0043]
{Circle around (5)} In the embodiment, the full-screen capture is instructed by the operation means (full-screen capture key). Is also good.
[0044]
{Circle around (6)} In the embodiment, the connection is made between the mobile phone 9 and the mobile phone 7 at a communication speed of 9600 bps via the digital mobile communication network, but another communication method may be used. . For example, communication via various data communication means such as ISDN (Integrated Services Digital Network), a normal telephone line network, the Internet, PHS, wireless satellite communication, optical communication, and private wireless communication may be performed. Also, various types of telephones can be used for the mobile phones 7 and 9, and different telephones may be used for both.
[0045]
{Circle around (7)} When there is no need to divide the screen, such as when the angle of view of the video camera is large, the entire screen may be transferred at once.
[0046]
(8) In the above-described embodiment, the imaging range is specified by the camera frame. However, the imaging range may be specified by another method such as coordinate input without displaying the camera frame.
[0047]
(9) In the above-described embodiment, the imaging range is specified on the receiving side, and only the image corresponding to the range is captured. Instead, an allowable error is set in the imaging range specified on the receiving side. In this case, when an image within a predetermined error is transmitted, the image may be captured. In this case, the display position of the designated imaging range (camera frame) is corrected to a position corresponding to the imaging position information sent from the transmission side.
[0048]
As described above, according to the present invention, an area to be displayed can be quickly specified even in a situation where there is a time lag in transmission of image data..
Further, in a preferred embodiment of the present invention,Even when there is a time lag in image data transmission, images before and after updating can be clearly distinguished.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an imaging system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a personal computer 10 in the receiving station of the embodiment.
FIG. 3 is an explanatory diagram showing a display screen of a display device 15 in the embodiment.
FIG. 4 is an explanatory diagram for describing a split screen used in the embodiment.
FIG. 5 is a diagram showing a display example of the display device 15 in the embodiment.
FIG. 6 is a flowchart showing an entire screen capturing operation of the embodiment.
FIG. 7 is a flowchart showing an operation of a camera frame moving process in the embodiment.
[Explanation of symbols]
1 sending station
2 receiving station
4 Video camera
5 control part
6 Image transmission device
7, 9 mobile phone
10 Personal computer
11 Control part
111 CPU
112 ROM
113 RAM
13 Keyboard
14 mouse
15 Display device
151 Main image window
152 Camera control window
153 Full screen capture key
155 Import stop key
156a to 156d Cursor keys
157 full screen window
158 Camera frame
16 Storage device
17 Storage medium drive
18 Communication control unit

Claims

An imaging unit that outputs an image signal corresponding to a captured image and that can change an imaging range according to a control signal ;
Display means for displaying based on the image signal output by the imaging means ,
Divided imaging control means for dividing the entire range that can be imaged by the imaging means into a plurality of areas, and outputting the control signal for sequentially imaging the divided areas to the imaging means,
Based on an image signal of each divided region output by the imaging unit, a combined image display control unit that combines the images of the divided regions to create an image of the entire range and displays the image on the display unit.
Has,
The imaging unit outputs imaging range information about a captured image to the image signal,
The imaging system, wherein the combined image display control unit combines the images of the divided areas based on the imaging range information.

An imaging unit that outputs an image signal corresponding to a captured image and that can change an imaging range according to a control signal ;
Display means for displaying based on the image signal output by the imaging means ,
Divided imaging control means for dividing the entire range that can be imaged by the imaging means into a plurality of areas, and outputting the control signal for sequentially imaging the divided areas to the imaging means,
Based on an image signal of each divided region output by the imaging unit, a combined image display control unit that combines the images of the divided regions to create an image of the entire range and displays the image on the display unit.
Has,
The imaging system according to claim 1, wherein the imaging unit and the display unit are provided at a distance from each other, and the divided imaging control unit is provided on the imaging unit side.

Imaging range display means for displaying an imaging range frame superimposed on the image of the entire range displayed on the display means ,
Imaging range specifying means for outputting imaging range information corresponding to the imaging range frame displayed by the imaging range display means,
The divided imaging control unit, when the imaging range information is supplied from the imaging range designation unit, outputs a control signal corresponding to the imaging range information to the imaging unit,
When an image signal corresponding to the imaging range specified by the imaging range specifying unit is supplied from the imaging unit, the composite image display control unit displays a new imaging range frame in the imaging range corresponding to the image signal. Let
The imaging system according to claim 1, wherein the display unit changes a display mode of the imaging range frame or an image in the imaging range frame before and after displaying a new image.

An imaging unit that outputs an image signal corresponding to a captured image and that can change an imaging range according to a control signal ;
Image display means for performing display based on an image signal output by the imaging means ,
An imaging range specifying unit that specifies an imaging range of the imaging unit;
When imaging range information indicating an imaging range is supplied from the imaging range designating unit, an imaging range control unit that outputs a control signal corresponding to the imaging range information to the imaging unit,
An imaging range display unit that displays an imaging range designated by the imaging range designation unit ,
The imaging unit adds the imaging range information to the image signal and outputs the image signal ,
The imaging range display means, have rows Viewing based on the imaging range information,
The imaging system according to claim 1, wherein the image display unit displays an image corresponding to the image signal when an image signal corresponding to the imaging range designated by the imaging range designation unit is supplied from the imaging unit.

The imaging system according to claim 4, wherein the imaging range display means changes a display mode before and after displaying a new image.

The imaging system according to claim 5, wherein the imaging range display unit displays the imaging range using different line types or figures as a method of changing the display mode.

6. The imaging system according to claim 5 , wherein said imaging range display means changes at least one of brightness and color tone of an image as a method of changing the display mode.