JP7314719B2 - Display device, display method, program - Google Patents
Display device, display method, program Download PDFInfo
- Publication number
- JP7314719B2 JP7314719B2 JP2019156173A JP2019156173A JP7314719B2 JP 7314719 B2 JP7314719 B2 JP 7314719B2 JP 2019156173 A JP2019156173 A JP 2019156173A JP 2019156173 A JP2019156173 A JP 2019156173A JP 7314719 B2 JP7314719 B2 JP 7314719B2
- Authority
- JP
- Japan
- Prior art keywords
- handwritten data
- handwritten
- image
- data
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、表示装置、表示方法、及び、プログラムに関する。 The present invention relates to a display device, a display method, and a program.
ユーザが手書きした手書きデータを表示する表示装置が知られている。表示装置の機能の１つとして、ＰＣ（Personal Computer）等の映像出力機器が入力した入力画像を映し出す機能がある。ユーザは映し出された映像の上に手書きすることができる。ユーザが保存ボタンを押下すると、表示装置は入力画像に手書き画像が重なった画像データを保存する。 A display device that displays handwritten data handwritten by a user is known. One of the functions of the display device is a function of displaying an input image input by a video output device such as a PC (Personal Computer). The user can handwrite on the projected image. When the user presses the save button, the display device saves image data in which the handwritten image is superimposed on the input image.
このような表示装置においてユーザの操作を軽減する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、手書き画像が保存された場合、ディスプレイから手書きデータを消去する表示装置について開示されている。
Techniques have been devised for reducing user operations in such display devices (see, for example, Patent Document 1).
しかしながら、従来の技術では、ユーザが手書き画像を保存する操作を行わないとディスプレイから手書きデータが消去されないため、操作性が低下するおそれがあるという問題がある。 However, in the conventional technology, the handwritten data is not erased from the display unless the user performs an operation to save the handwritten image, so there is a problem that the operability may deteriorate.
本発明は、上記課題に鑑み、手書きデータを消去する手間を軽減できる表示装置等を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a display device and the like that can reduce the trouble of erasing handwritten data.
上記課題に鑑み、本発明は、映像出力機器から入力された映像と、画面に対する入力手段の接触位置に基づいて手書きデータとを表示する表示装置であって、前記映像出力機器から時間的に前に入力された映像信号に対し時間的に後に入力された映像信号が変化した場合、前記手書きデータを画面から消去する消去部と、前記映像信号が変化した変化領域を特定する変化領域特定部と、を有し、前記変化領域特定部は、前記映像が動画でない場合にのみ、前記映像信号が変化した変化領域を特定し、前記消去部は、前記変化領域と一部でも重なっている前記手書きデータを画面から消去することを特徴とする。
In view of the above problems, the present invention provides a display device for displaying an image input from a video output device and handwritten data based on the contact position of an input means with respect to the screen, and an erasing unit for erasing the handwritten data from the screen when the video signal input temporally earlier from the video output device changes in the video signal input temporally later.and,a changed area identifying unit that identifies a changed area in which the video signal has changed, the changed area identifying unit identifies the changed area in which the video signal has changed only when the video is not a moving image, and the erasing unit erases from the screen the handwritten data that even partially overlaps with the changed area.It is characterized by
手書きデータの消去に関する操作性を向上できる表示装置等を提供することができる。 It is possible to provide a display device or the like that can improve the operability of erasing handwritten data.
以下、本発明を実施するための形態の一例として、表示装置と表示装置が行うデータ保存方法について図面を参照しながら説明する。 Hereinafter, a display device and a data storage method performed by the display device will be described as an example of embodiments of the present invention with reference to the drawings.
＜本実施形態の表示装置の動作の概略＞
まず、図１を参照して本実施形態の表示装置の動作の概略について説明する。図１は、表示装置２が表示する入力画像（Ｃ）と手書きデータの保存方法を説明する図である。図１（ａ）に示すように、表示装置２にはＰＣなどの映像出力機器６が有線ケーブル又は無線で接続されており、映像出力機器６が出力する映像信号がリアルタイムに表示装置２に入力されている。表示装置２は映像信号に基づいて入力画像（Ｃ）を表示している。
<Outline of operation of the display device of the present embodiment>
First, the outline of the operation of the display device of this embodiment will be described with reference to FIG. FIG. 1 is a diagram for explaining an input image (C) displayed by the
映像出力機器６が表示する映像はどのようなものでもよい。図１（ａ）ではＷｅｂブラウザの画面が表示されているが一例に過ぎない。
Any image may be displayed by the
ユーザが表示装置２に表示された入力画像（Ｃ）に手書きする場合、入力画像（Ｃ）に関係がある情報を手書きする場合が多いと考えられる。入力画像（Ｃ）が変われば、それまでの手書きデータは不要になる可能性がある。したがって、手書きデータを保存するタイミングの１つとしては、映像が変化したタイミングが好適となる。
When the user handwrites on the input image (C) displayed on the
また、映像出力機器６が表示する映像が変化する場合には、以下のような例が挙げられる。
(i) 映像が静止画でありユーザが映像出力機器６を操作して映像を切り替える操作を行った場合。
(ii) 映像出力機器６が送信する映像の一部又は全体が動画であり、ユーザが映像出力機器６を操作して動画を断続的に進めた場合。
(iii) 映像出力機器６が送信する映像の一部又は全体が動画であり、入力画像（Ｃ）が動画の遷移によって変化する場合。
Further, when the video displayed by the
(i) When the image is a still image and the user operates the
(ii) When part or all of the video transmitted by the
(iii) When part or all of the video transmitted by the
図１（ｂ）はユーザが手書きした状態の入力画像（Ｃ）を示す。なお、図１（ｂ）では(ii)で説明した映像の一部が動画である場合を想定している。図１（ｂ）の手書きデータ８は、映像が変化するまでは、映像に基づいてユーザが議論する可能性が高いため、映像が変化するまでは表示しておくべきである。一方、入力画像（Ｃ）が変化した場合、変化するまでに入力画像（Ｃ）に対して手書きされた情報は不要になる可能性があると考えられる。
FIG. 1(b) shows an input image (C) handwritten by the user. In addition, in FIG.1(b), the case where a part of image|video demonstrated by (ii) is a moving image is assumed. The
図１（ｃ）は入力画像（Ｃ）が変化した場合の入力画像（Ｃ）と手書きデータ８の一例を示す。図１（ｃ）に示すように、入力画像（Ｃ）が変化すると表示装置２は、変化する直前の手書きデータ８と入力画像（Ｃ）を重ねて１枚の画像データ１０１として保存する。そして、表示装置２は不要になった手書きデータ８をディスプレイ３から消去する。
FIG. 1(c) shows an example of the input image (C) and the
このように、本実施形態の表示装置２は、入力画像（Ｃ）の変化を契機に手書きデータ８と入力画像（Ｃ）を保存できるので、ユーザの操作に関する手間を低減できる。従来は、ユーザが保存する操作を入力する必要があった。また、表示装置２は、入力画像（Ｃ）の変化を契機に手書きデータ８を消去するので、ユーザの操作に関する手間を低減できる。従来は、ユーザが何らかの消去のための操作を行う必要があった（例えば、画面全体から手書きデータ８を消去する操作、画面の一部の手書きデータ８を消去する操作等）。
As described above, the
＜用語について＞
手書きデータ８とは、ディスプレイ上でユーザが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという場合がある。手書きデータ８は１つ以上のストロークデータを有するが、特に言及しない場合は区別せずに手書きデータ８という。
<Terms>
The
手書きデータを画面から消去するとは、人間の目に見えない状態にすることをいう。縮小して移動して表示したままにしてもよい。 Erasing handwritten data from the screen means making it invisible to the human eye. You can shrink it, move it, and keep it displayed.
＜システムの概要＞
図２は、本実施形態の画像処理システム１の全体構成図である。なお、図２では、説明を簡略化するために、２台の表示装置２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の表示装置２や電子ペン等を利用してもよい。
<Overview of the system>
FIG. 2 is an overall configuration diagram of the
図２に示されているように、画像処理システム１は、複数の表示装置２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、映像出力機器６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ（Personal Computer）８を有する。また、表示装置２ａ，２ｂ、及びＰＣ８は、通信ネットワークＮを介して通信可能に接続されている。更に、複数の表示装置２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。
As shown in FIG. 2, the
また、表示装置２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの指を含む手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。
Further, the
また、表示装置２ａには、ＵＳＢメモリ５ａが接続可能であり、表示装置２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、表示装置２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、表示装置２ａには、DisplayPort（登録商標）、DVI(Digital Visual Interface)、HDMI(登録商標。High－Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、映像出力機器６ａが接続されている。ケーブル１０ａ１はネットワークでもよい。
A
そして、表示装置２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、映像出力機器６ａに送信する。同じく、表示装置２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、映像出力機器６ａ、及びテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、表示装置２ａと通信してもよい。
Then, the
一方、表示装置２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた表示装置２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、映像出力機器６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。
On the other hand, at other bases where the
これにより、一の拠点で表示装置２ａのディスプレイ３ａ上に描画された画像は、他の拠点で表示装置２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で表示装置２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で表示装置２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
Thus, an image drawn on the
なお、以下では、複数の表示装置２のうち任意の表示装置２を示す場合には「表示装置２」と示す。複数のディスプレイ３のうち任意のディスプレイ３を示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数の映像出力機器のうち任意の映像出力機器を示す場合には「映像出力機器６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。
In addition, hereinafter, when an
また、本実施形態では、情報処理装置の一例として、表示装置２を説明するが、これに限るものではなく、情報処理装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、映像出力機器６の一例としてノートＰＣが挙げられるが、映像出力機器６としては、デスクトップ型ＰＣやタブレット型ＰＣ、スマートフォン、ＰＤＡ（Personal Digital Assistant）、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。なお、これら情報処理装置では表示装置２用の所定のアプリケーション（プログラム）が動作しており、アプリケーションがタッチパネルに対する接触位置に基づいて手書きデータ８を表示する。
Further, in the present embodiment, the
更に、通信ネットワークＮには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード（登録商標）等の各種記録メディアであってもよい。 Furthermore, the communication network N includes the Internet, a LAN (Local Area Network), a mobile phone communication network, and the like. In addition, in this embodiment, a USB memory is described as an example of a recording medium, but it is not limited to this, and various recording media such as an SD card (registered trademark) may be used as other examples of the recording medium.
＜表示装置のハードウェア構成＞
図３は、表示装置２のハードウェア構成図の一例である。図３では表示装置２として電子黒板を想定して説明する。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ/Ｆ２０５、及び、外部機器接続Ｉ/Ｆ(Interface)２０６を備えている。
<Hardware Configuration of Display Device>
FIG. 3 is an example of a hardware configuration diagram of the
これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、電子黒板用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ２０５は、通信ネットワークＮとの通信を制御する。外部機器接続Ｉ/Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ２３０、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。
Among these, the
また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイ３コントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２、選択スイッチ類２２３、及び、カメラ２２４を備えている。
The
これらのうち、キャプチャデバイス２１１は、外付けのＰＣ(Personal Computer))２７０のディスプレイ３に対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイ３コントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ３等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ３上に電子ペン２９０やユーザの手Ｈ等が接触したことを検知する。センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン２９０と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、表示装置２の電源のＯＮ/ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ３の表示の明暗や色合い等を調整するためのスイッチ群である。
Among these devices, the
カメラ２２４はディスプレイ３の例えばベゼルに内蔵されている撮像装置であり、表示装置２の前方を撮像する。カメラ２２４があればカメラ２６０のように外付け型のカメラはなくてもよい。
A
更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
Furthermore, the
なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン２９０のペン先及びペン尻だけでなく、電子ペン２９０のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
The
＜表示装置の機能構成＞
続いて、図４、図５を用いて、表示装置２の機能構成について説明する。図４は、表示装置２の機能をブロック状に分けて説明する機能ブロック図であり、図５は各画像レイヤの構成図の一例である。
<Functional Configuration of Display Device>
Next, the functional configuration of the
表示装置２は、図３に示されているハードウェア構成及びプログラムによって、図４に示されている各機能構成を有する。表示装置２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、表示装置２は、大きく分けて、クライアント部２０及びサーバ部９０の両方によって構成されている。
The
クライアント部２０及びサーバ部９０は、表示装置２の１台の筐体内で実現される機能である。そして、表示装置２が主催装置となる場合には、この表示装置２では、クライアント部２０とサーバ部９０が実現される。また、表示装置２が参加装置となる場合には、この表示装置２では、クライアント部２０は実現されるが、サーバ部９０は実現されない。即ち、図２において、表示装置２ａが主催装置で、表示装置２ｂが参加装置となる場合、表示装置２ａのクライアント部２０は、同じ表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ｂのクライアント部２０と通信を行う。一方、表示装置２ｂのクライアント部２０は、他の表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ａのクライアント部と通信を行う。
The
〔クライアント部の機能構成〕
続いて、主に図４、図５を用いて、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、及び通信制御部６０を有する。
[Functional configuration of the client part]
Next, the functional configuration of the
このうち、映像取得部２１は、ケーブル１０に接続された映像出力機器６が出力する入力画像（すなわち、映像信号）を取得する。映像取得部２１は、映像出力機器６から映像を受信すると、この映像を解析して、この映像によって形成される映像出力機器６の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。
Of these, the
座標検知部２２は、ディスプレイ３上でユーザが入力手段を接触させた座標位置を検出する。ユーザがディスプレイ３上で入力手段を連続的に移動させた軌跡が手書きデータ８である。また、この手書きデータ８をストロークという場合がある。なお、入力手段は電子ペン４又はユーザの手Ｈのどちらでもよい。また、座標検知部２２は、タッチされた面積も検出する。
The coordinate
自動調整部２３は、表示装置２の起動時（再起動時と表現してもよい）に起動され、座標検知部２２が適切な値を出力できるように、光センサ方式により座標を検知する座標検知部２２がセンサーカメラの画像を処理する際のパラメータを調整する。
The
接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン４のペン尻が押下（タッチ）された動作等）を検出する。
The
イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、手書きデータ描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。ここで、「手書きデータ描画」は、ディスプレイ３上に図５に示されている後述の手書き画像（Ｂ）が表示されている場合に、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。この手書きデータ描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「手書きデータ描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。
The
「ＵＩ操作」は、ディスプレイ３上に図５に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。
A “UI operation” is an event in which the user presses a predetermined position with the
「ジェスチャ操作」は、ディスプレイ３上に図５に示されている後述の手書き画像（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。
A “gesture operation” is an event in which the user touches or moves the hand H on the
操作処理部２６は、イベント振分部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素にしたがって、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたものに対応した操作を実行する。
The
映像重畳部２８は、後述の表示処理部３６で重畳された画像を映像として表示部２９に対して表示する。表示部２９はディスプレイ３により実現される表示機能を示す。また、映像重畳部２８は、映像出力機器６等からの映像に対して、テレビ会議端末７等から送られて来た映像をピクチャーインピクチャーする。更に、映像重畳部２８は、ピクチャーインピクチャーされて表示部２９の一部に表示された映像を、表示部２９の全体に表示させるための切り替えを行う。
The
画像処理部３０は、図５に示されているような各画像レイヤの重畳処理等を行う。この画像処理部３０は、画像取得部３１、手書きデータ処理部３２、メニュー画像生成部３３、画像生成部３４、レイアウト管理部３５、表示処理部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。
The
このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、図５に示されている映像出力機器６等からの入力画像（Ｃ）に相当する。本実施形態では入力画像（Ｃ）を映像と称している。
Of these, the
手書きデータ処理部３２は、イベント振分部２５によって割り振られた手書きデータ描画に係るイベントに基づいて、画像（手書きデータ８）を描画したり、描画された画像を削除したり、描画された画像を編集する。この手書きデータが描画された画像は、図５に示されている手書き画像（Ｂ）に相当する。また、この手書きデータに基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、データ管理部８０に記憶される。
A handwritten
メニュー画像生成部３３は、表示装置２に予め設定されているＵＩ画像（Ａ）（ユーザインターフェース画像）を生成する。このＵＩ画像（Ａ）は、図５に示されているＵＩ画像（Ａ）に相当する。
The
画像生成部３４は、ページ処理部３７がページデータ記憶部３００（表１～表４参照）から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。画像生成部３４は、この受信したメディアデータを表示処理部３６に出力する。また、このメディアデータによる画像は、図５に示されている背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。
The
レイアウト管理部３５は、表示処理部３６に対して、画像取得部３１、手書きデータ処理部３２、及びメニュー画像生成部３３（又は画像生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示処理部３６に対して、入力画像（Ｃ）及び手書き画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
The
表示処理部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、手書きデータ処理部３２、メニュー画像生成部３３、及び画像生成部３４から出力された各画像のレイアウトを行う。
The
ページ処理部３７は、手書き画像（Ｂ）のデータと入力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。手書き画像（Ｂ）のデータは、手書き配列データ（各手書きデータ８）としてページデータの一部を成す。入力画像（Ｃ）のデータは、メディアデータとしてページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。
The
また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、画像生成部３４を介して表示処理部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちの手書き配列データ（各手書きデータ８）を、手書きデータ処理部３２に戻すことで、手書きデータ８の再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製したりすることもできる。
Further, the
即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている入力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、手書き画像（Ｂ）を示す手書き配列データを、手書きデータ処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、画像生成部３４に出力する。
That is, the data of the input image (C) displayed on the
表示処理部３６は、画像取得部３１からの入力画像（Ｃ）、手書きデータ処理部３２からの手書き画像（Ｂ）、メニュー画像生成部３３からのＵＩ画像（Ａ）、及び、画像生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトにしたがって重畳する。これにより、図５に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、手書き画像（Ｂ）、入力画像（Ｃ）、及び背景画像（Ｄ）の各レイアの構成となっている。
The
また、表示処理部３６は、図５に示されている入力画像（Ｃ）と背景画像（Ｄ）を切り替えて、ＵＩ画像（Ａ）及び手書き画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、ＵＩ画像（Ａ）、手書き画像（Ｂ）及び入力画像（Ｃ）が表示されている状態で、表示装置２と映像出力機器６等との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、入力画像（Ｃ）を重畳対象から外し、背景画像（Ｄ）を表示させることができる。この場合に、また、表示処理部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
In addition, the
ファイル処理部４０は、ファイルの入力と出力に関する処理を行う。ファイル処理部４０は、ＵＳＢメモリ５等の記憶装置から画像データを読み込み、各ページをページデータとしてページデータ記憶部３００に記憶する。また、ファイル処理部４０は、ページデータ記憶部３００に記憶されているページデータを、ＰＤＦ形式のファイルに変換して、ＵＳＢメモリ５等の記憶装置に記憶させる。この他、ＰＤＦファイルを電子メールに添付して送信する。
The
〔サーバ部の機能構成〕
サーバ部９０は、各表示装置２に設けられており、いずれの表示装置２であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部９０は、通信制御部７０、及びデータ管理部８０を有している。
[Functional configuration of the server part]
The
通信制御部７０は、同じ表示装置２内のクライアント部２０における通信制御部７０、及び通信ネットワークＮを介して他の表示装置２内のクライアント部２０における通信制御部７０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。
The
ページデータは、表１に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開示時刻、手書きやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによる手書きによって生じた手書き配列データを識別するための手書き配列データＩＤ、及びメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。手書き配列データは、図５に示されている手書き画像（Ｂ）がディスプレイ３上に表示されるためのデータである。メディアデータは、背景画像（Ｄ）がディスプレイ３上に表示されるためのデータである。
As shown in Table 1, the page data is stored in association with a page data ID for identifying an arbitrary page, a disclosure time indicating the time when the display of this page started, an end time indicating the time when the content of the page was no longer rewritten by handwriting, gestures, etc., a handwritten array data ID for identifying handwritten array data generated by handwriting with the
このようなページデータにより、例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、手書きデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、手書きデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。
With such page data, for example, when the user draws the alphabet "S" with the
＜画像データの自動的な保存と手書きデータの消去に関する表示装置の機能＞
続いて、図６を参照して、画像データの自動的な保存と手書きデータの消去に関する表示装置２の機能について説明する。図６は、画像データの自動的な保存と手書きデータ８の消去に関する表示装置２の機能をブロックに分けて説明する機能ブロック図の一例である。図６では、図４に示した機能からページデータの自動的な保存と手書きデータ８の消去に関する一部の機能を抽出して示す。
<Functions of display device regarding automatic storage of image data and deletion of handwritten data>
Next, with reference to FIG. 6, functions of the
画像取得部３１は変化領域特定部４１を有している。変化領域特定部４１は入力画像（Ｃ）又は映像信号の変化を検出すると共に、変化領域を特定する。入力画像（Ｃ）は映像信号を画像に変換したものであり、両者は実施的に同じものであるため、変化領域特定部４１はどちらに基づいて変化を検出してもよい。以下では、映像信号に基づいて変化を検出するものとして説明する。また、映像信号の変化はディスプレイ３への表示前に検出されても表示後に検出されてもよい。変化領域特定部４１は映像信号の変化を検出した旨と変化領域を画像保存部３８に通知する。
The
これにより、画像保存部３８は現在のページの手書きデータ８と入力画像（Ｃ）をページ処理部３７から取得して、１つの画像データ１０１として画像データ記憶部４４に保存する。画像データ１０１のフォーマットは例えばＰＤＦであるが、ＪＰＥＧ、ＢＭＰ、ＴＩＦＦ，ＧＩＦなどでもよい。保存された画像データ１０１はディスプレイ３に例えばサムネイル表示される。表５に画像データ記憶部４４に保存されている画像データを模式的に示す。
As a result, the
手書きデータ処理部３２は領域判断部４２と消去部４３を有している。変化領域特定部４１は領域判断部４２に映像信号の変化を検出した旨と変化領域を通知する。領域判断部４２は、変化領域に手書きデータ８が含まれるか否かを判断する。変化領域の手書きデータ８のみを消去できるようにするためであるが、手書きデータ８の全体を消去してもよい。この場合、領域判断部４２はなくてもよい。
The handwritten
消去部４３は、領域判断部４２が変化領域と重なっている手書きデータ８を手書き画像（Ｂ）から消去する。つまり、手書き画像（Ｂ）に変化領域と重なっていない手書きデータ８がある場合、変化領域と重なっている手書きデータ８のみを消去する。あるいは、手書き画像（Ｂ）から全ての手書きデータ８を消去してもよい。
The erasing
＜入力画像と手書き画像の保存の流れ＞
図７は、表示装置２が、入力画像（Ｃ）と手書き画像（Ｂ）を保存し、手書きデータを消去する流れを説明する図である。
・図７（ａ）は表示装置２が手書きデータ８を表示していない状態を示す。入力画像（Ｃ）が明記されていないが、すでに入力画像（Ｃ）が表示装置２に入力されディスプレイ３の全体に表示されている。
・図７（ｂ）はユーザが手書きしたため、２つの手書きデータ８ａ、８ｂが表示された手書き画像（Ｂ）を示す。上記のように、ページデータ記憶部３００には手書きデータ８の座標点、開始時刻、終了時刻等が記憶される。
・図７（ｃ）は映像出力機器６が図７（ａ）とは異なる映像信号を表示装置２に入力した状態を示す。例えば、映像の一部（動画を断続的に進めた）が変化した。図７（ｃ）では矩形の変化領域１１０が示されている。変化領域１１０の検出方法については図８にて説明する。消去部４３は変化領域１１０と重なっている手書きデータ８のみを消去する。
・図７（ｄ）は変化領域１１０と重なっている手書きデータ８が消去された状態を示す。図７（ｄ）では２つの手書きデータ８ａ、８ｂのうち変化領域１１０と重なっている手書きデータ８ａのみが消去されている。
<Flow of saving input image and handwritten image>
FIG. 7 is a diagram for explaining the flow in which the
- FIG. 7(a) shows a state in which the
- FIG. 7B shows a handwritten image (B) in which two pieces of
7(c) shows a state in which the
- FIG. 7(d) shows a state in which the
なお、画像保存部３８は図７（ｂ）の状態の手書きデータ８と入力画像（Ｃ）を重ねて１つの画像データ１０１として保存する。すなわち、映像が変化する直前の手書き画像（Ｂ）と入力画像（Ｃ）を保存する。消去される手書きデータ８のみを保存しないのは、消去される手書きデータ８のみを保存すると手書きデータ８の全体が分かりにくくなるためである。ただし、消去される手書きデータ８のみと入力画像（Ｃ）とを保存してもよい。
The
＜変化領域の検出＞
図８は、変化領域１１０の検出方法を説明する図である。図８（ａ）と図８（ｂ）は時間的に異なる映像信号の一部を示している。映像信号は、主にアナログ信号とデジタル信号に分けられる。アナログ信号にはＲＧＢ、コンポーネント、Ｄ（Ｄ１～Ｄ５）などがある。ＲＧＢの場合、Ｒ/Ｇ/Ｂ/ＨＤ（水平同期信号）/ＶＤ（垂直同期信号）が同軸ケーブルで送信される。コンポーネントでは、Ｙ（輝度/同期信号）/Ｐｂ（青の色差信号）/Ｐｒ（赤の色差信号）が３本のケーブルで送信できる。Ｄはコンポーネントの３本のケーブルを、１つのコネクタにまとめたものをいう。この他、アナログ信号には、セパレート、コンポジット、及び、ＤＶＩ－Ａがある。
<Detection of changed area>
FIG. 8 is a diagram illustrating a method of detecting the changed
デジタル信号には、ＤＶＩ－Ｄ、ＨＤＭＩ（登録商標）、Display Port（登録商標）などがある。ＨＤＭＩ（登録商標）は、TMDS(Transition Minimized Differential Signaling)、DDC(Display Data Channel）、CEC(Consumer Electronics Control)、HEC(HDMI Ethernet Channel)、ARC(Audio Return Channel)の５つの信号を送信する。ＤＶＩ－Ｄはアナログ信号をサポートする点でＨＤＭＩ（登録商標）と異なる。Display Portは、RGBの映像信号とクロック信号を別々に送るＨＤＭＩ（登録商標）とは異なり、映像/音声すべてを「Transfer Unit」というマイクロパケットに分割して宛先デバイスへシリアル転送する。 Digital signals include DVI-D, HDMI (registered trademark), Display Port (registered trademark), and the like. HDMI (registered trademark) transmits five signals: TMDS (Transition Minimized Differential Signaling), DDC (Display Data Channel), CEC (Consumer Electronics Control), HEC (HDMI Ethernet Channel), and ARC (Audio Return Channel). DVI-D differs from HDMI (registered trademark) in that it supports analog signals. Unlike HDMI (registered trademark), which sends RGB video signals and clock signals separately, Display Port divides all video/audio into micropackets called "Transfer Units" and serially transfers them to the destination device.
映像出力機器６は映像信号の変化の有無に関係なく、所定の更新頻度で映像信号を表示装置２に送り続けている。この更新頻度をリフレッシュレートという場合がある。更新頻度は有線か無線かの違い、解像度、ケーブルの種類（ＨＤＭＩ（登録商標）、Display Port（登録商標）、DVI－D）の違い等により様々であるが、例えば数１０Ｈｚから数１００Ｈｚである。したがって、変化領域特定部４１は更新頻度に応じて切り替わる映像信号を次々に比較する。ただし、更新頻度と同じタイミングで比較するのでなく、映像信号が更新されたＮ回に１回、比較してもよい。
The
変化領域特定部４１は、時間的に前の映像信号と後の映像信号を同じ位置の画素ごとに比較する。すなわち、最後の映像信号を保存しておき、保存した映像信号と次の映像信号を比較する。入力画像で比較する場合は、映像信号を入力画像に変換して、最後の入力画像を保存しておき、保存した入力画像と次の入力画像を比較する。
The changing
図８では格子点が画素位置とすると、同じ座標の画素値の差を画素ごとに算出し、差の絶対値（又は二乗）がゼロでない画素位置を決定する。図８の例では、（Ｘ１，Ｙ１）～（Ｘ２，Ｙ２）の画素位置で画素値の差がゼロでないことが検出される。この場合、変化領域特定部４１は（Ｘ１，Ｙ１）～（Ｘ２，Ｙ２）を変化領域１１０に特定する。このように、画素値が異なる最大座標と最小座標を含む矩形を変化領域１１０に決定できる。
In FIG. 8, if the lattice points are pixel positions, the difference between the pixel values at the same coordinates is calculated for each pixel, and the pixel positions where the absolute value (or square) of the difference is not zero are determined. In the example of FIG. 8, it is detected that the pixel value difference is not zero at pixel positions (X1, Y1) to (X2, Y2). In this case, the changing
映像信号を格子状に分割してもよい。この場合、図８の格子の１マスをいくつかの画素が含まれる大きさとして、変化領域特定部４１は時間的に前の映像信号と後の映像信号の画素値の差を算出する。差の絶対値（又は二乗）がゼロでない画素が所属するマスにフラグを立てるなどすれば、フラグが立っているマスの集合が変化領域１１０である。
The video signal may be divided into grids. In this case, the changing
＜変化領域と重なっている手書きデータの特定＞
次に、図９を用いて、変化領域１１０と重なっている手書きデータ８の特定方法を説明する。図９は、変化領域１１０と重なっている手書きデータ８の特定方法を説明する図の一例である。図９（ａ）では変化領域１１０に一筆書きの手書きデータ８ａが重なっている。この場合、手書きデータ８ａは１本のストロークなので、手書きデータ８ａの一部でも変化領域１１０に重なっている場合には、手書きデータ８ａと変化領域１１０が重なっていると判断できる。具体的には領域判断部４２は以下のような判断を行っている。
<Identification of handwritten data that overlaps the changed area>
Next, a method for specifying
変化領域１１０の左上コーナーのＸ座標をＸｓ、Ｙ座標をＹｓ、変化領域１１０の右下コーナーのＸ座標をＸe、Ｙ座標をＹｅとする。手書きデータ８を構成する座標点をＸ，Ｙで表す。
Let the X coordinate of the upper left corner of the changed
Ｘｓ≦ Ｘ ≦ Ｘｅ かつ Ｙｓ≦ Ｘ ≦ Ｙｅ
を満たす座標が手書きデータ８に１つでもあれば、領域判断部４２はこの手書きデータ８（１本のストロークのこと）が変化領域１１０と重なっていると判断する。なお、変化領域１１０の座標（Ｘｓ、Ｙｓ）（Ｘｅ、Ｙｅ）にはマージンを設けて、実際の変化領域よりも広い面積を変化領域と見なしてもよい。ユーザは変化領域１１０が重なるように手書きしないで、周囲に手書きする場合があるためである。
Xs≤X≤Xe and Ys≤X≤Ye
If there is at least one coordinate in the
一方、図９（ｂ）に示すように、手書きデータ８が複数のストロークを有し、その一部が変化領域１１０と重なっている場合がある。図９（ｂ）ではユーザが「ＡＢＣ」という文字を手書きしたが、「Ａ」のみが変化領域１１０と重なっている。「ＡＢＣ」の全体が表示されることに意味がある場合、変化領域１１０と重なっている「Ａ」のみを消去することは妥当でない。
On the other hand, as shown in FIG. 9B,
そこで、領域判断部４２は、空間的な距離又は時間的な距離に近い複数の手書きデータ８については、一部の手書きデータ８のみが変化領域１１０と重なっていても、空間的又は時間的に近い複数の手書きデータ８の全てが変化領域１１０と重なっているとみなす。空間的又は時間的に近い複数の手書きデータ８を「関連がある手書きデータ」と称する。
Therefore, the
時間的に近いか否かを判断する場合、領域判断部４２は、各ストロークの終了時刻と次のストロークの開始時刻の差が閾値未満又は閾値以下の場合、関連がある手書きデータであると判断する。例えば、「Ａ」の最後のストロークの終了時刻を時刻ｔＡ、「Ｂ」の最初のストロークの開始時刻を時刻ｔＢとする。
When judging whether or not the strokes are temporally close, if the difference between the end time of each stroke and the start time of the next stroke is less than or equal to a threshold, the
領域判断部４２は
ｔＢ－ｔＡ ＜ 閾値ΔＴ
ｔＢ－ｔＡ ≦ 閾値ΔＴ
の少なくともどちらかの場合、「Ａ」と「Ｂ」が、関連がある手書きデータであると判断する。「Ｂ」と「Ｃ」についても同様であり、この判断を繰り返すことで関連がある手書きデータを特定できる。
The
tB-tA ≤ threshold ΔT
, it is determined that "A" and "B" are related handwritten data. The same applies to "B" and "C", and by repeating this determination, related handwritten data can be identified.
空間的な距離が近いか否かを判断する場合、領域判断部４２は、各ストロークの座標と別のストロークの座標の最接近距離が閾値未満又は閾値以下の場合、関連がある手書きデータであると判断する。例えば、全ストロークから１対のストロークの組み合わせを全て抽出して最接近距離を算出する。
When determining whether or not the spatial distance is close, the
領域判断部４２はストローク間の最近接距離が
最近接距離 ＜ 閾値ΔＬ
最近接距離 ≦ 閾値ΔＬ
の少なくともどちらかの場合、１対のストロークが、関連がある手書きデータを構成していると判断する。この判断を全ての１対のストローク間で繰り返すことで関連がある手書きデータを特定できる。
The
closest distance ≤ threshold ΔL
, it is determined that the pair of strokes constitutes related handwritten data. Relevant handwritten data can be identified by repeating this determination between all pairs of strokes.
あるいは、重なっているストロークは、これらのストロークが、関連がある手書きデータを構成していると判断して、最近接距離の算出を省略すれば、処理負荷を低減できる。重なっている２つ以上のストロークを１つのグループと見なし、グループに属するストロークの最左、最右、最上及び最下の座標を有するストロークについてのみ、他のグループのストロークと距離を算出する。図９（ｂ）では「Ａ」「Ｂ」をグループと見なして、「Ａ」を構成するストロークの座標（ＸＡ，ＹＡ）と「Ｂ」を構成するストロークの座標（ＸＢ，ＹＢ）の距離を算出して、最接近距離を算出する。これにより、「Ａ」の最後のストロークと「Ｂ」の最初のストロークが関連していることが分かる。なお、文字認識を行って各文字の重心の距離を比較してもよい。 Alternatively, it is possible to reduce the processing load by determining that overlapping strokes constitute related handwritten data and omitting the calculation of the closest distance. Two or more overlapping strokes are regarded as one group, and only the strokes with the leftmost, rightmost, topmost and bottommost coordinates of the strokes belonging to the group are calculated for strokes and distances of other groups. In FIG. 9B, "A" and "B" are regarded as a group, and the distance between the coordinates (XA, YA) of the strokes forming "A" and the coordinates (XB, YB) of the strokes forming "B" is calculated to calculate the closest distance. This tells us that the last stroke of "A" and the first stroke of "B" are related. Alternatively, character recognition may be performed to compare the distances between the centers of gravity of the characters.
＜動作手順＞
・まず、「(i) 映像が静止画でありユーザが映像出力機器６を操作して映像を切り替える操作を行った場合。」又は「(ii) 映像出力機器６が送信する映像の一部又は全体が動画であり、ユーザが映像出力機器６を操作して動画を断続的に進めた場合。」について説明する。
<Operating procedure>
・First, “(i) the case where the video is a still image and the user operates the
図１０は、表示装置２が映像信号の変化に応じて、入力画像（Ｃ）と手書き画像（Ｂ）を保存する手順を示すフローチャート図の一例である。図１０は映像信号の入力中、繰り返し実行される。
FIG. 10 is an example of a flow chart showing a procedure for saving the input image (C) and the handwritten image (B) by the
変化領域特定部４１は、映像信号に変化があるか否かを判断する（Ｓ１）。映像信号の変化は映像全体の一部にでも変化があれば変化ありと判断される。ただし、メニュー用の領域など、映像信号のうち変化を検出しない領域が決まっていてもよい。これにより処理負荷を低減できる。
The changed
映像信号に変化があった場合（Ｓ１のＹｅｓ）、画像保存部３８は入力画像（Ｃ）と手書き画像（Ｂ）を１つの画像データ１０１として保存する（Ｓ２）。すなわち、映像信号に変化があったので変化前の入力画像（Ｃ）と手書き画像（Ｂ）を保存しておく。保存するのは映像信号の変化直前の入力画像（Ｃ）であるが、変化するまでは映像信号が変化していないので、入力画像（Ｃ）に関しては前回の変化から今回の変化の間のいずれかのタイミングで取得された入力画像（Ｃ）を保存すればよい。手書き画像（Ｂ）については映像信号の変化の直前のものが好ましい。
If there is a change in the video signal (Yes in S1), the
次に、領域判断部４２は変化領域１１０を特定する（Ｓ３）。また、領域判断部４２は変化領域１１０と重なっている手書きデータ８を特定する（Ｓ４）。
Next, the
領域判断部４２はステップＳ４の結果に応じて、変化領域１１０と手書きデータ８が重なっているか否かを判断する（Ｓ５）。
The
変化領域１１０と手書きデータ８が重なっていない場合（Ｓ５のＮｏ）、手書きデータ８は消去されない。
If the changed
変化領域１１０と手書きデータ８が重なっている場合（Ｓ５のＹｅｓ）、消去部４３は、変化領域１１０と重なっている手書きデータ８を消去する（Ｓ６）。
If the changed
こうすることで、映像信号に変化がある場合には、手書きデータ８と入力画像（Ｃ）を保存できるので、ユーザの操作に関する手間を低減できる。また、表示装置２は、入力画像（Ｃ）の変化を契機に手書きデータ８を消去するので、ユーザの操作に関する手間を低減できる。また、変化領域１１０と重なっている手書きデータ８だけを消去できるので、映像信号と関係の薄い手書きデータ８が残り、引き続きユーザは変化領域１１０と重なっていない手書きデータ８を見ながら議論できる。
By doing so, the
なお、図１０では、映像信号に変化があった場合、画像データ１０１は保存されるが、手書きデータは消去されない場合が生じ得る。これを避けるために、映像信号に変化があった場合に画像データ１０１を保存するのでなく、変化領域１１０と手書きデータ８が重なっている場合に画像データ１０１を保存してもよい。
Note that in FIG. 10, when there is a change in the video signal, the
また、図１０では映像信号と重なっている手書きデータ８のみを消去したが、図１１に示すように手書き画像（Ｂ）の全体を消去してもよい。図１１は、表示装置が映像信号の変化に応じて、入力画像と手書き画像を保存し、重なりの判断を行わず手書きデータを消去する手順を示すフローチャート図の一例である。
Also, in FIG. 10, only the
図１１では変化領域１１０の特定、及び、変化領域１１０と手書きデータ８の重なりの判断を行わずに、消去部４３が手書き画像（Ｂ）を消去している（Ｓ７）。
In FIG. 11, the erasing
こうすることで、手書き画像（Ｂ）の全体が消去されるので、映像信号の変化に応じてユーザが手書き画像（Ｂ）の全体を消去したい場合に、ユーザの操作に関する手間を低減できる。 By doing this, the entire handwritten image (B) is erased, so that when the user wants to erase the entire handwritten image (B) in accordance with a change in the video signal, the user's operation effort can be reduced.
あるいは、消去の前に表示装置２が、変化領域１１０と重なっている手書きデータ８を消去するのか、手書き画像（Ｂ）の全体を消去するのかをユーザに問い合わせてもよい。
Alternatively, before erasing, the
図１２は、表示装置２がディスプレイ３に表示する消去範囲受付画面１２０の一例である。消去範囲受付画面１２０は手書きデータを消去する消去範囲を受け付ける。消去範囲受付画面１２０はユーザがこの画面の表示をＯＮに設定している場合に表示される。映像信号に変化が検出されるとメニュー画像生成部３３は消去範囲受付画面１２０をディスプレイ３に表示する。消去範囲受付画面１２０は、「変化領域と重なっている手書きデータ」１２１、「全体」１２２、「消去しない」１２３のそれぞれの選択肢に対応するラジオボタン１２４を有している。ユーザは、消去したい範囲を考慮して適切なラジオボタン１２４を選択できる。
FIG. 12 shows an example of an erasing
・次に「(iii) 映像出力機器６が送信する映像の一部又は全体が動画であり、入力画像が動画の遷移によって変化する場合。」について説明する。
• Next, "(iii) When part or all of the video transmitted by the
動画のように連続的に変化する映像信号が入力された場合、図１０，図１１のステップＳ１の判断は常にＹｅｓとなる。しかし、動画の場合、動画の各フレーム（動画を構成する各画像）を保存すると保存容量を圧迫するおそれがある。そこで、表示装置２が映像信号に基づいて動画であるか否かを判断するとよい。動画であるかどうかは、連続したフレームの映像がほぼ常に変化するかどうかにより判断できる。すなわち、映像信号に変化があり、変化がある映像信号が一定数以上連続している場合に、変化領域特定部４１が動画であると判断できる。
When a video signal that changes continuously like a moving image is input, the determination in step S1 in FIGS. 10 and 11 is always YES. However, in the case of moving images, storing each frame of the moving image (each image forming the moving image) may increase the storage capacity. Therefore, it is preferable that the
図１３，図１４は、表示装置２が映像信号の変化に応じて、動画でない場合に、入力画像（Ｃ）と手書き画像（Ｂ）を保存する手順を示すフローチャート図の一例である。図１３、図１４の説明においては、図１０，図１１との相違を主に説明する。
13 and 14 are flowcharts showing an example of a procedure for saving the input image (C) and the handwritten image (B) when the
図１３，図１４では、ステップＳ１－２において、変化領域特定部４１が動画であるか否かを判断している。したがって、動画でない場合にのみ、入力画像（Ｃ）と手書き画像（Ｂ）を画像データ１０１にして保存し、変化領域１１０と重なっている手書きデータ８又は手書き画像（Ｂ）の全体を消去できる。
In FIGS. 13 and 14, at step S1-2, the changing
＜ディスプレイの一部のみに映像が表示される場合＞
図１５に示すように、ディスプレイ３の一部にだけ表示装置２が映像を表示する場合がある。図１５は、表示装置２による映像の表示方法の一例を示す。図１５の表示装置２は、左側が映像領域１３１で、右側が手書き領域１３２である。左右は逆でもよい。ユーザはディスプレイ３の全体に入力画像（Ｃ）を表示するか、一部にだけ表示するかを設定で変更できる。ディスプレイ３の一部にだけ表示装置２が入力画像（Ｃ）を表示する場合も同様に本実施例を適用できる。
<When the image is displayed only on part of the display>
As shown in FIG. 15, there are cases where the
表示装置２は、映像領域１３１の映像信号の変化を検出する。しかし、変化領域１１０と手書きデータ８は重なっていないので、表示装置２は手書きデータ８の全体を消去する。
The
＜まとめ＞
以上説明したように、本実施形態の表示装置２は、入力画像（Ｃ）の変化を契機に手書きデータ８と入力画像（Ｃ）を保存できるので、ユーザの操作に関する手間を低減できる。また、表示装置２は、入力画像（Ｃ）の変化を契機に手書きデータ８を消去するので、ユーザの操作に関する手間を低減できる。
<Summary>
As described above, the
なお、本実施例では映像出力機器６が１台の場合を説明したが、映像出力機器６は２台以上でもよい。この場合、ディスプレイ３が分割された複数の領域を有し、各領域に映像が表示される。表示装置２は、例えば領域ごとに映像信号の変化を検出して、実施例１と同様に処理する。
In addition, although the case where the number of
本実施例では、手書きデータ８をグループ化してグループ単位で消去する表示装置２について説明する。
In this embodiment, the
＜入力画像と手書き画像の保存の流れ＞
まず、図１６を用いて、本実施例の表示装置２が手書きデータ８を削除する概略を説明する。図１６は、手書きデータ８の画面遷移図の一例である。
・図１６（ａ）は表示装置２が手書きデータ８を表示していない状態を示す。入力画像（Ｃ）が明記されていないが、すでに入力画像（Ｃ）が入力されディスプレイ３の全体に表示されている。
・図１６（ｂ）はユーザが手書きしたため、２つの手書きデータ８ａ、８ｂが表示された手書き画像（Ｂ）を示す。上記のように、ページデータ記憶部３００には手書きデータ８ａ、８ｂの座標点、開始時刻、終了時刻等が記憶される。
・図１６（ｃ）は映像出力機器６が図１６（ａ）とは異なる映像信号を表示装置２に入力した状態を示す。例えば、映像の一部（動画を断続的に進めた）が変化した。図１６（ｃ）では矩形の変化領域１１０が示されている。実施例１と同様に、消去部４３は変化領域１１０と重なっている手書きデータ８のみを消去するが、図１６（ｃ）では変化領域１１０と重なっている手書きデータ８がないため、手書きデータ８は消去されない。表示装置２は実施例１と同様に、手書き画像（Ｂ）と手書きデータ８を画像データ１０１として保存する。
<Flow of saving input image and handwritten image>
First, the outline of deletion of the
- FIG. 16(a) shows a state in which the
- FIG. 16(b) shows a handwritten image (B) in which two pieces of
16(c) shows a state in which the
また、本実施例では、映像信号の変化を検出した場合、表示装置２が手書きデータ８をグループ化する。図１６（ｃ）では、映像信号が変化するまでの２つの手書きデータ８ａ、８ｂがグループ１にグループ化されている。
・図１６（ｄ）ではユーザが別の手書きデータ８ｃを手書きした状態を示す。図１６（ｄ）では映像信号に変化がない。
・図１６（ｅ）は映像出力機器６が図１６（ｃ）とは異なる映像信号を表示装置２に入力した状態を示す。図１６（ｅ）では矩形の変化領域１１０が示されている。図１６（ｅ）では変化領域１１０と重なっている手書きデータ８ａがあるため、表示装置２はこの手書きデータ８ａと同じグループ１の手書きデータ８を消去する。表示装置２は実施例１と同様に、手書き画像（Ｂ）と手書きデータ８を画像データ１０１として保存する。
Moreover, in this embodiment, the
- FIG. 16(d) shows a state in which the user has handwritten another
16(e) shows a state in which the
また、映像信号の変化を検出したので、表示装置２が手書きデータ８をグループ化する。図１６（ｅ）では、最後に映像信号が変化してから次に映像信号が変化するまでに手書きされた手書きデータ８ｃがグループ２にグループ化されている。
・図１６（ｆ）は、グループ１の手書きデータ８が削除された状態を示す。図１６（ｆ）では３つの手書きデータ８のうち変化領域１１０と重なっている手書きデータ８ａだけでなく、手書きデータ８ａと同じグループ１の手書きデータ８ｂが消去されている。
Also, since a change in the video signal is detected, the
- FIG. 16(f) shows a state in which the
このように、本実施例の表示装置２は、実施例１の効果に加え、映像信号の変化から次の変化までに手書きされた手書きデータ８をグループ化し、同じグループの手書きデータ８を削除するので、映像信号に対し手書きされた手書きデータ８をまとめて消去できる。つまり、手書きデータ８が入力画像（Ｃ）に対して行われる場合、映像信号が変化すれば変化までの手書きデータ８が不要になると考えられるが、映像信号の変化から次の変化までに手書きされた手書きデータ８をグループ化して消去することで、映像信号に関連がある手書きデータ８をユーザの手間を削減してまとめて消去できる。
As described above, the
＜機能について＞
図１７は、ページデータの自動的な保存と手書きデータ８の消去に関する表示装置２の機能をブロックに分けて説明する機能ブロック図の一例である。図１７の説明において、図６において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
<About functions>
FIG. 17 is an example of a functional block diagram for explaining functions of the
本実施例の表示装置２はグループ化部４５を有している。グループ化部４５は映像信号が最後に変化してから次に変化するまでの手書きデータ８をグループ化する。グループ化とは、手書きデータ８に識別情報を付与して他と区分することをいう。
The
図１８は、グループ化された手書き配列データを示す図の一例である。図１８ではst001とst002がグループ１に分類され、st003がグループ２に分類されている。グループ化部４５は、映像信号の変化のたびに、まだグループ化されていないストロークデータを同じグループにグループ化すればよい。
FIG. 18 is an example of a diagram showing grouped handwritten arrangement data. In FIG. 18, st001 and st002 are classified into
＜動作手順＞
図１９は、表示装置２が映像信号の変化に応じて、入力画像（Ｃ）と手書き画像（Ｂ）を保存する手順を示すフローチャート図の一例である。図１９の説明に関しては図１０との相違を主に説明する。図１９では、ステップＳ２－２が追加されている。
<Operation procedure>
FIG. 19 is an example of a flow chart showing a procedure for saving the input image (C) and the handwritten image (B) by the
映像信号が変化した場合、グループ化部４５は変化までの手書きデータ８をグループ化する（Ｓ２－２）。ステップＳ３～Ｓ５の処理は図１０と同様でよい。
When the video signal changes, the
ステップＳ６では、消去部４３は、変化領域１１０と重なっている手書きデータ８と同じグループの手書きでデータを消去する（Ｓ６）。
In step S6, the erasing
このように、表示装置２は映像信号に関係がある手書きデータ８をグループ化して、まとめて消去することができる。
In this way, the
＜一定時間ごとのグループ化＞
映像信号の変化に基づくグループ化の他に、一定時間ごとにグループ化してもよい。また、複数の基準でグループ化が可能な場合、ユーザがどの基準でグループ化するかを選択できるとよい。
<Grouping by fixed time>
In addition to grouping based on changes in the video signal, grouping may be performed at fixed time intervals. In addition, when grouping can be performed based on a plurality of criteria, it is preferable that the user can select which criterion is used for grouping.
図２０は、グループ化の基準を受け付けるグループ化設定画面１５０の一例である。グループ化設定画面１５０は、「映像信号の変化」１５１、「一定時間」１５２、「グループ化しない」１５３の各基準に対応づけてラジオボタン１５４を有している。ユーザは、自分がグループ化したい基準を選んでラジオボタン１５４を押下できる。
FIG. 20 is an example of a
図２１は、一定時間の経過ごとに手書きデータ８をグループ化して、表示装置２が映像信号の変化に応じて入力画像（Ｃ）と手書き画像（Ｂ）を保存する手順を示すフローチャート図の一例である。図２１の説明に関しては図１９との相違を主に説明する。図２１では、ステップＳ１０１、Ｓ１０２が追加されている。
FIG. 21 is an example of a flowchart showing a procedure for grouping the
グループ化部４５は一定時間が経過したか否かを判断する（Ｓ１０１）。一定時間は例えば数十秒から数分などでよい。この時間もユーザが設定できるとよい。
The
一定時間が経過すると、グループ化部４５は一定時間の間に手書きされた手書きデータ８をグループ化する（Ｓ１０２）。ステップＳ１～Ｓ６の処理は図１９と同様でよい。
After a certain period of time has elapsed, the
このように、表示装置２は一定時間ごとに手書きデータ８をグループ化して、まとめて消去することができる。
In this way, the
＜まとめ＞
以上説明したように、本実施例の表示装置２は、実施例１の効果に加え、映像信号の変化から次の変化までに手書きされた手書きデータ８をグループ化し、同じグループの手書きデータ８を削除するので、映像信号に関連して手書きされた手書きデータ８をまとめて消去できる。
<Summary>
As described above, the
本実施例では画像を投影することで表示する表示装置２について説明する。
In this embodiment, a
＜＜表示装置２の構成の別の例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。
<<Another example 1 of the configuration of the
Although the
図２２は、表示装置２の他の構成例を示す図である。図２２では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレイではなく、ユーザがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。
FIG. 22 is a diagram showing another configuration example of the
プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣ４００ー１から送信されてもよいし、プロジェクター４１１が記憶していてもよい。 The projector 411 has an ultra-short focal length optical system, and can project an image with little distortion on the whiteboard 413 from about 10 cm. This image may be transmitted from the PC 400 - 1 connected wirelessly or by wire, or may be stored in the projector 411 .
ユーザは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きデータ８が描画（投影）される。
The user writes by hand on the whiteboard 413 using the dedicated electronic pen 2501 . The electronic pen 2501 has a light-emitting portion, for example, at its tip, which is turned on when the user presses it against the whiteboard 413 for handwriting. Since the wavelength of light is in the near infrared or infrared, it is invisible to the user's eyes. The projector 411 has a camera, captures an image of the light emitting unit, analyzes the image, and identifies the direction of the electronic pen 2501 . Also, the electronic pen 2501 emits light and emits sound waves, and the projector 411 calculates the distance based on the arrival time of the sound waves. The position of the electronic pen 2501 can be identified by the direction and distance.
プロジェクター４１１はメニュー４３０を投影するので、ユーザが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザが手書きしたデータ（座標の集合）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバ４１２又はＵＳＢメモリ５等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。
Since the projector 411 projects the menu 430, when the user presses a button with the electronic pen 2501, the projector 411 identifies the pressed button based on the position of the electronic pen 2501 and the ON signal of the switch. For example, when the save button 431 is pressed, the data (set of coordinates) handwritten by the user is saved in the projector 411 . The projector 411 stores the handwritten information in a predetermined server 412,
＜＜表示装置２の構成の別の例２＞＞
図２３は、表示装置２の他の構成例を示す図である。図２３の例では、表示装置２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。
<<Another example 2 of the configuration of the
FIG. 23 is a diagram showing another configuration example of the
端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。
The
ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し、端末装置６００へ送信する。
The pen
端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書き画像（Ｂ）の画像データを生成し、画像投影装置７００Ａによって手書き画像（Ｂ）をスクリーン８００に描画させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像（Ｄ）と、電子ペン８２０によって入力された手書き画像（Ｂ）とを合成した重畳画像を示す重畳画像データを生成する。
In addition, the
＜＜表示装置２の構成の別の例３＞＞
図２４は、表示装置２の構成例を示す図である。図２４の例では、表示装置２として、端末装置６００とディスプレイ８００Ａと、ペン動作検出装置８１０とを有する。
<<Another example 3 of the configuration of the
FIG. 24 is a diagram showing a configuration example of the
ペン動作検出装置８１０は、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し、端末装置６００へ送信する。なお、図２４の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。
Pen
端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書き画像（Ｂ）の画像データを生成し、ディスプレイ８００Ａに表示させる。
＜＜表示装置２の構成の別の例４＞＞
図２５は、表示装置２の構成例を示す図である。図２５の例では、表示装置２として、端末装置６００と、画像投影装置７００Ａとを有する。
<<Another example 4 of the configuration of the
FIG. 25 is a diagram showing a configuration example of the
端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書き画像（Ｂ）の画像データを生成し、画像投影装置７００Ａに手書き画像（Ｂ）を投影させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像（Ｄ）と、電子ペン８２０によって入力された手書き画像（Ｂ）とを合成した重畳画像を示す重畳画像データを生成する。
In addition, the
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。 As described above, each of the above-described embodiments can be applied in various system configurations.
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
Although the best mode for carrying out the present invention has been described above using examples, the present invention is not limited to such examples in any way, and various modifications and replacements can be made without departing from the scope of the present invention.
例えば、本実施形態では、電子黒板として使用できる表示装置２を説明したが、表示装置２は画像を表示できればよく、例えばデジタルサイネージなどでもよい。
For example, in the present embodiment, the
また、表示する画像は動画でも静止画でもよい。 Moreover, the image to be displayed may be a moving image or a still image.
また、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。 Further, although the electronic blackboard has been described as an example in the present embodiment, any information processing apparatus having a touch panel can be suitably applied. The information processing device equipped with a touch panel may be, for example, a PJ (projector), an output device such as a digital signage, a HUD (Head Up Display) device, an industrial machine, an imaging device, a sound collector, a medical device, a network home appliance, a notebook PC (Personal Computer), a mobile phone, a smartphone, a tablet terminal, a game machine, a PDA (Personal Digital Assistant), a digital camera, a wearable PC, or a desktop PC.
また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡を手書きデータ８としてプロジェクターが描画（投影）する。
Further, in the present embodiment, the coordinates of the pen tip are detected by the method of detecting the coordinates of the pen tip with the touch panel, but the coordinates of the pen tip may be detected by ultrasonic waves. The pen emits light and emits ultrasonic waves, and the
また、図６などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
Further, the configuration examples in FIG. 6 and the like are divided according to main functions in order to facilitate understanding of the processing by the
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。 Also, each function of the embodiments described above can be realized by one or more processing circuits. Here, the "processing circuit" in this specification includes a processor programmed to execute each function by software, such as a processor implemented by an electronic circuit, and devices such as ASIC (Application Specific Integrated Circuit), DSP (digital signal processor), FPGA (field programmable gate array) and conventional circuit modules designed to execute each function described above.
１ 画像処理システム
２ 表示装置
３ ディスプレイ
1
Claims (10)
前記映像出力機器から時間的に前に入力された映像信号に対し時間的に後に入力された映像信号が変化した場合、前記手書きデータを画面から消去する消去部と、
前記映像信号が変化した変化領域を特定する変化領域特定部と、を有し、
前記変化領域特定部は、前記映像が動画でない場合にのみ、前記映像信号が変化した変化領域を特定し、
前記消去部は、前記変化領域と一部でも重なっている前記手書きデータを画面から消去することを特徴とする表示装置。 A display device for displaying video input from a video output device and handwritten data based on a contact position of an input means on a screen,
an erasing unit for erasing the handwritten data from the screen when the video signal temporally input later from the video output device changes with respect to the temporally earlier input video signal;
a changed region identifying unit that identifies a changed region in which the video signal has changed;
The changing region specifying unit specifies a changing region in which the video signal has changed only when the video is not a moving image,
The display device, wherein the erasing unit erases from the screen the handwritten data that even partially overlaps the change area .
前記消去範囲受付画面で前記変化領域と重なっている手書きデータの選択を受け付けた場合、前記消去部は、前記変化領域と一部でも重なっている手書きデータを消去し、
前記消去範囲受付画面で画面の全体の選択を受け付けた場合、前記消去部は、画面に表示されている手書きデータの全体を消去することを特徴とする請求項２又は３に記載の表示装置。 displaying an erasing range acceptance screen for accepting an erasing range in which the erasing unit erases the handwritten data;
When a selection of handwritten data that overlaps with the changed area is accepted on the erase range acceptance screen, the erasing unit erases the handwritten data that even partially overlaps with the changed area,
4. The display device according to claim 2, wherein when selection of the entire screen is accepted on the erasure range acceptance screen, the erasing unit erases the entire handwritten data displayed on the screen.
前記消去部は、前記変化領域と一部でも重なっている手書きデータと同じグループの手書きデータをまとめて消去することを特徴とする請求項２～４のいずれか１項に記載の表示装置。 Having a grouping unit for grouping a plurality of handwritten data,
5. The display device according to any one of claims 2 to 4 , wherein the erasing unit collectively erases handwritten data in the same group as handwritten data that partially overlaps with the change area.
前記消去部は、前記変化領域と一部でも重なっている手書きデータと同じグループの手書きデータをまとめて消去することを特徴とする請求項５に記載の表示装置。 The grouping unit groups handwritten data handwritten from when the video signal last changed to when the video signal next changed into the same group,
6. The display device according to claim 5 , wherein the erasing unit collectively erases the handwritten data in the same group as the handwritten data even partially overlapping the change area.
前記消去部は、前記変化領域と一部でも重なっている手書きデータと同じグループの手書きデータをまとめて消去することを特徴とする請求項５に記載の表示装置。 The grouping unit groups handwritten data handwritten within a certain period of time into the same group,
6. The display device according to claim 5 , wherein the erasing unit collectively erases the handwritten data in the same group as the handwritten data even partially overlapping the change area.
前記グループ化設定画面で前記映像信号の変化を基準とする設定を受け付けた場合、前記グループ化部は、最後に前記映像信号が変化してから次に前記映像信号が変化するまでに手書きされた手書きデータを同じグループにグループ化し、
前記グループ化設定画面で一定時間を基準とする設定を受け付けた場合、一定時間が経過するまでに手書きされた手書きデータを同じグループにグループ化することを特徴とする請求項５～７のいずれか１項に記載の表示装置。 displaying a grouping setting screen that accepts a change in the video signal or a certain period of time as a criterion for grouping;
When a setting based on a change in the video signal is accepted on the grouping setting screen, the grouping unit groups handwritten data handwritten from the last change in the video signal to the next change in the video signal into the same group,
8. The display device according to any one of claims 5 to 7 , wherein when a setting based on a certain time is accepted on the grouping setting screen, handwritten data handwritten until the certain time elapses are grouped into the same group.
前記映像出力機器から時間的に前に入力された映像信号に対し時間的に後に入力された映像信号が変化した場合、消去部が、前記手書きデータを画面から消去する処理と、
変化領域特定部が、前記映像が動画でない場合にのみ、前記映像信号が変化した変化領域を特定する処理と、を有し、
前記消去する処理において、前記消去部は、前記変化領域と一部でも重なっている前記手書きデータを画面から消去することを特徴とする表示方法。 A display method performed by a display device that displays handwritten data based on a video input from a video output device and a contact position of an input means on a screen,
a process in which an erasing unit erases the handwritten data from the screen when the video signal temporally input later from the video output device changes with respect to the video signal temporally input;
a changing region specifying unit specifying a changing region in which the video signal has changed only when the video is not a moving image;
The display method , wherein in the erasing process, the erasing unit erases from the screen the handwritten data that even partially overlaps the changed area.
前記映像出力機器から時間的に前に入力された映像信号に対し時間的に後に入力された映像信号が変化した場合、前記手書きデータを画面から消去する消去部と、
前記映像信号が変化した変化領域を特定する変化領域特定部、として機能させ、
前記変化領域特定部は、前記映像が動画でない場合にのみ、前記映像信号が変化した変化領域を特定し、
前記消去部は、前記変化領域と一部でも重なっている前記手書きデータを画面から消去するためのプログラム。 A display device that displays handwritten data based on the image input from the image output device and the contact position of the input means with respect to the screen,
an erasing unit for erasing the handwritten data from the screen when the video signal temporally input later from the video output device changes with respect to the temporally earlier input video signal;
Functioning as a changed region specifying unit that specifies a changed region in which the video signal has changed,
The changing region identification unit identifies a changing region in which the video signal has changed only when the video is not a moving image,
The erasing unit is a program for erasing from the screen the handwritten data that even partially overlaps the change area .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019156173A JP7314719B2 (en) | 2019-08-28 | 2019-08-28 | Display device, display method, program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019156173A JP7314719B2 (en) | 2019-08-28 | 2019-08-28 | Display device, display method, program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021033885A JP2021033885A (en) | 2021-03-01 |
| JP7314719B2 true JP7314719B2 (en) | 2023-07-26 |
Family
ID=74678732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019156173A Active JP7314719B2 (en) | 2019-08-28 | 2019-08-28 | Display device, display method, program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7314719B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000113208A (en) | 1998-09-30 | 2000-04-21 | Toshiba Corp | Information presentation method, information presentation device, and recording medium |
| JP2011227800A (en) | 2010-04-22 | 2011-11-10 | Sharp Corp | Electronic equipment, displaying method and displaying program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69333096T2 (en) * | 1992-04-15 | 2004-02-12 | Xerox Corp. | Devices and methods for graphic drawing and output |
-
2019
- 2019-08-28 JP JP2019156173A patent/JP7314719B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000113208A (en) | 1998-09-30 | 2000-04-21 | Toshiba Corp | Information presentation method, information presentation device, and recording medium |
| JP2011227800A (en) | 2010-04-22 | 2011-11-10 | Sharp Corp | Electronic equipment, displaying method and displaying program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021033885A (en) | 2021-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10389975B2 (en) | Communication terminal, communication system, moving-image outputting method, and recording medium storing program | |
| US20180082663A1 (en) | Information processing apparatus, image displaying method, and non-transitory computer readable medium | |
| WO2016174845A1 (en) | Information processing apparatus, and image displaying method | |
| CN108733296B (en) | Method, device and device for erasing handwriting | |
| JP2019159261A (en) | Electronic blackboard, picture display method, and program | |
| US20160300321A1 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
| JP6540367B2 (en) | Display control apparatus, communication terminal, communication system, display control method, and program | |
| JP2016173452A (en) | Projector and display control method | |
| US11675496B2 (en) | Apparatus, display system, and display control method | |
| JP2022138285A (en) | Display device, display method and program | |
| JP6729028B2 (en) | Information processing device, electronic blackboard, program | |
| JP7338330B2 (en) | Display device, display method, program | |
| JP7143642B2 (en) | shared terminal, writing method, program | |
| CN107479729A (en) | Touch point positioning method, device and system, display terminal and writing pen | |
| JP7314719B2 (en) | Display device, display method, program | |
| US10545649B2 (en) | Information processing apparatus, display control method for information processing apparatus, and storage medium | |
| JP7683253B2 (en) | Display device, program, conversion method, and display system | |
| JP7484568B2 (en) | Display device, display method, and program | |
| CN111913639A (en) | Interactive method, device, system, terminal device and storage medium for virtual content | |
| JP7279425B2 (en) | DISPLAY DEVICE, DISPLAY SYSTEM, OPERATING MODE CONTROL METHOD, AND PROGRAM | |
| JP7306190B2 (en) | Display device, display method, program | |
| JP2022087633A (en) | Display device, erasing method switching method, program | |
| JP7331578B2 (en) | Display device, image display method, program | |
| JP2014238449A (en) | Image processor | |
| JP7342501B2 (en) | Display device, display method, program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220622 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230626 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7314719 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |