JP7230331B2 - 管理システム、情報処理システム、管理方法及びプログラム - Google Patents

Description

本発明は、管理システム、情報処理システム、管理方法及びプログラムに関する。

近年、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを搭載する電子機器が増えてきている。

タッチスクリーンディスプレイによる入力操作は、電子機器に対して動作指示を与えることに加えて、手書きで文書を入力する用途にも使われている（以下、手書きで文書等を入力可能な機能を手書き入力機能と記す）。そのため手書き入力機能と共に、文字認識機能を有する電子機器では、手書き入力された文書に対応するテキストデータを得ることができる（例えば特許文献１参照）。

従来の電子機器では、ユーザが手書き入力機能を利用し、決められた記入欄に手書き入力を行っていた。決められた記入欄が狭い場合、ユーザが手書き入力機能を利用して手書き入力した筆跡（ストローク）は記入欄をはみ出してしまう場合がある。このように手書き入力されたストロークをテキスト化すると、従来の電子機器は、記入欄の大きさに適した文字サイズのテキストデータを入力できない場合があるという問題があった。

本発明の実施の形態は、入力されたストローク情報をドキュメントの記入欄に応じた文字サイズでテキスト化できる管理システムを提供することを目的とする。

上記した課題を達成するために本願請求項１は、端末とネットワークを介して通信可能な管理システムであって、ドキュメントを識別するドキュメント識別情報と、前記ドキュメントにおいて手書き入力が必要な１つ以上の記入欄の領域情報と、を対応づけて記憶する第１の記憶手段と、前記端末から、前記ドキュメント識別情報と、前記端末上で入力されたストローク情報とを受信する受信手段と、前記受信手段により受信した前記ドキュメント識別情報と対応する前記第１の記憶手段が記憶する前記１つ以上の記入欄の領域情報と、前記受信手段により受信した前記ストローク情報とに基づき、前記ストローク情報をテキスト化した場合の文字サイズを決定する決定手段と、前記決定手段により決定された文字サイズで前記ストローク情報をテキスト化するテキスト化手段と、を有し、前記決定手段は、前記受信手段により受信した前記ストローク情報の第１画目の開始位置及び終了位置と前記１つ以上の記入欄の領域情報とに基づいて、前記１つ以上の記入欄から前記ストローク情報の第１画目の開始位置及び終了位置が入っている前記記入欄を前記ストローク情報が入力された前記記入欄として選択するとともに、前記記入欄の文字入力方向のサイズを前記ストローク情報をテキスト化した場合の文字数により除算した第１の文字サイズと、前記記入欄の前記文字入力方向と垂直方向の第２の文字サイズと、を比較し、小さい方をテキスト変換後の文字サイズとして決定することを特徴とする。

本発明の実施の形態によれば、入力されたストローク情報をドキュメントの記入欄に応じた文字サイズでテキスト化できる。

第１の実施形態に係る情報処理システムの一例の構成図である。 本実施形態に係る伝送端末の一例のハードウェア構成図である。 本実施形態に係るコンピュータの一例のハードウェア構成図である。 第１の実施形態に係る情報処理システムの一例の機能構成図である。 伝送端末が表示するドキュメントの一例のイメージ図である。 資料情報ＤＢに保存されるドキュメントに関する情報の一例の構成図である。 ドキュメント層、テキスト層及びストローク層の一例の概念図である。 ユーザによるストローク記述時の処理の一例のシーケンス図である。 記入欄のサイズを認識する処理について説明する為の図である。 ストロークが記述された記入欄を特定する処理について説明する為の図である。 ストローク情報の一例の構成図である。 顧客がドキュメントに手書き入力する手順を含む一例のシーケンス図である。 顧客情報ＤＢに保存されるデータの一例の構成図である。

以下、本発明の実施形態について図面を参照しながら説明する。
［第１の実施形態］
＜システム構成＞
図１は、第１の実施形態に係る情報処理システムの一例の構成図である。図１の情報処理システム１は、管理システム１０と１台以上の伝送端末２０とがインターネットやＬＡＮなどの通信ネットワーク３０を介して通信可能に接続されている。また、管理システム１０は伝送管理システム１２と情報管理システム１４とを有する構成である。伝送管理システム１２は１台以上の伝送管理サーバ装置１６を有する構成である。情報管理システム１４は１台以上の情報管理サーバ装置１８を有する構成である。

情報管理サーバ装置１８は、伝送端末２０を操作するユーザである顧客の情報、伝送端末２０に表示させるドキュメント、そのドキュメントに関する情報などの記憶及び管理を行う。情報管理サーバ装置１８が記憶及び管理するドキュメントは、手書き入力が必要な１つ以上の記入欄が設けられている。

伝送端末２０は情報管理サーバ装置１８に記憶されているドキュメントを伝送管理システム１２経由で受信し、表示する。伝送端末２０は手書き入力機能を有し、表示されているドキュメントの記入欄に対するストローク情報の入力をユーザから受け付ける。伝送端末２０は、ユーザから入力を受け付けたストローク情報を伝送管理サーバ装置１６に送信する。なお、ストローク情報とは伝送端末２０に対して手書き入力が行われた場合において、ユーザに手書き入力された一画毎の軌跡を示す点群の座標情報である。また、伝送端末２０は伝送管理サーバ装置１６においてストローク情報からテキスト化されたテキストを、後述のようにドキュメントの記入欄に表示する。伝送端末２０は手書き入力機能により入力されたストローク情報を送信する端末の一例である。

伝送管理サーバ装置１６は情報管理サーバ装置１８に記憶されているドキュメントを伝送端末２０に送信する。伝送管理サーバ装置１６は、伝送端末２０がユーザから入力を受け付けたストローク情報を受信する。伝送管理サーバ装置１６は、受信したストローク情報の文字サイズを後述のように決定し、その文字サイズでストローク情報をテキスト化してドキュメントの記入欄に表示させる。

なお、伝送端末２０は例えばビデオ会議用の端末により実現できる。伝送管理サーバ装置１６は例えばビデオ会議用のサーバ装置により実現できる。伝送管理サーバ装置１６と伝送端末２０とは、ビデオ会議にかかる映像及び音声データを送受信する。

なお、伝送管理システム１２を構成する伝送管理サーバ装置１６は複数台のサーバ装置で構成されていてもよく、どのサーバ装置に機能を備えさせてもよい。また、情報管理システム１４を構成する情報管理サーバ装置１８は複数台のサーバ装置で構成されていてもよく、どのサーバ装置に機能を備えさせてもよい。

なお、図１に示す情報処理システム１の構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えば図１の情報処理システム１の管理システム１０は伝送管理システム１２と情報管理システム１４とを分離した構成を一例として示したが、伝送管理システム１２と情報管理システム１４とを一体化した管理装置として構成してもよい。また、図１の情報処理システム１は伝送管理システム１２の機能の少なくとも一部を情報管理システム１４や他の情報処理システムに備える構成や、情報管理システム１４の機能の少なくとも一部を伝送管理システム１２や他の情報処理システムに備える構成であってもよい。

＜ハードウェア構成＞
《伝送端末》
図２は、本実施形態に係る伝送端末の一例のハードウェア構成図である。図２に示されているように、本実施形態の伝送端末２０は、通話端末１００とディスプレイ１２０とを有する構成である。

通話端末１００は、通話端末１００全体の動作を制御するＣＰＵ(Central Processing Unit)１０１、ＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３、通話端末１００用のプログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、通話端末１００の宛先を選択する場合などに操作される操作ボタン１０８、通話端末１００の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、通信ネットワーク３０を利用してデータ伝送をするためのネットワークＩ／Ｆ(Interface)１１１を備えている。

また、通話端末１００は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０との間で各種データを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、及び上記各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

ディスプレイ１２０は、手書き入力機能を有する表示装置の一例である。ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続される。ディスプレイ１２０が有する手書き入力機能は、ディスプレイ１２０上に電子ペンやユーザの手等が接触したことを検知する接触センサを備える。接触センサは、電子ペンやユーザの手等の接触位置の軌跡を、手書き入力した筆跡（ストローク）として出力できる。このように伝送端末２０はディスプレイ１２０の手書き入力機能により入力されたストローク情報を取得できる。

カメラ１１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)や、ＣＣＤ（Charge Coupled Device）等が用いられる。

外部機器接続Ｉ／Ｆ１１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ電気的に接続可能である。外付けカメラが接続された場合には、ＣＰＵ１０１の制御に従って、内蔵型のカメラ１１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ１０１の制御に従って、それぞれが内蔵型のマイク１１４や内蔵型のスピーカ１１５に優先して、外付けマイクや外付けスピーカが駆動する。

記録メディア１０６は、通話端末１００に対して着脱自在な構成である。フラッシュメモリ１０４はＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリの一例であって、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。

《コンピュータ》
伝送管理サーバ装置１６及び情報管理サーバ装置１８は例えば図３に示すハードウェア構成のコンピュータにより実現される。図３は、本実施形態に係るコンピュータの一例のハードウェア構成図である。

図３のコンピュータは、全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、プログラム等の各種データを記憶するＨＤ２０４、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、各種情報を表示するディスプレイ２０８、通信ネットワーク３０を利用してデータ通信するためのネットワークＩ／Ｆ２０９、入力のための複数のキーを備えたキーボード２１１、マウス２１２、着脱可能な記録媒体の一例としてのＣＤ－ＲＯＭ(Compact Disc Read Only Memory)２１３に対する各種データの読み出し又は書き込みを制御するＣＤ－ＲＯＭドライブ２１４、及び、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。

＜ソフトウェア構成＞
第１の実施形態に係る情報処理システム１は、例えば図４に示す機能構成により実現される。図４は第１の実施形態に係る情報処理システムの一例の機能構成図である。図４の機能構成は、本実施形態の説明に不要な構成について適宜省略している。

図４に示す情報処理システム１の情報管理システム１４は一台以上のコンピュータでプログラムを実行することにより実現される。情報管理システム１４は、送受信部７１、記憶・読出処理部７２、顧客情報管理部７３、資料管理部７４、記憶部７５を有する構成である。また、記憶部７５は顧客情報ＤＢ７６、資料ストレージ７７、資料情報ＤＢ７８を有する。

顧客情報ＤＢ７６は顧客の名前、住所などのデータを保存する。資料ストレージ７７はユニークなドキュメントＩＤ（ドキュメント識別情報の一例）が付与された申込書などのドキュメントを保存する。資料情報ＤＢ７８はドキュメントＩＤと紐付けて各ドキュメントに関する情報を保存する。送受信部７１は伝送管理システム１２との通信を制御する。送受信部７１は受信したリクエストを内容に応じて顧客情報管理部７３又は資料管理部７４に転送する。

顧客情報管理部７３はリクエスト内容に応じて、顧客情報ＤＢ７６からデータを読み出したり、顧客情報ＤＢ７６へデータを書き込んだりする。資料管理部７４はリクエスト内容に応じて、資料ストレージ７７からドキュメントを読み出したり、資料ストレージ７７へドキュメントを書き込んだりする。また、資料管理部７４はリクエスト内容に応じて、資料情報ＤＢ７８からドキュメントに関する情報を読み出したり、資料情報ＤＢ７８へドキュメントに関する情報を書き込んだりする。なお、顧客情報管理部７３及び資料管理部７４は記憶部７５からの読み出し操作や記憶部７５への書き込み操作を、記憶・読出処理部７２介して行う。

また、情報処理システム１の伝送管理システム１２は一台以上のコンピュータでプログラムを実行することにより実現される。伝送管理システム１２は、記憶部５１、記憶・読出処理部５２、会議制御部５３、送受信部５４、手書き処理部５５、ＯＣＲ処理部５６を有する。また、記憶部５１はストロークストレージ５７を有する。伝送管理システム１２はビデオ会議にかかる映像及び音声データの送受信や、ストローク情報の表示などを司るシステムである。

ビデオ会議用の映像及び音声データは、送受信部５４を介して会議制御部５３で処理される。伝送端末２０からのストローク情報は、送受信部５４を介して手書き処理部５５へ転送される。なお、ストローク情報はユーザが手書き入力機能を利用して手書き入力した筆跡を表している。手書き処理部５５は後述するようにストロークの表示制御を行う。

ＯＣＲ処理部５６はストローク情報を数字や文字などのテキストにテキスト化するＯＣＲ処理を行う。記憶部５１のストロークストレージ５７は、ＯＣＲ処理を行うストローク情報を一時的に保存する。なお、会議制御部５３、手書き処理部５５、ＯＣＲ処理部５６は記憶部５１からの読み出し操作や記憶部５１への書き込み操作を、記憶・読出処理部５２介して行う。

さらに、情報処理システム１の伝送端末２０はプログラムを実行することにより実現される。伝送端末２０は、操作入力受付部６１、表示制御部６２、記憶・読出処理部６３、記憶部６４、送受信部６５を有する。伝送端末２０は、ビデオ会議にかかる映像及び音声データを、送受信部６５を介して伝送管理システム１２へ送信する。

操作入力受付部６１はユーザが手書き入力機能を利用して入力した手書き情報であるストローク情報を認識し、送受信部６５を介して伝送管理システム１２へ送信する。表示制御部６２は送受信部６５を介して受信したビデオ会議にかかる映像データの表示制御や音声データの再生制御を行う。また、表示制御部６２はドキュメントの表示制御、ドキュメントへのストロークやテキストの表示制御を行う。なお、操作入力受付部６１、表示制御部６２は記憶部６４からの読み出し操作や記憶部６４への書き込み操作を、記憶・読出処理部６３介して行う。

＜処理＞
第１の実施形態に係る情報処理システム１は、例えば以下に示す手順で、手書き入力が必要な記入欄のあるドキュメントへの手書き入力をユーザから受け付け、その手書き入力のストロークをテキスト化して記入欄に表示する。

《ドキュメント例》
図５は伝送端末が表示するドキュメントの一例のイメージ図である。図５のドキュメントは一例として申込書のイメージを表している。図５のドキュメントは氏名、住所、ふりがな等の記入欄が、手書き入力が必要な記入欄となる。図５のようなドキュメントは情報管理システム１４の資料ストレージ７７にユニークなドキュメントＩＤが付与されて保存される。

次に、図５のドキュメントにおける氏名の記入欄（氏名欄）を題材とし、情報管理システム１４の資料情報ＤＢ７８に保存されるドキュメントに関する情報の内容について説明する。例えば図５に示すように、ドキュメントに向かって右方向をｘ軸、上方向をｙ軸と設定する。

また、記入欄の左上位置の座標を（ｘ１、ｙ１）と定義する。記入欄の右下位置の座標を（ｘ２、ｙ２）と定義する。ここで、図５のドキュメントのドキュメントＩＤを「００１」と定義する。また、図５のドキュメントの氏名欄を一意に識別する記入欄ＩＤを「１００」と定義する。

さらに、氏名欄の左上位置の座標を（１００、６００）と定義する。氏名欄の右下位置の座標を（２００、５５０）と定義する。氏名欄の上のふりがな欄の記入欄ＩＤを「１２０」と定義し、ふりがな欄の左上位置の座標を（１００、６２０）と定義し、ふりがな欄の右下位置の座標を（２００、５５０）と定義する。

また、氏名欄に入力される文字種類（文字タイプ）を「日本語」と定義する。氏名欄の上のふりがな欄に入力される文字種類（文字タイプ）を「ひらがな」と定義する。上記のような情報を、ドキュメントの手書き入力が必要な記入欄の全てに対して定義する。

例えば図５のドキュメントの氏名欄、及び、氏名欄の上のふりがな欄の場合、資料情報ＤＢ７８に保存されるドキュメントに関する情報は、例えば図６に示すようになる。図６は資料情報ＤＢに保存されるドキュメントに関する情報の一例の構成図である。資料情報ＤＢ７８に保存されるドキュメントに関する情報には、例えば図６に示すようにドキュメントＩＤと記入欄ＩＤとに対応付けて、記入欄の左上位置及び右下位置の座標と文字タイプとが定義されている。

以上のように、図６のドキュメントに関する情報は、ドキュメントの手書き入力が必要な記入欄の領域と、その記入欄に入力される文字タイプと、を定義している。ドキュメントに関する情報は記入欄の領域情報の一例である。

《ドキュメントの表示例》
伝送端末２０においてドキュメントは、例えば図７に示すようなドキュメント層、テキスト層及びストローク層を利用してドキュメント上へのストローク及びテキストの表示を可能としている。

図７は、ドキュメント層、テキスト層及びストローク層の一例の概念図である。図７の例ではドキュメント層の上にテキスト層が設けられ、テキスト層の上にストローク層が設けられている。ドキュメント層はドキュメントを表示する。ストローク層はユーザにより手書き入力されたストロークを表示する。テキスト層は手書き入力されたストロークをテキスト化して表示する。

なお、ストロークの表示や、ストロークをテキストに変換するＯＣＲ処理は、伝送管理システム１２で実行される。伝送管理システム１２では、ドキュメントＩＤに対応付けられたドキュメント層、テキスト層及びストローク層の画像データを重畳して、１枚の画面データとして結合し、伝送端末２０に送信する。

伝送端末２０は、伝送管理システム１２においてドキュメントＩＤに対応付けられたドキュメント層、テキスト層及びストローク層の画像データが結合された１枚の画面データを表示することで、ドキュメント上へのストローク及びテキストの表示が可能となる。

《ユーザによるストローク記述時の処理》
図８はユーザによるストローク記述時の処理の一例のシーケンス図である。なお、図８のシーケンス図の処理の前に、ユーザは伝送端末２０を操作し、ドキュメントを表示済みであるとする。ここでは、伝送端末２０に図５の申込書のドキュメントが表示されている場合の処理について説明する。

ユーザが伝送端末２０の手書き入力機能を利用してドキュメント上にストロークを記述すると、伝送端末２０の操作入力受付部６１はストロークの座標情報を認識する。座標情報の認識は、例えば１０ｍｓ～１００ｍｓ程度で周期的に実行される。座標情報の認識の周期が短いほど、ストロークは滑らかになる一方で、データ量が多くなる傾向にある。

例えばユーザがストロークの記述を開始し、一度、ドキュメントを表示するディスプレイ１２０からペンや指が離れたことを契機として、操作入力受付部６１はステップＳ１１でストローク情報を伝送管理システム１２に送信する。

伝送管理システム１２の手書き処理部５５は伝送端末２０から受信したストローク情報に基づいて、ストロークを図７に示したストローク層に表示する。ここで、例えば漢字などの文字は、１文字が複数のストロークにより構成される場合があり、ＯＣＲ処理を開始する契機が必要となる。

したがって、本実施形態ではユーザがストロークの記述を開始し、一度、ドキュメントを表示するディスプレイ１２０からペンや指が離れた後、一定時間、ストロークの記述が無かった場合にＯＣＲ処理を開始することとする。この一定時間は、例えば２秒～５秒程度が想定される。上記した一定時間を認識するため、伝送端末２０からストローク情報を受信した伝送管理システム１２の手書き処理部５５は、ステップＳ１２においてタイマリセットを行う。

ステップＳ１２に続いてステップＳ１３に進み、手書き処理部５５は伝送端末２０から受信したストローク情報に基づいて、ストロークをストローク層に表示する。ステップＳ１４に進み、会議制御部５３は周期的に、ドキュメント層、テキスト層及びストローク層の画像データを重畳して、１枚の画面データとして結合し、伝送端末２０に送信する。

この伝送端末２０への画面データの送信周期については、例えば１／３０秒周期（３０ｆｐｓ）などが考えられる。ステップＳ１５～Ｓ１８の処理はステップＳ１１～Ｓ１４の処理と同様であるため、説明を省略する。

伝送端末２０からストローク情報を受信してから一定時間が経過すると、伝送管理システム１２ではステップＳ１９において、例えばタイマによる割り込み処理などによりタイムアウトが発生したことを認識し、ストロークからテキストへの変換処理を開始する。

以下では、ストロークからテキストへの変換処理について説明する。ステップＳ２０に進み、手書き処理部５５はドキュメントＩＤを指定して情報管理システム１４にドキュメントに関する情報を要求する。ステップＳ２１に進み、手書き処理部５５はステップＳ２０で指定したドキュメントＩＤに対応するドキュメントに関する情報を受信する。

ステップＳ２２に進み、手書き処理部５５は記憶・読出処理部５２を介して記憶部５１からストローク情報を取得し、そのストローク情報に基づき、ストロークが書き込まれた位置（ストローク位置）を認識する。

ステップＳ２３に進み、手書き処理部５５はステップＳ２１で情報管理システム１４から受信したドキュメントに関する情報と、ステップＳ２２で認識したストローク位置とに基づき、ストロークが記述された記入欄（入力欄）を特定する。なお、ステップＳ２３の処理の詳細は後述する。

ステップＳ２４に進み、手書き処理部５５はステップＳ２１で情報管理システム１４から受信したドキュメントに関する情報の「文字タイプ」に基づき、ステップＳ２３で特定された記入欄の文字種類を確認し、ＯＣＲ種類を特定する。例えば図５のドキュメントに対応した図６のドキュメントに関する情報では氏名欄へのストロークの記述であればＯＣＲ種類として「日本語」を特定する。

ステップＳ２５に進み、手書き処理部５５はステップＳ２１で情報管理システム１４から受信したドキュメントに関する情報の「記入欄の左上位置及び右下位置の座標」に基づいて、ステップＳ２３で特定された記入欄のサイズ（領域）を認識する。ステップＳ２６に進み、手書き処理部５５はステップＳ２５で認識した記入欄のサイズとＯＣＲ処理部５６によるＯＣＲ処理後の文字数とに基づき、文字サイズを決定する。なお、手書き処理部５５は、ステップＳ２６の文字サイズの決定に利用する「ＯＣＲ処理後の文字数」をＯＣＲ処理部５６に仮のＯＣＲ処理を行わせることで取得できる。

ステップＳ２７に進み、手書き処理部５５はステップＳ２４で特定したＯＣＲの種類でのＯＣＲ処理をＯＣＲ処理部５６に要求し、ストローク情報をステップＳ２６で決定した文字サイズのテキストへ変換させる。手書き処理部５５はＯＣＲ処理部５６によりテキスト化されたテキストを、ストローク情報が入力されたドキュメント層上の位置に対応した記入欄に表示するように配置して図７に示したテキスト層に表示する。このように、ステップＳ２７ではステップＳ２３で特定された記入欄の文字種別を確認し、その文字種別を前提としてＯＣＲ処理を行うため、認識精度が向上する。

また、ステップＳ２８に進み、手書き処理部５５は図７のストローク層に表示されているストロークを削除する。ここまでの処理により、会議制御部５３はドキュメントＩＤに対応付けられたドキュメント層、テキスト層及びストローク層の画像データが結合された１枚の画面データであって、ユーザにより手書き入力されたストロークが消去され、そのストロークからテキスト化されたテキストがドキュメントの記入欄に表示された１枚の画面データを生成できる。

ステップＳ２９に進み、会議制御部５３は生成した１枚の画面データを伝送端末２０に送信することで、ユーザにより手書き入力されたストロークを、記入欄に基づいた文字サイズでテキスト化して伝送端末２０に表示させることができる。

なお、図８のシーケンス図はユーザがストロークの記述を開始し、一度、ドキュメントを表示するディスプレイ１２０からペンや指が離れたことを契機として、伝送端末２０から伝送管理システム１２へストローク情報を送信する例を示した。伝送端末２０が図７に示すようなドキュメント層、テキスト層及びストローク層の画像データを重畳し、１枚の画面データとして結合して表示する機能を有しているのであれば、伝送端末２０から伝送管理システム１２へのストローク情報の送信をまとめて行ってもよい。

《ステップＳ２５～Ｓ２８の処理の詳細》
次に、図８のステップＳ２５～Ｓ２８の処理の詳細について説明する。図９は記入欄のサイズを認識する処理について説明する為の図である。手書き処理部５５はステップＳ２１で情報管理システム１４から受信したドキュメントに関する情報の「記入欄の左上位置及び右下位置の座標」に基づき、ステップＳ２３で特定された記入欄のサイズ（領域）を以下の式（１）及び（２）により算出する。なお、式（１）において記入欄の横方向（ｘ方向）のサイズをＬｘとし、式（２）において記入欄の縦方向（ｙ方向）のサイズをＬｙとする。

Ｌｘ＝ｘ２－ｘ１ …（１）
Ｌｙ＝ｙ１－ｙ２ …（２）
図９の例では「ＯＣＲ処理後の文字数」が「利口太郎」の４文字である。手書き処理部５５は下記の式（３）及び（４）を利用して以下のように文字サイズを決定する。なお、式（３）は記入欄の横方向（記入欄の文字入力方向）のサイズを、ＯＣＲ処理後の文字数（ストローク情報をテキスト化した場合の文字数）により除算する内容である。

「文字サイズ１」＝Ｌｘ÷文字数 …（３）
「文字サイズ２」＝Ｌｙ …（４）
そして、手書き処理部５５は「文字サイズ１」と「文字サイズ２」とを比較し、小さい方をテキスト変換後の文字サイズとして決定する。そして、手書き処理部５５はテキスト化されたテキストを、テキスト層における記入欄に対応する位置へ配置する。なお、テキスト化されたテキストを、テキスト層における記入欄に対応する位置へ配置した後、ストローク層に表示されているストロークは不要となる。このため、手書き処理部５５はストローク層に表示されているストロークを消去し、更に、ストロークストレージ５７のストローク情報も削除する。

《ステップＳ２３の処理の詳細》
次に、図８のステップＳ２３の処理の詳細について説明する。図１０はストロークが記述された記入欄を特定する処理について説明する為の図である。図１０（Ａ）はドキュメント上に記述されたストロークの一例のイメージ図である。本実施形態において、手書き処理部５５は図１０（Ｂ）に示すようにストロークの第１画目の開始位置（ｘｓ１、ｙｓ１）及び終了位置（ｘｓ２、ｙｓ２）が、左上位置の座標（ｘ１、ｙ１）及び右下位置の座標（ｘ２、ｙ２）で表される記入欄に入っているか否かを、以下の式（５）により判断する。

ｘ１＜ｘｓ１、ｘｓ２＜ｘ２かつｙ１＞ｙｓ１、ｙｓ２＞ｙ２ …（５）
式（５）満たす場合に、手書き処理部５５は、その記入欄への手書き入力であると判断することで、ストロークが記述された記入欄を特定できる。このようなストロークが記述された記入欄の特定は、ストローク情報が入力されたドキュメント層上の位置に対応した記入欄を選択する処理の一例である。

このような記入欄の特定により本実施形態では、記入欄が小さい場合であっても、第１画目が記入欄に入るようにストロークを記述すれば、その記入欄をストロークがはみ出していても、その記入欄の大きさに収まる文字サイズのテキストに変換できる。一方、記入欄が大きい場合も、第１画目が記入欄に入るようにストロークを記述すれば、その記入欄に大きさに対してストロークが小さくても、その記入欄の大きさに適した文字サイズのテキストに変換できる。このように本実施形態によれば、ユーザはドキュメントの記入欄への手書き入力を快適に行うことができる。

なお、ストローク情報は例えば図１１に示すような構成である。図１１はストローク情報の一例の構成図である。図１１のストローク情報は、ＳＥＱ、操作名、ストローク情報の送信元である伝送端末２０のＩＰアドレスおよびＰｏｒｔ Ｎｏ．、操作種類、ストローク情報を記述した操作対象、及び、ストローク情報の内容を示すデータを項目として有する構成である。

例えばＳＥＱ「１」は、伝送端末２０でドキュメントＩＤ「００１」のドキュメントに対して描画されたストロークの内容（ユーザに手書き入力された筆跡を複数の座標で表したストロークデータ）を示している。

《本実施形態に係る手書き入力の使用例》
例えば店舗に来店した顧客と、店舗外のオペレーションセンターに居るオペレータとがテレビ会議システムを利用して会話（接客）するリモート接客システムがある。このようなリモート接客システムでは、手書き入力可能なタブレット端末等を使い、オペレータと顧客とが資料を共有したり、顧客が申込書や契約書に手書き入力したり、する場面が想定される。

以下では、店舗に初めて来店した顧客がドキュメントの一例である顧客管理用ドキュメント及び申込書に手書き入力する例について説明する。図１２は顧客がドキュメントに手書き入力する手順を含む一例のシーケンス図である。

ステップＳ５１～Ｓ５３では図８のステップＳ１１～Ｓ２９と同様な処理により、顧客が顧客管理用ドキュメントに手書き入力したストロークを、記入欄に基づいた文字サイズでテキスト化して伝送端末２０に表示させる。ステップＳ５４に進み、顧客が顧客管理用ドキュメントへの記入を完了する。

ステップＳ５５に進み、伝送管理システム１２はＯＣＲ変換処理によりテキスト化した氏名、住所等のテキストの情報に基づいて、情報管理システム１４に顧客情報検索処理を指示する。情報管理システム１４では、氏名、住所等のテキストの情報に基づいて、顧客情報ＤＢ７６を検索する。

ここでは、初めて来店した顧客であるため、顧客情報ＤＢ７６に顧客情報が登録されていない。ステップＳ５６に進み、伝送管理システム１２はＯＣＲ変換処理によりテキスト化した氏名、住所等のテキストの情報に基づいて、情報管理システム１４に顧客情報登録処理を指示する。情報管理システム１４では、新たに顧客ＩＤを発行し、ＯＣＲ変換処理によりテキスト化した氏名、住所等のテキストの情報と対応付けて顧客情報ＤＢ７６に登録する。

この後、ステップＳ５７～Ｓ５９では図８のステップＳ１１～Ｓ２９と同様な処理により顧客が申込書に手書き入力したストロークを、記入欄に基づいた文字サイズでテキスト化して伝送端末２０に表示させる。ステップＳ６０に進み、顧客が申込書への記入を完了する。

ステップＳ６１に進み、伝送管理システム１２は、図７に示したドキュメント層及びテキスト層の画像データを重畳して、一つのドキュメントファイルへと変換するドキュメント化の処理を行う。ドキュメントファイルは、ＰＤＦファイルや、ＪＰＥＧファイル又はＰＮＧファイルなどの画像ファイルである。ドキュメント化の処理が完了すると、伝送管理システム１２は情報管理システム１４へドキュメント登録を指示する。情報管理システム１４は、ドキュメント登録を指示されたドキュメントファイルと、顧客ＩＤとを紐付けて登録する。

図１３は顧客情報ＤＢに保存されるデータの一例の構成図である。ステップＳ５５の顧客情報検索処理は、テキスト化された顧客情報のテキストを使って図１３の顧客情報ＤＢを検索する。例えば図１３の顧客情報ＤＢでは顧客の氏名及び電話番号を検索キーとして利用する。

ここでは顧客によって入力された氏名が「利口太郎」であり、電話番号が「０３－０００－００００」とする。この場合、顧客は顧客情報ＤＢ７６に登録されていないため、新たに顧客ＩＤを発行し、氏名、住所、電話番号、Ｅ－ｍａｉｌを登録する。以降、顧客とオペレータとのテレビ会議においては、この顧客ＩＤを用いることにより、オペレータが対応中、すなわちテレビ会議を実施中の対象の顧客を認識できる。

顧客が、何かしらの契約書を記入する場合を考える。図８のシーケンス図と同様な手順により、顧客は契約書に手書きで記載する。伝送管理システム１２ではストローク情報をＯＣＲ変換処理する。契約書への記入が全て完了したら、伝送管理システム１２は図７に示したドキュメント層及びテキスト層の画像データを重畳し、一つのドキュメントファイルへと変換して、情報管理システム１４へドキュメント登録を指示する。

情報管理システム１４はドキュメント登録を指示されたドキュメントファイルと、顧客ＩＤとを紐付けて資料ストレージ７７に登録する。これにより、次回、この顧客が店舗に来店した場合には、契約の履歴を確認することが可能となる。更には、今回利用した店舗とは異なる店舗に来店しても、契約の履歴などの情報を共有することが可能となる。

このような本実施形態によれば顧客がドキュメントの記入欄に手書き入力された内容がテキスト化されて顧客情報ＤＢ７６を自動更新できるため、オペレータによる顧客情報ＤＢ７６の更新操作が不要となり、オペレータの操作負担を軽減できる。
［他の実施形態］
なお、上記した第１の実施形態に係る情報処理システム１は一例であって、共有する資料に手書き入力が可能なビデオ会議システムなどの情報処理システムに広く適用が可能である。共有する資料に手書き入力が可能なビデオ会議システムは、電子黒板やタブレット端末を利用したビデオ会議システムも含まれる。

伝送端末２０から伝送管理システム１２へのログインは端末Ｄによるもの又はユーザＩＤによるものであってもよい。また、伝送端末２０はビデオ会議システム専用の端末でもよく、第１の実施形態の伝送端末２０と同様な処理を行うＷｅｂコンテンツをブラウザ上で動作させるＰＣやタブレット端末などであってもよい。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）、ＳＯＣ（System on a chip）、ＧＰＵ（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。なお、本実施形態で説明した情報処理システム１は一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。

資料情報ＤＢ７８は特許請求の範囲に記載した第１の記憶手段の一例である。送受信部５４は受信手段及び送信手段の一例である。手書き処理部５５は決定手段及び配置手段の一例である。ＯＣＲ処理部５６はテキスト化手段の一例である。資料ストレージ７７は第２の記憶手段の一例である。ドキュメントに関する情報の記入欄の左上位置及び右下位置の座標は記入欄の領域情報の一例である。伝送端末２０とネットワーク３０を介して通信可能な管理システム１０で実行される管理方法は、手書き入力機能により入力されたストローク情報を送信する端末とネットワークを介して通信可能な管理システムで実行される管理方法の一例である。

資料情報ＤＢ７８にドキュメントＩＤと紐付けて各ドキュメントに関する情報を保存する処理は記憶ステップの一例である。ステップＳ１１などで伝送管理システム１２がストローク情報を伝送端末２０から受信する処理は受信ステップの一例である。認識した記入欄のサイズとＯＣＲ処理部５６によるＯＣＲ処理後の文字数とに基づき、文字サイズを決定するステップＳ２６の処理は決定ステップの一例である。

ステップＳ２４で特定したＯＣＲの種類でのＯＣＲ処理をＯＣＲ処理部５６に要求し、ストローク情報をステップＳ２６で決定した文字サイズのテキストへ変換させる処理はテキスト化ステップの一例である。テキスト化されたテキストを、ストローク情報が入力されたドキュメント層上の位置に対応した記入欄に表示するように配置して図７に示したテキスト層に表示する処理は配置ステップの一例である。

１ 情報処理システム
１０ 管理システム
１２ 伝送管理システム
１４ 情報管理システム
１６ 伝送管理サーバ装置
１８ 情報管理サーバ装置
２０ 伝送端末
３０ 通信ネットワーク
５１ 記憶部
５２ 記憶・読出処理部
５３ 会議制御部
５４ 送受信部
５５ 手書き処理部
５６ ＯＣＲ処理部
５７ ストロークストレージ
６１ 操作入力受付部
６２ 表示制御部
６３ 記憶・読出処理部
６４ 記憶部
６５ 送受信部
７１ 送受信部
７２ 記憶・読出処理部
７３ 顧客情報管理部
７４ 資料管理部
７５ 記憶部
７６ 顧客情報ＤＢ
７７ 資料ストレージ
７８ 資料情報ＤＢ

特開２０１５－９０６７０号公報

Claims (8)

1. 端末とネットワークを介して通信可能な管理システムであって、
   ドキュメントを識別するドキュメント識別情報と、前記ドキュメントにおいて手書き入力が必要な１つ以上の記入欄の領域情報と、を対応づけて記憶する第１の記憶手段と、
   前記端末から、前記ドキュメント識別情報と、前記端末上で入力されたストローク情報とを受信する受信手段と、
   前記受信手段により受信した前記ドキュメント識別情報と対応する前記第１の記憶手段が記憶する前記１つ以上の記入欄の領域情報と、前記受信手段により受信した前記ストローク情報とに基づき、前記ストローク情報をテキスト化した場合の文字サイズを決定する決定手段と、
   前記決定手段により決定された文字サイズで前記ストローク情報をテキスト化するテキスト化手段と、
   を有し、
   前記決定手段は、前記受信手段により受信した前記ストローク情報の第１画目の開始位置及び終了位置と前記１つ以上の記入欄の領域情報とに基づいて、前記１つ以上の記入欄から前記ストローク情報の第１画目の開始位置及び終了位置が入っている前記記入欄を前記ストローク情報が入力された前記記入欄として選択するとともに、前記記入欄の文字入力方向のサイズを前記ストローク情報をテキスト化した場合の文字数により除算した第１の文字サイズと、前記記入欄の前記文字入力方向と垂直方向の第２の文字サイズと、を比較し、小さい方をテキスト変換後の文字サイズとして決定すること
   を特徴とする管理システム。
2. 前記テキスト化手段により前記ストローク情報からテキスト化されたテキストを、選択された前記記入欄に表示するように配置する配置手段、
   を更に有する請求項１記載の管理システム。
3. 前記端末へ、画面データを送信する送信手段、
   を更に有し、
   前記配置手段は、前記テキスト化手段により前記ストローク情報からテキスト化されたテキストを、選択された前記記入欄に表示するように、前記テキストと前記ドキュメントとを重畳した前記画面データを生成すること
   を特徴とする請求項２記載の管理システム。
4. 前記テキスト化手段により前記ストローク情報からテキスト化されたテキストを、選択された前記記入欄に表示するように重畳した前記ドキュメントを記憶する第２の記憶手段、
   を更に有する請求項１乃至３何れか一項記載の管理システム。
5. 端末とネットワークを介して通信可能な管理システムで実行される管理方法であって、
   ドキュメントを識別するドキュメント識別情報と、前記ドキュメントにおいて手書き入力が必要な１つ以上の記入欄の領域情報と、を対応づけて第１の記憶手段に記憶する記憶ステップと、
   前記端末から、前記ドキュメント識別情報と、前記端末上で入力されたストローク情報とを受信する受信ステップと、
   前記受信ステップにより受信した前記ドキュメント識別情報と対応する前記第１の記憶手段が記憶する前記１つ以上の記入欄の領域情報と、前記受信ステップにより受信した前記ストローク情報とに基づき、前記ストローク情報をテキスト化した場合の文字サイズを決定する決定ステップと、
   前記決定ステップにより決定された文字サイズで前記ストローク情報をテキスト化するテキスト化ステップと、
   を有し、
   前記決定ステップは、前記受信ステップで受信した前記ストローク情報の第１画目の開始位置及び終了位置と前記１つ以上の記入欄の領域情報とに基づいて、前記１つ以上の記入欄から前記ストローク情報の第１画目の開始位置及び終了位置が入っている前記記入欄を前記ストローク情報が入力された前記記入欄として選択するとともに、前記記入欄の文字入力方向のサイズを前記ストローク情報をテキスト化した場合の文字数により除算した第１の文字サイズと、前記記入欄の前記文字入力方向と垂直方向の第２の文字サイズと、を比較し、小さい方をテキスト変換後の文字サイズとして決定すること
   を特徴とする管理方法。
6. 端末とネットワークを介して通信可能な管理システムを、
   ドキュメントを識別するドキュメント識別情報と、前記ドキュメントにおいて手書き入力が必要な１つ以上の記入欄の領域情報と、を対応づけて記憶する第１の記憶手段、
   前記端末から、前記ドキュメント識別情報と、前記端末上で入力されたストローク情報とを受信する受信手段、
   前記受信手段により受信した前記ドキュメント識別情報と対応する前記第１の記憶手段が記憶する前記１つ以上の記入欄の領域情報と、前記受信手段により受信した前記ストローク情報とに基づき、前記ストローク情報をテキスト化した場合の文字サイズを決定する決定手段、
   前記決定手段により決定された文字サイズで前記ストローク情報をテキスト化するテキスト化手段、
   として機能させ、
   前記決定手段は、前記受信手段により受信した前記ストローク情報の第１画目の開始位置及び終了位置と前記１つ以上の記入欄の領域情報とに基づいて、前記１つ以上の記入欄から前記ストローク情報の第１画目の開始位置及び終了位置が入っている前記記入欄を前記ストローク情報が入力された前記記入欄として選択するとともに、前記記入欄の文字入力方向のサイズを前記ストローク情報をテキスト化した場合の文字数により除算した第１の文字サイズと、前記記入欄の前記文字入力方向と垂直方向の第２の文字サイズと、を比較し、小さい方をテキスト変換後の文字サイズとして決定すること
   を特徴とするプログラム。
7. 端末と、前記端末とネットワークを介して通信可能な管理装置とを有する情報処理システムであって、
   ドキュメントを識別するドキュメント識別情報と、前記ドキュメントにおいて手書き入力が必要な１つ以上の記入欄の領域情報と、を対応づけて記憶する第１の記憶手段と、
   前記端末から、前記ドキュメント識別情報と、前記端末上で入力されたストローク情報とを受信する受信手段と、
   前記受信手段により受信した前記ドキュメント識別情報と対応する前記第１の記憶手段が記憶する前記１つ以上の記入欄の領域情報と、前記受信手段により受信した前記ストローク情報とに基づき、前記ストローク情報をテキスト化した場合の文字サイズを決定する決定手段と、
   前記決定手段により決定された文字サイズで前記ストローク情報をテキスト化するテキスト化手段と、
   を有し、
   前記決定手段は、前記受信手段により受信した前記ストローク情報の第１画目の開始位置及び終了位置と前記１つ以上の記入欄の領域情報とに基づいて、前記１つ以上の記入欄から前記ストローク情報の第１画目の開始位置及び終了位置が入っている前記記入欄を前記ストローク情報が入力された前記記入欄として選択するとともに、前記記入欄の文字入力方向のサイズを前記ストローク情報をテキスト化した場合の文字数により除算した第１の文字サイズと、前記記入欄の前記文字入力方向と垂直方向の第２の文字サイズと、を比較し、小さい方をテキスト変換後の文字サイズとして決定すること
   を特徴とする情報処理システム。
8. 端末と、前記端末とネットワークを介して通信可能な管理装置と、を有する情報処理システムにおいて実行される管理方法であって、
   ドキュメントを識別するドキュメント識別情報と、前記ドキュメントにおいて手書き入力が必要な１つ以上の記入欄の領域情報と、を対応づけて第１の記憶手段に記憶する記憶ステップと、
   前記端末から、前記ドキュメント識別情報と、前記端末上で入力されたストローク情報とを受信する受信ステップと、
   前記受信ステップにより受信した前記ドキュメント識別情報と対応する前記第１の記憶手段が記憶する前記１つ以上の記入欄の領域情報と、前記受信ステップにより受信した前記ストローク情報とに基づき、前記ストローク情報をテキスト化した場合の文字サイズを決定する決定ステップと、
   前記決定ステップにより決定された文字サイズで前記ストローク情報をテキスト化するテキスト化ステップと、
   を有し、
   前記決定ステップは、前記受信ステップで受信した前記ストローク情報の第１画目の開始位置及び終了位置と前記１つ以上の記入欄の領域情報とに基づいて、前記１つ以上の記入欄から前記ストローク情報の第１画目の開始位置及び終了位置が入っている前記記入欄を前記ストローク情報が入力された前記記入欄として選択するとともに、前記記入欄の文字入力方向のサイズを前記ストローク情報をテキスト化した場合の文字数により除算した第１の文字サイズと、前記記入欄の前記文字入力方向と垂直方向の第２の文字サイズと、を比較し、小さい方をテキスト変換後の文字サイズとして決定すること
   を特徴とする管理方法。

Images