JP5488082B2 - 情報認識システム及びその制御方法 - Google Patents

Description

本発明は、情報認識システム及びその制御方法に関する。

表示面上に手書きされた内容を電子的な情報に変換することができる電子黒板がある。また、電子的に変換した情報をコンピューターへ入力させる機能を備えたインタラクティブタイプの電子黒板も提案されている。インタラクティブタイプの電子黒板は、電子黒板用のアプリケーション機能を利用するとこで、従来のホワイトボードとほぼ同等の操作で、手で書いた情報をコンピューターへ取り込むことができる。このため、効率に優れた、視認性の高い、会議や授業を行うことができるようになっている。

特許文献１には、電子黒板を利用した電子黒板システムが記載されている。特許文献１に記載の電子黒板システムは、文字および画像を表示するためのＰＤＰ（プラズマディスプレイパネル）と、ＰＤＰの前面に配設されたタッチ入力装置と、タッチ入力装置からの入力に基づいてＰＤＰの表示制御を行なうコンピューターと、を備え、ＰＤＰ及びタッチ入力装置で電子黒板の表示面及び書き込み面を構成している。コンピューターには、電子黒板ソフトと、タッチ入力装置を介して入力した手書き文字を認識して文字情報を生成する文字認識ソフト等を搭載している。

ところで、電子黒板に書いた手書き文字を認識する方式には、大きく分けて２つの方式がある。１つ目の方式は、コンピューター上で文字認識ソフトウェアを起動し、手書き入力する領域を表示し、そこに認識する文字を書き込む方法である。２つ目の方式は、自由曲線で描画を行い特定の領域に描画された後に、コンピューター上の文字認識ソフトウェアにより自由曲線の内容を文字として認識させる方式である。

特開２０００−４３４８５号公報

電子黒板は、コンピューターから供給される画像データを拡大して表示する。このため、上述した１つ目の方式では、特許文献１のように、手書き入力する領域そのものが表示面に拡大表示されるため、それに合わせて操作者も大きな文字を書く必要がある。また、２つ目の方式でも、表示面自体が拡大投写されるため、大きな文字を書く必要がある。

しかしながら、電子黒板の表示面やプロジェクターの投写面が大きくなるほど、表示面や投写面に接近した位置にいる操作者は大きな文字を書き難い。また、大きな文字を書くと、表示面に書き込むことができる文字数は少なくなってしまう。

ところで、手書き動作の軌跡を検出する方法には種々のものがある。ホワイトボード表面が感圧式になっていたり、赤外線を使った位置検知システムを利用する方法等がある。手書き動作の軌跡を検出するための装置は、各装置が備える検出解像度に応じた位置データを出力する。従来、コンピューターは位置データを受信すると、この位置データをコンピューターの表示解像度に変換し、コンピューターの表示画面上の座標に置き換えた後に文字認識処理を行っていた。ところが、検出解像度が表示解像度よりも低く、さらに手書きされた文字が小さすぎると、手書き文字の軌跡のデータを表示解像度に変換したときに、文字認識できないレベルまで文字がつぶれてしまうケースがあった。

このように、従来の電子黒板システムでは、必要以上に大きな文字を書かなければなければならなかったり、小さい文字を書いたら文字認識できないことがあったりと、操作性に劣る点があり、改善の余地があるところであった。

本発明は、上記課題を解決するためになされたものであって、画像データが拡大表示される表示面に手書き入力された情報に基づいて文字認識を行なう場合に、ユーザーが必要以上に大きな文字を手書きしなくても文字認識を行うことができる情報認識システム及びその制御方法を提供することを目的とする。

上記課題を解決することのできる本発明の情報認識システムは、所定の表示解像度で画像を表示面に表示する表示部と、前記表示面に対する手書き入力を案内する文字入力ガイドを前記画像に合成する画像合成部と、前記文字入力ガイドに従って前記表示面に手書き入力された情報を、前記表示解像度よりも高い検出解像度で検出する情報検出部と、
前記検出解像度で検出された情報に基づき文字認識する文字認識部と、を有することを特徴とする。
上記構成によれば、手書き入力された情報を表示解像度よりも高い検出解像度で検出された情報に基づき文字認識する。すなわち、従来のように検出解像度を表示解像度に変換することなく検出解像度のまま文字認識するので、小さな文字を書いた場合でも文字がつぶれてしまうことがなく、正常に文字認識することができる。

また、本発明の情報認識システムにおいて、前記画像合成部は、前記情報検出部によって検出された情報を前記表示解像度に合わせた手書き入力状況として前記画像に合成することを特徴とする。
上記構成によれば、手書き入力状況が画像に合成されるので、小さな文字を手書きする場合でも入力状況が分かり易く、ユーザーは文字を書き易くなる。

また、本発明の情報認識システムにおいて、前記検出解像度で検出された前記情報を表示データとして保持する記憶部を更に備え、前記文字認識部は、前記記憶部に記憶された表示データに基づき文字認識を行なうことを特徴とする。
上記構成によれば、表示解像度よりも高い解像度である検出解像度で検出された情報を表示データとして保持することによって、文字入力ガイドに書き込まれた情報をまとめて文字認識することができる。例えば、文字入力ガイドを複数個並べて表示し、全ての文字入力ガイドに文字を書き込んだ後、複数の文字をまとめて文字認識させることもできる。

また、本発明の情報認識システムにおいて、前記表示面は、少なくとも前記表示部を備えたプロジェクターによって前記画像が投写される投写面であって、前記投写面までの投写距離を検出する距離検出部と、前記投写距離及び予め定められた文字認識に必要な画素数に基づいて前記文字入力ガイドのサイズを取得するサイズ取得部と、を更に有することを特徴とする。
プロジェクターは投写距離が大きくなるほど画像も大きく拡大される。つまり、１画素のサイズが拡大される。上記構成によれば、投写距離と文字認識に必要な画素数に基づいて文字入力ガイドのサイズを取得するので、投写距離に変更があっても適切なサイズの文字入力ガイドを提供することができる。ユーザーは文字認識に必要な適切なサイズを認識することができるため、表示面に接近した位置にいるユーザーに対しても使い勝手のよい文字入力ガイドを表示させることができる。

また、本発明の情報認識システムにおいて、前記情報検出部は、前記投写面を撮像する撮像部であって、前記距離検出部は、前記撮像部が撮像した前記投写面の投写幅に応じて前記投写面までの投写距離を検出することを特徴とする。
上記構成によれば、撮像部が投写面を撮像したときの投写幅に応じて投写距離を検出することができるので、既に撮像部を備えた構成のプロジェクターであれば、投写距離を検出する手段を別途備える必要がない。

また、本発明の情報認識システムにおいて、前記サイズ取得部は、前記文字入力ガイドのサイズに、前記投写距離に応じた調整値を加算した指定サイズを取得し、前記画像合成部は、前記指定サイズからなる前記文字入力ガイドを前記画像に合成することを特徴とする。
文字認識するために必要な画素数からなる文字入力ガイドを表示すると、正常に文字認識させるためにはガイド内にほとんど隙間がない程度の大きさで文字を書く必要がある。上記構成によれば、文字入力ガイドを調整値を加算した指定サイズとすることで、ユーザーはより書きやすいサイズで手書き入力することができる。

また、本発明の情報認識システムにおいて、前記文字認識部は、手書き入力された前記情報の大きさのばらつきが予め定められた許容範囲内であれば、同じサイズの文字として文字認識することを特徴とする。
大きな表示面に大きさの揃った文字を手書きすることはなかなか困難である。上記構成によれば、許容範囲を持たせることによって、自動的に許容範囲内の文字を同じサイズの文字として文字認識し、許容範囲外の文字を異なるサイズの文字として文字認識することができる。このため、フォントサイズをその都度設定する必要がなく、手書き文字の入力操作をスムーズに行なうことができる。

また、上記課題を解決することのできる本発明は、情報検出装置と画像供給装置とを備える情報認識システムの制御方法であって、所定の表示解像度で画像を表示面に表示するステップと、前記表示面に対する手書き入力を案内する文字入力ガイドを前記画像に合成するステップと、前記文字入力ガイドに従って前記表示面に手書き入力された情報を、前記表示解像度よりも高い検出解像度で検出するステップと、前記検出解像度で検出された情報に基づき文字認識するステップと、を含むことを特徴とする。
上記構成によれば、従来のように検出解像度を表示解像度に変換することなく検出解像度のまま文字認識するので、小さな文字を書いた場合でも文字がつぶれてしまうことがなく、正常に文字認識することができる。また、表示面に接近した位置にいるユーザーに対しても使い勝手のよい文字入力ガイドを表示させることができる。

本実施形態の情報認識システムの概略構成を示す図である。 本実施形態の情報認識システムにおけるコンピューターが実現する機能を説明するためのブロック図である。 本実施形態の情報認識システムにおけるプロジェクターの内部構成を説明するためのブロック図である。 投写距離とカメラで撮像した投写幅との関係を示したテーブルの一例である。 本実施形態における投写距離を検出する方法を説明するための模式図である。 本実施形態の情報認識システムにおけるプロジェクターが実行する処理を説明するためのフローチャートである。 本実施形態の情報認識システムにおけるコンピューター本体が実行する処理を説明するためのフローチャートである。 ホワイトボードに投写された電子黒板アプリケーション画面の一例である。 電子黒板アプリケーション画面に文字入力ガイドが合成された画像の一例である。 電子黒板アプリケーション画面に入力状況が合成された画像の一例である。 手書きされた文字の入力サイズを取得する方法を説明するための模式図である。 電子黒板アプリケーション画面に文字認識後の文字が合成された画像の一例である。

以下、本発明に係る情報認識システム及びその制御方法の好適な実施形態について、図面を参照して詳細に説明する。

（情報認識システムについて）
本実施形態の情報認識システムの構成について図１を参照して説明する。
本実施形態の情報認識システム１は、パーソナルコンピューター１０（以下、「ＰＣ」と呼ぶ。）、プロジェクター３０、ホワイトボードＷＢ及びペンデバイス５０を備える。

まず、本実施形態の情報認識システム１における動作の概略を説明する。図１は、ユーザーＡはペンデバイス５０を使ってホワイトボード上に文字等を記入しながら、プレゼンテーションを行なう場面である。ペンデバイス５０の軌跡がプロジェクター３０に内蔵されているカメラによって撮像され、撮像データがＰＣ１０へ転送される。ＰＣ１０は撮像データに基づきペンデバイス５０の軌跡を線データに変換し、線データに基づいて文字認識を行う。文字認識された後のフォントデータが合成された画像をプロジェクター３０によって、ホワイトボードＷＢ上に投写するシステムである。

ＰＣ１０は、演算処理の中枢をなす不図示のＣＰＵを備えており、このＣＰＵはシステムバスを介してＲＯＭやＲＡＭにアクセス可能となっている。また、システムバスには外部記憶装置としてのハードディスクドライブとフロッピー（登録商標）ディスクドライブやＣＤ−ＲＯＭドライブなどが接続されており、ハードディスクドライブに記憶されたＯＳ（Operating System）やアプリケーションなどがＲＡＭに転送され、ＣＰＵはＲＯＭとＲＡＭに適宜アクセスしてソフトウェアを実行する。

本実施形態では、ハードディスクドライブに電子黒板アプリケーション、文字認識アプリケーション等が記憶されている。ＣＰＵがＯＳやこれらのアプリケーションを実行することによって、ペンデバイス５０によってホワイトボードＷＢ上に手書きされた情報を文字認識し、認識した文字をホワイトボードＷＢ上に投写させる。いわゆる、電子黒板としての環境を実現している。

ＰＣ１０が備えるＣＰＵが電子黒板アプリケーション及び文字認識アプリケーションを実行することによって、ＰＣ１０には、図２に示すように、インターフェイス部１０１、制御部１０２、文字認識部１０５及び画像処理部１０７が構成される。

インターフェイス部１０１は、プロジェクター３０側の後述するインターフェイス部と接続し、ＰＣ１０から出力される画像データに、予め設定された出力インターフェイス処理を実施してプロジェクター３０へ出力する。本実施形態では、ＵＳＢ(Universal Serial Bus)ケーブルを採用し、ＰＣ１０及びプロジェクター３０を、ＵＳＢインターフェイスを用いて情報の送受信が可能な状態に接続している。ＰＣ１０は、パーソナルコンピューターとして一般的な構成を有するものを採用することができる。

制御部１０２には、ホワイトボードＷＢを電子黒板として使用するための各種制御を行なうため、入力データ記憶部１０３及びガイドサイズ取得部１０９が構成される。制御部１０２は、プロジェクター３０からインターフェイス部１０１を介して受信したペンデバイス５０の軌跡を撮像した撮像データを受信すると、これを線データに変換して、入力データ記憶部１０３へ一時的に記憶させる。

ガイドサイズ取得部１０９は、ユーザーＡの手書き文字の入力操作をガイドするための文字入力ガイドの投写サイズを取得する。文字入力ガイドは、ＰＣ１０が供給する画像データに合成され、ホワイトボードＷＢ上に投写される。投写された文字入力ガイドに案内されて、ユーザーＡはペンデバイス５０を使って手書き入力する。これにより、ホワイトボードＷＢ上を効率よく使用することができる。詳細は後に説明する。

文字認識部１０５は、入力データ記憶部１０３に記憶された線データに基づいて、文字認識処理を実行する。文字認識部１０５は、ＲＯＭなどに予め保持している文字認識辞書を参照して線データと対応する文字のフォントデータを取得し、画像処理部１０７へ送る。なお、線データは、プロジェクター３０の投写解像度よりも高い（細かい）解像度のカメラ３５０で撮像した撮像データに基づいて取得したデータである。投写解像度よりも高い（細かい）解像度で取得したデータに基づいて文字認識するので、正確な文字認識処理を実行することができる。

画像処理部１０７は、ハードディスクドライブ等の各種ドライブから画像データを取得し、ＰＣ１０のモニターに表示させたり、プロジェクター３０に投写させるための画像処理を行う。また、画像処理部１０７はＰＣ１０のキーボードから入力された文字コードをフォントデータに変換して画像データに合成する。また、ＰＣ１０のディスプレイに表示される画像の明るさ、色調、コントラスト、シャープネス等を調整する。さらに、画像処理部１０７は、ガイドサイズ取得部１０９が取得した文字入力ガイドのサイズに応じた文字入力ガイドを生成し、インターフェイス部１０１を介してプロジェクター３０へ送信する。

（プロジェクターの内部構成について）
本実施形態の情報認識システムにおけるプロジェクターの内部構成について図３を参照して説明する。
図３に示すように、プロジェクター３０は、ランプ３１１と、光変調手段である液晶ライトバルブ３１２Ｒ，Ｇ，Ｂと、投写光学系３１３と、液晶ライトバルブ駆動部３１４と、制御部３２０と、画像合成部である映像音声処理部３３２と、フレームメモリー３３３と、映像処理部３３４と、音声処理部３３５と、スピーカー３３６と、ＯＳＤ（On Screen Display）処理部３３８と、ランプ駆動部３４０と、インターフェイス部３４５と、情報検出部及び撮像部であるカメラ３５０と、カメラの動作を制御する撮像制御部３５２と、を備えている。

ランプ３１１はランプハウジング３１０に収納され、ランプユニットとして単体でプロジェクター３０から分離可能である。ランプ３１１には寿命があるため、消耗した場合はランプユニットごと新しいものと交換することができる。

投写光学系３１３は投写レンズ３１３ａを有している。プロジェクター３０は、インターフェイス部３４５を介して供給される映像信号に応じた光学像を投写し、投写レンズ３１３ａを介して、ホワイトボードＷＢに拡大して投写する。

制御部３２０は、映像音声処理部３３２、ＯＳＤ処理部３３８、ランプ駆動部３４０、インターフェイス部３４５及び撮像制御部３５２と接続されている。この制御部３２０は、マイクロプロセッサーと、不揮発性の記憶部と、マイクロプロセッサーが直接アクセスすることができる主記憶部と、を備えている。不揮発性の記憶部には、プロジェクター３０の各種動作を制御するための制御プログラム、台形歪補正量の表示などのＯＳＤ映像を生成するためのＯＳＤ情報を記憶するとともに、プロジェクター３０の各種設定値等が記憶されている。

マイクロプロセッサーは、不揮発性の記憶部に記憶された制御プログラム等を実行して、プロジェクター３０の動作を統括制御し、制御部３２０に接続された各部から入力される各種データを演算するとともに、演算結果を各部に出力する。

映像音声処理部３３２（画像合成部）は、インターフェイス部３４５から受信した画像データをデコードして圧縮符号化前の映像データに変換し、これらをたとえばＲＧＢ信号に変換して順次映像処理部３３４に出力する。また、本実施形態では、ホワイトボードＷＢに対する手書き入力を案内する文字入力ガイドや、文字入力ガイドに従ってユーザーが手書き入力している入力状況を示す画像を、ＰＣ１０から受信し、画像データに合成する。

さらに、映像音声処理部３３２は、音声信号についても同様にデコードを行い、Ｄ／Ａ変換により音声データに変換し、順次音声処理部３３５に出力する。映像音声処理部３３２にはフレームメモリー３３３が接続されており、映像データを１フレーム毎にフレームメモリー３３３に記憶させるとともに、フレームメモリー３３３に記憶された映像データを読み出す。

映像処理部３３４は、映像音声処理部３３２より受信したＲＧＢ信号に対してγ補正処理、台形補正処理、解像度変換処理などを行い、液晶ライトバルブ駆動部３１４に出力する。

液晶ライトバルブ駆動部３１４は、入力されたＲＧＢ信号に応じて、液晶ライトバルブ３１２Ｒ，Ｇ，Ｂを駆動する。各液晶ライトバルブ３１２Ｒ，Ｇ，Ｂは、マトリクス状の複数の画素を備えている。液晶ライトバルブ駆動部３１４により各画素の透過率が調整されることにより、ランプ３１１から射出され、色光分離光学系によって各色光に分離された、Ｒ（赤）、Ｇ（緑），Ｂ（青）の各色光を対応する液晶ライトバルブ３１２Ｒ，Ｇ，Ｂによって変調して光学像を射出する。液晶ライトバルブ３１２Ｒ，Ｇ，Ｂから射出される光学像は、クロスダイクロイックプリズムなどの合成光学系により合成され、投写光学系３１３の投写レンズ３１３ａによってホワイトボードＷＢ上に拡大投写される。

音声処理部３３５は、映像音声処理部３３２より受信した音声データをスピーカー３３６に出力する。なお、音声処理部３３５は、音量増幅部を有しており、音量の増幅を行ってスピーカー３３６に出力する。これにより、スピーカー３３６は、増幅されて入力するアナログ音声信号を出力する。

ＯＳＤ処理部３３８は、メニュー映像や映像入力端子を検出する際の映像等のＯＳＤ情報を制御部３２０から受信して、ＯＳＤ映像を生成する。また、生成したＯＳＤ映像と映像処理部３３４から受信した映像データを合成し、液晶ライトバルブ駆動部３１４へ送信する。

ランプ駆動部３４０は、制御部３２０からの指示に従って、ランプ３１１を点灯又は消灯させる点灯手段であり、例えばランプ３１１が高圧放電灯の場合には、始動電圧を印加する点灯回路や、適正なランプ電流を供給する安定器などにより構成される。

インターフェイス部３４５は、不図示の操作パネルやリモートコントローラーから入力された操作信号を受信し、これを制御部２０に出力する。また、有線あるいは無線によってＰＣ１０と接続し、ＰＣ１０から出力された画像データに予め設定された入力インターフェイス処理を実施して映像音声処理部３３２へ出力する。さらに、撮像制御部３５２が取得した撮像データを、予め設定された出力インターフェイス処理を実施してＰＣ１０へ送信する。

なお、上述したように、ＰＣ１０及びプロジェクター３０はＵＳＢインターフェイスを利用して情報の送受信が可能な状態に接続されていたが、これに限らず、ＵＳＢインターフェイス以外の他のインターフェイスを利用した構成を採用してもよい。また、ＰＣ１０及びプロジェクター３０は、例えば、ネットワーク等を利用して情報の送受信が可能な状態に接続する構成を採用しても良い。ここで、ネットワークとしては、例えば、ＴＣＰ／ＩＰ等の汎用のプロトコルに基づくインターネット、イントラネット、ＬＡＮ（Local Area Network）、無線通信回線等が例示できる。

撮像制御部３５２は、カメラ３５０による撮像動作を制御する。本実施形態では、カメラ３５０がホワイトボードＷＢ上のペンデバイス５０の軌跡を撮像し、撮像データを一時的に保持してインターフェイス部３４５を介してＰＣ１０へ送信する。さらに、撮像制御部３５２は、距離検出部３５３及び投写距離決定テーブル３５４を備えている。距離検出部３５３は、撮像データと投写距離決定テーブル３５４に基づいてホワイトボードＷＢまでの距離を検出する。投写距離決定テーブル３５４は、ホワイトボードＷＢに投写されている投写画像の投写幅と投写距離との対応関係を定めたテーブルである。

図４には投写距離Ｄとカメラ３５０で撮像可能な投写幅Ｗとの関係を示したテーブルが示されている。図５のケースでは、投写距離Ｄ１だけ離れたところからホワイトボードＷＢを撮像した場合と、投写距離Ｄ２だけ離れたところからホワイトボードＷＢを撮像した場合を示している。距離検出部３５３は、撮像データに含まれるホワイトボードＷＢの外枠のエッジ部分を検出し、検出したエッジ間のピクセル［ｐｘ］数を投写幅として取得する。投写幅をＷ［ｐｘ］とすると、Ｗ１＝４０００[ｐｘ]であれば、距離検出部３５３は投写距離決定テーブル３５４に基づいて、投写距離Ｄ１＝３．０［ｍ］と検出する。また、Ｗ２＝３０００［ｐｘ］であれば、投写距離Ｄ２＝２．０［ｍ］と検出する。なお、本実施形態で採用するカメラ３５０は、その撮像解像度が４０００［ｐｘ］×２５００［ｐｘ］＝１０００万ピクセルとし、プロジェクター３０の投写解像度（例えば、１９２０［ｐｘ］×１０８０［ｐｘ］等）よりも高い（細かい）解像度を備えているもとのとする。

なお、図５に示すようにプロジェクター３０に内蔵されている投写光学系３１３とカメラ３５０の設置位置は通常ずれていることから、視野角の差により、図４のテーブルは比例関係になっていない。投写光学系３１３とカメラ３５０の視野角が同じ値となるよう設置することができれば、図４のテーブルを比例関係となるよう設定してもよい。すなわち、投写距離Ｄ２＝２．０［ｍ］のときの投写幅Ｗ２＝３０００［ｐｘ］とすれば、投写距離Ｄ１＝３．０［ｍ］のときの投写幅Ｗ１は、３．０［ｍ］／２．０［ｍ］＝１．５でＷ１＝３０００×１．５＝４５００［ｐｘ］として設定してもよい。

なお、投写距離を検出する方法は上記方法に限定されない。例えば、プロジェクター３０に赤外領域の光束やレーザー等の光を射出する手段と、ホワイトボードＷＢに反射した光を受光する手段と、を備え、これらを合わせて距離検出部として備えてもよい。光の反射光量や反射角度に基づいて距離を検出したり、光の位相差によって投写距離を検出することができる。

（情報認識システムの制御方法について）
次に、上記説明した情報認識システムによって手書き文字の入力を支援する方法について図６〜図１２を参照して説明する。本実施形態は、ユーザーＡがペンデバイス５０を使ってホワイトボードＷＢに手書きしたペンの軌跡を、プロジェクター３０の投写解像度よりも高い（細かい）解像度のカメラで撮像し、高解像度の撮像データに基づいて文字認識を行なおうというものである。カメラ３５０による高解像度の撮像データに基づいて手書き文字を文字認識してフォントデータを取得し、取得したフォントデータを画像データに合成する。

ユーザーＡは、まずプロジェクター３０の電源をＯＮすると、ランプ駆動部３４０がランプ３１１を点灯させる（ステップＳ１１）。次に、撮像制御部３５２がカメラ３５０を制御し、カメラ３５０がホワイトボードＷＢを撮像して、撮像データを取得する。距離検出部３５３は、撮像データ中に含まれるホワイトボードＷＢのエッジの部分を検出し、投写範囲を認識する（ステップＳ１３）。また、ユーザーＡがホワイトボードＷＢにペンデバイス５０で投写範囲を印してもよい。この場合は、撮像データからその印を検出すれば投写範囲として認識させることができる。

距離検出部３５３は、検出した投写範囲からエッジ間のピクセル数を投写幅として取得し、図４に示した投写距離決定テーブルを参照して、投写距離を算出する（ステップＳ１５）。次に、撮像制御部３５２は、ステップＳ１５で算出した投写距離に応じた１ｐｘ当たりのサイズを算出する（ステップＳ１７）。例えば、投写幅Ｗ１＝４０００［ｐｘ］のときの投写距離Ｄ１＝３．０［ｍ］であることから、１ｐｘ当たりのサイズを算出すると、３０００［ｍｍ］／４０００［ｐｘ］＝０．７５［ｍｍ／ｐｘ］となる。また、投写幅Ｗ２＝３０００［ｐｘ］のときの投写距離Ｄ２＝２．０［ｍ］であれば、１ｐｘ当たりのサイズを算出すると、２０００［ｍｍ］／３０００［ｐｘ］≒０．６７［ｍｍ／ｐｘ］となる。算出した１ｐｘ当たりのサイズは、ＰＣ１０へ送信される。

一方、図７に示すようにＰＣ１０のＣＰＵはハードディスクドライブに記憶されている電子黒板アプリケーションを実行し起動する（ステップＳ４１）。画像処理部１０７は、電子黒板アプリケーション画面を生成し、インターフェイス部１０１を介してＰＣ１０のディスプレイにアプリケーション画面が表示される。また、インターフェイス部１０１を介してプロジェクター３０に電子黒板アプリケーション画面の画像データが送信される（ステップＳ４３）。

プロジェクター３０は、インターフェイス部３４５を介して電子黒板アプリケーション画面の画像データを受信すると（ステップＳ１９：Ｙｅｓ）、各機能部が画像データを処理して投写光学系３１３の投写レンズ３１３ａから電子黒板のアプリケーション画面を投写する（ステップＳ２１）。図８は、ホワイトボードＷＢに投写された電子黒板のアプリケーション画面７０の模式図である。アプリケーション画面７０の左上部にはツールバー７０１が形成されている。

さらに、ＰＣ１０のＣＰＵはハードディスクドライブに記憶されている文字認識アプリケーションを実行し起動する（ステップＳ４５）。ガイドサイズ取得部１０９は、文字認識部１０５が文字認識するために必要なピクセル数と、プロジェクター３０から受信した１ｐｘ当たりのサイズと、に基づいて文字入力ガイドのサイズを算出する（ステップＳ４７）。例えば、プロジェクター３０から取得した１ｐｘ当たりのサイズが０．７５［ｍｍ／ｐｘ］で、文字認識部１０５が文字認識するために必要なピクセル数が５０［ｐｘ］であった場合の文字入力ガイドサイズは、０．７５［ｍｍ／ｐｘ］×５０［ｐｘ］＝３７．５［ｍｍ］＝３．７５［ｃｍ］となる。なお、文字認識するために必要なピクセル数は、文字認識アプリケーションに予め設定されている値であり、ＰＣ１０に搭載されている文字認識アプリケーションの種類に応じて異なる値である。

さらに、ガイドサイズ取得部１０９は、文字入力ガイドのサイズに投写距離Ｄに基づく調整値を加算した指定サイズを取得する（ステップＳ４９）。例えば、調整値は、投写距離Ｄと比例関係となるよう予め設定されていてもよい。投写距離Ｄ２＝２．０［ｍ］のときの調整値を０．５［ｃｍ］とした場合、投写距離Ｄ１＝３．０［ｍ］のときの調整値は、３．０［ｍ］／２．０［ｍ］＝１．５で、０．５×１．５＝０．７５［ｃｍ］とすることができる。

また、調整値は、投写距離Ｄと必ずしも比例関係である必要はなく、投写距離Ｄが１［ｍ］離れる毎に所定値だけ調整値を大きくするよう設定してもよい。すなわち、投写距離Ｄ２＝２．０［ｍ］のときの調整値を０．５［ｃｍ］とした場合、投写距離Ｄ１＝３．０［ｍ］のときの調整値は、０．５+０．５＝１．０［ｃｍ］とする。投写距離Ｄ＝４．０［ｍ］とした場合の調整値は、０．５+０．５+０．５＝１．５［ｃｍ］などと設定しておくこともできる。

次に、画像処理部１０７は、ガイドサイズ取得部１０９が算出した指定サイズの文字入力ガイドを生成し、プロジェクター３０へ送信する（ステップＳ５１）。

プロジェクター３０は、文字入力ガイドの画像を受信すると、映像音声処理部３３２が電子黒板のアプリケーション画面に指定サイズの文字入力ガイドを合成する。投写光学系３１３の投写レンズ３１３ａから、文字入力ガイドが合成された画像データが投写される（ステップＳ２３）。図９は、文字入力ガイド７０３が合成された電子黒板のアプリケーション画面７１がホワイトボードＷＢに投写された状態を示す図である。アプリケーション画面７１のツールバー７０１の下に文字入力ガイド７０３が形成されている。

ユーザーＡは、ホワイトボードＷＢに投写された電子黒板アプリケーション画面の文字入力ガイド７０３を利用し、ペンデバイス５０で文字を手書きする。ここでは、図９に示すように、電子黒板アプリケーション画面の左上部に指定サイズＳ（例えば、（投写距離Ｄ１＝３．０[ｍ]のときの文字入力ガイドサイズ３．７５［ｃｍ］）+（投写距離Ｄ１＝３．０［ｍ］のときの調整値０．７５［ｃｍ］）＝４．５［ｃｍ］）の文字入力ガイドが表示される。ユーザーＡはペンデバイス５０を利用して文字入力ガイド内に文字を書き込む。

撮像制御部３５２は、カメラ３５０でペンデバイス５０の先端の動きを撮像し、撮像データをインターフェイス部３４５を介してＰＣ１０へ送信する（ステップＳ２５）。

ＰＣ１０は、インターフェイス部１０１を介して撮像データを受信すると、制御部１０２はカメラ３５０の撮像解像度における撮像データをＰＣ１０に設定されている表示解像度における座標データへ変換する。画像処理部１０７は、表示解像度における座標データに基づいて、手書き文字の入力状況を示す画像を生成し、プロジェクター３０へ送信する（ステップＳ５３）。また、制御部１０２は、投写解像度よりも高い撮像解像度で撮像した撮像データから、文字認識処理に利用するためにペン先の軌跡を示す線データ（表示データ）を取得し、入力データ記憶部１０３へ保存する（ステップＳ５５）。

プロジェクター３０は、手書き文字の入力状況を示す画像を受信すると、映像音声処理部３３２が電子黒板のアプリケーション画面に手書き文字の入力状況を合成する。投写光学系３１３の投写レンズ３１３ａから、入力状況が合成された画像データが投写される（ステップＳ２７）。図１０は、ホワイトボードＷＢに投写された手書き文字の入力状況７０５が合成された電子黒板のアプリケーション画面７３の模式図である。アプリケーション画面７３の文字入力ガイド７０３の右側に入力状況７０５が拡大されて投写されている。

ＰＣ１０は、文字認識部１０５が入力データ記憶部１０３に保存された線データに基づいて文字認識し、手書き文字に該当するフォントデータを取得する（ステップＳ５７）。さらに、線データに基づいて手書き文字のサイズを算出し、該当するフォントサイズを決定する。例えば手書き文字のサイズが、ステップＳ４９で取得した文字入力ガイドの指定サイズに対して所定のガイド許容範囲にあれば、文字認識アプリケーションの標準のフォントサイズとして決定し、ガイド許容範囲外であれば標準のフォントサイズ以外のサイズとして決定することができる。

手書き文字のサイズは、ステップＳ１７で算出した１ｐｘ当たりのサイズ［ｍｍ／ｐｘ］×入力文字サイズ［ｐｘ］によって求めることができる。入力文字サイズは、文字入力ガイドを構成するピクセルのうち、手書き文字が占める縦方向あるいは横方向の最大ピクセル数である。図１１に示した文字入力ガイドの例で説明すると、文字入力ガイド内の手書き文字「あ」が占める縦方向のピクセル数は８ｐｘであり、横方向のピクセル数は７ｐｘである。このため、撮像解像度で検出された入力文字サイズは縦方向のピクセル数、８ｐｘとなる。

また、ガイド許容範囲は、文字認識アプリケーションに予め定められた値である。例えば、ガイド許容範囲が±３０［％］と設定されていれば、文字入力ガイドの指定サイズが３．０［ｃｍ］である場合は、２．１［ｃｍ］以上〜３．９［ｃｍ］以下がガイド許容範囲となる。このため、手書き文字のサイズが２．１［ｃｍ］以上〜３．９［ｃｍ］以下の大きさであれば標準のフォントサイズとして文字認識し、２．１［ｃｍ］より小さい大きさであれば標準よりも小さいフォントサイズとして文字認識し、３．９［ｃｍ］より大きければ標準よりも大きいフォントサイズとして文字認識する。つまり、ユーザーによって手書きされた文字の大きさにばらつきがあっても、そのばらつきが予め定められたガイド許容範囲内であれば、同じフォントサイズで文字認識する。

このため、ユーザーＡは、手書きする際に、文字の大きさのばらつきを気にすることなく、手書き入力操作を続けることが可能である。また、デフォルトが標準のフォントサイズに設定されており、ガイド許容範囲内にあるか否かによって、自動的にフォントサイズを変更して文字認識することができるので、ユーザーＡはフォントサイズを指定する手間がなく手書き入力操作を続けることができる。例えば、大文字を手書きした後に小文字を手書きする場合や小文字を手書きした後に大文字を手書きするようなケースでも、ユーザーＡはフォントサイズの変更をする必要がなく、自動的に変更されたフォントサイズの文字認識を行なうため、操作性に優れた文字入力ガイドを提供することができる。
なお、本実施形態ではフォントサイズをガイド許容範囲か、ガイド許容範囲よりも大きいか小さいかによって、文字を「大」、「中」、「小」の３つに分けて表現する方法を説明したが、さらに細かくサイズを分類して設定しておくこともできる。

なお、図１１には、比較のために、投写解像度の１ピクセル７１０と撮像解像度の１ピクセル７１３とが表示されている。投写解像度の１ピクセル７１０は、撮像解像度の１ピクセル７１３よりも大きい。つまり、本実施形態では、文字入力ガイドに手書きされた文字をプロジェクター３０の投写解像度よりも高い（細かい）解像度のカメラ３５０で撮像している。高解像度の撮像データに基づいて文字認識を行なうため、ホワイトボードＷＢ上に手書きする文字は、従来よりも小さな文字でよく、ホワイトボードＷＢを有効に活用することができる。

画像処理部１０７は、文字認識した文字を上述した方法によって決定したフォントサイズのテキストデータをプロジェクター３０へ送信する（ステップＳ５９）。

プロジェクター３０は、文字認識後のテキストデータを受信すると、映像音声処理部３３２が電子黒板のアプリケーション画面に文字認識後のテキスト文字を合成する。投写光学系３１３の投写レンズ３１３ａから、文字認識後のテキスト文字が合成された画像データが投写される（ステップＳ２９）。図１２は、ホワイトボードＷＢに投写された文字認識後の文字７０７「あ」が合成された電子黒板のアプリケーション画面７５の模式図である。文字入力ガイド７０３及び入力状況７０５は次の手書き入力の位置に移動して表示される。

上記実施形態によれば、手書き入力されたペンデバイス５０の先端の軌跡を投写解像度よりも高い（細かい）検出解像度で検出された線データに基づき文字認識する。すなわち、従来のように検出解像度をコンピューター本体の表示解像度に変換することなく検出解像度のまま文字認識するので、小さな文字を書いた場合でも文字がつぶれてしまうことがなく、正常に文字認識することができる。また、文字入力ガイド７０３は、文字認識するために必要な画素数を含む文字入力ガイドとして投写されるので、ユーザーＡは文字認識に必要なサイズを認識することができる。このため、ホワイトボードＷＢに接近した位置にいるユーザーＡに対しても使い勝手のよい文字入力ガイド７０３を表示させることができる。

また、上記実施形態によれば、画像に入力状況が合成されるので小さな文字を手書きする場合でも手書き文字の状況が分かり易く、ユーザーは文字を書き易くなる。

また、上記実施形態によれば、線データを保持することによって、文字入力ガイド７０３に書き込まれた軌跡をまとめて文字認識することができる。

また、上記実施形態によれば、投写距離Ｄと文字認識に必要な画素数に基づいて文字入力ガイド７０３のサイズを取得するので、投写距離Ｄに変更があっても適切なサイズの文字入力ガイドを提供することができる。

また上記実施形態によれば、カメラ３５０がホワイトボードＷＢを撮像したときの投写幅Ｗに応じて投写距離Ｄを検出することができるので、カメラ３５０の他に投写距離を検出する手段を別途備える必要がない。

また、上記実施形態によれば、文字入力ガイド７０３のサイズを調整値を加算した指定サイズとすることで、ユーザーＡはより書きやすいサイズで手書き入力することができる。

また、上記実施形態では、プロジェクター３０とＰＣ１０とによって本発明に係る情報認識システムを構成したが、他の構成によって実現することも可能である。例えば、情報検出部としてタッチパネルを供えた液晶ディスプレイや、プラズマディスプレイを表示面として採用することもできる。

また、上記実施形態でＰＣ１０が備える各機能部を、プロジェクター３０に備えてもよい。つまり、プロジェクター３０単体で情報認識システムを構成することもできる。さらに、上述したように液晶ディスプレイやプラズマディスプレイに、ＰＣ１０が備える各機能部を構成させて、液晶ディスプレイ単体あるいはプラズマディスプレイ単体で情報認識システムを構成してもよい。

なお、上記実施形態では、表示解像度よりも高い（細かい）検出解像度で検出する情報検出部として、プロジェクター３０に内蔵されたカメラ３５０を用いたが、その他の構成を採用してもよい。例えば以下のもの挙げられる。
（デジタル感圧型）
２枚の電気伝導性のシートの間に微妙な空隙があり、これに触れると表面のシートが接触し、その部分で通電する。シートの電気抵抗値によって接触した座標を取得する構成である。
（電磁気型）
ボード表面の直下にＸ軸方向とＹ軸方向のワイヤーが埋め込まれていて、コイルを埋め込んだペンデバイスとの電磁誘導で接触位置を取得する構成である。
（レーザー型）
ボードの上辺の両端に赤外線レーザーが設置されており、レーザー光線がホワイトボード表面を監視しており、ペンデバイスについている反射板がレーザー光線を反射することで、その位置を検出する構成である。
（赤外線、超音波型）
上下左右に赤外線発光素子を置き、縦横斜めに赤外線を走らせ、遮られた位置を検出することにより、座標を取得する構成である。
（光学、赤外線型）
ホワイトボード表面を指やマーカーで押すとボード上の表面を監視している赤外線発光装置と受光装置によって三角法的に、押された位置を取得する構成である。

なお、情報検出部に、プロジェクター３０に内蔵されたカメラ３５０以外の構成を採用した場合は、距離検出部として、光の反射光量や反射角度に基づいて投写距離を検出する他の構成を採用することができる。また、この場合は図４に示した投写距離決定テーブル３５４を備える必要はなく、代わりに投写距離と１ｐｘ当たりのサイズとの対応関係を定めたテーブルを備えればよい。

また、上記実施形態では、カメラ３５０はプロジェクター３０に内蔵されていたが、外付けのものであってもよい。さらに、必ずしもプロジェクター３０と接続されている必要はなく、ＰＣ１０と接続されていてもよい。

また、上記実施形態では、文字入力ガイド７０３は、電子黒板アプリケーション画面の中に１つだけ表示していたが、複数の文字入力ガイドを表示することもできる。この場合は、各文字入力ガイドに手書き文字を書き込んだ後、複数の手書き文字をまとめて文字認識することができる。

また、上記実施形態では、光源からの光を光変調部である液晶ライトバルブ３１２Ｒ，Ｇ，Ｂによって変調し投写する液晶ライトバルブ方式のプロジェクターを例示したが、本発明はその他の方式を採用するプロジェクターにも適用することもできる。具体的には、ＤＭＤ（Digital Micro mirror Device）を用いた投写方式、所謂、ＤＬＰ（Digital Light Processing）（登録商標）方式である。すなわち、ＤＬＰ方式は白色に光るランプの光をレンズで集光してＤＭＤに当て、ＤＭＤの個々のミラーがオン状態に傾いているときの光を他のレンズで拡大し、スクリーンに投影する方式であり、本発明はこのような方式のプロジェクターにも適用することができる。

また、本実施形態では、光源として放電式ランプを用いて投射するプロジェクター３０を含む情報認識システム１を例示したが、光源としてＬＥＤ光源やレーザー光源などを用いて投射するプロジェクターを用いてもよい。また、ＰＣ１０およびプロジェクター３０により構成されるシステムに替えて、プロジェクター３０がＰＣ１０の各機能を備えてもよい。

１：情報認識システム、１０：パーソナルコンピューター、３０：プロジェクター、５０：ペンデバイス、７０，７１，７３，７５：電子黒板アプリケーション画面、１０２：制御部、１０３：入力データ記憶部、１０５：文字認識部、１０７：画像処理部、１０９：ガイドサイズ取得部、３１１：ランプ、３１２Ｒ，Ｇ，Ｂ：液晶ライトバルブ、３１３：投写光学系、３１４：液晶ライトバルブ駆動部、３２０：制御部、３３２：映像音声処理部（画像合成部）、３３３：フレームメモリー、３３４：映像処理部、３４０：ランプ駆動部、７０３：文字入力ガイド、７０５：入力状況、ＷＢ：ホワイトボード。

Claims (7)

1. 所定の表示解像度で画像を表示面に表示する表示部と、
   前記表示面に対する手書き入力を案内する文字入力ガイドを前記画像に合成する画像合成部と、
   前記文字入力ガイドに従って前記表示面に手書き入力された情報を、前記表示解像度よりも高い検出解像度で検出する情報検出部と、
   前記検出解像度で検出された情報に基づき文字認識する文字認識部と、を有し、
   前記表示面は、少なくとも前記表示部を備えたプロジェクターによって前記画像が投写される投写面であって、
   前記投写面までの投写距離を検出する距離検出部と、
   前記投写距離及び予め定められた文字認識に必要な画素数に基づいて前記文字入力ガイドのサイズを取得するサイズ取得部と、を更に有することを特徴とする情報認識システム。
2. 請求項１に記載の情報認識システムであって、
   前記画像合成部は、前記情報検出部によって検出された情報を前記表示解像度に合わせた手書き入力状況として前記画像に合成することを特徴とする情報認識システム。
3. 請求項１又は２に記載の情報認識システムであって、
   前記検出解像度で検出された前記情報を表示データとして保持する記憶部を更に備え、
   前記文字認識部は、前記記憶部に記憶された表示データに基づき文字認識を行なうことを特徴とする情報認識システム。
4. 請求項１〜３の何れかに記載の情報認識システムであって、
   前記情報検出部は、前記投写面を撮像する撮像部であって、
   前記距離検出部は、前記撮像部が撮像した前記投写面の投写幅に応じて前記投写面までの投写距離を検出することを特徴とする情報認識システム。
5. 請求項４に記載の情報認識システムであって、
   前記サイズ取得部は、前記文字入力ガイドのサイズに、前記投写距離に応じた調整値を加算した指定サイズを取得し、
   前記画像合成部は、前記指定サイズからなる前記文字入力ガイドを前記画像に合成することを特徴とする情報認識システム。
6. 請求項１〜５の何れかに記載の情報認識システムであって、
   前記文字認識部は、手書き入力された前記情報の大きさのばらつきが予め定められた許容範囲内であれば、同じサイズの文字として文字認識することを特徴とする情報認識システム。
7. 情報検出装置と画像供給装置とを備える情報認識システムの制御方法であって、
   所定の表示解像度で画像を表示面に表示するステップと、
   前記表示面に対する手書き入力を案内する文字入力ガイドを前記画像に合成するステップと、
   前記文字入力ガイドに従って前記表示面に手書き入力された情報を、前記表示解像度よりも高い検出解像度で検出するステップと、
   前記検出解像度で検出された情報に基づき文字認識するステップと、
   前記表示面は、所定の表示解像度で画像を表示するプロジェクターによって前記画像が投写される投写面であって、前記投写面までの投写距離を検出するステップと、
   前記投写距離及び予め定められた文字認識に必要な画素数に基づいて前記文字入力ガイドのサイズを取得するステップと、
   を含むことを特徴とする情報認識システムの制御方法。