JP5293634B2 - 画像合成装置及び画像の位置合わせ方法 - Google Patents

Description

本発明は、画像合成装置及び画像の位置合わせ方法に関し、特に、ボード面に投影した投影画像データとボード面に描かれた画像を読み取ったスキャン画像データとを合成する画像合成装置及び投影画像とスキャン画像の位置合わせ方法に関する。

会議の際にプロジェクタやホワイトボードを使うことが多く、プロジェクタで画像を投影したホワイトボード上に、会議メモなどを書き込むことも行われている。このような用途のため、プロジェクタの投影画像とホワイトボードのスキャン画像とを合成してプリント出力する製品も知られており、投影画像とスキャン画像との位置合わせに関して様々な提案がなされている。

例えば、下記特許文献１には、プロジェクタの投影画像データと電子黒板のスクリーンの画像データを合成する装置に関して、プロジェクタで投影される位置マークを、位置合わせの基準としてスクリーンにマークさせる技術が開示されている。

また、下記特許文献２には、ＯＨＰの投影画像データと電子黒板のスクリーンの画像データを合成する装置に関して、ＯＨＰに付けられている画像を、位置合わせの基準としてスクリーンにマークさせる技術が開示されている。

また、下記特許文献３には、ＯＨＰの投影画像データと電子黒板のスクリーンの画像データを合成する装置に関して、ＯＨＰの投影画像の端部光を、電子黒板に設けた光センサで検出し、電子黒板のスクリーンに位置合わせする技術が開示されている。

特開２００１−１６３８４号公報 特開平９−５１４２３号公報 特開平９−５１４２４号公報

ボード面に投影する投影画像データとボード面に描かれた画像を読み取ったスキャン画像データとを合成するためには、スキャン画像と投影画像の位置関係を認識する必要がある。

そこで、特許文献１、２では、画像合成装置がボード面に描かれた画像を読み取ったスキャン画像データから基準マークを識別して、スキャン画像と投影画像の位置関係を認識しているが、この方法では、画像投影装置から基準位置を示す画像を投影してボードに一定のマークを付けるため、マークに類似した図形（例えば、丸印）がボード上で使えないという問題や、マークの記載がないと画像データを合成できないという問題があった。

また、特許文献３では、電子黒板に設けた光センサを利用して投影画像とスクリーンとの位置合わせを行うため、光センサを備えた特別な電子黒板が必要になり、汎用性に欠け、システムが高価になってしまうという問題があった。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、ボード面に投影された投影画像とボード面に描かれた画像を読み取ったスキャン画像の位置関係を簡便に認識して、画像を正確に位置合わせすることができる画像合成装置及び画像の位置合わせ方法を提供することにある。

上記目的を達成するため、本発明は、ボード面に描かれた画像を読み取ってスキャン画像データを出力するホワイトボードと、投影画像データに基づいて前記ボード面に画像を投影する画像投影装置と、に接続される、前記スキャン画像データと前記投影画像データとを合成する画像合成装置であって、前記画像投影装置に前記投影画像データを出力する画像出力部と、投影画像上の任意の位置を指定する操作部と、前記投影画像の前記操作部で指定された位置に所定マークを表示するべく、前記投影画像データとして、前記指定された位置に対応する座標位置に前記所定マークの画像を有したマーク表示用投影画像データを生成する画像処理部と、前記ホワイトボード面上に定められた２以上の基準点の各々の座標情報を記憶する記憶部と、前記ホワイトボードから前記スキャン画像データを入力する画像入力部と、を少なくとも備え、前記画像処理部は、前記操作部によって前記２以上の基準点の各々を指定した時の、前記所定マークの座標位置をそれぞれ取得し、前記所定マークのこれらの座標位置と各々の前記基準点の座標位置とを対応付けることにより前記ボード面上の前記投影画像の位置を認識するものである。

また、本発明は、ホワイトボードのボード面に描かれた画像を読み取ったスキャン画像データと、画像投影装置により前記ボード面に投影された投影画像データと、を合成するための画像の位置合わせ方法であって、操作部によって指定された投影画像上の任意の位置に所定マークを表示するべく、前記指定された位置に対応する座標位置に前記所定マークの画像を有した投影画像データを生成し、前記画像投影装置により前記ボード面に画像を投影する第１ステップと、前記操作部によって前記ホワイトボード面上に定められた２以上の基準点の各々を指定した時の、前記所定マークの座標位置をそれぞれ取得する第２ステップと、前記所定マークの各々の座標位置と予め記憶した前記２以上の基準点の各々の座標位置とを対応付けることにより前記ボード面上の前記投影画像の位置を認識する第３ステップと、を有するものである。

本発明の画像合成装置及び画像の位置合わせ方法によれば、ボード面に投影された投影画像とボード面に描かれた画像を読み取ったスキャン画像の位置関係を簡便に認識して、画像を正確に位置合わせすることができる。

その理由は、投影画像データとスキャン画像データとを合成する装置では、投影画像の指定された位置に位置指示マークを表示するべく、指定された位置に対応する座標位置に位置指示マークを有した投影画像データを生成し、投影装置を用いて投影画像データに基づいてホワイトボード面に画像を投影し、操作部によってホワイトボード面の所定の基準点を指示した時の位置指示マークの座標位置を取得し、その座標位置とホワイトボード面の基準点の座標位置とを対応付けることにより、ホワイトボード面上の投影画像の位置を認識するからである。

本発明の一実施例に係る画像合成システムの構成を模式的に示す図である。 本発明の一実施例に係る画像形成装置の構成を示すブロック図である。 ホワイトボードに投影された投影画像を示す図である。 本発明の一実施例に係る画像合成システムの全体動作を示すシーケンス図である。 本発明の一実施例に係る画像形成装置の動作を示すフローチャート図である。 位置指示マークをホワイトボードの中央の基準点に合わせる例を示す図である。 位置指示マークをホワイトボードの左下の基準点に合わせる例を示す図である。 基準点のホワイトボード上での座標を説明する図である。 位置指示マークの投影画像上での座標を説明する図である。 位置指示マークを指示された位置（ホワイトボードの中央）に合わせる例を示す図である。 位置指示マークを指示された位置（ホワイトボードの左下）に合わせる例を示す図である。 投影画像の一部がホワイトボードから外れた例を示す図である。 本発明の一実施例に係る画像合成システムの他の構成（マルチ投影）を模式的に示す図である。 本発明の一実施例に係る画像形成装置の構成の一部を示すブロック図である。 複数の画像が投影される例を示す図である。 複数のホワイトボードに画像が投影される例を示す図である。 ホワイトボード上の表示禁止領域を説明する図である。 操作パネルに表示される表示禁止領域設定画面の一例を示す図である。 操作パネルに表示される警告画面の一例を示す図である。 投影画像を電子変倍する例を示す図である。

背景技術で示したように、プロジェクタ等の画像投影装置を用いてホワイトボードに画像を投影し、投影画像データとボード面に描かれた画像を読み取ったスキャン画像データとを合成することが行われているが、画像データを正確に合成するためには、投影画像とスキャン画像の位置関係を認識する必要がある。

しかしながら、特許文献１、２のように、画像投影装置から基準位置を示す画像を投影してボードに一定のマークを付ける方法では、マークに類似した図形をボードに書き込むことができず、マークがなければ画像データを合成できないという問題があった。また、特許文献３のように、電子黒板に設けた光センサを利用して位置合わせを行う方法では、光センサを備えた特別な電子黒板が必要になり、システムが高価になってしまうという問題があった。

そこで、本発明の一実施の形態では、画像データを合成する装置で、投影画像の指定された位置に位置指示マークを表示するべく、指定された位置に対応する座標位置に位置指示マークを有した投影画像データを生成してホワイトボード上に投影させ、操作部によってホワイトボード面の所定の基準点を指示した時の、位置指示マークの座標位置を取得し、その座標位置と所定の基準点の座標位置とを対応付けることにより、ホワイトボード面上の投影画像の位置を認識する構成とする。

これにより、投影画像に基づいてホワイトボードにマークする手間が不要となり、また、ホワイトボードに任意の文字や図形を書き込むことができるため、ユーザの利便性を向上させることができる。また、特別な電子黒板が不要であるため、安価なシステムで位置合わせを行うことができる。更に、この方法では、投影画像の一部がホワイトボードに重なっていれば位置合わせが可能であり、ホワイトボードに複数の画像を投影する形態や複数のホワイトボードの画像を投影する形態にも適用可能であるため、システムの汎用性を高めることができる。

上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像合成装置及び画像の位置合わせ方法について、図１乃至図２０を参照して説明する。図１は、本実施例の画像合成システムの構成を模式的に示す図であり、図２は、画像形成装置の構成を示すブロック図である。また、図３は、ホワイトボードと投影画像との位置関係を示す図であり、図４は、画像合成システムの全体動作を示すシーケンス図、図５は、画像形成装置の動作を示すフローチャート図である。また、図６及び図７は、位置指示マークを基準点に合わせる例を示す図であり、図８及び図９は、基準点及び位置指示マークの座標を示す図である。また、図１０乃至図２０は、本実施例の変形例を示す図である。

図１に示すように、本実施例の画像合成システム１０は、ユーザ端末２０と、電子黒板（本実施例では、ホワイトボード３０とする。）と、投影画像データに基づいてホワイトボード３０に画像を投影するプロジェクタ等の画像投影装置４０と、投影画像データとホワイトボード３０のボード面に描かれた画像を読み取ったスキャン画像データとを合成する画像合成装置（本実施例では、合成した画像をプリント出力する機能を備えた画像形成装置５０とする。）と、位置合わせに利用する矢印等（位置指定マークと呼ぶ。）の位置を指示する手段（本実施例では、ポインティングデバイス６０と呼ぶ。）とで構成される。以下、各装置について詳述する。

［ユーザ端末］
ユーザ端末２０は、制御部、表示部、操作部、通信部などで構成される。制御部は、ＣＰＵ（Central Processing Unit）とＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリとで構成され、ユーザ端末２０全体の動作を制御すると共に、ホワイトボード３０に投影する原稿画像の画像データを生成する。表示部は、ＬＣＤ（Liquid Crystal Display）などで構成され、原稿を作成するための画面などを表示する。操作部は、キーボードやマウスなどで構成され、原稿を作成するための各種操作を可能にする。通信部は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、画像形成装置５０等との通信を行う。

［ホワイトボード］
ホワイトボード３０は、制御部、読取部、通信部などで構成される。制御部は、ホワイトボード３０全体の動作を制御する。読取部は、マジックペンなどでボード面に書き込まれた文字や図形などの画像を読み取り、電気信号に変換する。通信部は、画像形成装置５０等との通信を行い、読取部で読み取ったスキャン画像データを画像形成装置５０に出力する。

［画像投影装置］
画像投影装置（プロジェクタ）４０は、制御部、光出力部、通信部などで構成される。制御部は、画像投影装置４０全体の動作を制御する。光出力部は、画像形成装置５０から受信した投影画像データに基づいてホワイトボード３０に画像を投影する。通信部は、画像形成装置５０等との通信を行う。

［画像形成装置］
画像形成装置５０は、図２に示すように、制御部、表示・操作部（操作パネル５２）、画像処理部５３、原稿画像入力部５４、投影画像出力部５５、印刷部５６、位置情報入力部５７、スキャン画像入力部５８、外部インターフェース５９などで構成される。

制御部は、ＣＰＵ５１ａとＲＯＭ５１ｂやＲＡＭ５１ｃなどのメモリと必要に応じてＨＤＤ（Hard Disk Drive）などの記憶部（図示せず）で構成される。ＣＰＵ５１ａはＲＯＭ５１ｂに保存されている制御プログラムをＲＡＭ５１ｃにコピーした後、ＲＡＭ５１ｃ上の制御プログラムに従って各種制御を行う。ＲＡＭ５１ｃは、制御プログラムの他に、ユーザ端末２０から受信した原稿画像データ、位置合わせのための各種計算値等の一時保存場所として使用される。また、ＲＯＭ５１ｂやＨＤＤは、ホワイトボード３０面の予め定められた基準点の座標位置なども保存する。この座標位置は、画像形成装置５０にホワイトボード３０を接続した後、スキャン画像入力部５８がホワイトボード３０からボード面に設けられた基準点を読み取ったスキャン画像データを取得し、そのスキャン画像データを制御部が解析することによって取得することができる。

表示・操作部（操作パネル５２）は、ＬＣＤ等の表示部上に、透明電極が格子状に配置された感圧式の操作部（タッチパネル）を設けたものであり、制御部からの表示信号に従って表示部上に各種操作ボタンや装置の状態表示、各機能の動作状況等の表示を行う。また、手指やタッチペン等で押下された力点のＸＹ座標を電圧値で検出し、検出された位置信号を操作信号として制御部に出力する。なお、ここでは操作・表示部を表示部と操作部とが一体となった構成としているが、表示部とは別に各種操作ボタンを配置した操作部を設けてもよい。

画像処理部５３は、投影画像の指定された位置に矢印等の位置指示マークを表示するべく、指定された位置に対応する座標位置に位置指示マークの画像を有した投影画像データを生成する。また、ホワイトボード３０面上の投影画像の位置を認識し、その結果に基づいて、ユーザ端末２０で生成した原稿画像の画像データとホワイトボード３０面に描かれた画像を読み取ったスキャン画像データとを合成する。

原稿画像入力部５４は、ユーザ端末２０から原稿画像の画像データを取得する。

投影画像出力部５５は、位置指示マークを有した投影画像データや原稿画像からなる投影画像データを画像投影装置４０に出力する。

印刷部５６は、電子写真方式や静電記録方式等の作像プロセスを利用した画像形成のために必要な要素、すなわち、帯電装置、感光体ドラム、露光装置、転写ローラ、転写ベルト、定着装置などで構成される。具体的には、帯電装置により帯電された感光体ドラムに露光装置から印刷データに応じた光を照射して静電潜像を形成し、現像装置で帯電したトナーを付着させて現像し、そのトナー像を一次転写ローラ、二次転写ベルトを介して紙媒体に転写して定着装置で定着させる処理を行う。

位置情報入力部５７は、ポインティングデバイス６０から、位置指示マークの位置を指定する位置情報を取得する。

スキャン画像入力部５８は、ホワイトボード３０からスキャン画像データを取得する。

外部インターフェース５９は、ＮＩＣやモデムなどで構成され、ユーザ端末２０やホワイトボード３０、画像投影装置４０、ポインティングデバイス６０との通信を行う。

なお、画像処理部５３、原稿画像入力部５４、投影画像出力部５５、位置情報入力部５７、スキャン画像入力部５８等はハードウェアとして構成してもよいし、制御部に上記各部の機能を実行させる制御プログラムとして構成してもよい。

［ポインティングデバイス］
ポインティングデバイス６０は、マウスなどで構成され、位置指示マークの位置を指定する位置情報を出力する。

なお、図１及び図２は、本実施例の画像合成システム１０の一例であり、その構成は適宜変更可能である。例えば、図１及び図２では、画像形成装置５０で投影画像とスキャン画像の位置合わせ／合成を行う構成としているが、コンピュータ端末で画像の位置合わせ／合成を行い、合成した画像の画像データを画像形成装置５０に出力する構成としてもよいし、画像投影装置４０に画像の位置合わせ／合成機能を持たせてもよいし、画像形成装置５０に画像投影装置４０の機能を持たせてもよい。

また、図１及び図２では、ポインティングデバイス６０を画像形成装置５０とは別に設けているが、位置指示マークの位置指定は画像形成装置５０の表示・操作部（操作パネル５２）を用いて行ってもよく、その場合はポインティングデバイス６０を省略することができる。また、図１及び図２では、ユーザ端末２０から原稿画像の画像データを入力する構成としているが、画像形成装置５０にスキャナ機能を設け、スキャナ機能で読み取った原稿画像の画像データをホワイトボード３０に投影させてもよく、その場合はユーザ端末２０を省略することができる。

次に、上記構成の画像合成システム１０の概略動作について、図４のシーケンス図を参照して説明する。

まず、ユーザが画像形成装置５０の操作パネル５２を操作して位置合わせを指示すると、画像形成装置５０は、ポインティングデバイス６０から位置情報を取得し、ポインティングデバイス６０で指定された位置に位置指示マークを表示するべく、指定された位置に対応する座標位置に位置指示マークを有した投影画像データ（位置指示マークのみの画像データでもよいし、所定の画像に位置指示マークを有した画像データでもよい。）を生成して画像投影装置４０に送信する。画像投影装置４０は、投影画像データに基づいてホワイトボード３０上に画像を投影する。

図３は、ホワイトボード３０に投影された投影画像を示す図であり、ホワイトボード３０のボード面には予め複数の基準点３２が設けられており、投影画像３３には、位置情報で指定された位置に対応する座標位置に位置指示マーク３４を有している。なお、図３では基準点３２を３行３列としているが、投影画像３３内に少なくとも２つの基準点３２があればよく、その配置や数量は適宜変更可能である。また、図３では、基準点３２を丸印、位置指示マークを三角印としているが、これらのマークのサイズや形状も適宜変更可能である。

そして、ユーザは、ホワイトボード３０上の基準点３２と投影画像３３の位置指示マーク３４の位置を確認し、ポインティングデバイス６０を操作して位置指示マーク３４の位置を調整し、位置指示マーク３４が所定の基準点３２に重なるまで、この一連の動作を繰り返して位置合わせを行う。この位置合わせの具体的手順については後述する。

次に、ユーザはユーザ端末２０を操作して原稿画像を作成し、ユーザ端末２０は、原稿画像の画像データを画像形成装置５０に送信する。画像形成装置５０は、原稿画像入力部５４にて原稿画像の画像データを受信し、必要に応じて、画像処理部５３にて画像処理を行って投影画像データを生成し、投影画像データを画像投影装置４０に送信する。画像投影装置４０は、投影画像データを受信し、投影画像データに基づいてホワイトボード３０上に画像を投影する。

なお、ここでは画像形成装置５０で原稿画像の画像データから投影画像データを生成する構成としているが、原稿画像の画像データに画像処理を施す必要がない場合は、原稿画像の画像データをそのまま投影画像データとして画像投影装置４０に送信してもよいし、ユーザ端末２０から画像投影装置４０に、直接、投影画像データとして原稿画像の画像データを送信してもよい。

次に、ユーザはホワイトボード３０上の任意の位置（投影画像と重ならない位置でもよいし、投影画像と重なる位置でもよい。）にマジックペン等を用いて会議メモなどを書き込んだ後、ホワイトボード３０に設けられた印刷開始ボタンやリモコン等により、ホワイトボード３０上のスキャンを指示する。ホワイトボード３０は、スキャンを実行し、ボード面に描かれた画像を読み取ったスキャン画像データを画像形成装置５０に送信する。

次に、画像形成装置５０の画像処理部５３は、先に行った位置合わせの結果に基づいて、ユーザ端末２０から受信した原稿画像の画像データとホワイトボード３０から受信したスキャン画像データとを合成して合成画像データを生成し、印刷部５６に出力する。

なお、上記手順では、位置合わせを行った後、ホワイトボード３０上に原稿画像を投影する構成としているが、ホワイトボード３０上に原稿画像を投影した状態で、原稿画像に位置指示マークを表示して位置合わせを行ってもよい。

次に、投影画像とスキャン画像の位置合わせの手順について、図５のフローチャート図及び図６、図７を参照して説明する。

まず、画像形成装置５０は、投影画像に位置指示マーク３４を表示するべく、ポインティングデバイス６０で指定された位置に対応する座標位置に位置指示マーク３４の画像を有した投影画像データを生成して画像投影装置４０に送信し、投影画像データに基づいてホワイトボード３０上に投影画像３３を投影させる（Ｓ１０１）。

次に、ユーザが操作パネル５２を操作して位置合わせを指示すると、画像形成装置５０は、操作パネル５２上に、位置指示マーク３４をどの位置の基準点３２に合わせるかをユーザに選択させるための基準点選択画面を表示させる（Ｓ１０２）。この基準点選択画面は、例えば、図６（ａ）のように構成され、ホワイトボード３０上に設けられている基準点３２が選択可能に表示される。

そして、ユーザが操作パネル５２を操作して所望の基準点（ここでは、“中央−中央”の基準点）３２を選択すると（Ｓ１０３のＹｅｓ）、画像形成装置５０は、選択された基準点３２の座標位置をＲＯＭ５１ｂやＨＤＤなどから読み出し、ＲＡＭ５１ｃに記憶する（Ｓ１０４）。

次に、ユーザはポインティングデバイス６０を操作して、図６（ｂ）に示すように、“中央−中央”の基準点３２の位置に位置指示マーク３４を移動させる（Ｓ１０５）。具体的には、Ｓ１０１で位置指示マーク３４が投影画像３３の中央にある場合は、位置指示マーク３４が右方向に移動するようにポインティングデバイス６０を操作する。そして、ポインティングデバイス６０は位置情報を画像形成装置５０に送信し、画像形成装置５０の画像処理部５３は、位置情報で指定された位置に対応する座標位置に位置指示マーク３４を有した投影画像データを生成して画像投影装置４０に送信し、画像投影装置４０はその投影画像データに基づいてホワイトボード３０に画像を投影する。

そして、ユーザはホワイトボード３０上の位置指示マーク３４を確認し、位置指示マーク３４が“中央−中央”の基準点３２に一致したら、ポインティングデバイス６０を操作（例えば、クリック）して位置指示マーク３４の座標位置を確定する（Ｓ１０６のＹｅｓ）。一致していなければ（Ｓ１０６のＮｏ）、Ｓ１０５に戻って、再度ポインティングデバイス６０を操作して同様の処理を繰り返す。

その後、画像形成装置５０は、クリック位置を、“中央−中央”の基準点３２の位置（第１の座標位置）としてＲＡＭ５１ｃに記憶する（Ｓ１０７）。

次に、画像形成装置５０は、操作パネル５２上に、位置指示マーク３４を合わせる別の基準点３２をユーザに選択させるための基準点選択画面（図７（ａ）参照）を表示させる（Ｓ１０８）。

そして、ユーザが操作パネル５２を操作して所望の基準点（ここでは、“下−左”の基準点）３２を選択すると（Ｓ１０９のＹｅｓ）、画像形成装置５０は、選択された基準点３２の座標位置をＲＯＭ５１ｂやＨＤＤなどから読み出し、ＲＡＭ５１ｃに記憶する（Ｓ１１０）。

次に、ユーザはポインティングデバイス６０を操作して、図７（ｂ）に示すように、“下−左”の基準点３２の位置に位置指示マーク３４を移動させる（Ｓ１１１）。具体的には、Ｓ１０５で位置指示マーク３４が投影画像３３の右側にあるため、位置指示マーク３４が左下方向に移動するようにポインティングデバイス６０を操作する。そして、ポインティングデバイス６０は位置情報を画像形成装置５０に送信し、画像形成装置５０の画像処理部５３は、位置情報で指定された位置に対応する座標位置に位置指示マーク３４を有した投影画像データを生成して画像投影装置４０に送信し、画像投影装置４０はその投影画像データに基づいてホワイトボード３０に画像を投影する。

そして、ユーザはホワイトボード３０上の位置指示マーク３４を確認し、位置指示マーク３４が“下−左”の基準点３２に一致したら、ポインティングデバイス６０を操作（例えば、クリック）して位置指示マーク３４の座標位置を確定する（Ｓ１１２のＹｅｓ）。一致していなければ（Ｓ１１２のＮｏ）、Ｓ１１１に戻って、再度ポインティングデバイス６０を操作して同様の処理を繰り返す。

その後、画像形成装置５０は、クリック位置を、“下−左”の基準点３２の位置（第２の座標位置）としてＲＡＭ５１ｃに記憶する（Ｓ１１３）。

次に、上記手順で記憶した２つの座標を用いて、スキャン画像データと投影画像データとを合成する手順について、図８及び図９を参照して具体的に説明する。

図８は、“中央−中央”と“下−左”の基準点３２のホワイトボード３０上の座標位置を示している。この座標位置は、図５のフローチャートのＳ１０４、Ｓ１１０でＲＡＭ５１ｃに記憶された座標である。

また、図９（ａ）は、“中央−中央”の基準点３２の投影画像上の座標位置（すなわち、位置指示マーク３４を“中央−中央”の基準点３２に重ね合わせて確定した座標位置）を、図９（ｂ）は、“下−左”の基準点３２の座標位置（すなわち、位置指示マーク３４を“下−左”の基準点３２に重ね合わせて確定した座標位置）を示している。この座標位置は、図５のフローチャートのＳ１０７、Ｓ１１３でＲＡＭ５１ｃ記憶された座標である。

ここで、
座標（Ｘ１,Ｙ１）＝座標（Ｉ１,Ｊ１）
座標（Ｘ２,Ｙ２）＝座標（Ｉ２,Ｊ２）
横倍率ｈ＝｜Ｉ１−Ｉ２｜／｜Ｘ１−Ｘ２｜
縦倍率ｋ＝｜Ｊ１−Ｊ２｜／｜Ｙ１−Ｙ２｜
であることから、投影画像の原点位置（Ｘ０,Ｙ０）のボード面上の座標値は以下の式で計算される。

Ｘ０＝Ｉ１−ｈ×Ｘ１
Ｙ０＝Ｊ１−ｋ×Ｙ１

これで原点（Ｘ０,Ｙ０）と倍率が計算できるので、スキャン画像と投影画像を正確に位置合わせすることができる。なお、水平又は垂直に並んだ２つの基準点３２を選択すると、水平又は垂直の倍率が計算できないため、水平又は垂直に並んでいない基準点３２を選択する必要がある。

このように、ポインティングデバイス６０で指定された位置に対応する座標位置に位置指示マーク３４を有した投影画像データを生成し、ホワイトボード３０上に予め設けられた基準点３２の各々を指定した時の位置指示マーク３４の座標位置を取得し、位置指示マーク３４の座標位置と各々の基準点３２の座標位置とを対応付けることによって、ホワイトボード３０面上の投影画像の位置を認識することができるため、投影画像データとスキャン画像データとを正確に合成することができる。

以上、ホワイトボード３０上に基準点が予め設けられている場合の制御について説明したが、ホワイトボード３０上に基準点が設けられていない場合であっても、画像形成装置５０が指定する位置に位置指示マークを移動させることにより、ホワイトボード３０面上の投影画像の位置を認識することは可能である。

例えば、図１０（ａ）に示すような基準位置指示画面が表示された場合に、図１０（ｂ）に示すように、ユーザがポインティングデバイス６０を操作してホワイトボード３０の中央に位置指示マーク３４を移動してクリック動作を行う。次に、図１１（ａ）に示すような基準位置指示画面が表示された場合に、図１１（ｂ）に示すように、ユーザがポインティングデバイス６０を操作してホワイトボード３０の左下に位置指示マーク３４を移動してクリック動作を行う。これにより、ホワイトボード３０面上の投影画像の位置を認識できるため、投影画像データとスキャン画像データとを正確に合成することができる。

なお、投影画像３３の位置によっては基準位置指示画面で指示された位置に位置指示マーク３４を移動できない場合もあるが、その場合は、投影画像３３の位置を調整し直してから再度位置合わせを行ってもよいし、別の位置（例えば、左上、中央下など）を指示する画面を表示するようにしてもよい。

また、画像投影装置４０の設置位置によっては、図１２に示すように、投影画像の一部がホワイトボード３０から外れてしまう場合もある。このような場合、従来のように、ホワイトボード上に投影画像の４角を記載する方法では合成が難しかったが、本実施例では、投影画像内の２点の位置が指定できれば、ホワイトボード３０面上の投影画像の位置を認識することができる。

このような場合、合成画像の範囲は、ホワイトボード３０のスキャン範囲と同じにしてもよいし、図１２の破線で示すように、ホワイトボード３０と投影画像とを含む領域としてもよいし、投影画像の範囲と同じにしてもよい。

以上、１台の画像投影装置４０を用いて１台のホワイトボード３０上に画像を投影する場合について説明したが、複数台の画像投影装置４０を用いて１台のホワイトボード３０上に画像を投影する場合（マルチ投影）や、１台の画像投影装置４０を用いて複数台のホワイトボード３０上に画像を投影する場合（マルチホワイトボード）もある。それらの場合について以下に説明する。

［マルチ投影の例］
図１３は２台の画像投影装置（第１画像投影装置４０ａ、第２画像投影装置４０ｂ）で画像を投影する場合の画像合成システム１０の例である。この場合、画像形成装置５０は、図１４に示すように、投影画像出力部を２つ備え、投影画像出力部５５ａに第１画像投影装置４０ａが接続され、投影画像出力部５５ｂに第２画像投影装置４０ｂが接続される構成となる。

このような構成では、図１５に示すように、ホワイトボード３０上に、第１画像投影装置４０ａから投影される第１投影画像３３ａと、第２画像投影装置４０ｂから投影される第２投影画像３３ｂがあるが、各々の投影画像に対して、上述した手順で２つの基準点３２に位置指示マーク３４ａ、３４ｂを一致させることで、ホワイトボード３０面上の第１投影画像３３ａと第２投影画像３３ｂの位置を認識することができる。

なお、マルチ投影においても、ホワイトボード３０上に基準点が設けられていない場合は、画像形成装置５０が指定する位置をクリックすることにより、ホワイトボード３０面上の投影画像の位置を認識することは可能である。また、一方又は双方の投影画像の一部がホワイトボード３０から外れている場合も、画像形成装置５０が指定する位置をクリックすることで、ホワイトボード３０面上の投影画像の位置を認識することができる。

［マルチホワイトボードの例］
図１６は、複数台のホワイトボード（第１ホワイトボード３０ａ、第２ホワイトボード３０ｂ）に跨るように投影する場合の例である。この場合、各々のホワイトボードに対して、上述した手順で２つの基準点３２に位置指示マーク３４を一致させることで、第１ホワイトボード３０ａ面上の投影画像３３の位置、第２ホワイトボード３０ｂ面上の投影画像３３の位置を認識することができる。

このような場合、合成画像の範囲は、複数台のホワイトボードのスキャン範囲と同じにしてもよいし、図１６の破線で示すように、複数台のホワイトボードと投影画像とを含む領域としてもよいし、投影画像の範囲と同じにしてもよい。

なお、マルチホワイトボードにおいても、ホワイトボード３０上に基準点が設けられていない場合は、画像形成装置５０が指定する位置をクリックすることにより、各々のホワイトボード３０面上の投影画像の位置を認識することは可能である。また、一方又は双方の投影画像の一部がホワイトボード３０から外れている場合も、画像形成装置５０が指定する位置をクリックすることで、ホワイトボード３０面上の投影画像の位置を認識することができる。

以上の説明は、ホワイトボード３０の全面に画像を投影できる場合であるが、例えば、予めホワイトボード３０上に文字や図形などが書き込まれている場合は、その上に画像を投影すると、スキャン画像と投影画像とが混ざって見づらくなる。このような場合であっても、本実施例のシステムでは、ホワイトボード３０面上の投影画像の位置が明確であるため、好ましくない場所に画像が投影されないように制御することができる。

例えば、図１７に示すように、ホワイトボード３０の所定の領域（図では右半分）を表示禁止領域３６に設定する場合には、操作パネル５２に図１８に示すような画面を表示してユーザに表示禁止領域３６を選択させる。そして、画像形成装置５０は、ホワイトボード３０面上の投影画像の位置に基づいて、投影画像３３が表示禁止領域３６に重なっているかを判断し、重なっている場合に、図１９に示すような警告画面を表示してユーザに警告を発することができる。

また、投影画像３３が投影禁止領域３６に重なっている場合に、図２０に示すように、画像処理部５３で投影画像３３を縮小した電子変倍画像３７の画像データを生成することにより、自動的に表示禁止領域３６を避ける構成とすることもできるし、画像投影装置４０が制御機能を有する場合、投影位置を制御し、画像位置を変える構成とすることもできる。

なお、本発明は上記実施例の記載に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。

本発明は、画像を投影する装置と、スキャン機能を備えた装置と、これらを制御する装置とを含むシステムに利用可能である。

１０ 画像合成システム
２０ ユーザ端末
３０ ホワイトボード
３１ 書込エリア
３２ 基準点
３３ 投影画像
３４ 位置指示マーク
３５ 合成画像
３６ 表示禁止領域
３７ 電子変倍画像
４０ 画像投影装置
５０ 画像形成装置
５１ａ ＣＰＵ
５１ｂ ＲＯＭ
５１ｃ ＲＡＭ
５２ 操作パネル
５３ 画像処理部
５４ 原稿画像入力部
５５ 投影画像出力部
５６ 印刷部
５７ 位置情報入力部
５８ スキャン画像入力部
５９ 外部インターフェース
６０ ポインティングデバイス

Claims (10)

1. ボード面に描かれた画像を読み取ってスキャン画像データを出力するホワイトボードと、投影画像データに基づいて前記ボード面に画像を投影する画像投影装置と、に接続される、前記スキャン画像データと前記投影画像データとを合成する画像合成装置であって、
   前記画像投影装置に前記投影画像データを出力する画像出力部と、
   投影画像上の任意の位置を指定する操作部と、
   前記投影画像の前記操作部で指定された位置に所定マークを表示するべく、前記投影画像データとして、前記指定された位置に対応する座標位置に前記所定マークの画像を有したマーク表示用投影画像データを生成する画像処理部と、
   前記ホワイトボード面上に定められた２以上の基準点の各々の座標位置を記憶する記憶部と、
   前記ホワイトボードから前記スキャン画像データを入力する画像入力部と、
   を少なくとも備え、
   前記画像処理部は、前記操作部によって前記２以上の基準点の各々を指定した時の、前記所定マークの座標位置をそれぞれ取得し、前記所定マークのこれらの座標位置と各々の前記基準点の座標位置とを対応付けることにより前記ボード面上の前記投影画像の位置を認識する、
   ことを特徴とする画像合成装置。
2. 前記画像処理部は、前記ボード面上の前記投影画像の位置に基づいて、前記スキャン画像データと前記投影画像データとを合成する、
   ことを特徴とする請求項１に記載の画像合成装置。
3. 前記スキャン画像と前記投影画像とが一部で重なる場合、
   前記画像処理部で合成される画像は、前記スキャン画像及び前記投影画像の全部を含む領域の画像、又は、前記スキャン画像に前記投影画像の前記一部を合成した画像、又は、前記投影画像に前記スキャン画像の前記一部を合成した画像である、
   ことを特徴とする請求項２に記載の画像合成装置。
4. 前記ボード面に禁止領域が設定されている場合、
   前記画像処理部は、前記ボード面上の前記投影画像の位置に基づいて、前記投影画像が前記禁止領域に重なっているかを判断し、重なっている場合は、前記投影画像が前記禁止領域に重なっていることを警告する処理、又は、前記禁止領域に重ならないように前記投影画面を縮小する処理を行う、
   ことを特徴とする請求項１乃至３のいずれか一に記載の画像合成装置。
5. 前記基準点は、前記ボード面に記入された格子点である、
   ことを特徴とする請求項１乃至４のいずれか一に記載の画像合成装置。
6. ホワイトボードのボード面に描かれた画像を読み取ったスキャン画像データと、画像投影装置により前記ボード面に投影された投影画像データと、を合成するための画像の位置合わせ方法であって、
   操作部によって指定された投影画像上の任意の位置に所定マークを表示するべく、前記指定された位置に対応する座標位置に前記所定マークの画像を有した投影画像データを生成し、前記画像投影装置により前記ボード面に画像を投影する第１ステップと、
   前記操作部によって前記ホワイトボード面上に定められた２以上の基準点の各々を指定した時の、前記所定マークの座標位置をそれぞれ取得する第２ステップと、
   前記所定マークの各々の座標位置と予め記憶した前記２以上の基準点の各々の座標位置とを対応付けることにより前記ボード面上の前記投影画像の位置を認識する第３ステップと、を有する、
   ことを特徴とする画像の位置合わせ方法。
7. 前記ホワイトボードからスキャン画像データを入力する第４ステップと、
   前記第３ステップで認識した前記ボード面上の前記投影画像の位置に基づいて、前記スキャン画像データと前記投影画像データとを合成する第５ステップと、を更に有する、
   ことを特徴とする請求項６に記載の画像の位置合わせ方法。
8. 前記スキャン画像と前記投影画像とが一部で重なる場合、
   前記第５ステップで合成される画像は、前記スキャン画像及び前記投影画像の全部を含む領域の画像、又は、前記スキャン画像に前記投影画像の前記一部を合成した画像、又は、前記投影画像に前記スキャン画像の前記一部を合成した画像である、
   ことを特徴とする請求項７に記載の画像の位置合わせ方法。
9. 前記ボード面に禁止領域が設定されている場合、
   前記第３ステップでは、前記ボード面上の前記投影画像の位置に基づいて、前記投影画像が前記禁止領域に重なっているかを判断し、重なっている場合は、前記投影画像が前記禁止領域に重なっていることを警告する処理、又は、前記禁止領域に重ならないように前記投影画面を縮小する処理を行う、
   ことを特徴とする請求項６乃至８のいずれか一に記載の画像の位置合わせ方法。
10. 前記基準点は、前記ボード面に記入された格子点である、
    ことを特徴とする請求項６乃至９のいずれか一に記載の画像の位置合わせ方法。

Images