JP6464624B2 - 画像処理システム、画像処理装置、方法およびプログラム - Google Patents

Description

本発明は、ユーザが指示した描画画像を生成して表示する画像処理システムに関し、より詳細には、描画画像の座標の算出精度を向上させる画像処理システム、画像処理装置、方法およびプログラムに関する。

従来、企業や教育機関、行政機関等における会議等において、ＰＣ等の情報処理装置が提供する画像を表示すると共に、ユーザが指示した任意の描画を表示する可能な画像処理システムが利用されている。

このような画像処理システムの一例として、特許文献１は、光を発散する光源型指示部材と、ユーザが光源型指示部材を用いて指示した描画指示座標に描画画像を表示する画像処理装置とを含む光学式座標入力装置を開示する。この光学式座標入力装置では、画像処理装置の周辺部に設置された入射光検出部が、光源型指示部材が発する光を検知し、その入射角に基づいて描画指示座標を算出する。

しかしながら、特許文献１が開示する光学式座標入力装置では、光源型指示部材の発する光が、ユーザの把持手等によって部分的に遮断された場合、入射光検出部から見た発光点と本来の発光点との間にズレが生じる恐れがある。このため、実際に算出した光の入射角と、本来の算出されるべき光の入射角との誤差が生じ、その結果、描画指示座標に誤差が生じて描画精度が低下するという問題があった。

本発明は上述した課題を解決するものであり、ユーザが描画指示した座標の誤差を防止して描画精度を向上させる画像処理システム、画像処理装置、方法およびプログラムを提供することを目的とする。

本発明の画像処理システムは、描画画像を処理する画像処理装置と、発光手段を備える描画指示装置とを含む。画像処理装置は、当該画像処理装置の表示手段の周辺部に設置された複数の撮影装置が提供する撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択し、有効画像を用いて描画画像の座標を算出する。画像処理装置は、ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択する。

本発明の画像処理システムは、ユーザが描画指示した座標の誤差を防止して描画精度を向上させることができる。

本発明の画像処理システムを示す図。 画像処理装置１１０のハードウェア構成を示す図。 画像処理装置１１０の機能構成を示す図。 描画画像の座標の算出方法を示す概念図。 本発明の画像処理装置が実行する処理を示すフローチャート。 有効画像の選択処理の一実施形態を示すフローチャート。 ユーザの把持手によって撮影画像内の描画指示装置が欠損する様子を示す図。 有効画像の選択処理の別の実施形態を示すフローチャート。 描画指示装置１３０を示す詳細図。 有効画像の選択処理の他の実施形態を示すフローチャート。 描画指示装置１３０が傾斜した場合の発光部の様子を示す図。 把持手情報の更新処理の一実施形態を示すフローチャート。

図１は、本発明の画像処理システム１００を示す。画像処理システム１００は、画像処理装置１１０と、画像提供装置１２０とを含む。画像処理装置１１０は、画像提供装置１２０が提供する画像を表示すると共に、ユーザが描画指示装置１３０を用いて指示した描画画像を生成して表示する装置である。

画像処理装置１１０は、撮影装置１１１ａ〜１１１ｄと、表示部１１２とを備える。撮影装置１１１ａ〜１１１ｄは、表示部１１２の周辺部に設置され、表示部１１２の表面部を撮影する装置である。

図１に示す実施形態では、撮影装置１１１ａ〜１１１ｄが、表示部１１２の４つの角に設置される。他の実施形態では、撮影装置を表示部１１２の２または３つの角に設置してもよい。さらに他の実施形態では、複数の撮影装置を表示部１１２の角以外の周辺部に設置してもよく、また、複数の撮影装置を角および角以外の周辺部に設置してもよい。さらに、図１に示す実施形態では、撮影装置１１１ａ〜１１１ｄが画像処理装置１１０と一体的に構成されるが、他の実施形態では、撮影装置１１１ａ〜１１１ｄを独立した装置として構成してもよい。

表示部１１２は、ユーザが描画指示装置１３０を用いて指示した描画画像を表示する手段である。描画指示装置１３０は、光を発する発光部を備え、ユーザが把持可能な装置である。

画像提供装置１２０は、画像処理装置１１０の表示部１１２に表示すべき画像を提供する情報処理装置である。画像提供装置１２０は、有線または無線通信により、表示対象の画像を画像処理装置１１０に提供する。

図２は、画像処理装置１１０のハードウェア構成を示す図である。以下、図２を参照して、画像処理装置１１０のハードウェア機能について説明する。

画像処理装置１１０は、ＣＰＵ２００と、ＲＯＭ２０１と、ＲＡＭ２０２と、ハードディスク装置（ＨＤＤ）２０３と、ネットワークインタフェース（Ｉ／Ｆ）２０４と、撮影装置１１１ａ〜１１１ｄと、表示部１１２とを備える。

ＣＰＵ２００は、本発明のプログラムを実行する演算装置である。ＲＯＭ２０１は、ブートプログラム等のデータが保存される不揮発性メモリである。ＲＡＭ２０２は、プログラムの実行空間を提供する不揮発性メモリである。ＨＤＤ２０３は、本発明のプログラム等のデータが保存される不揮発性メモリである。通信制御装置２０４は、画像提供装置１２０および描画指示装置１３０との通信を制御する装置である。ＣＰＵ２００は、種々のＯＳの下で本発明のプログラムをＨＤＤ２０３から取得し、ＲＡＭ２０２に展開して実行することにより、後述する機能を画像処理装置１１０上で実現する。

図３は、画像処理装置１１０の機能構成を示す図である。以下、図３を参照して、画像処理装置１１０の機能について説明する。

画像処理装置１１０は、撮影装置制御部３００と、接触位置情報受信部３０１と、傾斜情報受信部３０２と、表示制御部３０３と、有効画像選択部３０４と、描画座標算出部３０９と、描画画像生成部３１０と、把持手情報更新部３１１とを有する。本実施形態では、これらの手段はＲＡＭ２０２に展開されるプログラムに実装されるが、他の実施形態では、これらの手段をＡＳＩＣ等の半導体集積回路によって実現してもよい。

撮影装置制御部３００は、撮影装置１１１ａ〜１１１ｄを制御する手段である。撮影装置制御部３００は、撮影装置１１１ａ〜１１１ｄに撮影処理を実行させて撮影画像を生成する。

接触位置情報受信部３０１は、画像処理装置１１０の表示部１１２に接触した物体の座標を示す接触位置情報を受信する手段である。表示部１１２に接触センサが設置される実施形態では、接触位置情報受信部３０１は、当該接触センサが提供する接触位置情報を受信し、画像処理装置１１０の記憶装置に保存する。

傾斜情報受信部３０２は、描画指示装置１３０の傾斜方向を示す傾斜情報を受信する手段である。描画指示装置１３０が当該描画指示装置の傾斜方向を検出するセンサを備える実施形態では、傾斜情報受信部３０２は、描画指示装置１３０が提供する傾斜情報を受信する。

表示制御部３０３は、画像処理装置１１０の表示部１１２を制御する手段である。表示制御部３０３は、描画画像生成部３１０が生成する描画画像を表示部１１２に表示する。

有効画像選択部３０４は、撮影装置１１１ａ〜１１１ｄの撮影画像の中から描画画像の座標の算出に使用する画像（以下、「有効画像」とする。）を選択する手段である。有効画像選択部３０４は、接触位置情報判別部３０５と、有効画像判断部３０６と、傾斜方向判断部３０７と、把持手情報保存部３０８とを備える。

接触位置情報判別部３０５は、接触位置情報受信部３０１が受信した接触位置情報を判別して、描画指示装置１３０の接触位置情報と、ユーザの把持手の接触位置情報とに分類する手段である。接触位置情報判別部３０５は、接触位置情報によって形成される接触領域の大きさに基づいて、描画指示装置１３０の接触位置情報と、把持手の接触位置情報とを判別することができる。

具体的には、描画指示装置１３０の接触領域は、描画指示装置１３０の先端部の大きさと同等であることが想定されるため、描画指示装置１３０の先端部と同等の大きさの接触領域を描画指示装置１３０の接触領域とみなし、接触位置情報判別部３０５は、当該接触領域を形成する接触位置情報を、描画指示装置１３０の接触位置情報であると判断し、それ以外の大きさの接触領域を、把持手の接触位置情報であると判断する。

有効画像判断部３０６は、ユーザの把持手の位置や描画指示装置１３０の傾斜方向、撮影画像の生成元等の情報を用いて、有効画像を判断する手段である。

傾斜方向判断部３０７は、描画指示装置１３０の傾斜方向を判断する手段である。傾斜方向判断部３０７は、描画指示装置１３０が提供する傾斜情報または撮影装置１１１ａ〜１１１ｄの撮影画像を用いて、描画指示装置１３０の傾斜方向を判断する。

把持手情報保存部３０８は、ユーザの把持手の位置を示す把持手情報を画像処理装置１１０の記憶装置に保存する手段である。

描画座標算出部３０９は、ユーザが描画を指示した座標（以下、「描画座標」とする。）を算出する手段である。描画座標算出部３０９は、撮影装置１１１ａ〜１１１ｄの撮影画像を使用して描画座標を算出する。撮影装置１１１ａ〜１１１ｄの撮影画像には、図４に示すように、それぞれ描画指示装置１３０の発光部が含まれる。描画座標算出部３０９は、各撮影装置の撮影画像に含まれる発光部の中心点と、各撮影装置の中心点とを結ぶ直線を算出し、これらの直線の交点の座標を描画座標として算出する。

描画画像生成部３１０は、描画座標に基づいて描画画像を生成する手段である。描画画像生成部３１０は、描画座標が示す画素の値を所定の値に変更して描画画像を生成する。

把持手情報更新部３１１は、画像処理装置１１０の記憶装置に保存されている把持手情報を更新する手段である。

図５は、本発明の画像処理装置が実行する処理を示すフローチャートである。以下、図５を参照して、撮影装置１１１ａ〜１１１ｄの撮影画像から有効画像を選択し、描画画像を生成する処理について説明する。

図５の処理は、ステップＳ５００から開始し、ステップＳ５０１で有効画像選択部３０４が、後述する有効画像の選択処理を実行して、描画画像の位置の特定に使用する有効画像を選択する。ステップＳ５０２では、描画座標算出部３０９が、有効画像の選択処理で選択された有効画像を用いて描画座標を算出する。ステップＳ５０３では、描画画像生成部３１０が、ステップＳ５０２で算出した描画座標を用いて描画画像を生成する。ステップＳ５０４では、表示制御部３０３が描画画像を表示部１１２に表示し、ステップＳ５０５で処理が終了する。

図６は、有効画像の選択処理の一実施形態を示すフローチャートである。以下、図６を参照して、表示部１１２に対する接触位置情報を用いてユーザの把持手の位置を特定し、有効画像を選択する処理について説明する。

図６に示す処理はステップＳ６００から開始し、ステップＳ６０１で有効画像選択部３０４の接触位置情報判別部３０５が、画像処理装置１１０の記憶装置に保存されている最新の接触位置情報を取得する。ステップＳ６０２では、接触位置情報判別部３０５は、ステップＳ６０１で取得した接触位置情報を判別して、描画指示装置１３０の接触位置情報と、当該描画指示装置を把持するユーザの把持手の接触位置情報とに分類する。

ステップＳ６０３では、有効画像判断部３０６が、描画指示装置１３０の接触位置情報とユーザの接触位置情報とを使用して、ユーザの把持手の位置を判断する。ユーザの把持手の位置が描画指示装置１３０の右側の場合、すなわち、ユーザが右手で描画指示装置１３０を握っている場合、ステップＳ６０４に処理が分岐する。ステップＳ６０４では、有効画像判断部３０６は、ユーザの把持手と反対側の撮影装置、すなわち、画像処理装置１１０の左側に設置されている撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択し、ステップＳ６０６で処理が終了する。

ユーザの把持手が描画指示装置１３０の右側に有る場合、図７に示すように、右側の撮影装置１１１ｃの撮影画像に含まれる描画指示装置１３０の発光部の一部が欠損することがある。描画座標算出部３０９が、このような撮影画像を用いて発光部の中心点を算出すると、算出した発光部の中心点と本来の中心点との間に誤差が生じ、その結果、描画座標に誤差が生じてしまう。このため、ユーザの把持手が描画指示装置１３０の右側に有る場合は、有効画像判断部３０６は、画像処理装置１１０の右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を選択せず、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択する。

一方、ユーザの把持手の位置が描画指示装置１３０の左側の場合、すなわち、ユーザが左手で描画指示装置１３０を握っている場合、ステップＳ６０５に処理が分岐する。ステップＳ６０５では、有効画像判断部３０６は、ユーザの把持手と反対側の撮影装置、すなわち、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択し、ステップＳ６０６で処理が終了する。

図８は、有効画像の選択処理の別の実施形態を示すフローチャートである。以下、図８を参照して、描画指示装置１３０の傾斜情報を用いて描画指示装置１３０の傾斜方向を特定し、有効画像を選択する処理について説明する。

図８に示す処理はステップＳ８００から開始し、ステップＳ８０１で傾斜方向判断部３０７が、描画指示装置１３０が提供する傾斜情報を取得する。ステップＳ８０２では、傾斜方向判断部３０７は、描画指示装置１３０の傾斜方向を判断する。

本実施形態では、描画指示装置１３０は、その傾斜方向を検知する傾き検知センサを備える。描画指示装置１３０の把持部は、図９に示すように、手前側（ユーザ側）部分と、奥側（ユーザと反対側）部分とがあり、ユーザは、描画指示装置１３０を用いて描画を指示するとき、手前側部分がユーザ側になるように描画指示装置１３０を把持する。

傾き検知センサは、描画指示装置１３０が左側に傾斜した場合は、描画指示装置１３０が左側に傾斜している旨を示す傾斜情報を画像処理装置１１０に送信する。一方、描画指示装置１３０が右側に傾斜した場合は、傾き検知センサは、描画指示装置１３０が右側に傾斜している旨を示す傾斜情報を画像処理装置１１０に送信する。傾斜方向判断部３０７は、これらの傾斜情報を用いて描画指示装置１３０の傾斜方向を判断することができる。

描画指示装置１３０が右側に傾斜していると判断した場合、ステップＳ８０３に処理が分岐する。ステップＳ８０３では、有効画像判断部３０６が、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択し、ステップＳ８０５で処理が終了する。

本実施形態では、描画指示装置１３０の傾斜方向が描画指示装置の右側であると判断した場合は、ユーザが右手で描画指示装置１３０を把持しているとみなし、把持手と反対側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択する。

一方、描画指示装置１３０が左側に傾斜している判断した場合、ステップＳ８０４に処理が分岐する。ステップＳ８０４では、有効画像判断部３０６が、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択し、ステップＳ８０５で処理が終了する。

本実施形態では、描画指示装置１３０の傾斜方向が描画指示装置の左側であると判断した場合は、ユーザが左手で描画指示装置１３０を把持しているとみなし、把持手と反対側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択する。

図１０は、有効画像の選択処理の他の実施形態を示すフローチャートである。以下、図１０を参照して、撮影装置１１１ａ〜１１１ｄの撮影画像を用いて描画指示装置１３０の傾斜方向を特定し、有効画像を選択する処理について説明する。

図１０に示す処理はステップＳ１０００から開始し、ステップＳ１００１で傾斜方向判断部３０７が、撮影装置１１１ａ〜１１１ｄが提供する撮影画像を取得する。ステップＳ１００２では、傾斜方向判断部３０７は、描画指示装置１３０の傾斜方向が判断可能か否か判断する。

本実施形態では、描画指示装置１３０は、図１１に示すように半球形状の発光部を備える。撮影画像に含まれる描画指示装置１３０の発光部の形状は、描画指示装置１３０が傾斜していない場合と、描画指示装置１３０が撮影装置側に傾斜している場合と、描画指示装置１３０が撮影装置の反対側に傾斜している場合とで異なる。

傾斜方向判断部３０７は、描画指示装置１３０が傾斜している状態の発光部の形状を表すパターン画像と、撮影画像とのパターンマッチングを行い、傾斜している状態の発光部の形状が含まれる撮影画像が存在するか否か判断する。傾斜している状態の発光部の形状が含まれる撮影画像が存在する場合、傾斜方向判断部３０７は、描画指示装置１３０の傾斜方向が判断可能であると判断する。一方、傾斜している状態の発光部の形状が含まれる撮影画像が存在しなかった場合、傾斜方向判断部３０７は、傾斜方向判断部３０７は、描画指示装置１３０の傾斜方向が判断不可能であると判断する。

ステップＳ１００２で描画指示装置１３０の傾斜方向が判断可能であると判断した場合（ｙｅｓ）、ステップＳ１００３に処理が分岐する。Ｓ１００３では、傾斜方向判断部３０７は、傾斜している状態の発光部の形状が含まれる撮影画像を使用して、描画指示装置１３０の傾斜方向を判断する。

本実施形態では、傾斜方向判断部３０７は、描画指示装置１３０が撮影装置側に傾斜している状態の発光部の形状を表すパターン画像または撮影装置側の反対側に傾斜している状態の発光部の形状を表すパターン画像と、傾斜している状態の発光部の形状が含まれる撮影画像とのパターンマッチングを行う。

当該撮影画像内に撮影装置側に傾斜している状態の発光部の形状が含まれる場合、傾斜方向判断部３０７は、描画指示装置１３０が当該撮影装置側に傾斜していると判断し、ステップＳ１００４に処理が分岐する。一方、当該撮影画像内に撮影装置の反対側に傾斜している状態の発光部の形状が含まれる場合、傾斜方向判断部３０７は、描画指示装置１３０が当該撮影装置の反対側に傾斜していると判断し、ステップＳ１００９に処理が分岐する。

ステップＳ１００４では、有効画像判断部３０６が、撮影装置側に傾斜している状態の発光部の形状が含まれる撮影画像の生成元の撮影装置を判断する。本実施形態では、撮影画像には、当該撮影画像を生成した撮影画像の識別情報が付加されており、有効画像判断部３０６は、当該撮影画像の識別情報を用いて、生成元の撮影装置を判断することができる。

撮影画像の生成元が右側の撮影装置１１１ｃ，１１１ｄである場合、ステップＳ１００５に処理が分岐する。ステップＳ１００５では、有効画像判断部３０６は、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択する。ステップＳ１００６では、把持手情報保存部３０８は、把持手が右手である旨を示す把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１０１５で処理が終了する。

描画指示装置１３０が右側の撮影装置１１１ｃ，１１１ｄの方向に傾斜する場合は、描画指示装置１３０の把持手が右手である可能性が高く、ユーザの右手によって撮影画像内の描画指示装置１３０の発光部の形状が欠損している可能性が高い。このため、画像処理装置１１０は、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を描画座標の算出に使用せず、左側の撮影装置１１１ａ，１１１ｂが提供する描画指示装置１３０の発光部の形状が欠損していない撮影画像のみを描画座標の算出に使用する。これにより、ユーザが描画指示した座標の誤差を防止して描画精度を向上させることができる。

一方、撮影画像の生成元が左側の撮影装置１１１ａ，１１１ｂである場合、ステップＳ１００７に処理が分岐する。ステップＳ１００７では、有効画像判断部３０６は、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択する。ステップＳ１００８では、把持手情報更新部３１１は、把持手が右手である旨を示す把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１０１５で処理が終了する。

描画指示装置１３０が左側の撮影装置１１１ａ，１１１ｄの方向に傾斜する場合は、描画指示装置１３０の把持手が左手である可能性が高く、ユーザの左手によって撮影画像内の描画指示装置１３０の発光部の形状が欠損している可能性が高い。このため、画像処理装置１１０は、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を描画座標の算出に使用せず、右側の撮影装置１１１ｃ，１１１ｄが提供する、描画指示装置１３０の発光部の形状が欠損していない撮影画像のみを描画座標の算出に使用する。これにより、ユーザが描画指示した座標の誤差を防止して描画精度を向上させることができる。

ステップＳ１００３で描画指示装置１３０の傾斜方向が撮影装置の反対側であると判断した場合は、ステップＳ１００９に処理が分岐する。ステップＳ１００９では、有効画像判断部３０６が、撮影装置と反対側に傾斜している状態の発光部の形状が含まれる撮影画像の生成元の撮影装置を判断する。

撮影画像の生成元が右側の撮影装置１１１ｃ，１１１ｄである場合、ステップＳ１０１０に処理が分岐する。ステップＳ１０１０では、有効画像判断部３０６は、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択する。ステップＳ１０１１では、把持手情報保存部３０８は、把持手が左手である旨を示す把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１０１５で処理が終了する。

描画指示装置１３０が右側の撮影装置１１１ｃ，１１１ｄの反対側、すなわち、左側の撮影装置１１１ａ，１１１ｂの方向に傾斜する場合は、描画指示装置１３０の把持手が左手である可能性が高く、ユーザの左手によって撮影画像内の描画指示装置１３０の発光部の形状が欠損している可能性が高い。このため、画像処理装置１１０は、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を描画座標の算出に使用せず、右側の撮影装置１１１ｃ，１１１ｄが提供する、描画指示装置１３０の発光部の形状が欠損していない撮影画像のみを描画座標の算出に使用する。これにより、ユーザが描画指示した座標の誤差を防止して描画精度を向上させることができる。

一方、ステップＳ１００９で撮影画像の生成元が左側の撮影装置１１１ａ，１１１ｂであると判断した場合、ステップＳ１０１２に処理が分岐する。ステップＳ１０１２では、有効画像判断部３０６は、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択する。ステップＳ１０１３では、把持手情報保存部３０８は、把持手が左手である旨を示す把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１０１５で処理が終了する。

描画指示装置１３０が左側の撮影装置１１１ａ，１１１ｂの反対側、すなわち、右側の撮影装置１１１ｃ，１１１ｄの方向に傾斜する場合は、描画指示装置１３０の把持手が右手である可能性が高く、ユーザの右手によって撮影画像内の描画指示装置１３０の発光部の形状が欠損している可能性が高い。このため、画像処理装置１１０は、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を描画座標の算出に使用せず、左側の撮影装置１１１ａ，１１１ｂが提供する、描画指示装置１３０の発光部の形状が欠損していない撮影画像のみを描画座標の算出に使用する。これにより、ユーザが描画指示した座標の誤差を防止して描画精度を向上させることができる。

ステップＳ１００２で描画指示装置１３０の傾斜方向が判断不可能であると判断した場合（ｎｏ）、ステップＳ１０１４に処理が分岐する。ステップＳ１０１４では、有効画像判断部３０６は、既に画像処理装置１１０の記憶装置に保存されている把持手情報を用いて、有効画像を選択し、ステップＳ１０１５で処理が終了する。

より詳細には、把持手情報が、把持手が左手である旨を示す場合、有効画像判断部３０６は、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択する。一方、把持手情報が、把持手が右手である旨を示す場合、有効画像判断部３０６は、左側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択する。

図１２は、把持手情報の更新処理の一実施形態を示すフローチャートである。以下、図１２を参照して、ユーザによる描画動作が終了した場合に、把持手情報更新部３１１が実行する処理について説明する。

図１２に示す処理は、ユーザによる描画動作が終了することにより、ステップＳ１２００から開始し、ステップＳ１２０１で把持手情報更新部３１１が、ユーザの描画動作によって生成された描画線が直線であるか否か判断する。描画線が直線でない場合は（ｎｏ）、ステップＳ１２０６で処理が終了する。一方、描画線が直線である場合は（ｙｅｓ）、ステップＳ１２０２に処理が分岐する。

ステップＳ１２０２では、把持手情報更新部３１１は、描画直線が所定の長さ以上であるか否か判断する。所定の長さは、描画方向の判断に有用な任意の長さとすることができる。描画直線が所定の長さよりも短い場合は（ｎｏ）、ステップＳ１２０６で処理が終了する。一方、描画直線が所定の長さ以上である場合は（ｙｅｓ）、ステップＳ１２０３に処理が分岐する。

ステップＳ１２０３では、把持手情報更新部３１１は、描画動作の方向を判断する。本実施形態では、描画直線を構成する座標には、それぞれ描画が指示された時間を示す情報が付加されており、把持手情報更新部３１１は、これらの座標および時間情報を用いて、描画動作の方向を判断することができる。

ステップＳ１２０３で描画動作の方向が左から右であると判断した場合は、ステップＳ１２０４に処理が分岐する。ステップＳ１２０４では、把持手情報更新部３１１は、描画指示装置１３０を把持する把持手が右手である旨の把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１２０６で処理が終了する。本実施形態では、描画動作の方向が左から右の場合、ユーザが右手で直線を描いている可能性が高いことから、ユーザの把持手は右手であるとみなして、把持手が右手である旨の把持手情報を保存する。

ステップＳ１２０３で描画動作の方向が右から左であると判断した場合は、ステップＳ１２０５に処理が分岐する。ステップＳ１２０５では、把持手情報更新部３１１は、描画指示装置１３０を把持する把持手が左手である旨の把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１２０６で処理が終了する。本実施形態では、描画動作の方向が右から左の場合、ユーザが左手で直線を描いている可能性が高いことから、ユーザの把持手は左手であるとみなして、把持手が左手である旨の把持手情報を保存する。

ステップＳ１２０３で描画動作の方向が、右から左または右から左以外であると判断した場合は、ステップＳ１２０６で処理が終了する。

これまで本発明の特定の実施形態について説明してきたが、本発明は、上述した実施形態に限定されるものではなく、上述した実施形態の構成要素を変更若しくは削除し、または上述した実施形態の構成要素に他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができる。いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。

１００…画像処理システム、１１０…画像処理装置、１１１ａ，１１１ｂ，１１１ｃ，１１１ｄ…撮影装置、１１２…表示部、１２０…画像提供装置、１３０…描画指示装置

特許第４０６７８６１号

Claims (10)

1. 描画画像を処理する画像処理装置と、発光手段を備える描画指示装置とを含む画像処理システムであって、
   前記画像処理装置は、
   前記画像処理装置の表示手段の周辺部に設置された複数の撮影装置が提供する撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択する有効画像選択手段と、
   前記有効画像を用いて描画画像の座標を算出する描画座標算出手段とを備え、
   前記有効画像選択手段は、
   ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択し、
   前記描画指示装置の傾斜方向を示す傾斜情報を用いて前記描画指示装置の傾斜方向を特定し、有効画像を選択することを特徴とする、画像処理システム。
2. 描画画像を処理する画像処理装置と、発光手段を備える描画指示装置とを含む画像処理システムであって、
   前記画像処理装置は、
   前記画像処理装置の表示手段の周辺部に設置された複数の撮影装置が提供する撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択する有効画像選択手段と、
   前記有効画像を用いて描画画像の座標を算出する描画座標算出手段とを備え、
   前記有効画像選択手段は、
   ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択し、
   前記表示手段に接触したユーザの把持手および描画指示装置の位置を示す接触位置情報を用いてユーザの把持手の位置を特定し、有効画像を選択することを特徴とする、画像処理システム。
3. 前記有効画像選択手段は、ユーザが指示した描画直線の描画動作の方向に基づいて特定されるユーザの把持手の位置を用いて、有効画像を選択することを特徴とする、請求項１または２に記載の画像処理システム。
4. 描画画像を処理する画像処理装置と、発光手段を備える描画指示装置とを含む画像処理システムが実行する方法であって、前記方法は、
   前記画像処理装置の表示手段の周辺部に設置された複数の撮影装置が提供する撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択するステップと、
   前記有効画像を用いて描画画像の座標を算出するステップと
   を含み、
   前記有効画像を選択するステップは、
   ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択するステップと、
   前記描画指示装置の傾斜方向を示す傾斜情報を用いて前記描画指示装置の傾斜方向を特定し、有効画像を選択するステップとを含む、方法。
5. 前記有効画像を選択するステップは、前記表示手段に接触したユーザの把持手および描画指示装置の位置を示す接触位置情報を用いてユーザの把持手の位置を特定し、有効画像を選択するステップを含む、請求項４に記載の方法。
6. 前記有効画像を選択するステップは、ユーザが指示した描画直線の描画動作の方向に基づいて特定されるユーザの把持手の位置を用いて、有効画像を選択するステップを含む、請求項４または５に記載の方法。
7. 描画画像を処理する画像処理装置であって、
   前記画像処理装置は、
   前記画像処理装置の表示手段の周辺部に設置された複数の撮影装置が発光手段を備える描画指示装置を撮影して生成した撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択する有効画像選択手段と
   前記有効画像を用いて描画画像の座標を算出する描画座標算出手段とを備え、
   前記有効画像選択手段は、
   ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択し、
   前記描画指示装置の傾斜方向を示す傾斜情報を用いて前記描画指示装置の傾斜方向を特定し、有効画像を選択することを特徴とする、画像処理装置。
8. 前記有効画像選択手段は、前記表示手段に接触したユーザの把持手および描画指示装置の位置を示す接触位置情報を用いてユーザの把持手の位置を特定し、有効画像を選択することを特徴とする、請求項７に記載の画像処理装置。
9. 前記有効画像選択手段は、ユーザが指示した描画直線の描画動作の方向に基づいて特定されるユーザの把持手の位置を用いて、有効画像を選択することを特徴とする、請求項７または８に記載の画像処理装置。
10. 描画画像を処理する画像処理装置に対し、
    前記画像処理装置の表示手段の周辺部に設置された複数の撮影装置が発光手段を備える描画指示装置を撮影して生成した撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択するステップと、
    前記有効画像を用いて描画画像の座標を算出するステップと
    を実行させるプログラムであって、
    前記有効画像を選択するステップは、
    ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択するステップと、
    前記描画指示装置の傾斜方向を示す傾斜情報を用いて前記描画指示装置の傾斜方向を特定し、有効画像を選択するステップとを含む、プログラム。