JP6478502B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、文書情報を操作するための情報処理装置、情報処理方法及びプログラムに関するものである。

タブレット端末やスマートフォンに対する、タッチ操作により文書情報を操作する技術が知られている。たとえば、特許文献１に記載される技術では、タブレット端末にて文書を閲覧する際に、ペンをタブレット端末にタッチさせるペン操作を用いて文書への書き込み等を行うことができる。

ジェスチャー操作を検出するセンサを用いてジェスチャー操作により文書情報を操作する技術もある。このような技術を活用することで、キーボードやマウスなどの特別な操作デバイスを用意しなくとも、タッチ操作やジェスチャー操作による操作指示を与えることができる。

特開平８−１３７６０９

特許文献１では、ペン操作のモードをカーソル移動／範囲指定／ジェスチャー／手書き文字入力のどのモードであるかペンの入力時間とペンの移動量とを用いて判定している。ペン操作を認識しながらモードを判定している。

しかしながら、操作時間と操作移動量に明確な差がなく、区別が困難な操作がある。たとえば、文書を移動させる操作と文書への書き込みを指示する操作は、同一の操作により実現されるため、区別が難しい。指によりタッチ操作を行う場合を例にあげると、文書を移動させるための操作は、指を移動させたい方向へ動かす操作となる。一方、線を書き込むための操作は、線を書き込みたい方向へ指を動かす操作になる。どちらも、ある方向に向けて指を動かす操作となり、文書を移動させるために指を動かしているのか、線を書き込むために指を動かしているのかを判断することは困難である。

また、特許文献１では、ペン操作を認識しながら、ペン操作のモードを判定するので、ペン操作が始まったときには、どのモードのペン操作か正しく判断することができない。ペン操作の意図に対応した、端末の反応が遅れる、若しくは間違う可能性がある。

本発明は上記の課題に鑑みてなされたものであり、区別することが困難な操作を区別し易くする情報処理装置を提供することを目的とする。また、その方法及びプログラムを提供することを目的とする。

本発明に係る情報処理装置は以下の構成を備える。即ち、文書情報を検出する検出手段と、前記検出手段で検出した文書情報への操作情報を取得する取得手段と、前記取得手段で指示座標の変化が所定範囲内に停滞している第１操作情報を取得したか否かにより前記文書情報の移動許可を判断する判断手段と、前記第１操作情報を取得した場合、前記取得手段で取得した、前記文書情報に対する第１位置の指示から第２位置の指示への経過を伴う第２操作情報の操作を編集操作と解釈し、前記第１操作情報を取得しなかった場合、前記第２操作情報を移動操作と解釈する解釈手段と、を備え、前記取得手段は、前記検出手段で検出された複数の文書情報が関連していれば、関連する文書情報に対する操作情報を一連の操作情報として取得することを特徴とする。

本発明によれば、文書情報への特定の第１操作情報を取得したか否かにより前記文書情報の移動許可を判断し、判断結果に基づいて、文書情報への第２操作情報を解釈することにより、区別することが困難な操作を区別し易くすることができる。

本発明の実施形態における文書情報操作の概念図である。 本発明の実施形態におけるハードウェア構成の一例である。 本発明の実施形態における文書処理システムの構成を示すブロック図である。 本発明の実施形態における文書処理システム全体の流れを示すフローチャートである。 本発明の実施形態における文書情報の一例である。 本発明の実施形態における文書配置状態の一例である。 本発明の実施形態における操作指示の概要を示す概念図である。 本発明の実施形態における操作情報の一例である。 本発明の実施形態における移動許可判断処理の流れを示すフローチャートである。 本発明の実施形態における操作情報テーブルの一例である。 本発明の実施形態における押さえ操作情報の一例である。 本発明の実施形態における文書処理システムの概要を示す概念図である。 本発明の実施形態における文書検出処理の流れを示すフローチャートである。 本発明の実施形態における文書情報の一例である。 本発明の実施形態における文書配置状態の一例である。 本発明の実施形態における文書処理システムの概要を示す概念図である。 本発明の実施形態における操作情報の一例である。 本発明の実施形態における文書処理システムの概要を示す概念図である。 本発明の実施形態における文書検出処理の流れを示すフローチャートである。 本発明の実施形態における文書処理システム全体の流れを示すフローチャートである。 本発明の実施形態におけるハードウェア構成の一例である。

以下、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。

＜実施形態１＞
はじめに、図１を用いて本実施形態における情報処理装置の処理概要を説明する。本実施形態では、タッチパネルを備えるタブレット端末１０１を用いる。タブレット端末１０１には、文書情報１０２を表示することが可能であり、該文書情報に対してタッチ操作を用いて移動や書き込みを行うことができる。このような処理を行う場合、移動操作と書き込み操作を区別することが難しい。本情報処理装置では、移動許可判断を行うことで、移動操作なのか書き込み操作なのかを区別している。具体的には、移動もしくは書き込み操作とは別に文書情報を押さえる操作をしているかを検出し、押さえる操作が検出された場合は移動を許可しないと判断する。

図１（ｂ）は、操作１０３とは別に文書情報１０２を押さえる操作１０４が行われているため、操作１０３は移動操作ではないと判断され、書き込み操作として結果１０５が反映される。一方、図１（ｃ）は、操作１０６とは別の文書情報１０２を押さえる操作が行われていないため、操作１０６は移動操作と判断され、移動操作の結果１０７が反映される。

以降、本実施形態について図２〜図２０を用いて詳細に説明する。

図２は、本発明の実施形態における情報処理装置（以下、文書処理システムとも記載する。）のハードウェア構成の一例である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２は、各種処理のための演算や論理判断などを行い、バス２０１に接続された各種要素を制御する。

本文書処理システムは、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。このメモリはＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３であっても良いし、外部記憶装置などからプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４であっても良い。あるいは、これらの組合せで実現しても構わない。

記憶装置２０５は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクなどの装置である。また、本実施形態では、写真や文書等を保持しておくためにも利用される。なお、写真や文書等を保持しておく装置としては、外部接続やネットワークに接続された不図示のデータ保持装置を用いても良い。ここで、外部記憶装置２０６は、たとえば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、たとえば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。

入力装置２０７はユーザからの指示を受け付け、情報処理装置に入力するための装置である。ユーザは入力装置２０７を介して、当該文書処理装置に指示を行う。入力装置２０７は、たとえば、ユーザによるタッチ指示を検出可能なタッチパネルやユーザのジェスチャー指示を検出可能なセンサにより実現することができる。

出力装置２０８は処理結果等を表示出力する表示手段としての装置である。出力装置２０８は、たとえば、出力のための回路を含むＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）や液晶表示器などのディスプレイ装置により実現することができる。本実施形態においては、文書等を出力装置２０８に表示する。

インタフェース（以下、Ｉ／Ｆという）２０９は、情報の仲介を行う装置であり、このＩ／Ｆ２０９を介して外部装置とのデータのやり取りを行う。

図３は、本発明の実施形態における文書処理装置の構成を示すブロック図である。文書処理装置は、文書検出部３０１、移動許可判断部３０２、操作情報取得部３０３、操作情報解釈部３０４、操作実行部３０５から構成される。

文書検出部３０１は、タブレット端末に表示出力された文書情報を検出する。文書情報検出処理の詳細は後述する。

移動許可判断部３０２は、文書検出部３０１により検出された文書情報の移動を許可するか否かを判断する。移動許可判断処理の詳細は後述する。

操作情報取得部３０３は、タブレット端末に対して行われた操作情報を取得する。操作情報取得処理については後述する。

操作情報解釈部３０４は、操作情報が示す操作内容を決定する。具体的には、移動許可判断部３０２による判断結果に基づいて、操作情報取得部３０３により取得された操作情報が示す操作内容を決定する。移動許可判断部３０２による判断結果が、「移動を許可する」である場合、操作情報取得部３０３により取得された操作情報は、移動操作として解釈される。一方で、移動許可判断部３０２による判断結果が、「移動を許可しない」である場合、操作情報取得部３０３により取得された操作情報は、例えば、書き込み操作として解釈される。

操作実行部３０５は、操作情報解釈部３０４による操作情報の解釈結果に基づいて、実際の操作を実行する。

ブロック図が示す各処理は、図２のＣＰＵ２０２によって制御されている。前述したように、当該処理群の詳細は後述する。

図４は、本実施形態における文書処理装置全体の流れをフローチャートにより説明するものである。

ステップＳ４０００は文書検出処理である。文書検出処理では、図３にて前述した文書検出部３０１によりタブレット端末に表示されている文書情報を検出する。具体的には、文書処理装置が表示出力する文書の表示位置および大きさを文書情報として取得する。図５は、取得した文書情報の一例である。文書情報は、文書を一意に特定するための文書ＩＤ５０１、文書情報の位置および大きさを示すための４頂点におけるｘ座標（５０２〜５０５）、ｙ座標（５０６〜５０９）で構成される。各座標は、タブレット端末のディスプレイ左上を原点とした座標系で表現される。図６は、図５における文書ＩＤがＤ００１の文書の位置とサイズを示したものである。

ステップＳ４０１０は操作情報取得処理である。操作情報取得処理では、図３にて前述した操作情報取得部３０３によりタブレット端末に搭載されるタッチパネル用いて行われた文書情報に対する操作情報を取得する。具体的には、タッチパネルに対する指示座標を取得する。操作が連続して行われていれば、操作の軌跡に沿って座標を取得する。続いて、該操作と操作対象となる文書の関連付けを行う。文書の関連付け処理では、ステップＳ４０００の文書検出処理で取得した文書情報（文書の表示位置及び大きさ）を用いて操作対象となる文書を特定する。文書の関連付け処理は、文書情報が保持する文書領域の内部への操作であるか否かを判定することで行う。文書領域内部への操作の場合は、該文書に対する指示として扱う。一方、文書領域外部への指示の場合は、文書情報に操作の関連付け処理を行わない。

図７は、操作指示の概要を示す図である。図７に示す例では、操作は座標（２１０，３４０）から座標（２４０，３４０）まで行われている。操作情報取得処理では、このように行われた操作を座標と時間、操作対象文書のセットで取得する。図８は、取得された操作情報の一例である。操作情報は、操作時刻８０１、操作位置ｘ座標８０２、操作位置ｙ座標８０３、操作対象文書を一意に特定する対象文書ＩＤから構成される。図８の例では、０９：１２：３２．１に（ｘ，ｙ）＝（２１０，３４０）に指示が行われている。この指示座標が、ステップＳ４０００で取得した文書情報に含まれるかを判定し、指示座標を含む文書情報を操作対象文書として特定する。取得した文書情報が図５に示したものである場合、指示座標は文書Ｄ００１に含まれるため、０９：１２：３２．１における指示の操作対象文書はＤ００１である。続いて０９：１２：３２．２において、（ｘ，ｙ）＝（２１１，３４０）、対象文書Ｄ００１に指示が行われている。同様に、操作は０９：１２：３３．３まで続けられ、（ｘ，ｙ）＝（２４０，３４０）、対象文書Ｄ００１で指示が完了している。本実施形態では、所定時刻ごとの例として、０．１秒単位で指示座標を取得しているが、異なる単位を用いても良い。たとえば、指示座標の取得間隔を短くすることで、より細かい情報を取得することが可能になる。より細かい情報を取得することで、曲線などを入力する場合に精細な情報を表現することができる。一方、取得間隔を長くすることで、精細な情報を表現することはできなくなるが、処理負荷の軽減が可能になる。

また、本実施形態では操作対象文書の特定において、指示座標が文書内に包含されていることとしたが、異なる方法を用いてもよい。たとえば、操作開始時点の座標は文書に包含されており、その後の操作終了時点までの座標は文書外に存在してもよい。文書外への操作も許すことで、長い距離を移動させるための指示を行いやすくなる。

ステップＳ４０２０は移動許可判断処理である。移動許可判断処理では、図３にて前述した移動許可判断部３０２により、表示されている文書情報を移動しても良いか否かを判断する。移動許可判断処理の詳細は、図９を用いて後述する。移動許可判断処理の結果、「移動ＯＫ」と判断された場合、ステップＳ４０３０に移行する。移動許可判断処理の結果が「移動ＮＧ」の場合は、ステップＳ４０５０に移行する。

ステップＳ４０３０は移動操作情報解釈処理である。移動操作情報解釈処理では、図３にて前述した操作情報解釈部３０４により、ステップＳ４０１０にて取得した操作情報が移動操作であると解釈される。解釈された情報は、図１０に一例を示す操作情報テーブルに格納される。操作情報テーブルは、操作種別１００１、操作時刻１００２、操作位置ｘ座標１００３、操作位置ｙ座標１００４、操作対象文書を一意に特定する対象文書ＩＤ１００５から構成される。操作種別１００１は、操作時刻１００２、操作位置ｘ座標１００３および操作位置ｙ座標１００４、対象文書ＩＤ１００５が示す操作情報の種別を示している。

ステップＳ４０４０は移動操作実行処理である。移動操作実行処理では、図３にて前述した操作実行部３０５により、ステップＳ４０３０にて設定された操作情報テーブルを参照して、実際の操作処理を実行する。

ステップＳ４０５０は編集操作情報解釈処理である。編集操作情報解釈処理では、図３にて前述した操作情報解釈部３０４により、ステップＳ４０１０にて取得した操作情報が書き込みとしての編集操作であると解釈される。解釈された情報は、ステップＳ４０３０における処理と同様に、操作情報テーブルに格納される。

ステップＳ４０６０は編集操作実行処理である。編集操作実行処理では、図３にて前述した操作実行部３０５により、ステップＳ４０５０にて設定された操作情報テーブルを参照して、実際の操作処理を実行する。

続いて、図４のステップＳ４０２０における移動許可判断処理について詳細を説明する。図９は、移動許可判断処理の流れをフローチャートにより説明するものである。

ステップＳ９０００は操作検知処理である。操作検知処理は、タブレット端末のタッチパネルに対する操作を検知する処理であり、ステップＳ４０１０で取得した情報を示す。操作情報は、図８にて説明した操作情報と同様に、押さえ操作位置および操作時刻の情報から構成される。

ステップＳ９０１０は押さえ操作判定処理である。押さえ操作判定処理では、ステップＳ９０００にて取得した操作情報が押さえ操作であるか判定する。押さえ操作の判定は、現時刻から予め定めた所定の時刻をさかのぼった範囲での指示座標の変化に基づき判定を行う。具体的には、所定の範囲内の時刻において、指示座標が変化していた場合は押さえ操作ではないと判定する。一方、指示座標が変化していない場合は押さえ操作として判定する。図１１は、押さえ操作情報の一例である。ステップＳ４０１０で取得した操作情報から押さえ操作情報として判定された情報が削除され、残った操作情報が図２の記憶装置２０５に格納される。

押さえ操作判定処理により、押さえ操作と判定された場合はステップＳ９０２０へ移行する。押さえ操作ではないと判定された場合は、移動許可判断処理の結果を「移動ＯＫ」として処理を終了する。

なお、本実施形態では、指示座標が変化していた場合、押さえ操作ではないと判断したが、指示座標が変化した場合も押さえ操作であると判定しても良い。たとえば、予め定めた所定範囲内で指示座標に変化が起こった場合も、押さえていると判断しても良い。タッチパネルの精度によっては、ユーザが同一の場所を押さえているつもりでも異なる場所を押さえていると検出されてしまう可能性がある。指示座標の変化に許容範囲を持たせることで、柔軟に判定処理を行うことができる。

ステップＳ９０２０は文書領域取得処理である。文書領域取得処理は、図５に一例を示す文書情報から取得する。具体的には、図５におけるｘ座標（５０２〜５０５）およびｙ座標（５０６〜５０９）の値を取得する。

ステップＳ９０３０は押さえ領域判定処理である。押さえ領域判定処理では、ステップＳ９０００で取得した押さえ操作情報がステップＳ９０２０で取得した文書領域内に存在するか否かを判定する。操作情報および文書領域は座標情報として取得されているため、これらの座標情報を比較することで操作情報が文書領域内に包含されるかを判定することができる。押さえ操作が文書領域内に存在すると判定された場合は、移動許可判断処理の結果を「移動ＮＧ」として処理を終了する。押さえ操作が文書領域内に存在しないと判定された場合は、移動許可判断処理の結果を「移動ＯＫ」として処理を終了する。

本実施形態では、文書情報を押さえているという操作に基づき、文書の移動許可を判断した。文書情報を押さえる操作は、紙文書に対して、紙が動かないように押さえる操作として一般的に行われるものであるため、ディスプレイ表示された文書情報への操作としても違和感のない操作感を実現することができる。

本実施形態では、一連の操作が行われている間に継続して押さえ操作が行われることを前提として説明を行った。押さえ操作は、継続して行わなくても良い。たとえば、一連の操作が行われる前に、押さえ操作を実施すると、押さえ操作が有効になる。押さえ操作が継続して行われていなくても、一連の操作中は、先に判断した移動許可判断が継続して有効になる。一連の操作が終わった後に、再度移動許可判断を行う。

また、本実施形態では、一連の操作が行われている間に押さえ操作が行われた場合、押さえ操作として判定したが、移動や編集などの操作とは異なるタイミングで押さえ操作が行われても良い。たとえば、一連の操作が行われる前に、押さえ操作を実施すると、押さえ操作が有効になる。そして、再度押さえ操作を行うことで押さえ操作を無効にする。押さえ操作が有効な間は、一連の操作は「移動ＮＧ」として扱われる。このような処理とすることで、移動や編集操作とは異なるタイミングで押さえ操作を実現することができる。

以上、詳細に説明したように、文書情報の移動許可判断を行い、該判断結果を用いて文書情報に対して行われた操作情報の解釈を行うことで、簡易な操作により複数の操作種別を区別することが可能になる。また、移動許可判断がされた後の操作が開始したときには、その操作種別を正しく判断しているので、滞りなく操作が文書情報に反映される。操作の反応が良くなる。

本実施形態では、編集操作として書き込みの場合のみを説明したが、異なる操作に対して適用しても良い。たとえば、文書の部分領域を選択するために指を動かす操作へも適用することが可能である。図４のステップＳ４０５０にて説明した編集操作情報解釈処理による解釈結果を領域選択として、図１０にて例示した操作情報テーブルの操作種別１００１に設定する。そして、ステップＳ４０６０にて説明した編集操作実行処理において、操作情報テーブルに保持される操作開始座標と操作終了座標を対角線上の頂点とする矩形領域を選択領域として設定することで、部分領域の選択処理へも適用することができる。

また、本実施形態では、文書情報の位置を動かすことを移動操作として説明したが、異なる操作を適用することも可能である。たとえば、スワイプ操作によるページ切り替えも移動操作として含めてもよい。スワイプ操作によるページ切り替えとスライド操作による書き込みの区別をするのは困難である。スワイプ操作によるページ切り替えについても移動許可判断処理により、移動許可がされていれば、スワイプ操作を有効にし、移動許可がされていなければ、スワイプ操作を無効に設定できる。

＜実施形態２＞
実施形態１では、タブレット端末における文書情報操作への適用例を説明した。本実施形態では、異なる端末における文書情報操作への適用例を説明する。具体的には、プロジェクタにより文書情報を投影し、投影面に対する操作情報をセンサにより取得する情報処理装置への適用について記載する。

図１２は、本実施形態における文書処理の概要を示す図である。情報処理装置１２０１は、情報を投影するためのプロジェクタと投影面へのジェスチャー操作を検知するためのセンサが搭載されている。投影文書１２０２は、情報処理装置１２０１により投影された文書情報である。紙文書１２０３は、プロジェクタの投影面へ配置された文書紙面である。ユーザは、投影文書１２０２や紙文書１２０３に対してジェスチャー操作により操作指示を行い、情報の書き込み等の編集操作を行う。情報処理装置１２０１を用いることで、ディスプレイデバイスが存在しない場所で、情報処理装置が保持するデジタル情報を投影して投影情報の操作を行えることに加えて、紙文書など、実体を持つコンテンツに対して重畳投影することが可能になる。したがって、紙文書と投影情報を混在させて文書作業を行いたい場合も効率的な作業が実現できる。

図２１は、情報処理装置１２０１のハードウェア構成の一例である。

ＣＰＵ２１０１、ＲＯＭ２１０２，ＲＡＭ２１０３，記憶装置２１０４、Ｉ／Ｆ２１０８は、ＣＰＵ２０２，ＲＯＭ２０３，ＲＡＭ２０４，記憶装置２０５、インターフェース２０９と同様である。

撮像装置２１０５は、カメラによる文書の撮像を行う。ジェスチャ取得装置２１０６は、操作者のジェスチャを取得するセンサである。投影装置２１０７は、例えば机上に投影情報を投影する。

以降、本文書処理装置への適用例を説明する。本文書処理装置の全体処理は、図４におけるステップＳ４０００（文書検出処理）およびステップＳ４０４０（移動操作実行処理）を除き、実施形態１における図４で説明した方法と同様である。

本実施形態では、デジタル情報として表示・投影される文書に加えて、紙文書が存在する。したがって、文書検知処理では投影される文書に加えて紙文書を検知する必要がある。図１３は、本実施形態における文書検知処理の流れをフローチャートにより示すものである。

ステップＳ１３０００は投影文書検出処理であり、投影されている文書の表示位置および大きさを文書情報として検出する。該処理は、図４におけるステップＳ４０００にて説明した処理と同様の方法で実現することができる。

ステップＳ１３０１０は紙文書検出処理であり、投影面に配置された紙文書の位置および大きさを文書情報として検出する。具体的には、情報処理装置１２０１に搭載されている赤外センサを用いて、紙文書が置かれたことを検出する。予め、赤外センサを用いて紙文書が置かれていない時点の投影面の情報を取得しておき、該情報と任意時点の赤外センサによる取得情報を常時比較することで、紙文書が置かれたことを検出することができる。言い換えると、赤外センサによる取得情報に差異が存在する領域が文書領域として検出される。該文書領域を用いて、紙文書の位置と大きさを取得することができる。

図１４は、文書検知処理結果の一例を示すものである。図５と同様に、文書を一意に特定するための文書ＩＤ１４０１、文書情報の位置および大きさを示すための４頂点におけるｘ座標（１４０２〜１４０５）、ｙ座標（１４０６〜１４０９）、検出された文書の種別を示す文書種別（１４１０）で構成される。図１５は、図１４の文書情報が示す文書の位置および大きさを示す図である。

なお、本実施形態では、紙文書を検出するために赤外センサによる取得情報を用いたが、異なる方法を用いることもできる。カメラなどの撮像装置により取得可能な画像情報から文書領域を検出する文書領域検知技術を用いることも可能である。たとえば、画像内のエッジ集合から直線状に連なるエッジを検出し、同直線から文書領域を構成する四辺を推定する技術が知られている。

続いて、本実施形態における移動操作実行処理について説明する。移動操作実行処理では、操作対象の文書種別を取得する。操作対象の文書種別が投影文書の場合は、投影文書の表示位置を操作情報が示す情報分だけ移動する。一方、操作対象の文書種別が紙文書の場合は、移動操作を実行しないで処理を完了する。紙文書の場合は、ユーザによる操作時において、紙文書が移動することになるため、本処理において移動操作処理を実行する必要はない。

本実施形態では、文書に重なりがない状態で存在している例について説明したが、文書が重なっている場合も適用することが可能である。図１３を用いて説明した文書検出処理において、重なりが許される状態で文書の位置と大きさを検出する。そして、図９のステップＳ９０３０における押さえ領域判定処理において重なり領域も文書領域内として判定することで、重なっている文書に対しても処理を適用することが可能になる。上方の文書情報に対する押さえ操作情報を、下方の文書情報に対する押さえ操作情報として取得する。

以上、詳細に説明したように、投影文書、紙文書、双方に対して区別困難な操作を区別することができる。紙文書をスキャンするなどしてデジタル情報に変換しなくとも、操作の意図を正しく反映させることが可能になるため、文書作業の負荷を軽減することができる。

＜実施形態３＞
実施形態１および実施形態２では、文書情報の移動許可判断として、タッチもしくはジェスチャーによる文書情報への押さえ動作を検知する方法を用いたが、手指以外のオブジェクトを用いて移動許可を判断しても良い。具体的には、文鎮やペーパーウエイト、画鋲などのオブジェクトが置かれているかを検知することで、移動許可判断を行うことができる。

以下、本処理について説明を行う。図９のステップＳ９０００にて、操作検知処理を行う際に、文鎮やペーパーウエイト、画鋲などのオブジェクトを検知し、オブジェクトが置かれた位置と時刻を取得する。取得された情報は、図８と同様に、位置および時刻として保持される。オブジェクトの検知は、既存のオブジェクト検知技術を用いることが可能である。たとえば、予めオブジェクトの画像を記録しておき、記録された画像が配置されたか否かを投影面の撮影画像から判断することでオブジェクトを検知することができる。押さえ操作検知処理以外の処理は、実施形態１と同様の処理で実現可能である。

なお、オブジェクトの検知は、異なる方法を用いてもよい。オブジェクトの重さを検知するセンサを用いて、オブジェクトが置かれたことを検知することも可能である。

以上、説明したように、移動許可判断処理において手指以外のオブジェクトを検知することで、タッチやジェスチャーなどの人間による操作だけでなく、物理的に実体を持つオブジェクトを用いて制御することも可能である。紙文書に対して一般的に使用されるオブジェクトを投影・表示情報にも適用することで、違和感のない操作で区別が困難な操作の区別を簡単に提供することが可能である。

＜実施形態４＞
実施形態３では、文書情報の移動許可判断として、物理的なオブジェクトを用いた方法を説明したが、明示的な操作デバイスを用いて移動許可判断を行っても良い。たとえば、ペダルやボタンなどを用意しておき、該ペダルやボタンが押されているか否かに基づいて、移動許可を決定することができる。

具体的には、図９におけるステップＳ９０００の操作検知処理にて、ペダルもしくはボタンが押されているか判定する。それ以外の処理は、実施形態１にて説明した方法と同様の処理で実現できる。操作検知の方法としては、ペダルやボタンが押されている場合「押さえている」として扱い、押されていない場合「押さえていない」として扱う。

本実施形態では、ペダルやボタンが押されている場合、「押さえている」として扱ったが、逆でもよい。ペダルやボタンが押されている場合、「押さえていない」として扱うこともできる。また、ペダルやボタンを押すたびに「押さえている」状態と「押さえていない」状態を切り替えてもよい。たとえば、初期状態を「押さえていない」状態とする場合、１度ペダルもしくはボタンを押すと「押さえている」状態に移行する。「押さえていない」状態で、ペダルもしくはボタンを押すと「押さえている」状態へ移行する処理としてもよい。

また、複数の文書が存在する場合は、ペダルやボタンを押すたびに適用文書を切り替えてもよい。たとえば、文書１と文書２の２つの文書が存在する場合を考える。初期状態は、いずれの文書も「押さえていない」状態とする。初期状態でペダルもしくはボタンを押すと全ての文書を「押さえている」状態とする。もう一度ペダルもしくはボタンを押すと文書１を「押さえている」状態とする。文書１を「押さえている」状態の際に、ペダルもしくはボタンを押すと文書２を「押さえている」状態とする。そして、文書２を「押さえている」状態の際に、再度ペダルもしくはボタンを押すと初期状態に戻るという状態遷移を行うことも可能である。

以上、説明したように、移動許可判断処理においてペダルもしくはボタンの状態を検知することで、ペダルやボタンのような明示的な操作デバイスを用いて制御することも可能である。ペダルのような明示的な操作デバイスを用いることで、足踏みなど手以外の身体部位による操作によって、移動許可を切り替えることが可能になる。結果として、効率的に手が使えるようになるため、手を頻繁に使う文書処理作業において作業効率を向上させることができる。

＜実施形態５＞
上述の実施形態では、文書情報の移動許可判断として、タッチ操作・オブジェクト検出・明示的な指示デバイスの状態を判断基準として用いたが、音声を用いることもできる。

具体的には、音声により「移動ＯＫ」「移動ＮＧ」を指示することも可能である。具体的には、図９におけるステップＳ９０００の操作検知処理において、音声により「移動ＯＫ」もしくは「移動ＮＧ」が指示されているか検知する。指示の検知には、既存の音声認識技術を用いることができる。

本実施形態では、指示検知において「移動ＯＫ」もしくは「移動ＮＧ」の２種を用いたが、異なる分類を用いてもよい。たとえば、「移動許可」「移動不可」などのキーワードを用いることも可能である。加えて、「移動は許可しません」のように文章での入力も可能である。

また、文書が複数存在する場合は、適用対象文書を音声にて指示することも可能である。たとえば、文書１と文書２が存在する場合、「文書２の移動は許可しません」と入力することで、文書２のみを移動できない状態にすることもできる。

以上、説明したように、移動許可判断処理において音声による指示内容を検知することで、音声により制御することも可能である。音声のような入力方法を用いることで、手などの身体部位を用いる必要がなくなる。結果として、効率的に身体部位を使えるようになるため、身体部位を頻繁に用いる文書処理作業の作業効率を向上させることができる。

＜実施形態６＞
上述の実施形態では、ユーザが１人の場合について説明を行ったが、ユーザが複数人存在している場合について説明する。

図１６は、実施形態２にて説明した文書処理を複数人で行った場合の概念図である。情報処理装置１６０１を机１６０２の上に配置し、机１６０２を挟んで２名のユーザが文書処理作業を実施している。ユーザ１の指示が操作１６０３であり、ユーザ２の指示が操作１６０４である。このように、ユーザが複数存在する場合、移動許可判断処理を机１６０２上の文書に対して一律に行ってしまうと、操作者以外のユーザの操作により、操作者の意図が正しく反映されない可能性がある。たとえば、ユーザ１が文書情報の移動操作を行いたい場合に、ユーザ２が文書情報を押さえる動作をしてしまっていると、ユーザ１の操作は移動ではなく書き込みとして解釈されてしまう可能性がある。

そこで、本課題に対して、本実施形態では図４におけるステップＳ４０２０の操作情報取得処理およびステップＳ４０３０の移動許可判断処理において操作情報を取得する際に、操作指示時刻および指示座標だけでなく、操作者の情報も取得する。そして、操作者が同一の操作情報のみを移動許可判定に用いることで異なるユーザが操作した情報を無効にし、操作者の意図を正しく反映する。

操作者情報の取得には、既存の人物特定技術を用いる。たとえば、予め使用する人物の画像データを登録しておく。そして、情報処理装置にカメラを付与し、該カメラにより撮影された画像を解析することで、人物を特定することが可能である。また、ユーザのジェスチャー操作を検知する際に、ユーザの手がどの方向から入ってきているのかを検知し、異なる方向から手を入れているユーザは異なるユーザとして判断することも可能である。

図１７は、操作者の情報も含めた操作情報の一例である。操作者を特定する操作者ＩＤ１７０１、操作時刻１７０２、操作位置ｘ座標１７０３、操作位置ｙ座標１７０４、操作対象の文書を一意に特定する対象文書ＩＤ１７０５から構成される。同一操作者の特定は、操作者ＩＤを参照して実現することができる。

以上、説明したように、操作者の情報を取得することで、複数の操作者が存在する場合も移動許可判断を実現することが可能である。

また、操作者の情報に加えて操作対象の文書を特定し、同一の操作者が同一の文書に対して行った操作のみを適用することも可能である。複数の文書が存在する場合、各操作者が異なる文書に対して同時に操作を行う可能性がある。本処理を適用することで、各操作者が異なる文書に対して同時に操作を行う場合も、操作者の意図通りに文書への操作を行うことが可能である。

＜実施形態７＞
上述の実施形態では、紙文書と投影文書が単独で存在する場合について説明したが、紙文書と投影文書が関連するように表示制御されている場合について説明する。

図１８は、紙文書と投影文書が関連するように表示制御されている場合の一例である。情報処理装置１８０１は、実施形態２の情報処理装置１２０１と同様に、情報を投影するためのプロジェクタとジェスチャー操作を検知するためのセンサ、投影面に配置された文書を撮像して画像データとして取り込むためのカメラが搭載されている。情報処理装置１８０１を用いて紙文書１８０２に対して紙文書に関連する付加情報１８０３を投影することが可能である。情報処理装置１８０１に搭載されるカメラにより紙文書１８０２を撮像し、撮像結果の画像データを解析して、紙文書１８０２の内容に関連する付加情報１８０３を特定する。そして、情報処理装置１８０１の記憶装置内、若しくはネットワークを介して他のコンピュータから、関連する付加情報１８０３を取得する。たとえば、紙文書を撮像して得られた画像データに対して既存の文字認識処理を用いて文字データを取得し、文字データに関連する情報検索を行った結果を付加情報として扱うことができる。

このように、紙文書とともに投影表示された付加情報は、ユーザにとって紙文書と同一の文書として扱いたい場合も存在するが、上述の実施形態では紙文書と付加情報は異なる文書として扱われてしまう。

本実施形態では、本課題を解決する処理を説明する。本課題を解決するために、図４におけるステップＳ４０００の文書検出処理を変更する。図４のステップＳ４０００以外の処理は上述の実施形態と同様である。

図１９は、本実施形態における文書検出処理の詳細を示すフローチャートである。ステップＳ１９０００は投影文書検出処理であり、図１３のステップＳ１３０００で説明した処理と同様に、投影された文書の表示位置および大きさを文書情報として検出する。

ステップＳ１９０１０は紙文書検出処理であり、図１３のステップＳ１３０１０で説明した処理と同様に、投影面に配置された紙文書の位置および大きさを文書情報として検出する。

ステップＳ１９０２０は文書間の関連性判断処理であり、ステップＳ１９０００およびステップＳ１９０１０で取得された文書情報間に関連性が存在するか判断し、関連性があると判断された場合は、同一文書ＩＤを設定する。文書情報間の関連性判断は、ステップＳ１９０００で取得した情報が紙文書の付加情報であるか否かを判断して行う。具体的には、紙文書の付加情報である場合は関連すると判断し、紙文書の付加情報でない場合は関連しないと判断する。紙文書の付加情報であるか否かの判定では、ステップＳ１９０１０で取得した紙文書の付加情報を前述の方法により取得し、該付加情報とステップＳ１９０００で取得した投影文書が同一のものであるかを比較する。比較方法は、付加情報のデータ所在地を一意に特定するＵＲＩもしくはデータを構成するバイナリを比較することにより実現できる。比較の結果、同一のものである場合は、ステップＳ１９０００で取得した投影文書とステップＳ１９０１０で取得した紙文書は関連すると判断する。一方、比較結果が同一のものでないと判定された場合は、ステップＳ１９０００で取得した投影文書とステップＳ１９０１０で取得した紙文書は関連しないと判断する。

以上、説明したように、投影文書と紙文書の関連性を判断することで、紙文書の付加情報を紙文書と同一の情報として扱うことができる。したがって、紙文書を押さえているかを判定することで移動許可判断を行い、付加情報への書き込みを行う操作を正しく判断することを実現することができる。関連する情報に対する操作情報を一連の操作情報として取得することができる。

＜実施形態８＞
上述の実施形態では、移動許可判断処理の結果、移動ＮＧの場合は、文書が移動しないことを前提に説明を行った。一方、紙文書の場合、文書が移動しないように文書を押さえていたにも関わらず、書き込み操作などの押さえる操作とは異なる操作指示によって、文書が動いてしまう可能性がある。

たとえば、紙文書を押さえる力が弱い場合は、押さえる操作とは異なる操作指示により、紙文書が動いてしまう可能性がある。また、実施形態２などで説明したようにジェスチャーにより操作指示を行う場合、文書を押さえるジェスチャーを行っていても文書が動いてしまう可能性がある。赤外センサなどを用いた空間ジェスチャー操作の場合、空間上のジェスチャーを認識することができる。したがって、厳密には文書を物理的に接触して押さえていない場合でも押さえ操作として判定されてしまう可能性がある。具体的には、紙文書に対して上の空間で押さえる操作を行った場合も押さえる意図のある押さえ操作として判定されてしまう可能性がある。一方、紙文書自体は、物理的な接触を持って押さえられていないため、別の操作指示によって紙文書が動いてしまう可能性がある。

ユーザの意図としては、移動ＮＧとしているにも関わらず、操作指示によって紙文書が動いてしまうと、意図しない編集操作が実行されてしまう。編集操作を実行する際に、編集対象となる紙文書が動いてしまうと、ユーザの意図とは異なる編集結果になる可能性がある。たとえば、書き込み操作として実行される場合、紙文書が動いてしまっていると、意図した箇所とは異なる部分への書き込みとして扱われてしまうことになる。

本実施形態では、この課題を解決するための方法を説明する。図２０は、本実施形態の全体処理の流れを示すフローチャートである。

ステップＳ２００００は文書検出処理であり、図４のステップＳ４０００における処理と同様である。

ステップＳ２００１０は操作情報取得処理であり、図４のステップＳ４０１０における処理と同様である。

ステップＳ２００２０は移動許可判断処理であり、図４のステップＳ４０２０における処理と同様に移動許可判断を行う。移動許可判断処理の結果、「移動ＯＫ」と判断された場合はステップＳ２００３０へ移行する。「移動ＮＧ」と判断された場合は、ステップＳ２００５０へ移行する。

ステップＳ２００３０は移動操作情報解釈処理であり、図４のステップＳ４０３０における処理と同様である。

ステップＳ２００４０は移動操作実行処理であり、図４のステップＳ４０４０における処理と同様である。

ステップＳ２００５０は編集操作情報解釈処理であり、図４のステップＳ４０５０における処理と同様である。

ステップＳ２００６０は文書移動判断処理である。文書移動判断処理では、現時点の文書情報を取得し、ステップＳ２００００にて取得した文書情報と比較する。文書情報の比較の結果、文書の位置および大きさに変化があった場合、「移動あり」と判断し、編集操作を実行せずに処理を終了する。文書の位置および大きさに変化がなかった場合は、「移動なし」と判断し、ステップＳ２００７０へ移行する。文書移動判断処理における文書情報の取得処理は、図４のステップＳ４０００にて説明した方法と同様である。

ステップＳ２００７０は編集操作実行処理であり、図４のステップＳ４０６０における処理と同様である。

以上、説明したように、編集操作を行う前に文書移動の判断を行うことで、意図せず文書が動いてしまった場合に編集操作を無効化し、意図しない編集操作が行われることを防ぐことができるようになる。

＜その他の実施形態＞
上述の実施形態にて説明した移動許可判断処理とは異なる移動許可判断処理を行うことも可能である。たとえば、予め規定しておいたジェスチャーを行うことで、移動ＯＫと移動ＮＧの状態を切り替えることもできる。また、移動ＯＫと移動ＮＧの状態を切り替えるためのＵＩを提供してもよい。一例としては、文書情報の周辺に移動ＯＫと移動ＮＧの状態を切り替えるためのＧＵＩを提供し、該ＧＵＩが指示されるたびに状態を切り替えることも可能である。

また、上述の実施形態では、明示的な指示に基づき移動許可判断処理を実施したが、明示的な指示を用いずに移動許可判断処理を実施することも可能である。たとえば、ユーザの視線を取得し、該視線情報を用いて移動許可判断処理を実現する。特定の情報に視線が集中している際は、該情報を注視しているため、書き込み等の編集作業を行うものと想定し、移動ＮＧと判定する。一方で、視線情報が所定領域に集中しない場合は、移動ＯＫと判定することも可能である。

さらに、明示的でない条件による移動許可判断処理として、ワークフローにおける状態を活用することもできる。たとえば、文書情報毎に必要な操作を予め規定しておき、規定操作が完了するまでは、移動ＮＧとする。規定操作が完了した後は、移動ＯＫと判定してもよい。本処理により、文書情報を用いたプレゼンにおいて、説明が必須の部分に対して書き込みが行われるまでは説明が未完了であるとみなして、移動ＮＧとすることで、説明忘れなどを防止することが可能になる。

または、明示的でない条件による移動許可判断処理として、文書情報の配置状態を活用してもよい。たとえば、複数の文書情報が存在する際に、文書情報同士が重なっている場合、重なり度合いを用いて移動許可判断を行うことができる。文書情報同士の重なり度合いが予め規定しておいた度合いよりも大きい場合（文書領域の大部分が重なっている場合）、移動ＯＫと判断する。重なり度合いが規定値よりも小さい場合は、上述の実施形態に記載した処理により移動ＯＫもしくは移動ＮＧを判断することもできる。文書が重なっている場合に上側に存在する文書へ書き込むと、下側の文書へ写り込みなどが生じる可能性があるが、重なり度合いが大きい場合は本処理によりユーザ指示が移動処理として扱われるため、写り込みを避けることが可能になる。

なお、上述の実施形態では、ジェスチャー操作による操作対象を２次元の文書情報としたが、３次元のオブジェクトを対象としてもよい。文書情報を検出したのと同様に、３次元画像の取得センサなどを用いて３次元のオブジェクトの位置および大きさを検出し、移動許可判断処理の結果によって、３次元オブジェクトへの編集操作を切り替えることができる。この場合の移動許可処理については、上述の実施形態で記載した処理を用いてもよいし、異なる方法を用いることも可能である。たとえば、移動許可処理として、予め規定した３次元空間へのジェスチャーの有無を用いて移動許可判断を行うこともできる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１ 文書検出部
３０２ 移動許可判断部
３０３ 操作情報取得部
３０４ 操作情報解釈部
３０５ 操作実行部

Claims (9)

1. 文書情報を検出する検出手段と、
   前記検出手段で検出した文書情報への操作情報を取得する取得手段と、
   前記取得手段で指示座標の変化が所定範囲内に停滞している第１操作情報を取得したか否かにより前記文書情報の移動許可を判断する判断手段と、
   前記第１操作情報を取得した場合、前記取得手段で取得した、前記文書情報に対する第１位置の指示から第２位置の指示への経過を伴う第２操作情報の操作を編集操作と解釈し、前記第１操作情報を取得しなかった場合、前記第２操作情報を移動操作と解釈する解釈手段と、
   を備え、
   前記取得手段は、前記検出手段で検出された複数の文書情報が関連していれば、関連する文書情報に対する操作情報を一連の操作情報として取得することを特徴とする情報処理装置。
2. 前記取得手段は、所定時刻ごとに指示座標の位置を取得した操作情報を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記取得手段は、前記文書情報の領域内に前記操作情報が存在する場合、前記文書情報と前記操作情報とを関連付けることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記検出手段が２つの重なった文書情報を検出した場合、
   前記取得手段は、上方の文書情報に対する前記特定の第１操作情報を、下方の文書情報に対する前記特定の第１操作情報として取得することを特徴とする請求項１に記載の情報処理装置。
5. 前記文書情報を投影する投影手段をさらに備え、
   前記文書情報は、前記投影手段により投影された投影情報であることを特徴とする請求項１乃至３何れか１項に記載の情報処理装置。
6. 前記文書情報を表示する表示手段をさらに備え、
   前記文書情報は、前記表示手段により表示された表示情報であることを特徴とする請求項１乃至３何れか１項に記載の情報処理装置。
7. 前記複数の文書情報は、投影情報と紙文書とであることを特徴とする請求項１記載の情報処理装置。
8. 文書情報を検出する検出工程と、
   前記検出工程で検出した文書情報への操作情報を取得する取得工程と、
   前記取得工程で指示座標の変化が所定範囲内に停滞している第１操作情報を取得したか否かにより前記文書情報の移動許可を判断する判断工程と、
   前記第１操作情報を取得した場合、前記取得工程で取得した、前記文書情報に対する第１位置の指示から第２位置の指示への経過を伴う第２操作情報の操作を編集操作と解釈し
   、前記第１操作情報を取得しなかった場合、前記第２操作情報を移動操作と解釈する解釈工程と、
   を備え、
   前記取得工程では、前記検出工程で検出された複数の文書情報が関連していれば、関連する文書情報に対する操作情報を一連の操作情報として取得することを特徴とする情報処理方法。
9. コンピュータを、
   文書情報を検出する検出手段と、
   前記検出手段で検出した文書情報への操作情報を取得する取得手段と、
   前記取得手段で指示座標の変化が所定範囲内に停滞している第１操作情報を取得したか否かにより前記文書情報の移動許可を判断する判断手段と、
   前記第１操作情報を取得した場合、前記取得手段で取得した、前記文書情報に対する第１位置の指示から第２位置の指示への経過を伴う第２操作情報の操作を編集操作と解釈し、前記第１操作情報を取得しなかった場合、前記第２操作情報を移動操作と解釈する解釈手段と、
   として機能させ、
   前記取得手段は、前記検出手段で検出された複数の文書情報が関連していれば、関連する文書情報に対する操作情報を一連の操作情報として取得するためのプログラム。

Images