JP7517481B2 - 操作ログ生成装置および操作ログ生成方法 - Google Patents

Description

本発明は、操作ログ生成装置および操作ログ生成方法に関する。

業務分析において、操作手順をフローチャート形式で表示する方法が有効である。サービスや商品を顧客に提供する業務を考えた場合、同一サービス・商品を提供するためのシステムの操作手順はサービスや商品ごとに決められており、それはマニュアルなどで操作者に共有されている。

また、初心者に対しては、研修や熟練者による指導により操作手順は教え込まれるので、同一商品・サービスを処理する手順は、同じ操作手順となるはずである。しかし、現実には、顧客が注文後に注文内容を変更する、商品が欠品となる、操作者の操作誤りなど、当初に想定しなかった様々なイレギュラーな事象が発生するのが通常であり、これらのイレギュラーな事象に予めすべての操作手順を規定しておくことは現実的ではないし、仮に規定できたとしても、操作者が全ての操作パターンを覚えて適切に手順を選択するのは困難である。

このため、実際には、同一商品・サービスであっても注文ごとに操作手順は様々であることが一般的である。業務改善を目的とした業務実態の把握においては、これらイレギュラーな事象も含めて全ての操作パターンを網羅的に把握することが重要である。なぜなら、イレギュラー事象は手順が明確化されていないため、進め方を調べたりあるいは業務の責任者に進め方を確認する必要があったり、操作手順に誤りが発生する可能性が高く、通常の操作パターンよりも時間がかかることが多いからである。

このような状況において、操作手順をフローチャート形式で表示する方法が有効である。例えば、各注文に対して、操作者の操作時刻、操作の種類（以下、操作種別）、注文を特定する情報（以下、注文ＩＤ）を記録した操作ログを入力として、注文ごとに操作手順を並べて、それらを重ね合わせてフロー表示することで、注文ごとの操作手順の違いを明確化する仕組みが提案されている。

また、分析者が見たい粒度で操作ログを取得する仕組みとして、例えば、ＧＵＩアプリケーションの操作画面を対象に、イベントの発生時に、操作画面を構成するＧＵＩ部品の属性値を取得し、イベントの発生前後での変更箇所を発見する技術が知られている。これにより、属性値の変更を生じたイベント、つまり業務上意味のある操作イベントのみ抽出すると同時に操作箇所を特定することができる。

しかし、実際の業務においては、メール、Ｗｅｂ、業務システム、Ｗｏｒｄ、Ｅｘｃｅｌ、スケジューラなど多様なアプリケーションを利用しながら業務を進めることが一般的であり、これら全てのアプリケーションの実行環境に応じたＧＵＩ部品の属性値の取得及び変更箇所を特定する仕組みを開発する必要があるが、実際には非常にコストが高く現実的ではない。仮に対象のアプリケーションについて開発しても、対象の実行環境にバージョンアップに伴う仕様変更が発生すると、それにあわせた改造が必要となる。また、近年、コンピュータ資源の有効活用やセキュリティ対策を目的に、企業内ではシンクライアント環境が普及している。これは実際にユーザが操作を行う端末（以下、クライアント端末）にはアプリケーションがインストールされておらず、クライアント端末と接続された別の端末（サーバ）にアプリケーションがインストールされていて、クライアント端末にはアプリケーションが提供する操作画面が画像として表示され、ユーザはその表示された画像を通してサーバ側のアプリケーションを操作するものである。この場合、実際にユーザが操作を行う端末には、操作画面が画像として表示されるため、クライアント端末から上記記載のＧＵＩ部品の属性値を取得することは不可能である。

また、キーボード入力、マウスクリックのイベントを活用して操作ログを取得する仕組みが提案されている。これは、マウスクリック、キーボードのエンターキー入力のイベントをトリガーにして各タスクに事前に指定された条件を満たすイベントのみを操作ログとして記録するものである。この仕組みを用いることで、分析に不要なイベントを省きつつ、分析者が必要なイベントのみ抽出することができる。

特開２０１５－１５３２１０号公報

しかしながら、従来の技術では、アプリケーションの操作ログの取得は容易ではない。例えば、実際の業務は、一般に多様なアプリケーションを利用しながら進めてられており、膨大な数のアプリケーションに対して操作ログを取得する仕組みを作りこむことは現実的とは言えない。また、従来の技術では、事前に条件を指定する必要があるため、煩雑であるという問題がある。

これらの問題を鑑み、ＧＵＩアプリケーションの実行環境によらず、汎用的に操作フローを再現するのに必要な操作ログを取得する方法として、ユーザが端末を操作するタイミングに合わせて、操作画面のキャプチャ画像を取得し、画像上の特徴を用いてＧＵＩ部品の候補となる画像を抽出し、イベントの発生位置から操作対象のＧＵＩ部品を特定し、それを入力として、操作フローを再現する手法も考えられる。この場合、操作画面には操作可能なＧＵＩ部品に加えて、操作できないＧＵＩ部品も存在するので、これらを区別し、操作可能なＧＵＩ部品の画像のみを抽出しなければならないという課題がある。

本発明は、上記に鑑みてなされたものであって、ＧＵＩアプリケーション上で行われた操作について操作ログの生成に必要な操作種別を対象のアプリケーションの実行環境によらず汎用的に特定することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る操作ログ生成装置は、ユーザの操作イベントを検知して、操作画面のキャプチャ画像における該操作イベントの発生位置を取得する取得部と、前記キャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、前記操作イベントの発生位置の画像を特定し、該画像と該操作イベントとを対応付けて記録する特定部と、記録された画像の集合を、前記画像間の類似度に応じてクラスタに分類する分類部と、分類された各クラスタの前記操作イベントに対応する画像を用いて、操作ログを生成する生成部と、を有することを特徴とする。

本発明によれば、ＧＵＩアプリケーションの操作ログを対象のアプリケーションの実行環境によらず汎用的に取得することが可能となる。

図１は、本実施形態の操作ログ生成装置の概略構成を例示する模式図である。 図２は、特定部の処理を説明するための図である。 図３は、特定部の処理を説明するための図である。 図４は、特定部の処理を説明するための図である。 図５は、操作ログ生成処理手順を示すフローチャートである。 図６は、操作ログ生成プログラムを実行するコンピュータの一例を示す図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［操作ログ生成装置の構成］
図１は、本実施形態の操作ログ生成装置の概略構成を例示する模式図である。図１に示すように、本実施形態の操作ログ生成装置１０は、パソコンやワークステーション等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。

入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。例えば、出力部１２には、後述する操作ログ生成処理の結果が表示される。

通信制御部１３は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した外部の装置と制御部１５との通信を制御する。例えば、通信制御部１３は、ユーザが操作する端末等と制御部１５との通信を制御する。なお、この端末は、操作ログ生成装置１０と同一のハードウェアに実装されてもよい。

記憶部１４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４には、操作ログ生成装置１０を動作させる処理プログラムや、処理プログラムの実行中に使用されるデータなどが予め記憶され、あるいは処理の都度一時的に記憶される。また、記憶部１４は、後述する操作ログ生成処理の結果である操作ログ１４ａを記憶する。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。

制御部１５は、ＣＰＵ（Central Processing Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図１に例示するように、取得部１５ａ、特定部１５ｂ、分類部１５ｃおよび生成部１５ｄとして機能する。なお、これらの機能部は、それぞれ、あるいは一部が異なるハードウェアに実装されてもよい。また、制御部１５は、その他の機能部を備えてもよい。

取得部１５ａは、ユーザのマウスクリックやキーボード入力といったユーザの操作イベントを検知して、操作画面のキャプチャ画像における該操作イベントの発生位置を取得する。具体的には、取得部１５ａは、定期的にユーザの操作画面のキャプチャ画像を取得する。また、操作イベントの発生を監視する。

そして、取得部１５ａは、操作イベントの発生を検知した場合に、当該操作イベントの直前と直後の操作画面のキャプチャ画像を比較する。そして、取得部１５ａは、キャプチャ画像に変化が生じた場合には、変化が生じた位置を該操作イベントの操作画面における発生位置として取得する。これにより、取得部１５ａは、操作可能なＧＵＩ部品に対して発生した操作イベントの発生位置を取得することができる。

例えば、取得部１５ａは、キーボード入力、マウスクリックの操作イベントの発生を検知する機能と、操作イベントを検知すると、操作イベント発生時刻と、操作イベント発生位置と、操作イベント発生直前の操作画面のキャプチャ画像とを、後述する特定部１５ｂに通知する機能を具備する。操作イベント発生直前の操作画面のキャプチャ画像は、例えば、画像キャプチャを定期的に取得し、イベント発生時刻と比較することで取得可能である。

取得部１５ａは、操作イベントの発生検知について、例えばＷｉｎｄｏｗｓ（登録商標）ＯＳであればグローバルフックを用いることで実現可能である。同様に、取得部１５ａは、イベント発生位置について、例えばマウスクリックであれば、グローバルフックにより取得可能である。

加えて、取得部１５ａは、検知した操作イベントの発生前後の操作画面のキャプチャ画像が変化した場合に、該操作イベントの発生位置を取得する。例えばキーボード入力について、通常キーボード入力は文字列の入力を伴うので、操作イベントの発生前後のキャプチャ画像を比較することで、操作イベントの発生位置を特定することが可能である。これにより、取得部１５ａは、確実に画面に変化を生じさせた操作イベントを検知することができる。なお、変化が生じるのは一点ではなく面的な広がりを持つが、そこに含まれる座標であればどこでもよい。また、キーボード入力には、Ｔａｂキー、方向キー、シフトキー等の入力を伴わない操作も存在するが、これらは分析において意味を持たないことが多いので、本実施形態においては無視するものとする。

また、取得部１５ａは、操作イベントの種別（マウスクリック、キーボード入力）に関する情報を取得し、記録してもよい。

また、取得部１５ａは、操作イベントの前後での操作画面上の画像変化を検出する際に、操作画面全体のキャプチャ画像を比較してもよいし、操作イベントの発生位置の周辺の画像を比較してもよい。

特定部１５ｂは、後述する処理によりキャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、操作イベントの発生位置の画像を特定し、該画像と該操作イベントとを対応付けて記録する。具体的には、特定部１５ｂは、取得された操作イベント発生直前のキャプチャ画像からＧＵＩ部品の候補となる画像を抽出し、操作イベントの発生位置から該操作イベントがどの画像上で発生したものかを特定し、操作イベントの発生位置、発生時刻および種別を含む操作イベント情報と該画像とを関連付けて記録する。

例えば、特定部１５ｂは、取得されたキャプチャ画像から、画像上の特徴を用いて所定の形式のＧＵＩ部品の候補となる画像を抽出する。特定部１５ｂは、ＯｐｅｎＣＶ（Open source Computer Vision library）等を用いて、各ＧＵＩ部品が占める領域とそれ以外の領域の色の差異を特徴として用いて、ＧＵＩ部品のエッジを特定する。そして、特定部１５ｂは、特定したエッジを輪郭として、エッジを含む外接矩形を切り出すことにより、操作画像からＧＵＩ部品の候補となる画像を切り出す。

その際に、特定部１５ｂは、キャプチャ画像から所定の形式の画像と、該画像の周辺の画像とを切り出すことにより、ＧＵＩ部品の候補となる画像を抽出する。これにより、後述する生成部１５ｄの処理の結果の画像を用いて操作フローとして可視化した際に、操作画面上での操作箇所がユーザに認識されやすくなる。また、テキストボックス等、画像が類似するＧＵＩ部品の画像を区別することが可能となる。

ここで、図２～図４は、特定部１５ｂの処理を説明するための図である。図３（ａ）～（ｃ）には、図２に示す操作画面から、特定部１５ｂがキャプチャ画像からＧＵＩ部品の候補となる画像を抽出し、操作イベントと対応付ける場合について例示されている。具体的には、図３（ａ）には、破線で囲んで示すように、画像として切り出される画像が例示されている。また、図３（ｂ）には、操作対象の画像となり得るテキストボックスの画像を抽出する場合について例示されている。図３（ｂ）に示すように、特定部１５ｂは、テキストボックスの周辺の画像を含む画像を切り出すことにより、同一の操作画面上の異なるテキストボックスを区別することが可能となる。図３（ｂ）に示す例では、例えば、特定したテキストボックスの周辺にある文字画像を含むように画像を切り出すことにより、氏名を入力するためのテキストボックスと住所を入力するためのテキストボックスとを区別することが可能となっている。さらに、共通領域を除いて類似性を判定することで後述する分類部１５ｃにおいてより精度高く分類可能である。

そして、特定部１５ｂは、切り出した画像のうち、操作イベントの発生位置を含む画像を特定し、特定した画像と、操作イベントの発生位置と操作イベントの発生時刻と操作イベント種別とを含む操作イベント情報とを対応付けて記憶部１４に記憶する。

その際に、特定部１５ｂは、図３（ｃ）に示すように、切り出した複数の画像が入れ子関係にある場合、操作イベントの発生位置を内包する画像のうち、最も内側にある画像を特定する。なお、特定部１５ｂは、操作イベントの発生位置を内包する画像のうち、最も外側にある画像を特定してもよい。すなわち、特定部１５ｂは、各操作イベントについて、画像が１つ特定できればよい。

また、図４（ａ）には、図３（ｃ）から切り出された画像（画像１～３）が例示されている。また、図４（ｂ）、（ｃ）には、各画像に対する操作とみなす操作イベントの発生位置が例示されている。例えば、図４（ｂ）には、最も外側にある画像を特定する場合に、画像２に対する操作とみなす操作イベントの発生位置が例示されている。

なお、特定部１５ｂは、特定した画像と発生位置と、操作イベントの種別と発生時刻とを対応付けて、記憶部１４に記憶せずに、以下に説明する分類部１５ｃに転送してもよい。

図１の説明に戻る。分類部１５ｃは、記録された画像の集合を、画像間の類似度に応じてクラスタに分類する。この処理は、ＧＵＩ上で行われた操作について同一の操作種別を同一クラスタに分類することを目的にしている。例えば、分類部１５ｃは、各画像の操作画面のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。これにより、操作画面上で同じ位置に表示されるＧＵＩ部品を表す画像が同一のクラスタに分類される。操作画面の構成が固定的な場合には、すべてのＧＵＩ部品は常に同じ位置に表示されることから、同一の操作イベントのＧＵＩ部品を切り出した画像を同一のクラスタ、つまり同一の操作種別に分類することが可能となる。

あるいは、分類部１５ｃは、各画像の画像上の類似度に応じて、画像を分類する。これにより、同一の操作イベントのＧＵＩ部品を切り出した画像が同一のクラスタに分類される。操作画面の構成が動的に変化する場合には、各ＧＵＩ部品の表示位置が変わってしまうため、表示位置の類似性から画像を分類することはできない。そこで、同一の操作イベントのＧＵＩ部品は同一の画像であることから、画像上の類似度を用いることで、画像を分類する。画像の類似性の判定には、例えばパターンマッチや、各種特徴量・特徴点を用いた類似性の判定が可能である。

分類部１５ｃは、分類したクラスタに各クラスタを識別するクラスタＩＤを付与する。すなわち、クラスタＩＤが操作種別に対応する。

生成部１５ｄは、分類された各クラスタの操作イベントに対応する画像を用いて、操作ログ１４ａを生成する。具体的には、生成部１５ｄは、各操作イベントについて、クラスタの画像をクラスタＩＤおよび操作イベント発生時刻と対応付けて記録し、操作ログ１４ａを生成し、生成した操作ログ１４ａを記憶部１４に記憶させる。また、生成部１５ｄは、画像に、さらに操作イベント種別を対応付けて操作ログ１４ａを生成してもよい。

また、生成部１５ｄが操作ログ１４ａを生成する際、分析者がクラスタに含まれる画像を区別するために、分類部１５ｃは、クラスタごとに該クラスタに含まれる画像に分析者が任意の文字列を付与し、その文字列を用いてフローを生成してもよい。また、分類部１５ｃは、クラスタに含まれる画像に対してＯＣＲにより特徴的な文字列を抽出し、それをラベルとして付与することも可能である。

［操作ログ生成処理］
次に、図５を参照して、本実施形態に係る操作ログ生成装置１０による操作ログ生成処理について説明する。図５は、操作ログ生成処理手順を示すフローチャートである。図５のフローチャートは、例えば、ユーザが開始を指示する操作入力を行ったタイミングで開始される。

まず、取得部１５ａが、定期的にユーザの操作画面のキャプチャ画像を取得する（ステップＳ１）。また、取得部１５ａが、ユーザの操作イベントを検知した場合に、該操作イベントの直前と直後の操作画面のキャプチャ画像を比較し、キャプチャ画像に変化が生じた場合に、該操作画面における発生位置を取得する（ステップＳ２）。

次に、特定部１５ｂが、キャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、操作イベントの発生位置の画像を特定し（ステップＳ３）、該画像と該操作イベントとを対応付けて記録する。例えば、特定部１５ｂは、キャプチャ画像から、画像上の特徴を用いて所定の形式のＧＵＩ部品の候補となる画像を特定し、特定した画像をキャプチャ画像から切り出す。そして、切り出した画像のうち、操作イベントの発生位置を含む画像を特定し、特定した画像と、操作イベントの発生位置と操作イベントの発生時刻と操作イベント種別とを含む操作イベント情報とを対応付けて記憶部１４に記憶する。

次に、分類部１５ｃが、記録された画像の集合を、画像間の類似度に応じてクラスタに分類する（ステップＳ４）。例えば、分類部１５ｃは、各画像のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。あるいは、分類部１５ｃは、各画像の画像上の類似度に応じて、画像を分類する。

そして、生成部１５ｄが、各クラスタの操作イベントに対応する画像を用いて操作ログを生成する（ステップＳ５）。例えば、生成部１５ｄは、分類した各クラスタに含まれる画像を、クラスタＩＤおよび操作イベント発生時刻と対応付けて記録し、操作ログ１４ａを生成する。また、生成部１５ｄは、生成した操作ログ１４ａを記憶部１４に記憶させる。あるいは、生成部１５ｄは、操作ログ１４ａを、例えば操作フローを作成する装置に出力する。これにより、一連の操作ログ生成処理が終了する。

以上、説明したように、本実施形態の操作ログ生成装置１０において、取得部１５ａが、ユーザの操作イベントを検知して、操作画面のキャプチャ画像における該操作イベントの発生位置を取得する。特定部１５ｂが、キャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、操作イベントの発生位置の画像を特定し、該画像と該操作イベントとを対応付けて記録する。分類部１５ｃが、記録された画像の集合を、画像間の類似度に応じてクラスタに分類する。生成部１５ｄが、分類された各クラスタの操作イベントに対応する画像を用いて、操作ログ１４ａを生成する。

これにより、操作ログ生成装置１０は、ＧＵＩアプリケーションの種類によらず、事前に教師データを用意したり条件を指定したりすることなく、容易かつ自動的にアプリケーションの操作ログ１４ａを取得することが可能となる。また、操作ログ生成装置１０は、操作可能なＧＵＩ部品に対して行われた操作イベントのみを抽出可能となる。

また、取得部１５ａは、検知した操作イベントの発生前後の操作画面のキャプチャ画像が変化した場合に、該操作イベントの発生位置を取得する。これにより、取得部１５ａは、確実に画面に変化を生じさせた操作イベントを検知して、操作可能なＧＵＩ部品に対して発生した操作イベントのみを抽出することができる。

また、分類部１５ｃは、各画像のキャプチャ画像における表示位置の類似度に応じて、画像を分類する。これにより、操作ログ生成装置１０は、操作画面の構成が動的に変化しない場合に、同一のＧＵＩ部品を切り出した画像を同一のクラスタに分類することが可能となる。

また、分類部１５ｃは、各画像の画像上の類似度に応じて、画像を分類する。これにより、操作ログ生成装置１０は、作画面の構成が動的に変化する場合に、同一のＧＵＩ部品を切り出した画像を同一のクラスタに分類することが可能となる。

また、特定部１５ｂは、キャプチャ画像から所定の形式の画像と、該画像の周辺の画像とを切り出すことにより、ＧＵＩ部品の候補となる画像を抽出する。これにより、画像を用いて操作フローとして可視化した際に、操作画面上での操作箇所がユーザに認識されやすくなる。また、画像が類似するテキストボックス等のＧＵＩ部品を区別することが容易に可能となる。

［プログラム］
上記実施形態に係る操作ログ生成装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、操作ログ生成装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の操作ログ生成処理を実行する操作ログ生成プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の操作ログ生成プログラムを情報処理装置に実行させることにより、情報処理装置を操作ログ生成装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）などのスレート端末などがその範疇に含まれる。また、操作ログ生成装置１０の機能を、クラウドサーバに実装してもよい。

図６は、操作ログ生成プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、操作ログ生成プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した操作ログ生成装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、操作ログ生成プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、操作ログ生成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、操作ログ生成プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。

１０ 操作ログ生成装置
１１ 入力部
１２ 出力部
１３ 通信制御部
１４ 記憶部
１４ａ 操作ログ
１５ 制御部
１５ａ 取得部
１５ｂ 特定部
１５ｃ 分類部
１５ｄ 生成部

Claims (5)

1. ユーザの操作イベントを検知して、操作画面のキャプチャ画像における該操作イベントの発生位置を取得する取得部と、
   前記キャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、前記操作イベントの発生位置の画像を特定し、該画像と該操作イベントとを対応付けて記録する特定部と、
   記録された画像の集合を、前記画像間の類似度に応じてクラスタに分類する分類部と、
   分類された各クラスタの前記操作イベントに対応する複数の画像のうちのいずれかを用いて、操作ログを生成する生成部と、
   を有することを特徴とする操作ログ生成装置。
2. 前記取得部は、検知した前記操作イベントの発生前後の前記キャプチャ画像が変化した場合に、該操作イベントの発生位置を取得することを特徴とする請求項１に記載の操作ログ生成装置。
3. 前記分類部は、各画像の類似度、または各画像の前記キャプチャ画像における表示位置の類似度の少なくともいずれかに応じて、前記画像を分類することを特徴とする請求項１に記載の操作ログ生成装置。
4. 前記特定部は、前記キャプチャ画像から所定の形式の画像と、該画像の周辺の画像とを切り出すことにより、前記ＧＵＩ部品の候補となる画像を抽出することを特徴とする請求項１に記載の操作ログ生成装置。
5. 操作ログ生成装置が実行する操作ログ生成方法であって、
   ユーザの操作イベントを検知して、操作画面のキャプチャ画像における該操作イベントの発生位置を取得する取得工程と、
   前記キャプチャ画像から抽出したＧＵＩ部品の候補となる画像のうち、前記操作イベントの発生位置の画像を特定し、該画像と該操作イベントとを関連付けて記録する特定工程と、
   記録された画像の集合を、前記画像間の類似度に応じてクラスタに分類する分類工程と、
   分類された各クラスタの前記操作イベントに対応する複数の画像のうちのいずれかを用いて、操作ログを生成する生成工程と、
   を含んだことを特徴とする操作ログ生成方法。

Images