JP7384260B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

ソフトウェアの操作手順を記録し、その記録された操作手順に従ってソフトウェアを自動的に実行する場合がある。

特許文献１には、ジョブの実行態様をそれぞれ規定する複数の定義階層において、各定義階層に対応する複数の定義情報と、複数の定義情報間の対応関係を保持し、１つの定義階層における定義情報を所定の表示位置に表示させ、その箇所がユーザによって指定された場合、対応関係においてその箇所に対応付けられた別の定義階層における定義情報を更に表示させる装置が開示されている。

特許文献２には、ジョブフロー仕様書解析、プログラム解析、ファイル／テーブル詳細定義解析を行い、ジョブ制御言語文基本情報を作成し、そのジョブ制御言語文基本情報を対話形式にて完成させ、完成したジョブ制御言語文基本情報を基に、ジョブ制御言語文を自動作成する方法が開示されている。

特開２０１１－１１８５２０号公報 特開平１１－１１０２０２号公報

ところで、アプリケーションソフトウェアの操作手順が記録されたときの表示環境とは異なる表示環境にてアプリケーションソフトウェアを操作する場合、その環境の差に起因して、記録された操作手順通りにアプリケーションソフトウェアが操作されないことがある。

本発明の目的は、アプリケーションソフトウェアの操作手順が記録されたときの表示環境とは異なる表示環境にてアプリケーションソフトウェアを操作する場合であっても、その操作手順に従ってアプリケーションソフトウェアが操作されるようにすることにある。

請求項１に記載の発明は、複数のアプリケーションソフトウェアの一連の操作手順を記録し、前記操作手順に従って前記アプリケーションソフトウェアの操作を制御するための制御情報を生成する記録手段と、前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段と、前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段と、を有し、前記表示制御手段は、前記複数のアプリケーションソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示する、情報処理装置である。
請求項２に記載の発明は、前記表示制御手段は、前記アプリケーションソフトウェアに紐付く画像のいずれかが指定された場合、前記指定された画像に紐付くソフトウェアに対する操作手順の記録時に行われた操作内容を、前記画面上に表示する、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記画面には、前記アプリケーションソフトウェアに紐付く画像の一覧が表示され、前記一覧の中の画像の表示位置に基づいて、操作されたアプリケーションソフトウェアが識別される、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
請求項４に記載の発明は、アプリケーションソフトウェアの識別情報に基づいて、操作されたアプリケーションソフトウェアが識別される、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
請求項５に記載の発明は、前記画面上の画素数をカウントすることで、操作されたアプリケーションソフトウェアが識別される、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
請求項６に記載の発明は、予め定められた基準画像が指定された場合、各アプリケーションソフトウェア間の相対的な表示位置関係が定められた領域が表示され、前記領域内にアプリケーションソフトウェアの一覧が表示される、ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置である。
請求項７に記載の発明は、前記各アプリケーションソフトウェアは互いに異なる機能を有するソフトウェアである、ことを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記操作手順が記録された装置とは異なる装置にて、前記制御情報に従ってアプリケーションソフトウェアの操作が制御される、ことを特徴とする請求項１から請求項７のいずれか一項に記載の情報処理装置である。
請求項９に記載の発明は、前記制御情報に従ったアプリケーションソフトウェアの実行時に、前記制御情報に従ってアプリケーションソフトウェアの表示位置が指定されてアプリケーションソフトウェアが操作される、ことを特徴とする請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記操作手順の記録時の表示環境とアプリケーションソフトウェアの実行時の表示環境との差異に応じて、アプリケーションソフトウェアの実行時に指定される位置が変更される、ことを特徴とする請求項９に記載の情報処理装置である。
請求項１１に記載の発明は、前記記録手段は、前記操作手順の記録時の表示環境を示す情報と前記操作手順とを共に記録する、 ことを特徴とする請求項１０に記載の情報処理装置である。
請求項１２に記載の発明は、前記表示環境は、画面サイズ及び画面解像度の中の少なくとも１つである、ことを特徴とする請求項１０又は請求項１１に記載の情報処理装置である。
請求項１３に記載の発明は、前記記録手段は、前記画面のサイズを予め定められたサイズに固定した状態で前記操作手順を記録する、ことを特徴とする請求項１から請求項１２のいずれか一項に記載の情報処理装置である。
請求項１４に記載の発明は、前記予め定められたサイズは最大サイズである、ことを特徴とする請求項１３に記載の情報処理装置である。
請求項１５に記載の発明は、前記表示制御手段は、前記画像が指定された場合、前記画像に紐付くソフトウェアを使って前記操作手順の記録時に行われた操作内容の表示を制御する、ことを特徴とする請求項１から請求項１４のいずれか一項に記載の情報処理装置である。
請求項１６に記載の発明は、前記画面内における前記画像の並び順を変えることで、前記画像に紐付くソフトウェアの操作順が変更される、ことを特徴とする請求項１から請求項１５のいずれか一項に記載の情報処理装置である。
請求項１７に記載の発明は、コンピュータを、複数のアプリケーションソフトウェアの一連の操作手順を記録し、前記操作手順に従って前記アプリケーションソフトウェアの操作を制御するための制御情報を生成する記録手段、前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段、前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段、として機能させ、前記表示制御手段は、前記複数のアプリケーションソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示する、プログラムである。

請求項１－１７に記載の発明によれば、アプリケーションソフトウェアの操作手順が記録されたときの表示環境とは異なる表示環境にてアプリケーションソフトウェアを操作する場合であっても、その操作手順に従ってアプリケーションソフトウェアを操作することが可能となる。

本実施形態に係る端末装置を示すブロック図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。

図１を参照して、本実施形態に係る情報処理装置の一例としての端末装置について説明する。図１には、本実施形態に係る端末装置１０が示されている。

端末装置１０は、例えば、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォン、携帯電話、等の装置であり、ソフトウェア（プログラム）を実行する機能、ソフトウェアの操作手順（実行手順）を記録する機能、等を備えている。ソフトウェアは、ＯＳ（オペレーティングシステム）等のシステムソフトウェア、特定の処理を実行するアプリケーションソフトウェア等である。端末装置１０は、サーバ等の装置であってもよい。以下、端末装置１０について詳しく説明する。

通信部１２は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部１２は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。なお、端末装置１０は通信部１２を備えていなくてもよい。

記憶部１４はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部１４には、各種のデータ、各種のソフトウェア（システムソフトウェアやアプリケーションソフトウェア等）等が記憶されている。また、他の装置のアドレスを示す情報が記憶部１４に記憶されていてもよい。上記の情報は、それぞれ別々の記憶装置に記憶されてもよいし、同じ記憶装置に記憶されてもよい。

ＵＩ部１６はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボードやマウス等の入力装置である。表示部と操作部を兼ねたユーザインターフェース（例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。

制御部１８は、端末装置１０の各部の動作を制御する機能を備えている。また、制御部１８は、表示制御部２０と記録部２２を含む。

表示制御部２０は、各種の情報をＵＩ部１６の表示部に表示させる機能を備えている。例えば、表示制御部２０は、いわゆるデスクトップ画面（基本となる操作画面）をＵＩ部１６の表示部に表示させ、そのデスクトップ画面上に、アプリケーションソフトウェアに紐付く画像（いわゆるアイコン）や、文書データや画像データ等のファイルに紐付く画像（アイコン）や、アプリケーションソフトウェアやファイルが格納されるフォルダに紐付く画像（アイコン）等を表示させる。また、アプリケーションソフトウェアが実行された場合（起動させられた場合）、表示制御部２０は、そのアプリケーションソフトウェアの操作画面をＵＩ部１６の表示部に表示させる。例えば、文書作成用のアプリケーションソフトウェアが起動させられた場合、文書編集用の画面が表示され、表計算用のアプリケーションソフトウェアが起動させられた場合、表計算用の画面が表示される。その他、画像ビューアや画像処理やＷｅｂブラウザ等のアプリケーションソフトウェアが実行されて、画像ビューアや画像処理用画面やＷｅｂブラウザ等が表示されてもよい。

また、表示制御部２０は、予め定められた基準画像をＵＩ部１６の表示部に表示させ、その基準画像がユーザによって指定された場合、ソフトウェア表示領域を表示部に表示させる。ソフトウェア表示領域内には、アプリケーションソフトウェアの一覧（例えば、アプリケーションソフトウェアを識別するためのソフトウェア識別情報の一覧）が表示される。ソフトウェア識別情報は、例えば、アプリケーションソフトウェアに紐付く画像や、アプリケーションソフトウェアの名称やＩＤを表わす文字列、等である。ソフトウェア表示領域内においては、各アプリケーションソフトウェア間の相対的な表示位置関係が定められている。例えば、ソフトウェア表示領域内においては、各ソフトウェア識別情報の表示位置が固定されていてもよい。ソフトウェア表示領域内に表示されたソフトウェア識別情報がユーザによって指定されると、その指定されたソフトウェア識別情報に紐付くアプリケーションソフトウェアが起動させられる。

また、文書データや画像データ等のファイルを識別するためのファイル識別情報が、ソフトウェア表示領域内に表示されてもよい。ファイル識別情報は、例えば、ファイルに紐付く画像や、ファイルの名称を表わす文字列、等である。ソフトウェア表示領域内に、アプリケーションソフトウェアとファイルの両方が表示されている場合（つまり、ソフトウェア識別情報とファイル識別情報の両方が表示されている場合）、それらの間の相対的な表示位置関係が定められている。ソフトウェア表示領域内に表示されたファイル識別情報がユーザによって指定されると、その指定されたファイル識別情報に紐付くファイルに紐付くアプリケーションソフトウェアが起動させられ、そのアプリケーションソフトウェアによってファイルが表示させられる。もちろん、ソフトウェア表示領域内に、フォルダを識別するためのフォルダ識別情報（例えば、フォルダに紐付く画像や、フォルダの名称を表わす文字列等）が表示されてもよい。

記録部２２は、上記のソフトウェア表示領域にて操作されたアプリケーションソフトウェアの操作手順（例えば、アプリケーションソフトウェアが指定されて実行された順番）を記録し、その操作手順に従ってアプリケーションソフトウェアの操作を制御するための制御情報を生成する機能を備えている。その操作手順を記録した端末装置１０において、その制御情報に従ってアプリケーションソフトウェアが操作されてもよいし（例えば、アプリケーションソフトウェアが指定されて実行されてもよいし）、その操作手順が記録された端末装置１０以外の装置（例えば別のＰＣ等）において、その制御情報に従ってアプリケーションソフトウェアが操作されてもよい。

また、ソフトウェア表示領域内にソフトウェア識別情報とファイル識別情報が表示されている場合において、ソフトウェア表示領域にてアプリケーションソフトウェアとファイルが操作された場合、記録部２２は、それらの操作手順を記録し、その操作手順に従ってアプリケーションソフトウェアやファイルの操作を制御するための制御情報を生成してもよい。ソフトウェア表示領域内にフォルダ識別情報が表示されている場合において、ソフトウェア表示領域にてフォルダが操作された場合も、その操作手順が記録されて制御情報が生成されてもよい。

本実施形態では、上記の制御情報が、いわゆるＲＰＡ（Robotic Process Automation）を実現するためのソフトウェア（ＲＰＡソフトウェア）として用いられることで、ＲＰＡが実現されてもよい。例えば、上記の制御情報に従ったアプリケーションソフトウェアが仮想空間上で実行されることでＲＰＡが実現される。ＲＰＡにおいては、例えば、データ入力や複数のアプリケーションソフトウェアの組み合わせで実現可能な作業等の定型処理、データの収集や分析等の処理、データに基づいて学習して判断する処理、等が行われてもよい。

以下、端末装置１０による処理について更に詳しく説明する。

図２を参照して、ＵＩ部１６の表示部に表示される画面について説明する。図２は、その画面２４を示す図である。画面２４は、基本操作画面としてのデスクトップ画面である。例えばＯＳが起動した場合、表示制御部２０は、画面２４を表示部に表示させる。画面２４は、例えば、主表示領域２６とタスクバー領域２８を含む。

主表示領域２６には、アプリケーションソフトウェアやファイルやフォルダ等に紐付く画像３０（例えば、アプリケーションソフトウェアに紐付くアイコン、ファイルに紐付くアイコン、フォルダに紐付くアイコン等）が表示される。また、アプリケーションソフトウェアが実行された場合（起動させられた場合）、そのアプリケーションソフトウェアの操作画面（例えば、文書編集用の画面、表計算用の画面、画像ビューア、画像処理用の画面、Ｗｅｂブラウザ等）が、主表示領域２６に表示される。

また、主表示領域２６には、操作手順の記録開始の指示を与えるための記録開始ボタン画像３２が表示される。例えば、ユーザが記録開始ボタン画像３２を指定して記録開始を指示した場合（例えば、ユーザが記録開始ボタン画像３２を押した場合）、記録部２２は、操作手順の記録を開始し、制御情報を生成する。なお、記録部２２の機能がハードウェアとソフトウェアとの協働によって実現される場合において、そのソフトウェア（記録部２２用のソフトウェア）が起動している場合、そのソフトウェアに紐付く画像３４が主表示領域２６に表示されてもよい。画像３４は、例えば、記録部２２用のソフトウェアの実行の際に表示される画面が最小化した画像である。その画面が最小化することで、主表示領域２６がユーザにとって見易くなる。なお、記録部２２は、操作手順が記録されているときにユーザが記録開始ボタン画像３２を押した場合に、操作手順の記録を終了させてもよいし、ユーザが記録終了ボタン画像（図示しない画像）を押した場合に、操作手順の記録を終了させてもよい。

タスクバー領域２８は、画面２４の下部の領域に表示される横長の領域である。タスクバー領域２８には、例えば、予め定められたアプリケーションソフトウェアやファイルやフォルダに紐付く画像等が表示されてもよい。また、タスクバー領域２８には、起動中のアプリケーションソフトウェアに紐付く画像が表示されてもよい。タスクバー領域２８は、画面２４の下部の領域以外の領域に表示されてもよい。例えば、タスクバー領域２８は、画面の上部に表示される横長の領域であってもよいし、画面２４の右側部又は左側部のいずれかに表示される縦長の領域であってもよい。

また、タスクバー領域２８には基準画像３６が表示される。基準画像３６は、ソフトウェア表示領域３８を表示させるためのボタン画像の一例に相当する。例えば、ユーザが基準画像３６を押すと、表示制御部２０は、ソフトウェア表示領域３８を画面２４上に表示させる。基準画像３６は、画面２４上において予め定められた位置に表示される。図２に示す例では、基準画像３６は、画面２４の左下の隅に表示されている。なお、基準画像３６は、画面２４の右上の隅、右下の隅、左上の隅、タスクバー領域２８の中心位置、等に表示されてもよい。

ソフトウェア表示領域３８内には、アプリケーションソフトウェアの一覧が表示される。ソフトウェア表示領域３８内には、端末装置１０にインストールされている全てのアプリケーションソフトウェアの一覧が表示されてもよいし、全アプリケーションソフトウェアの中の一部のアプリケーションソフトウェアの一覧が表示されてもよい。図２に示す例では、ソフトウェア表示領域３８内に、ソフトウェア識別情報としての画像４０，４２，４４，４６，４８が並んで表示されている。画像４０は、アプリケーションソフトウェア「ＡＡＡＡＡ」に紐付く画像である。画像４２は、アプリケーションソフトウェア「ＢＢＢＢＢ」に紐付く画像である。画像４４は、アプリケーションソフトウェア「ＣＣＣＣＣ」に紐付く画像である。画像４６は、アプリケーションソフトウェア「ＤＤＤＤＤ」に紐付く画像である。画像４８は、アプリケーションソフトウェア「ＥＥＥＥＥ」に紐付く画像である。例えば、ユーザが画像４０を押した場合、画像４０に紐付くアプリケーションソフトウェア「ＡＡＡＡＡ」が起動させられる。その他のアプリケーションソフトウェアについても同様である。なお、各画像には、各アプリケーションソフトウェアを示す文字列が含まれていてもよい。

ソフトウェア表示領域３８内に表示されている各アプリケーションソフトウェアは、端末装置１０にインストールされているソフトウェア（例えば記憶部１４に記憶されているソフトウェア）であり、端末装置１０を利用して実行可能なソフトウェアであり、当該各アプリケーションソフトウェアがインストールされている端末装置１０以外の装置からはリモートデスクトップ等のリモートログイン機能により間接的に操作することが可能であるが、直接的に操作することができないプログラムである。

ソフトウェア表示領域３８内においては、画像４０，４２，４４，４６，４８の間の相対的な表示位置関係が定められている。例えば、各画像の表示位置が固定されている。図２に示す例では、ソフトウェア表示領域３８の上側から下側にかけて、画像４０，４２，４４，４６，４８の順番で各画像が並んで表示されている。この表示位置関係は、例えば予め定められている。

基準画像３６は、例えばＷｉｎｄｏｗｓ（登録商標）のデスクトップ画面に表示されるスタートボタンに相当する。もちろん、ＯＳとしてＵＮＩＸ（登録商標）やＭＡＣ（登録商標）ＯＳやＬｉｎｕｘ（登録商標）が用いられてもよい。この場合、基準画像３６は、それらのＯＳにおいて、インストールされているアプリケーションソフトウェアの一覧を表示させるためのボタン画像等に相当する。

以下、図２を参照して、記録部２２による処理について詳しく説明する。

記録者が記録開始ボタン画像３２を押した場合、記録部２２は、操作手順の記録を開始する。例えば、記録者は、マウス等を使用することで、画面２４に表示されたカーソル５０によって記録開始ボタン画像３２を押してもよいし、ＵＩ部１６がタッチパネルによって構成されている場合、記録者は、画面上で記録開始ボタン画像３２を押してもよい。以下では、カーソル５０を用いて操作を行うものとする。もちろん、カーソル５０を用いずに操作が行われてもよい。

記録者がカーソル５０によって基準画像３６を押すと、表示制御部２０は、ソフトウェア表示領域３８を画面２４上に表示させる。このとき、記録部２２は、画面２４上でカーソル５０が指定した位置を記録する。基準画像３６が画面２４の左下の隅に表示されている場合、記録部２２は、その位置が指定されたことを記録する。

次に、記録者がカーソル５０を動かして、ソフトウェア表示領域３８内に表示されている画像を指定し、その画像をカーソル５０によって押すと、制御部１８は、その画像に紐付くアプリケーションソフトウェアを起動させる。ここでは、画像４０が押されて、画像４０に紐付くアプリケーションソフトウェア「ＡＡＡＡＡ」が起動させられたものとする。この場合、表示制御部２０は、アプリケーションソフトウェア「ＡＡＡＡＡ」の操作画面を画面２４上に表示させる。また、記録部２２は、画像４０に対する操作を記録する。例えば、記録部２２は、ソフトウェア表示領域３８内における画像４０の表示位置に基づいて、操作されたアプリケーションソフトウェア「ＡＡＡＡＡ」を識別する。記録部２２は、基準画像３６の表示位置を基準位置として、操作された画像が基準位置から何番目の画像に該当するのかを判定することで、操作された画像の表示位置を特定する。例えば、記録部２２は、基準位置から操作された画像までの画像の個数（操作された画像を含む個数）をカウントすることで、操作された画像が基準画像から何番目の画像に該当するのかを判定する。画像４０は、基準画像３６の表示位置から５番目の画像に該当するため、記録部２２は、５番目の画像が操作されたことを記録する。記録者がアプリケーションソフトウェア「ＡＡＡＡＡ」の操作画面上で操作を行った場合、記録部２２は、その操作を記録する。また、記録部２２は、画面２４上におけるカーソル５０の動き（例えば、移動方向、移動量、指定位置等）を記録してもよい。

次に、記録者がカーソル５０を動かして、ソフトウェア表示領域３８内に表示されている別の画像（例えば画像４４）を指定し、その画像４４をカーソル５０によって押すと、制御部１８は、その画像４４に紐付くアプリケーションソフトウェア「ＣＣＣＣＣ」を起動させる。記録部２２は、画像４４に対する操作を記録する。画像４４は、基準画像３６の表示位置から３番目の画像に該当するため、記録部２２は、３番目の画像が操作されたことを記録する。また、記録部２２は、アプリケーションソフトウェア「ＣＣＣＣＣ」の操作画面上で行われた操作を記録する。記録部２２は、カーソル５０の動きを記録してもよい。

ソフトウェア表示領域３８内の他の画像が指定された場合も、上記と同様に、記録部２２は操作を記録する。そして、記録部２２は、操作の記録を示す制御情報（ＲＰＡソフトウェアの一例に相当する）を生成する。例えば、記録者によって基準画像３６（画面２４の左下の隅に表示されている画像）が操作され、次に画像４０（基準位置から５番目の画像）が操作され、次に画像４４（基準位置から３番目の画像）が操作された場合、記録部２２は、その操作の内容を記録する。これにより、最初にソフトウェア表示領域３８が表示され、次にアプリケーションソフトウェア「ＡＡＡＡＡ」が実行され、次にアプリケーションソフトウェア「ＣＣＣＣＣ」が実行されたことが記録されたことになる。

以下、制御情報を用いてアプリケーションソフトウェアを実行する場合について説明する。その実行は、端末装置１０にて行われてもよいし、端末装置１０以外の装置（例えばＰＣ）にて行われてもよい。ここでは、端末装置１０以外の端末装置（以下、「実行用装置」と称する）にて実行されるものとする。この場合、端末装置１０から制御情報が取り出され、実行用装置に記憶される。例えば、インターネットやＬＡＮ(Local Area Network)等の通信経路を経由して端末装置１０から実行用装置に制御情報が送信されてもよいし、Bluetooth（登録商標）等の近距離無線通信によって端末装置１０から実行用装置に制御情報が送信されてもよいし、磁気記録媒体やメモリ等の可搬性記録媒体を介して端末装置１０から実行用装置に制御情報が送られてもよい。

実行用装置は、例えば端末装置１０と同様に、通信部１２、記憶部１４、ＵＩ部１６及び制御部１８を含む。実行用装置の制御部１８は、記録部２２を含まなくてもよい。実行用装置には、端末装置１０と同様に、アプリケーションソフトウェア「ＡＡＡＡＡ」，「ＢＢＢＢＢ」，「ＣＣＣＣＣ」，「ＤＤＤＤＤ」，「ＥＥＥＥＥ」がインストールされているものとする。また、実行用装置のＵＩ部１６の表示部には、画面２４と同様に、主表示領域２６とタスクバー領域２８が表示され、タスクバー領域２８には、予め定められた位置（例えば画面２４の左下の隅の位置）に基準画像３６が表示される。また、実行用装置にて基準画像３６が押されると、ソフトウェア表示領域３８が表示され、そのソフトウェア表示領域３８には、端末装置１０と同様に、上側から下側にかけて、画像４０，４２，４４，４６，４８の順番で各画像が並んで表示される。この表示位置関係は、予め定められている。つまり、実行用装置にて表示されるソフトウェア表示領域３８内の各画像の相対的な表示位置関係は、記録時に端末装置１０に表示されるソフトウェア表示領域３８内の各画像の相対的な表示位置関係と同一である。

実行用装置にて、実行者（再生者）が、制御情報に従った処理（再生処理）の開始指示を与えた場合、制御部１８は、その制御情報に従って各アプリケーションソフトウェアを実行する。上記の例では、記録時に、最初に基準画像３６（画面２４の左下の隅に表示されている画像）がカーソル５０によって操作されているため、実行時（再生時）には、制御部１８は、カーソル５０を画面２４の左下の隅の位置まで移動させ、移動先の位置に表示されている画像（基準画像３６）を押す。これにより、ソフトウェア表示領域３８が表示される。記録時には、次に、基準画像３６の表示位置（基準位置）から５番目の画像（画像４０）がカーソル５０によって操作されているため、実行時には、制御部１８は、基準位置から５番目の画像（画像４０）までカーソル５０を移動させ、移動先の位置に表示されている画像（画像４０）を押す。例えば、制御部１８は、ソフトウェア表示領域３８内の画像の個数を基準位置からカウントし、基準位置から５番目の画像までカーソル５０を移動させる。このように、画像の表示位置に基づいて、記録時に操作されたアプリケーションソフトウェアが識別される。画像４０が押されると、画像４０に紐付くアプリケーションソフトウェア「ＡＡＡＡＡ」が起動し、制御部１８は、制御情報に基づいて、アプリケーションソフトウェア「ＡＡＡＡＡ」を用いて、記録された操作を実行する。つまり、記録時にアプリケーションソフトウェア「ＡＡＡＡＡ」を用いて行われた操作が、実行時に起動したアプリケーションソフトウェア「ＡＡＡＡＡ」を用いて実行される。記録時には、次に、基準画像３６の表示位置（基準位置）から３番目の画像（画像４４）が操作されているため、実行時には、制御部１８は、基準位置から３番目の画像（画像４４）までカーソル５０を移動させ、移動先の位置に表示されている画像（画像４４）を押す。これにより、画像４４に紐付くアプリケーションソフトウェア「ＣＣＣＣＣ」が起動し、制御部１８は、制御情報に基づいて、アプリケーションソフトウェア「ＣＣＣＣＣ」を用いて、記録された操作を実行する。

以上のように、本実施形態では、操作手順の記録時に、ソフトウェア表示領域３８にて操作されたアプリケーションソフトウェアの操作手順が記録される。そのソフトウェア表示領域３８においては、各アプリケーションソフトウェア間の相対的な表示位置関係が定められており、アプリケーションソフトウェアに紐付く画像の表示位置に基づいて、記録時に操作されたアプリケーションソフトウェアが識別される。操作手順の実行時において、記録時の表示位置関係と同一の表示位置関係を有するソフトウェア表示領域が用いられる場合、そのソフトウェア表示領域において、記録時に操作された画像の表示位置に従って画像を操作することで、記録された操作手順に従ってアプリケーションソフトウェアが操作される。このように操作手順を記録して実行することで、記録時に用いられる端末装置１０の表示環境（例えば画面サイズや画面の解像度）とは異なる表示環境を有する実行用装置においても、記録された操作手順に従ってアプリケーションソフトウェアが操作される。また、プログラミングに関する知識を有さないユーザであっても、表示環境の差異による影響を受けずに、簡単な操作で、制御情報を生成することができる。

ここで、比較例について説明する。比較例では、カーソル５０の動き（例えば移動方向、移動量及び指定位置）を記録し、再生時には、その移動方向と移動量に基づいて、記録時に操作されたアプリケーションソフトウェアを識別して実行する。比較例について、図２を参照して詳しく説明する。例えば、記録者がカーソル５０を移動させて、複数の画像３０（アイコン）の中の特定の画像（アイコン）を押して、その画像に紐付くアプリケーションソフトウェアを実行させたものとする。このとき、カーソル５０の動きが記録される。実行時には、例えば、記録時の動きに従ってカーソル５０が自動的に移動させられる。記録時の画面サイズや画面解像度と、実行時の画面サイズや画面解像度が同一であれば、記録されたカーソル５０の動きに基づいて、記録時に指定された画像が押されて、その画像に紐付くアプリケーションソフトウェアが実行される。しかし、記録時の画面サイズや画面解像度と、再生時の画面サイズや画面解像度が同一ではない場合、実行時には、記録時に指定された画像は、画面上にて、記録時に表示されていた位置とは異なる位置に表示される。この場合、実行時に、記録時に指定された画像が指定されず、その画像に紐付くアプリケーションソフトウェアは実行されない。

上記の比較例に対して本実施形態によれば、各アプリケーションソフトウェア間の相対的な表示位置関係が定められており、その表示位置関係によって、記録時に指定されたアプリケーションソフトウェアが識別されるので、実行時の画面サイズや画面解像度が、記録時の画面サイズや画面解像度と異なる場合であっても、制御情報に従って、記録時に実行されたアプリケーションソフトウェアが実行時に操作される。

また、本実施形態では、ソフトウェア表示領域３８を表示させるための基準画像３６が、予め定められた位置（例えば画面の左下の隅）に表示されるので、実行時の画面サイズや画像の解像度が、記録時の画面サイズや画面の解像度と異なる場合であっても、実行時には、制御情報に従って基準画像３６が指定される。つまり、画面サイズや画面の解像度が変更された場合であっても、画面の隅の位置は、その変更の影響を受けずに固定されているため、実行時には、制御情報に従って基準画像３６が指定される。

また、ソフトウェア表示領域３８内に表示される各アプリケーションソフトウェアは、互いに異なる機能を有するアプリケーションソフトウェアであってもよい。記録時に、互いに異なる機能を有する複数のアプリケーションソフトウェアが操作されてその操作が記録された場合、実行時には、互いに異なる機能を有する複数のアプリケーションソフトウェアが、記録された操作手順に従って実行される。この場合、互いに異なる機能を有する複数のアプリケーションソフトウェアが繋げられたように実行される。

以下、変形例について説明する。

（変形例１）
図３を参照して変形例１について説明する。図３は、変形例１に係る画面２４を示す図である。

変形例１では、タスクバー領域２８に、アプリケーションソフトに紐付く画像（例えばアイコン）が表示される。例えば、画像５２，５４，５６，５８が表示されている。画像５２，５４，５６，５８の間の相対的な表示位置関係が定められている。例えば、各画像の表示位置が固定されている。図３に示す例では、基準画像３６の表示位置から近い順に、画像５２，５４，５６，５８の順番で各画像が並んで表示されている。この表示位置関係は、例えば予め定められている。

記録部２２は、タスクバー領域２８内において操作された画像の表示位置に基づいて、操作されたアプリケーションソフトウェアを識別してその操作を記録する。上述した実施形態と同様に、記録部２２は、基準画像３６の表示位置を基準として、操作された画像が基準位置から何番目の画像に該当するのかを判定することで、操作された画像の表示位置を特定する。例えば、記録部２２は、基準位置から操作された画像までの画像の個数（操作された画像を含む個数）をカウントすることで、操作された画像が基準画像から何番目の画像に該当するのかを判定する。例えば、画像５２が記録者によって操作された場合、画像５２は、基準画像３６の表示位置から１番目の画像に該当するため、記録部２２は、その１番面の画像が操作されたことを記録する。以降の操作についても同様であり、記録部２２によって制御情報が生成される。

実行用装置に表示される画面には、図３に示されている画面２４と同様に、タスクバー領域２８内に画像５２，５４，５６，５８が表示されており、各画像の表示位置関係は、図３に示されている各画像の表示位置関係と同一であるとする。上述した実施形態と同様に、実行用装置の制御部１８は、制御情報に従って、記録時に操作されたアプリケーションソフトウェアを実行する。このとき、制御部１８は、タスクバー領域２８内の画像の表示位置に基づいて、記録時に実行されたアプリケーションソフトウェアを識別して実行する。

変形例１によれば、上述した実施形態と同様に、実行時の画面サイズや画面解像度が、記録時の画面サイズや画面解像度と異なる場合であっても、記録された操作手順に従ってアプリケーションソフトウェアが実行される。

（変形例２）
記録部２２は、記録時に操作されたアプリケーションソフトウェアの識別情報（ソフトウェア識別情報）に基づいて、その操作されたアプリケーションソフトウェアを識別して記録してもよい。変形例２では、ソフトウェア識別情報として、アプリケーションソフトウェアの名称やＩＤが用いられる。例えば図２に示す例において、画像４０が記録者によって指定された場合、記録部２２は、その画像４０に紐付くアプリケーションソフトウェアの名称やＩＤを示すソフトウェア識別情報を取得し、そのソフトウェア識別情報を含む制御情報を生成する。実行時には、実行用装置の制御部１８は、制御情報に含まれるソフトウェア識別情報を検索キーとして用いて、そのソフトウェア識別情報に紐付くアプリケーションソフトウェアを検索し、検索されたアプリケーションソフトウェアを実行する。

変形例２によれば、ソフトウェア識別情報に基づいて、記録時に実行されたアプリケーションソフトウェアが識別されるので、実行時の画面サイズや画面解像度が、記録時の画面サイズや画面解像度と異なる場合であっても、再生時において、記録時に実行されたアプリケーションソフトウェアが指定されて実行される。

（変形例３）
記録部２２は、基準画像３６の表示位置（基準位置）から、操作された画像（例えば画像４０）までの画素数をカウントすることで、操作されたアプリケーションソフトウェアを識別して記録してもよい。例えば図２に示す例において、画像４０が記録者によって指定された場合、記録部２２は、基準位置から画像４０までの画素数をカウントし、その画素数を含む制御情報を生成する。実行時には、実行用装置の制御部１８は、基準位置から制御情報に含まれる画素数の分、カーソル５０を移動させ、その移動先の画像を指定する。これにより、その画像に紐付くアプリケーションソフトウェアが実行される。

実行時の画面サイズや画面解像度が、記録時の画面サイズや画面解像度と同一の場合、実行時において、画素数に基づいて、記録時に実行されたアプリケーションソフトウェアが指定されて実行される。

また、記録部２２は、記録時の表示環境を示す情報（環境情報）を記録し、その環境情報を含む制御情報を生成してもよい。表示環境は、例えば画面サイズや画面解像度である。実行時には、実行用装置の制御部１８は、制御情報に含まれる環境情報が示す表示環境（記録時の画面サイズや画面解像度）と、実行時の表示環境（再生時の画面サイズや画面解像度）と、の差異に基づいて、記録時の画素数を変更し、その変更後の画素数に基づいて、カーソル５０を移動させる。例えば、実行時の画面サイズが記録時の画面サイズよりも大きい場合、実行用装置の制御部１８は、そのサイズの差の分、記録時の画素数を増大させ、基準位置から増大後の画素数の分、カーソル５０を移動させ、その移動先の画像を指定する。実行時の画面サイズが記録時の画面サイズよりも大きい場合、そのサイズの差異の分、ソフトウェア表示領域３８内の各画像の位置が変わっている。その差異の分、画素数を増大させ、増大後の画素数に従ってカーソル５０を移動させることで、記録時に指定されたアプリケーションソフトウェアが指定されて実行される。実行時の画面サイズが記録時の画面サイズよりも小さい場合や、実行時の画面解像度が記録時の画面解像度と異なる場合についても同様である。

（変形例４）
図４を参照して変形例４について説明する。図４は、変形例４に係る画面が示されている。画面２４は記録時の画面であり、画面６０は実行時の画面である。例えば、画面６０の表示環境（例えば、画面サイズや画面解像度）は、画面２４の表示環境とは異なる環境である。

変形例４では、記録部２２は、操作手順の記録時に、カーソル５０の動き（例えば、移動方向、移動量、指定位置）を記録する。また、記録部２２は、操作手順の記録時に、記録時の表示環境（例えば、画面サイズや画面解像度）を記録し、その表示環境を示す情報（環境情報）を含む制御情報を生成する。

実行時には、実行用装置の制御部１８は、記録されたカーソル５０の動きを再現することで、記録時に実行されたアプリケーションソフトウェアを指定して実行する。このとき、実行用装置の制御部１８は、制御情報に含まれる環境情報が示す表示環境（記録時の画面サイズや画面解像度）と、再生時の表示環境（再生時の画面サイズや画面解像度）と、の差異に基づいて、カーソル５０の指定位置を変える。例えば、記録時の画面解像度が「１３６６×７６８」であり、実行時の画面解像度が「１２８０×１０２４」であるとする。この場合、実行用装置の制御部１８は、その画面解像度の差の分、カーソル５０の指定位置を変えてカーソル５０を移動させ、その移動先の画像を指定する。実行時の画面サイズが記録時の画面サイズと異なる場合についても同様である。

変形例４によれば、例えば、ソフトウェア表示領域３８内において、上記の実施形態のように画像の数をカウントせずに、カーソル５０の動きに従って、記録時に実行されたアプリケーションソフトウェアを指定する場合であっても、記録時に実行されたアプリケーションソフトウェアが指定されて実行される。

なお、上述した実施形態及び変形例１－４において、記録部２２は、記録時の画面サイズを予め定められた画面サイズに固定した状態で、操作手順を記録してもよい。その予め定められた画面サイズは、例えば最大サイズである。また、実行時の画面サイズも、その予め定められた画面サイズ（例えば最大サイズ）に固定され、その状態で、制御情報に従ってアプリケーションソフトウェアが指定されて実行される。こうすることで、操作手順の記録に用いられる端末装置１０の画面の最大サイズと、実行用装置の画面の最大サイズと、が同一であれば、画面サイズが同一のサイズに設定された状態で操作手順の記録と再生が行われるので、画面サイズの差異に起因する画像の指定ずれの発生を防止できる。

また、記録部２２は、端末装置１０の表示装置に関する情報（記録時の表示装置に関する情報）を含む制御情報を生成してもよい。操作手順の記録に用いられる端末装置１０の表示装置と、実行用装置の表示装置（再生時の表示装置）と、が異なる場合、実行用装置の制御部１８は、記録時の表示装置に関する情報と、実行時の表示装置に関する情報と、の差異に応じて、再生時におけるカーソル５０の動きを調整してもよい。

（その他の実施形態）
図５を参照して、その他の実施形態として、制御情報の確認機能や編集機能について説明する。図５には、確認画面の一例が示されている。

確認者（例えば記録者、再生者、管理者、その他の者等）がＵＩ部１６を用いて制御情報の確認指示を与えると、表示制御部２０は、確認画面６２をＵＩ部１６の表示部に表示させ、その確認画面６２内に、確認対象として指定された制御情報を表示させる。

確認画面６２は、例えば、ジョブフロー表示領域６４と、操作内容表示領域６６と、結果表示領域６８と、を含む。

ジョブフロー表示領域６４には、記録された操作手順を模式的に表すジョブフローが表示される。例えば、記録時に実行されたアプリケーションソフトウェアに紐付く画像が、記録された操作手順の順番に並べて表示されており、この表示がジョブフローに相当する。例えば、画像７０，７２，７４，７６，７８の順番で各画像が並んで表示されている。各画像はアプリケーションソフトウェアに紐付く画像である。例えば、記録時において、最初に画像７０に紐付くアプリケーションソフトウェアが実行され、次に画像７２に紐付くアプリケーションソフトウェアが実行され、次に画像７４に紐付くアプリケーションソフトウェアが実行され、次に画像７６に紐付くアプリケーションソフトウェアが実行され、最後に画像７８に紐付くアプリケーションソフトウェアが実行されている。

ジョブフローに含まれる画像が指定された場合、表示制御部２０は、その画像に紐付くアプリケーションソフトウェアを使って操作手順の記録時に行われた操作内容を、操作内容表示領域６６内に表示させる。操作手順の記録時においては、操作内容が記録されて、その操作内容を示す情報を含む制御情報が生成される。表示制御部２０は、その制御情報に基づいて、操作内容を操作内容表示領域６６内に表示させる。例えば、画像７０に紐付くアプリケーションソフトウェアが表計算用のアプリケーションソフトウェアであり、画像７０が確認者によって指定された場合、表計算用のアプリケーションソフトウェアを使って操作手順の記録時に行われた操作内容が、操作内容表示領域６６内に表示される。図５に示す例では、表計算に用いられた表が表示され、その表内の一部の領域をカーソルによって指定する様子が動画像で表示される。このように、記録時の操作内容が動画像として表示される。また、表計算で得られた数値や計算結果等が、結果表示領域６８に表示される。

また、ジョブフローが編集されてもよい。例えば、確認者がＵＩ部１６を用いて、ジョブフローに含まれる各画像の並び順を変えた場合、記録部２２は、その変更後の並び順に従って操作手順を変更し、変更後の操作手順を示す制御情報を生成する。例えば、確認者が、画像７２と画像７４との間に画像７０を配置した場合、変更後の並び順は、画像７２，７０，７４，７６，７８となり、変更後の操作手順は、その並び順に従った順番となる。再生時には、その変更後の操作手順に従ってアプリケーションソフトウェアが実行される。

また、ジョブフローに含まれる画像が確認者によって削除された場合、記録部２２は、その削除された画像に紐付くアプリケーションソフトウェアに関する操作内容を示す情報を制御情報から削除してもよい。また、ジョブフローに新たな画像が確認者によって追加された場合、記録部２２は、その追加された画像に紐付くアプリケーションソフトウェアに使って行われた操作内容を示す情報を制御情報に追加してもよい。

以上のように、操作手順を模式的に表すジョブフローを表示することで、制御情報として記録された操作手順が視覚的に分かり易い態様でユーザに提供される。また、ジョブフローを編集することで操作手順が編集されるので、簡単な操作で操作手順を編集することができる。

なお、制御情報の確認作業は、端末装置１０以外の装置（例えば実行用装置、確認用装置、管理者用装置等）にて行われてもよい。この場合、その装置に確認画面６２が表示される。また、端末装置１０以外の装置に編集機能を備えさせた場合、その装置にて操作手順の編集が可能となる。

上記の端末装置１０は、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置１０は、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置１０の各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置１０の各部は、例えばプロセッサや電子回路やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置１０の各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。

１０ 端末装置、１２ 通信部、１４ 記憶部、１６ ＵＩ部、１８ 制御部、２０ 表示制御部、２２ 記録部。

Claims (17)

1. 複数のアプリケーションソフトウェアの一連の操作手順を記録し、前記操作手順に従って前記アプリケーションソフトウェアの操作を制御するための制御情報を生成する記録手段と、
   前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段と、
   前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段と、
   を有し、
   前記表示制御手段は、前記複数のアプリケーションソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示する、
   情報処理装置。
2. 前記表示制御手段は、前記アプリケーションソフトウェアに紐付く画像のいずれかが指定された場合、前記指定された画像に紐付くソフトウェアに対する操作手順の記録時に行われた操作内容を、前記画面上に表示する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記画面には、前記アプリケーションソフトウェアに紐付く画像の一覧が表示され、
   前記一覧の中の画像の表示位置に基づいて、操作されたアプリケーションソフトウェアが識別される、
   ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
4. アプリケーションソフトウェアの識別情報に基づいて、操作されたアプリケーションソフトウェアが識別される、
   ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
5. 前記画面上の画素数をカウントすることで、操作されたアプリケーションソフトウェアが識別される、
   ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
6. 予め定められた基準画像が指定された場合、各アプリケーションソフトウェア間の相対的な表示位置関係が定められた領域が表示され、前記領域内にアプリケーションソフトウェアの一覧が表示される、
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の情報処理装置。
7. 前記各アプリケーションソフトウェアは互いに異なる機能を有するソフトウェアである、
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記操作手順が記録された装置とは異なる装置にて、前記制御情報に従ってアプリケーションソフトウェアの操作が制御される、
   ことを特徴とする請求項１から請求項７のいずれか一項に記載の情報処理装置。
9. 前記制御情報に従ったアプリケーションソフトウェアの実行時に、前記制御情報に従ってアプリケーションソフトウェアの表示位置が指定されてアプリケーションソフトウェアが操作される、
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記操作手順の記録時の表示環境とアプリケーションソフトウェアの実行時の表示環境との差異に応じて、アプリケーションソフトウェアの実行時に指定される位置が変更される、
    ことを特徴とする請求項９に記載の情報処理装置。
11. 前記記録手段は、前記操作手順の記録時の表示環境を示す情報と前記操作手順とを共に記録する、
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 前記表示環境は、画面サイズ及び画面解像度の中の少なくとも１つである、
    ことを特徴とする請求項１０又は請求項１１に記載の情報処理装置。
13. 前記記録手段は、前記画面のサイズを予め定められたサイズに固定した状態で前記操作手順を記録する、
    ことを特徴とする請求項１から請求項１２のいずれか一項に記載の情報処理装置。
14. 前記予め定められたサイズは最大サイズである、
    ことを特徴とする請求項１３に記載の情報処理装置。
15. 前記表示制御手段は、前記画像が指定された場合、前記画像に紐付くソフトウェアを使って前記操作手順の記録時に行われた操作内容の表示を制御する、
    ことを特徴とする請求項１から請求項１４のいずれか一項に記載の情報処理装置。
16. 前記画面内における前記画像の並び順を変えることで、前記画像に紐付くソフトウェアの操作順が変更される、
    ことを特徴とする請求項１から請求項１５のいずれか一項に記載の情報処理装置。
17. コンピュータを、
    複数のアプリケーションソフトウェアの一連の操作手順を記録し、前記操作手順に従って前記アプリケーションソフトウェアの操作を制御するための制御情報を生成する記録手段、
    前記記録手段によって記録された前記操作手順を表示する画面の表示を制御する表示制御手段、
    前記表示制御手段によって表示された前記画面上で前記操作手順を編集することで前記制御情報を編集する編集手段、
    として機能させ、
    前記表示制御手段は、前記複数のアプリケーションソフトウェアに紐付く画像を前記操作手順の順番で並べて前記画面上に表示する、
    プログラム。
    

Images