JP7342906B2 - 自動採点プログラム、サーバ、自動採点方法及び自動採点システム - Google Patents

Description

本発明は、自動採点プログラム、サーバ、自動採点方法及び自動採点システムに関する。

近年、オンライン授業が導入されつつある。このようなオンライン授業では、試験等もオンラインで実施される。このようなオンラインで実施される試験等における自動採点を実施できるシステムも提案されてきている。

特開２０１９－６１１８９号公報

自動採点の精度の向上のためには、最終的に人による採点結果の確認が行われることが望ましい。ここで、自動採点においても所定の採点基準に基づいて部分点が与えられることがある。確認に際してはどのような採点基準で採点が行われたかをユーザが容易に把握できることが重要であると考えられる。

本発明は、自動採点の結果の確認を容易に行うことが可能な自動採点プログラム、サーバ、自動採点方法及び自動採点システムを提供することを目的とする。

本発明の第１の態様の自動採点プログラムは、設問に対する解答を含む情報の入力を受け付けることと、前記設問に対して予め設定された、前記解答に対する模範解答を含む評価項目に従って前記解答を採点することと、前記解答に対して合致した評価項目に応じて前記採点の結果を表示の上で区別する場合に、前記解答が前記模範解答と一致してはいないが等価であるときのみ区別することとをプロセッサに実行させる。

本発明によれば、自動採点の結果の確認を容易に行うことが可能な自動採点プログラム、サーバ、自動採点方法及び自動採点システムを提供することができる。

図１は、本発明の一実施形態に係るシステムの構成の一例を示す図である。 図２は、端末２０ａのウェブブラウザ上で動作するアプリケーションによる画面表示の一例を示す図である。 図３は、試験等のための解答用のペーパの作成時のシステムの動作の一例を示すシーケンス図である。 図４Ａは、ペーパに表示されるダイアログの一例を示す図である。 図４Ｂは、ペーパに表示されるダイアログの一例を示す図である。 図４Ｃは、ペーパに表示されるダイアログの一例を示す図である。 図５は、設問の解答時のシステムの動作の一例を示すシーケンス図である。 図６は、解答用のペーパが表示された状態の端末２０ｂの表示画面の一例を示す図である。 図７は、採点時の動作の一例を示すシーケンス図である。 図８は、自動採点時のサーバの処理の一例を示すフローチャートである。 図９は、自動採点結果のペーパが表示された状態の端末２０ａの表示画面の一例を示す図である。 図１０は、英語の自動採点結果のペーパが表示された状態の端末２０ａの表示画面の一例を示す図である。

本発明の一実施形態について図面を参照して説明する。図１は、本発明の一実施形態に係るシステム１の構成の一例を示す図である。システム１は、サーバ１０と、端末２０ａ、２０ｂとを含む。サーバ１０と端末２０ａ、２０ｂとは、ネットワーク３０を介して通信可能に接続される。ネットワーク３０は、例えばインターネットである。端末の台数は２台に限定されない。少なくとも１台の端末２０ａと、少なくとも１台の端末２０ｂがあればよい。

サーバ１０は、プロセッサ１１と、ＲＯＭ１２と、ＲＡＭ１３と、ストレージ１４と、通信装置１５とを有している。これらの各々は、システムバス１９を介して互いに接続されている。

プロセッサ１１は、ＣＰＵ（Central Processing Unit）等を含む集積回路であってよい。ＲＯＭ１２は、プロセッサ１１等の動作に用いられる情報を記録している。ＲＡＭ１３は、プロセッサ１１等の動作のための主記憶装置である。ストレージ１４には、プロセッサ１１で用いられるサーバ制御プログラム、各種演算を実行するための演算プログラム等の各種プログラム、パラメータ等が記憶されている。サーバ制御プログラムは、自動採点プログラムを含む。プロセッサ１１は、ストレージ１４に記憶されたプログラムに従ってサーバ１０の動作を制御する。プロセッサ１１として、ＣＰＵ以外のプロセッサ、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphic Processing unit）等が用いられてもよい。通信装置１５は、ネットワーク３０等の外部の通信ネットワークと通信するための回路を含む。

端末２０ａ、２０ｂは、パーソナルコンピュータ（ＰＣ）、タブレット端末、スマートフォン等の電子機器であってよい。また、端末２０ａ、２０ｂは、通信機能を備えた関数電卓等であってもよい。端末２０ａは、教師等の試験の採点者によって操作される端末である。端末２０ｂは、生徒等の試験の受験者によって操作される端末である。以下、端末２０ａと端末２０ｂとは同じ構成を有しているものとして、端末２０ａの構成を説明する。また、以下では必要に応じて、採点者が第１のユーザ、受験者が第２のユーザとして区別されることがある。

端末２０ａは、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、ストレージ２４と、入力装置２５と、表示装置２６と、通信装置２７とを有している。これらの各々は、システムバス２９を介して互いに接続されている。なお、端末２０ａと端末２０ｂとは必ずしも同じ構成を有してなくてもよい。

ＣＰＵ２１は、端末２０ａの各種動作を制御するプロセッサである。ＲＯＭ２２は、端末２０の起動プログラム等を記録している。ＲＡＭ２３は、ＣＰＵ２１等のための主記憶装置である。ストレージ２４には、ＣＰＵ２１で用いられる端末制御プログラム等の各種プログラム、パラメータ等が記憶されている。ＣＰＵ２１は、入力装置２５からの入力信号や通信装置２７による受信信号に応じて各種プログラムを実行することで端末２０ａの動作を制御する。各種プログラムは、不図示のウェブサーバからネットワーク３０、通信装置２７を介してストレージ２４にダウンロードされてもよい。通信装置２７は、ネットワーク３０等の外部の通信ネットワークと通信するための回路を含む。

入力装置２５は、キーボード、マウス、タッチパネル等を含む。入力装置２５を介したユーザの操作に応じて、そのユーザ操作の内容を示す信号がシステムバス２９を介してＣＰＵ２１に入力される。

表示装置２６は、液晶ディスプレイ、有機ＥＬディスプレイ等である。表示装置２６は、端末２０ａに一体的に設けられていてもよいし、端末２０ａとは別に設けられていてもよい。表示装置２６には、各種の画像が表示される。

一例では、ユーザは、端末２０ａで動作するウェブブラウザにおいてサーバ１０のアドレスを指定する。このとき、サーバ１０に記憶されているウェブアプリケーションのための表示画面が端末２０ａ上のウェブブラウザ上に表示される。この表示画面上での入力装置２５を介した操作に応じてサーバ１０へのリクエストが発行される。この操作は、例え端末２０ｂのユーザが受験した試験の採点に関わる操作を含む。サーバ１０は、リクエストに応じた処理を実行し、処理結果をレスポンスとして端末２０ａに返す。端末２０ａは、サーバ１０からのレスポンスに従ってユーザの操作に応じた表示等をする。このように、システム１では、端末２０ａのウェブブラウザ上で動作するプログラムとサーバ１０の演算プログラムとにより、試験等のためのウェブアプリケーションとしての機能が実現される。同様に、システム１では、端末２０ｂのウェブブラウザ上で動作するプログラムとサーバ１０の演算プログラムとにより、試験等のためのウェブアプリケーションとしての機能が実現される。

このようなウェブアプリケーションは、例えば、ＩＣＴ（Information and Communication Technology）化が進む学校教育の現場において、数学の授業等で活用され得る。

図２は、端末２０ａのウェブブラウザ上で動作するアプリケーションによる画面表示の一例を示す図である。

端末２０ａの表示装置２６に表示される画面２６ａは、上段エリア１００ａと、下段エリア１００ｂとを含む。上段エリア１００ａは、画面２６ａの上側に表示される。上段エリア１００ａは、下段エリア１００ｂに比べて細長いエリアである。上段エリア１００ａには、新規ペーパ作成アイコン１００ｃが表示される。また、上段エリア１００ａには、解答用紙作成ボタン１００ｄが表示される。下段エリア１００ｂは、画面２６ａ中の上段エリア１００ａよりも下側に配置されるエリアである。以下の説明においては、下段エリア１００ｂは、ペーパ１００とも称される。ペーパ１００には、種々の「付箋」１０１が表示され得る。付箋１０１は、ウェブアプリケーションに係る種々の情報を表示するための表示エリアである。例えば、付箋１０１は、数式を作成するための数式付箋、グラフを作成するためのグラフ付箋、表を作成するための表付箋、図形を作成するための図形付箋、コメントを作成するためのコメント付箋といったものを含む。付箋１０１は、フローティングオブジェクトであってよい。フローティングオブジェクトは、画面に表示されるオブジェクト（表示体）であって、ユーザ操作に応じて少なくとも表示位置を変更できるオブジェクトである。

本実施形態では、システム１は、白紙のペーパ１００から出発して、各種付箋を作成することが可能である。なお、端末２０ｂにおいても、端末２０ａと同様のペーパ１００が表示され得る。ただし、端末２０ｂのペーパ１００には、解答用紙作成ボタン１００ｄは、表示されなくてもよい。

以下、システム１における一連の処理の流れについて説明する。図３は、試験等のための解答用のペーパの作成時のシステム１の動作の一例を示すシーケンス図である。ここで、図３の処理に先立って、教師等の第１のユーザによって設問と設問に対する採点基準とが作成されているものとする。設問に対する採点基準は、採点基準情報ファイルとしてサーバ１０に記憶されている。採点基準情報ファイルは、採点基準情報を、ＪＳＯＮ形式、ＸＭＬ形式等のテキスト形式のデータとして含むファイルである。なお、以下では、数学の解答用のペーパの作成の例が説明される。

採点基準情報は、例えば「設問名」、「解答タイプ」、「模範解答」、「採点基準」、「コメント」といった情報を含む。「設問名」、「解答タイプ」、「模範解答」、「採点基準」、「コメント」は、設問毎に記憶され得る。例えば、設問が３問あれば、「設問名」、「解答タイプ」、「模範解答」、「採点基準」、「コメント」は３つずつ記憶され得る。

「設問名」は、設問の設問名を表す情報である。「設問名」は、同一の試験の中では設問毎にユニークに付けられる。「設問名」は、第１のユーザがテキストを入力することによって付けられてもよいし、幾つかの選択肢の中から第１のユーザによって選択されてもよい。

「解答タイプ」は、対応する設問の解答に利用できる付箋のタイプの情報である。例えば、数学の設問において「解答タイプ」が「数式」である場合、対応する設問に対する解答の際には数式付箋以外の付箋を使用することができないように設定される。

「模範解答」は、教師等の第１のユーザが想定する評価項目の情報の１つとしての模範解答の情報である。生徒等の第２のユーザの解答と「模範解答」に記述された模範解答とが一致しているとき、その解答は正答であると判定される。

「採点基準」は、自動採点の際の基準となる評価項目の情報である。具体的には、「採点基準」は、生徒等の第２のユーザの解答が模範解答と一致しているときに基準点として何点を与えるか、模範解答と一致してはいないが数学的に等価であるときには基準点から何点を減点するか、模範解答と一致してはおらず数学的にも等価ではないが加点すべきときに何点を加算するかといった評価項目の情報であり、教師等の第１のユーザによって自由に記述され得る。「数学的に等価」とは、模範解答と表現形式のみが異なるものの模範解答と同値であることを意味していて、模範解答以外の何れかの評価項目と合致している状態である。例えば、模範解答が「０．２５」という小数形式であるところ、第２のユーザによる解答が「１／４」という分数形式であったときには「数学的に等価」であると判定される。「採点基準」は、例えば予めウェブアプリケーションにおいて定義された解答が模範解答と数学的に等価であるか否かを評価するための評価式及び変数を組み合わせることで記述されてよい。また、「採点基準」として除外条件が記述されてもよい。除外条件と合致した解答については、模範解答と一致しておらず、また数学的に等価でもないと判定されてよい。「採点基準」において記述される情報の形式は、サーバ１０における自動採点に利用できる形式であれば特定の形式に限定されない。

「コメント」は、教師等によって追加されたコメントのテキスト情報である。「コメント」の入力は、省略されてもよい。

図３の処理は、端末２０ａからサーバ１０に対してウェブアプリケーションの起動のリクエストがされたときに開始される。なお、ウェブアプリケーションの起動のリクエストに際して、ＩＤ及びパスワードの入力等のログイン処理が行われてもよい。ウェブアプリケーションの起動のリクエストを受けて、サーバ１０は、初期画面のデータを含むウェブアプリケーションのプログラムを端末２０ａに送る。これを受けて、端末２０は、初期画面をウェブブラウザ上に表示する。初期画面では、ペーパ１００が作成されておらず、上段エリア１００ａに新規ペーパ作成アイコン１００ｃと解答用紙作成ボタン１００ｄとが表示されているだけの画面である。なお、図３の処理は、端末２０ａのＣＰＵ２１とサーバ１０のプロセッサ１１との連携によって実行される。

ステップＳ１において、教師等の解答用のペーパを作成する立場にある第１のユーザは、端末２０ａの入力装置２５を操作して、新規ペーパ作成アイコン１００ｃを選択する。ステップＳ２において、端末２０ａは、新規のペーパ１００の作成要求をサーバ１０に送信する。ステップＳ３において、サーバ１０は、新規のペーパ１００を作成し、端末２０ａに送信する。

ステップＳ４において、第１のユーザは、必要に応じて付箋を追加する操作をする。付箋の追加の操作は、例えば新規のペーパ１００に表示される図示しない付箋追加アイコンの選択操作、マウスの右クリックで表示されるメニューから付箋の追加の項目を選択する操作といった操作であり得る。付箋を追加した後、第１のユーザは、必要に応じて、付箋に設問の補足コメント等を記入する。ステップＳ５において、端末２０ａは、第１のユーザによって入力された付箋の情報をサーバ１０に送信する。サーバ１０は、付箋の情報をペーパ１００に関連付ける。付箋の情報は、例えばペーパ１００上での付箋の位置情報、付箋に記入されたテキスト等の情報といった情報を含む。ステップＳ４－Ｓ５の処理は、ステップＳ６において第１のユーザが解答用紙作成ボタン１００ｄを選択するまで繰り返されてよい。

ステップＳ６において、第１のユーザは、付箋に補足コメント等を記入し終えた後、入力装置２５を操作して、解答用紙作成ボタン１００ｄを選択する。ステップＳ７において、端末２０ａは、解答用紙作成要求をサーバ１０に送信する。ステップＳ８において、サーバ１０は、解答用のペーパの作成のためのダイアログを生成し、生成したダイアログを端末２０ａに送信する。端末２０ａは、受信したダイアログをペーパ１００の上に表示する。

図４Ａ、図４Ｂ、図４Ｃは、ペーパ１００に表示されるダイアログの一例である。サーバ１０から端末２０ａへは、まず、図４Ａに示す採点基準情報ファイルを選択させるためのダイアログが送信される。採点基準情報ファイルのためのダイアログ２０１は、ファイル名表示欄２０１ａと、選択ボタン２０１ｂと、キャンセルボタン２０１ｃと、次へボタン２０１ｄとを含む。ファイル名表示欄２０１ａは、現在の選択中の採点基準情報ファイルのファイル名が表示される表示欄である。選択ボタン２０１ｂは、採点基準情報ファイルの選択画面を表示させる操作を受け付けるためのボタンである。選択ボタン２０１ｂが選択されると、サーバ１０に記憶されている採点基準情報ファイルの一覧等が表示される。第１のユーザが所望の採点基準情報ファイルを選択すると、選択された採点基準情報ファイルのファイル名がファイル名表示欄２０１ａに表示される。キャンセルボタン２０１ｃは、採点基準情報ファイルの選択をキャンセルする操作を受け付けるためのボタンである。キャンセルボタン２０１ｃが選択されると、採点基準情報ファイルの選択がキャンセルされ、ダイアログ２０１の表示も終了される。次へボタン２０１ｄは、採点基準情報ファイルの選択を決定する操作を受け付けるためのボタンである。

ステップＳ９において、第１のユーザは、採点基準の設定をする。具体的には、第１のユーザは、ダイアログ２０１において採点基準情報ファイルを選択する。採点基準情報ファイルの選択後、第１のユーザは、次へボタン２０１ｄを選択する。ステップＳ１０において、端末２０ａは、選択された採点基準情報ファイルの情報、例えば採点基準情報ファイルのファイル名をサーバ１０に送信する。ステップＳ１１において、サーバ１０は、採点基準情報ファイルの情報に基づいてペーパ１００に採点基準情報を追加する。具体的には、サーバ１０は、ペーパ１００に、第１のユーザによって選択された採点基準情報ファイルを関連づける。その後、サーバ１０は、次の設定のためのダイアログを端末２０ａに送信する。端末２０ａは、受信したダイアログをペーパ１００の上に表示する。

サーバ１０から端末２０ａへは、図４Ｂに示す解答期限を設定させるためのダイアログが送信される。解答期限を設定させるためのダイアログ２０２は、解答期限表示欄２０２ａと、キャンセルボタン２０２ｂと、次へボタン２０２ｃとを含む。解答期限表示欄２０２ａは、現在の設定中の解答期限が表示される表示欄である。第１のユーザは、解答期限表示欄２０２ａを選択することで、解答期限を時分秒の単位も含めて設定し得る。解答期限の設定は、例えばテキストの入力又はカレンダー等からの選択によって行われてよい。キャンセルボタン２０２ｂは、解答期限の設定をキャンセルする操作を受け付けるためのボタンである。キャンセルボタン２０２ｂが選択されると、解答期限の設定がキャンセルされ、ダイアログ２０２の表示も終了される。この場合、採点基準情報ファイルの選択もキャンセルされてもよい。次へボタン２０２ｃは、解答期限の設定を決定する操作を受け付けるためのボタンである。

ステップＳ１２において、第１のユーザは、ダイアログ２０２において解答期限を設定する。解答期限の設定後、第１のユーザは、次へボタン２０２ｃを選択する。ステップＳ１３において、端末２０ａは、設定された解答期限の情報をサーバ１０に送信する。ステップＳ１４において、サーバ１０は、解答期限の情報をペーパ１００に追加する。具体的には、サーバ１０は、ペーパ１００に、解答期限の情報を関連づける。その後、サーバ１０は、ペーパ１００毎にユニークなＵＲＬを生成する。そして、サーバ１０は、生成したＵＲＬを含むダイアログを端末２０ａに送信する。端末２０ａは、受信したダイアログをペーパ１００の上に表示する。

サーバ１０から端末２０ａへは、図４Ｃに示す解答用のペーパの作成が完了した旨を通知するためのダイアログが送信される。解答用のペーパの作成が完了した旨を通知するダイアログ２０３は、ＵＲＬ表示欄２０３ａと、コピーボタン２０３ｂと、閉じるボタン２０３ｃとを含む。ＵＲＬ表示欄２０３ａは、解答用のペーパにアクセスするためのＵＲＬである。コピーボタン２０３ｂは、ＵＲＬ表示欄２０３ａに表示されているＵＲＬを表す文字列をコピーするためのボタンである。コピーボタン２０３ｂでコピーされた文字列は、例えば電子メールに貼り付けられ得る。この電子メールにより、生徒等の第２のユーザにＵＲＬが通知される。閉じるボタン２０３ｃは、ダイアログ２０３を閉じる操作を受け付けるためのボタンである。

ステップＳ１５において、第１のユーザは、ＵＲＬを確認し、必要に応じてＵＲＬをコピーして対応する第２のユーザの端末２０ｂに電子メールを配信する。電子メールの配信はサーバ１０によって行われてもよい。これらの処理の後、第１のユーザは、閉じるボタン２０３ｃを選択する。ステップＳ１６において、端末２０ａは、解答用のペーパの作成の処理の終了の通知をサーバ１０に送信する。これにより、サーバ１０は、処理の終了を認識する。なお、処理の終了に伴って、端末２０ａにおけるペーパ１００の表示も終了されてよい。

図５は、設問の解答時のシステム１の動作の一例を示すシーケンス図である。図５の処理は、端末２０ｂによってウェブブラウザが起動されたときに開始される。図５の処理は、端末２０ｂのＣＰＵ２１とサーバ１０のプロセッサ１１との連携によって主に実行される。

ステップＳ１０１において、生徒等の第２のユーザは、端末２０ｂを操作して予め電子メール等で教師等の第１のユーザから指定されたＵＲＬをウェブブラウザに入力する。ステップＳ１０２において、端末２０ｂは、入力されたＵＲＬに従ってサーバ１０にアクセスする。なお、アクセスに際してＩＤ及びパスワードの入力等のログイン処理が行われてもよい。

サーバ１０は、対応するＵＲＬのペーパのステータスがステータスエラーであるか否かを判定する。例えば、サーバ１０は、対応するＵＲＬのペーパにおいて設定された解答期限が過ぎていないか否かを判定する。また、サーバ１０は、対応するＵＲＬのペーパに対する第２のユーザの提出ステータスが「提出済み」であるか否かを判定する。後で説明するように、第２のユーザが設問に対して解答し、解答を「提出」すると、サーバ１０においてその第２のユーザの提出ステータスが「未提出」から「提出済み」に設定される。サーバ１０は、アクセスしてきた第２のユーザの提出ステータスを判定する。解答期限が過ぎている場合又は第２のユーザの提出ステータスが「提出済み」であるときには、サーバ１０は、ステータスエラーであると判定する。ステータスエラーと判定された場合には、ステップＳ１０３において、サーバ１０は、端末２０ｂに対してエラーを通知し、その後に処理を終了する。このエラーは、例えば対応するＵＲＬのペーパに対して解答ができない旨のメッセージを含む。一方、解答期限が過ぎておらず、また、第２のユーザの提出ステータスが「未提出」であるときには、サーバ１０は、ステータスエラーでないと判定する。ステータスエラーでないと判定された場合、ステップＳ１０４において、サーバ１０は、対応するＵＲＬのペーパを端末２０ｂに送信する。端末２０ｂは、受信されたペーパをウェブブラウザ上に表示する。

図６は、解答用のペーパ３００が表示された状態の端末２０ｂの表示画面の一例を示す図である。図２と同様に、端末２０ｂの表示装置２６に表示される画面は、上段エリア３００ａと、下段エリア３００ｂとを含む。上段エリア３００ａは上段エリア１００ａに対応しており、下段エリア３００ｂは下段エリア１００ｂに対応している。また、解答用のペーパ３００が表示される場合、上段エリア３００ａには、解答提出ボタン３００ｃが表示される。

解答用のペーパ３００には、第２のユーザにより、設問毎の付箋が追加され得る。第２のユーザは、解答の際に解答用の付箋を作成することができる。図６では、３つの付箋３０１、３０２、３０３が表示されている。つまり、図６では、第２のユーザが３つの付箋を作成したことが示されている。付箋３０１、３０２、３０３は、前述した数式付箋、グラフ付箋、表付箋、図形付箋といった中から第２のユーザによって選択されることで追加され得る。

ユーザは、数式を作成したり、グラフを作成したり、表を作成したり、図形を作成したりといった追加された付箋に応じた各種の入力をすることができる。また、ユーザは、数式の計算をサーバ１０に実行させることもできる。数式の計算結果は、設問に対する解答として例えば付箋の右下に表示される。また、それぞれの付箋３０１、３０２、３０３には、チェック欄３０１ａ、３０１ｂ、３０１ｃが設けられている。例えば、付箋３０３が選択されると、対応するチェック欄３０３ａにチェックが表示される。チェックが表示されるだけでなく、他の表示等によって、選択中の付箋と、選択中でない付箋とが区別されてよい。また、それぞれの付箋には、解答ラベルが付与され得る。第２のユーザが解答に設けられたドロップダウンリストを選択すると、対応する付箋に対して利用可能な設問名のリストが表示される。第２のユーザがリストから所望の設問名を選択することにより、付箋に解答ラベルが付与される。図６では、付箋３０１には解答ラベル３０１ｂが付与され、付箋３０２には解答ラベル３０２ｂが付与された例が示されている。ここで、設問名のリストにおいては、第２のユーザの作成した付箋と一致していない解答タイプの設問名は表示されない。例えば、数式付箋に対しては解答タイプが数式に設定されている設問名のみがリストにおいて表示される。したがって、付箋３０３には、解答タイプが数式に設定されている設問名が付与され得ない。

ステップＳ１０５において、第２のユーザは、設問に解答するためにペーパ３００に付箋を追加する。ステップＳ１０６において、端末２０ｂは、追加された付箋の情報をサーバ１０に送信する。サーバ１０は、付箋の情報を第２のユーザ毎にペーパ３００に関連付ける。付箋の情報は、例えばペーパ３００上でのそれぞれの付箋の識別情報、位置情報、付箋に記入された解答の情報といった情報を含む。ステップＳ１０７において、第２のユーザは、付箋に対して解答ラベルを付与する。ステップＳ１０８において、端末２０ｂは、解答ラベルの情報をサーバ１０に送信する。サーバ１０は、解答ラベルの情報を第２のユーザ毎の付箋の情報に関連付ける。解答ラベルの情報は、例えば解答ラベルが表す設問名の情報を含む。ステップＳ１０５－Ｓ１０８の処理は、ステップＳ１０９において第２のユーザが解答提出ボタン３００ｃを選択するまで繰り返されてよい。

第２のユーザは、付箋を作成して解答を記入し、さらに付箋に対して解答ラベルを付与する。そして、解答の提出を望むタイミングであるステップＳ１０９において、第２のユーザは、解答提出ボタン３００ｃを選択する。ステップＳ１１０において、端末２０ｂは、解答提出がされる旨の通知をサーバ１０に送信する。

サーバ１０は、解答提出がされる旨のペーパ３００と関連付けられている解答ラベルの情報を集計することによって、未解答の設問があるか否かを判定する。未解答の設問があると判定された場合、ステップＳ１１１において、サーバ１０は、警告用のダイアログを端末２０ｂに送信する。警告用のダイアログは、例えば未提出の解答があるがそのまま提出処理が継続されてもよいかを確認するメッセージを含む。また、警告用のダイアログは、解答の提出を継続する操作を受け付けるためのボタンと、解答の提出をキャンセルする操作を受け付けるためのボタンを有していてもよい。この場合、サーバ１０は、第２のユーザの入力装置２５の操作によって選択されたボタンに応じて、解答の提出の処理を継続するか又はキャンセルするかを判定してもよい。解答の提出の処理を継続すると判定された場合には、処理はステップＳ１１２に移行する。解答の提出の処理をキャンセルすると判定された場合には、処理はステップＳ１０５に戻る。また、未解答の設問がないと判定された場合も、処理はステップＳ１１２に移行する。

ステップＳ１１２において、サーバ１０は、解答の提出の要求をした端末２０ｂのユーザである第２のユーザのペーパ３００に対する提出ステータスを「提出済み」に変更する。そして、サーバ１０は、提出済みとされたペーパ３００と関連づけられる第２のユーザ毎にユニークなＵＲＬを生成する。そして、サーバ１０は、生成したＵＲＬを含むダイアログを端末２０ｂに送信する。端末２０ｂは、受信したダイアログをペーパ３００の上に表示する。なお、ステップＳ１１２の処理で端末２０ｂに表示されるダイアログは、図４Ｃに示したダイアログと同様であって、表示されるメッセージが解答の提出が完了した旨を示すメッセージである点だけが異なるダイアログであってよい。なお、第２のユーザは、ステップＳ１１２において送信されたＵＲＬを用いて自分の解答したペーパ３００を確認することができる。しかしながら、第２のユーザは、自分の解答したペーパ３００を編集することができないように制限される。

ステップＳ１１３において、サーバ１０は、ＵＲＬをコピーして第１のユーザの端末２０ａに電子メールを配信する。第１のユーザは、例えば採点のために、ステップＳ１１３において送信されたＵＲＬを用いて第２のユーザによって解答されたペーパ３００を確認することができる。

図７は、採点時の動作の一例を示すシーケンス図である。図７の処理は、端末２０ａによってウェブブラウザが起動されたときに開始される。図７の処理は、端末２０ａのＣＰＵ２１とサーバ１０のプロセッサ１１との連携によって主に実行される。

ステップＳ２０１において、教師等の第１のユーザは、端末２０ａを操作して予め電子メール等でサーバ１０から通知されたＵＲＬをウェブブラウザに入力する。ステップＳ２０２において、端末２０ａは、入力されたＵＲＬに従ってサーバ１０にアクセスする。なお、アクセスに際してＩＤ及びパスワードの入力等のログイン処理が行われてもよい。

ステップＳ２０２において、サーバ１０は、入力されたＵＲＬのペーパ３００を呼び出す。そして、サーバ１０は、ペーパ３００に関連付けられている付箋の情報から第２のユーザによる解答を抽出する。その後、サーバ１０は、第２のユーザによる解答とペーパ３００に関連付けられている採点基準情報とを比較して自動採点を実施する。自動採点の完了後、サーバ１０は、自動採点結果を含むペーパを端末２０ａに対して送信する。端末２０ａは、受信されたペーパをウェブブラウザ上に表示する。

図８は、自動採点時のサーバ１０の処理の一例を示すフローチャートである。ステップＳ３０１において、サーバ１０は、設問ラベルの順序に従って１つの解答を選択する。なお、設問ラベルに抜けがあるときには、サーバ１０は、その設問ラベルに対する採点を０点にする。

ステップＳ３０２において、サーバ１０は、設問ラベルの設問名と対応する設問名における基準点を採点基準情報から取得し、第２のユーザの対応する設問ラベルの点数に基準点を与える。前述のように、基準点は、第２のユーザによる解答が正答のときに与えられる点数である。

ステップＳ３０３において、サーバ１０は、選択した第２のユーザによる解答と対応する設問名における模範解答とが一致しているか否かを判定する。ステップＳ３０３において、第２のユーザによる解答と模範解答とが一致していると判定されたときには、処理はステップＳ３０４に移行する。ステップＳ３０３において、第２のユーザによる解答と模範解答とが一致していないと判定されたときには、処理はステップＳ３０５に移行する。

ステップＳ３０４において、サーバ１０は、対応する設問ラベルの付箋の背景色を「緑」に設定する。その後、処理はステップＳ３１０に移行する。背景色は、自動採点の結果として端末２０ａにおいて表示されるペーパに含まれる付箋の背景色である。背景色は、採点基準情報に基づく自動採点の結果に応じて変更される。つまり、第２のユーザによる解答が模範解答と一致しているときに、背景色は「緑」に設定される。なお、第２のユーザの対応する設問ラベルの点数としては、基準点がそのまま与えられる。

ステップＳ３０５において、サーバ１０は、採点基準情報に基づき、第２のユーザによる解答が模範解答と数学的に等価であるか否かを判定する。ここで、ステップＳ３０５において、第２のユーザによる解答が採点基準情報に記述された除外条件に合致しているときには、模範解答と数学的に等価でないと判定されてよい。ステップＳ３０５において、第２のユーザによる解答が模範解答と数学的に等価であると判定されたときには、処理はステップＳ３０６に移行する。ステップＳ３０５において、第２のユーザによる解答が模範解答と数学的に等価でないと判定されたときには、処理はステップＳ３０８に移行する。

ステップＳ３０６において、サーバ１０は、対応する設問ラベルの点数を採点基準の評価項目に応じて基準点から減点する。

ステップＳ３０７において、サーバ１０は、対応する設問ラベルの付箋の背景色を「黄」に設定する。その後、処理はステップＳ３１０に移行する。つまり、第２のユーザによる解答が模範解答と一致してはいないものの、数学的に等価であるときに、背景色は「黄」に設定される。

ステップＳ３０８において、サーバ１０は、対応する設問ラベルの点数を０点にする。なお、ステップＳ３０８において、サーバ１０は、採点基準の評価項目によっては、点数を０点から加点してもよい。

ステップＳ３０９において、サーバ１０は、対応する設問ラベルの付箋の背景色を「赤」に設定する。その後、処理はステップＳ３１０に移行する。つまり、第２のユーザによる解答が誤答であるときに、背景色は「赤」に設定される。

ステップＳ３１０において、サーバ１０は、自動採点を終了するか否かを判定する。例えば、すべての設問ラベルに対する採点が完了したときには、自動採点を終了すると判定される。ステップＳ３１０において、自動採点を終了しないと判定されたときには、処理はステップＳ３０１に戻る。ステップＳ３１０において、自動採点を終了すると判定されたときには、処理はステップＳ３１１に移行する。

ステップＳ３１１において、サーバ１０は、設問ラベル毎に与えられた点数の合計点を算出する。

ステップＳ３１２において、サーバ１０は、自動採点結果のペーパを作成する。その後、サーバ１０は、図８の処理を終了する。

図９は、自動採点結果のペーパ４００が表示された状態の端末２０ａの表示画面の一例を示す図である。端末２０ａの表示装置２６に表示される画面は、上段エリア４００ａと、下段エリア４００ｂとを含む。上段エリア４００ａは上段エリア１００ａに対応しており、下段エリア４００ｂは下段エリア１００ｂに対応している。また、自動採点結果のペーパ４００が表示される場合、上段エリア４００ａには、採点完了ボタン４００ｃが表示される。

自動採点結果のペーパ４００には、ユーザによって解答用のペーパ３００に追加された解答用の付箋と対応する付箋が表示される。図９では、３つの付箋４０１、４０２、４０３が表示されている。付箋４０１、４０２、４０３に表示される内容は、解答用のペーパ３００において追加された付箋と同じである。ただし、解答用の付箋とは異なり、付箋４０１、４０２、４０３は、内容を編集することができない付箋である。

ここで、付箋４０１、４０２、４０３には、背景色が設定されている。この背景色は、自動採点の結果に応じて設定される。前述したように、解答が模範解答と一致しているときには「緑」の背景色が、解答が模範解答と一致してはいないけれども模範解答と数学的に等価であるときには「黄」の背景色が、解答が模範解答と一致しておらずまた数学的にも等価でないときには「赤」の背景色が付箋に設定される。図９では、付箋４０１の背景色が「黄」であり、付箋４０２の背景色が「緑」であり、付箋４０３の背景色が「赤」である例が示されている。

さらに、自動採点の結果のペーパ４００には、採点基準付箋４０４が表示される。採点基準付箋４０４は、対応する解答用のペーパ３００と関連付けられている設問毎の採点基準の評価項目の一覧である。

採点基準付箋４０４は、模範解答４０４ａと、評価項目４０４ｂと、総合点４０４ｃとを含む。模範解答４０４ａは、対応する設問についての採点基準情報に記録された「模範解答」である。評価項目４０４ｂは、対応する設問についての採点基準情報に記録された「採点基準」の各評価項目を表すテキストである。合計点４０４ｃは、自動採点の結果として計算された設問毎の点数の合計点である。合計点４０４ｃに表示されている数値は、第１のユーザによって修正され得る。

採点基準付箋４０４においては、自動採点の結果に応じて模範解答４０４ａの箇所が色付けされる。例えば、解答が模範解答と一致しているときには模範解答４０４ａの箇所が「緑」で色付けされる。解答が模範解答とは一致していないけれども模範解答と数学的に等価であれば模範解答４０４ａの箇所が「黄」で色付けされる。例えば、模範解答以外の評価項目と合致していれば、数学的に等価であると判定される。解答が模範解答と一致しておらず、数学的に等価でもなければ模範解答４０４ａの箇所が「赤」で色付けされる。つまり、模範解答４０４ａの箇所は、付箋４０１、４０２、４０３の背景色と同じ色が付けられる。なお、ここで示した配色は一例であって適宜に変更され得る。

ここで、図７の説明に戻る。端末２０ａに図９で示したペーパ４００が表示された後のステップＳ２０４において、第１のユーザは、必要に応じて付箋を追加する操作をする。付箋を追加した後、第１のユーザは、必要に応じて、付箋にフィードバックコメント等を記入する。ステップＳ２０５において、端末２０ａは、第１のユーザによって入力された付箋の情報をサーバ１０に送信する。サーバ１０は、付箋の情報をペーパ４００に関連付ける。付箋の情報は、例えばペーパ４００上での付箋の位置情報、付箋に記入されたテキスト等の情報といった情報を含む。また、ステップＳ２０６において、第１のユーザは、自動採点の結果が自身の望むものでないときに、合計点４０４ｃを修正する。ステップＳ２０７において、端末２０ａは、第１のユーザによって修正された合計点の情報をサーバ１０に送信する。サーバ１０は、ペーパ３００に関連付けられた対応するユーザの合計点の情報を修正する。ステップＳ２０４－Ｓ２０５の処理は、ステップＳ２０６において第１のユーザが採点完了ボタン４００ｃを選択するまで繰り返されてよい。

第１のユーザは、採点結果が自分の望むものであるタイミングであるステップＳ２０８において、採点完了ボタン４００ｃを選択する。ステップＳ２０９において、端末２０ａは、採点の完了の通知をサーバ１０に送信する。これにより、サーバ１０は、処理の終了を認識する。なお、処理の終了に伴って、端末２０ａにおけるペーパ４００の表示も終了されてよい。また、採点が完了されたペーパ４００については編集ができないように設定されてもよい。

以上説明したように本実施形態によれば、生徒等の第２のユーザから提出された解答が予め定められた評価項目を含む採点基準情報に従って自動採点される。そして、自動採点の結果、解答がどの評価項目と合致しているかに応じて、模範解答と一致している解答と、模範解答と一致はしていないが模範解答と実質的に等価である解答と、模範解答とは一致しておらず実質的に等価でもない解答とが区別して表示される。これにより、教師等の第１のユーザは、それぞれの設問毎の自動採点がどのような採点基準に従って行われたのかを直感的に認識できる。特に、「黄」で色付けされた設問に関しては、模範解答と一致しているか否かという絶対的な基準ではなく、第１のユーザの採点の考え方に基づいて事前に作成された評価項目に基づいて採点がされている。したがって、教師等の第１のユーザは、主に、「黄」で色付けされた設問に対して重点的に確認すればよい。このようにして、第１のユーザの目視による自動採点の結果の確認の負担や確認のミスが軽減される。結果として、自動採点の質が向上する。

［変形例］
以下、実施形態の変形例を説明する。実施形態では、数学の設問に対する解答に対しての自動採点の例が説明されている。これに対し、実施形態の手法は、数学以外の各種の設問に対する解答の自動採点に対して適用され得る。図１０は、英語の自動採点結果のペーパ５００が表示された状態の端末２０ａの表示画面の一例を示す図である。端末２０ａの表示装置２６に表示される画面も、上段エリア５００ａと、下段エリア５００ｂとを含む。上段エリア５００ａは上段エリア１００ａに対応しており、下段エリア５００ｂは下段エリア１００ｂに対応している。また、自動採点結果のペーパ５００が表示される場合、上段エリア５００ａには、採点完了ボタン５００ｃが表示される。これらは、ペーパ４００と同様である。

自動採点結果のペーパ５００には、ユーザによって解答用のペーパ３００に追加された解答用の付箋と対応する付箋が表示される。図１０では、１つの付箋５０１が表示されている。この付箋は、ペーパ４００の付箋４０１、４０２、４０３と対応している。例えば、図１０は括弧内に意味的に正しい単語を正しい形で記入する問題である。

付箋５０１の背景色が自動採点の結果に応じて設定される。例えば、解答が模範解答と一致しているときには「緑」の背景色が、解答が模範解答と意味的には一致しているが表現形式に問題があるときには「黄」の背景色が、解答が模範解答と意味的に一致していないときには「赤」の背景色が付箋に設定される。表現形式の問題とは、図１０に示すような、「小文字で記載すべき単語に大文字が含まれている」、「動詞の形が異なっている」、「単語にスペルミスが含まれている」といった、模範解答と同等の意味が想定されるものの誤りを含む解答である。

また、変形例では、解答に対して合致した評価項目の箇所が色付けされる。例えば、図１０の例では、単語「assess」又は「measure」が模範解答とされているところ、「asessed」のようにスペルミスを含み、かつ、過去形で解答が記載された例が示されている。この場合、「動詞の形が異なれば－３点」の評価項目の箇所及び「スペルミスがあれば－１点」の評価項目の箇所がそれぞれ「黄」で色付けされる。このような色付けにより、第１のユーザは、どのような採点基準で採点が行われたかをより直感的に認識することができる。このような評価項目毎の色付けは、前述した図９の例において行われてもよい。また、図１０のように複数の評価項目に対して色付けがされる場合、これらの複数の評価項目に対して異なる色が付けられてもよい。

また、実施形態では、サーバ１０が第１のユーザによって作成された採点基準に従って自動採点を実施し、自動採点の結果に応じて解答に対して色付けをしている。これに対し、サーバ１０は、例えば第１のユーザによって作成された採点基準を学習した人工知能によって自動採点を実施してもよい。この場合も、サーバ１０は、自動採点結果に従って解答を表示の上で区別して表示する。

また、実施形態では、模範解答と一致している解答と、模範解答と一致してはいないものの実質的に等価である解答と、模範解答と一致しておらず実質的に等価でもない解答とで、付箋の背景色が色分けされている。しかしながら、模範解答と一致している解答と、模範解答と一致してはいないものの実質的に等価である解答と、模範解答と一致しておらず実質的に等価でもない解答とは、第１のユーザによる目視で区別できるように表示されればよい。例えば、付箋の枠の形を変える、付箋の枠の色を変える、枠の太さを変えるといったような表示がされてもよい。

また、実施形態では、模範解答と一致している解答と、模範解答と一致してはいないものの実質的に等価である解答と、模範解答と一致しておらず実質的に等価でもない解答とで、付箋の背景色が色分けされている。これに対し、模範解答と一致してはいないものの実質的に等価である解答のみ、付箋の背景色が色付けされてもよい。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本出願の出願当初の特許請求の範囲に記載された発明を付記する。
［１］ 設問に対する解答を含む情報の入力を受け付けることと、
前記設問に対して予め設定された１つ以上の評価項目に従って前記解答を採点することと、
前記解答に対して合致した評価項目に応じて前記採点の結果を表示の上で区別することと、
をプロセッサに実行させるための自動採点プログラム。
［２］ 前記評価項目は、前記解答に対する模範解答を含み、
前記表示の上で区別することは、前記解答が前記模範解答と一致しているときと、前記解答が前記模範解答と一致してはいないが等価であるときと、前記解答が前記模範解答と一致しておらず等価でもないときとで区別することを含む、
［１］に記載の自動採点プログラム。
［３］ 前記評価項目は、前記解答に対する模範解答を含み、
前記表示の上で区別することは、前記解答が前記模範解答と一致してはいないが等価であるときのみ区別することを含む、
［１］に記載の自動採点プログラム。
［４］ 前記表示の上で区別することは、前記解答が表示される箇所に対して表示の上での区別をすることを含む、
［１］－［３］の何れか１に記載の自動採点プログラム。
［５］ 前記表示の上で区別することは、前記解答に対して合致した評価項目の箇所に対して表示の上での区別をすることを含む、
［１］－［４］の何れか１に記載の自動採点プログラム。
［６］ 前記表示の上で区別することは、前記合致した評価項目に応じて前記採点の結果を色分けすることを含む、
［１］－［５］の何れか１に記載の自動採点プログラム。
［７］ 端末と通信できるサーバであって、
設問に対する解答を含む情報の入力を受け付け、
前記設問に対して予め設定された１つ以上の評価項目に従って前記解答を採点し、
前記解答に対して合致した評価項目に応じて前記採点の結果を表示の上で区別し、
前記採点の結果を前記端末に送信する、
ように構成されたプロセッサを具備するサーバ。
［８］ 自動採点システムによって実行される自動採点方法であって、
設問に対する解答を含む情報の入力を受け付けることと、
前記設問に対して予め設定された１つ以上の評価項目に従って前記解答を採点することと、
前記解答に対して合致した評価項目に応じて前記採点の結果を表示の上で区別することと、
を具備する自動採点方法。
［９］ 設問に対する解答を含む情報の入力を受け付け、
前記設問に対して予め設定された１つ以上の評価項目に従って前記解答を採点し、
前記解答に対して合致した評価項目に応じて前記採点の結果を表示の上で区別し、
前記採点の結果を送信する、
ように構成された第１のプロセッサを具備するサーバと、
前記サーバから送信された前記採点の結果を受信し、
前記受信した採点の結果を表示装置に表示する、
ように構成された第２のプロセッサを具備する端末と、
を有する自動採点システム。

１ システム、１０ サーバ、１１ プロセッサ、１２ ＲＯＭ、１３ ＲＡＭ、１４ ストレージ、１５ 通信装置、１９ システムバス、２０ａ，２０ｂ 端末、２１ ＣＰＵ、２２ ＲＯＭ、２３ ＲＡＭ、２４ ストレージ、２５ 入力装置、２６ 表示装置、２７ 通信装置、２９ システムバス、３０ ネットワーク。

Claims (5)

1. 設問に対する解答を含む情報の入力を受け付けることと、
   前記設問に対して予め設定された、前記解答に対する模範解答を含む評価項目に従って前記解答を採点することと、
   前記解答に対して合致した評価項目に応じて前記採点の結果を表示の上で区別する場合に、前記解答が前記模範解答と一致してはいないが等価であるときのみ区別することと、
   をプロセッサに実行させるための自動採点プログラム。
2. 前記表示の上で区別することは、
   前記解答が表示される箇所に対して表示の上での区別をする第１区別方法と、
   前記解答に対して合致した評価項目の箇所に対して表示の上での区別をする第２区別方法と、
   前記合致した評価項目に応じて前記採点の結果を色分けする第３区別方法と、
   のうちのいずれか複数の区別方法を含む、
   請求項１に記載の自動採点プログラム。
3. 端末と通信できるサーバであって、
   設問に対する解答を含む情報の入力を受け付け、
   前記設問に対して予め設定された評価項目であって、模範解答および採点基準を含む評価項目を取得し、
   前記解答を採点する場合に、前記解答と前記模範解答とが一致している場合に基準点に対応する点数を付与し、前記解答が正答ではないが前記解答が前記採点基準で示される条件であって、前記解答が前記模範解答と一致してはいないが等価である条件を満たす場合に前記基準点から減点した点数を付与し、
   前記解答に対して付与した点数に応じて前記採点の結果を区別して表示する場合に、前記解答が前記模範解答と一致してはいないが等価であることにより前記基準点から減点した点数が付与されているときのみ区別する、
   ように構成されたプロセッサを具備するサーバ。
4. 自動採点システムによって実行される自動採点方法であって、
   設問に対する解答を含む情報の入力を受け付けることと、
   前記設問に対して予め設定された評価項目であって、模範解答および採点基準を含む評価項目を取得することと、
   前記解答を採点する場合に、前記解答と前記模範解答とが一致している場合に基準点に対応する点数を付与し、前記解答が正答ではないが前記解答が前記採点基準で示される条件であって、前記解答が前記模範解答と一致してはいないが等価である条件を満たす場合に前記基準点から減点した点数を付与することと、
   前記解答に対して付与した点数に応じて前記採点の結果を表示の上で区別する場合に、前記解答が前記模範解答と一致してはいないが等価であることにより前記基準点から減点した点数が付与されているときのみ区別することと、
   を具備する自動採点方法。
5. 設問に対する解答を含む情報の入力を受け付け、
   前記設問に対して予め設定された評価項目であって、模範解答および採点基準を含む評価項目を取得し、
   前記解答を採点する場合に、前記解答と前記模範解答とが一致している場合に基準点に対応する点数を付与し、前記解答が正答ではないが前記解答が前記採点基準で示される条件であって、前記解答が前記模範解答と一致してはいないが等価である条件を満たす場合に前記基準点から減点した点数を付与し、
   前記解答に対して付与した点数を含む前記採点の結果を送信する、
   ように構成された第１のプロセッサを具備するサーバと、
   前記サーバから送信された前記採点の結果を受信し、
   前記受信した採点の結果を前記解答に対して付与された点数に応じて表示の上で区別して表示装置に表示する場合に、前記解答が前記模範解答と一致してはいないが等価であることにより前記基準点から減点した点数が付与されているときのみ区別する、
   ように構成された第２のプロセッサを具備する端末と、
   を有する自動採点システム。