JP6923729B2 - 平均差戻し率を用いた作業者熟練度測定方法及び装置 - Google Patents

Description

本発明は、平均差戻し率を用いた作業者熟練度測定方法及び装置に関する。

近年、企業活動の一部の過程に一般大衆を参加させるクラウドソーシングに基づいて、多量のデータを収集及び加工する企業が増えている。即ち、企業は、１つのプロジェクトをオープンして、一般大衆、即ち作業者が、該当プロジェクトに参加するようにすることにより、作業者によって完了した作業結果を通じて、必要な情報を収集することとなる。

具体的に、企業は、プロジェクトをオープンすると、該当プロジェクトの類型及び難易度などに応じて、適した作業者を選別し、作業を割り当てる。

この際、企業は、作業者が完了した作業件数を基準として、作業者を選別する。即ち、作業者の作業完了件数が多いほど、熟練度の高い作業者と判断され、該当作業者には、より多くの作業に参加できる機会が与えられる。

しかし、単に作業完了件数を基準として作業者の熟練度を判断することは、作業者の実質的な作業能力を全く考慮せずに判断するのであるため、作業者の実際の熟練度を反映できない。

即ち、作業者が実質的な作業能力が低いにも拘らず、作業完了件数が多いという理由により、該当作業者に多くの作業が割り当てられるという問題があり、また、該当作業者の作業能力よりも高い水準の作業能力が要求される作業が割り当てられるために、差し戻される作業の数が増加し、これによりプロジェクトの遂行期間が引き延ばされ、差戻しコスト（検収コスト）が増加するという問題がある。

韓国公開特許第１０-２０１４-００９５９５６号公報（２０１４.０８.０４.）

本発明は上記事情に鑑みてなされたものであって、その目的は、作業者の差戻し率と平均差戻し率とを比較することによって、作業者の作業熟練度を判断できる、平均差戻し率を用いた作業者熟練度測定の方法及び装置を提供することにある。

本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるであろう。

前述した課題を解決するための本発明の一側面による平均差戻し率を用いた作業者熟練度測定方法は、１つのプロジェクトに対するクラウドソーシング基盤の作業を複数の作業者に付与し、複数の作業者から作業結果の入力を受ける段階と、前記複数の作業者から入力された前記作業結果を複数の検収者が検収するようにし、前記複数の検収者から検収結果の入力を受ける段階と、前記検収結果を基に前記作業者の熟練度を測定する段階とを含み、前記作業者の熟練度を測定する段階は、前記作業者の検収合格（通過）数量に相応する作業点数と、差戻し数量に相応する差戻し点数との差を用いて、前記作業者の熟練度を測定し、前記差戻し点数は、前記作業者の作業数量が前記予め定められた熟練時点の数量を超える前には、前記差戻し点数の算出時に加重値を適用せず、前記作業者の作業数量が前記予め定められた熟練時点の数量を超えた後には、前記差戻し点数の算出時に平均差戻し率に基づいた加重値を適用して算出されることを特徴とする。

本発明の一実施例において、前記熟練時点の数量は、上位熟練度の作業者、中位熟練度の作業者、及び、下位熟練度の作業者を均等に選別して行ったパイロットプロジェクトによって導き出されうる。

本発明の一実施例において、前記作業者の作業数量が、前記予め定められた熟練時点の数量を超えた後に、前記作業者の差戻し率が前記平均差戻し率よりも大きいと、１よりも大きな第１の値の加重値を適用して前記差戻し点数を算出し、前記作業者の差戻し率が前記平均差戻し率よりも小さいと、１よりも小さな第２の値の加重値を適用して前記差戻し点数を算出することができる。

本発明の一実施例において、前記作業者の作業数量が、前記予め定められた熟練時点の数量を超えた後、前記作業者の差戻し率が前記平均差戻し率よりも大きいと、差戻し数量全体（ａ）のうち平均差戻し数量（ｂ）に相応する数量（ｂ）と関連しては加重値を適用せず、前記平均差戻し数量（ｂ）を超える残りの数量（ａ-ｂ）と関連して前記第１の値の加重値を適用して前記差戻し点数を算出できる。

本発明の一実施例において、前記作業者の作業数量が前記予め定められた熟練時点の数量を超えた後、前記作業者の差戻し率が前記平均差戻し率よりも小さいと、差戻し数量全体（ｃ）のうち平均差戻し数量（ｂ）に満たない数量（ｂ-ｃ）と関連して前記第２の値の加重値を適用し、残りの数量（ｃ-（ｂ-ｃ））と関連しては加重値を適用せず、前記差戻し点数を算出できる。

本発明の一実施例において、前記作業点数は、検収の通過時に前記作業者に支払う作業コストを用いて算出できる。

本発明の一実施例において、前記差戻し点数は差戻し時に発生する差戻しコストを用いて算出できる。

本発明の一実施例において、前記作業者の熟練度の測定結果を用いて予め定められた等級以上の熟練度が要求される他のプロジェクトに対するクラウドソーシング基盤の作業の機会を付与できる。

前述した課題を解決するための本発明の他の側面によるコンピュータプログラムは、ハードウェアであるコンピュータと結合されて前記平均差戻し率を用いた作業者熟練度測定方法を実行し、媒体に格納される。

前述した課題を解決するための本発明の他の側面による平均差戻し率を用いた作業者熟練度測定装置は、１つのプロジェクトに対するクラウドソーシング基盤の作業を複数の作業者に送信し、前記複数の作業者から作業結果を受信し、前記複数の作業者から入力された前記作業結果を複数の検収者が検収できるように前記複数の検収者に送信し、前記複数の検収者から検収結果を受信する通信部と、前記検収結果を基に作業者の検収通過数量に相応する作業点数を算出し、差戻し数量に相応する差戻し点数を算出し、前記作業点数と前記差戻し点数との差を用いて前記作業者の熟練度を算出する算出部とを含み、前記算出部は前記差戻し点数の算出時、前記作業者の作業数量が予め定められた熟練時点の数量を超える前には加重値を適用せず、前記作業者の作業数量が前記予め定められた熟練時点の数量を超えた後には平均差戻し率に基づいた加重値を適用して算出することを特徴とする。

本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。

前記のような本発明の平均差戻し率を用いた作業者熟練度測定方法及び装置によれば、作業者の差戻し率と平均差戻し率とを比較することによって、作業者の熟練度を測定するので、作業者の作業能力が正確に反映された熟練度を測定でき、これにより作業者に作業を割り当てるとき、作業者の作業能力に適した水準の作業を効率的に割り当てることができる。

また、作業者の差戻し率を用いて熟練度を測定するため、検収を通過した作業数量が同一であっても差戻し率が高い作業者は差戻し率の低い作業者よりも熟練度が低く測定され得る。これにより、作業者は作業が差し戻されないように、より慎重に作業を行うことによって作業の品質が向上し得る。

更に、差し戻される作業の数が減少することによって、プロジェクトが定められた期間内に終了でき、差戻しコスト（検収コスト）を低減できる。

本発明の効果は、以上で言及した効果に限らず、言及されていない他の効果は、以下の記載から通常の技術者が明確に理解できるであろう。

本発明の一実施例によるクラウドソーシングサービスの概念図である。 本発明の一実施例によるクラウドソーシング基盤のプロジェクトの進行プロセスを説明するフローチャートである。 本発明の一実施例による平均差戻し率を用いた作業者熟練度測定方法のフローチャートである。 本発明の一実施例による作業者熟練度の測定時、作業者の作業数量及び差戻し率によって異なる差戻し点数算出方法のフローチャートである。 本発明の一実施例によるパイロットプロジェクトによって導き出される熟練時点の数量を説明するグラフである。 本発明の一実施例による平均差戻し率を用いた作業者熟練度測定装置のブロック図である。

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は請求範囲の範疇により定義されるに過ぎない。

本明細書で用いられる用語は実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のそれぞれ及び１つ以上のあらゆる組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素はこれらの用語により制限されないのはもちろんである。これらの用語は単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素であることもできるのは言うまでもない。

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般的に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

以下、添付の図面を参照して本発明の実施例を詳細に説明する。

図１は、本発明の一実施例によるクラウドソーシングサービスの概念図である。

図１を参照すれば、クラウドソーシングサービスは依頼者１０、サービス提供業者２０及び大衆３０で構成されて行われる。

依頼者１０は、クラウドソーシング基盤のプロジェクト（以下、プロジェクト）を依頼する企業や個人を意味する。

依頼者１０は、ソースデータの収集又はデータアノテーションなどを目的にプロジェクトを依頼する。ソースデータの収集は、録音された音声の収集、写真の収集など、加工されないデータを収集することを意味する。データアノテーションは、テキスト、写真、ビデオなどのソースデータに関連の注釈データを入力することを意味する。例えば、データアノテーションには、与えられたテキストから個体を探すこと、類似する文章を探すことなどがあり得るが、これに制限されない。

サービス提供業者２０は、クラウドソーシングサービスを提供する企業を意味する。

サービス提供業者２０は、依頼者１０から製品又はサービスに対するプロジェクトの依頼を受けると、該当プロジェクトに対する作業を一般の大衆３０に割り当てて大衆３０から作業結果の提供を受ける。その後、作業結果を基にして抽出されたアウトプット（最終プロダクト）を依頼者１０に提供する。

この際、サービス提供業者２０は、クラウドソーシングプラットホーム（以下、プラットホーム）を介して依頼者１０及び大衆３０にクラウドソーシングサービスを提供する。即ち、サービス提供業者２０は、依頼者１０からプロジェクトの依頼を受けると、プラットホームにプロジェクトをオープンする。その後、大衆３０からオープンされたプロジェクトに対する作業結果の提供を受けると、該当プロジェクトをプラットホーム上で終了し、アウトプット（最終プロダクト）を抽出して依頼者１０に提供できる。

大衆３０は、プラットホームにオープンされたプロジェクトに参加する一般大衆を意味する。ここで、大衆３０は、サービス提供業者２０が提供するアプリケーション又はウェブサイトなどを介して、プラットホームにオープンされたプロジェクトに参加できる。

大衆３０は、作業者３２及び検収者３４で構成される。

作業者３２は、プラットホームにオープンされた複数のプロジェクトのうちの特定プロジェクトへの参加を決定する。その後、作業者３２は、ソースデータの収集又はデータアノテーションなどの作業を行い、これをプラットホームに送る。

検収者３４は、プラットホームにオープンされた複数のプロジェクトのうちの特定プロジェクトへの参加を決定する。その後、検収者３４は、作業者３２が行った作業結果に対する検収を行う。検収者３４は、検収遂行の結果として、作業の合格認定（通過）又は差戻しを行うことができ、作業を差し戻す際に、差戻しの事由を入力できる。

図２は、本発明の一実施例に係るクラウドソーシング基盤のプロジェクトについての進行プロセスを説明するフローチャートである。

まず、依頼者１０がサービス提供業者２０にプロジェクトを依頼する（Ｓ４１）。

その後、サービス提供業者２０は、依頼されたプロジェクトをプラットホーム上にオープンする（Ｓ４２）。この際、サービス提供業者２０は、プロジェクトのオープン前に、該当プロジェクトの難易度などを考慮して等級を決定する。即ち、難易度に応じて、どのような等級以上の大衆３０に、該当プロジェクトを露出させるかを決定する。これにより、プロジェクトの作業結果の信頼度を高めることができる。

また、サービス提供業者２０は、プロジェクトを正式にオープンする前に、パイロットプロジェクトをオープンできる。パイロットプロジェクトは、正式にプロジェクトをオープンする前に、プロジェクトの進行に問題がないか、作業ガイドにない例外状況はないか、依頼者１０が所望する品質がどの程度であるかなどを確認するか、又は、正式にプロジェクトを行ったり評価したりするために必要なデータを得るためのものである。

その後、サービス提供業者２０は、プロジェクトの等級に応じて該当等級以上の作業者３２に作業を割り当てる（Ｓ４３）。

その後、作業者３２は、割り当てられた作業を行う（Ｓ４４）。このとき、作業者３２は、何らかの理由により作業自体が不可能な作業に対しては、作業を行わず、作業不可である事由を入力することができる。

その後、サービス提供業者２０は、作業者３２から作業結果の提供を受け（Ｓ４５）、該当作業結果に対する検収作業を検収者３４に割り当てる（Ｓ４６）。

その後、検収者３４は、割り当てられた検収を行う（Ｓ４７）。このとき、検収者３４は、作業が正常に行われたものと判断すれば、検収通過を決定し、検収により、作業が誤ったものと判断すれば、差戻しを決定する。差戻しの決定時、検収者３４は、如何なる理由により、作業が誤ったものであると判断したかについての差戻しの事由を入力する。

その後、サービス提供業者２０は、検収者３４から検収結果の提供を受ける（Ｓ４８）。

検収結果が合格認定（通過）である場合、サービス提供業者２０は、該当作業の結果を有効なデータとして用いて、これを基にして、プロジェクトの終了時にアウトプット（最終プロダクト）を抽出する。

検収結果が差戻しである場合、サービス提供業者２０は内部的に検収を再び行うか、作業者３２に再び作業を割り当てて作業を行うようにすることもできる。

その後、サービス提供業者２０は、プロジェクト期間が終了するか、十分な有効データを確保することとなると、該当プロジェクトを終了し（Ｓ４９）、確保された有効データに基づき、最終の結果物を算出して依頼者１０に提供する（Ｓ５０）。

このとき、プロジェクトの終了前にサービス提供業者２０は、作業者３２及び検収者３４の遂行結果を評価し、評価に応じて作業コスト及び検収コストを算出し、作業者３２及び検収者３４に支払う。

図１及び図２では、単に、依頼者、サービス提供業者、作業者、検収者と表現したが、これらは各参加者によって運用される、スマートフォン、タブレットPC、ＰＤＡ、ラップトップPC、デスクトップPC、サーバなどといったコンピュータ装置又は電気通信装置を意味する。

図３は、本発明の一実施例による、平均差戻し率を用いた作業者熟練度測定方法についてのフローチャートであり、図４は、本発明の一実施例による、作業者の熟練度の測定時、作業者の作業数量及び差戻し率に応じて相違する差戻し点数の算出方法についてのフローチャートであり、図５は、本発明の一実施例による、パイロットプロジェクトによって導き出される、熟練時点の作業数量について説明するグラフである。

図３に示された段階は、サービス提供業者２０によって運用される、プラットホームサーバ（以下、サーバ）により行われるものと理解され得るが、これに制限されるものではない。

図３を参照すれば、段階Ｓ１１０にて、サーバは、１つのプロジェクトに対するクラウドソーシング基盤の作業を、複数の作業者３２に付与し、複数の作業者３２から作業結果の入力を受ける。

サーバは、プロジェクトへ参加する、複数の作業者３２により行われた、複数の作業結果の提供を受ける。ここで、１つのプロジェクトには複数の作業が含まれるが、複数の作業は、種類に応じて複数のタスクにグループ化することができ、又は、それぞれの作業が互いに異なる種類の作業であってもよく、同一の種類の作業であってもよいが、これに制限されるものではない。

即ち、各作業者３２は、１つのプロジェクトに参加することになると、複数の作業を割り当てられて遂行することとなる。

その後、作業者３２は、検収者３４による検収を通過した作業に対しては、ポイントを貰う。即ち、作業者３２は、作業完了（検収通過）に起因して作業完了までに発生する作業コストを用いて算出される作業点数だけのポイントを貰う。

反面、作業者３２は、検収者３４により検収を通過できず、差し戻された作業に対してはペナルティを受けることになり、差し戻された作業を再び割り当てられて、再び作業しなければならない。即ち、作業者は、差戻しに起因して発生する差戻しコストを用いて算出される差戻し点数を、ペナルティとして受け取ることになる。

ここで、作業者３２は、所定の端末装置を用いて作業を行う。作業者３２の端末装置は、スマートフォン、タブレットPC、ＰＤＡ、ラップトップPC、デスクトップPCなどといったコンピュータ装置又は電気通信装置であり得るが、これに制限されるものではない。

次に、段階Ｓ１２０にて、サーバは、複数の作業者３２から入力された作業結果を複数の検収者３４が検収するようにし、その後、複数の検収者３４から検収結果の入力を受ける。即ち、各検収者３４は、１つのプロジェクトに参加すると、複数の作業者３２から行われた作業が、正常に行われたか否かを判断する。

仮に、作業が誤って行われたものと判断されると、検収者３４は該当作業を差し戻す。このとき、検収者３４は、差戻しの事由を共に入力して作業者３２が該当作業の再作業を行う際に参考できるようにする。

検収者３４は検収を行う毎にポイントを貰うが、この際に検収者３４に提供されるポイントは、作業者３２が、差し戻された作業に対して受けるペナルティに相応する。

ここで、検収者３４は、所定の端末装置を用いて作業を行う。検収者３４の端末装置はスマートフォン、タブレット、ＰＤＡ、ラップトップ、デスクトップなどといったコンピュータ装置又は電気通信装置であり得るが、これに制限されるものではない。

次に、段階Ｓ１３０にて、サーバは、検収結果を基にして作業者３２の熟練度を測定する。

サーバは、作業者３２が行った作業のうちで検収を通過した作業の数量（以下、検収通過数量）に相応する作業点数と、作業者３２が行った作業のうちで差し戻された作業の数量（以下、差戻し数量）に相応する差戻し点数とを用いて、作業者３２の熟練度を測定する。

具体的に、サーバは、各作業者３２における作業点数から差戻し点数を引いた差の値を用いて、作業者の熟練度を測定する。このとき、差の値が大きいほど、作業者の熟練度は高いものと測定される。

従って、作業者の作業能力に十分に符合するように熟練度を測定するためには、差戻し点数を正確に算出することが重要である。即ち、サーバは、作業者の作業数量に対する、差し戻される作業数量の割合に応じて、差戻し点数を互に異なるように算出することによって、作業者の熟練度を正確に測定することができる。

以下、図４を参照して、場合によって相異なる差戻し点数が算出されることを説明する。

段階Ｓ２１０にて、サーバは、作業者の作業点数を算出する。

作業点数は、上述したように、作業者３２が行った作業のうちで検収を通過した作業の数量（以下、検収通過数量）に相応するものである。具体的に、作業点数は、検収通過数量に作業単価をかけた値を意味する。この値は作業が完了（検収通過）した場合、作業者３２に提供されるポイントと同一である。

例えば、特定作業者３２の検収通過数量が３００個であり、作業単価が５０ウォンである場合、作業者の作業点数は１５，０００点であり、作業者３２はサーバから１５，０００ポイントを貰う。

次に、段階Ｓ２２０にて、サーバは、作業者３２の作業の数量と熟練時点の数量とを比較する。ここで、作業者３２の作業の数量は、作業者３２がプロジェクトに参加して行った作業のうちで検収通過した作業の数量を示す。熟練時点の数量は、プロジェクトがオープンされ、作業者３２がある程度作業を行った後、作業を行う上で熟練し始める基準値であって、サーバにより予め定められる。

具体的に、サーバは、パイロットプロジェクトによって熟練時点の数量を導き出すことができる。サーバは、以前に行われていたプロジェクトの中からの、現在進行中のプロジェクトと類似するプロジェクトを基準として、作業者３２を選別する。

即ち、サーバは、以前の類似するプロジェクトによって測定された熟練度を基準として、上位熟練度の作業者、中位熟練度の作業者、及び下位熟練度の作業者を、均等に分かれるように選別する。このように選別された上位熟練度の作業者、中位熟練度の作業者、下位熟練度の作業者は、パイロットプロジェクトに参加して作業を行う。

この際、サーバは、パイロットプロジェクトに参加する作業者３２の人数について、正式にプロジェクトに参加する作業者３２の人数と同一となるように選別してもよく、又は、正式にプロジェクトに参加する作業者３２の人数のうちの所定のパーセントだけを選別してもよい。

図５を参照すれば、サーバは、パイロットプロジェクトにおける平均検収完了率が急激に高くなり、平均差戻し率が急激に低くなる作業の数量を、熟練時点の数量として定めることができる。図５の具体例では、平均差戻し率の曲線と、平均検収完了率の曲線とが交差するより少し前（例えば、交差する際の数量より５〜２０％少ない数量の時点）を熟練時点としたが、交差する箇所またはその近傍とすることもできる。

また、図４を参照すれば、段階Ｓ２３０にて、サーバは、作業者３２の作業の数量が熟練時点の数量よりも小さい場合、即ち、作業者３２の作業の数量が熟練時点の数量を超える前には、加重値を適用しない差戻し点数を算出する。

作業者毎における個人差及び経験差によって、作業初期の作業能力には大きな差があり得る。また、作業初期に、作業ガイドに対する解釈によって作業を誤って行う恐れもある。

従って、サーバは、熟練時点の数量よりも小さな作業数量に対しては、加重値を適用せずに、差戻し点数を算出する。例えば、プロジェクトの序盤にて特定作業者３２の作業の数量（検収通過数量）が３００個であり、熟練時点の数量が５００個であるならば、サーバは、作業の数量が熟練時点の数量を超えないものと判断して、加重値を適用せずに差戻し点数を算出する。

具体的に、サーバは、作業者の作業の数量が熟練時点の数量よりも小さい場合、差戻し作業数量（ａ）に差戻し単価（ｕ）をかけることによって差戻し点数を算出する。

例えば、特定作業者３２の作業数量（検収通過数量）３００個のうち差し戻された作業の数量が２００個であり、差戻し単価が２０ウォンである場合、該当作業者３２の差戻し点数は４、０００点である。

反面、サーバは作業者３２の作業数量が熟練時点の数量よりも大きい場合、即ち、作業者３２の作業数量が熟練時点の数量を超えた後には加重値を適用した差戻し点数を算出する。このとき、加重値は平均差戻し率に基づいて決定される。

平均差戻し率は、パイロットプロジェクトによって算出される。図５を参照すれば、サーバは、パイロットプロジェクトによって、作業数量ごとに平均差戻し率を算出するのであり、算出された平均差戻し率は、熟練時点の数量の以降から急激に低くなる。

また、図４を参照すれば、段階Ｓ２４０にて、サーバは、作業者の作業の数量が熟練時点の数量を超えた場合、作業者の差戻し率と、パイロットプロジェクトによって算出された平均差戻し率とを比較する。

具体的に、作業者３２が完了（検収通過）した作業の数量が７０個であり、熟練時点の数量が３０個である場合、サーバは、７０個の作業数量での作業者の差戻し率と、平均差戻し率とを比較する。

一実施例として、正式プロジェクトに参加中の作業者３２が等級の低い作業者である場合、サーバは、パイロットプロジェクトに参加した下位熟練度の作業者の作業結果だけで比較を行うことができる。

即ち、サーバは、作業の遂行経験が特にないか、等級の低い作業者３２の差戻し率と、パイロットプロジェクトに参加した下位熟練度の作業者の平均差戻し率とを比較することによって、等級の低い作業者３２には、比較基準を若干下げることができる。

次に、段階Ｓ２５０にて、作業者の差戻し率が平均差戻し率よりも大きい場合、サーバは、第１の値の加重値を適用して差戻し点数を算出する。ここで、第１の値は１よりも大きな値（例えば、２）である。

即ち、サーバは、熟練時点の数量を超えた作業数量にて、平均差戻し率よりも作業者の差戻し率が高い場合、平均差戻し数量よりも多い差戻し数量に、２倍の加重値を適用して差戻し点数を算出する。

具体的に、下記の［数式１］を参照すれば、サーバは、作業者の差戻し数量の全体（ａ）のうちで、平均差戻し数量（ｂ）に相応する数量（ｂ）に関連しては加重値を適用せず、平均差戻し数量（ｂ）を超える残りの数量（ａ-ｂ）に関連して、第１の値の加重値（ｗ１;例えば１．３〜３倍、特には２倍の加重値）を適用して、差戻し単価（ｕ）をかけることにより、前記差戻し点数を算出することができる。言い換えると、差戻し数量（ａ）×差戻し単価（ｕ）により算出される、ベースの差戻し点数に、ペナルティ加算を行うのであり、このペナルティ加算は、平均差戻し数量（ｂ）からの超過分（ａ-ｂ）に対して、第１の値から１を引いた値（ｗ１−１）を、差戻し単価（ｕ）とともに、掛け合わせることにより算出する。

［数式１］
平均差戻し数量×差戻し単価＋（差戻し数量−平均差戻し数量）×差戻し単価×２
＝差戻し数量×差戻し単価＋（差戻し数量−平均差戻し数量）×差戻し単価×（２−１）
b×u＋(a-b)×u×w1＝a×u＋(a-b)×u×(w1-1)

例えば、７０個の作業数量に対する作業者の差戻し数量全体（ａ）が５０個で、７０個の作業数量に対する平均差戻し数量（ｂ）が３５個で、差戻し単価が１０ウォンである場合、差戻し点数は３５×１０＋（５０−３５）×１０×２＝６５０点と算出できる。

次に、段階Ｓ２６０にて、作業者の差戻し率が平均差戻し率よりも小さい場合、サーバは、第２の値の加重値を適用して差戻し点数を算出する。ここで、第２の値は、１よりも小さな値（例えば、０.５）である。

即ち、サーバは、熟練時点の数量を超えた作業数量にて、平均差戻し率よりも作業者の差戻し率が小さい場合、平均差戻し数量よりも少ない差戻し数量に、０.５倍の加重値を適用して差戻し点数を算出する。

具体的に、下記の［数式２］を参照すれば、サーバは、作業者の差戻し数量全体（ｃ）を基準にして、平均差戻し数量（ｂ）からの低減分の数量（ｂ-ｃ）に関連して第２の値の加重値（ｗ２;例えば０.３〜０.７倍、特には０.５倍の加重値）を適用し、この低減分を相殺した数量（ｃ-（ｂ-ｃ））に関連しては加重値を適用せずに、差戻し単価（ｕ）をかけて足し合わせることにより、差戻し点数を算出することができる。言い換えると、差戻し数量（ａ）×差戻し単価（ｕ）により算出される、ベースの差戻し点数に、インセンティブ減算を行うのであり、インセンティブ減算は、平均差戻し数量（ｂ）からの低減量（ｂ-ｃ）に対して、１から第２の値を引いた値（１−ｗ２）を、差戻し単価（ｕ）とともに、掛け合わせることにより算出する。

［数式２］
（平均差戻し数量−差戻し数量）×差戻し単価×０.５＋（差戻し数量−（平均差戻し数量−差戻し数量））×差戻し単価
＝差戻し数量×差戻し単価−（平均差戻し数量−差戻し数量）×差戻し単価×（１−０.５）
(b-c)×u×w2＋[c-(b-c)]×u＝c×u−(b-c)×u×(1-w2)

例えば、７０個の作業数量に対する作業者の差戻し数量全体（ｃ）が２０個、７０個の作業数量に対する平均差戻し数量（ｂ）が３５個、差戻し単価が１０ウォンである場合、差戻し点数は（３５−２０）×１０×０.５＋（２０−（３５−２０））×１０＝１２５点と算出することができる。

次に、段階Ｓ２７０で、サーバは算出された作業点数と差戻し点数との差の値を用いて作業者３２の熟練度を測定する。このとき、差の値（最終点数）が大きいほど作業者３２の熟練度が大きいものと判断される。

サーバは、最終点数に応じて、作業者３２を上位熟練度の作業者、中位熟練度の作業者、下位熟練度の作業者に分類することができる。

仮に、０点が最低点数であり、３００点が最高点数であるとき、作業者３２の最終点数が０点から１００点まで、または０点から１１９点までの範囲内である場合に下位熟練度の作業者に分類されうるのであり、１０１点から２００点まで、または１２０点から２００点までの範囲内である場合に中位熟練度の作業者に分類されうるのであり、２０１点から３００点までの範囲内である場合に上位熟練度の作業者に分類されうる。

その後、サーバは、作業者３２の熟練度測定結果を用いて、予め定められた等級以上の熟練度が要求される、他のプロジェクトに対するクラウドソーシング基盤の作業の機会を作業者３２に付与することができる。

即ち、熟練度の測定結果、上位熟練度の作業者に分類された作業者３２は後で上位熟練度、中位熟練度又は下位熟練度が要求される全てのプロジェクトに参加できる。しかし、熟練度の測定結果、下位熟練度の作業者に分類された作業者３２は、これ以降、下位熟練度が要求されるプロジェクトにのみ参加できる。

図６は、本発明の一実施例による、平均差戻し率を用いた作業者熟練度測定装置のブロック図である。

図６を参照すれば、平均差戻し率を用いた作業者熟練度測定装置３００（以下、作業者熟練度測定装置）は、通信部３１０及び算出部３２０を含む。

通信部３１０は、１つのプロジェクトに対するクラウドソーシング基盤の作業を、複数の作業者３２に送信し、複数の作業者３２から作業結果を受信し、複数の作業者３２から入力された作業結果を、複数の検収者３４が検収できるように複数の検収者３４に送信し、複数の検収者３４から検収結果を受信する役割を果たす。

算出部３２０は、検収結果を基にして、作業者３２の検収合格（通過）数量に相応する作業点数を算出し、差戻し数量に相応する差戻し点数を算出し、作業点数と差戻し点数との差を用いて作業者３２の熟練度を算出する役割を果たす。

また、算出部３２０は、差戻し点数の算出時、作業者３２の作業数量が予め定められた熟練時点の数量を超える前には加重値を適用せず、作業者３２の作業数量が予め定められた熟練時点の数量を超えた後には平均差戻し率に基づいた加重値を適用して算出する。

図６を参照して説明した作業者熟練度測定装置３００は、上述したサーバの構成要素として提供されうる。

以上で前述した、本発明の一実施例による、平均差戻し率を用いた作業者熟練度測定方法は、ハードウェアであるコンピュータと結合されて実行されるために、プログラム（又はアプリケーション）でもって具現されて媒体に格納されうる。

前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムでもって具現された前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取り可能なＣ、Ｃ＋＋、ＪＡＶＡ(登録商標)、Ｒｕｂｙ、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと、関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）とを含むことができ、前記各機能を、前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記各機能を前記コンピュータのプロセッサが実行させるのに必要な、追加の情報やメディアが、前記コンピュータの内部又は外部メモリのどの位置（アドレス）にて参照されるべきかについての、メモリ参照関連のコードを更に含むことができる。また、前記コンピュータのプロセッサが前記各機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある、何（いずれ）かの他のコンピュータやサーバなどとの通信が必要な場合、コードは、前記コンピュータの通信モジュールを用いて、遠隔にある何（いずれ）か他のコンピュータやサーバなどと、どのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。

前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短時間だけデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能である媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などが挙げられるが、これに制限されない。即ち、前記プログラムは、前記コンピュータが接続できる多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されうる。また、前記媒体は、ネットワークでもって互いに接続されているコンピュータシステムに分散されて、分散方式にてコンピュータが読み取れるコードが格納されるのであり得る。

以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できるであろう。従って、以上で記述した実施例は、あらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

１０ 依頼者
２０ サービス提供業者
３０ 大衆
３２ 作業者
３４ 検収者
３００ 作業者熟練度測定装置
３１０ 通信部
３２０ 算出部

Claims (9)

1. コンピュータにより行われる方法であって、
   １つのプロジェクトに対するクラウドソーシング基盤の作業を、複数の作業者に付与し、複数の作業者から作業結果の入力を受ける段階と、
   前記複数の作業者から入力された前記作業結果を、複数の検収者が検収するようにし、前記複数の検収者から検収結果の入力を受ける段階と、
   前記検収結果を基にして前記作業者の熟練度を測定する段階とを含み、
   前記作業者の熟練度を測定する段階は、前記作業者の検収通過数量に相応する作業点数と、差戻し数量に相応する差戻し点数との差を用いて前記作業者の熟練度を測定し、
   前記差戻し点数は、前記作業者の作業数量が、予め定められた熟練時点の数量を超える前には、前記差戻し点数の算出時に加重値を適用せず、前記作業者の作業数量が、前記予め定められた熟練時点の数量を超えた後には、前記差戻し点数の算出時に、平均差戻し率に基づいた加重値を適用して算出し、
   前記作業者の作業数量が前記予め定められた熟練時点の数量を超えた後に、
   前記作業者の差戻し率が前記平均差戻し率よりも大きいと、１よりも大きな第１の値の加重値を適用して前記差戻し点数を算出し、
   前記作業者の差戻し率が前記平均差戻し率よりも小さいと、１よりも小さな第２の値の加重値を適用して前記差戻し点数を算出する、平均差戻し率を用いた作業者熟練度測定方法。
2. 前記熟練時点の数量は、上位熟練度作業者、中位熟練度作業者、下位熟練度作業者を均等に選別して行ったパイロットプロジェクトによって導き出されることを特徴とする請求項１に記載の平均差戻し率を用いた作業者熟練度測定方法。
3. 前記作業者の作業数量が前記予め定められた熟練時点の数量を超えた後、
   前記作業者の差戻し率が前記平均差戻し率よりも大きいと、
   差戻し数量全体（ａ）のうちで、平均差戻し数量（ｂ）に相応する数量（ｂ）に関連しては加重値を適用せず、前記平均差戻し数量（ｂ）を超える残りの数量（ａ-ｂ）に関連して前記第１の値の加重値を適用して前記差戻し点数を算出することを特徴とする請求項１に記載の平均差戻し率を用いた作業者熟練度測定方法。
4. 前記作業者の作業数量が前記予め定められた熟練時点の数量を超えた後、
   前記作業者の差戻し率が前記平均差戻し率よりも小さいと、
   差戻し数量全体（ｃ）を基準にして、平均差戻し数量（ｂ）からの低減分の数量（ｂ-ｃ）に関連して前記第２の値の加重値を適用し、この低減分を相殺した数量（ｃ-（ｂ-ｃ））に関連しては加重値を適用せず、前記差戻し点数を算出することを特徴とする請求項１に記載の平均差戻し率を用いた作業者熟練度測定方法。
5. 前記作業点数は、検収の通過時に前記作業者に支払う作業コストを用いて算出されることを特徴とする請求項１に記載の平均差戻し率を用いた作業者熟練度測定方法。
6. 前記差戻し点数は、差戻し時に発生する差戻しコストを用いて算出されることを特徴とする請求項５に記載の平均差戻し率を用いた作業者熟練度測定方法。
7. 前記作業者の熟練度の測定結果を用いて予め定められた等級以上の熟練度が要求される他のプロジェクトに対するクラウドソーシング基盤の作業の機会を付与することを特徴とする請求項１に記載の平均差戻し率を用いた作業者熟練度測定方法。
8. ハードウェアであるコンピュータと結合され、請求項１〜７の何れか一項に記載の平均差戻し率を用いた作業者熟練度測定方法を実行させるために媒体に格納されたコンピュータプログラム。
9. 平均差戻し率を用いた作業者熟練度測定装置であって、
   １つのプロジェクトに対するクラウドソーシング基盤の作業を複数の作業者に送信し、前記複数の作業者から作業結果を受信し、前記複数の作業者から入力された前記作業結果を複数の検収者が検収できるように前記複数の検収者に送信し、前記複数の検収者から検収結果を受信する通信部と、
   前記検収結果を基に作業者の検収通過数量に相応する作業点数を算出し、差戻し数量に相応する差戻し点数を算出し、前記作業点数と前記差戻し点数との差を用いて前記作業者の熟練度を算出する算出部とを含み、
   前記算出部は前記差戻し点数の算出時、
   前記作業者の作業数量が予め定められた熟練時点の数量を超える前には加重値を適用せず、前記作業者の作業数量が前記予め定められた熟練時点の数量を超えた後には平均差戻し率に基づいた加重値を適用して算出し、
   前記作業者の作業数量が前記予め定められた熟練時点の数量を超えた後に、
   前記作業者の差戻し率が前記平均差戻し率よりも大きいと、１よりも大きな第１値の加重値を適用して前記差戻し点数を算出し、
   前記作業者の差戻し率が前記平均差戻し率よりも小さいと、１よりも小さな第２値の加重値を適用して前記差戻し点数を算出する、平均差戻し率を用いた作業者熟練度測定装置。
   

Images