JP6946530B2 - 本番作業に基づいた検証用クラウドソーシング作業を提供する方法及び装置 - Google Patents

Description

本発明は、本番作業に基づいた検証用クラウドソーシング作業を提供する方法及び装置に関する。

機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）において、学習方法とアルゴリズム以上に重要なのは学習のためのデータである。従って、良質な学習データを多く確保することは機械学習分野において非常に重要である。

学習データを得るためには、ソースデータの収集又はデータアノテーション作業が必要である。ソースデータの収集又はデータアノテーション作業に関して、機械学習を研究するか開発する所では、ソースデータの収集又はデータアノテーション作業を行う労働力を保有することもある。

しかし、ソースデータの収集又はデータアノテーション作業は、専門知識がなくても誰でも行える作業である場合が多いので、人件費の削減のために、インターネットを介して多数の作業者にデータを配分し、ソースデータの収集又はデータアノテーション作業に応じた報酬を支払う形式のプラットホームが登場するようになった。例えば、アマゾン（ａｍａｚｏｎ）のメカニカルターク（Ｍｅｃｈａｎｉｃａｌ Ｔｕｒｋ）がある。

しかし、既存のプラットホームの場合、作業者が誠実にソースデータの収集又はデータアノテーション作業を行ったかについての検収を行う過程で、多くのコストと時間がかかるという問題がある。従って、既存のプラットホームの長所を維持しながら、ソースデータの収集又はデータアノテーション作業の検収を効率的に行うことで、学習データの信頼度をアップさせる技術の開発が要求される。

韓国公開特許公報第１０-２０１２-０１４９９３０号（２０１２.１２.２０）

本発明は上記事情に鑑みてなされたものであって、その目的は、本番用クラウドソーシング作業の検証方法において提供される検証用クラウドソーシング作業を、本番作業から獲得して提供することにある。

本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるであろう。

上述した課題を解決するための、本発明の一実施例による、本番作業に基づいた検証用クラウドソーシング作業を提供する方法は、コンピュータにより行われる方法であって、検証用クラウドソーシング作業プールを構築する段階と、作業者端末から本番用クラウドソーシンググループ作業の結果を受信するのであって、前記本番用クラウドソーシンググループ作業は、１つ以上の本番用クラウドソーシング作業で構成されたものである、本番用クラウドソーシンググループ作業結果受信段階と、前記本番用クラウドソーシンググループ作業に相応する１つ以上の検証用クラウドソーシング作業を、前記検証用クラウドソーシング作業プール内から選択して前記作業者端末に送信する段階と、前記１つ以上の検証用クラウドソーシング作業の結果を前記作業者端末から受信する段階と、前記１つ以上の検証用クラウドソーシング作業の結果に基づいて、前記本番用クラウドソーシンググループ作業の結果が有効か否かを判断する段階とを含み、前記検証用クラウドソーシング作業プールは、複数の検証用クラウドソーシング作業を含み、前記検証用クラウドソーシング作業プールを構築する段階は、クラウドソーシング作業プロジェクトの進行中にリアルタイムで、既に行われた１つ以上の本番用クラウドソーシング作業の結果から、検収者の検収を通過した（合格認定を受けた）検収通過クラウドソーシング作業の結果を抽出する段階と、前記抽出した検収通過クラウドソーシング作業の結果のうちの、所定の条件を満たす検収通過クラウドソーシング作業の結果に基づいて、本番作業基盤検証用クラウドソーシング作業を生成する段階と、前記生成された本番作業基盤検証用クラウドソーシング作業を、前記検証用クラウドソーシング作業プールに含ませる段階とを含む。

一実施例として、前記所定の条件は、検収にかかった時間を基にして、所定の順位に該当するものである。

一実施例として、前記検証用クラウドソーシング作業を生成する段階は、前記抽出した検収通過クラウドソーシング作業の結果から所定の条件を満たす検収通過クラウドソーシング作業の結果を抽出する段階と、前記所定の条件を満たす検収通過クラウドソーシング作業の結果を前記検収者と異なる１つ以上の検収者に再検収を要請する段階と、前記再検収の結果、前記１つ以上の検収者全部による検収を通過した再検収通過クラウドソーシング作業の結果に基づいて本番作業基盤検証用クラウドソーシング作業を生成する段階とを含む。

一実施例として、１つ以上の検証用クラウドソーシング作業を前記作業者端末に送信する段階は、前記作業者端末と同一の作業者端末に既に提供された検証用クラウドソーシング作業を除外した１つ以上の検証用クラウドソーシング作業を前記作業者端末に送信する。

一実施例として、前記検証用クラウドソーシング作業プール内の特定の検証用クラウドソーシング作業が前記作業者端末と同一の作業者端末から受信した１つ以上の本番用クラウドソーシング作業の結果に基づいて生成された場合には、１つ以上の検証用クラウドソーシング作業を前記作業者端末に送信する段階は、前記特定の検証用クラウドソーシング作業を除外した１つ以上の検証用クラウドソーシング作業を前記作業者端末に送信する。

一実施例として、前記検証用クラウドソーシング作業プールを構築する段階は、クラウドソーシング作業プロジェクトの遂行前に、管理者により予め生成された検証用クラウドソーシング作業を、前記検証用クラウドソーシング作業プールに含めることを更に含む。

一実施例として、前記検証用クラウドソーシング作業プール内から選択して前記作業者端末に送信する段階は、前記予め生成された検証用クラウドソーシング作業が尽きた後、前記本番作業基盤検証用クラウドソーシング作業を前記作業者端末に送信する。

上述した課題を解決するための、本発明の一実施例による、本番作業に基づいた検証用クラウドソーシング作業を提供する方法は、前記本番用クラウドソーシンググループ作業の結果が有効か否かによって、前記本番用クラウドソーシンググループ作業の結果に対する検収を行うか否かを決定する段階を更に含み、前記本番用クラウドソーシンググループ作業の結果に対する検収を行うか否かを決定する段階は、前記検証用クラウドソーシング作業の結果が予め決定された解答と一致する場合には、該当本番用クラウドソーシンググループ作業の結果に対して検収を行うように決定し、前記検証用クラウドソーシング作業の結果が予め決定された解答と一致しない場合には、該当本番用クラウドソーシンググループ作業の結果を削除処理して検収を行わないように決定する。

上述した課題を解決するための、本発明の他の実施例による、本番作業に基づいた検証用クラウドソーシング作業を提供するコンピュータプログラムは、ハードウェアであるコンピュータと結合され、前記方法の何れか一項の方法を実行させるために媒体に格納される。

上述した課題を解決するための、本発明の他の実施例による、本番作業に基づいた検証用クラウドソーシング作業提供装置は、検証用クラウドソーシング作業プールを構築する検証用クラウドソーシング作業プール構築部と、作業者端末から本番用クラウドソーシンググループ作業の結果を受信するのであって、前記本番用クラウドソーシンググループ作業は、１つ以上の本番用クラウドソーシング作業で構成されたのである、本番用クラウドソーシンググループ作業結果受信部と、前記本番用クラウドソーシンググループ作業に相応する１つ以上の検証用クラウドソーシング作業を、前記検証用クラウドソーシング作業プール内から選択して前記作業者端末に送信する検証用クラウドソーシング作業送信部と、前記１つ以上の検証用クラウドソーシング作業の結果を前記作業者端末から受信する検証用クラウドソーシング作業結果受信部と、前記１つ以上の検証用クラウドソーシング作業の結果に基づいて、前記本番用クラウドソーシンググループ作業の結果が有効か否かを判断する有効可否判断部とを含み、前記検証用クラウドソーシング作業プールは、複数の検証用クラウドソーシング作業を含み、前記検証用クラウドソーシング作業プール構築部は、クラウドソーシング作業プロジェクトの進行中にリアルタイムで、既に行われた１つ以上の本番用クラウドソーシング作業の結果から、検収者の検収を通過した検収通過クラウドソーシング作業の結果を抽出し、前記抽出した検収通過クラウドソーシング作業の結果のうちの、所定の条件を満たす検収通過クラウドソーシング作業の結果に基づいて本番作業基盤検証用クラウドソーシング作業を生成し、前記生成された本番作業基盤検証用クラウドソーシング作業を前記検証用クラウドソーシング作業プールに含める。

本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。

前記本発明によれば、予め生成した検証用クラウドソーシング作業が作業者に全て提供されたとしても、本番作業に基づいて検証用クラウドソーシング作業が持続的にアップデートされるので、作業者に、継続して新たな検証用クラウドソーシング作業を提供できる。

また、前記本発明によれば、本番用クラウドソーシング作業データを検証用クラウドソーシング作業として提供することによって、検証用クラウドソーシング作業を、該当プロジェクトに、より適した作業の評価データとして活用できる。

更に、前記本発明によれば、特定の検収者に、検収を通過した検収通過クラウドソーシング作業のうち、作業時間が長く、かつ、他の検収者からの検収を全て通過した作業を、検証用クラウドソーシング作業として提供することによって、難易度が高くても、正確度の高い検証用クラウドソーシング作業を通じて、作業者に対する評価結果をより正確に算出できる。

本発明の効果は、以上で言及した効果に限らず、言及されていない他の効果は、以下の記載から通常の技術者が明確に理解できるであろう。

本発明の一実施例によるクラウドソーシングサービスの概念図である。 本発明の一実施例によるクラウドソーシングプロジェクトの進行プロセスを説明するフローチャートである。 本発明の一実施例による、本番作業に基づいた検証用クラウドソーシング作業を提供する方法についての概略的な順序図である。 客体が含まれているイメージに対するクラウドソーシング作業についての概略的な例示図である。 検証用クラウドソーシング作業プールを構築する方法を説明する図である。 本番用クラウドソーシング作業及び検証用クラウドソーシング作業を提供する方法を説明する図である。 本番クラウドソーシング作業の結果から検証用クラウドソーシング作業を獲得する方法を説明する例示図(1)である。 本番クラウドソーシング作業の結果から検証用クラウドソーシング作業を獲得する方法を説明する例示図(2)である。 本番用クラウドソーシング作業の結果が有効でないという場合、この後に本番用クラウドソーシング作業及び検証用クラウドソーシング作業を提供する例示図である。 本番用クラウドソーシング作業の結果が有効であるという場合、この後に本番用クラウドソーシング作業及び検証用クラウドソーシング作業を提供する例示図である。 本発明の他の実施例による本番作業に基づいた検証用クラウドソーシング作業提供装置の概略的な構成図である。

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範疇を完全に理解させるために提供されるものであり、本発明は請求範囲の範疇により定義されるのみである。

本明細書で用いられる用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は特に言及しない限り複数形も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は、言及された構成要素のそれぞれ及び１つ以上のあらゆる組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素は、これらの用語により制限されないのはもちろんのことである。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素であることもありうるのは言うまでもない。

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味で用いられる。また、一般に用いられる、辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

本明細書において、本番（実戦）作業とは、典型的には、機械学習のための学習データとして使用または追加され得るデータを生成または収集する直接的な作業のことを言い、この作業の信頼度などを評価するための、検証作業などを除外したものである。

本明細書において、作業者は、本番作業に基づいた検証用クラウドソーシング作業提供装置から提供されるクラウドソーシング作業を行い、所定の報酬をもらう個人又は団体を意味する。クラウドソーシング作業を含むプロジェクトは、ソースデータの収集又はデータアノテーションなど多様な種類のクラウドソーシング作業を含む。例えば、クラウドソーシング作業が注釈処理作業である場合には、本番作業に基づいた検証用クラウドソーシング作業提供装置は、作業者に特定の客体又はテキストが含まれているイメージを提供するのであり、作業者は、イメージに含まれている客体又はテキストの範囲を指定し、指定された範囲に含まれている客体又はテキストが何であるかを入力する、注釈処理作業を行う。作業者が行った注釈処理作業の結果は、検証用データを用いた、データの注釈処理を行う作業についての検収の自動化装置に伝達される。

検収者は、作業者がアップロードしたクラウドソーシング作業の結果に対する検収を行う個人又は団体を意味する。実施例によっては、検収者は、人間でなく、自動で検収を行える学習されたモデル、プログラム及び端末などを包括する意味にも理解されうる。

しかし、全てのクラウドソーシング作業結果に対して検収を行う場合、検収者の数によっては、検収過程で、学習データの生成におけるボトルネック現象が発生する恐れがあり、これを改善するための方法の開発が要求される。

従って、本発明の本番作業に基づいた検証用クラウドソーシング作業提供の方法及び装置は、作業者が行ったクラウドソーシング作業を、検収者が検収する前に自動で先に検証する方法であって、検証用クラウドソーシング作業の結果に基づいて、検収を進める前に所定の基準を通過した作業者の本番用クラウドソーシング作業の結果のみを検収者が検収するようにすることができる。

それだけでなく、検証用クラウドソーシング作業を、既に行われたクラウドソーシング作業の結果のうちの、検収を通過した検収通過クラウドソーシング作業に基づいて構成することで、検証用クラウドソーシング作業が持続的にアップデートされることによって、作業者に検証用クラウドソーシング作業を提供する際に、重複しない新たな検証用クラウドソーシング作業を提供して、検証用クラウドソーシング作業の提供に対する効果を向上させることができる。

以下、添付の図面を参照して本発明の実施例を詳細に説明する。

図１は、本発明の一実施例によるクラウドソーシングサービスの概念図である。

図１を参照すれば、クラウドソーシングサービスは依頼者１０、サービス提供業者２０及び大衆３０で構成されて行われる。

依頼者１０は、クラウドソーシングプロジェクト（以下、プロジェクト）を依頼する企業や個人を意味する。

依頼者１０は、ソースデータの収集又はデータアノテーションなどを目的にプロジェクトを依頼する。ソースデータの収集は、録音された音声の収集、写真の収集など、加工されないデータを収集することを意味する。データアノテーションは、テキスト、写真、ビデオなどのソースデータに、関連の注釈データを入力することを意味する。例えば、データアノテーションは、与えられたテキストから個体を探すこと、類似する文章を探すことなどがあり得るが、これに制限されない。一方、前述したプロジェクトの種類は一実施例に過ぎず、依頼者の設計に応じて多様なプロジェクトが本発明で取り扱われうる。

サービス提供業者２０は、クラウドソーシングサービスを提供する企業を意味する。

サービス提供業者２０は、依頼者１０から製品又はサービスに対するプロジェクトの依頼を受けると、該当プロジェクトに対する作業を一般大衆３０に割り当てて、大衆３０から作業結果を受信する。その後、作業結果に基づいて抽出されたアウトプット（最終プロダクト）を依頼者１０に提供する。

ここで、サービス提供業者２０は、クラウドソーシングプラットホーム（以下、プラットホーム）を介して依頼者１０及び大衆３０にクラウドソーシングサービスを提供する。即ち、サービス提供業者２０は、依頼者１０からプロジェクトの依頼を受けると、プラットホームにプロジェクトをオープンする。その後、大衆３０から、オープンされたプロジェクトに対する作業結果を受信すると、該当プロジェクトをプラットホーム上で終了し、アウトプットを抽出して依頼者１０に提供することができる。

大衆３０は、プラットホームにオープンされたプロジェクトに参加する一般大衆を意味する。ここで、大衆３０は、サービス提供業者２０が提供するアプリケーション又はウェブサイトなどを介して、プラットホームにオープンされたプロジェクトに参加することができる。

大衆３０は、作業者３２及び検収者３４で構成される。

作業者３２は、プラットホームにオープンされた複数のプロジェクトのうちの特定のプロジェクトへの参加を決定する。その後、作業者３２は、ソースデータの収集又はデータアノテーションなどの作業を行い、これをプラットホームに送る。

検収者３４は、プラットホームにオープンされた複数のプロジェクトのうちの特定のプロジェクトへの参加を決定する。その後、検収者３４は、作業者３２が行った作業結果に対する検収を行う。検収者３４は検収遂行の結果として、作業通過又は差し戻しを行うことができ、作業を差し戻す際に差し戻しの事由を入力できる。

図２は、本発明の一実施例によるクラウドソーシングプロジェクトの進行プロセスを説明するフローチャートである。

まず、依頼者１０は、サービス提供業者２０に１つ以上のプロジェクトを依頼する（Ｓ１１）。

その後、サービス提供業者２０は、依頼されたプロジェクトをプラットホーム上にオープンする（Ｓ１２）。この際、サービス提供業者２０は、プロジェクトのオープン前に、該当プロジェクトの難易度などを考慮して等級を決定できる。即ち、難易度に応じて、どの等級以上の大衆３０に該当プロジェクトを露出（提示）させるかを決定できる。これにより、プロジェクトの作業結果の信頼度をアップさせることになる。

その後、サービス提供業者２０は、プロジェクトの等級に応じて、該当等級以上の作業者３２に作業を割り当てる（Ｓ１３）。

その後、作業者３２は割り当てられた作業を行う（Ｓ１４）。この際、作業者３２は、何らかの理由により作業自体が不可能な作業に対しては作業を行わず、作業不可である事由を入力できる。

その後、サービス提供業者２０は、作業者３２から作業結果を受信し（Ｓ１５）、該当作業結果に対する検収作業を検収者３４に割り当てる（Ｓ１６）。

その後、検収者３４は、割り当てられた検収を行う（Ｓ１７）。この際、検収者３４は、作業が正常に行われたものと判断すると、検収通過を決定し、検収対象の作業が誤ったものであると判断すると、差し戻しを決定する。差し戻しの決定の際、検収者３４は、如何なる理由により作業が誤ったものであると判断したかに対する、差し戻しの事由を入力する。

その後、サービス提供業者２０は、検収者３４から検収結果を受信する（Ｓ１８）。

検収結果が通過である場合、サービス提供業者２０は該当作業結果を有効なデータとして用いて、これに基づいてプロジェクトの終了時にアウトプットを抽出する。

検収結果が差し戻しである場合、サービス提供業者２０は、内部的に検収を再び行うか、作業者３２に再び作業を割り当てて作業を行わせることもできる。

その後、サービス提供業者２０は、プロジェクト期間が終了するか、十分な有効データを確保すると、該当プロジェクトを終了し（Ｓ１９）、確保された有効データを基にして、最終の結果物を算出して依頼者１０に提供する（Ｓ２０）。

この際、プロジェクトの終了前に、サービス提供業者２０は、作業者３２及び検収者３４の遂行結果を評価し、評価に応じて作業コスト及び検収コストを算出して、作業者３２及び検収者３４に支払う。

一方、図１及び図２では、単に依頼者１０、サービス提供業者２０、作業者３２、検収者３４と表現したが、これらは各参加者によって運用される、スマートフォン、タブレット、ＰＤＡ、ラップトップ、デスクトップ、サーバなどといったコンピュータ装置又は電気通信装置を意味する。

図３は、本発明の一実施例による、本番作業に基づいた検証用クラウドソーシング作業を提供する方法の概略的な順序図である。

図３を参照すれば、本番作業に基づいた検証用クラウドソーシング作業を提供する方法は、検証用クラウドソーシング作業プールを構築する段階（Ｓ１１０）と、本番用クラウドソーシンググループ作業結果受信段階（Ｓ１３０）と、１つ以上の検証用クラウドソーシング作業を作業者端末に送信する段階（Ｓ１５０）と、１つ以上の検証用クラウドソーシング作業の結果を作業者端末から受信する段階（Ｓ１７０）と、本番用クラウドソーシンググループ作業の結果が有効か否かを判断する段階（Ｓ１９０）とを含む。

検証用クラウドソーシング作業プールを構築する段階（Ｓ１１０）は、作業者にプロジェクトの作業を提供する前に、及び／又は、プロジェクトの作業を提供する際にリアルタイムで、検証用クラウドソーシング作業プールを構築することを含む。

具体的な検証用クラウドソーシング作業プールを構築する段階（Ｓ１１０）についての説明は、図５ないし図８の説明で後述する。

本番用クラウドソーシンググループ作業結果受信段階（Ｓ１３０）は、作業者端末から本番用クラウドソーシンググループ作業の結果を受信し、本番用クラウドソーシンググループ作業は、１つ以上の本番用クラウドソーシング作業で構成される。本番用クラウドソーシング作業は、クラウドソーシング作業を依頼した顧客が要請した作業で構成される。

ここで、クラウドソーシング作業は、上述したように、ソースデータの収集又はデータアノテーションなど多様な種類のクラウドソーシング作業を含む。クラウドソーシング作業の一実施例としては、注釈作業処理作業があり、これについての説明は、図４の説明で後述する。

顧客は、本番作業に基づいた検証用クラウドソーシング作業を提供する方法及び装置の管理者に、所定のクラウドソーシング作業を依頼する。管理者は、依頼を受けた所定のクラウドソーシング作業を、１人以上の作業者に依頼し、作業者の作業結果に応じて報酬を支払う。

１つ以上の本番用クラウドソーシング作業で構成された本番用クラウドソーシンググループ作業は、図６で説明する。

１つ以上の検証用クラウドソーシング作業を作業者端末に送信する段階（Ｓ１５０）は、本番用クラウドソーシンググループ作業に相応する１つ以上の検証用クラウドソーシング作業を検証用クラウドソーシング作業プール内で選択して作業者端末に送信する。

検証用クラウドソーシング作業プールは、１つ以上の検証用クラウドソーシング作業を含んでおり、一定基準又は無作為に検証用クラウドソーシング作業が選択されて作業者端末に送られる。更に説明すれば、１つの本番用クラウドソーシンググループ作業当たりに１つ以上の検証用クラウドソーシング作業が作業者端末に提供されるが、この際に提供される１つ以上の検証用クラウドソーシング作業は、検証用クラウドソーシング作業プール内から選択される。

それぞれの検証用クラウドソーシング作業に対する解答は、予め決定されているので、コンピュータは、作業者端末から予め決定された解答を受信しなければならない。

１つ以上の検証用クラウドソーシング作業を作業者端末に送信する段階（Ｓ１５０）は、同一の作業者から受信した本番用クラウドソーシング作業の結果から生成された１つ以上の検証用クラウドソーシング作業か否か、同一の作業者に既に提供された１つ以上の検証用クラウドソーシング作業か否かを考慮して１つ以上の検証用クラウドソーシング作業を送信できる。

一実施例として、１つ以上の検証用クラウドソーシング作業を作業者端末に送信する段階（Ｓ１５０）は、作業者端末と同一の作業者端末に既に提供された検証用クラウドソーシング作業を除いた１つ以上の検証用クラウドソーシング作業を作業者端末に送信する。同一の作業者端末に既に提供された検証用クラウドソーシング作業の場合、作業者が解答を予め知っており、検証の効果が低下するためである。

他の実施例として、検証用クラウドソーシング作業プール内の特定の検証用クラウドソーシング作業が該当作業者端末と同一の作業者端末から受信した１つ以上の本番用クラウドソーシング作業の結果に基づいて生成された場合には、１つ以上の検証用クラウドソーシング作業を作業者端末に送信する段階（Ｓ１５０）は、特定の検証用クラウドソーシング作業を除いた１つ以上の検証用クラウドソーシング作業を作業者端末に送信する。同一の作業者端末から受信した本番用クラウドソーシング作業の結果に基づいて生成された検証用クラウドソーシング作業の場合にも、作業者が予め解答を知っているため、検証の効果が低下するので、該当検証用クラウドソーシング作業も除外しなければならない。

１つ以上の検証用クラウドソーシング作業を作業者端末に送信する段階（Ｓ１５０）は、コンピュータが検証用クラウドソーシング作業プール内で加工された１つ以上の検証用クラウドソーシング作業を読み込むことができる。ここで、加工とは１つ以上のクラウドソーシング作業及び１つ以上のクラウドソーシング作業の解答を用いてデータセットを生成することを意味し得る。

コンピュータは、１つ以上の検証用クラウドソーシング作業を検証用クラウドソーシング作業プールから選択する。コンピュータは、本番用クラウドソーシング作業に相応する１つ以上の検証用クラウドソーシング作業の問題を検証用クラウドソーシング作業プールから選択する。従って、検証用クラウドソーシング作業と本番用クラウドソーシング作業は、同一のカテゴリを有する作業で行われることができる。また、コンピュータは、本番用クラウドソーシング作業のうち１つ以上を検証用クラウドソーシング作業として選択できる。検証用クラウドソーシング作業と本番用クラウドソーシング作業を同一のカテゴリにするか、本番用クラウドソーシング作業のうち１つ以上を検証用クラウドソーシング作業として選択することによって、作業者はクラウドソーシング作業中に自身が本番用クラウドソーシング作業を行っているか、検証用クラウドソーシング作業を行っているか認知できず、クラウドソーシング作業を行うことになる。また、検証用クラウドソーシング作業の結果が本番用クラウドソーシンググループ作業の結果を代表できるようになる。

１つ以上の本番用クラウドソーシング作業は、検証用クラウドソーシング作業プールに格納及び管理され、１つ以上の検証用クラウドソーシング作業は、検証用クラウドソーシング作業プールに格納された１つ以上の本番用クラウドソーシング作業から選択される。１つ以上の検証用クラウドソーシング作業の数は、検証用クラウドソーシング作業プールに格納された前記１つ以上の本番用クラウドソーシング作業の数に相応して決定されることもできる。

本発明で生成される検証用クラウドソーシング作業は、図６ないし図８で後述する通りであり、本番作業から獲得した検証用クラウドソーシング作業を生成する前に予め備える検証用クラウドソーシング作業は、顧客から依頼を受けた全体の本番用クラウドソーシング作業から選択される。作業者は、本番用クラウドソーシング作業の遂行中に全体の検証用クラウドソーシング作業のうちの一部を遂行し、作業者が行った本番用クラウドソーシング作業の結果によって、全体の検証用クラウドソーシング作業のうちの他の一部を行うか否かが決定される。

データベースは、顧客の端末から受信した１つ以上の本番用クラウドソーシング作業を格納及び管理し、データベース制御部（図示せず）から選択された検証用クラウドソーシング作業及び解答を格納及び管理し、作業者の端末から受信した１つ以上の本番用クラウドソーシング作業の解答を格納及び管理する。

１つ以上の検証用クラウドソーシング作業の結果を作業者端末から受信する段階（Ｓ１７０）は、本番用クラウドソーシンググループ作業に相応する１つ以上の検証用クラウドソーシング作業の結果を作業者端末から受信する。

検証用クラウドソーシング作業及び検証用クラウドソーシング作業に相応する予め決定された解答は、検証用クラウドソーシング作業のデータセットで構成される。検証用クラウドソーシング作業は、顧客から依頼を受けた所定のクラウドソーシング作業である本番用クラウドソーシング作業の中から選択され得る。検証用クラウドソーシング作業に相応する予め決定された解答は、一実施例として、検証用クラウドソーシング作業に対して検証用クラウドソーシング作業を用いた本番用クラウドソーシング作業の検証装置の管理者が事前に作成した解答であり得る。管理者は、顧客から依頼を受けた所定のクラウドソーシング作業を所定の分野別に分け、分野別にクラウドソーシング作業と解答のデータセットを構成できる。

但し、検証用クラウドソーシング作業及びそれに相応する予め決定された解答に対して、管理者が該当プロジェクトを作業者に遂行を要請する前に検証用クラウドソーシング作業の選択及び解答を生成しておいたとしても、１つのプロジェクトに行わなければならない作業の数は非常に多く、差し戻される作業が多い作業者には、より頻繁に検証用クラウドソーシング作業を提供しなければならない場合があるので、予め生成しておいた検証用クラウドソーシング作業の数が足りなくなる恐れがある。

予め生成しておいた検証用クラウドソーシング作業が全て提供され、再び重複して予め生成しておいた検証用クラウドソーシング作業を提供すれば、作業者が該当作業の解答を記憶して検証用クラウドソーシング作業に対して容易に返答できるので、検証用クラウドソーシング作業を提供する本質的な課題に対して解決できない結論が導き出される恐れもある。

従って、本発明は、予め生成しておいた検証用クラウドソーシング作業が全て提供されても持続的に新たな検証用クラウドソーシング作業を提供できるようにするものであって、本発明の１つ以上の検証用クラウドソーシング作業は、１つ以上の検収通過クラウドソーシング作業で構成された検証用クラウドソーシング作業プール内で１つ以上に該当する。

このとき、検収通過クラウドソーシング作業は、既に行われた１つ以上のクラウドソーシング作業のうち検収者から検収が通過した作業であり、既に行われた１つ以上のクラウドソーシング作業は、本番用クラウドソーシンググループ作業の前に行われた作業である。

本番作業に基づいて獲得する検証用クラウドソーシング作業は、図７及び図８で詳細に説明する。

本番用クラウドソーシンググループ作業の結果が有効か否かを判断する段階（Ｓ１９０）は、１つ以上の検証用クラウドソーシング作業の結果に基づいて、本番用クラウドソーシンググループ作業の結果が有効か否かを判断する。

コンピュータは、１つ以上の本番用クラウドソーシング作業の結果を有効なデータとして分類するか、有効でないデータとして分類するかを判断する。

コンピュータは、検証用クラウドソーシング作業の結果が予め決定された解答と一致する場合には、本番用クラウドソーシンググループ作業の結果を有効なものとして処理し、検証用クラウドソーシング作業の結果が予め決定された解答と一致しない場合には、本番用クラウドソーシンググループ作業の結果を有効でないものとして処理する。従って、有効でないクラウドソーシング作業の結果として定義された本番用クラウドソーシング作業は、検収者により検収されないため、検収者が検収する量を低減させることができる。また、有効なクラウドソーシング作業の結果として定義された本番用クラウドソーシンググループ作業は、検収者により検収が行われる。

即ち、特に示してはいないが、本発明の本番作業に基づいた検証用クラウドソーシング作業を提供する方法は、検証用クラウドソーシング作業プールを構築する段階（Ｓ１１０）ないし本番用クラウドソーシンググループ作業の結果が有効か否かを判断する段階（Ｓ１９０）に本番用クラウドソーシンググループ作業の結果が有効か否かによって、本番用クラウドソーシンググループ作業の結果に対する検収を行うか否かを決定する段階を更に含むことができる。

検収を行うか否かを決定する段階は、検証用クラウドソーシング作業の結果が予め決定された解答と一致する場合には、本番用クラウドソーシンググループ作業の結果に対して検収を行うように決定し、検証用クラウドソーシング作業の結果が予め決定された解答と一致しない場合には、該当本番用クラウドソーシンググループ作業の結果を削除処理して検収を行わないように決定する。

図４は、客体が含まれているイメージに対する注釈処理の概略的な例示図である。

図４を参照すれば、クラウドソーシング作業として、ベッドが含まれているイメージに対する注釈処理を行う実施例が示されている。本番用クラウドソーシング作業及び検証用クラウドソーシング作業は、図４のような形態であり得る。

図４に示されたイメージ２００は、少なくとも１つの客体を含む。作業者は、イメージ２００の特定の領域２１０を選択し、選択された領域２１０に含まれている客体を説明する情報２２０を入力又は選択できる。例えば、１つのイメージ２００に複数の客体が含まれうるのであり、作業者は、イメージ２００に含まれている１つ以上の客体に対する注釈処理を行うという、クラウドソーシング作業を行うことができる。

図４に示された実施例において、注釈処理作業としてのクラウドソーシング作業の結果は、特定の領域２１０の座標と、特定の領域２１０に含まれている客体に関する情報（例えば、特定の領域２１０に含まれている客体が、ベッドであるという情報）を含むことができる。

図５ないし図８は、検証用クラウドソーシング作業プールを構築する段階（Ｓ１１０）についての具体的な説明である。

検証用クラウドソーシング作業プールを構築する段階（Ｓ１１０）における検証用クラウドソーシング作業プールは、一実施例として、本番用クラウドソーシング作業の結果に基づいて導き出された本番作業基盤検証用クラウドソーシング作業で構成されうるのであり、他の実施例として、前記実施例の検証用クラウドソーシング作業と共に、クラウドソーシング作業プロジェクトの遂行前に、管理者により予め生成された検証用クラウドソーシング作業を更に含んで構成されることもありうる。

クラウドソーシング作業プロジェクトの遂行前に、管理者により予め生成された検証用クラウドソーシング作業を更に含んで検証用クラウドソーシング作業プールを構築する場合には、検証用クラウドソーシング作業プール内から選択して作業者端末に送信する段階（Ｓ１５０）は、予め生成された検証用クラウドソーシング作業が尽きた（全て用いられた）後、本番作業基盤の検証用クラウドソーシング作業を作業者端末に送信する。

従って、クラウドソーシング作業プロジェクトの初期進行段階では、検証用クラウドソーシング作業として、予め生成された検証用クラウドソーシング作業を提供し、予め生成された検証用クラウドソーシング作業が尽きると、本番作業基盤の検証用クラウドソーシング作業を提供することによって、作業の初期段階から最後の段階まで、作業者に持続的に新たな検証用クラウドソーシング作業を提供して、作業者の本番用クラウドソーシング作業の結果を検証することができる。

図５は、検証用クラウドソーシング作業プールを構築する方法を説明する図である。

図５を参照すれば、検証用クラウドソーシング作業プールを構築する方法は、検収通過クラウドソーシング作業の結果を抽出する段階（Ｓ１１１）と、本番作業基盤の検証用クラウドソーシング作業を生成する段階（Ｓ１１３）と、本番作業基盤の検証用クラウドソーシング作業を検証用クラウドソーシング作業プールに含める段階（Ｓ１１５）とを含む。

検収通過クラウドソーシング作業の結果を抽出する段階（Ｓ１１１）は、クラウドソーシング作業プロジェクトの進行中にリアルタイムで、既に行われた１つ以上の本番用クラウドソーシング作業の結果から、検収者の検収を通過した検収通過クラウドソーシング作業の結果を抽出する。

本番作業基盤の検証用クラウドソーシング作業を生成する段階（Ｓ１１３）は、Ｓ１１１段階にて抽出した検収通過クラウドソーシング作業の結果のうちの、所定の条件を満たす検収通過クラウドソーシング作業の結果に基づいて、本番作業基盤クラウドソーシング作業を生成する。

ここで、所定の条件は、検収にかかった時間を基にした所定の順位に該当するものである。

検収通過クラウドソーシング作業の結果に基づいて本番作業基盤のクラウドソーシング作業を生成することは、一実施例として、検収通過クラウドソーシング作業の結果自体でもって本番作業基盤のクラウドソーシング作業を生成することができ、検収通過クラウドソーシング作業の結果について、更に他の検収者に、再検収を要請して、再検収の結果に応じて本番作業基盤のクラウドソーシング作業を生成することができる。

このとき、他の検収者の再検収を経る場合、本番作業基盤検証用クラウドソーシング作業を生成する段階は、抽出した検収通過クラウドソーシング作業の結果から、所定の条件を満たす検収通過クラウドソーシング作業の結果を抽出する段階と、所定の条件を満たす検収通過クラウドソーシング作業の結果について、該当検収を行った検収者と異なる１つ以上の検収者に再検収を要請する段階と、再検収の結果、一人以上または１つ以上の検収者の全てによる検収を通過した再検収通過クラウドソーシング作業の結果に基づいて、本番作業基盤の検証用クラウドソーシング作業を生成する段階とを含むことができる。

本番作業基盤の検証用クラウドソーシング作業を検証用クラウドソーシング作業プールに含める段階（Ｓ１１５）では、Ｓ１１３段階で生成された本番作業基盤の検証用クラウドソーシング作業を検証用クラウドソーシング作業プールに含める。

図６は、本番用クラウドソーシング作業及び検証用クラウドソーシング作業を提供する方法を説明する図である。

図６を参照すれば、矢印は提供順序を意味するものであるので、本番用クラウドソーシンググループ作業５０が作業者に提供された後、検証用クラウドソーシング作業６０が提供されることを確認できる。

本番用クラウドソーシンググループ作業５０には、１つ以上の本番用クラウドソーシング作業が含まれており、図６では例示的に６個の本番用クラウドソーシング作業５１、５２、５３、５４、５５、５６を示した。しかし、本番用クラウドソーシンググループ作業には、１つ以上の本番用クラウドソーシング作業が含まれ得るので、図６よりも少ないか、多く含まれうる。

また、図６では、検証用クラウドソーシング作業６０が提供される１つの単位のみを示したが、該当プロジェクトの本番用クラウドソーシング作業５１〜５６の作業が完了して検収まで通過するまで図６の提供作業が反復的に提供されうる。即ち、本番用クラウドソーシンググループ作業５０の提供後、検証用クラウドソーシング作業６０の提供、また本番用クラウドソーシンググループ作業５０の提供後に検証用クラウドソーシング作業６０などに繰り返して提供されうる。

図７及び図８は、本番クラウドソーシング作業の結果から検証用クラウドソーシング作業を獲得する方法を説明する例示図である。

本発明のプロジェクトは、１人の作業者が作業するのではなく、クラウドソーシングとして複数の作業者が作業するので、本番用クラウドソーシング作業を特定の作業者が行う前に、既に行われた本番用クラウドソーシング作業７１、７２、７３、７４、７５、７６が存在し得る。特定の作業者が本番用クラウドソーシング作業を最初に行う場合には、既に行われた本番用クラウドソーシング作業７１〜７６が存在しないが、このような場合には、上述したように、管理者が予め生成した検証用クラウドソーシング作業を提供できる。但し、図７及び図８では、既に行われた本番用クラウドソーシング作業７１〜７６が存在する場合に該当する本番作業に基づいて、検証用クラウドソーシング作業を生成することを説明する。

検証用クラウドソーシング作業プールは、リアルタイムでアップデートされうるのであり、リアルタイムで検収通過クラウドソーシング作業８１〜８４が抽出されると、抽出された検収通過クラウドソーシング作業８１〜８４を、検証用クラウドソーシング作業として追加することで、検証用クラウドソーシング作業プールをアップデートすることができる。

ここで、抽出された検収通過クラウドソーシング作業は、一実施例として、単に検収を通過した検収通過クラウドソーシング作業８１〜８４を含むことができるのであり、他の実施例として、後述する図７の説明のように、所定の順位で抽出された検収通過クラウドソーシング作業８１〜８３を含むことができるのであり、更に他の実施例として、後述する図８の説明のように、所定の順位のうちの、他の検収者の検収まで通過した検収通過クラウドソーシング作業８１を含むことができる。

また、検証用クラウドソーシング作業プールは、作業者に用いられた検証用クラウドソーシング作業は除き、新たに抽出された検収通過クラウドソーシング作業を、更に含めることができる。

一実施例として、検証用クラウドソーシング作業プールが作業者毎に異なると、該当作業者に既に提供した検収通過クラウドソーシング作業を除き、除外されただけの数の新たに抽出された検収通過クラウドソーシング作業を、検証用クラウドソーシング作業プールに更に含めるのである。

前記実施例は、検証用クラウドソーシング作業プールに含まれている、検証用クラウドソーシング作業の数が指定されている場合（例えば、検証用クラウドソーシング作業の数は１００個を維持）の実施例に該当し得る。

他の実施例として、検証用クラウドソーシング作業プールは累積的に構築されうるのであり、検証用クラウドソーシング作業プールが作業者毎に同一であるとき、検証用クラウドソーシング作業を提供する毎に同一の作業者が行った作業を除いて提供する。

前記実施例は、検証用クラウドソーシング作業の個数が指定されていない場合に該当するのであり、その他にも、検証用クラウドソーシング作業の個数が指定されていない場合には、除外される検収通過クラウドソーシング作業を考慮せずに、検証用クラウドソーシング作業６０が抽出される毎に、継続して、抽出された検証用クラウドソーシング作業６０を検証用クラウドソーシング作業プールに含めることができる。

図７で示した、既に行われた本番用クラウドソーシング作業７１〜７６、検収通過クラウドソーシング作業８０、及び、検収通過クラウドソーシング作業８１〜８４の個数は、任意であり、１つ以上であれば、何れの個数でも含まれうる。

図７を参照すれば、既に行われた本番用クラウドソーシング作業７１〜７６は、作業者が既に行った本番用クラウドソーシング作業であり、検収者の検収が完了する前の作業に該当する。既に行われた本番用クラウドソーシング作業７１〜７６に対する検収が完了すると、そのうちの、検収を通過した作業、すなわち、作業者による作業の後に、検収者による検収を通過した本番用クラウドソーシング作業７３、７４、７５、７６を、検収通過クラウドソーシング作業８０に分類する。

コンピュータは、分類された検収通過クラウドソーシング作業８０を、図７での例示のように、検収にかかった時間が長い順に配列するのであり、検収時間が長い順に、予め定められた所定の順位の範囲内（例えば１位からｎ位まで）に該当する検収通過クラウドソーシング作業８１〜８３のみを抽出する。

検収時間が長いということは、他の作業に比べて注意深く作業を行わなければならないということを意味するので、検収時間が長い順に抽出すれば、検証用クラウドソーシング作業を提供する趣旨に沿うように、不良な作業に対する別途の検収時間がかからないため、より効果的である。

また、既に行われた本番用クラウドソーシング作業７１〜７６及び検収通過クラウドソーシング作業８１〜８４は、リアルタイムで継続して生成されるが、所定の順位までを抽出する基準は、管理者又はコンピュータの設定により予め設定されうるのであり、個数単位又は時間単位で抽出することもできる。

図７により所定の順位だけ抽出された検収通過クラウドソーシング作業８１〜８３は、直ちに検証用クラウドソーシング作業プールに含まれうる。

しかし、検収者も、作業に集中できないなど検収にエラーが存在し得るので、これを防止し、より検証された検証用クラウドソーシング作業６０を提供するために、追加的な検収者の検収を通じて検証用クラウドソーシング作業プールに含まれる最終的な検証用クラウドソーシング作業６０を抽出することができる。

図８を参照すれば、図７にて所定の順位までを抽出した検収通過クラウドソーシング作業８１〜８３を他の検収者の追加的な検収作業を経て検証用クラウドソーシング作業６０を抽出する方法を確認できる。

まず、図７で検収を行った検収者を第１検収者とすると、図８では追加的に第２検収者３４-１及び第３検収者３４-２の検収を経る。このとき、図８で２人の検収者のみ追加的に検収するものと示したが、追加的に検収を行う検収者の数は１つ以上であって、予め定められているか、管理者が設定するか、設定された一定基準に基づいて決定されうる。

図８についてより具体的に説明すれば、図７にて、第１検収者による検収が通過され、所定の順位で抽出された検収通過クラウドソーシング作業８１〜８３を第２検収者３４-１及び第３検収者３４-２に追加的に検収するようにする。

第２検収者３４-１は、８１及び８２の検収通過クラウドソーシング作業に対してのみ検収を通過させ、８３の検収通過クラウドソーシング作業に対しては通過させなかった。

第３検収者３４-２は、８１の検収通過クラウドソーシング作業に対してのみ検収を通過させ、８２及び８３の検収通過クラウドソーシング作業に対しては検収を通過させなかった。

従って、追加的な検収者である第２検収者３４-１及び第３検収者３４-２の検収を全て通過した作業は、８１の検収通過クラウドソーシング作業であり、該当検収通過クラウドソーシング作業のみが検証用クラウドソーシング作業６０であって、検証用クラウドソーシング作業プールに含められることになる。

特に示してはいないが、本発明の本番作業に基づいた検証用クラウドソーシング作業を提供する方法は、本番用クラウドソーシンググループ作業の結果が有効か否かを判断する段階（Ｓ１９０）の後に、追加的な本番用クラウドソーシンググループ作業の結果を受信する段階と、追加的な検証用クラウドソーシング作業の結果を受信する段階とを更に含むことができる。

１）ｎ個の本番用クラウドソーシング作業の結果が有効でない場合
コンピュータは、ｎ個の本番用クラウドソーシング作業の結果を、有効でないクラウドソーシング作業と定義した直後に、作業者の端末にｎ-ｉ個（但し、ｉは１以上の自然数）の追加的な本番用クラウドソーシング作業を送信する。

コンピュータは、作業者の端末からｎ-ｉ個の追加的な本番用クラウドソーシング作業の結果を受信する。その後、ｎ-ｉ個の追加的な本番用クラウドソーシング作業に相応する、事前に準備された、１つ以上の追加的な検証用クラウドソーシング作業を読み込む。

コンピュータは、ｎ-ｉ個の追加的な本番用クラウドソーシング作業の結果を受信した直後に、作業者の端末に、前記１つ以上の追加的な検証用クラウドソーシング作業を送信する。そして、作業者の端末から、１つ以上の追加的な検証用クラウドソーシング作業の結果を受信する。

作業者が検証用クラウドソーシング作業を正常に遂行できなければ、その後、検証用クラウドソーシング作業は、より速く送受信されることになるのであり、その後、検証用クラウドソーシング作業を受信する順番はｉによって決定されるのであり、ｉは、有効でないクラウドソーシング作業として定義された作業の数に、相応して変更される。例えば、ｉは、以前の有効でないクラウドソーシング作業として定義された作業の数を、所定の１以上の自然数で割った値であり得る。又は、ｉは、以前の有効でないクラウドソーシング作業として定義された作業の数に相応する、所定の１以上の自然数であり得る。

ｉが所定の基準以下である場合、該当本番用クラウドソーシング作業及び検証用クラウドソーシング作業を行った作業者を、信頼できない作業者として定義及び分類し、コンピュータは、該当作業者の端末に１つ以上の本番用クラウドソーシング作業を送信しない。例えば、ｉが２以下になると、作業者はこれ以上、本番用クラウドソーシング作業を遂行できない。作業者を信頼できない作業者として定義することは、１つの特定のクラウドソーシング作業に対して信頼できないということを意味し、新規顧客又は既存顧客が新たなクラウドソーシング作業を管理者に要請する場合、以前のクラウドソーシング作業で信頼できない作業者に分類された作業者も、新たに本番用クラウドソーシング作業を行いうる。

顧客要求受信部（図示せず）は、顧客の端末から要求されたクラウドソーシング作業の信頼度を受信できる。ｉは、顧客端末から要求されたクラウドソーシング作業の信頼度に相応して変更された値であり得る。ｉは有効でないクラウドソーシングと定義された作業の数を所定の数で割った値であり得る。例えば、ｉは有効でないクラウドソーシング作業の数を２で割った値であり得る。所定の数は、顧客から要求されたクラウドソーシング作業の信頼度によって決定されることができる。例えば、顧客から要求されたクラウドソーシング作業の信頼度が高い場合、所定の数を低い数にすることができる。これにより、ｉは相対的に高い数となり、検証用クラウドソーシング作業が伝送される時点が相対的に繰り上げられる。

２）ｎ個の本番用クラウドソーシング作業の結果が有効な場合
コンピュータは、ｎ個の本番用クラウドソーシング作業の結果を、有効なクラウドソーシング作業として定義した直後に、作業者の端末にｎ＋ｊ個（但し、ｊは１以上の自然数）の追加的な本番用クラウドソーシング作業を送信する。

コンピュータは、作業者の端末からｎ＋ｊ個の追加的な本番用クラウドソーシング作業の結果を受信する。

その後、ｎ＋ｊ個の追加的な本番用クラウドソーシング作業に相応し、事前に準備された、１つ以上の追加的な検証用クラウドソーシング作業を読み込む。

コンピュータは、ｎ＋ｊ個の追加的な本番用クラウドソーシング作業の結果を受信した直後に、作業者の端末に１つ以上の追加的な検証用クラウドソーシング作業を送信する。そして、作業者の端末から１つ以上の追加的な検証用クラウドソーシング作業の結果を受信する。

作業者が検証用クラウドソーシング作業を正常に行うと、その後に、検証用クラウドソーシング作業は、より遅く送受信されることになるのであり、その後に検証用クラウドソーシング作業を受信する順番は、ｊによって決定されるのであり、ｊは、有効なクラウドソーシング作業として定義された作業の数に相応して変更される。例えば、ｊは、以前の有効なクラウドソーシング作業として定義された作業の数を、所定の１以上の自然数で割った値であり得る。又は、ｊは、以前の有効なクラウドソーシング作業として定義された作業の数に相応する、所定の１以上の自然数であり得る。

ｊが所定の基準以上である場合、該当本番用クラウドソーシング作業及び検証用クラウドソーシング作業を行った作業者を、信頼できる作業者として定義及び分類し、コンピュータは、該当作業者の端末に、１つ以上の検証用クラウドソーシング作業を送信しない。作業者を信頼できる作業者として定義することは、１つの特定のクラウドソーシング作業に対して信頼できるということを意味し、新規顧客又は既存顧客が新たなクラウドソーシング作業を管理者に要請する場合、以前のクラウドソーシング作業で信頼できる作業者に分類された作業者も、新たに検証用クラウドソーシング作業を行わなければならないのでありうる。

作業者が信頼できる作業者に分類及び定義された場合、１つ以上の追加的な本番用クラウドソーシング作業に相応する、１つ以上の追加的な検証用クラウドソーシング作業の結果を受信する段階を進行しない。従って、信頼できる作業者による追加的な本番用クラウドソーシング作業の結果を、検証用クラウドソーシング作業でもって検証する過程無しに、有効なクラウドソーシング作業として定義する。

顧客要求受信部（図示せず）は、顧客の端末から要求されたクラウドソーシング作業の信頼度を受信し、ｊは、顧客から要求されたクラウドソーシング作業の信頼度に相応して変更された値であり得る。ｊは、有効なクラウドソーシング作業の数を所定の数で割った値であり得る。例えば、ｊは、有効なクラウドソーシング作業の数を２で割った値であり得る。所定の数は、顧客から要求されたクラウドソーシング作業の信頼度によって決定され得る。例えば、顧客から要求されたクラウドソーシング作業の信頼度が高い場合、所定の数を高い数にすることができる。これにより、ｊは相対的に低い数となり、検証用クラウドソーシング作業が伝送（送受信）される時点が、相対的に繰り上げられる。

図９は、本番用クラウドソーシング作業の結果が有効でないという場合、後で本番用クラウドソーシング作業及び検証用クラウドソーシング作業を提供する例示図である。

図９を参照すれば、検証用クラウドソーシング作業の結果、予め定められた解答と一致しない場合、本番用クラウドソーシング作業の結果が有効でないものと定義及び分類される。

作業者が、検証用クラウドソーシング作業♯１（３１０）を正常に遂行できなければ、検証用クラウドソーシング作業＃１（３１０）の以前に行われた、ｎ個の本番用クラウドソーシング作業の結果は、有効でないクラウドソーシング作業として定義及び分類される。そして、作業者は、以前のｎ回よりも低いｎ-ｉ回の本番用クラウドソーシング作業を行い、検証用クラウドソーシング作業＃２（３２０）を行う。同様に、検証用クラウドソーシング作業＃２（３２０）を正常に遂行できなければ、検証用クラウドソーシング作業＃１（３１０）の後に行われ、かつ、検証用クラウドソーシング作業＃２（３２０）の以前に行われた、ｎ-ｉ個の本番用クラウドソーシング作業の結果は、有効でないクラウドソーシング作業として定義及び分類される。

従って、作業者が検証用クラウドソーシング作業を正常に行っていないという場合、この前の本番用クラウドソーシング作業の結果は、有効でないクラウドソーシング作業として定義及び分類される。そして、該当作業者の能力に対する信頼度は、以前よりも低く評価され、該当作業者は、検証用クラウドソーシング作業を、以前よりも更に速く受信することになる。検証用クラウドソーシング作業は、以前の検証用クラウドソーシング作業の結果に応じて、相対的に速く送受信されることもありうるのであり、相対的に遅送く受信されることがありうる。そして、ｉが所定の値以下になると、該当作業者は信頼できない作業者となり、その後からは検証用クラウドソーシング作業及び本番用クラウドソーシング作業を行うことができなくなる。

図１０は、本番用クラウドソーシング作業の結果が有効であるという場合、この後に本番用クラウドソーシング作業及び検証用クラウドソーシング作業を提供する例示図である。

図１０を参照すれば、検証用クラウドソーシング作業の結果、予め定められた解答と一致する場合、本番用クラウドソーシング作業の結果が有効なものとして定義及び分類される。

作業者が検証用クラウドソーシング作業＃１（４１０）を正常に行うと、検証用クラウドソーシング作業＃１（４１０）の以前に行われた、ｎ個の本番用クラウドソーシング作業の結果は、有効なクラウドソーシング作業として定義及び分類される。そして、作業者は、以前のｎ回よりも多いｎ＋ｊ回の本番用クラウドソーシング作業を行い、検証用クラウドソーシング作業＃２（４２０）を行う。同様に、検証用クラウドソーシング作業＃２（４２０）を正常に行うと、検証用クラウドソーシング作業＃１（４１０）の後に行われ、かつ、検証用クラウドソーシング作業＃２（４２０）の以前に行われた、ｎ＋ｊ個の本番用クラウドソーシング作業の結果は、有効なクラウドソーシング作業として定義及び分類される。

従って、作業者が検証用クラウドソーシング作業を正常に行った場合、この前の本番用クラウドソーシング作業の結果は、有効なクラウドソーシング作業として定義及び分類される。そして、該当作業者の能力に対する信頼度は、以前よりも高く評価され、該当作業者は、検証用クラウドソーシング作業を、以前よりも更に遅く受信することになる。検証用クラウドソーシング作業は、以前の検証用クラウドソーシング作業の結果に応じて、相対的に速く送受信することもありうるのであり、相対的に遅く送受信することがありうる。そして、ｊが所定の値以上になると、該当作業者は信頼できる作業者となり、その後から検証用クラウドソーシング作業を行わなくても、本番用クラウドソーシング作業の結果を、有効なクラウドソーシング作業として定義する。

図１１は、本発明の他の実施例による本番作業に基づいた検証用クラウドソーシング作業提供装置の概略的な構成図である。

図１１を参照すれば、本番作業に基づいた検証用クラウドソーシング作業提供装置は、検証用クラウドソーシング作業プール構築部５１０、本番用クラウドソーシンググループ作業結果受信部５２０、検証用クラウドソーシング作業送信部５３０、検証用クラウドソーシング作業結果受信部５４０及び有効／無効判断部５５０を含む。

図１１の本番作業に基づいた検証用クラウドソーシング作業提供装置の構成要素は、図１ないし図１０を参照して説明した方法の構成要素に相応する。以下、装置の各構成要素の機能又は動作を説明する上で重複する説明は省略する。

検証用クラウドソーシング作業プール構築部５１０は、検証用クラウドソーシング作業で構成された、検証用クラウドソーシング作業プールを構築する。

本番用クラウドソーシンググループ作業結果受信部５２０は、作業者端末から本番用クラウドソーシンググループ作業の結果を受信する。

検証用クラウドソーシング作業送信部５３０は、本番用クラウドソーシンググループ作業に相応する１つ以上の検証用クラウドソーシング作業を、検証用クラウドソーシング作業プール内から選択して作業者端末に送信する。

検証用クラウドソーシング作業結果受信部５４０は、１つ以上の検証用クラウドソーシング作業の結果を作業者端末から受信する。

有効／無効判断部５５０は、１つ以上の検証用クラウドソーシング作業の結果に基づいて、本番用クラウドソーシンググループ作業の結果が有効か否かを判断する。

本発明の実施例と関連して説明された方法又はアルゴリズムの段階は、ハードウェアで直接実現するか、ハードウェアにより実行されるソフトウェアモジュールで実現するか、又はこれらの結合により実現することができる。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、脱着型ディスク、ＣＤ-ＲＯＭ、又は本発明が属する技術分野において周知された任意の形式のコンピュータで読み取り可能な記録媒体にも存在し得る。

以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できるであろう。従って、以上で記述した実施例は、あらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。

１０ 依頼者
２０ サービス提供業者
３０ 大衆
３２ 作業者
３４ 検収者
５０ 本番用クラウドソーシンググループ作業
６０ 検証用クラウドソーシング作業
７１、７２、７３、７４、７５、７６ 処理済みの本番用クラウドソーシング作業
８０、８１、８２、８３、８４ 検収通過クラウドソーシング作業
５１０ 検証用クラウドソーシング作業プール構築部
５２０ 本番用クラウドソーシンググループ作業結果受信部
５３０ 検証用クラウドソーシング作業送信部
５４０ 検証用クラウドソーシング作業結果受信部
５５０ 有効可否判断部

Claims (8)

1. コンピュータにより行われる方法であって、
   検証用クラウドソーシング作業プールを構築する段階と、
   作業者端末から本番用クラウドソーシンググループ作業の結果を受信するのであって、前記本番用クラウドソーシンググループ作業は、１つ以上の本番用クラウドソーシング作業で構成されたものである、本番用クラウドソーシンググループ作業結果受信段階と、
   前記本番用クラウドソーシンググループ作業に相応する１つ以上の検証用クラウドソーシング作業を前記検証用クラウドソーシング作業プール内から選択して前記作業者端末に送信する段階と、
   前記１つ以上の検証用クラウドソーシング作業の結果を前記作業者端末から受信する段階と、
   前記１つ以上の検証用クラウドソーシング作業の結果に基づいて、前記本番用クラウドソーシンググループ作業の結果が有効か否かを判断する段階とを含み、
   前記検証用クラウドソーシング作業プールは、複数の検証用クラウドソーシング作業を含み、
   前記検証用クラウドソーシング作業プールを構築する段階は、
   クラウドソーシング作業プロジェクトの進行中にリアルタイムで、既に行われた１つ以上の本番用クラウドソーシング作業の結果から、検収者の検収を通過した検収通過クラウドソーシング作業の結果を抽出する段階と、
   前記抽出した検収通過クラウドソーシング作業の結果のうちの、所定の条件を満たす検収通過クラウドソーシング作業の結果に基づいて、本番作業基盤の検証用クラウドソーシング作業を生成する段階と、
   前記生成された本番作業基盤の検証用クラウドソーシング作業を前記検証用クラウドソーシング作業プールに含める段階とを含み、
   前記所定の条件は、
   検収にかかった時間を基にした所定の順位に該当するものであり、
   前記検証用クラウドソーシング作業を生成する段階は、
   前記抽出した検収通過クラウドソーシング作業の結果から、所定の条件を満たす検収通過クラウドソーシング作業の結果を抽出する段階と、
   前記所定の条件を満たす検収通過クラウドソーシング作業の結果について、前記検収者と異なる一人以上の検収者に再検収を要請する段階と、
   前記再検収の結果、前記一人以上の検収者の全ての者による検収を通過することとなった再検収通過クラウドソーシング作業の結果に基づいて本番作業基盤検証用クラウドソーシング作業を生成する段階と、
   を含む、本番作業に基づいた検証用クラウドソーシング作業を提供する方法。
2. １つ以上の検証用クラウドソーシング作業を前記作業者端末に送信する段階では、
   前記作業者端末と同一の作業者端末に既に提供された検証用クラウドソーシング作業を除いた、１つ以上の検証用クラウドソーシング作業を前記作業者端末に送信することを特徴とする請求項１に記載の本番作業に基づいた検証用クラウドソーシング作業を提供する方法。
3. 前記検証用クラウドソーシング作業プール内の特定の検証用クラウドソーシング作業が、前記作業者端末と同一の作業者端末から受信した、１つ以上の本番用クラウドソーシング作業の結果に基づいて生成された場合には、
   １つ以上の検証用クラウドソーシング作業を前記作業者端末に送信する段階は、
   前記特定の検証用クラウドソーシング作業を除いた１つ以上の検証用クラウドソーシング作業を前記作業者端末に送信することを特徴とする請求項１に記載の本番作業に基づいた検証用クラウドソーシング作業を提供する方法。
4. 前記検証用クラウドソーシング作業プールを構築する段階は、
   クラウドソーシング作業プロジェクトの遂行前に、管理者により予め生成された検証用クラウドソーシング作業を、前記検証用クラウドソーシング作業プールに含めることを更に含むことを特徴とする請求項１に記載の本番作業に基づいた検証用クラウドソーシング作業を提供する方法。
5. 前記検証用クラウドソーシング作業プール内から選択して前記作業者端末に送信する段階は、
   前記予め生成された検証用クラウドソーシング作業が尽きた後、前記本番作業基盤の検証用クラウドソーシング作業を前記作業者端末に送信することを特徴とする請求項４に記載の本番作業に基づいた検証用クラウドソーシング作業を提供する方法。
6. 前記本番用クラウドソーシンググループ作業の結果が有効か否かによって、前記本番用クラウドソーシンググループ作業の結果に対する検収を行うか否かを決定する段階を更に含み、
   前記本番用クラウドソーシンググループ作業の結果に対する検収を行うか否かを決定する段階は、
   前記検証用クラウドソーシング作業の結果が、予め決定された解答と一致する場合には、該当本番用クラウドソーシンググループ作業の結果に対して検収を行うように決定し、
   前記検証用クラウドソーシング作業の結果が、予め決定された解答と一致しない場合には、該当本番用クラウドソーシンググループ作業の結果を削除処理して検収を行わないように決定することを特徴とする請求項１に記載の本番作業に基づいた検証用クラウドソーシング作業を提供する方法。
7. ハードウェアであるコンピュータと結合され、請求項１〜６の何れか一項に記載の方法を実行させるために媒体に格納された、本番作業に基づいた検証用クラウドソーシング作業提供コンピュータプログラム。
8. 検証用クラウドソーシング作業プールを構築する検証用クラウドソーシング作業プール構築部と、
   作業者端末から本番用クラウドソーシンググループ作業の結果を受信するのであって、前記本番用クラウドソーシンググループ作業は、１つ以上の本番用クラウドソーシング作業で構成されたものである、本番用クラウドソーシンググループ作業結果受信部と、
   前記本番用クラウドソーシンググループ作業に相応する１つ以上の検証用クラウドソーシング作業を前記検証用クラウドソーシング作業プール内から選択して前記作業者端末に送信する検証用クラウドソーシング作業送信部と、
   前記１つ以上の検証用クラウドソーシング作業の結果を前記作業者端末から受信する検証用クラウドソーシング作業結果受信部と、
   前記１つ以上の検証用クラウドソーシング作業の結果に基づいて、前記本番用クラウドソーシンググループ作業の結果が有効か否かを判断する有効／無効判断部とを含み、
   前記検証用クラウドソーシング作業プールは、複数の検証用クラウドソーシング作業を含み、
   前記検証用クラウドソーシング作業プール構築部は、
   クラウドソーシング作業プロジェクトの進行中にリアルタイムで、既に行われた１つ以上の本番用クラウドソーシング作業の結果から、検収者の検収を通過した検収通過クラウドソーシング作業の結果を抽出し、
   前記抽出した検収通過クラウドソーシング作業の結果のうちの、所定の条件を満たす検収通過クラウドソーシング作業の結果に基づいて、本番作業基盤の検証用クラウドソーシング作業を生成し、
   前記生成された本番作業基盤の検証用クラウドソーシング作業を前記検証用クラウドソーシング作業プールに含め、
   前記所定の条件は、
   検収にかかった時間を基にした所定の順位に該当するものであり、
   前記検証用クラウドソーシング作業プール構築部は、
   前記抽出した検収通過クラウドソーシング作業の結果から、所定の条件を満たす検収通過クラウドソーシング作業の結果を抽出し、
   前記所定の条件を満たす検収通過クラウドソーシング作業の結果について、前記検収者と異なる一人以上の検収者に再検収を要請し、
   前記再検収の結果、前記一人以上の検収者の全てによる検収を通過した再検収通過クラウドソーシング作業の結果に基づいて本番作業基盤検証用クラウドソーシング作業を生成する、本番作業に基づいた検証用クラウドソーシング作業提供装置。
   

Images