5段階評価ではワーカーを評価できない

5段階評価は高止まりする。

多くのクラウドソーシングプラットフォームでは、ワーカーの評価に5段階評価を利用しています。 　

　例えば、oDeskでは、

• Skills
• Quality
• Availability
• Deadlines
• Communication
• Cooperation

という指標に分けて、それぞれを5点満点で評価しています。この５段階評価ですが、実はあまりあてになりません。

　5なのか、4なのか、これはかなり曖昧な定義で評価者の主観に依存してしまいます。

　特にoDeskなどのグローバルなプラットフォームでは、日本人の品質の5と他国の評価者の5ではおそらくその意味合いが大きく異なります。ですので、例え、5点が付いているワーカーでも、我々が5点満点からイメージするような品質が得られないようなことは多々あります。

　更に問題なのは、5をつけるのが当たり前という状況になっており、全体として評価が高止まりしてしまっていることがあげられます。　

　筆者が以前調べたところでは、

　oDeskで、"translation"を行い、実績が100時間以上をワーカーの評価点を調査したところ、87％が平均4.0以上の評価を得ており、1000時間以上では、90%を超える人材が4.0以上


となっていました。ある程度、実績のあるワーカーを雇用とようとしたら、ほとんどが4.0以上であるので、5段階評価ではその差を見極めるのは困難になっています。

　実際5段階評価を当てにして発注してみたら、ひどいクオリティーだったということは多々あります。その辺は、こちらにも書いてありますので、よろしければ。

稼いでいる人ほど評価が低い？　

さて、今回は、この５段階評価に関する研究を一つ紹介します。

Profile Information and Business Outcomes of Providers in Electronic Service Marketplaces: An Empirical Investigation

というオーストラリアの研究者の論文です。

　Electronic Service Marketplace（ESM）において、provider(サービス提供者、ワーカー）の売上が、プロファイル情報（5段階評価、スキル数等）とどのような関係にあるかを調べています。

 ESMとなっていますが、恐らくクラウドソーシングプラットフォームであり、Freelancer.comあたりではないかと推測されます。

　さて、内容はというと、providerの評価を、

• External Information：provider自身が提供するデータ。ポートフォリオの数、テスト結果等
• Internal Information:プラットフォームから与えられるデータ。５段階評価

に分けて、これらの指標とproviderの売上との相関を測定しています。

　データは、年間$50,000以上のprovider217社となっています。

　結果としては、

External Informationと売上高は正の相関を示す

Internal Informationと売上高は負の相関を示す

となっています。

　まず、Externalについては、provider自身が提示したポートフォリオの数や、スキルテストで上位10%以内に入ったスキル数などが、売上に影響しています。

　ただ、相関があるといっているだけで、因果関係までは言及しておらず、例えば、ポートフォリオ数などは、当然仕事を多く行い、数をこなせばポートフォリオも増加するので、ポートフォリオ数多い→売上高いとは言えなさそうです。もしろ、因果関係としては、逆で、多く仕事をして売上が上がるとポートフォリオリオが増えると考えられます。

　

　一方で面白いのは、Internalの情報（ここでは発注者からの5段階評価）と負の相関を示しているところにあります。　

　売上が高いproviderほど、評価が低いという相関を示しています。当然、評価が低くなることで、売上が上がるという因果関係は考えにくく、この論文でも、、売上が高くなるということは、必然的に低評価がつく可能性が上がるのが理由ではないかと述べています。

　つまり、売上が高い→多くの受注を受ける→多くの評価を受ける→たまに5でない評価がつく可能性が上がるということです。

　前半でも述べたように、クラウドソーシングのプラットフォームでは、5がつくのが当たり前の状況となっており、どちらかときたま4がつくといった状況です。

　ですので、「なんども受注していれば、4をつけれれることもあるさ」という状況で、売上が高くなると、評価が下がる可能性が高まってしまいます。これは、オークションサイトなどでも見られる傾向らしいです。

　このように、良いワーカーを見つけようと思えば、5段階評価はあまり役に立たないのですが、多くのプラットフォームで目立つ位置にあり、しかも発注者にとっても理解しやすい（した気になりやすい）ということもあり、その指標を重視してしまいがちです。

　ただ、本当に良いワーカーを見つけようと思えれば、発注者も単純な5段階評価だけでなく、ワーカーとの事前コミュニケーションや、多面的な情報をよく見て選択することが重要です。

　その辺は、こちらの書籍にも書いてありますので、よろしければ。最後に宣伝でした。