Новости

14.02.2015

Как пользователи Mechanical Turk снижают ценность академических исследований

В течение многих лет студенты являлись основной движущей силой научных исследований в США. Это было связано с тем, что эта социальная группа доминировала в качестве основных участников академических тестов и опросов. Результаты различных исследований — от экономических до психологических — ложились в основу многих внутриполитических решений. Это значит, что ответственность за современную картину мира во многом ложится на плечи нынешних 19-20-летних граждан.

Однако, за последние 10 лет возникла новая группа тестеров, которая постепенно вытесняет студентов колледжей из пространства академических исследований. Это «Турки». Дженни Мардер (Jenny Marder), сотрудница PBS Newhour, составила обязательный к прочтению отчет, повествующий о том, как эта социальная группа искажает результаты любых исследований.

10 лет назад Джефф Безос (Jeff Bezos) запустил платформу Mechanical Turk, которая предоставляла краудсорсинговые услуги по решению микрозадач. Такой инструмент чрезвычайно воодушевил академических исследователей, которые осознали, что теперь они с легкостью могут получить ответы на свои вопросы за сущие гроши.

Проблема заключается в том, что, со временем, на платформе Mechanical Turk образовалась специфическая группа супер-юзеров — пользователей, которые посвящают всю свою жизнь участию в различных опросах.

Исследователи обращаются к Mechanical Turk, предполагая найти на платформе безграничное сообщество потенциальных помощников. Однако, на самом деле они работают с одними и теми же людьми. Супер-юзер участвует в большем числе кампаний в неделю, чем обычный пользователь за всю свою жизнь. Дэвид Рэнд (David Rand), профессор психологии Йельского Университета (Yale University), который в свое время прослыл большим поклонником модели Mechanical Turk, считает сложившуюся ситуацию очень проблематичной.

Вопрос заключается не только в малочисленной выборке. Многие исследования основываются на так называемых интуитивных ответах. Но если вы участвуете в опросах каждую неделю, ваша интуиция притупляется. По словам Мардер, «мнения теряют свежесть». Другая проблема заключается в том, что участники исследований уже слишком хорошо знают все уловки исследователей, что мешает давать непредвзятые ответы.

Таким образом, ученые не могут контролировать среду своих исследований, поскольку ответы на запросы приходят из интернета. По мнению Мардер, давно пора задаться вопросом, насколько достоверны полученные при помощи краудсорсинга данные.

Источник — crowdsourcing.ru

К списку новостей