Такой комментарий особенно полезен сегодня, за неделю до того, как в Москве, на Autodesk University Россия, с новыми данными своего анализа выступит сам Брэд Хольц (3 октября,
Увы, и сто лет спустя репутация прикладной статистики в глазах обывателя не сильно изменилась. Причин тому несколько — многие исследования делаются непрофессионально, другие, наоборот, весьма профессионально «подгоняют» данные под желаемые результаты, а третьи неверно понимаются не совсем компетентным читателем.
Неудивительно, что по этим и другим историческим причинам многие наши граждане, экстраполируя свой неудачный опыт, склонны подозревать наличие махинаций и попыток «одурачивания» даже в совершенно безобидных аналитических публикациях лишь на том основании, что в них используются статистические методы и реальные данные.
Вообще говоря, во многих профессиональных кругах критическое отношение к публикуемым материалам горячо приветствуется. Однако при этом подразумевается, что критика должна быть конструктивной, методологически верной и основываться на научном анализе, а не на «здравом смысле», который, по словам еще одного классика, иногда является лишь набором предрассудков, приобретаемых до
Учитывая все эти соображения, легко понять, почему значительная часть читателей, ознакомившись со статьей «Cyon Research сопоставляет...», отнеслась к ее выводам с некоторой долей недоверия или даже воинствующего скептицизма, между делом обнаружив ритуально-магический смысл в числе 69.
Альберт Эйнштейн и Марк Твен настоятельно рекомендуют аккуратно относиться к цифрам и
критически оценивать аргументацию здравого смысла
Конечно же, некоторая вина здесь лежит и на авторах соответствующей публикации, недостаточно подробно разъяснивших методологические основы исследования. Мы постараемся ликвидировать этот пробел: сначала рассмотрим пару типичных проблем организации опросов, хорошо известных любому практикующему социологу или маркетологу, а затем приведем некоторые пояснения Брэда Хольца, скомпилированные редакцией isicad в формат ответов на часто задаваемые вопросы.
Размер имеет значение?
Какого размера выборку необходимо взять для адекватной оценки параметров распределения?
Интересно, что уже на этом месте бытовая интуиция и логика нередко начинает давать сбои даже у технарей с научными степенями. Чтобы хорошо представлять себе величины, о которых идет речь, полезно решить следующую задачу.
Задача. Пусть имеется генеральная совокупность всех российских пользователей САПР. Из нее случайно выбрали N пользователей. Выяснилось, что одна треть пользователей из выборки используют систему X (где X — это, скажем, Autodesk Inventor, T-Flex CAD, КОМПАС, или даже SolidWorks). Необходимо с надежностью 0.95 найти доверительный интервал для доли системы X на рынке.
Требуется дать ответ для трех различных N: А) 69, Б) 357 В) 670
Поскольку задача довольно типична для стандартного курса «тервера и матстата», то, опуская формулы и ссылки на использование ЦПТ, биномиального распределения или функции Лапласа, выпишем сразу ответ:
(А) [0.233, 0.45],
(Б) [0.286, 0.383],
(В) [0.3, 0.37].
Видно, что процесс неумолимо сходится, и уже для 357 респондентов погрешность укладывается в 5%. Для проверки ответа вполне можно поставить эксперимент в домашних условиях, подкидывая монету или игральную кость (хотя, если вы соратник Перси Диакониса, то результаты могут оказаться не в пользу теории вероятностей).
К сожалению, обратная задача — определить объем выборки для предстоящего исследования — является более сложной и подразумевает введение некоторых гипотез об искомых параметрах неизвестного распределения. С одной стороны, в качестве начального приближения можно было бы исходить из оценки: для
Короче говоря: чтобы увеличивать размеры выборки до тысячи и более — нужны очень веские аргументы.
Матстатистика иногда бесполезна?
В это будет трудно поверить некоторым математикам и инженерам, однако методы матстатистики являются далеко не единственным инструментом социологических или маркетинговых исследований. Экспертные опросы, интервьюирование, контент-анализ, фокус-группы и многое другое разработано специально для качественного анализа — выявления тенденций, закономерностей, генерации гипотез. Они могут требовать привлечения гораздо меньшего количества респондентов, а жанр самих исследований подразумевать более свободную форму ответа, чем того требует матстатистика. Ведь далеко не все интересные задачи могут быть сформулированы в виде: «какая САПР используется в данный момент» или «за кого будете голосовать на предстоящих выборах».
Например, для исследования тенденций развития инженерного софтвера могло бы оказаться более полезным плотно побеседовать с несколькими десятками посетителей COFES и несколькими руководителями крупных поставщиков PLM, чем опрашивать тысячу среднестатистических инженеров. Хотя это и дискуссионный вопрос.
Что важнее размера?
«А как была сформирована выборка? Как формировались вопросы?» — обязательно поинтересуется специалист по соц. опросам еще до того как услышит про размеры. Интересное наблюдение: многие студенты-социологи, сумевшие доучиться до четвертого курса, могут путаться в базовых понятиях матожидания или дисперсии, однако при этом твердо знают — ключом к успеху является грамотный дизайн исследования. Здесь важно и формирование выборки (кого и где опрашивать?), и состав самих вопросов (что спрашивать?) и последующая обработка результатов. Ведь если собирать статистику о распределении рынка между разными САПР и проводить опрос на интернет-форуме сообщества пользователей SolidWorks, то едва ли стоит надеяться на объективный результат. Так же как и вряд ли стоит оценивать политические пристрастия всех граждан России на основе мнения посетителей блога какого-нибудь матерого оппозиционного борца с коррупцией.
Один из известных исторических примеров такого фиаско — это опрос, проведенный журналом Literary Digest перед президентскими выборами 1936 года в США. При количестве респондентов в 2.5 миллиона человек итоговая ошибка составила 20%. Дело в том, что сотрудники журнала разослали анкеты по телефонному справочнику, не учтя, что счастливыми обладателями телефонов были обеспеченные граждане, традиционно голосующие за республиканцев. Удивительно, но опросив всего лишь 50 случайных человек с улицы, журнал мог бы добиться большей точности результатов!
В 1936 году победили Рузвельт и демократия. А статистика совершенно незаслуженно приобрела еще одно пятно на репутации.
В общем, вооружившись этими довольно простыми соображениями, можно теперь перейти к более детальному разъяснению методологии.
Методология: вопросы и ответы
Можно ли считать, что 69 — это репрезентативная выборка? А 357 или 690?
Такая постановка не совсем корректна. Ответ зависит от того, какую цель преследует исследование, как ставятся вопросы, как сформирована выборка. Если говорить о вопросе, подразумевающем строгий ответ, то, чтобы вычислить определенные средние показатели с погрешностью в 5% требуется случайная выборка из примерно 400 респондентов. В конкретной статье общее количество респондентов в мире составляло 670, в США — 357 и в России — 69. Грубо говоря, если бы по этой выборке определялась статистическая значимость некоторых показателей, то размер выборки данных для США и для всего мира можно считать достаточным, а для России ошибка была бы около 10%.
Однако указанные статистические оценки к данному исследованию в явном виде не применимы:
- во-первых, оно не ставило целью установить статистические значимости,
- во-вторых, не оперировало со случайной выборкой,
- и, наконец, 69 российских респондентов не рассматривались в отрыве от всей выборки, а только в контексте анализа корреляций российских данных с мировыми. Для подобного анализа достаточно и гораздо меньшего количества респондентов.
Может быть, для повышения репрезентативности исследования надо договориться с каким-нибудь предприятием, чтобы все его инженеры заполнили анкету?
Это не просто бессмысленно, но и вредно. Ответы инженеров будут, скорее всего, основываться на специфике одного конкретного предприятия. В результате оцениваемые показатели будут сильно смещены.
Является ли выборка исследования случайной?
Выборка проводилась с помощью рассылок по клиентским базам и публикаций объявлений на профильных сайтах. Такая выборка не является случайной хотя бы на том основании, что анкеты заполняет наиболее активная часть всех потенциальных респондентов.
Поэтому половина вопросов из анкеты была посвящена тому, чтобы лучше понять, кто является респондентом, чтобы в дальнейшем можно было применить подходящий корреляционный анализ. Например, один вопрос был о том, какое ПО используется. Тот факт, что было больше респондентов, использующих Inventor, чем Solid Edge, ровным счетом ничего не говорит об относительной доле на рынке каждой из систем. Это означает, что было больше данных о пользователях Inventor, чем о пользователях Solid Edge, и что можно отфильтровать первых на большем уровне детализации, чем вторых.
Какую цель ставило перед собой исследование?
Главной задачей была идентификация корреляций в данных, которые могут выглядеть интересно, и которые могут дать некоторое практическое понимание и догадки о сути происходящего в пользовательских сообществах. Обнаружение этих корреляций является первым шагом в процессе исследования.
Является ли эта корреляция интересной, и дает ли она какие-либо прояснения? Если это так, то на следующих этапах будет определено, не является ли эта корреляция каким-либо артефактом из-за специфического среза выборки респондентов.
Например, можно обнаружить предварительную информацию, показывающую, что директора организаций отвечают не так, как ожидалось. В полученных данных большинство директоров руководят маленькими фирмами. Таким образом, первым делом необходимо идентифицировать, относится ли корреляция к размеру фирмы, а затем определить, что вносит главный вклад в корреляцию — размер фирмы, роль или оба этих параметра.
Как только находится интересная корреляция, которая не является артефактом данных, то анализируется ее смысл. Укрепляет ли она ожидания или противоречит интуиции? Какие у нее могут быть причины? Или, что более важно, какие у нее следствия? Если есть значимые следствия, имеющие практическое значение, то имеет смысл запустить следующую стадию исследования, подразумевающую интервьюирование участников и более глубокое понимание результатов на качественном уровне.
Следующий этап исследований?
3 октября в Москве в рамках Autodesk University Брэд Хольц представит новый этап исследования Cyon Research. Сразу же за ним пройдет Круглый Стол, на котором можно будет обсудить весь спектр вопросов: есть ли у России свой собственный путь, каково общемировое состояние рынка САПР и, конечно же, в какую сторону мы движемся.