Опросы снова неверны? Почему эксперты обеспокоены «стадностью»
Менее чем через неделю после заключения сделки опросы показывают безумно близкую гонку между Дональдом Трампом и Камалой Харрис , как на национальном уровне, так и в семи колеблющихся штатах. В последнее время было трудно найти опросы, показывающие что-то еще. И это привело к подозрениям, как это часто случается на финишной прямой, что социологи «стадят», т. е. подгоняют свои цифры как можно ближе к цифрам других социологов, как выразился Нейт Сильвер :
Сильвер уже некоторое время сосредоточен на стадном подходе. Когда он еще руководил FiveThirtyEight, он предложил объяснение, почему некоторые социологи придерживаются стадного подхода:
Еще одним осложнением является « стадность », или тенденция опросов давать очень похожие результаты с другими опросами, особенно ближе к концу кампании. Методологически слабый исследователь может публиковать поверхностно хорошие результаты, манипулируя своими опросами, чтобы соответствовать результатам более сильных опросных фирм. Если предоставить его самому себе — без более сильных опросов, которые бы его направляли — он может не добиться таких успехов. Когда мы рассматривали опросы Сената с 2006 по 2013 год , мы обнаружили, что методологически слабые исследователи повышают свою точность примерно на 2 пункта, когда в этой области также есть сильные опросы.
Другими словами, никто не хочет смущаться публикации окончательного предвыборного опроса, который оказывается полным исключением. Возможно, именно поэтому некоторые из худших исключений на самом деле производятся «более сильными исследовательскими фирмами», которые не беспокоятся о своей репутации в плане точности, такими как New York Times –Siena, которую Сильвер выделяет как честную в своих данных. Times –Siena подняла Джо Байдена на девять пунктов среди вероятных избирателей в своем последнем опросе в середине октября 2020 года (Байден выиграл общенациональное голосование с перевесом в 4,5 процента). Хуже того, Times– Siena провела опрос в конце октября четыре года назад, показав, что Байден лидирует с перевесом в 11 пунктов в Висконсине , переломном штате, где он фактически выиграл с перевесом в 0,7 процента.
Это совсем недавнее явление порождает своего рода философский вопрос: если опросы оказываются вводящими в заблуждение, кто более виновен — высококачественный социолог, который публикует выпадающий опрос, или низкокачественные социологи, которые «стадят» в одном направлении? Трудно сказать. Основной вопрос заключается в том, как происходит «стадение», если предположить, что социологи не просто смотрят вокруг и не заставляют свои цифры подражать всем остальным? Ранее на этой неделе политолог Джош Клинтон объяснил , как решения, которые все социологи должны принять относительно своих выборок, могут значительно изменить их результаты без какого-либо открытого вмешательства в итоговую строку:
После сбора данных опроса, социологи должны оценить, нужно ли им корректировать или « взвешивать » данные, чтобы учесть вполне реальную возможность того, что люди, принявшие участие в опросе, отличаются от тех, кто этого не делал. Это включает в себя ответы на четыре вопроса:
1. Соответствуют ли респонденты демографическим характеристикам электората по полу, возрасту, образованию, расе и т. д.? (Это было проблемой в 2016 году .)
2. Соответствуют ли респонденты электорату в политическом плане после корректировки выборки по демографическим факторам? (Это было проблемой в 2020 году .)
3. Какие респонденты будут голосовать?
4. Должен ли исследователь доверять данным?
Клинтон продолжает демонстрировать, что ответы социологов на эти вопросы могут привести к восьмибалльному изменению результатов скачек. То, что опросы по всеобщим выборам 2024 года на самом деле не показывают большого количества вариаций, вероятно, является лучшим доказательством того, что социологи отвечают на эти вопросы как «стадо», даже если они не ставят большой палец на весы в пользу Трампа или Харрис.
Мы не можем знать, было ли стадо правым или неправым, пока не пройдут выборы, но в защиту социологов можно сказать, что они в основном усердно работали над устранением проблем , которые привели к серьезным ошибкам в государственных опросах в 2016 году, а также в общенациональных и государственных опросах в 2020 году. (В конце концов, они были очень точны в 2022 году .) Тем не менее, как утверждает Клинтон в более поздней статье , ошибка может быть такой же и в этом году, и распространяться более систематически:
Тот факт, что так много опросов колеблющихся штатов сообщают о схожих близких разрывах, является проблемой, поскольку это поднимает вопросы о том, связаны ли опросы в этих гонках с избирателями или социологами. Будет ли 2024 год таким же близким, как 2020 год, потому что наша политика стабильна, или опросы в 2024 году будут похожи на результаты 2020 года только из-за решений, которые принимают социологи штатов? Тот факт, что опросы кажутся более плотно сгруппированными, чем мы ожидали бы в идеальном мире опросов, поднимает серьезные вопросы о втором сценарии.
Отложив на время опросы, обеспокоенные эксперты и сторонники обоих кандидатов в президенты, по понятным причинам, ищут признаки, которые могли бы указывать на близкий перелом выборов в ту или иную сторону в последнюю минуту. Некоторые в обоих лагерях одержимы золотом дураков данных о предварительном голосовании ; учитывая огромные неопределенности, связанные с определением того, кем являются эти люди с течением времени и были ли бы их «сохраненные» голоса отданы позже, вы можете использовать предварительное голосование, чтобы «доказать» все, что хотите. Другие одержимы субъективными признаками «энтузиазма » , который может иметь значение, но только в зависимости от того, насколько далеко он простирается за пределы уверенности в голосовании и является заразным («неэнтузиастичный» голос учитывается точно так же, как и «энтузиастичный» голос). Более важным фактором является масштаб и эффективность рекламы в последнюю минуту и усилий по мобилизации избирателей , но первые, как правило, нейтрализуют друг друга, а вторые, как правило, слишком скрыты, чтобы взвешивать с какой-либо степенью уверенности.
Наконец, некоторые наблюдатели придают значение поздним тенденциям, связанным с объективным состоянием страны, в частности, улучшению макроэкономических данных. С этим подходом связаны две проблемы: во-первых, восприятие экономики, как правило, формируется задолго до дня выборов , а во-вторых, нынешние представления избирателей о всевозможных явлениях имеют относительно мало общего с объективными доказательствами . Значительная часть электората верит вопреки доказательствам, например, в то, что экономика ужасна и становится все хуже, что мы находимся в середине общенациональной волны преступности и что миллионы нелегальных иммигрантов устремляются в центральные общины, чтобы совершать преступления и голосовать нелегально. Это не та среда, в которой многие избиратели с тревогой изучают статистику, чтобы узнать, как идут дела в Америке.
Если опросы действительно окажутся существенно неверными, мы почти наверняка увидим волну поствыборного невежества, в котором разгневанные или разочарованные люди будут утверждать, что мы должны отбросить все объективные индикаторы того, как разворачиваются выборы, и вместо этого положиться на флюиды, «внутренние импульсы» и наши собственные предрассудки. Я надеюсь, что этого не произойдет. Какими бы несовершенными они ни были, опросы (и, если на то пошло, экономические показатели и статистика преступности или иммиграции) намного лучше, чем полагаться на циничный партийный ажиотаж, пиар и дезинформацию, которые, как правило, самовоспроизводятся по мере того, как им оказывают доверие. И как мы уже знаем — и, возможно, нам напомнят 5 ноября — от отклонения опросов до отклонения реальных результатов выборов всего один шаг. И этот путь лежит к еще одному 6 января или чему-то похуже.
