Так начинается выпуск
Проверять не то и не так
Совет «проверяй информацию» раздают все и почти никогда не уточняют, что именно делать руками. Когда это уточнили и измерили, выяснилось неприятное: самый распространённый способ проверки работает в обратную сторону.
Тринадцать работ, десятки тысяч участников. Восемь из них — эксперименты с контрольной группой или мета-анализы таких экспериментов, и вопрос в них один: человек выполнил вот это действие — стал ли он после него точнее отличать правду от выдумки? Не «почувствовал ли себя увереннее», а именно точнее.
Ответы разошлись сильнее, чем можно было ждать, и разошлись не по линии «простое против сложного». По линии «привычное против измеренного».
Что вышло, если коротко
Первое: «погугли, прежде чем верить» делает хуже. Пять рандомизированных экспериментов: участники оценивали главное утверждение статьи, половина — предварительно поискав в интернете. В первом из них искавшие называли ложную статью правдивой чаще на 19 % относительно контроля. Механизм не в доверчивости: поиск по редкой формулировке из самой выдумки возвращает источники, которые под эту формулировку и написаны.
Второе: спросить у языковой модели — тоже не проверка. В предрегистрированном эксперименте на 2 159 участниках ChatGPT 3.5 неплохо опознавал ложь и почти не справлялся с подтверждением правды: из двадцати правдивых заголовков подтвердил три. Хуже того, ответ «не уверена» читался людьми как «скорее да»: вера в такие заголовки выросла на 9,12 %, а в другой группе участников намерение переслать их — на 9,77 %; оба результата из разведочной части анализа.
Третье: работающие приёмы дешевле и скучнее. Уйти с сайта, чтобы понять сайт, — семестровый курс поднял долю полностью верных разборов с 2 % до 43,7 %, тогда как в контрольных секциях приём сам собой не появился. А один вопрос о точности постороннего заголовка перед открытием ленты поднял разборчивость при пересылке на 71,7 % — на выборке в 26 863 человека.