gatoazul (gatoazul) wrote,
gatoazul
gatoazul

Categories:

Еще кусок из книги Гутмана "Engineering security"

Предвзятость подтверждения и другие когнитивные искажения

Практика поиска только тех фактов, которые подтверждают гипотезу, известна как предвзятость подтверждения (confirmation bias), и была замечена еще во времена Фрэнсиса Бэкона, который заметил, что «это странная и постоянная ошибка человеческого понимания быть более тронутым и возбужденным от подтверждения, а не от отрицания». Одно из первых тщательных исследований феномена предвзятости подтверждения было проведено Питером Уэйсоном, который использовал тип задачи, ставший с тех пор известным (хотя бы среди психологов) как задача выбора Уэйсона. В одной распространенной форме, задаче Уэйсона 2-4-6, испытуемым дают последовательность из трех чисел, например, (2, 4, 6) и предлагают определить правило, которое управляет этой последовательностью, создав собственную, которая, по их мнению, тоже будет следовать тому же правилу. Когда они это сделают, они могут проверить точность своего предсказания, спрашивая экспериментатора, действительно ли их оно соответствует настоящему правилу. Когда настоящее правило было очень простым «любая возрастающая последовательность», испытуемые пытаются придумать намного более сложные правила («четные числа», (4, 6, 8)) и никогда не пытаются их опровергнуть (4, 5, 6).

Существовали многочисленные попытки попытаться улучшить выполнение этой задачи, представив ее в другой форме, например, превратив ее в упражнение по определению, имеет ли кто-либо право покупать алкоголь или нет (задача возрастного ограничения) или в еще более общем виде как принятие решений по социальным контрактам, например, распознавание обмана, но исследователи не уверены, что смена формы имеет смысл, поскольку она создает совершенно новую задачу, требующую совсем других процессов рассуждения, которых нет в задаче выбора Уэйсона. Работы на эту тему продолжаются, с многочисленными объяснениями, почему люди лучше решают задачу возрастного ограничения, чем задачу выбора Уэйсона, несмотря на тот факт, что в сущности — это одна и та же задача.

Тенденция людей к искажениям в пользу подтверждений широко изучалась и философами, и психологами. Именно из-за него ученые в области социальных наук используют в качестве стандартного инструмента таблицу 2x2 (в технических терминах, двухстороннюю таблицу вариантов или таблицу сопряженности), которая требует ввода — и изучения - статистических данных для четырех наборов вероятностей вер(А и Б), вер (А и не Б), вер(не А и Б), вер(не А и не Б), а не предвзятую таблицу вер(А и Б). Поэтому, если вы проверяете конкретную гипотезу Г, используя данные Д, тогда гипотеза может быть доказана или опровергнута на основе положительных или отрицательных тестовых результатов Д, с конечной целью найти прогностичность положительного результата вер(Г|Д), или вероятность гипотезы, если даны данные. Большинству людей (не имеющих опыта в статистике) довольно трудно даже понять эту идею.

Психологи подробного изучали феномен, когда люди подгоняют факты для поддержки своих выводов. Например, если человека подвергнуть тесту или исследованию, по результатам которого он будет выглядеть плохо, он обычно разыскивает информацию, которая поставила бы под сомнение валидность тестов; и наоборот, если он будет выглядеть благоприятно, то ищет информацию, подтверждающую валидность. Психологи называют эту практику поиска материалов в поддержку своего мнения и избегания материала, бросающего им вызов, избирательностью, мотивируемую диссонансом ( dissonance-motivated selectivity). В одном эксперименте для изучения этого эффекта, в котором участников просили оценить эффективность смертной казни на основе двух исследований, люди выбирали то исследование, из которого вытекали выводы, соответствующие их личным взглядам на смертную казнь, и излагали подробные причины, почему другое исследование неправильное. Последующее изучение показало, что в эту ловушку попадают даже тренированные ученые. Подобно физической имунной системе, у нас есть психологическая имунная система, которая позволяет нам чувствовать себя хорошо и разбираться со сложными ситуациями, и вышеприведенные примеры — это образцы работы такой имунной системы.

Параллельно с проблемой предвзятости подтверждения существует проблема предвзятости отрицания (disconfirmation bias), иногда называемой предвзятостью убеждения — тот факт, что люди охотнее принимают неправильный, но правдоподобнй вывод, чем правильный, но неправдоподобный. Другими словами, люди верят в то, во что хотят верить, и сами по себе эти убеждения часто основываются на неправильных рассуждениях.

Вероятно, наиболее серьезным случаем предвзятости подтверждения в области компьютерной безопасности (или по крайней мере в безопасности шифрования, поскольку компьютеры в то время еще не существовали), была вера немецкой армии в шифровальные машины, особенно в «Энигму». Из-за статистической сложности «Энигмы» делавшей невозможной ее взлом, практически все (шпионы, предатели, просто невезение) было более вероятным объяснением, чем совершенно немыслимое «Энигма» взломана». В одном случае только невероятная удача, перевод подводных лодок из Атлантического в Тихий океан из-за больших потерь, помогла прикрыть тот факт, что Союзники временно потеряли возможность взламывать шифрованные сообщения немецкого флота из-за недавно произошедшей смены шифра. Если бы немецкий флот остался в Атлантическом океане, немцы могли бы догадаться, что после введения нового шифра количество их проблем резко сократилось.

Более недавний пример предвзятости подтверждения в компьютерной безопасности, на этот раз при разработке сетевого протокола, произошел в «Майкрософте», когда они еще серьезно не взялись за безопасность. Когда они исчерпывающе тестировали свою реализацию SMB (протокол обмена для рабочих групп в локальной сети), они пробовали все типы правильных пакетов, но даже не пытались подсунуть битый, и очень удивлялись, зачем это вообще кому-то понадобится делать, когда им предложили такое тестирование. (После того, как они взялись за безопасность всерьез, все совершенно изменилось вплоть до создания собственного ботнета, постоянно шлющего неправильные данные их программам для выявления проблем).

А в качестве вишенки на торте имеется противное искажение в стиле уловки-22, под названием «слепое пятно», которая делает нас слепыми по отношению к нашим когнитивным искажениям. Слепое пятно вызвано тем, что наши собственные искажения недоступны для сознательного инспектирования, поэтому мы их не видим и, следовательно, предполагаем, что любые наши взгляды основаны на рациональных рассуждениях.

Когнитивные искажения настолько беспокоят некоторые организации, что те из них, кто может себе это позволить (например, ЦРУ), издают специальные внутренние учебные инструкции по их преодолению. ЦРУ особенно озабоченно проективным искажением (projection bias), который они называют мышление по типу «все думают, как мы» - предположение, что цели любого человека похожи на цели ЦРУ — предположение, которое в прошло приводило к многочисленным проблемам. Книга (которую вы можете почитать онлайн, и это, несомненно, стоит сделать) содержит методы с помощью которых разведаналитиков обучают думать о проблемах более широко.

Феномен проективного искажения свойственен далеко не только людям, но затрагивает и другие виды. Жуки стафилиниды испускают алломоны (что-то типа ферромонов для насекомых), характерные для муравьев и распыляют их как химический паспорт на солдат и охранников. Охранники после этого считают, что жук — это личинка муравья и аккуратно вносят его в колонию. После границы каждый муравея просто считает, что жук — это «один из нас», и «личинка» в форме жука может свободно поедать других личинок в форме личинок, не боясь ничьего вмешательства.
Subscribe

  • Ликбез

    Почему бизнесу невыгодно крайне неравномерное распределение богатства. Объясняю на пальцах. Предположим, что в уездном городе мэр отжал половину…

  • Кризис 2008 года

    Еще один пост по материалам книжки Ha-Joon Chang, "Economics: the user's guide". Вам никогда не было интересно, что конкретно было…

  • Тик-так, ходики

    Короновирус вскрыл еще одну современную тему: разбалансированность современной российской экономики. Началось все, как вы помните, с принудительного…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 9 comments