textarchive.ru

Главная > Документ


Элизер Юдковский

Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков.

Eliezer Yudkowsky

Cognitive biases potentially affecting judgment of global risks.

yudkowsky@

Singularity Institute for Artificial Intelligence

Palo Alto, CA

Выходит в 2007 году в сборнике Риски глобальной катастрофы под редакцией Ника Бострома и Милана Цирковича, Оксфорд.

Черновик от 31 августа 2006 г.

Примечание переводчика: несколько коротких многозначных английских терминов заменены длинными русскими словосочетаниями. А именно:

Bias – «систематическая ошибка мышления», иногда «погрешности» или «предубеждения».

Heuristic – модели рассуждений, эвристика.

К терминам, выделенным автором, дано в скобках их написание по-английски.

Алексей Валерьевич Турчин, (avturchin@). Разрешено некоммерческое использование перевода.

Введение.

При всех прочих равных, не много людей предпочли бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные учёные и прочие агенты погибели нуждаются в мире, чтобы достигать в нём своих целей наживы, порядка, владения, или других мерзостей. Если наше истребление будет происходить достаточно медленно для того, чтобы успело произойти ужасное осознание этого процесса, деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если земля будет всё-таки уничтожена, то произойдёт это, вероятно, по ошибке.

Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях, и того, что эти ошибки говорят о предшествующих им ментальных процессах, известно как программа иследований моделей рассуждений и погрешностей в когнитивной психологии.

Эта программа сделала открытия, очень существенные для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках некой субстанции Р, взрывчатого вещества, способного разрушить всю планету, которое взорвётся, если подвергнется досточно сильному радиосигналу.

К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил 30 лет, работая с ней, и знает её лучше, чем любой другой на земле. Вы звоните эксперту и спрашиваете, как силён должен быть радиосигнал, чтобы взорвать вещество. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4.000 тераватт. «Вероятно?» - спрашиваете вы. «Можете ли вы мне дать интервал 98 процентной уверенности?» - «Конечно, - отвечает экспрет. – Я на 99 процентов уверен, что критический порог больше 500 тераватт, и на 99 процентов уверен, что он меньше 80.000 тераватт.» «А как насчёт 10 терватт?» – спрашиваете вы. «Невозможно» - отвечает эксперт.

Приведённая выше методология опроса эксперта выглядит совершенно резонной, такой, какой её любой компетентный работник должен делать, когда сталкивается с подобной проблемой. И в действительности, эта методология была использована в исследовании безопасности реакторов (Rasmussen 1975), ныне считающемся в качестве первой большой попытки вероятностной оценки рисков.

Но исследователь моделей рассуждений и погрешностей может распознать по крайней мере два больших недостатка в этом методе, - не логических слабых места, а обстоятельства, чрезвычайно уязвимых к человеческой ошибке.

(Сноска: Я благодарю Michael Roy Ames, Nick Bostrom, Milan Cirkovic, Olie Lamb, Tamas Martinec, Robin Lee Powell, Christian Rovner, и Michael Wilson за их комментарии, предложения и критику. Нет необходимости говорить, что все отсавшиеся ошибки в этой работе – мои.)

Иследования моделей рассуждений и погрешностей открыли результаты, которые могут напугать и привести в уныние неподготовленного учёного. Некоторые читатели, впервые встречающие экспериментальные результаты, цитруемые здесь, могут удивиться и спросить: «Это действительно экспериментальные результаты? Действительно ли люди так плохо предполагают? Может быть, эксперименты были плохо организованы, и результаты уйдут, если сделать такие-то и такие-то манипуляции?» Не имея досточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные манипуляции уже испробывались, и результаты были устойчивыми.

  1. 1: Доступность информации.

Предположим, вы возьмёте случайное слово из трёх или более букв из английского текста. Что более вероятно: что слово начинается с буквы R ("rope"), или что его третья буква R ("park")?

Основная идея исследований моделей рассуждений и погрешностей состоит в том, что человеческие существа используют методы мышления – эвристику – которые дают хорошие средние ответы в большинстве случаев, но это так же приводит к увеличению системных ошибок, называемых погрешностями (bias). Примером эвристики является суждение о частоте или вероятности события по его информационнойдоступности (availability), то есть лёгкости, с которой примеры этого события приходят на ум. «R» появляется в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на букву R. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. (Tversky and Kahneman 1973.)

Погрешности, основанные на эвристике доступности, влияют на оценки риска.

Пионерское исследование Lichtenstein (1978) описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причиняют большее число смертей, и какие – только немного смертей. Однако, когда их просят посчитать риски точнее, люди сильно переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных причин смерти.

Другие повторяющиеся ошибки тоже были очевидными: аварии считались причиняющими столько же смертей, сколько болезни (на самом деле болезни причиняют в 16 раз больше смертей, чем аварии). Убийство неверно считалось как более частая причина смерти, чем диабет или рак желудка.

Последующее исследование Combs and Slovic (1979) провело подсчёт сообщений о смерти в двух газетах и обнаружило высокую корреляцию между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).

Люди отказываются покупать страховку от наводнений, даже если она мощно субсидируется и оценена гораздо ниже своей справедливой цены. Kunreuther (1993) предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивидов представить себе наводнение, которое никогда не случалось. Люди на затапливаемых равнинах выглядят как пленники своего опыта.

Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что должны быть обеспокоены. Burton (1978) сообщает, что когда дамбы и насыпи построены, они уменьшают частоту наводнений, такие образом, видимо, создавая фальшивое чувство безопасности, ведущее к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения настолько возрастает, что среднегодовой ущерб увеличивается.

Кажется, что люди не экстраполируют с пережитых малых опасностей на возможности более серьёзных рисков; наоборот, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков. Общество, хорошо защищённое против малых опасностей, не будет предпринимать никаких действий по отношению к большим рискам. (Строительство на затапливаемых равнинах после того, как регулярные малые наводнения устранены). Общество, подверженное регулярным малым опасностям, будет считать эти малые опасности в качестве верхней границы размеров возможных рисков (защищаясь от регулярных малых наводнений, но не от неожиданных больших наводнений).

Риск человеческого истребления может быть недооценен, поскольку, очевидно, человечество никогда не сталкивалось с этим событием. (2)

Сноска 2: Milan Cirkovic указывает на то, что сверхизвержение вулкана Toba (73 000 лет до Р.Х.) может считаться как событие, едва не приведшее к истреблению людей. Взрыв и последующая зима убила большую часть человечества; генетические свидетельства предполагают, что было только несколько тысяч выживших, или даже меньше. (Ambrose 1998.) Отметьте, что это событие отсутствует в нашей исторической памяти – оно предшествует возникновению письменности.

2: Интеллектуальная ошибка, связанная со знанием «задним числом». (Hindsight bias)

  1. Интеллектуальная ошибка, связанная со знанием «задним числом» происходит, когда субъект, узнав окончательный итог, даёт гораздо большую оценку предсказуемости этого итога, чем субъекты, которые предсказывают итог без знания результата. Эта ошибка иногда называется «я-всё-это-время-чувствовал-что-так-оно-и-есть».

Fischhoff и Beyth (1975) представили студентам исторические отчёты о малоизвестных событиях, таких, как конфликт между гурками и англичанами в 1814 году. Пять групп студентов, получивших эту информацию, были опрошены в отношении того, что бы они предсказали в качестве степени достоверности для каждого из четырёх итогов: победа англичан, победа гурков, патовая ситуация с мирным соглашением или пат без соглашения. Четырём экспериментальным группам было соответственно сообщено, что четыре возможных итога были в действительности историческими итогами. А пятой, контрольной группе не было сообщено никакого исторического итога. В каждом случае группа приписала сообщённому ей итогу гораздо большую достоверность, чем любая другая группа или контрольная группа.

Эффект знания задним числом важен в суде, где судья или присяжные должны определить, действительно ли обвиняемый имел законные основания быть неспособным предсказать опасность. (Sanchiro 2003).

В эксперименте, основанном на реальном деле, Kamin and Rachlinski (1995) попросили две группы оценить вероятность ущерба от наводнения, причинённый закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда он решил не нанимать мостового смотрителя.

Экспериментальной группе была дана эта же информация, плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57% экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и ещё ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56% заключили, что город был преступно халатен. Судьи не могут просто инструктировать присяжных, чтобы избежать эффекта знания задним числом: меры против эффекта предвзятости (debiasing manipulation) не работают.

Рассматривая историю сквозь линзы нашего последующего знания, мы сильно недооцениваем стоимость предотвращения катастрофы. В 1986 году шаттл Челенджер взорвался по причинам, которые, в конце концов, были определены, как связанные с тем, что кольцевой уплотнитель потерял гибкость при низкой температуре (Rogers, 1986). Были предупреждающие сигналы о проблемах, связанных с кольцевым уплотнителем. Но предотвращение катастрофы Челленджера должно было потребовать не только уделения внимания проблемам с кольцевым уплотнителем, но и озабоченности каждым предупреждающим сигналом, который бы казался столь же серьёзным, как проблема уплотнителей, без преимущества последующего знания.

  1. 3: Чёрные лебеди.(Black Swans).

Taleb (2005) предположил, что ошибки последующего знания и доступности несут первостепенную ответственность за нашу неспособность защититься от того, что Taleb назвал чёрными лебедями. Чёрные лебеди являются особенно трудной версией проблемы мощных последствий: иногда большая часть вариативности процесса происходит из исключительно редких, исключительно больших событий. Представьте себе финансовый инструмент, который зарабатывает $10 с 98% вероятностью, но теряет $1000 с 2% вероятностью. В конечном счете, расход перевешивает доход, но инструмент выглядит как устойчиво выигрышный. Taleb (2001) приводит пример трейдера, чья стратегия работала 6 лет без единого убыточного квартала, принося около $80 миллионов – и затем он потерял $300 миллионов в одной катастрофе.

Другим примером является Long-Term Capital Management, хедж-фонд, в чьи основатели входили два Нобелевских лауреата по экономике. В течение Азиатского кризиса и российского дефолта 1998 года рынки вели себя совершенно беспрецедентным образом, имевшим пренебрежимо малую вероятность по исторической модели, использованной LTCM. В результате LTCM начал терять по $100 миллионов в день, день за днём. В один день в 1998 году он потерял более $500 миллионов. (Taleb, 2005)

Основатели LTCM позже назвали рыночные условия 1998 года очень маловероятным событием с вероятным отклонением в десять дельта. Но очевидно, что оно не было столь невероятным. Ошибочно веря, что прошлое предсказуемо, люди заключили, что будущее тоже предсказуемо. Как пишет Fischhoff (1982):

«Когда мы пытаемся понять прошлые события, мы косвенным образом проверяем гипотезы или правила, которые мы используем, чтобы интерпретировать и воспринимать мир вокруг нас. Если, благодаря последующему знанию, мы систематически недооцениваем сюрпризы, которые прошлое имело и имеет для нас, мы подвергаем эти гипотезы ненадлежаще слабым тестам и, вероятно, не находят никаких оснований для их изменений».

Урок истории состоит в том, что такие неприятности, как чёрные лебеди, случаются. Люди бывают удивлены катастрофам, которых они не ожидали, которые лежат за пределами их исторически вероятных распределений. Но почему мы бываем так ошеломлены, когда чёрные лебеди случаются? Почему LTCM заняло $125 миллиардов под $4.72 миллиарда собственности, практически гарантируя, что любая крупная неприятность их обанкротит?

По причине ошибки из-за последующего знания, мы выучиваем очень специфические уроки. После 11 сентября американское управление авиации запретило ножи для разрезания бумаги на самолётах. В ретроспективе это событие выглядит слишком предсказуемым, позволяя разъярённым жертвам считать случившееся результатом халатности – такой, как неспособность разведывательных агентств различить предупреждения об активности Аль-Каеды среди тысяч других предупреждений. Мы научились не позволять захваченным самолётам летать над нашими городами. Но мы не выучили урок: «Чёрные Лебеди случаются. Делай, что можешь, чтобы приготовиться к неожиданному».

Taleb (2005) пишет:

Трудно мотивировать людей предотвращать «чёрных лебедей»... Защита с трудом воспринимается, измеряется и вознаграждается; это обычно тихое и неблагодарное занятие. Представьте себе, что некая дорогостоящая мера была предпринята, чтобы предотвратить такое явление. Легко вычислить стоимость этих мер, тогда как результат трудно измерим. Как мы можем говорить об эффективности, когда есть два альтернативных варианта объяснения: или принятые меры были эффективны, или просто ничего существенного не случилось. Оценка качества работы в таких случаях не просто сложна, но искажена наблюдением «актов героизма». В исторических книгах не пишут о героических превентивных мерах.

  1. 4. Ошибки в ситуациях с «логическим И». (The conjunction fallacy.)

Линде 31 год, она холостая, искренняя и оптимистичная девушка. В колледже она специализировалась на философии. Как студент, она была глубоко озабочена проблемами дискриминации и социальной справедливости, а также участвовала в антиядерных демонстрациях.

Расположите следующие утверждения в порядке уменьшения их достоверности.

1. Линда – учитель в начальной школе.

2. Линда работает в книжном магазине и занимается йогой.

3. Линда – активистка феминистского движения

4. Линда – социальный работник в области психиатрии

5. Линда – член общества женщин, имеющих право голоса.

6. Линдакассирвбанке

7. Линда – страховой агент

8. Линда – кассир в банке и активистка феминистского движения

89% из 88 студентов посчитали пункт (8) как более вероятный, чем пункт (6). (Tversky и Kahneman 1982.) поскольку выбранное описание Линды похоже на описание феминистки, а не банковского кассира, (8) в большей мере характерно для описания Линды. Однако, ставя (8) как более вероятное, чем (6), мы нарушаем закон суммирования вероятностей, который утверждает, что p(A & B) ≤ p(A). Представьте себе выборку из 1000 женщин. Наверняка в этой выборке больше женщин - банковских кассиров, чем женщин-феминисток и одновременно банковских кассиров.

Может быть, ошибка от логического И связана с субъектами, воспринимающими экспериментальные инструкции неправильно? Быть может, субъекты полагали, что под словом «достоверно» имеется в виду достоверность описания линды данными утверждениями (6) и (8), а не достоверность (6) и (8) в отношении описания Линды? Или возможно субъекты интерпретировали (6) как означающее «линда - кассир и не феминистская активистка»?

Хотя много интересных альтернативных гипотез было предложено, чтобы объяснить склонность к этой логической ошибке, она пережила все экспериментальные попытки её опровергнуть (см. обзор Sides 2002.)

Например, следующий эксперимент исключает обе альтернативные гипотезы, предложенные выше.

Представьте себе правильный 6-сторонний кубик с 4 зелёными сторонами и 2 красными. Кубик будет брошен 20 раз и последовательность выпадения зелёных (G) и красных (R) сторон будет записана. Вы должны выбрать одну последовательность из трёх предложенных, и вы выиграйте $25, если выбранная вами последовательность выпадет в серии бросков кубика. Вот эти три последовательности, выберите одну из них.

1. RGRRR

2. GRGRRR

3. GRRRRR

125 студентов в Стэнфордском университете играли в эту игру с реальными ставками. 65% из них выбрали последовательность (2). (Tversky and Kahneman 1983.) последовательность (2) наиболее типична (representative) для игральной кости, поскольку кость большей частью зелёная и последовательность (2) содержит наибольшую пропорцию зелёных сторон. Однако, последовательность (1) превосходит последовательность (2), поскольку (1) полностью входит в (2). Чтобы получилось (2), у вас должна выпасть последовательность (1) и зелёная грань кости перед ней.

В приведённой выше задаче студенты могли вычислить точные вероятности каждого события. Однако вместо того, чтобы тратить время на арифметические вычисления, 65% студентов, по-видимому, полагались на интуицию, исходя из того, что казалось более типичным для игральной кости. Когда мы называем это умозаключением по типичности, мы не настаиваем на том, что студенты нарочно решили, что они будут оценивать вероятность, исходя из типичности. Скорее, умозаключение по типичности является как раз тем, что создаёт интуитивное чувство, что последовательность (2) более вероятна, чем последовательность (1). Другими словами, умозаключение по типичности является встроенной характеристикой мозга, предназначенной, чтобы давать быстрые достоверные суждения, а не сознательно выбранной процедурой. Мы не осознаём подмены суждением о типичности суждения о достоверности.

Ошибки в ситуациях с «логическим И» подобным же образом происходят в футурологических прогнозах. Две независимых группы профессиональных аналитиков на втором Международном конгрессе по Предвидению будущего были опрошены, соответственно, о вероятности «Полного разрыва дипломатических отношений между СССР и США в 1983 году» и «Русского вторжения в Польшу, и последующего полного разрыва дипломатических отношений между СССР и США в 1983 году». Вторая группа аналитиков сообщила о значительно более высокой вероятности. (Tversky and Kahneman 1983.)

В исследовании Johnson (1993), группа студентов MBA из Уортона должна была отправиться в Бангкок в качестве части своей образовательной программы. Несколько подгрупп студентов было опрошено на тему, как много они готовы заплатить за антитеррористическую страховку. Первой группе был задан вопрос, сколько она готова заплатить за антитеррористическую страховку, покрывающую перелёт из Таиланда в США. Вторую группу студентов спросили, сколько она готова заплатить за страховку, покрывающую перелёт туда-обратно. А третью - о страховке, которая бы покрывала всё путешествие. Эти три группы оказались в среднем готовы заплатить $17.19, $13.90, и $7.44 соответственно.

С точки зрения теории вероятностей, добавление дополнительной детали к истории делает её менее вероятной. Менее вероятно, что Линда является кассиром-феминисткой, чем просто кассиром, поскольку все кассиры-феминистки по определению являются кассирами. Но с точки зрения человеческой психологии добавление каждой новой детали делает историю всё более достоверной.

Люди могут предпочесть заплатить больше за международную дипломатию, направленную на предотвращение нанотехнологической войны с Китаем, чем за инженерный проект, предназначенный, чтобы защитить от нанотехнологической атаки с любой возможной стороны. Второй сценарий угрозы выглядит менее зрелищным и побуждающим, но технологическая защита будет более полезной по причине своей многосторонности (vague). Более ценными выглядят стратегии, которые уменьшают вероятности истребления человечества без жёсткой зацикленности только на нанотехнологических угрозах, - такие, как колонизация космического пространства или искусственный интеллект (см. работы автора на эту тему). Bruce Schneier заметил (и до, и после урагана 2005 года в Новом орлеане), что правительство Соединённых Штатов защищало отдельные объекты на территории страны от террористических угроз в стиле киносценариев, ценой отвлечения ресурсов из средств гражданской обороны, которые могли бы быть использованы в любой ситуации. (Schneier 2005.)

Сверхдетальные заверения также могут создать ложное ощущение безопасности «Х не является риском существованию, и вы не должны заботиться о нём, потому что A, B, C, D, и E». В то время как ошибка в любом из предположений является потенциально гибельной для человеческого рода. «Мы не должны беспокоиться о нанотехнологической войне, потому что комиссия ООН в начале разовьёт эту технологию и предотвратит её распространение до тех пор, пока не будет разработана активная защита, способная защитить от всех случайных или злонамеренных проявлений, которые современная нанотехнология способна породить, и это условие будет выполняться всегда». Яркие, чётко определённые сценарии могут увеличить нашу вероятностную оценку безопасности, равно как и неправильно направить инвестиции в безопасность с учётом излишне суженных или невероятно детализованных сценариев рисков.

В целом, людям свойственно переоценивать вероятность совпадений всех событий в серии и недооценивать вероятность хотя бы одного события из серии. (Tversky and Kahneman 1974.) То есть людям свойственно переоценивать вероятность того, что, например, семь событий, с вероятностью 90 процентов каждое, все вместе совпадут. Наоборот, людям свойственно недооценивать вероятность того, что хотя бы одно событие из семи, имеющих каждое вероятность 10 процентов, таки случится. Некто, оценивающий, стоит ли, например, открыть новую компанию, должен вычислить вероятность того, что во множестве отдельных событий они все вместе произойдут нужным образом (что будет достаточное финансирование, компетентные рабочие, покупатели будут хотеть товар), учитывая также вероятность того, что, по крайней мере, одна критическая неприятность случится (банк откажется дать ссуду, главный проект закончится неудачей, ведущий учёный умрёт). Это может объяснить, почему только 44% предприятий (3) выживают в течение 4 лет(Knaup 2005.)

Ссылка 3: отметьте, что показатель 44% относится ко всем видам бизнеса, включая маленькие рестораны, а не только к, допустим, дот-ком стартапам.

Dawes (1988): адвокаты в своих речах предпочитают избегать выводов, основанных на истинности по крайней мере одной из нескольких посылок («либо одно, либо другое, либо третье должно было случится и каждый из этих вариантов приводит к одному и тому же выводу»), в пользу выводов, основанных на совпадении сразу нескольких посылок. С рациональной точки зрения первые случаи гораздо более вероятны, чем вторые.

Истребление человечества в следующем столетии может произойти в случае истинности хотя бы одной из многих причин. Оно может случиться по причине любого риска выживанию, обсуждённого в этой книге, или по какой-нибудь другой причине, которую никто из нас не предвидел. Даже для футурологов, описания в духе «или то, или другое, или третье» неудобны и пророчества, с помощью них сформулированные, звучат непоэтично.

  1. 5. Ошибочность рассуждений, вызванная эффектом подтверждения. (Confirmation bias).

  1. В 1960 году Peter Wason провёл ныне классический эксперимент, известный как задача '2-4-6' (Wason, 1960.) Испытуемые должны были обнаружить правило, известное экспериментатору, но не самому испытуемому – так, как оно бывает при научном исследовании. Испытуемые писали три числа, таких как '2-4-6' или '10-12-14' на карточках, и экспериментатор говорил, соответствует ли тройка чисел правилу или нет. Изначально субъектам была выдана тройка чисел 2-4-6 и сказано, что она соответствует правилу. Испытуемые могли продолжать испытывать тройки до тех пор, пока они не чувствовали себя уверенными, что знают правило экспериментатора, и тогда испытуемые объявляли правило.

Хотя испытуемые обычно выражали высокую уверенность в своих догадках, только 21 процент из них в эксперименте Wason правильно угадали правило, и при повторениях этого эксперимента уровень успеха обычно составлял 20 процентов. Вопреки совету Карла Поппера, испытуемые в задачу Уосона пытались подтвердить свои гипотезы, а не их опровергнуть. Таким образом, те, кто сформулировали гипотезу «Номера увеличиваются каждый раз на два» проверяли тройки 8-10-12 или 20-22-24, слышали, что они подходят, и уверенно объявляли правило. Во всех случаях истинное правило было одно и тоже: три номера должны следовать один за другим по возрастающей. В некоторых случаях испытуемые выдумывали, «тестировали» и объявляли правила, гораздо более сложные, чем действительные.

Задача Уосона 2-4-6 является «прохладной» формой интеллектуальной ошибки, связанной с подтверждением: люди предпочитают подтверждающие, а не опровергающие свидетельства. «Прохладный» означает, что задача 2-4-6 является аффективно нейтральным случаем интеллектуальной ошибки подтверждения: вывод подтверждается логикой, а не эмоциями. «Горячий» случай имеет место, когда вера эмоционально заряжена, например, в случае политических рассуждений.

Неудивительно, что «горячая» ошибочность сильнее – больше по размаху и более устойчивая к изменениям. Активная, полная усилий склонность к подтверждению обычно называется мотивированным мышлением (motivated cognition) (обычно известным как «рационализация»). Как отмечает Brenner (2002) в «Заметках к теории одобрения»:

Очевидно, что во многих обстоятельствах желаемость уверенности в гипотезе может заметно повлиять на воспринимаемую степень её подтверждения... Kunda (1990) обсуждает, как люди, нацеленные на то, чтобы достичь определённых выводов, пытаются сконструировать (в ошибочной манере) убедительный случай для своей любимой гипотезы, который мог бы убедить беспристрастную аудиторию. Gilovich (2000) предполагает, что выводы, в которые человек не хочет верить, рассматриваются гораздо требовательнее, чем те, в которые он хочет верить. В первом случае человек требует, чтобы свидетельство с необходимостью заставляло придти к данному выводу, а во втором – спрашивает, позволяет ли некоторое свидетельство придти к данному выводу.

Когда люди подвергают те свидетельства, которые противоречат их точке зрения, более пристрастному анализу, чем те, которые её подтверждают, это называется мотивированный скептицизм или интеллектуальная ошибка несогласия (disconfirmation bias). Ошибка несогласия особенно деструктивна по двум причинам: во-первых, два подверженных этой ошибке спорщика, рассматривая один и тот же поток свидетельств, могут изменить свою веру в противоположных направлениях – обе стороны выборочно принимают только привлекательные для них свидетельства. Накопление большего числа свидетельств не приведёт этих спорщиков к согласию. Во вторых, люди, которые являются более опытными скептиками – которые знают больший набор логических нестыковок – но применяют этот навык избирательно, могут изменять свою точку зрения гораздо медленнее, чем неопытные спорщики.



Скачать документ

Похожие документы:

  1. Глобальные риски Сборник статей Под редакцией Препринт Проект Российского Трансгуманистического Движения Москва 2011

    Сборник статей
    ... добавленные детали. (См. Элизер Юдковский. Систематическиеошибки в рассуждениях, потенциальновлияющиенаоценкуглобальныхрисков.) Есть риск – почти наверняка – потерпеть неудачу ...
  2. ПРОБЛЕМЫ ПРЕДОТВРАЩЕНИЯ ГЛОБАЛЬНЫХ РИСКОВ

    Сборник статей
    ... добавленные детали. (См. Элизер Юдковский. Систематическиеошибки в рассуждениях, потенциальновлияющиенаоценкуглобальныхрисков.) Есть риск – почти наверняка – потерпеть неудачу ...
  3. ПРОБЛЕМЫ ПРЕДОТВРАЩЕНИЯ ГЛОБАЛЬНЫХ РИСКОВ

    Сборник статей
    ... добавленные детали. (См. Элизер Юдковский. Систематическиеошибки в рассуждениях, потенциальновлияющиенаоценкуглобальныхрисков.) Есть риск – почти наверняка – потерпеть неудачу ...
  4. Э юдковский искусственный интеллект как позитивный и негативный фактор глобального риска eliezer yudkowsky artificial intelligence as a positive and negative factor in global risk

    Документ
    ... добавленные детали. (См. Элизер Юдковский. Систематическиеошибки в рассуждениях, потенциальновлияющиенаоценкуглобальныхрисков.) Есть риск – почти наверняка – потерпеть неудачу ...
  5. Э юдковский искусственный интеллект как позитивный и негативный фактор глобального риска eliezer yudkowsky artificial intelligence as a positive and negative factor in global risk

    Документ
    ... добавленные детали. (См. Элизер Юдковский. Систематическиеошибки в рассуждениях, потенциальновлияющиенаоценкуглобальныхрисков.) Есть риск – почти наверняка – потерпеть неудачу ...

Другие похожие документы..