textarchive.ru

Главная > Сборник статей

1

Смотреть полностью

ПРОБЛЕМЫ ПРЕДОТВРАЩЕНИЯ ГЛОБАЛЬНЫХ РИСКОВ, УГРОЖАЮЩИХ СУЩЕСТВОВАНИЮ ЧЕЛОВЕЧЕСКОЙ ЦИВИЛИЗАЦИИ

Сборник статей

Под редакцией Валерии Прайд, И.В. Следзевского, А.В. Турчина.

ЧЕРНОВИК

Проект

Российского Трансгуманистического Движения.

Москва 2010

СЕРИЯ «ДИАЛОГИ О БУДУЩЕМ», т.3

Contents

Contents 2

Билл Джой. Почему мы не нужны будущему. 5

Вернор Виндж. Технологическая Сингулярность 32

Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей. 42

Введение 42

1. Типология рисков 43

2. Риски существованию 43

3. Уникальность проблемы угроз существованию 44

4. Классификация рисков существованию 46

5. Взрывы (Bangs) 46

6. Сужения (Crunches) 51

7. Скрипы (Shrieks) 52

8. Всхлипы 54

9. Определение величины вероятности рисков существованию 55

10. Рекомендации, касающиеся стратегии и этики 60

Выражения признательности 65

Приложение: очерк эволюционного «всхлипа» 65

Библиография 67

Елиезер Юдковски. Когнитивные искажения, потенциально влияющие на оценку глобальных рисков. 74

Введение 74

1. Доступность информации 75

2. Интеллектуальная ошибка, связанная со знанием «задним числом». (Hindsight bias) 76

3. Черные лебеди. (Black Swans) 77

4. Ошибки в ситуациях с логическим «И» 78

5. Ошибочность рассуждений, вызванная эффектом подтверждения (Confirmation bias) 81

6. Якорение, настройка и наложение (Anchoring, adjustment, and contamination). 84

7. Рассуждения, обусловленные аффектом. 86

8. Пренебрежение масштабом 87

9. Калибровка и сверхуверенность 88

10. Апатия прохожего 91

Последнее предупреждение 92

Заключение 93

Рекомендуемое чтение 95

Библиография 96

Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска. 103

Ник Бостром, Макс Тегмарк. Насколько невероятна катастрофа судного дня? 151

Ник Бостром. Рассуждение о Конце Света для начинающих. 158

Ник Бостром. Doomsday Argument жив и брыкается. 162

Ник Бостром. А не живем ли мы в «Матрице»? Доказательство методом моделирования 173

Дэвид Брин. Сингулярность и кошмары. 180

Роберт Фрейтас. Проблема Серой Слизи. 202

Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми. 230

Милан Чирокович. Эволюционные катастрофы и проблема точной настройки параметров пригодной для жизни планеты. (Проблема Голдилокс) 245

Алексей Турчин. Природные катастрофы и антропный принцип 260

Contents 260

Введение 263

1. Антропный принцип. Эффект наблюдательной селекции. Результаты Бострома и Тегмарка. 264

2. Природные катастрофы 272

3. Применение антропного принципа для анализа частоты природных катастроф. 276

4. Нарушение устойчивости природных систем, находящихся на грани равновесия, в связи с человеческой деятельностью 286

5. Заключение 288

Литература: 290

Владислав Пустынский. Последствия падения на Землю крупных астероидов 292

Уильям Нейпьер. Опасность комет и астероидов 302

1. Нечто вроде огромной горы 302

2.Как часто по нам бьют? 303

3. Эффекты столкновения. 308

4. Роль пыли. 311

5. Наземная проверка? 313

6. Неопределённости 314

Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы. 318

3. Вулканическая зима. 321

5. Сверх-извержения и человеческая популяция. 326

6. Частота сверхизвержений. 327

7. Влияние сверхизвержения на цивилизацию. 328

Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду. 340

Ричард Керригэн. Следует ли обеззараживать сигналы SETI? 362

А.В. Турчин. Глобальные риски, связанные с программой SETI. 376

Эдриан Кент. Критический обзор оценок рисков глобальных катастроф. 396

А. А. Кононов. Идеологические начала общей теории неуничтожимости человечества 422

Угрозы уничтожения человечества 422

Неуничтожимость как главная сверхзадача цивилизации 423

Качества неуничтожимой цивилизации 426

О необходимости разработки теоретических основ решения задач неуничтожимости человечества 427

«Проблемы предотвращения глобальных рисков, угрожающих существованию человеческой цивилизации».

Предисловие. А.В. Турчин. представление авторов.

  1. Бостром. Анализ сценариев вымирания.

  2. Юдковски. Когнитивные искажения

  3. Юдковски. Искусственный интеллект как фактор глобального риска

  4. Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа судного дня?

  5. Бостром. Doomsday argument жив и брыкается.

  6. Бостром. «Рассуждение о Конце света для начинающих»

  7. Дэвид Брин. Сингулярность и кошмары.

  8. Р.Фрейтас. Проблема Серой Слизи.

  9. CRN. Опасности молекулярного производства.

  10. Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми.

  11. Чиркович. Про антропный принцип статья.-

  12. Р. керригэн. Следует ли обеззараживать сигналы SETI?

  13. А. Турчин. О возможных рисках программы SETI.

  14. Эдриан Кент. Критический обзор оценок рисков глобальных катастроф.

  15. А. Кононов. Задача неуничтожимости человечества.

  16. Пустынский. Падение астероидов.

  17. Турчин. Природные катастрофы и антропный принцип

Плюс надо добавить:

Билл Джой

Бостром – матрица

Арнон дар

Нейпер

  1. Д. Медведев. Роль трансгуманизма как иделологичекой основы для предотвращения глобальных рисков

  2. Даша Халтурина –демография и Мальтус??

  3. Г. Малинецкий -???

  4. Неклесса. ???

  5. И.В. Следзевский - неопределённость???

  6. В. Прайд – Социальные методы управления рисками

  7. Турчин Проблема создания убежищ.

  8. А.Л. Зайцев. Обоснования безопасности программы METI. ???

  9. О.В.Иващенко. Изменение климата и изменение циклов обращения парниковых газов в системе атмосфера-литосфера-гидросфера - обратные связи могут значительно усилить парниковый эффект.

  10. А.В.Карнаухов. К вопросу об устойчивости химического баланса атмосферы и теплового баланса Земли.

Турчин. От экономического кризиса к глобальной катастрофе: три возможных маршрута будущего.

Перевести Robin Hansen article “Catastrophe, a social collapse and human extinction”

Билл Джой. Почему мы не нужны будущему.

Опубликовано на русском в журнале «Компьютерра» в 2001г.

От переводчика:

Автором статьи, первоначально опубликованной в журнале “Wired”1, является Билл Джой - заведующий научной частью и сооснователь американской компьютерной компании "Sun Microsystems". Билл Джой - человек-легенда, один из отцов BSD Unix, разработчик программ csh и vi ("азбука" для каждого специалиста по Unix). Джой сыграл в истории Java одну из главных ролей, оставаясь зачастую за сценой. Работал в самом центре команды BSD Unix; усовершенствовав протокол TCP/IP для работы на Ethernet, а не только на 50 кбит/сек линиях Arpanet, Билл Джой сделал возможным появление Internet. Компьютеры Sun с работающей на них системой BSD Unix оказались наиболее надёжными кораблями для TCP/IP, существенная доля всех хост-компьютеров для Web по-прежнему являются машинами от Sun.

Перевод: Илья Осипов <ilja_osipov@>

Оригинал на сайте “Wired”: "Why the future doesn't need us", Bill Joy

Наши наиболее могущественные технологии 21-го века - робототехника, генная инженерия и нанотехнология2 - угрожают подвергнуть человеческий род опасности.

Нравственные измерения новых технологий беспокоили меня с того момента, как я стал заниматься их созданием, но только осенью 1998-го года я с тревогой понял, насколько велики опасности, с которыми мы столкнёмся в 21-м веке. Я могу датировать начало моей тревоги днём, когда я встретил Рэя Курцвейла (Ray Kurzweil), заслуженно прославленного изобретателя первой читающей машины для слепых и многих других удивительных вещей.

Я и Рэй оба были докладчиками на конференции Telecosm Джорджа Гилдера3, и я встретил его случайно в гостиничном баре после того, как окончились наши заседания. Я сидел с Джоном Сирлом4 , философом из Беркли, работавшим над изучением сознания. Пока мы беседовали, подошёл Рэй и завязался разговор, предмет которого преследует меня по сей день.

Я пропустил разговор Рэя и упустил тему разговора, а они теперь начали как раз там, где остановились. Рэй говорил о том, что темп улучшения технологии собирается ускоряться и что мы собираемся стать роботами, слиться с роботами или что-то наподобие, а Джон возражал, говорил, что этого не может случиться, поскольку роботы не могут быть сознательными.

Пока я слышал такие толки раньше, я всегда полагал, что чувствующие роботы относятся к сфере научной фантастики. Но теперь от некоторых уважаемых мною людей я услышал веский аргумент в пользу того, что такие роботы являются делом близкого будущего. Я был ошеломлён, особенно если учесть подтверждённую способность Рэя воображать и создавать будущее. Я уже знал, что новые технологии, вроде генной инженерии и нанотехнологии, дают нам власть переделать мир, но реалистичный и близкий сценарий создания разумных роботов поразил меня.

От таких открытий можно превратиться в клячу. Мы едва ли не каждый день слышим в новостях про тот или иной технический или научный успех. Но это было совершенно неординарное предсказание. В гостиничном баре Рэй дал мне часть своей готовящейся к выходу в свет книги "Век духовных машин"1. Эта книга намечает в общих чертах утопию, которую он предвидит - утопию, в которой люди, "смертные", достигают почти бессмертия путём становления единым целым с робототехнической технологией. От чтения данной книги моё чувство тревоги только усилилось; я был уверен, что он преуменьшал опасности, преуменьшал вероятность плохого исхода при следовании по этой тропе.

Больше всего меня обеспокоил отрывок, подробно описывающий антиутопический сценарий:

Вызов нового луддита2

«Сперва давайте примем без доказательства, что компьютерщики преуспеют в совершенствовании разумных машин, которые всё смогут делать лучше, чем люди. В этом случае, по-видимому, вся работа будет делаться многочисленными высокоорганизованными системами машин и не нужны будут никакие людские усилия. Может произойти одно из двух. Либо машинам может быть разрешено делать всё, что они сочтут нужным, без человеческого за ними присмотра, либо человеческий контроль над машинами может быть сохранён.

Если машинам дана полная свобода в осуществлении их собственных решений, то невозможно сказать, к чему это приведёт, поскольку невозможно угадать, как такие машины могут себя вести. Мы только укажем, что гибель рода человеческого была бы во власти машин. Будет ли человечество когда-нибудь столь безрассудно, что передаст всю власть машинам, или же никогда не будет - спорный вопрос. Но мы не намекаем ни на то, что человечество добровольно передаст власть машинам, ни на то, что машины умышленно захватят власть. На что мы намекаем - так это на то, что человечество легко может позволить себе скатиться до положения такой зависимости от машин, что уже не будет никакого практического выбора, кроме как полного принятия всех машинных решений. В то время как общество и проблемы, с которыми оно сталкивается, будут становиться всё более и более сложными и всё более и более интеллектуальными будут становиться машины, люди будут позволять машинам принимать за них больше решений, просто потому, что решения, выработанные машинами, будут приводить к лучшим результатам, чем решения, принятые людьми. В конце концов может быть достигнута ступень, когда решения, необходимые для поддержания системы в рабочем состоянии, будут такими сложными, что люди будут неспособны к разумной выработке этих решений. На этой ступени фактически распоряжаться будут машины. Люди просто не смогут выключить машины, потому что они будут столь зависимы от них, что их выключение равнялось бы самоубийству.

С другой стороны, возможно, что человеческий контроль над машинами может быть сохранён. В этом случае средний человек может управлять некоторыми своими личными машинами, такими, как автомобиль или персональный компьютер, но контроль над крупными системами машин будет в руках крохотной элиты - совсем как сейчас, но с двумя различиями. Благодаря усовершенствованной технике элита будет иметь больший контроль над массами, а поскольку человеческий труд будет больше не нужен, массы будут излишними, бесполезным бременем для системы. Если элита безжалостна, она может просто принять решение истребить людскую массу. Если же она гуманна, то она может использовать пропаганду или иные психологические или биологические способы для сокращения уровня рождаемости, до тех пор, пока людская масса не вымрет, освободив мир для элиты. Или, если элита состоит из мягкосердечных либералов, она может решить сыграть роль доброго пастыря для остального человечества. Они будут присматривать, чтобы физические потребности каждого были удовлетворены, чтобы все дети воспитывались в психологически здоровых условиях, чтобы каждый человек не бездельничал, а имел полезное занятие по душе и чтобы всякий, кто мог стать недовольным, подвергался "лечению" для того, чтобы исцелить его "трудный случай". Конечно, жизнь будет настолько бесцельной, что людей придётся биологически или психологически перестроить: либо устранить их потребность в процессе власти1, либо заставить их "сублимировать" своё побуждение к власти в некоторое безобидное хобби. Эти спроектированные люди могут быть счастливы в таком обществе, но они совершенно определённо не будут свободны. Они будут приведены к статусу домашних животных2

В книге, пока вы не перевернете страницу, вы не обнаружите, что автором этого отрывка является Теодор Качински – Унабомбер1. Я не апологет Качински. В течение 17-летней кампании террора его бомбы убили троих людей и многих поранили. Одна из его бомб тяжело поранила моего друга Дэвида Гелернтера, одного из самых выдающихся компьютерщиков и провидцев нашего времени. Подобно многим моим коллегам, я чувствовал, что следующей мишенью Унабомбера запросто мог быть я.

Качински действовал кровожадно и, по моему мнению, невменяемо. Он несомненно является луддитом, но простое указание этого факта не отклоняет его аргументацию; как ни тяжело мне было это сознавать, я видел некоторое достоинство в рассуждениях, изложенных в этом единственном отрывке. Я чувствовал необходимость противостоять им.

Антиутопическое предвидение Качински описывает непреднамеренные последствия пресловутой проблемы проектирования технологии и её использования, а также проблемы, которая имеет очевидное отношение к закону Мэрфи - "Всё, что может сломаться, сломается". (Фактически это закон Жулика2, который сам по себе показывает, что Жулик был прав.) Наше чрезмерное использование антибиотиков привело к тому, что до сих пор является, быть может, наибольшей такой проблемой: появление бактерий, устойчивых к антибиотикам и гораздо более опасных. Нечто подобное произошло, когда попытки ликвидировать малярийных комаров с использованием ДДТ вызвали у них устойчивость к этому препарату; более того, малярийные паразиты приобрели гены мультимедикаментозной устойчивости3.

Причина многих таких неожиданностей кажется понятной: задействованные системы сложны, они включают в себя взаимодействие и обратные связи между множеством частей. Всякие изменения такой системы будут каскадно ниспадать путями, которые трудно предсказать; это особенно верно, когда задействована человеческая деятельность.

Я начал показывать друзьям цитату Качински из книги "Век духовных машин"; я обычно вручал им курцвейловскую книгу, давал им прочитать цитату, а потом наблюдал их реакцию, когда они обнаруживали, кто её написал. Приблизительно в то же время я нашёл книгу Ганса Моравека "Робот: просто машина для превосходящего разума"1. Моравек является одним из лидеров исследований в робототехнике и основателем крупнейшей в мире робототехнической исследовательской программы при университете Карнеги Меллона. "Робот" дал мне больше материала для проб на моих друзьях - материала, удивительно подкрепляющего аргументацию Качински. Например:

Короткий бег (ранние 2000-е)

«Биологические виды почти никогда не переживали столкновений с превосходящими конкурентами. Десять миллионов лет назад Южная и Северная Америки были разделены затопленным Панамским перешейком. Южная Америка, подобно Австралии в наши дни, была населена сумчатыми млекопитающими, включая сумчатых эквивалентов крыс, оленей и тигров. Когда же перешеек, соединяющий Северную и Южную Америки, поднялся, северным плацентарным видам со слегка более эффективными метаболизмами, а также репродуктивной и нервной системами, понадобилось всего лишь несколько тысяч лет для того, чтобы вытеснить и ликвидировать почти всех южных сумчатых.

В совершенно свободном рыночном пространстве превосходящие человека роботы, несомненно, воздействовали бы на людей так же, как североамериканские плацентарные воздействовали на южноамериканских сумчатых (и как люди повоздействовали на бесчисленное множество видов). Робототехнические промышленности сильно конкурировали бы между собой за материю, энергию и пространство, устанавливая, между прочим, цены на них выше тех, которые достижимы для человека. Будучи не в состоянии позволить себе предметы первой необходимости и необходимые условия жизни, биологические люди оказались бы выдавленными за пределы бытия.

Вероятно, имеется некоторая светлая возможность, так как мы живём не в абсолютно свободном рыночном пространстве. Правительство принуждает к нерыночному поведению, главным образом, через собирание налогов. Если правительственные принуждения применять рассудительно, то они смогут поддерживать человеческое население в роскошном стиле на плодах работы роботов, возможно, в течение длительного промежутка времени.»

Учебник антиутопии - а Моравеку удалось именно это. Моравек идёт дальше, обсуждая, как наша основная работа в 21-м веке будет "обеспечивать непрерывное сотрудничество для защиты от промышленностей роботов" путём принятия законов, которые приказывают роботам быть "любезными"2, а также он описывает, насколько серьёзно опасным может быть человек, "однажды превращённый в неограниченного сверхразумного робота". Мнение Моравека состоит в том, что со временем роботы нас сменят - что люди несомненно стоят лицом к вымиранию.

Я решил, что пришло время поговорить с моим другом Дэнни Хиллисом1. Дэнни стал знаменит как соучредитель корпорации "Думающие Машины", которая строила очень мощный параллельный суперкомпьютер. Несмотря на моё теперешнее звание главного учёного в "Sun Microsystems", я больше компьютерный архитектор, чем учёный, и я уважаю знания Дэнни в области информационных и естественных наук больше, чем знания какого-либо известного мне человека. Дэнни также считается крупным футуристом, думающим долгосрочно, - четыре года назад он основал фонд "Долгосрочное Настоящее"2(15), который строит часы, предназначенные для последних 10000 лет, в качестве попытки привлечь внимание к ничтожно короткому сроку существования нашего общества. (См. "Испытание Времени" ("Test of Time"), журнал "Wired" 8.03, стр. 78.)

Итак, я летел в Лос-Анджелес с определённой целью: отобедать с Дэнни и его женой, Пэйти. Я проходил эту семейную процедуру, щеголяя идеями и отрывками, которые я счёл столь волнующими. Ответ Дэнни - направленный специально на сценарий Курцвейла о слиянии людей с роботами - пришёл быстро и совершенно меня поразил. Он сказал просто, что изменения придут постепенно, и что мы к ним привыкнем.

Впрочем, я полагаю, что абсолютно удивлён я не был. В книге Курзвейла я видел цитату Дэнни, в которой он говорит: "Я также люблю своё тело, как и всякий другой, но если я смогу жить 200 лет с кремниевым телом, я приму его". Похоже, он был в мире с этим процессом и сопровождающим его риском. А я - не был.

Во время разговора и размышления о Курзвейле, Качински и о Моравеке, я вдруг вспомнил роман, который я читал почти 20 лет назад - "Белая Чума" Герберта Фрэнка. В этом романе молекулярный биолог, семью которого зверски убили, помешался. Чтобы отомстить, он конструирует и распространяет новую и очень заразную моровую язву, которая убивает широко, но избирательно. (Нам повезло, что Качински был математиком, а не молекулярным биологом.) Мне вспомнился также Борг из "Звёздного пути", рой частично биологических, частично робототехнических созданий с выраженными разрушительными наклонностями. Бедствия, подобные Боргу, являются главным элементом научной фантастики, так почему же я недостаточно беспокоился о таких робототехнических антиутопиях раньше? Почему другие люди недостаточно беспокоились об этих кошмарных сценариях?

Часть ответа состоит в том, что мы склонны к безоговорочному одобрению всего нового. Привыкнув жить с почти шаблонными научными открытиями, нам всё же придётся столкнуться с фактом, что наиболее неотразимые технологии 21-го века - робототехника, генная инженерия и нанотехнология - ставят угрозу, отличную от той, которую ставили прежние технологии. А именно, роботы, спроектированные организмы и нанороботы разделяют опасный усиливающий фактор: они могут самовоспроизводиться. Бомба взрывается лишь однажды - а один робот или наноробот может стать множеством роботов и быстро выйти из-под контроля.

Последние 25 лет я много работал над организацией компьютерных сетей, где отправление и получение сообщений создавало благоприятную возможность для бесконтрольного размножения. Но если размножение в компьютере или в компьютерной сети может быть лишь досадой, на худой конец, оно выводит из строя машину или дезорганизует сеть и/или сетевые службы, то неконтролируемое саморазмножение в этих новых технологиях порождает гораздо больший риск: риск вещественного повреждения в физическом мире.

Каждая из этих технологий предлагает также несказанные перспективы: мечта о почти бессмертии, которую видит Курцвейл в своих робототехнических грёзах, движет нас вперёд; генная инженерия вскоре может дать лекарства если и не от всех болезней, то от многих, а нанотехнология с наномедициной могут поправить ещё больше несчастий. Сообща они могли бы значительно продлить среднюю продолжительность нашей жизни и улучшить качество наших жизней. Однако ряд продвижений в этих технологиях мало-помалу ведёт к накоплению огромной силы и вместе с тем огромной опасности.

Что было отличительного в 20-м веке? Конечно, технологии, лежащие в основе оружий массового уничтожения - ядерного, биологического и химического (ЯБХ) - были сильны и являлись оружиями огромной угрозы. Но создание ядерного оружия требовало, хотя бы на время, доступа как к редкому - действительно недоступному - сырью, так и к хорошо защищённой информации; программы биологического и химического оружия также были склонны требовать крупномасштабной деятельности.

Эти технологии 21-го века - генетика, нанотехнология и робототехника (ГНР) - настолько могущественны, что они могут породить совершенно новые виды катастроф и злоупотреблений. Наиболее опасным является то, что впервые за всю историю эти катастрофы и злоупотребления станут по плечу частным лицам и небольшим группам. Для этого не потребуется ни крупное оборудование, ни редкое сырье; достаточно будет одних лишь знаний.

Таким образом, мы имеем возможность не просто оружия массового уничтожения, а возможность знаний массового уничтожения (ЗМУ); эта разрушительная способность весьма расширена силой саморазмножения.

Думаю, можно без преувеличения сказать, что мы живём накануне дальнейшего совершенствования чрезвычайного зла - зла, чьи возможности простираются далеко за пределы мощи государств-наций с их оружием массового уничтожения, наделяя поразительной и жуткой властью индивидуальных экстремистов. Хотя я и занимался компьютерами, я не видел вокруг никаких намёков на то, что мне придётся столкнуться с проблемами такого рода.

Моя жизнь движима глубокой потребностью задавать вопросы и находить ответы. Когда мне было 3 года, я уже умел читать, так что мой папа взял меня в начальную школу, где я познавал первые азы и читал ему рассказы. В школу я пошёл рано, потом перескочил через класс и погрузился в книги - у меня была невероятная тяга к знаниям. Я задавал много вопросов, часто доводя взрослых до раздражения.

Когда я был подростком, я очень интересовался наукой и техникой. Я хотел быть радистом-радиолюбителем, но не имел денег на покупку оборудования. Любительское радиовещание было Интернетом того времени: очень притягательно и полностью уединённо. Однако дело было не столько в отсутствии денег, сколько в том, что моя мама была решительно против моего желания стать радиолюбителем; я и без того уже был довольно необщителен.

Может быть я и не имел многих близких друзей, но зато я был обуреваем идеями. В средней школе я открыл великих писателей-фантастов. Я особенно хорошо помню Хайнлайновское1 "Надень скафандр и путешествуй" и "Я, робот" Азимова2 с его тремя законами робототехники. Я был зачарован описаниями космического путешествия и хотел иметь телескоп, чтобы смотреть на звёзды; так как у меня не было денег чтобы купить или изготовить его, я вместо этого проверял библиотечные книги по телескопостроению и читал про их изготовление. Я высоко парил в своём воображении.

В четверг вечером мои родители ушли играть в шары и мы, дети, остались дома одни. В эту ночь я прочитал самобытное произведение Джина Родденбери3 "Звёздный путь" и план произвел на меня большое впечатление. Я принял идею того, что будущее человечество будет жить в западном стиле, в космосе, что будут крупные герои и приключения. Родденбери представлял грядущие столетия со строгими моральными ценностями, воплощёнными в кодексах, подобных Главной Директиве: не вмешиваться в эволюцию технологически менее развитых цивилизаций. Для меня это было невероятно привлекательно: нравственные люди, а отнюдь не роботы, господствовали в будущем, и родденберивские мечты стали частью моих собственных.

В средней школе я выделялся по математике, а когда я поступил в мичиганский университет в качестве студента технической специальности, я взял углублённый курс высшей математики. Решение математических задач было возбуждающим вызовом, но когда я открыл для себя компьютер, я нашёл нечто гораздо более интересное: машину, в которую можно заложить программу, пытающуюся решить задачу, после чего машина быстро проверит решение. Компьютеры имеют ясное понятие о правильности и неправильности, об истине и лжи. Были мои представления правильны? Машина могла сказать мне. Это было очень соблазнительно.

Я был счастлив получить работу по программированию ранних суперкомпьютеров и открыл поразительную силу больших машин с помощью чисел моделировать сложные конструкции. Когда в середине 70-х я собирался заканчивать училище при университете в Беркли, я стал засиживаться допоздна, порой всю ночь напролёт, изобретая новые миры внутри машин. Решение задач. Написание строгого кода.

Ирвинг Стоун в биографическом романе про Микеланджело "Страдание и экстаз"4 ярко описывает, как Микеланджело высвобождал изваяния из камня, "разбивая мраморные чары", высекая образы своего ума5. В мои наиболее восторженные моменты так же вот возникали и компьютерные программы. Однажды вообразив программу в своём уме, я уже чувствовал, что она находится внутри машины, ожидая, когда её высвободят. Бодрствование всю ночь казалось небольшой ценой за то, чтобы освободить её - придать идеям реальную форму.

Через несколько лет я начал выпускать в Беркли некоторые из созданных мною программ: учебную паскалевскую систему, служебные программы для "Unix" и текстовый редактор, именуемый "vi" (который, к моему удивлению, широко применяется до сих пор, спустя более чем 20 лет). Этими программами могли пользоваться люди, имевшие небольшие мини-ЭВМ, подобные "PDP-11" или "VAX". Эти рискованные предприятия в конечном счёте вылились в берклийскую версию операционной системы "Unix", которая стала личным "бедствием успеха" - её хотело так много людей, что я так и не закончил мою докторскую диссертацию по философии. Вместо этого я получил задание для работы на агентство перспективных исследований министерства обороны США. Работа состояла в приспособлении берклийской версии "Unix" под Интернет и в её исправлении с целью повысить надёжность и оптимизировать для выполнения больших научно-исследовательских программ. Всё это было очень забавно и весьма стояще. И, откровенно говоря, я не видел никаких роботов ни здесь, ни где-либо поблизости.

В начале 80-х я был ещё незаметным. Выпуск в продажу "Unix" шёл очень успешно, и этот мой маленький проект вскоре стал иметь и деньги, и некоторый штат служащих, но проблемой в Беркли всегда была нехватка помещений, а не отсутствие денег - не было комнаты для предоставления её проекту, который в ней нуждался, так что когда объявились другие учредители "Sun Microsystems", я ухватился за шанс к ним присоединиться. В "Sun" многие часы проходили за работой на ранних моделях рабочих станций и персональных компьютеров, и я насладился участием в создании передовых микропроцессорных и интернет-технологий, таких, как "Java" и "Jini".

После всего сказанного, я полагаю, ясно, что я не луддит. Я всегда имел весьма твердую веру в ценность научных поисков истины и в способность могучей техники принести материальный прогресс. За последнюю пару столетий промышленная революция неизмеримо улучшила жизнь каждого из нас, и я всегда желал посвятить себя решению стоящих проблем.

Я не разочаровался. Моя работа имела большее влияние, чем я когда-либо надеялся, а широта её использования превзошла все мои ожидания. Я потратил последние 20 лет, всё пробуя разгадать, как сделать компьютеры столь надёжными, как мне того хочется (они пока и близко не подошли к этому) и как сделать их простыми в использовании (задача, которая решена в ещё меньшей степени). Несмотря на некоторый прогресс, остающиеся проблемы выглядят даже более обескураживающими.

Хотя я сознавал моральную дилемму, окружающую последствия технологий в областях типа оружейных исследований, я не ожидал, что лицом к лицу столкнусь с такими проблемами в моей собственной области, или, по крайней мере, я не думал, что это случится так скоро.

Может быть, всегда трудно видеть более крупные коллизии, пока находишься в вихре событий. Неспособность понять последствия наших изобретений, пока мы пребываем в восторге от открытия и новаторства, представляется общим недостатком учёных и технологов; нами долго правила всё покрывающая страсть знать, которая, собственно, и составляет природу научного поиска, и мы не останавливались для того, чтобы заметить, что продвижение к более новым и более могущественным технологиям может обернуться против нас самих.

Я давно обнаружил, что крупные продвижения в информационных технологиях происходят не от работы компьютерщиков, компьютерных архитекторов или электронщиков, а от работы учёных-физиков. В начале 80-х годов физики Стефан Вольфрам1 и Бросль Хэсслэчер (Brosl Hasslacher) ввели меня в теорию хаоса и в нелинейные системы. В 1990-х я узнавал о сложных системах из разговоров с Дэнни Хиллисом, с биологом Стюартом Коффманом (Stuart Kauffman), с физиком, лауреатом Нобелевской премии, Мурри Геллманном (Murray Gell-Mann) и с другими. Совсем недавно Хэсслэчер с электронщиком и физиком Марком Ридом (Mark Reed) дали мне понимание потрясающих возможностей молекулярной электроники.

В моей собственной работе, как соразработчик трёх микропроцессорных архитектур - "SPARC", "picoJava" и "MAJC" - и как разработчик нескольких их реализаций, я имел возможность основательно и из первых рук познакомиться с законом Мура2. В течение десятилетий закон Мура корректно предсказывал экспоненциальный рост совершенствования полупроводниковой техники. До прошлого года я полагал, что темп продвижений, предсказываемый законом Мура, может продолжаться только до приблизительно 2010-го года, когда будут достигнуты некоторые физические пределы. Мне не было очевидным, что новая технология будет прибывать вовремя для того, чтобы гладко поддерживать повышение производительности.

Но вследствие недавнего быстрого и коренного прогресса в молекулярной электронике - где отдельные атомы и молекулы заменяют литографически начерченные транзисторы - а также в родственных наноразмерных технологиях, мы будем способны в течение ещё 30-и лет удовлетворять или даже превысить темпы прогресса, предписываемые законом Мура. К 2030-му году мы, вероятно, будем способны в большом количестве строить машины, в миллион раз более мощные, чем сегодняшние персональные компьютеры - машины, достаточные для осуществления грёз Курцвейла и Моравека.

Когда эта огромная вычислительная мощность будет объединена с ключевыми достижениями естественных наук и с новыми, глубокими пониманиями генетики, огромная преобразующая сила будет спущена с привязи. Эти сочетания делают доступной возможность совершенно перестроить мир, к лучшему или к худшему: процессы воспроизводства и эволюции, которые в естественном мире ограничены, собираются стать сферой человеческого старания.

При разработке программ и микропроцессоров у меня никогда не было чувства, что я конструирую разумную машину. Программные и аппаратные средства настолько слабы и потенциальные возможности машины "думать" с такой степенью ясности отсутствуют, что, даже в виде возможности, это всегда казалось делом очень далёкого будущего.

Но теперь, с перспективой появления вычислительной мощности человеческого уровня приблизительно через 30 лет, новая мысль напрашивается сама собой: что я, быть может, работаю над созданием инструментов, которые облегчат построение технологии, которая может заместить человеческий род. Как я себя в связи с этим чувствую? Очень неуютно. В течение всей своей профессиональной деятельности я прилагал усилия к построению надёжных программных систем, и мне кажется более чем вероятным, что это будущее не будет таким успешным, как представляется некоторым. Мой личный опыт подсказывает мне, что мы склонны переоценивать наши конструкторские способности.

Учитывая потрясающую силу этих новых технологий, не следует ли нам спросить самих себя, как мы будем с этими технологиями сосуществовать? И если наше вымирание является вероятным, или даже возможным, исходом нашего технологического роста, то не следует ли нам действовать с великой осторожностью?

Первая мечта робототехники состоит в том, что разумные машины смогут делать нашу работу за нас, позволяя нам жить досугом, возвращая нас в Эдем. Всё же в своей истории таких идей, "Дарвин среди машин", Джордж Дайсон предостерегает: "В игре жизни и эволюции за столом сидят три игрока: люди, природа и машины. Я твёрдо на стороне природы. Но природа, я полагаю, на стороне машин." Моравек, как мы видели, с этим соглашается, полагая, что мы вполне можем не пережить столкновения с превосходящей нас породой роботов.

Как скоро могут быть построены такие разумные роботы? Представляется, что предстоящий прогресс в вычислительной мощности сделает это возможным к 2030-му году. А как только разумный робот будет сделан, до породы роботов - до разумных роботов, которые могут делать развёрнутые копии самих себя - останется только небольшой шаг.

Вторая мечта робототехники состоит в том, что мы будем постепенно замещать самих себя нашей робототехнической технологией, достигая почти бессмертия путём загрузки наших сознаний в машину подобно компьютерным программам; это тот самый процесс, про который Дэнни Хиллис думает, что мы к нему постепенно привыкнем и который изящно и подробно описывает Рэй Курцвейл в "Веке духовных машин". (Мы начинаем видеть намёки на это во вживлении компьютерных устройств внутрь человеческого тела, как это было проиллюстрировано на обложке журнала "Wired" 8.02.)

Но если мы будем загружаться в нашу технологию подобно программам, то где гарантия того, что после этого мы будем самими собой или даже людьми? Мне представляется гораздо более вероятным, что робототехническое существование ни в каком подразумеваемом смысле не будет подобно человеческому существованию, что роботы ни в каком отношении не будут нашими детьми и что на этой тропе наша человеческая природа может быть полностью утрачена.

Генная инженерия обещает произвести коренной переворот в сельском хозяйстве за счёт повышения урожайности с одновременным сокращением использования пестицидов; обещает создать десятки тысяч новых видов бактерий, растений, вирусов и животных; заменить или дополнить воспроизводство клонированием; создать лекарства от многих болезней, продлить нашу жизнь и улучшить её качество; и многое, многое другое. Мы теперь со всей определённостью знаем, что эти глубокие изменения в биологических науках уже близки и что они бросят вызов всем нашим представлениям о том, что такое жизнь.

Такие технологии, как клонирование человека, вызвали, в частности, осознание глубоких этических и моральных проблем, с которыми мы столкнёмся. Если, к примеру, мы должны были бы перепроектировать самих себя в несколько отдельных и неравноценных видов с помощью генной инженерии, то мы угрожали бы понятию равенства, которое является настоящим краеугольным камнем нашей демократии.

Учитывая невероятную мощь генной инженерии, нет ничего удивительного в том, что в её применении имеются значительные проблемы безопасности. Недавно мой друг Эймори Ловинс вместе с Хантер Ловинс1 написали передовую статью, которая даёт экологический обзор некоторых из этих опасностей. Кроме прочего, они обеспокоены тем, что "новая ботаника придерживается совершенствования растений с точки зрения их экономической, а не эволюционной, состоятельности". (См. "Повесть двух ботаник", стр. 2471) В течение своей длительной профессиональной деятельности Эймори сосредотачивался на энергетической и ресурсной эффективности путём целостного системного взгляда на системы, созданные человеком; такой целостный системный подход часто находит простые и остроумные решения трудных на вид проблем; этот подход он с успехом и применяет в своей статье.

После прочтения статьи Ловинсов, я увидел критическую заметку Грегга Истербрука2 в "Нью-Йорк Таймс" (за 19-е ноября 1999-го года) про генетически модифицированные культуры, под заголовком: "Пища для будущего: когда-нибудь рис будет иметь встроенный витамин "A". Если не победят луддиты."

Являются ли Эймори и Хантер Ловинс луддитами? Конечно нет. Я полагаю, что все мы согласились бы с тем, что золотой рис со встроенным витамином "A" является, вероятно, вещью хорошей, если он усовершенствован с должной тщательностью и с учётом вероятных опасностей в перемещении генов через границы видов.

Осознание опасностей, присущих генной инженерии, начинает расти, что нашло своё отражение в передовой статье Ловинсов. Общественность эти опасности сознаёт, беспокоится о генетически модифицированных продуктах питания и, кажется, отвергает мнение о том, что следует разрешить не ставить специальную пометку на таких продуктах.

Но генно-инженерная технология продвинулась уже очень далеко. Как отмечают Ловинсы, министерство сельского хозяйства США уже одобрило приблизительно 50 генетически модифицированных культур к неограниченной продаже; свыше половины соевых бобов мира и треть мировых культур содержат теперь в себе встроенные гены, взятые от других форм жизни.

Хотя здесь много значительных проблем, моё главное беспокойство по поводу генной инженерии узко ограничено: что она даёт возможность - в военных ли целях, случайно ли или же в качестве умышленного террористического акта - создать Белую Чуму.

Многие чудеса нанотехнологии впервые были представлены физиком, лауреатом Нобелевской премии, Ричардом Фейнманом3(26) в речи, с которой он выступил в 1959-м году. Впоследствии эта речь была опубликована под заголовком "На дне много места". Книгой, которая в середине 80-х годов произвела на меня большое впечатление, была книга Эрика Дрекслера "Машины созидания"1(27). В ней он красиво описал, как манипуляция материей на атомном уровне может создать утопический мир изобилия, где чуть ли не всё может быть создано дёшево и почти все мыслимые болезни или физические проблемы могут быть решены с помощью нанотехнологии и искусственного интеллекта.

Последующая книга, "Освобождение будущего: нанотехнологическая революция"2, соавтором которой является Дрекслер, представляет некоторые из изменений, которые могут случиться в мире, где мы будем иметь молекулярных "сборщиков"3. Сборщики могут сделать возможным невероятно дешёвую солнечную энергию; лекарства от рака и от обыкновенной простуды путём наращивания иммунной системы человека; по существу полную очистку окружающей среды; невероятно дешёвые карманные суперкомпьютеры - по сути, любое изделие могло бы быть изготовлено сборщиками по цене, не превосходящей стоимости древесины - космические полёты, более доступные по цене, чем трансокеанические путешествия сегодня и восстановление вымерших видов.

Помнится, после прочтения "Машин созидания" я испытывал добрые чувства к нанотехнологии. Как технологу, эта книга дала мне ощущение спокойствия, то есть нанотехнология показывает нам, что неслыханный прогресс возможен, а похоже, что даже и неизбежен. Если нанотехнология является нашим будущим, то я не чувствую настоятельной необходимости решать так много задач в настоящем. Я достиг бы дрекслеровского утопического будущего в должное время; к тому же, я мог бы полнее наслаждаться жизнью здесь и сейчас. Учитывая его видение, не было смысла не спать всю ночь, всё время.

Дрекслеровское видение приводило также к множеству хороших шуток. Я порой начинал описывать чудеса нанотехнологии людям, которые о ней не слышали. После их раздразнивания всеми теми вещами, которые описывает Дрекслер, я, бывало, давал моё собственное домашнее задание: "Используйте нанотехнологию для создания вампира-вымогателя4; чтобы сделать противоядие от висящих долгов".

Вместе с этими чудесами пришли ясные угрозы, которые я остро сознавал. Как я сказал на нанотехнологической конференции в 1989 году, "мы не можем просто делать нашу науку и не беспокоиться об этих этических проблемах"5. Однако мои последующие беседы с физиками убедили меня, что нанотехнология может даже и не заработать, или, по крайней мере, она не заработает слишком уж скоро. Вскоре после этого я переехал в Колорадо, к скунсовым работам6, которые я основал, и центр моей работы переместился на программное обеспечение для Интернета, а именно, на идеи, которые превратились в "Java" и "Jini".

Потом, прошлым летом, Бросль Хэсслэчер (Brosl Hasslacher) сказал мне, что наноразмерная молекулярная электроника является теперь реальностью. Это была новая новость, по крайней мере, для меня и, я думаю, для многих других людей - и она коренным образом изменила мой взгляд на нанотехнологию. Я снова взял в руки книгу Дрекслера "Машины созидания". Заново перечитав её после более чем 10-и лет, я ужаснулся, поняв, как мало я запомнил из её очень длинного раздела, называющегося "Опасности и надежды", включающего обсуждение того, как нанотехнологии могут стать "машинами разрушения". В самом деле, прочитав этот предупреждающий материал сегодня, я был поражён, до чего наивными выглядели некоторые из предложенных Дрекслером мер предосторожности, и насколько лучше я оцениваю эти опасности сейчас, чем даже он их себе представлял в то время. (Предвосхитив и описав многие технические и политические проблемы с нанотехнологией, Дрекслер в конце 1980-х основал "Институт предвидения"1, "чтобы помочь обществу подготовиться к ожидаемым передовым технологиям" - главным образом, к нанотехнологии.)

Представляется вполне вероятным, что крупные достижения в разработке сборщиков могут произойти в течение ближайших 20-и лет. Молекулярная электроника - новый подраздел нанотехнологии, где отдельные молекулы являются схемными элементами - должна быстро созреть и стать чрезвычайно прибыльной в течение этого десятилетия, вызвав большой приток инвестиций во все нанотехнологии.

К сожалению, подобно тому, как это имеет место для ядерной технологии, гораздо легче применять нанотехнологию для разрушения, чем для созидания. Нанотехнология имеет ясное военное и террористическое употребление, и вовсе не нужно быть самоубийцей для того, чтобы в большом количестве выпустить на волю разрушающие нанотехнологические устройства - такие устройства могут быть сделаны так, что они будут разрушать избирательно, затрагивая, например, только определённые географические зоны или только генетически определённые группы людей.

Непосредственным следствием Фаустовской сделки для получения огромной силы нанотехнологии является то, что мы подвергнемся серьёзному риску - риску, что мы можем разрушить биосферу, от которой зависит вся жизнь.

Как объяснял Дрекслер:

«"Растения" с "листьями", которые нисколько не эффективнее сегодняшних солнечных батарей, могут в процессе конкуренции вытеснить настоящие растения, битком набивая биосферу несъедобной листвой. Стойкие всеядные "бактерии" могут вытеснить в процессе конкуренции настоящие бактерии; они могут распространяться подобно развевающейся пыльце, размножаться быстро и превратить биосферу в прах за считанные дни. Опасные репликаторы легко могут оказаться слишком стойкими, мелкими и быстро распространяющимися для того, чтобы их можно было остановить - по крайней мере, если мы никак не подготовились. Мы имеем довольно хлопот, контролируя вирусы и плодовых вредителей.»

Среди знатоков нанотехнологии эта угроза стала известна как "проблема серой слизи"2. Хотя массы неуправляемых репликаторов не обязательно должны быть серыми или липкими, термин "серая слизь" подчёркивает, что репликаторы способны уничтожить жизнь, при это будучи ещё менее вдохновляющими, чем какой-нибудь вид ползучего сорняка. Они могут превосходить в эволюционном смысле, но это не обязательно делает их полезными.

Угроза серой слизи делает совершенно ясным одно: мы не можем позволять себе определённого рода случайностей с размножающимися сборщиками.

Серая слизь была бы, конечно, унылым окончанием наших человеческих приключений на Земле; окончанием, гораздо более худшим, чем просто огонь или лёд. И это может произойти от простой лабораторной случайности1.

Прежде всего именно из-за силы разрушительного саморазмножения в генетике, нанотехнологии и робототехнике (ГНР) мы должны призадуматься. Саморазмножение является образом действия в генной инженерии, которая использует клеточные механизмы для тиражирования своих конструкций, но главная опасность, лежащая в основе серой слизи, заключается в нанотехнологии. В наших научно-фантастических книгах и кино широко укоренились истории о неистовствующих роботах, вроде Борга, которые воспроизводятся или видоизменяются, чтобы отделаться от нравственной скованности, наложенной на них их создателями. Возможно даже, что процесс самовоспроизведения более фундаментален, чем мы думали и, следовательно, его труднее - или даже невозможно - контролировать. Недавняя статья Стюарта Коффмана в журнале "Природа" ("Nature"), озаглавленная "Самовоспроизводство: даже пептиды это делают"2(36) обсуждает открытие того, что 32-аминокислотный пептид может "автокатализировать свой собственный синтез". Мы не знаем, как широко распространена эта способность, но Коффман замечает, что это может подсказать "путь к самовоспроизводящимся молекулярным системам на базе, гораздо более широкой, чем спаривание оснований по Уотсону и Крику3".

Поистине, мы получили на годы вперёд ясные предостережения об опасностях, присущих широкому распространению знаний о ГНР-технологиях - о способности одних лишь знаний создать возможность массового уничтожения. Но эти предостережения не были широко оглашены; публичные дискуссии были явно недостаточными. В оповещении об опасностях нет никакой выгоды.

Ядерная, биологическая и химическая (ЯБХ) технологии, применяемые в оружии массового уничтожения 20-го века, были и есть в значительной степени технологии военные, развиваемые в правительственных лабораториях. ГНР-технологии 21-го века в этом плане резко отличаются: они имеют ясные коммерческие применения и развиваются почти исключительно корпоративным предпринимательством. В этот век торжествующего торгашеского духа технология - с наукой в качестве своей служанки - поставляет ряд почти волшебных изобретений, которые по своей прибыльности превосходят всё виденное раньше. Мы настойчиво гонимся за перспективами этих новых технологий в рамках неоспариваемой сейчас системы мирового капитализма с его многочисленными денежными стимулами и давлением конкуренции.

Это первый момент в истории нашей планеты, когда какой-либо биологический вид, по своему произволению, стал опасностью для самого себя, а заодно и для обширного множества других видов.

Это может быть обычной последовательностью, случающейся во многих мирах - планета, недавно образовавшаяся, безмятежно вращается вокруг своей звезды; жизнь медленно формируется; эволюционирует калейдоскопическая вереница живых существ; появляется разум, который, по крайней мере, до какого-то момента, даёт огромный потенциал выживания, а затем изобретается техника. Им становится ясным, что существуют такие вещи, как законы природы, что эти законы можно открыть с помощью эксперимента и что знание этих законов можно направить как на спасение, так и на отнятие жизней, причём в беспрецедентном масштабе. Они обнаруживают, что наука даёт необъятную силу. В очень короткий отрезок времени они изобретают нечто, способное переделать мир. Одни планетные цивилизации осознают последствия, полагают пределы тому, что можно и что нельзя делать, и благополучно минуют время опасностей. Другие, не столь удачные или не такие благоразумные, погибают.

Это написал в 1994-м году Карл Саган в своей книге "Бледно-голубое пятнышко"1, где он изложил своё видение человеческого будущего в космосе. Только теперь я понимаю, как глубока была его проницательность, и как тяжко, что я не слышу и не услышу его голос. Несмотря на всё своё красноречие, статья Сагана не лишена простого здравого смысла - свойства, которого, вместе со скромностью, многим из ведущих сторонников этих технологий 21-го века, похоже, недостаёт.

Из своего детства я помню, что моя бабушка была строго против чрезмерного употребления антибиотиков. Она ещё до Первой Мировой Войны работала медицинской сестрой и на основании здравого смысла считала, что принятие антибиотиков, если только они не были абсолютно необходимы, было вредно для вас.

Это не значит, что она была врагом прогресса. Она видела много достижений на протяжении почти 70-летней медицинской карьеры; мой дедушка, диабетик, извлёк большую пользу из усовершенствованных методов лечения, которые стали доступны во время его жизни. Но она, как и многие уравновешенные люди, вероятно, думала бы, что сконструировать сейчас робототехнический "замещающий вид" было бы очень самонадеянным для нас. Ведь даже заставляя работать относительно простые вещи, мы прилагаем, очевидно, так много усилий. И так же много усилий мы прилагаем к управлению - или даже пониманию - самих себя.

Я ясно понимаю теперь, что она сознавала сущность порядка жизни и понимала необходимость жить с этим порядком и уважать его. С этим уважением приходит необходимая скромность, в которой мы, с нашей гордыней начала 21-го века, нуждаемся при нашей опасности. Взгляд с точки зрения здравого смысла, основанный на этом уважении, часто бывает правильным, предшествуя научной очевидности. Явная слабость и неэффективность построенных нами искусственных систем должна заставить всех нас призадуматься; слабость систем, над которыми я работал, несомненно, смиряет меня.

Нам следовало бы извлечь урок из создания первой атомной бомбы и последующей гонки вооружений. Мы не извлекли его тогда должным образом, и параллели с нашей текущей ситуацией тревожат.

Работа по созданию первой атомной бомбы возглавлялась выдающимся физиком Робертом Оппенгеймером2. Оппенгеймер, естественно, не интересовался политикой, но он мучительно осознал серьёзную угрозу западной цивилизации от Третьего Рейха. Эта угроза была, без сомнения, серьёзной, из-за возможности того, что Гитлер мог заполучить ядерное оружие. Побуждаемый этим беспокойством, он привёз свой крепкий ум, страсть к физике и гениальное мастерство руководителя в Лос-Аламос и возглавил потрясающую коллекцию великих умов, чтобы быстро изобрести бомбу.

Что поражает, так это то, как эта работа продолжалась столь свободно даже после устранения первоначального стимула. На встрече физиков, состоявшейся вскоре после дня победы в Европе, некоторые полагали, что работу, возможно, следует прекратить, но Оппенгеймер доказывал, что надо продолжать. Сформулированный им довод выглядел немного странно: продолжать надо не из-за возможности крупных потерь от вторжения Японии, а потому, что Организация Объединённых Наций, которая вскоре должна была сформироваться, должна быть осведомлена об атомном оружии. Более вероятной причиной, почему проект продолжался, была накопленная движущая сила - первое атомное испытание, "Тринити", было уже на носу.

Мы знаем, что в подготовке первого атомного испытания физики действовали, невзирая на большое количество возможных опасностей. Вначале они беспокоились, основываясь на расчёте Эдварда Теллера1, что атомный взрыв может воспламенить атмосферу. Исправленный расчёт уменьшил опасность разрушения мира к трём шансам на миллион. (Теллер говорит, что позже он был способен полностью отбросить перспективу воспламенения атмосферы.) Оппенгеймер, тем не менее, был достаточно обеспокоен результатом "Тринити", так, что он принимал меры для возможной эвакуации юго-западной части штата Нью-Мексико. И, конечно, была очевидная угроза начала гонки ядерных вооружений.

Не прошло и месяца после первого успешного испытания, как две атомные бомбы уничтожили Хиросиму и Нагасаки. Некоторые учёные предполагали, что бомба предназначалась просто для демонстрации, а не для сброса на японские города - говоря, что это значительно улучшило бы возможности военного контроля после войны - но это ничего не дало. Поскольку трагедия Пёрл-Харбора2 была всё ещё свежа в умах американцев, президенту Трумену было бы очень затруднительно ограничиться демонстрацией этого оружия, а не применить его, что он и сделал - желание быстро окончить войну и сохранить жизни, которые были бы потеряны при любом вторжении Японии, было очень сильно. Всё же основная истина была, вероятно, очень простой: как позже сказал физик Фриман Дайсон3, "причиной, по которой бомба была сброшена, было просто то, что ни у кого не нашлось мужества или предусмотрительности сказать "нет"".

Важно себе представить, как были потрясены физики последствиями бомбёжки Хиросимы 6-го августа 1945-го года. Они описывают ряд волн эмоций: сначала чувство удовлетворения, что бомба работала, потом ужас при мысли об убитых людях и затем убедительное чувство, что ни в коем случае не следует сбрасывать ещё одну бомбу. Но, конечно, ещё одна бомба сброшена была, на Нагасаки, всего лишь через три дня после бомбёжки Хиросимы.

В ноябре 1945-го года, через три месяца после атомных бомбардировок, Оппенгеймер решительно встал за научную позицию, сказав: "Невозможно быть учёным, если вы не верите в то, что знания и сила, которую они дают, представляют внутреннюю ценность для человечества, а также в то, что вы их используете для помощи в распространении знаний и вы хотите нести ответственность за последствия".

Оппенгеймер, вместе с другими, упорно продолжал работать над докладом Ачесона-Лилиенталя, который, как говорит Ричард Родес в своей недавней книге "Видение технологии"1, "нашёл путь предотвратить тайную гонку ядерных вооружений без обращения за помощью к вооруженному мировому правительству"; их предложение было формой отказа государств-наций от права работ в области ядерного оружия в пользу международного органа.

Это предложение привело к плану Баруха, который был представлен на рассмотрение Соединённым Штатам в июне 1946-го года, но так и не был принят (возможно, потому, что, как намекает Родес, Бернард Барух "настойчиво потребовал обременить этот план обусловленными санкциями", тем самым неизбежно обрекая его, даже несмотря на то, что "в любом случае он был бы почти наверняка отвергнут сталинской Россией"). Другие попытки осуществления ощутимых шагов к тому, чтобы поставить ядерную силу под контроль различных стран с целью предотвратить гонку вооружений, проваливались либо из-за политики Соединённых Штатов и внутреннего недоверия, либо из-за недоверия Советов. Удобный случай избежать гонки вооружений был упущен, и очень быстро.

Двумя годами позже, в 1948-м, Оппенгеймер, кажется, достиг ещё одной стадии в своих размышлениях, заявив: "В некотором роде грубого смысла, который ни вульгарность, ни юмор, ни преувеличение не могут полностью затмить, физики познали грех; и это знание они не могут потерять".

В 1949-м году Советы взорвали атомную бомбу. В 1955-м как США, так и Советский Союз испытали водородные бомбы, пригодные для доставки самолётом.

Так началась гонка ядерных вооружений.

Около 20-и лет назад, в документальном фильме "День после Троицы", Фриман Дайсон подытожил научные положения, которые привели нас к ядерной пропасти:

"Я сам это почувствовал. Блеск ядерного оружия. Он неотразим, если вы подходите к этому оружию как учёный. Почувствовать, что оно в ваших руках, освободить энергию, питающую звёзды, позволить ей исполнять ваши приказания. Совершить эти чудеса, поднять миллион тонн булыжника в небо. Это даёт людям иллюзию беспредельной силы и до некоторой степени является причиной всех наших тревог. Это то, что можно назвать технической надменностью. Она овладевает людьми тогда, когда они видят, что они могут делать силой своего разума"2.

Теперь, как и тогда, мы являемся создателями новых технологий и судеб воображаемого будущего. В данное время нас побуждают крупные денежные вознаграждения и мировая конкуренция. Мы не взираем на явные опасности, едва ли оцениваем, на что это может быть похоже - попробовать жить в мире, являющемся практическим результатом того, что мы сейчас создаём и воображаем.

В 1947-м году "Бюллетень учёных-атомщиков" начал помещать на своей обложке "Часы конца света"3. В течение более чем 50-и лет они показывали оценку относительной ядерной угрозы, к которой мы стоим лицом, отражая изменения международной обстановки. Стрелки на этих часах двигались 15 раз и сегодня, показывая без девяти минут полночь, отражают сохраняющуюся и реальную угрозу от ядерного оружия. Недавнее добавление в список ядерных держав Индии и Пакистана увеличило опасность провала задачи нераспространения ядерного оружия, и эта опасность в 1998-м году была отражена движением стрелок ближе к полуночи.

С насколько большей опасностью мы стоим лицом к лицу в наше время, не просто от ядерного оружия, а от всех этих технологий? Насколько высок риск вымирания?

Философ Джон Лесли изучил этот вопрос и пришёл к выводу, что риск человеческого вымирания составляет, как минимум, 30 процентов1 , в то время как Рэй Курзвейл верит, что у нас есть "больше, чем даже шанс, это преодолеть", с предостережением, что его "всегда обвиняют в том, что он оптимист". Эти оценки не только не ободряют, но они и не включают возможности многих ужасных исходов, которые лежат не доезжая до вымирания.

Некоторые серьёзные люди, столкнувшиеся с такими оценками, уже внушают, что мы просто как можно быстрее переселимся за пределы Земли. Мы, дескать, будем заселять Галактику, применяя космические зонды фон-Неймана, которые перепрыгивают от одной звёздной системы к другой и размножаются при этом. Этот шаг станет необходим через 5 миллиардов лет (или раньше, если наша солнечная система погибнет от предстоящего столкновения нашей галактики с галактикой Андромеды в течение ближайших 3-х миллиардов лет), но если мы поймаем Курзвейла и Моравека на слове, то такой шаг может стать необходимым к середине этого столетия.

Что отсюда в нравственном плане следует? Если мы обязаны быстро переселиться за пределы Земли для сохранения нашего вида, то кто возьмёт на себя ответственность за судьбу тех (большинства из нас, в конце концов), которые останутся позади? Но даже если мы рассеемся к звёздам, то не является ли вероятным, что мы можем взять наши проблемы с собой или же обнаружить позднее, что они за нами последовали? Удел человеческого рода на Земле и наш удел в Галактике представляются неразрывно связанными.

Другая идея состоит в том, чтобы соорудить ряд щитов для обороны от каждой из этих опасных технологий. Стратегическая оборонная инициатива, предложенная администрацией Рейгана, была попыткой сконструировать такой щит против угрозы ядерного нападения Советского Союза. Но как замечает Артур Кларк2(47), который был заинтересованным лицом в обсуждениях этого проекта, "Хотя это и возможно, при больших издержках, построить местную систему обороны, пропускающую "только" небольшой процент баллистических ракет, пышно разрекламированная идея национального зонтика являлась чушью. Луис Алварез, быть может, величайший физик-экспериментатор этого столетия, заметил мне, что сторонники таких проектов являются "очень весёлыми малыми без капли здравого смысла"."

Кларк продолжает: "Заглядывая в мой часто затуманенный магический кристалл, я предполагаю, что абсолютная защита в самом деле может стать возможной в течение столетия или около того. Но вовлечённая технология создала бы, в качестве побочного продукта, оружия настолько страшные, что никто не стал бы возиться с чем-либо таким примитивным, как баллистические ракеты."1

Эрик Дрекслер в "Машинах созидания" предлагает нам соорудить активный нанотехнологический щит - своего рода иммунную систему для биосферы - чтобы обороняться от опасных репликаторов всех родов, которые могут ускользнуть из лабораторий или быть злоумышленно созданы иным способом. Но щит, который он предлагает, сам был бы чрезвычайно опасным - ничто не могло бы предотвратить его от развития аутоиммунных реакций и от поражения самой биосферы2 .

Подобные трудности относятся и к построению защиты от робототехники и генной инженерии. Эти технологии слишком могущественны для того, чтобы от них можно было бы защититься в интересующий срок; даже если бы это и было возможным - сделать оборонительные щиты - то побочные эффекты их разработки были бы, как минимум, такими же опасными, как и сами технологии, от которых мы пробуем защититься.

Таким образом, все эти возможности либо нежелательны, либо недостижимы, либо и то и другое. Единственной практической альтернативой, которую я вижу, является отказ: ограничить развитие слишком опасных технологий путём ограничения нашего стремления к определённым родам знаний.

Да, я знаю, знания хороши, как хороши и поиски новых истин. Мы ищем знаний с древних времён. Аристотель начал свою "Метафизику" с простого утверждения: "Все люди от рождения хотят знать". Мы в качестве основополагающей ценности нашего общества долгое время соглашались с ценностью открытого доступа к информации, и мы признаём проблемы, которые возникают при попытках ограничить доступ к знаниям и ограничить их развитие. В современную эпоху мы пришли к уважению научного знания.

Но невзирая на сильные исторические прецеденты, если свободный доступ к знанию и неограниченное развитие знания подвергает всех нас с этого времени ясной опасности вымирания, то здравый смысл требует, чтобы мы пересмотрели даже эти основные, долго удерживаемые убеждения.

Именно Ницше1 в конце 19-го века предупреждал нас, что не только Бог мёртв, но и что "вера в науку, которая, в конце концов, бесспорно существует, не может быть обязана своим происхождением исчислению общественной полезности; она должна происходить назло тому обстоятельству, что бесполезность и опасность принципов "воля к истине", "истина любой ценой" то и дело подтверждает это". Это и есть та дальнейшая опасность, с которой мы сейчас сталкиваемся в полной мере - последствия нашего искания истины. Истина, которую ищет наука, несомненно может считаться опасной подменой Бога, если она, вероятно, должна привести к нашему вымиранию.

Если бы мы могли, как биологический вид, договориться о том, чего мы хотим, куда мы держим курс и почему, то мы бы сделали наше будущее гораздо менее опасным - мы могли бы тогда понять, от чего мы можем и должны отказаться. В противном случае мы легко можем представить себе гонку вооружений, развивающуюся над ГНР-технологиями, как это было с ЯБХ-технологиями в 20-м веке. Это, возможно, представляет наибольший риск, ибо если однажды такая гонка началась, окончить её будет очень трудно. В настоящее время – в отличие от времени Манхэттенского проекта – мы не воюем, смело встречая непримиримого врага, который угрожает нашей цивилизации; нами вместо этого движут наши привычки, наши желания, наше экономическое устройство и наша соревнующаяся потребность знать.

Я верю в то, что все мы желаем, чтобы наш курс определялся бы нашими совместными ценностями, нравственностью и этикой. Если бы мы извлекли больше совместной мудрости из нескольких прошедших тысячелетий, то диалог к этой цели был бы более практическим, а неслыханная сила, которую мы собираемся высвободить, тревожила бы в несравненно меньшей степени.

Можно было бы подумать, что к такому диалогу нас может подталкивать наш инстинкт самосохранения. Отдельные лица, несомненно, имеют такое желание, но поведение рода человеческого оставляет желать лучшего. Имея дело с ядерной угрозой, мы часто говорили самим себе и друг другу нечестно, тем самым сильно увеличивая риск. Было ли это мотивировано с политической точки зрения, или потому, что мы решили не задумываться, или потому, что когда мы сталкивались с такими мрачными угрозами, мы, будучи вне себя от страха, действовали нелогично, я не знаю, но такой образ действия не сулит ничего хорошего.

Новые генетические, нанотехнологические и робототехнические ящики Пандоры2 почти открыты, но мы, похоже, вряд ли уведомлены об этом. Идеи нельзя положить обратно в ящик; в отличие от урана или плутония, их не нужно добывать и подвергать очистке и их можно свободно копировать. Раз уж они выпущены, значит, они выпущены. Черчилль в своём знаменитом сомнительном комплименте заметил, что американский народ и его руководители "неизменно делают правильную вещь после того, как они проверят все другие альтернативы". В данном случае, однако, мы обязаны действовать с большим предвидением, так как сделать правильную вещь лишь напоследок - это, быть может, потерять шанс сделать её вообще.

Как сказал Торо, "мы не ездим по железной дороге; она ездит по нам"1; и это есть то, с чем мы обязаны в наше время бороться. Вопрос на самом деле в том, кто должен быть главным? Переживём ли мы наши технологии?

Мы движемся в этот новый век безо всякого плана, без управления, без тормозов. Спустились ли мы уже по этой тропе слишком далеко для того, чтобы можно было изменить курс? Я не верю в это, но мы так и не пробуем, а последняя возможность взять ситуацию под контроль - отказобезопасная точка - быстро приближается. Мы имеем наших первых любимцев-роботов, а также доступные для приобретения генно-инженерные методики, и наша наноразмерная техника быстро развивается. Несмотря на то, что развитие этих технологий происходит через множество шагов, последний шаг в испытании технологии вовсе не обязательно является крупным и трудным - как это случилось в Манхэттенском проекте и при испытании "Тринити". Прорыв к необузданному саморазмножению в робототехнике, генной инженерии или в нанотехнологии может произойти внезапно, возобновив удивление, которое мы чувствовали, когда узнали о клонировании млекопитающих.

И всё же я верю, что мы и впрямь имеем прочную и твёрдую основу для надежды. Наши попытки иметь дело с оружиями массового уничтожения в прежнем столетии предоставляют нам на рассмотрение блестящий пример отказа: односторонний, без предварительных условий, отказ Соединённых Штатов от разработки биологического оружия. Этот отказ произошёл из осознания того, что хотя создание этого страшного оружия и потребовало бы огромных усилий, но после этого его можно было бы легко скопировать и оно могло бы попасть в руки плутовских наций или террористических групп.

Очевидный вывод - что мы создали бы для себя дополнительные угрозы от погони за этими вооружениями и что мы были бы в большей безопасности, если бы мы за ними не гнались. Мы воплотили наш отказ от биологического и химического оружия в Конвенции Биологического Оружия 1972-го года и в Конвенции Химического Оружия 1993-го года 1.

Что же до сохраняющейся значительной угрозы от ядерного оружия, с которой мы живём вот уже на протяжении более чем 50-и лет, то недавнее отклонение сенатом США Договора по Всеобъемлющему Запрету Ядерных Испытаний делает очевидным, что с политической точки зрения отказ от ядерного оружия не будет лёгким. Тем не менее, с окончанием Холодной Войны мы имеем замечательную возможность предотвратить многополюсную гонку вооружений. Основываясь на биологической и химической конвенциях, успешное упразднение ядерного оружия могло бы нам помочь установить обычай отказа от опасных технологий. (Действительно, избавившись от всех, за исключением 100-а ядерных зарядов, распределённых по всему свету, которые приблизительно составляют совокупную разрушительную силу Второй Мировой Войны, -что является значительно более лёгкой задачей - мы могли бы исключить эту угрозу вымирания2 .)

Проверка выполнения отказа будет трудной, но не неразрешимой задачей. Нам повезло: мы уже проделали множество соответствующей работы в связи с Конвенцией Биологического Оружия и другими договорами. Нашей главной задачей будет применить это к технологиям, которые по природе гораздо более коммерческие, чем военные. Существенной нуждой тут является прозрачность, так как трудность контроля прямо пропорциональна трудности отличения запрещённой деятельности от законной.

Я искренне верю, что ситуация в 1945-м году была проще, чем та, с которой мы сталкиваемся теперь: ядерные технологии можно было приемлемо разделить на коммерческое и военное применение, а дозиметрическому контролю помогала природа атомных испытаний и лёгкость измерения радиоактивности. Исследования по военным применениям могли выполняться в государственных лабораториях, таких, как Лос-Аламос, с сохранением результатов в тайне как можно дольше.

ГНР-технологии не имеют ясного подразделения на коммерческое и военное применение; учитывая их рыночные возможности, трудно предположить, что ими будут заниматься только в государственных лабораториях. При их широком коммерческом распространении принудительный отказ потребует режима контроля, подобного режиму контроля для биологического оружия, но на беспрецедентном масштабе. Это неизбежно поднимет напряжённость между нашей личной приватностью и желанием частной информации с одной стороны и потребностью в контроле для того, чтобы защитить нас всех - с другой. Мы, несомненно, встретим мощное сопротивление этой потере приватности и свободы действия.

Проверку отказа от определённых ГНР-технологий придётся проводить как в кибернетическом пространстве, так и на уровне физической аппаратуры. Решающая трудность будет в том, чтобы сделать необходимую прозрачность в мире частной информации приемлемой, предположительно через предоставление новых форм защиты интеллектуальной собственности.

Выполнение контроля потребует также, чтобы учёные и инженеры приняли строгий кодекс нравственного поведения, похожий на клятву Гиппократа, и чтобы они имели мужество выступать во весь голос, как необходимо, даже если это им дорого станет. Это стало бы ответом на призыв - через 50 лет после Хиросимы - нобелевского лауреата Ганса Бете1, одного из наиболее старших живущих участников Манхэттенского проекта, чтобы все учёные "прекратили и воздерживались от работ, создающих, развивающих, совершенствующих и производящих ядерное оружие и другие оружия потенциального массового уничтожения"2. В 21-м веке это потребует бдительности и персональной ответственности от тех, кто будет работать как над ЯБХ-, так и над ГНР-технологиями, для того, чтобы избежать реализации оружий массового уничтожения и знаний массового уничтожения.

Торо сказал также, что мы будем "богатыми соразмерно количеству тех вещей, которые мы можем позволить себе не трогать"3. Все мы стремимся к счастью, однако представляется дельным вопрос о том, нужно ли нам подвергаться такому большому риску полного уничтожения для того, чтобы получить ещё больше знаний и ещё больше вещей; здравый смысл говорит, что нашим материальным нуждам есть предел - и что определённые знания являются слишком опасными и от них лучше отказаться.

Не следует нам также гнаться за почти бессмертием без учёта цены, без учёта соразмерного роста риска вымирания. Бессмертие, может быть даже и подлинное, не является, конечно, единственно возможной утопической мечтой.

Недавно мне посчастливилось встретиться с выдающимся писателем и учёным Жаком Аттали, чья книга "Lignes d'horizons" ("Золотой век", в английском переводе)4 помогла вдохновить подход "Java" и "Jini" к грядущему веку распределённых вычислений, как это было ранее описано в данном журнале. В своей новой книге "Общины"5 Аттали описывает, как наши мечты об утопии изменились за время:

"На заре общества люди считали свой путь на Земле не более чем лабиринтом страдания, в конце которого стояла дверь, ведущая, через их смерть, в общество богов и в Вечность. С евреями, а потом и греками, некоторые люди отважились освободить себя от богословских запросов и стали мечтать о совершенном Городе, где будет процветать Свобода. Другие, отметившие развитие рыночного общества, понимали, что свобода одних повлечёт за собой отчуждение других, и они стремились к Равенству."

Жак помог мне понять, как эти три различные утопические цели напряжённо существуют сегодня в нашем обществе. Он идёт дальше и описывает четвёртую утопию, "Братство", чьим основанием является альтруизм. Только Братство связывает личное счастье с счастьем других, давая залог самоподдержки.

Это прояснило для меня мой вопрос касательно мечты Курцвейла. Технологическое приближение к Вечности - почти бессмертие посредством робототехники - не может быть самой желанной утопией, а её преследование влечёт за собой ясные опасности. Нам, быть может, следует пересмотреть наш выбор утопий заново.

Где мы можем искать новые нравственные основания для установления нашего курса? Я счёл очень полезными мысли, изложенные в книге Далай Ламы "Этика для нового тысячелетия"1 . Как может быть хорошо известно, но мало кто на это обращает внимание, Далай Лама доказывает, что самое важное для нас - это проводить наши жизни в любви и сочувствии к другим, и что нашим обществам нужно разработать более серьёзное представление о всеобщей ответственности и о нашей взаимосвязанности; он предлагает стандарт положительного нравственного поведения для индивидуумов и обществ, который кажется созвучным с утопией Аттали "Братство".

Далай Лама утверждает далее, что мы должны понять причину человеческого счастья и признать веские основания того, что ни материальный прогресс, ни стремление к силе знаний не являются разгадкой - что существуют пределы, до которых наука и научные поиски могут сами по себе действовать.

Наше западное понимание счастья происходит, похоже, от греков, которые определили его как "тренировка жизненных сил по линиям превосходства в жизни, давая им простор"2 .

Несомненно, нам нужно найти достойные задачи и достаточную цель в наших жизнях, если мы должны быть счастливы, что бы ни случилось. Но я полагаю, что мы должны найти альтернативный выход нашим созидательным силам, за пределами культуры вечного экономического роста; этот рост на протяжении нескольких сотен лет был в значительной степени благом, но он не принёс нам чистого, беспримесного счастья, и мы теперь обязаны выбирать между преследованием неограниченного и неориентированного роста через науку и технику с одной стороны и ясными сопутствующими опасностями с другой.

Вот уже прошло больше года со времени моей первой встречи с Рэем Курцвейлом и Джоном Сирлом. Я вижу вокруг себя основание для надежды в голосах предостережения и отказа и в тех обнаруженных мною людях, которые так же обеспокоены нашим теперешним положением, как и я. Я чувствую также повышенную личную ответственность - не за ту работу, которую я уже сделал, а за ту, которую я могу ещё сделать при слиянии наук.

Однако многие другие люди, знающие об этих опасностях, всё ещё представляются странно безмолвными. Когда же от них требуешь действий, они щеголяют находчивым ответом: "В этом нет ничего нового", - как будто понимание того, что может случиться, нашло достаточный отклик. Они уверяют меня: "В университетах полно специалистов в области биологической этики, которые изучают этот материал день-деньской". Они говорят: "Обо всём этом уже написали, и притом знатоки". Они жалуются: "Ваши тревоги и ваши дискуссии уже устарели".

Я не знаю, куда эти люди прячут свой страх. Как создатель сложных систем, я вступаю на этом поприще в качестве лидера. Но должно ли это ослаблять мои беспокойства? Я отдаю себе полный отчёт в том, как много об этом столь авторитетно написано, сказано и прочитано лекций. Но значит ли это, что это дошло до народа? Значит ли это, что мы можем не принимать в расчёт стоящие перед нами опасности?

Понимание не является логическим обоснованием для бездействия. Можем ли мы сомневаться в том, что знания стали оружием, которое мы держим в руках против самих себя?

Опыт учёных-атомщиков ясно показывает надобность взятия на себя персональной ответственности, показывает опасность, что обстоятельства будут развиваться слишком быстро и демонстрирует способ, которым ход развития может обернуться против нас самих. Мы можем, как сделали они, создать непреодолимые проблемы за почти нулевой временной промежуток. Мы обязаны изображать больше мысли на своём челе, если мы не хотим, чтобы последствия наших изобретений нас подобным же образом поразили и застигли врасплох.

Моя продолжающаяся профессиональная работа направлена на повышение надёжности программ. Программное обеспечение - это инструмент, и как разработчик инструментов, я обязан биться над применениями сделанных мной инструментов. Я всегда верил в то, что повышение надёжности программ, учитывая многочисленность их применений, сделает наш мир более безопасным и более хорошим местом; если бы я должен был убедиться в обратном, то я был бы морально обязан прекратить эту работу. Я теперь могу себе представить, что такой день может наступить.

Я не сержусь на всё это, но, по крайней мере, становлюсь немного меланхоличным. С этого времени прогресс будет для меня чем-то горьковато-сладким.

Вы помните прекрасную предпоследнюю сцену в "Манхэттене", где Вуди Аллен1 лежит на своей кушетке и говорит в магнитофон? Он записывает краткую историю о людях, которые создают для себя нервные и ненужные проблемы, потому что это отвлекает их от более неразрешимых и ужасающих мировых проблем.

Он приходит к вопросу: "Почему жизнь представляет ценность?" - и обдумывает, что делает её стоящей для него: Граучо Маркс, Вилли Мейс, вторая часть симфонии "Юпитер", запись "Блюза Картофельной Головы" Луи Армстронга, шведские кинофильмы, "Сентиментальное воспитание Флоберта", Марлон Брандо, Фрэнк Синатра, яблоки и груши Сезанна, крабы у Сэма Воу и, в заключение, лик Трейси, его возлюбленной2.

У каждого из нас есть свои дорогие предметы, и поскольку мы питаем к ним интерес, мы определяем местонахождение сущности нашей человеческой природы. В конечном счёте, именно из-за нашей великой способности заботиться я остаюсь оптимистом, веря, что мы будем противостоять рискованным проблемам, которые сейчас перед нами стоят.

Моя непосредственная надежда - участвовать в гораздо более широком обсуждении поднятых здесь проблем, с людьми из различных слоёв общества, в атмосфере, не предрасположенной к тому, чтобы страшиться или благоволить технике ради неё самой.

В качестве начала, я дважды поднял многие из этих проблем на мероприятиях, организованных институтом Аспена, и внёс индивидуальное предложение, чтобы Американская академия искусств и наук приняла их в качестве расширения своей работы на Пагуошских конференциях. (Они проводятся с 1957-го года для обсуждения контроля вооружений, главным образом, ядерного оружия и для формулировки осуществимой политики.)

К несчастью, Пагуошские встречи начались только спустя многое время после того, как ядерный джин был выпущен из бутылки - они запоздали приблизительно на 15 лет. Мы тоже берём запоздалый старт на серьёзную проработку проблем вокруг технологий 21-го века - предотвращение массового уничтожения, вызываемого знаниями - и дальнейшая проволочка представляется неприемлемой.

Так что я до сих пор ищу; есть ещё много обстоятельств, которые нужно узнать. Должны ли мы преуспеть или же потерпеть неудачу, должны выжить или же пасть жертвой этих технологий, ещё не решено. Опять я поздно встал - уже почти 6 часов утра. Я пробую представить себе несколько лучшие решения, чтобы избавиться от приступа дурного настроения и развеять неопределённость.

Вернор Виндж. Технологическая Сингулярность

Перевод - Олег Данилов.

/think/35815/

Vernor Vinge "The Coming Technological Singularity: How to Survive in the Post-Human Era"

Исходный вариант этой статьи математик и писатель Вернор Виндж представил на симпозиуме VISION-21, который проводился в 1993 году Центром космических исследований NASA им. Льюиса и Аэрокосмическим институтом Огайо. В 2003 году автор дополнил статью комментариями.

Что такое Сингулярность?

Ускорение технического прогресса - основная особенность XX века. Мы на грани перемен, сравнимых с появлением на Земле человека. Сугубая причина этих перемен заключается в том, что развитие техники неизбежно ведёт к созданию сущностей с интеллектом, превышающим человеческий. Наука может достичь такого прорыва разными путями (и это ещё один довод в пользу того, что прорыв произойдёт):

Компьютеры обретут "сознание", и возникнет сверхчеловеческий интеллект. (В настоящее время нет единого мнения о том, сумеем ли мы создать машину, равную человеку, однако, если это получится, несомненно, вскоре затем можно будет сконструировать еще более разумные существа).

Крупные компьютерные сети (и их объединенные пользователи) могут "осознать себя" как сверхчеловечески разумные сущности.

Машинно-человеческий интерфейс станет настолько тесным, что интеллект пользователей можно будет обоснованно считать сверхчеловеческим.

Биология может обеспечить нас средствами улучшения естественного человеческого интеллекта.

Первые три возможности напрямую связаны с совершенствованием компьютерного аппаратного обеспечения. [В действительности, четвёртая возможность также зависит от этого, хотя и косвенно.] Прогресс аппаратного обеспечения на протяжении уже нескольких десятилетий поразительно cтабилен. Исходя из этой тенденции, я считаю, что интеллект, превосходящий человеческий, появится в течение ближайших тридцати лет. (Чарльз Платт заметил, что энтузиасты ИИ делают подобные утверждения уже лет тридцать. Чтобы не быть голословным, отделавшись относительной временной двусмысленностью, позвольте мне уточнить: я удивлюсь, если это случится до 2005 года или после 2030 года). [Прошло десять лет, но я по-прежнему считаю, что указанный срок справедлив.]

Каковы будут последствия этого события? Когда прогресс будет направляться интеллектом, превосходящим человеческий, он станет куда стремительнее. Фактически, нет оснований полагать, что прогресс не станет плодить всё более разумные сущности всё более ускоренными темпами. Лучшая аналогия, которую можно здесь провести - в эволюционном прошлом. Животные могут приспособиться и проявлять изобретательность, но не быстрее, чем работает естественный отбор. В случае естественного отбора мир сам выступает в роли собственного симулятора. Мы, люди, обладаем способностью усваивать окружающий мир и выстраивать у себя в голове причинно-следственные связи, поэтому мы решаем многие проблемы в тысячи раз быстрее, чем механизм естественного отбора. Когда же появится возможность просчитывать эти модели на более высоких скоростях, мы войдём в режим, который отличается от нашего человеческого прошлого не менее радикально, чем мы, люди, сами отличаемся от низших животных.

Такое событие аннулирует за ненадобностью весь свод человеческих законов, возможно, в мгновение ока. Неуправляемая цепная реакция начнет развиваться по экспоненте безо всякой надежды на восстановление контроля над ситуацией. Изменения, на которые, как считалось, потребуются "тысячи веков" (если они вообще произойдут), скорее всего, случатся в ближайшие сто лет.

Вполне оправданно будет назвать данное событие сингулярностью (даже Сингулярностью, по замыслу данного эссе). Это точка, в которой наши старые модели придётся отбросить, где воцарится новая реальность. Это мир, очертания которого будут становиться всё четче, надвигаясь на современное человечество, пока эта новая реальность не заслонит собой окружающую действительность, став обыденностью. И всё же, когда мы такой точки, наконец, достигнем, это событие все равно станет великой неожиданностью и ещё большей неизвестностью. В пятидесятые годы немногие предвидели это. Стэн Юлам пересказывал однажды слова Джона фон Неймана: "Один разговор шел о непрерывно ускоряющемся техническом прогрессе и переменах в образе жизни людей, которые создают впечатление приближения некоторой важнейшей сингулярности в истории земной расы, за которой все человеческие дела, в том виде, в каком мы их знаем, не смогут продолжаться".

Фон Нейман даже использовал термин "сингулярность", хотя, похоже, он думал о нормальном прогрессе, а не о создании сверхчеловеческого интеллекта. (По моему же мнению, в сверхчеловечности кроется сама суть Сингулярности, без этого мы пресытимся избытком технических богатств, так и не сумев их как следует переварить).

В шестидесятые года отмечались признаки некоторого вовлечения в нашу жизнь сверхчеловеческого интеллекта. Ирвинг Джон Гуд писал: "Определим сверхразумную машину как машину, которая способна значительно превзойти все интеллектуальные действия любого человека, как бы умён тот ни был. Поскольку способность разработать такую машину также является одним из этих интеллектуальных действий, сверхразумная машина может построить ещё более совершенные машины. За этим, несомненно, последует "интеллектуальный взрыв", и разум человека намного отстанет от искусственного [далее здесь цитируются три более ранние работы Гуда]. Таким образом, первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать ее под контролем... И вероятность того, что в двадцатом веке сверхразумная машина будет построена и станет последним изобретением, которое совершит человек, выше, чем вероятность того, что этого не случится".

Гуд уловил суть разгона прогресса, но не рассматривал его самые тревожащие последствия. Любая разумная машина того типа, что он описывает, не будет "инструментом" человечества так же, как люди не стали орудиями кроликов, малиновок или шимпанзе.

В шестидесятые, семидесятые и восьмидесятые годы осознание грядущего катаклизма ширилось и росло. Вероятно, первыми его влияние почувствовали фантасты. В конце концов, ведь именно научной фантастике полагается рассказывать о том, чем обернутся для нас все эти технологии. Всё чаще писателей преследовало ощущение того, что будущее сокрыто за непроницаемой стеной. Когда-то воображение с лёгкостью переносило их на миллионы лет вперед. Теперь же они обнаруживают, что их наиболее усердные прогнозы относятся к неизвестному… завтра. Прежде галактические империи могли казаться постчеловеческимим реалиями. Ныне, как ни печально, даже межпланетные государства представляются таковыми.

[На самом деле теперь, в начале двадцать первого столетия, романы о космических приключениях делятся на группы, в зависимости от того, каким образом их авторы справляются с вероятностью появления сверхчеловеческих машин. Фантасты используют целый арсенал уловок, чтобы доказать их невозможность или удерживать на безопасном расстоянии от сюжета.]

Так что же ждет нас в эти два-три десятка лет, пока мы движемся к краю? Как наступление Сингулярности станет утверждаться в человеческом мировосприятии? До поры, до времени неплохую прессу будут иметь критики машинного разума. В конце концов, пока не появится аппаратное обеспечение, сравнимое по мощи с человеческим мозгом, наивно надеяться создать интеллект, сравнимый с разумом человека (или превосходящий его). (Есть малоправдоподобная вероятность, что достичь уровня человеческого разума можно и на менее мощном "железе", если мы готовы поступиться скоростью и нас устроит искусственное существо, которое будет медленным в самом буквальном смысле слова. Но, скорее всего, составление программы для него окажется нетривиальным занятием и не обойдётся без многочисленных фальстартов и экспериментов. А раз так, значит, эра машин, наделенных самосознанием, не наступит, пока не будет разработано аппаратное обеспечение, обладающее существенно большей мощностью, чем природное снаряжение человека).

Однако с течением времени мы будем наблюдать все больше симптомов. Дилемма, которую прочувствовали фантасты, станет восприниматься в контексте творческих усилий иного рода. (Мне известно, что вдумчивые авторы комиксов уже беспокоятся о том, каким образом придется создавать зрительные эффекты, когда все видимое вокруг станет можно отображать при помощи широко доступных технических средств.) Мы станем свидетелями того, как постепенно будут автоматизироваться задачи всё более высокого уровня. Уже сейчас существуют инструменты (программы символической логики, САПР), которые освобождают нас от большинства нудной рутины. Есть и обратная сторона медали: истинно производительный труд становится уделом стабильно сокращающейся узкой элиты человечества. С пришествием Сингулярности мы увидим, как, наконец, сбываются прогнозы о настоящей техногенной безработице.

Другой признак движения к Сингулярности: сами идеи должны распространяться быстрее, и даже самые радикальные из них начнут моментально становиться достоянием общественности.

А каким же будет наступление самой Сингулярности? Что можно сказать об истинном характере этого события? Поскольку дело касается интеллектуального разгона, вероятно, это окажется самой стремительной технической революцией из всех прежде нам известных. Свалится, вероятнее всего, как снег на голову - даже вовлеченным в процесс учёным. ("Но ведь все наши предшествующие модели не двигались! Мы только подкрутили кое-какие настройки...") Если сети достаточно широко распространены (в вездесущих встроенных системах), может показаться, будто наши артефакты вдруг обрели самосознание.

И что же тогда случится через месяц или два (или через день-другой) после этого? Есть только одна аналогия, которую я могу провести - возникновение человечества. Мы очутимся в постчеловеческой эре. И несмотря на весь свой технический оптимизм, мне было бы куда комфортнее, если бы меня от этих сверхъестественных событий отделяли тысяча лет, а не двадцать.

Как избежать Сингулярности?

Ну, а может, Сингулярность вообще не наступит. Порой я пытаюсь представить себе признаки, судя по которым, нам станет понятно, что Сингулярности можно не ждать. Есть популярные и признанные аргументы Пенроуза и Сёрла о непрактичности машинного разума. В августе 1992 года сообщество "Мыслящих Машин" устроило мозговой штурм с целью проверить тезис: "Как построить мыслящую машину?" Как вы уже догадались, из этого посыла следует, что участники эксперимента не слишком-то поддерживали те самые аргументы против машинного разума. В действительности, принималась общая договоренность о том, что разум может существовать на небиологической основе, и что алгоритмы являются важнейшей составляющей для разума. Тем не менее, разгорелись жаркие споры по поводу наличия в органических мозгах аппаратной мощности в чистом виде. Меньшинство придерживалось мнения, что крупнейшие компьютеры 1992 года по мощности отставали от человеческого мозга на три порядка. Большинство же участников соглашалось с подсчетами Ганса Моравеца, по которым выходило, что от аппаратного паритета в этом вопросе нас отделяют еще десять-сорок лет. И все же было еще одно меньшинство предполагавших, что вычислительные способности отдельных нейронов могут быть намного лучше, чем принято считать. Если это так, то наши современные компьютеры отстают аж на десять порядков от того снаряжения, которое скрыто у нас в черепной коробке. Если верен этот тезис (или, в данном случае, если взгляды Пенроуза и Сёрла обоснованы), возможно, мы так никогда и не доживем до Сингулярности. Вместо этого, в начале XXI века обнаружится, что круто вздымавшиеся кривые производительности нашего аппаратного обеспечения начнут сглаживаться из-за нашей неспособности автоматизировать конструкторскую работу по разработке дальнейших усовершенствований аппаратных средств. Все кончится каким-нибудь очень мощным компьютером, но без возможности двигаться вперед. Коммерческая цифровая обработка сигналов будет восхитительна, обеспечивая аналоговый выход, сравнимый с цифровыми операциями, но "сознание" не пробудится, а интеллектуальный разгон, являющий собой самую суть Сингулярности, так и начнется. Такое положение вещей, вероятно, следует рассматривать как Золотой век… и конец прогресса. Это будет нечто очень похожее на будущее, предсказанное Гюнтером Стентом, который ясно дал понять, говоря об идее создания надчеловеческого разума, что это станет достаточным условием для того, чтобы его прогнозы не сбылись.

[В предыдущем абзаце не достает того, что я считаю сильнейшим аргументом против вероятности Технологической Сингулярности: даже если мы сумеем создать компьютеры с чистой аппаратной мощью, вероятно, не получится организовать имеющиеся компоненты таким образом, чтобы машина обрела сверхчеловеческий разум. Для техноманов-механистов это, по-видимому, выльется в нечто вроде "неспособности решения проблемы сложности программного обеспечения". Будут предприниматься попытки запустить все более крупные проекты по разработке ПО, но программирование не справится с задачей, а мы никогда не овладеем секретами биологических моделей, которые могли бы помочь воплотить в жизнь "обучение" и "эмбриональное развитие" машин. В конце концов, появится следующий полуфантастический контрапункт Мерфи к закону Мура: "Максимально возможная эффективность программной системы растет пропорционально логарифму эффективности (то есть скорости, полосе пропускания, объему памяти) подлежащего программного обеспечения". В этом мире без сингулярности будущее программистов уныло и беспросветно. (Представьте себе необходимость одолевать скопившиеся за столетия унаследованные программы!) Так что в последующие годы, полагаю, следует обращать особое внимание на две важнейшие тенденции: прогресс в крупных проектах по разработке программного обеспечения и прогресс в применении биологических парадигм в масштабных сетях и масштабных параллельных системах.]

Но если технологической Сингулярности суждено быть, то она случится. Даже если все государства мира осознают "угрозу" и перепугаются до смерти, прогресс не остановится. Конкурентное преимущество - экономическое, военное, даже в сфере искусства - любого достижения в средствах автоматизации является настолько непреодолимым, что запрещение подобных технологий просто гарантирует, что кто-то другой освоит их первым.

Эрик Дрекслер составил впечатляющие прогнозы развития и совершенствования технических средств. Он соглашается с тем, что появление сверхчеловеческого разума станет возможно в ближайшем будущем. Но Дрекслер оспаривает способность человечества удерживать контроль над столь сверхчеловеческими устройствами, чтобы результаты их работы можно было оценить и надежно использовать.

Не соглашусь, что сохранение контроля так уж невозможно. Представьте себя запертым в собственном доме при единственном, ограниченном некими вашими хозяевами канале доступа информации извне. Если бы эти хозяева мыслили со скоростью, скажем, в миллион раз медленнее вас, едва ли стоит сомневаться в том, что через несколько лет (вашего времени) вы изобрели бы способ побега. Я называю эту "быстро мыслящую" форму сверхразума "слабым сверхчеловеческим". Такая "слабая сверхчеловеческая сущность" более чем ускорила бы течение времени эквивалентного человеческому ума. Сложно сказать точно, что будет из себя представлять "сильное сверхчеловеческое", но отличие, по-видимому, будет разительным. Вообразите собаку с чрезвычайно ускорившейся работой мысли. Сможет ли тысячелетний опыт собачьего мышления что-то дать человечеству? Многие предположения о сверхразуме, как кажется, основываются на модели "слабого сверхчеловеческого". Я же думаю, что наиболее верные догадки о постсингулярном мире можно строить на предположениях об устройстве "сильного сверхчеловеческого". К этому вопросу мы еще вернемся.

Другим подходом к проблеме сохранения контроля является идея о создании искуственных ограничений свободы действий сконструированной сверхчеловеческой сущности. [например, Законы роботехники у Азимова]. Я полагаю, что любые правила, достаточно строгие, чтобы обеспечить их эффективность, приведут у созданию устройства с возможностями, очевидно более узкими, чем у нестесненных ограничениями версий (таким образом, соревновательность будет способствовать развитию более опасных моделей).

Если Сингулярность нельзя предотвратить или ограничить, насколько жестокой может стать постчеловеческая эра? Что ж, довольно жестокой. Физическое вымирание человеческой расы - одно из возможных следствий. (Или, как сформулировал это Эрик Дрекслер, говоря о нанотехнологиях: со всеми подобными техническими возможностями, вероятно, правительства решат, что простые граждане им больше не нужны). Тем не менее, физическое вымирание может оказаться далеко не самым страшным последствием. Вспомните о разного рода наших отношениях к животным. В постчеловеческом мире по-прежнему останется множество ниш, в которых эквивлентная человеческой автономность будет востребована: встроенные системы в самоуправляющихся устройствах, автономные демоны низшей функциональности в более крупных разумных существах. ("Сильное сверхчеловеческое, по-видимому, будет представлять собой Общность Разума из нескольких очень умных компонентов".) Некоторые из таких человеческих эквивалентов могут использоваться исключительно для цифровой обработки сигналов. Прочие могут остаться весьма человекоподобными, хотя и специализированными, с узким профилированием, из-за которого в наше время их поместили бы в психиатрическую клинику. Несмотря на то что никто из этих существ может не быть уже людьми из плоти и крови, они останутся наиболее близкими к современному нам человеку в том новом окружении.

[Уверен, Ирвингу Гуду было бы, что сказать на этот счет (хоть я и не нашел у него упоминаний чего-то подобного). Гуд предложил золотое метаправило, которое можно переформулировать следующим образом: "Обращайся с братьями меньшими так, как ты хочешь, чтобы старшие братья обращались с тобой". Это чудесный парадокс (и большинство моих друзей этому не верят), так как последствия, подсчитанные согласно теории игр, отчетливо выразить трудно.Тем не менее, если бы мы могли следовать этому правилу, в каком-то смысле это могло бы говорить о распространенности подобных добрых намерений во вселенной.]

Я уже выражал выше сомнение в том, что мы не можем предотвратить Сингулярность, что ее наступление есть неминуемое следствие естественной человеческой соревновательности и возможностей, присущих технологиям. И все же мы - инициаторы. Даже величайшая лавина вызывается мельчайшими действиями. Мы вольны устанавливать начальные условия, чтобы все происходило с наименьшим для нас ущербом.

[Будет ли прок от предвидения и вдумчивого планирования, может зависеть от того, как произойдет технологическая Сингулярность. Будет ли это "резкий переход" или "тихий переход". Резкий переход - это тот, при котором сдвиг к сверхчеловеческому контролю произойдет за несколько сотен часов (как в "Музыке крови" Грега Бэра). Мне представляется, что спланировать что-то в расчете на резкий переход будет чрезвычайно трудно. Он будет подобен лавине, о которой я писал в этом эссе в 1993 году. Наиболее кошмарная форма резкого перехода может произойти из гонки вооружений, когда две державы подстегивают свои отдельные "манхэттенские проекты" с целью добиться сверхчеловеческой мощи. Эквивалент десятилетий шпионажа на человеческом уровне может сжаться в последние несколько часов существования расы, и весь человеческий контроль и рассудительность пасуют перед некими чрезвычайно деструктивными целями.

С другой стороны, "тихий переход" может занять десятки лет, возможно, более века. Такая ситуация кажется более поддающейся планированию и вдумчивому экспериментированию. Ганс Моравец рассматривает такой "плавный переход" в книге "Робот: от простой машины к сверхразуму"].

Конечно (как и в случае с лавинами), нельзя с уверенностью судить, каков именно на самом деле будет тот самый направляющий толчок.

Путь к Сингулярности

Когда говорят о существах со сверхчеловеческим разумом, обычно имеют в виду проект по созданию искусственного интеллекта. Но как я отметил в начале этой статьи, есть и другие пути к сверхчеловеческому. Компьютерные сети и человеко-машинные интерфейсы представляются более приземленными, нежели ИИ, и все-таки они способны привести к Сингулярности. Я называю этот противоречивый подход Усилением Интеллекта (УИ). УИ протекает вполне естественно, в большинстве случаев его даже не осознают сами разработчики. Однако всякий раз, когда улучшаются наши возможности доступа к информации и передачи ее другим, в каком-то смысле мы достигаем прироста по отношению к природному интеллекту. Сейчас уже дуэт из человека-профессора и хорошей электронной рабочей станции (даже не подключенной к сети), вероятно, может с блеском сдать любой из существующих письменных тестов.

И вполне возможно, что УИ является наиболее легким путем к достижению сверхчеловеческого, нежели ИИ в чистом виде. В том, что касается людей, сложнейшие проблемы развития уже решены. Постепенное создание умных систем на основе имеющихся у человека способностей представляется более легким, чем выяснение истинной сути людей и затем уже постройка аналогичных им интеллектуальных машин. Предположительно, существует еще, по крайней мере, один прецедент в поддержку данной точки зрения. Кернс-Смит рассуждал о том, что биологическая жизнь вполне могла зародиться в качестве случайного дополнительного свойства более примитивных форм жизни, основывавшихся на росте кристаллов. Линн Маргулис выдвигала серьезные аргументы, доказывая, что симбиоз является могучей движущей силой эволюции.

Заметьте, я совсем не предлагаю игнорировать работы по созданию ИИ. Достижения в области разработки искусственного интеллекта зачастую будут находить применение в УИ, и наоборот. Я предлагаю понять, что в работах по созданию сетей и интерфейса кроется нечто настолько же серьезное (и потенциально дикое), как и искусственный интеллект. С таким пониманием мы сможем различить проекты, не столь уже явно практические, как обычные работы по интерфейсам и построению сетей, но зато служащие делу нашего прогресса на пути к Сингулярности вдоль тропы УИ.

Вот несколько возможных проектов, которые приобретают особое значение с точки зрения УИ:

Автоматизация человеко-машинной связки. Возьмите проблемы, которые обычно отводятся для решения машинам (вроде задач по методу итеративного спуска - hillclimbing), и программы разработки и интерфейсы, использующие преимущество человеческой интуиции с доступным компьютерным оборудованием. Принимая во внимание причудливость задач по hillclimbing более высокого порядка (и стройных алгоритмов, придуманных для их решения), для человеческого компонента связки можно разработать чрезвычайно интересные дисплеи и средства управления.

Симбиоз машины и человека в искусстве. Объедините графические возможности современных машин и эстетическую чуткость людей. Конечно, огромные усилия исследователей тратятся на разработку компьютерных средств помощи художникам. Я предлагаю четко нацелиться на наибольшее совмещение умений, на максимально возможную кооперацию. Карл Бимс проделал замечательную работу в этом направлении.

Человеко-машинные команды на шахматных турнирах. У нас уже есть программы, которые играют в шахматы лучше подавляющего большинства людей. Но сколько сделано, для того чтобы эту мощь мог использовать человек, с тем чтобы добиться каких-либо еще больших успехов? Если бы таким командам разрешалось участвовать хотя бы в некоторых шахматных турнирах, это могло бы оказать такое же положительное влияние на исследования УИ, какое допуск компьютеров к шахматным соревнованиям оказывает на соответствующую нишу разработок ИИ.

[В последние несколько лет гроссмейстер Гарри Каспаров развил идею проведения шахматных турниров между игроками, которым помогают компьютеры (поищите в интернете по ключевым словам "Каспаров" и "прогрессивные шахматы"). Насколько мне известно, такие человеко-машинные команды не допускаются к участию в серьезных соревнованиях по шахматам.]

Интерфейсы, которые обеспечат доступ к компьютерам и сетям без обязательной привязки человека к одному месту, за столом с монитором. (Данный аспект УИ настолько успешно согласуется с известными экономическими преимуществами, что в этом направлении уже работают очень активно.)

Более симметричные системы поддержки решения. Популярной областью исследований и разработок в последнее время стали системы поддержки решения. Это одна из форм УИ, только, возможно, слишком сфокусированная на прогностических системах. Столько же, сколько программа предоставляет информации пользователю, должно быть и руководства программой со стороны пользователя.

Местные сети, которые сделают усилия группы людей эффективнее работы отдельных членов. Это и есть, в принципе, понятие о groupware; смена подхода в данном вопросе заключается в представлении групповой деятельности как работы коллективного организма.

В определенном смысле цель такого предложения может заключаться в изобретении "Устава" для таких комбинированных операций. Например, направление деятельности группы легче было бы поддерживать, чем посредством классических собраний. Умения отдельных индивидуумов можно будет изолировать от эгоистических устремлений, с тем чтобы объединенные усилия разных членов группы концентрировались на общем проекте. Ну и, конечно, базы данных совместного пользования можно было бы задействовать полнее, нежели в обычных совещательных операциях.

Интернет представляет собой комбинированный человеко-машинный инструмент. Из всего перечисленного в данном списке прогресс в данной области идет наиболее быстрыми темпами. Сила и влияние интернета в немалой степени недооценивают. Сама по себе анархичность развития Всемирной сети является свидетельством ее потенциала. Покуда наращиваются связность, полоса пропускания, архивные объемы и производительность компьютеров, мы наблюдаем нечто похожее на представление Линн Маргулис о биосфере, как своего рода конспекте процессора данных, только с в миллион раз большей производительностью и с миллионами разумных человеческих агентов (нас самих).

[Брюс Стерлинг искусно иллюстрирует, как подобное развитие может привести ко всеобъемлющему проникновению в повседневную жизнь ("Манеки-Неко", журнал Fantasy & Science Fiction, май 1998 года). В качестве нехудожественного взгляда на возможности связки "человечество + технологии" как на сложносоставное существо я рекомендую книгу Грегори Стока "Метачеловек: слияние людей и машин в глобальный сверхорганизм", издательство Simon & Schuster, 1993 год. Но возникнет ли в результате самосознание? Или, может быть, самосознание есть неотъемлемая черта интеллекта, заключенного в определенных границах?]

Приведенные выше примеры иллюстрируют исследование, которое можно провести в рамках современных областей компьютерной науки. Существуют и другие парадигмы. Например, многие работы по созданию искусственного интеллекта и нейросетей только выиграют от более тесной связи с биологической жизнью. Вместо того чтобы просто пытаться моделировать и воспроизводить биологическую жизнь при помощи компьютеров, исследования следует направить на создание композитных систем, полагающихся на управление со стороны биологической жизни, либо ради каких-то свойств биологической жизни, которые мы недостаточно понимаем, но все-таки стремимся воспроизвести в аппаратном обеспечении. Вековечной мечтой научной фантастики являются прямые компьютерно-мозговые интерфейсы. На практике, в этой области ведутся конкретные работы:

Протезирование конечностей представляет собой область прямого коммерческого приложения. Прямые нейро-кремниевые преобразователи можно создать. Это восхитительно досягаемый первый шаг к налаживанию прямой человеко-машинной связи.

Прямые каналы связи с мозгом кажутся вполне осуществимыми, если битрейт достаточно низок: учитывая развитую обучаемость человека, едва ли потребуется точно выбирать мишени среди нейронов живого мозга. Даже 100 бит в секунду будут чрезвычайно полезны пострадавшим от паралича, которым, в противном случае, придется оставаться в заложниках у интерфейсов, построенных на структурированных меню.

Подсоединение к оптической магистрали сулит потенциал пропускной способности порядка 1Мбит/с или что-то около того. Однако для этого нам необходимо разобраться в тончайшем устройстве зрения, да еще потребуется вживление огромного количества электродов с необычайной точностью. Если мы хотим, чтобы широкополосное соединение прибавило еще возможностей к тем способностям по обработке данных, что уже имеются в человеческом мозге, проблема становится гораздо неподатливее. Простое вживление сети широкополосных приемников в мозг определенно ни к чему не приведет. Однако предположите, что такая нейросеть уже присутствовала в структуре мозга на стадии эмбрионального развития. А это предполагает:

Эксперименты с зародышами животных. Какого-либо успеха в УИ в первые годы подобных исследований я не ожидаю, но обеспечение развивающемуся мозгу доступа к сложным симулированным нейроструктурам могло бы, в конечном итоге, привести к появлению животных с дополнительными нервными связями и интересными интеллектуальными способностями.

Я надеялся, что данное рассмотрение УИ выявит какие-нибудь очевидно более безопасные пути к Сингулярности (в конце концов, УИ допускает наше участие в некой трансцендентальной форме). Увы, я уверен почти лишь в том, что такие предположения следует принять во внимание, что они предоставят нам большую свободу выбора. Но, что касается безопасности, некоторые из них представляются достаточно устрашающими. УИ для человеческих индивидуумов создает довольно зловещую элиту. У нас, людей, за плечами миллионы лет эволюционного развития, которые заставляют нас представлять соперничество в мрачном свете. По большей части, эта мрачность может оказаться невостребованной в сегодняшнем мире, в котором проигравшие перенимают приемы победителей и, сплотившись, организуют выигрышные предприятия. Существо, созданное "с чистого листа", может оказаться гораздо благонамереннее, нежели тварь, взращенная по законам клыка и когтя.

Проблема заключается не просто в том, что Сингулярность представляет собой уход человечества со сцены, но в том, что она противоречит нашим сокровенным понятиям бытия. Полагаю, более пристальное рассмотрение концепции сильного сверхчеловеческого может прояснить причины такого положения вещей.

После Сингулярности

Сильное сверхчеловеческое и лучшее, на что можно рассчитывать.

Предположим, нам удастся спланировать Сингулярность. Предположим, нам удастся воплотить самые сумасбродные мечты. Чего же нам еще тогда останется желать? Что сами люди станут наследниками самих себя, что, какая бы несправедливость не случилась, она всегда будет уравновешена осознанием нашего собственного происхождения. Для не подвергшихся изменениям будет уготовано нарочито мягкое обращение (возможно, даже придание "отставшим" статуса хозяев богоподобных слуг). Может наступить золотой век, не лишенный дальнейшего прогресса (минуя барьер Стента). Бессмертие (или, по меньшей мере, продолжительность жизни, ограниченная нашими способностями сохранить Вселенную) станет достижимым.

Но в этом прекраснейшем и добрейшем из миров одни только философские проблемы становятся устрашающими. Разум, замкнутый в одних и тех же границах, не способен жить вечно, спустя несколько тысяч лет он станет напоминать, скорее, бесконечно повторяющуюся закольцованную пленку, нежели личность. (Наиболее жуткую картину чего-то подобного нарисовал в "Этике безумия" Ларри Найвен). Чтобы жить неограниченно долго, сам разум должен расти. А когда он разрастется до поистине исполинских размеров и оглянется в прошлое, какие родственные чувства он сможет испытывать по отношению к тому, чем он являлся изначально? Разумеется, позднее бытие будет включать в себя все, чем жил оригинал, но и несравненно больше того! Так что даже для индивидуума концепция Кернс-Смита или Линн Маргулис о новой жизни, прирастающей из прежней, остается справедливой.

Данная "проблема" бессмертия проявляется и гораздо более непосредственным образом. Понятие эго и самосознания являлось основополагающим в прожженном рационализме последних нескольких столетий. Однако ныне концепция самосознания подвергается нападкам со стороны приверженцев искусственного интеллекта ("самосознание и прочие заблуждения"). Усиление интеллекта, в свою очередь, выбивает почву из-под концепции эго с другой стороны. В постсингулярном мире чрезвычайно распространятся сверхширокополосные сети. Главной особенностью сильных сверхчеловеческих сущностей, вероятно, станет их способность общаться на разных скоростях, включая более высокие, чем у речи и письма. Что произойдет, когда части эго можно станет копировать и объединять, когда объем самосознания сможет увеличиваться или сокращаться, подстраиваясь под масштаб решаемых задач? Это и есть существенные черты сильного сверхчеловеческого и самой Сингулярности. При мысли о них начинаешь чувствовать, какой радикально чуждой и отличной будет постчеловеческая эра, вне зависимости от того, насколько продуманно и милосердно мы к ней подойдем.

С одной точки зрения, картина вписывается во многие наши мечты о счастье: жизнь без конца и края, в которой мы научимся по-настоящему понимать друг друга и сокровеннейшие тайны бытия. С другой точки зрения, это все сильно напоминает худший сценарий развития событий, который я уже описывал выше в этом эссе.

Какая же точка зрения обоснована? В действительности, мне представляется, что новая эра будет настолько иной, что не сможет вписываться в классические рамки противопоставления добра и зла. Такое понимание зиждется на понятии изолированных, неменяющихся разумов, объединенных тонкими связями с низкой пропускной способностью. Зато постсингулярный мир прекрасно вписывается в более значимую традицию эволюции и коллективности, зародившуюся давным-давно (может быть, еще до появления биологической жизни). Я думаю, что этические нормы, применимые в такую эпоху, все-таки есть. Дальнейшие исследования УИ и сверхширокополосных коммуникаций должны улучшить понимание этого.

Сейчас я вижу лишь отдаленные очертания будущего. Есть Золотое Метаправило Добра. Возможно, есть и законы для распознавания себя среди прочих, основанные на пропускной способности связи. В то время как разум и личность станут значительно лабильнее, чем в прошлом, многого из того, что мы ценим (знания, память, мышление), терять, тем не менее, не следует. Мне кажется, Фримен Дайсон правильно это сформулировал: "Бог - это разум, переросший границы нашего понимания".

[Хочу поблагодарить Джона Кэрролла и Университет штата Калифорния в Сан-Диего и Говарда Дэвидсона из Sun Microsystems за помощь в обсуждении и подготовке данной статьи.]

Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.

Перевод: А.В. Турчин

Existential Risks

Analyzing Human Extinction Scenarios and Related Hazards

Nick Bostrom, PhD

Faculty of Philosophy, Oxford University

[Published in the Journal of Evolution and Technology, Vol. 9, March 2002. First version: 2001]

Благодаря ускорению технологического прогресса, человечество, возможно, быстро приближается к критической точке в своем развитии. В дополнение к хорошо известным угрозам, вроде ядерного холокоста, перспективы быстро развивающихся технологий, таких как наносистемы и машинный интеллект, преподносят нам беспрецедентные возможности и риски. Наше будущее и то, будет ли у нас вообще будущее, зависит от того, как мы справимся с этими вызовами. В связи с быстро развивающимися технологиями нам нужно лучшее понимание динамики перехода от человеческого к «пост-человеческому» обществу. Особенно важно знать, где расположены ловушки: пути, на которых все может пойти смертельно неправильно.

Хотя мы имеем большой опыт подверженности различным личным, местным или переносимым всемирным опасностям, эта статья анализирует недавно появившуюся категорию: угрозы существованию (existential risks). Так мы называем риски событий, которые могут привести к нашему вымиранию или кардиальным образом повредить потенциал развившейся на Земле разумной жизни. Некоторые из этих опасностей относительно известны, тогда как другие совершенно не замечаются. Угрозы существованию имеют ряд черт, которые делают обычное управление рисками в данном случае неэффективным. Последняя глава этой статьи обсуждает некоторые этические и политические приложения данной проблемы. Более ясное понимание картины угроз позволит нам сформулировать лучшие стратегии.

Введение

Жить опасно, и опасность находится повсюду. К счастью, не все риски одинаково серьезны. Для наших целей мы можем использовать три измерения для описания рисков: масштаб, интенсивность и вероятность. Под «масштабом» я имею в виду размер группы людей, подверженных риску. Под «интенсивностью» я имею в виду то, насколько большой вред будет причинен каждому индивидууму из группы. И под «вероятностью» я имею в виду наилучшую текущую субъективную оценку вероятности негативного исхода1.

1. Типология рисков

Мы можем различить шесть качественно различных групп рисков в зависимости от их масштаба и интенсивности (таб.1). Третье измерение, вероятность, может быть наложено на эти два измерения. При прочих равных, риск является более серьезным, если он имеет значительную вероятность и если наши действия могут увеличить ее или уменьшить.

Масштаб / интенсивность:

Переносимая интенсивность

Смертельная интенсивность

глобальный

Уменьшение озонового слоя

Х

местный

Экономический спад в стране

Геноцид

личный

Кража машины

Смерть

Таблица 1. Шесть категорий риска.

«Личный», «местный» или «глобальный» относится к размеру популяции, которая непосредственно подвергается воздействию; глобальный риск воздействует на все человечество (и на наших потомков). «Переносимая интенсивность риска» и «смертельная интенсивность » означает, насколько сильно пострадает подверженная риску популяция. Переносимый риск тоже может привести к большим разрушениям, но остается возможность восстановиться от повреждений или найти пути преодолеть негативные последствия. В противоположность ему, окончательный риск это тот риск, когда подверженные ему объекты или гибнут, или необратимо повреждаются таким образом, что радикально уменьшают свой потенциал жить той жизнью, которой они стремятся жить. В случае личных рисков окончательным исходом может быть, например, смерть, необратимое серьезное повреждение мозга, или пожизненное тюремное заключение. Примером локального смертельного риска может быть геноцид, приводящий к уничтожению всего народа (что случилось с несколькими индийскими народностями). Другой пример — обращение в вечное рабство.

2. Риски существованию

В этой статье мы обсудим риски шестой категории, которая отмечена в таблице как Х. Это категория глобальных смертельных рисков. Я буду называть их угрозами существованию.

Угрозы существованию отличаются от глобальных переносимых рисков. Примерами последних являются: угрозы биоразнообразию земной экосферы, умеренное глобальное потепление (и даже большое), и, возможно, удушающие культурные и религиозные эры, такие как «темные века», даже если они охватывают все общество, если они рано или поздно закончатся (хотя см. главу о «Визге» ниже). Сказать, что некий глобальный риск является переносимым, очевидно не означает сказать, что он является приемлемым или не очень серьезным. Мировая война с применением обычных вооружений или десятилетие рейха в нацистском духе будут чрезвычайно жуткими событиями, несмотря на то, что они попадают в категорию переносимых глобальных рисков, поскольку человечество может, в конце концов, восстановиться. (С другой стороны, эти события будут местным смертельным риском для многих индивидуумов и для преследуемых этнических групп.)

Я буду использовать следующее определение риска существованию:

Угроза существованию — это такой риск, в котором негативный результат или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает ее потенциал.

Угроза существованию — это такой риск, в котором человечество как целое находится под угрозой. Такие катастрофы имеют огромные негативные последствия для всего будущего земной цивилизации.

3. Уникальность проблемы угроз существованию

Риски этой шестой категории появились недавно. Это одна из причин, по которой полезно выделить их в отдельную категорию. Мы не развили механизмов, ни природных, ни культурных, чтобы справляться с такими рисками. Наши учреждения и защитные стратегии сформировались под влиянием столкновения с такими рисками как опасные животные, враждебные люди или племена, отравленная еда, автомобильные аварии, Чернобыль, Бхопал, извержения вулканов, землетрясения, засухи, Первая мировая война, Вторая мировая война, эпидемии гриппа, оспы, черной чумы и СПИДа. Катастрофы этого типа случались многократно, и наше культурное отношение к риску сформировалось посредством метода проб и ошибок в управлении такими угрозами. Но будучи трагедией непосредственно для участников этих событий, с широкой точки зрения — с точки зрения всего человечества — даже самые страшные из этих катастроф были только рябью на поверхности великого моря жизни. Они не повлияли значительно на полное число счастливых и страдающих людей и не определили долгосрочную судьбу нашего вида.

За исключением истребляющих целые виды комет и столкновений с астероидами (случающихся исключительно редко), вероятно, не было значительных угроз существованию до середины 20 века, и определенно ни с одним из них мы не могли ничего сделать.

Первой созданной человеком угрозой существованию была первая атомная бомба. В то время было некоторое беспокойство по поводу того, что взрыв запустит цепную реакцию посредством «поджигания» атмосферы. Хотя теперь мы знаем, что такой итог был физически невозможен, в то время это предположение соответствовало определению угрозы существованию. Чтобы нечто было риском, исходя из доступных знания и понимания, достаточно, чтобы была субъективная вероятность неблагоприятного исхода, даже если потом выясняется, что объективно не было ни одного шанса на то, чтобы случилось нечто плохое. Если мы не знаем, является ли что-то объективно рискованным, это является риском в субъективном смысле. Этот субъективный смысл является, конечно, тем, на чем мы должны основывать наши решения1. В любой момент мы должны использовать нашу наилучшую субъективную оценку того, каковы объективные факторы риска2.

Гораздо большая угроза существованию возникла одновременно с появлением арсеналов ядерного оружия в СССР и США. Полноценная ядерная война была возможна со значительной степенью вероятности и с последствиями, которые могли быть настолько устойчивыми, чтобы характеризоваться как глобальные и окончательные. Среди людей, лучше всего знакомых с информацией, доступной в то время, было распространено реальное беспокойство, что ядерный Армагеддон может случиться и что он может истребить наш вид или навсегда разрушить человеческую цивилизацию1.Россия и США продолжают обладать огромными ядерными арсеналами, которые могут быть использованы в будущей конфронтации, случайно или нарочно. Есть также риск, что другие страны могут однажды создать большие арсеналы. Отметим, однако, что небольшой обмен ядерными ударами, например, между Индией и Пакистаном, не является угрозой существованию, так как он не уничтожит человечество и не повредит необратимо человеческий потенциал. Такая война, однако, будет местным смертельным риском для тех городов, на которые будут нацелены удары.,. К сожалению, мы увидим, что ядерный Армагеддон и кометный или астероидный удар — это только прелюдия к угрозам существованию в XXI веке.

Особая природа задач, возникающих благодаря угрозам существованию, может быть проиллюстрирована следующими замечаниями.

Наш подход к угрозам существованию не может быть основан на методе проб и ошибок. Здесь нет возможности учиться на ошибках. Реактивный подход — смотреть, что случилось, ограничить ущерб и учиться на этом опыте — не работает. Скорее, мы должны использовать предупреждающий подход. Это требует предвидения для обнаружения новых типов рисков и готовности принимать решительные превентивные меры и оплачивать их моральную и экономическую цену.

Мы не можем с уверенностью полагаться на наши учреждения, моральные нормы, социальные позиции или политику в области национальной безопасности, которые развились на основе нашего опыта управления другими типами рисков. Угрозы существованию — это другой зверь. Нам может быть трудно принимать их настолько серьезно, насколько они того заслуживают, поскольку мы никогда не сталкивались с такими катастрофами2. Наша коллективная реакция страха, скорее всего, плохо откалибрована на масштаб угроз.

Уменьшение угроз существованию является всеобщим общественным благом (Kaul, 1999) и по этой причине может быть недостаточно поставляемо рынком (Feldman, 1980). Угрозы существованию являются угрозой для каждого и могут требовать реакции на международном уровне. Уважение к национальному суверенитету не является законным извинением для провала в принятии контрмер против важнейших угроз существованию.

Если мы принимаем во внимание благополучие будущих поколений, то ущерб от угроз существованию умножается на еще один фактор, который зависит от того, учитываем ли мы и насколько будущую пользу (Caplin, Leahy 2000; Schelling 2000: 833—837).

Удивительно, в виду неоспоримой важности темы, как мало систематической работы сделано в это области. Частично это объясняется тем, что наиболее серьезные риски происходят (как мы покажем в дальнейшем) от ожидаемых будущих технологий, которые мы только недавно начали понимать. Другой частью объяснения может быть неизбежно междисциплинарная и умозрительная природа предмета исследований. И отчасти, пренебрежение может быть объяснено нежеланием думать всерьез на депрессивные темы. Из этого не следует, что мы должны впасть в уныние, но нужно бросить трезвый взгляд на то, что может пойти неправильно, чтобы мы смогли создавать надежные стратегии для улучшения наших шансов на выживание. Чтобы сделать это, мы должны знать, на чем фокусировать наши усилия.

4. Классификация рисков существованию

Мы будем использовать следующие 4 категории для классификации рисков существованию1:

Взрывы (Bangs) — Возникшая на Земле разумная жизнь истребляется в результате относительно внезапной катастрофы, могущей произойти как в результате несчастного случая, так и намеренно.

Сужения (Crunches) — Способность человечества развиться в постчеловечество необратимо повреждена2, хотя люди продолжают каким-то образом жить.

Скрипы (Shrieks) — Некая форма постчеловечества будет достигнута, но это будет только чрезвычайно узкая доля спектра возможного и желаемого.

Всхлипы (Whimpers) — Постчеловеческая цивилизация возникает, но развивается в направлении, ведущем постепенно, но безвозвратно к полному исчезновению вещей, которые мы ценим, или к состоянию, где эти ценности реализуются только в малой степени от того уровня, который бы мог быть достигнут.

Вооруженные такой классификацией, мы можем начать анализировать наиболее вероятные сценарии в каждой категории. Определения также прояснятся по мере нашего продвижения.

5. Взрывы (Bangs)

Это — наиболее очевидная форма глобальных рисков. Понять эту концепцию легче всего. Ниже описываются некоторые наиболее возможные пути взрывного3 завершения существования мира. Я попытался расположить их в порядке возрастания (по моей оценке) вероятности стать причиной истребления возникшей на Земле разумной жизни; но мое намерение в отношении упорядочивания было, скорее, создать базис для дальнейшей дискуссии, чем сделать некие однозначные утверждения.

5.1. Преднамеренное злоупотребление нанотехнологиями

В своей зрелой форме молекулярная нанотехнология позволит создавать самовоспроизводящихся роботов размеров с бактерию, которые смогут питаться нечистотами или другой органической материей (Drexler 1985, 1992; Merkle et al. 1991: 187—195; Freitas 2000). Такие репликаторы могут съесть биосферу или разрушить ее другими способами, такими, как отравление ее, сжигание ее или блокирование солнечного света. Человек с преступными намерениями, обладающий этой нанотехнологией, может вызвать истребление разумной жизни на Земле, выпустив таких наноботов в окружающую среду1.

Технология для создания деструктивных наноботов кажется значительно более простой, чем технология создания эффективной защиты от такой атаки (глобальной нанотехнологической иммунной системы, «активного щита» (Drexler 1985)). Поэтому, скорее всего, будет период уязвимости, в течение которого необходимо не допустить попадания этих технологий в неправильные руки. Также эти технологии могут оказаться трудными для управления ими, поскольку не требуют редких радиоактивных изотопов или огромных, легко обнаруживаемых заводов, как это имеет место при производстве ядерного оружия (Drexler 1985).

Даже если эффективная защита от ограниченной нанотехнологической атаки будет создана до того, как опасные репликаторы будут разработаны и приобретены склонными к самоубийству режимами или террористами, все еще остается опасность гонки вооружений между государствами, владеющими нанотехнологиями. Утверждается (Gubrud 2000), что молекулярное производство приведет к большей нестабильности гонки вооружений и к большей нестабильности в отношении кризисов, чем ядерные вооружения. Нестабильность гонки вооружений означает, что для каждой соревнующейся стороны будут доминировать стремления усилить свое вооружение, приводящее к стремительному раскручиванию гонки вооружений. Нестабильность в отношении кризисов означает, что для каждой стороны главным стремлением будет ударить первым. Два приблизительно одинаково сильных противника, приобретя нанотехнологическое оружие, начнут, с этой точки зрения, массовое производство и конструирование вооружений, которое продолжится до тех пор, пока не случится кризис и не начнется война, потенциально способная вызвать всеобщее окончательное уничтожение. То, что эта гонка вооружений могла бы быть предсказана, не является гарантией того, что международная система безопасности будет создана вовремя — чтобы предупредить эту катастрофу. Ядерная гонка вооружений между СССР и США была предсказана, но, тем не менее, случилась.

5.2. Ядерный холокост

США и Россия по-прежнему имеют огромные запасы ядерных вооружений. Но приведет ли полноценная ядерная война к реальному истреблению человечества? Отметьте, что:

(а) для того, чтобы это стало риском существованию, достаточно, чтобы мы не были уверены, что этого не случится.

(б) климатические эффекты широкомасштабной ядерной войны малоизвестны (есть вероятность ядерной зимы).

(в) будущие гонки вооружений между странами не могут быть исключены, и это может привести к возникновению еще больших арсеналов, чем те, что существовали в разгар холодной войны. Мировой запас плутония устойчиво возрастает и достиг величины в 2 000 тонн, что примерно в десять раз больше, чем остается в боеголовках (Leslie 1996: 26). Даже если некоторые люди переживут кратковременные эффекты ядерной войны, она может привести к коллапсу цивилизации. Человеческая раса, живущая в условиях каменного века, может быть (а может и не быть) более стойкой к вымиранию, чем другие виды животных.

5.3. Мы живем в симуляции, и она выключается

Может быть доказано, что гипотезе, будто мы живем в компьютерной симуляции, следует приписать значительную вероятность (Bostrom 2001). Основная идея, лежащая в основе так называемого Доказательства симуляции, состоит в том, что огромные количества вычислительной мощности могут быть доступны в будущем (Moravec 1989, 1999), и что они могут быть использованы, среди прочего, для запуска большого количества тонко структурированных симуляций прошлых человеческих цивилизаций. При нескольких не слишком невероятных предположениях результат может быть тот, что большинство разумов, подобных нашим, являются симулированными разумами, и потому мы должны приписать значительную вероятность тому, что мы являемся такими симулированными разумами, а не (субъективно неразличимыми) разумами естественно развившихся существ. И если это так, мы подвергаемся риску того, что симуляция может быть выключена в любой момент. Решение прекратить нашу симуляцию может быть вызвано нашими действиями или внешними факторами.

Хотя кому-то может показаться легкомысленным выдвигать столь радикальную гипотезу рядом с конкретной угрозой ядерного холокоста, мы должны основывать свои выводы на рассуждениях, а не на необученной интуиции. Пока не появится опровержение доводам, представленным Бостромом (Bostrom 2001), было бы интеллектуально нечестно пренебрегать выключением симуляции как возможной причиной истребления человечества.

5.4. Плохо запрограммированный суперинтеллект

Когда мы создадим первое суперинтеллектуальное устройство (Moravec 1989, 1998, 1999; Vinge 1993; Bostrom 1998; Kurzweil 1999; Hanson et al. 1998), мы можем сделать ошибку и задать ему цели, которые направят его на уничтожение человечества, если учесть его колоссальное интеллектуальное преимущество, дающее силу сделать это. Например, мы можем ошибочно возвести цель более низкого уровня в статус сверхцели. Мы говорим ему решить некую математическую задачу, и он подчиняется, превращая все вещество в солнечной системе в огромное вычислительное устройство, попутно убивая человека, который задал этот вопрос. (Для дальнейшего анализа этой темы, см. (Yudkowsky 2001)).
5.5. Генетически сконструированный биологический объект

В результате огромного прогресса генетических технологий, который происходит сейчас, может оказаться возможным для тирана, террориста или сумасшедшего создать «вирус конца света»: организм, который будет совмещать длительный период латентности с высокой вирулентностью и смертельностью (National Intelligence Council 2000).

Опасные вирусы могут быть даже выращены ненарочно, как недавно продемонстрировали австралийские исследователи, которые создали модифицированный вирус мышиной оспы (mousepox Ectromelia virus) со 100% смертельностью, когда пытались сконструировать вирус-контрацептив для мышей, чтобы использовать его для контроля грызунов-вредителей (Nowak 2001). Хотя этот конкретный вирус не заражает людей, подозревается, что аналогичные изменения увеличат смертельность вируса человеческой оспы. То, что усиливает возможную опасность здесь — это то, что исследование было быстро опубликовано в открытой научной литературе (Jackson et al. 2001: 1479—1491). Редко увидишь, чтобы информация, созданная в открытых биотехнологических проектах, хранилась бы в секрете, независимо от того, насколько суровой потенциальной опасностью она обладает - и то же относится к исследованиям в нанотехнологиях.

Генетическая медицина приведет к созданию лучших лекарств и вакцин, но нет никаких гарантий, что оборона выдержит гонку с нападением. (Даже случайно созданный вирус мышиной оспы имел 50% смертельность на вакцинированных мышах.) В конце концов, опасности биологического оружия могут быть похоронены развитием наномедицины, но хотя нанотехнологии имеют колоссальный долговременный потенциал для медицины (Freitas 1999), они несут свои собственный опасности.

5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).

Возможность аварии никогда не может быть полностью исключена.

Однако, существует много путей избежать уничтожающих всех людей аварий благодаря применению надёжных инженерных решений. Можно избежать опасного применения самовоспроизводящих систем; можно сделать наноботов1 зависимыми от использования какого-то редкого химического вещества, не существующего в природе; можно заключать их в герметичное окружение; можно спроектировать их так, что любая мутация почти наверняка заставит нанобот прекратить функционирование (Foresight Institute 2000). По этой причине случайное неправильное применение наноботов тревожит гораздо меньше, чем злонамеренное (Drexler 1985; Freitas 2000; (Foresight Institute 1997—1991).

Однако, различие между случайным и намеренным может стать расплывчатым. Хотя, в принципе, кажется возможным сделать глобальные нанотехнологические катастрофы очень маловероятными, конкретные обстоятельства могут не позволить реализоваться этому идеальному уровню безопасности. Сравните нанотехнологию с ядерной технологией. С инженерной точки зрения, разумеется, возможно использовать ядерную технологию только в мирных целях, например, только в ядерных реакторах, которые имеют нулевую вероятность уничтожить всю планету. Но на практике оказалось невозможным избежать использования ядерных технологий также и для создания ядерного оружия, что привело к гонке вооружений. При наличии ядерных арсеналов высокой степени боевой готовности неизбежен высокий риск случайной войны. Тоже самое может случиться с нанотехнологиями: их могут заставить служить военным целям таким способом, который может создать неизбежный риск серьезных происшествий.

В некоторых ситуациях может быть даже стратегически выгодно нарочно сделать некую технологию или контрольную систему рискованной, например, чтобы создать «принципиально непредсказуемую угрозу, в которой всегда есть элемент случайности» - (Schelling 1960).

5.7. Нечто непредвиденное

Нам необходима такая объединяющая категория. Было бы глупо верить, что мы уже придумали и спрогнозировали все значительные угрозы. Будущие технологические или научные открытия легко могут создать новые способы уничтожить мир.

Некоторые предвидимые опасности (и, следовательно, не из этой категории), были исключены из списка Взрывов по причине того, что они кажутся слишком маловероятными причинами глобальной катастрофы, а именно: солнечные вспышки, сверхновые, взрывы и слияния черных дыр, гамма-всплески, вспышки в центре галактики, супервулканы, утрата биоразнообразия, рост загрязнения воздуха, постепенная утрата человеческой способности размножаться, и множество религиозных сценариев конца света. Гипотезы о том, что мы однажды достигнем «просветления» и совершим коллективное самоубийство или прекратим размножаться, как надеются сторонники VHEMT (Движение за добровольное вымирание человечества — The Voluntary Human Extinction Movement ) (Knight 2001), выглядят маловероятными. Если бы, действительно, лучше было бы не существовать (как Силен сказал царю Мидасу в греческом мифе и как доказывал Артур Шопенгауэр (Schopenhauer 1891), хотя по причинам, свойственным конкретно его философской системе, он не агитировал за самоубийство), то тогда бы мы не считали этот сценарий глобальной катастрофой. Предположение о том, что быть живым — неплохо, надо рассматривать как подразумеваемое предположение в определении Взрывов. Ошибочное всеобщее самоубийство является риском существованию, хотя его вероятность кажется чрезвычайно малой. (Больше на тему этики человеческого вымирания см. главу 4 из (Leslie 1996: 26).)

5.8. Катастрофы в результате физических экспериментов

Тревоги конструкторов атомной бомбы из Манхэттенского проекта по поводу того, что взрыв приведет к возгоранию атмосферы, имеют современные аналоги.

Были рассуждения о том, что эксперименты на будущих высокоэнергетичных ускорителях частиц могут вызвать разрушение метастабильного состояния вакуума, в котором, возможно, находится наш космос, превращая его в «подлинный» вакуум с меньшей энергетической плотностью (Coleman, Luccia 1980: 3305—3315). Это создаст расширяющийся пузырь всеобщего уничтожения, который распространится по всей галактике и за ее пределы со скоростью света, раздирая всю материю на части по мере продвижения.

Другой идеей является то, что эксперименты на ускорителе могут создать отрицательно заряженные стабильные «странные частицы» (strangelets) (гипотетическая форма ядерной материи) или породить микроскопическую черную дыру, которая погрузится в центр Земли и начнет поглощать всю остальную планету (Dar et al. 1999: 142—148). Такие сценарии выглядят невозможными, исходя из наших лучших физических теорий. Но причина, по которой мы ставим эксперименты, состоит именно в том, что мы не знаем, что же на самом деле случится. Гораздо более убедительным доказательством является то, что плотности энергии, достигаемые на современных ускорителях, намного ниже тех, что встречаются в природе при столкновении космических лучей (Dar et al. 1999: 142—148; Turner, Wilczek 1982: 633—634). Возможно, однако, что для этих гипотетических процессов имеют значение другие факторы, помимо плотности энергии, и эти факторы будут собраны вместе в будущих новых экспериментах.

Основной причиной беспокойства в связи с «физическими катастрофами» является наблюдение мета-уровня о том, что открытия всех видов опасных физических феноменов происходят постоянно, так что даже если сейчас все физические катастрофы, о которых мы подумали, совершенно невероятны или невозможны, все равно могут быть более реальные пути к катастрофе, ждущие своего открытия. Приведенные здесь — не более чем иллюстрации общего случая.

5.9. Естественно возникшее заболевание

Что, если СПИД был бы столь же заразен, как и простуда?

Есть несколько черт современного мира, которые могут сделать глобальную пандемию гораздо более вероятной, чем когда-либо раньше. Путешествия, торговля едой и жизнь в городах — все это значительно возросло в современное время, делая проще возможность для новой болезни быстро заразить большую часть населения Земли.

5.10. Столкновение с астероидом или кометой

Есть реальный, но очень маленький риск, что мы будем истреблены ударом астероида или кометы (Morrison et al. 1994).

Для того чтобы вызвать вымирание человечества, ударяющее тело, возможно, должно иметь размер более 1 км в диаметре (и, вероятно, 3—6 км.) Было, по крайней мере, пять, а, может быть, и более дюжины массовых вымираний на Земле, и, по крайней мере, некоторые из них были, вероятно, вызваны столкновениями. (Leslie 1996: 81 f). В частности, вымирание динозавров 65 миллионов лет назад связывалось с падением астероида размером 10-15 км в диаметре на полуострове Юкатан. Считается, что тело 1 км или более в диаметре сталкивается с Землей в среднем раз в полмиллиона лет1. Мы пока каталогизировали только малую часть потенциально опасных тел.

Если мы сможем заметить приближающееся тело вовремя, мы будем иметь неплохой шанс отклонить его, перехватив ракетой с ядерной бомбой (Gold 1999).

5.11. Неудержимое глобальное потепление

Есть сценарий, что высвобождение парниковых газов в атмосферу может оказаться процессом с сильной положительной обратной связью. Может быть, именно это случилось с Венерой, которая теперь имеет атмосферу из и температуру в 450°С. Надеюсь, однако, что у нас будут технологические средства для противодействия данной тенденции к тому моменту, когда это станет действительно опасно.

6. Сужения (Crunches)

В то время как некоторые события, описанные в предыдущей главе, могут наверняка уничтожить Homo sapiens (например, распад метастабильного вакуума), другие могут быть, в принципе, пережиты (такие, как тотальная ядерная война). Если современная цивилизация рухнет, то отнюдь не обязательно она снова возникнет, даже если человеческий вид выживет. Возможно, мы выработали слишком много легкодоступных ресурсов, которые потребуются примитивному обществу для того, чтобы подняться на наш уровень технологии. Примитивное человеческое общество может быть — а может и не быть — также подвержено вымиранию, как и любой другой вид животных. Но давайте не будем ставить этот эксперимент.

Если примитивное общество выживет, но никогда больше не сможет подняться на нынешний технологический уровень, не говоря о том, чтобы его превзойти, то тогда мы имеем пример сужения. Далее описаны некоторые возможные причины сужения.

6.1. Истощение ресурсов или разрушение экологии

Природные ресурсы, необходимые для поддержания высокотехнологической цивилизации, истощаются. Если какой-нибудь другой катаклизм разрушит технологию, которой мы обладаем, может быть невозможно вскарабкаться назад на нынешний уровень, если природные условия будут менее благоприятными, чем они были для наших предшественников, например, если наиболее легко доступные уголь, нефть и минеральные ресурсы истощатся. (С другой стороны, если масса информации о наших технологических шагах сохранится, это может сделать возрождение цивилизации проще.)

6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс

Можно представить, что однажды в мире придет к власти некое фундаменталистское религиозное или экологическое движение. Если к тому времени станет возможно сделать такое мировое правительство устойчивым относительно мятежей (с помощью продвинутого полицейского надзора или технологий контроля ума), это может навсегда закрыть возможность для человечества развиться до постчеловеческого уровня. Дивный Новый Мир Олдоса Хаксли являет собой широко известный сценарий этого типа (Huxley 1932).

Мировое правительство может не быть единственной формой социального равновесия, которое может необратимо повредить прогрессу. Многие регионы мира сегодня имеют большие трудности в создании учреждений, адекватных темпам роста. В исторической ретроспективе было много случаев, когда прогресс стоял на месте или откатывался назад на значительную дистанцию. Экономический и технологический прогресс может не быть настолько неизбежным, как это кажется нам.

6.3. Давление «вырождения»

Возможно, что продвинутое цивилизованное общество нуждается в том, чтобы в нем была достаточно большая доля интеллектуально одаренных людей. Сейчас кажется, что имеется негативная корреляция в некоторых местах между интеллектуальностью и фертильностью. Если такая селекция продлится в течение длительного периода времени, мы можем развиться в менее мозговитых, но более размножающихся существ, homo philoprogenitus («любитель большого числа отпрысков»).Однако, вопреки тому, что могут заставить подумать эти рассуждения, IQ фактически значительно вырос в течение последнего столетия. Это известно как эффект Флинна; см. например (Flynn 1987: 171—191; Storfer 1999). Не определено, однако, соответствует ли это реальным достижениям в важных интеллектуальных функциях.

Более того, генетическая инженерия быстро приближается к точке, к тому времени, когда родители смогут наделять своих отпрысков генами, коррелирующими с интеллектуальными способностями, физическим здоровьем, долгожительством и другими желательными чертами. В любом случае, временная шкала естественной человеческой генетической эволюции кажется слишком большой, чтобы такое развитие событий имело бы какой-либо значительный эффект до того, как другие процессы сделают эту проблему спорной (Bostrom et al. 1999; Freitas 1999).

6.4. Технологическая остановка.

Существенные технологические трудности в переходе к постчеловеческому миру могут оказаться столь велики, что мы его никогда не достигнем.

6.5. Нечто непредвиденное1.

Как и в прошлый раз, это — категория на все случаи жизни.

В общем, вероятность сужения выглядит гораздо меньшей, чем взрыва. Нам следует иметь в виду эту возможность, но не давать ей играть доминирующую роль в нашем мышлении на данном этапе. Если технологическое и экономическое развитие должно будет замедлиться по неким причинам, тогда мы должны будем обратить более пристальное внимание к сценариям сужения.

7. Скрипы (Shrieks)

Выяснение того, какие сценарии являются скрипами, является более трудным из-за включения понятия «желательности» в определение скрипа. Если мы не знаем, что есть «желательное», мы не можем сказать, какие сценарии являются скрипами. Однако есть ряд сценариев, которые следует считать скрипами, исходя из наиболее разумных интерпретаций.

7.1. Захват власти превосходящим интеллектом, загруженным в компьютер
Предположим, что загрузка сознания в компьютер возникнет раньше, чем будет создан искусственный интеллекта человеческого уровня. Загрузка — это разум, перенесенный с биологического мозга в компьютер, который эмулирует вычислительный процесс, имеющий место в исходной биологической нейронной сети (Bostrom et al. 1999; Kurzweil 1999; Merkle 1994; Hanson 1994). Успешный процесс загрузки разума сохранит изначальную память, навыки, ценности и сознание.

Загрузка разума упростит улучшение его интеллекта путем запуска на большей скорости, добавления дополнительных компьютерных ресурсов или оптимизации архитектуры. Можно предположить, что улучшение загрузки выше некого уровня приведет к появлению позитивной обратной связи, когда продвинутая загрузка будет способна находить пути сделать себя еще умнее; и более умная следующая версия будет, в свою очередь, еще успешнее в улучшении себя, и так далее. Если этот быстрорастущий процесс произойдет внезапно, он может привести к тому, что загрузка достигнет сверхчеловеческого уровня интеллекта, тогда как все остальные разумные существа останутся примерно на человеческом уровне. Такое колоссальное интеллектуальное преимущество легко может дать ей соответственно большую власть. Она может, например, быстро создать новые технологии или совершенные нанотехнологические конструкции. Если такая загрузка имеет склонность к не допускать других к тому, чтобы тоже загрузиться в компьютер, она сможет сделать это.

Тогда постчеловеческий мир может быть отражением частных эгоистических предпочтений этой загрузки (которые в худшем случае будут хуже, чем просто бесполезными). Такой мир легко может стать реализацией только малой части того, что возможно и желательно. Этот исход — Скрип.

7.2. Сверхинтеллект с ошибкой

Опять-таки, существует возможность, что плохо запрограммированный сверхинтеллект возьмет власть и реализует те ошибочные цели, которые были ошибочно ему даны.

7.3. Глобальный репрессивный тоталитарный режим

Подобным образом, можно представить, что фанатичное мировое правительство, основываясь, возможно, на ошибочных религиозных или этических убеждениях, сформируется, будет стабильным и решит реализовать только очень малую часть из всех тех позитивных вещей, которые постчеловеческий мир может иметь.

Такое мировое правительство, очевидно, может быть сформировано небольшой группой людей, если они будут контролировать первый сверхинтеллект и смогут задавать его цели. Если сверхинтеллект внезапно возникнет и станет достаточно сильным, чтобы захватить власть над миром, то этот постчеловеческий мир может отражать только уникальные ценности собственников или проектировщиков этого сверхинтеллекта. В зависимости от того, каковы эти цели, этот сценарий может считаться Скрипом.

7.4. Нечто непредвиденное1

Все остальное.

Сценарии Скрипа кажутся имеющими значительную вероятность и потому должны быть восприняты всерьез в нашем стратегическом планировании.

Можно пытаться доказать, что одна ценность, которая содержит в себе значительную часть того, что мы считаем желательным в постчеловеческом мире, состоит в том, что этот мир содержит в себе настолько много, насколько это возможно, людей, которые сейчас живы. Помимо всего прочего, многие из нас очень хотят не умирать (во всяком случае, не сейчас) и иметь шанс стать постлюдьми. Если мы примем это, то тогда любой сценарий, в котором переход к постчеловеческому миру отложен достаточно надолго, чтобы почти все современные люди умерли до этого (предполагая, что они не были успешно сохранены посредством крионики (Merkle 1994; Ettinger 1964)) будет Скрипом. В случае провала попыток продления жизни или массового распространения крионики, даже гладкий переход к полностью развитому постчеловечеству через 80 лет будет составлять значительный риск существованию, если мы определим «желательность» конкретно по отношению к людям, которые живы сейчас. Это предположение, однако, отягощено глубокой проблемой о природе ценностей, которую мы не будем пытаться решить здесь.

8. Всхлипы

Если все пойдет хорошо, мы можем однажды выйти на уровень фундаментальных физических пределов. Хотя вселенная кажется бесконечной (Zehavi, Dekel 1999: 252—254; Bostrom 2001), доля вселенной, которую мы можем теоретически колонизировать (исходя из очень ограниченного нашего современного понимания ситуации) конечна (Cirkovic, Bostrom 2000: 675—687), и мы, в конечном счете, истощим все доступные ресурсы, или ресурсы сами собой будут распадаться, по мере постепенного уменьшения негэнтропии и связанного с этим превращением материи в излучение. Но здесь мы говорим об астрономических масштабах времени. Окончание такого рода может быть лучшим, на что мы вправе надеяться, так что будет неправильным считать это риском существованию. Он не соответствует определению Всхлипа, так как человечество на этом пути реализует большую часть своего потенциала.

Два вида Всхлипов (в отличие от обычных, охватывающих все гипотез) кажутся имеющими значительную вероятность:

8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции

Этот сценарий концептуально более сложен, чем другие риски существованию, которые мы рассматривали (вместе, возможно, со сценарием Взрыва «Мы живем в компьютерной симуляции, которую выключают»). Он рассмотрен более подробно в статье-компаньоне этой (Bostrom 2001). Очерк той статьи приведен в конце этой статьи в Приложении (Приложение: очерк эволюционного «всхлипа»).

Похожий сценарий описывается в (Hanson 1998), где доказывается, что наши «космические привычки» будут выжжены в ходе колонизационной гонки. Селекция будет благоприятствовать тем репликаторам, которые будут тратить все свои ресурсы на отправку вовне следующих колонизационных зондов (Freitas 1980: 251—264).

Хотя время, которое потребуется, чтобы случился Всхлип такого рода, относительно велико, он все равно может иметь важные стратегические приложения, так как, возможно, краткосрочные решения могут предопределить, вступим ли мы на путь (Bostrom 2000), который неизбежно ведет к этому результату. Как только эволюционный процесс запущен или космическая колонизационная гонка началась, может оказаться трудным или невозможным остановить ее (Chislenko 1996). Вполне может быть, что единственный возможный путь избежать данного Всхлипа — полностью предотвратить раскручивание этих цепочек событий.

8.2 Уничтожение внеземной цивилизацией

Вероятность столкнуться с инопланетянами в ближайшее время кажется очень маленькой (см. главу этой статьи об увеличивающихся вероятностях ниже, а так же (Barrow, Tipler 1986; Tipler 1982: 36—39)).

Если все пойдет хорошо, и мы разовьемся в межгалактическую цивилизацию, мы можем однажды в далеком будущем встретить инопланетян.

Если они будут враждебны и если (по некой неизвестной причине) они будут обладать значительно лучшей технологией, чем мы будем обладать тогда же, они могут начать процесс завоевания нас. Или, если они запустят процесс фазового перехода вакуума посредством своих высокоэнергетических физических экспериментов (см. главу Взрывы), то однажды нам придется столкнуться с последствиями. По причине того, что пространственная протяженность нашей цивилизации на этой стадии будет вероятно очень велика, завоевание или разрушение потребует много времени для завершения, в силу чего этот сценарий будет скорее Всхлипом, чем Взрывом.

8.3 Нечто непредвиденное

Все другие гипотезы.

Первый из сценариев всхлипа должен быть тщательно взвешен при формулировании долгосрочной стратегии. Взаимодействие со вторым сценарием Всхлипа мы можем безопасно делегировать будущим поколениям (поскольку мы ничего не можем сделать с этим сейчас в любом случае.)

9. Определение величины вероятности рисков существованию

9.1 Прямые методы против непрямых

Есть два взаимодополняющих пути оценки наших шансов создания постчеловеческого мира. Прямой путь, состоит в анализе различных сценариев катастрофы, приписании им вероятностей и затем — вычитании суммы вероятностей этих катастроф из единицы для получения вероятности успеха. Детальные вычисления помогут нам понять, каков будет вклад отдельных причин вымирания в конечный результат. Например, мы бы хотели знать ответы на следующие вопросы вопросы, такие как: насколько труднее спроектировать нанотехнологическую иммунную систему с защитой от глупца, чем спроектировать нанобот, который может выжить и репродуцировать себя в естественной среде? Насколько реально сохранить нанотехнологии строго регулируемыми в течение длительных периодов времени (таким образом, чтобы человек с деструктивными намерениями не мог получить в свои руки наноассемблер, находящийся вне герметичной защищенной сборочной лаборатории (Drexler 1985))? Насколько вероятно, что сверхинтеллект появится ранее продвинутых нанотехнологий? Мы можем делать догадки на основе соответствующих параметров и давать оценки; и мы можем сделать то же самое для других рисков существованию, которые мы описали выше. (Я попытался отобразить приблизительную относительную вероятность различных рисков в порядке следования их описаний, данном в предыдущих четырех главах.)

Во-вторых, имеется непрямой путь оценки наших шансов создания постчеловеческого мира. Есть теоретические ограничения, связанные с данной проблемой, основанные на некоторых общих свойствах мира, в котором мы живем. Их немного, но они важны, так как не основываются на множестве догадок о деталях будущего технологического и социального развития.

9.2 Парадокс Ферми

Парадокс Ферми — это вопрос, вызываемый тем фактом, что мы не наблюдаем никаких признаков внеземной жизни (Brin 1983: 283—309). Это говорит нам о том, что жизнь не возникает на значительной части землеподобных планет и не развивается вплоть до появления продвинутых технологий, которые используется для колонизации Вселенной теми путями, которые могут быть замечены нашими современными инструментами. Здесь должен быть (по крайней мере, один) Большой Фильтр — эволюционный шаг, который чрезвычайно маловероятен — где-то на полпути между землеподобной планетой и видимым образом колонизирующей космос цивилизацией (Hanson 1998). И если этот Великий Фильтр не находится в нашем прошлом, нам следует опасаться его в (ближайшем) будущем. Может быть, почти каждая цивилизация, развившая определенный уровень технологии, вызывает свое собственное вымирание.

К счастью, то, что мы знаем о нашем эволюционном прошлом, хорошо соотносится с гипотезой, что Великий Фильтр позади нас. Имеется несколько убедительных кандидатов на крайне маловероятные эволюционные шаги в истории развития жизни на Земле, которые могут быть достаточно невероятными, чтобы объяснить, почему цивилизации в космосе возникают столь редко и, следовательно, почему мы не видим и не встречаем никаких инопланетян. Эти шаги включают в себя возникновение первых органических саморепликаторов, переход от прокариотов к эукариотам, дыхание кислородом, половое воспроизводство и, вероятно, другие1. Вывод состоит в том, что, исходя из нашего нынешнего знания эволюционной биологии, рассуждения о Великом Фильтре не могут много сказать нам о том, с какой вероятностью мы станем постлюдьми, хотя они могут дать нам легкие намеки (Barrow, Tipler 1986; Carter 1983: 347—363; Carter 1989: 33—63; Hanson 1998).

Это может резко измениться, если мы откроем следы независимо развившейся жизни (неважно, вымершей, или нет) на других планетах. Такое открытие будет плохой новостью. Обнаружение относительно продвинутых форм жизни (многоклеточных организмов) будет особенно угнетающим.

9.3 Эффекты селективности наблюдения (Observation selection effects)

Теория эффектов селективности наблюдения может сказать нам, что именно мы должны ожидать от наблюдений, исходя из некоторых гипотез о распределении наблюдателей во Вселенной. Сравнивая эти предсказания с нашими реальными наблюдениями, мы получим вероятностные оценки за или против различных гипотез. Одной из попыток применить такого рода рассуждения для предсказания наших будущих перспектив является так называемое Рассуждение о конце света2 ( Doomsday argument ) (Leslie 1989, 1996). Его цель — доказать, что мы систематически недооцениваем вероятность того, что человечество вымрет относительно скоро. Идея, в простейшей форме, состоит в том, что мы должны думать о себе как о — в некотором смысле — случайной выборке из набора всех наблюдателей в нашем референтном классе ( reference class ), и мы, скорее всего, живем так рано, как оно обстоит на самом деле, если после нас нет очень большого числа наблюдателей нашего класса. Рассуждение о конце света крайне противоречиво, и я всюду доказывал, что, хотя оно может быть теоретически обосновано, некоторые из условий его применимости не выполняются, так что применение его к нашему конкретному случаю будет ошибкой (Bostrom 1999: 539—550; Bostrom 2002).

Другие рассуждения, основанные на антропном принципе, могут быть более успешными: рассуждения на основе парадокса Ферми — это один пример, и в следующей главе приводится другой. В целом, основной урок состоит в том, что мы должны избегать использования того факта, что жизнь на Земле выжила до сегодняшнего дня и что наши гуманоидные предки не вымерли в некой внезапной катастрофе, для доказательства того, что рожденная на Земле жизнь и гуманоидные предки были высоко живучими. Даже если на огромном большинстве землеподобных планет жизнь вымерла до возникновения разумной жизни, мы все равно можем считать себя находящимися на одной из исключительных планет, которая была достаточно везучей, чтобы избежать разрушения1. В этом случае наш прошлый успех не дает никаких оснований ожидать успеха в будущем.

Область исследований эффектов избирательности наблюдения является методологически очень сложной (Bostrom 2000: 93—108, 2001: 359—387, 2002), и требуются более фундаментальные работы для того, чтобы понять, как правильно рассуждать об этих вещах. Вполне могут существовать выводы из этой области знаний, которые мы пока еще не можем понять.

9.4 Рассуждение о Симуляции

Большинство людей не верят, что они живут в компьютерной симуляции. Я недавно показал (используя некоторые, достаточно непротиворечивые аспекты теории эффектов избирательности наблюдения), что это приводит к вере в то, что мы почти наверняка не достигнем постчеловеческой стадии или что почти все постчеловеческие цивилизации не имеют индивидуумов, которые запускают большие количества симуляций прошлого, то есть, — компьютерных симуляций человекоподобных существ, из которых они развились (Bostrom 2001). Этот вывод весьма пессимистичен, поскольку он существенно уменьшает число позитивных сценариев будущего, которые достаточно логичны в свете современных эмпирических знаний.

Рассуждение о симуляции является не только общим предупреждением; оно также перераспределяет вероятности между гипотезами, которые остаются вероятными. Он увеличивает вероятность того, что мы живем в симуляции (что может множеством тонких путей влиять на нашу оценку того, насколько вероятными являются разные исходы) и оно уменьшает вероятность того, что постчеловеческий мир будет обладать множеством свободных индивидуумов, имеющих большие ресурсы и человекоподобные мотивы. Это дает нам ценные намеки на то, на что же мы реально можем надеяться и, соответственно, на что мы должны направлять наши усилия.

9.5 Психологические предубеждения?

Психология восприятия рисков является активно развивающеся, но довольно запутанной областью знания (Sjberg 2000: 1—11), которая может потенциально предоставить непрямые основания для пересмотра наших оценок угроз существованию.

Думаю, что наши прозрения о том, какие сценарии будущего являются «убедительными и реалистичными», сформированы тем, что мы видим по телевидению и в кино, и тем, что мы читаем в романах. (Помимо всего прочего, значительная часть рассуждений о будущем, с которыми сталкиваются люди, существует в форме фантастики и в других развлекательных контекстах.) Тогда мы должны, размышляя критически, подозревать, что наши интуитивные ожидания отклонены в сторону переоценки вероятностей тех сценариев, которые создают Хорошие истории, поскольку такие сценарии кажутся более знакомыми и более «реальными».

Это предубеждение Хорошей-истории может быть весьма сильным. Когда вы видели последний раз фильм о внезапном истреблении человечества (без предупреждения и без замены какой-либо другой цивилизацией)? Хотя этот сценарий гораздо более вероятен, чем сценарий, в котором люди-герои успешно отражают вторжение монстров или боевых роботов, он гораздо менее забавен для просмотра. Так что, мы не видим большого количества фильмов такого типа. Если мы не будем осторожны в своих рассуждениях, мы можем впасть в заблуждение, будто скучные сценарии слишком маловероятны, чтобы их стоило принимать всерьез. В общем, если мы подозреваем, что имеет место предубеждение Хорошей истории, мы можем сознательно увеличить наше доверие скучным гипотезам и уменьшить наше доверие интересным, эффектным гипотезам. Суммарный эффект должен перераспределить вероятность между рисками существованию в пользу тех, которые кажутся менее соответствующими продающимся сюжетам, и, возможно, увеличить вероятность рисков существованию как группы.

Эмпирические данные о предубеждениях в оценке рисков двусмысленны. Доказано, что мы страдаем от систематических предубеждений, когда оцениваем наши собственные перспективы рисков в целом. Некоторые данные показывают, что людям свойственно переоценивать собственные способности и перспективы1. Три четверти всех автолюбителей думают, что они более осторожные водители, чем среднестатистический водитель2. Согласно одному исследованию, почти половина социологов верит, что они принадлежат к лучшим десяти ученым в своей области (Westie 1973: 19—32), и 94% социологов думают, что они лучше работают в своей отрасли, чем их коллеги в среднем. Также было показано, что находящиеся в депрессии люди делают более точные предсказания, чем люди в нормальном состоянии, за исключением тех, что касаются безнадежности их ситуации (Paulhaus 1986; Roth, Ingram 1985: 243—251; Sackheim, Gur 1979: 213—215). Большинство людей думает, что они сами с меньшей вероятностью подвержены обычным рискам, чем другие люди (Sjberg 1994). Широко распространено убеждение (Urguhart. Heilmann 1984), что публика склонна переоценивать вероятности часто освещаемых в печати рисков (таких, как катастрофы самолетов, убийства, отравления едой и т. д.), и недавнее исследование (Taylor 1999) показывает, что публика переоценивает большое количество распространенных рисков здоровью в отношении себя. Другое недавнее исследование (Benjamin et al. 2001: 35—57), однако, предполагает, что доступная информация согласуется с предположением, что публика рационально оценивает риск (хотя и с некоторым сужением числа доступных анализу вариантов из-за расхода мыслительных усилий на удержание в уме точной информации)3.

Даже если мы можем получить твердые свидетельства предубеждений в оценке личных рисков, мы все еще должны быть осторожны в распространении их на случай рисков существованию.

9.6 Оценка собранных данных

В сумме эти непрямые аргументы добавляют важные ограничения к тем, которые мы можем вывести из прямого рассмотрения различных технологических рисков, хотя в этой статье недостаточно места для детального рассмотрения. Но общая сумма свидетельств такова, что может показаться неразумным не приписать значительную вероятность гипотезе, что глобальная катастрофа убьет нас. Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25%, и наивысшая оценка может быть значительно больше. Но даже если бы вероятность была гораздо меньше (скажем, ~1%) заявленная тема все равно заслуживала бы очень серьезного внимания по причине высоты ставок.

В целом, наибольшие риски существованию на отрезке времени в два столетия или меньше кажутся связанными с активностью продвинутой технологической цивилизации. Мы видим это, просматривая список различных глобальных рисков, который мы составили. В каждой из четырех категорий наивысшие риски связаны с человеческой активностью. Значительные глобальные угрозы, для которых это не верно, — это «симуляция выключается» (Хотя в некоторых версиях этой гипотезы выключение может быть вызвано нашей активностью, (Bostrom 2001)); удар кометы или астероида (что очень маловероятный риск); и уничтожение внеземной цивилизацией (что очень маловероятно в ближайшем будущем)1.

Неудивительно, что глобальные риски, созданные современной цивилизацией, получают львиную долю вероятности. В конце концов, мы делаем сейчас некоторые вещи, которые никогда не делались на Земле ранее, и мы развиваем потенциал, чтобы сделать гораздо больше таких вещей. Если неантропогенные факторы не смогли уничтожить человеческий вид в течение сотен тысяч лет, может показаться маловероятным, что эти факторы сразят нас в ближайшие сто или двести лет. И, наоборот, у нас нет никаких причин не думать, что творения продвинутой цивилизации будут нашей погибелью.

Однако, мы не должны слишком спешить отбрасывать риски существованию, которые не созданы человеком, как незначительные. Это правда, что наш вид выжил в течение долгого времени, несмотря на присутствие таких рисков. Но здесь может играть роль эффект селекции наблюдателей. Вопрос, который нам следует задать, состоит в следующем: в теоретическом случае, если природные катастрофы стерилизуют землеподобные планеты с большой частотой, что мы должны ожидать обнаружить? Очевидно, не то, что мы живем на стерилизованной планете. Но может быть, мы должны быть людьми, стоящими на более ранней фазе эволюции? Чтобы ответить на этот вопрос, мы нуждаемся в решении вопроса о референтных классах в теории селекции наблюдателей (Bostrom 2002). Но эта часть методологии еще не существует. Так что сейчас мы можем сказать, что наиболее серьезный глобальный риск создается продвинутой человеческой цивилизацией, но мы основываем эти утверждения на прямых рассуждениях. Есть ли дополнительные аргументы для наших выводов от непрямых рассуждений, — остается открытым вопросом.

Мы не должны винить цивилизацию или технологию за создание больших глобальных рисков. По причине того, как мы определили угрозы существованию, провал в создании технологической цивилизации будет означать, что мы пали жертвами глобальной катастрофы (а именно, сужения, «технологической остановки»). Без технологии наши шансы избежать глобальных рисков будут нулевыми. С технологиями у нас есть небольшой шанс, хотя наибольшие риски, как оказалось, создаются самими технологиями.

10. Рекомендации, касающиеся стратегии и этики

Угрозы существованию имеют набор черт, в силу которых полезно выделить их в отдельную категорию: колоссальный размер ущерба; тщетность метода проб и ошибок в данном случае; недостаток развитых биологических и культурных методов преодоления; тот факт, что предотвращение риска существованию является глобальным общественным интересом; совместная общественная заинтересованность всех будущих поколений; международная природа многих требуемых мер противодействия; по своей природе умозрительная и междисциплинарная природа темы; тонкие и разнообразные методологические проблемы, возникающие в процессе оценки вероятностей глобальных рисков; и относительное пренебрежение ко всей этой области.

Из нашего обзора наиболее важных угроз существованию и их главных свойств мы можем вывести предварительные рекомендации для этики и стратегии.

10.1. Поднимать известность проблемы рисков существованию.

Нам нужно больше исследований в области рисков существованию — детальных исследований частных аспектов конкретных рисков, равно как и общих исследований проблем, связанных с этикой, методологией, безопасностью и политикой. Осведомленность публики так же должна быть повышена, чтобы стали бы возможными конструктивные политические дискуссии о возможных контрмерах..

Современные исследователи всегда склонны заканчивать свои статьи словами, что в их области требуются дальнейшие исследования. Но в данном случае это, действительно, правда. Имеется гораздо больше научных исследований на тему поведения навозных мух, чем о глобальных рисках.

10.2 Создать структуру для международных действий

Поскольку снижение рисков существованию является всеобщим общественным благом, в идеальном случае должна быть такая узаконенная структура, которая бы справедливо распределяла расходы и ответственность для обеспечения этого блага между всеми людьми. Даже если расходы нельзя разделить справедливо, нужно пытаться создать некоторую систему, которая обеспечит расходы на снижение рисков в приблизительно оптимальных объемах.

Однако, необходимость международных действий связана с чем-то большим, чем желательность распределения расходов. Многие глобальные риски просто не могут быть существенно уменьшены посредством внутренних действий одной или даже большинства стран. Например, даже если большинство стран примет и применит национальные законы против создания некоторых конкретных деструктивных видов нанотехнологий, достигнем ли мы, на самом деле, безопасности, если некоторые менее добросовестные страны решат все равно продвигаться вперед? И принципы ведения стратегических переговоров - могут сделать недопустимым подкуп всех безответственных сторон, чтобы они подписали соглашение, даже если все выиграют, если каждый подпишется (Feldman 1980; Schelling 1960).

10.3 Сохранять готовность к превентивному действию в качестве последнего средства

Создание консенсуса на широкой основе между странами мира требует много времени, оно трудно и во многих случаях невозможно. Поэтому мы должны осознать, что могут возникнуть случаи, в которых сильные страны или коалиции стран должны действовать односторонне ради своего и общего блага. Такие односторонние действия могут ущемлять суверенитет других наций и, возможно, должны быть сделаны упреждающе.

Давайте конкретизируем эту гипотезу. Предположим, продвинутая нанотехнология только что была создана в нескольких ведущих лабораториях. (Под продвинутой нанотехнологией я имею в виду настоящий универсальный наноассмблер — устройство, которое может создавать широкий круг трехмерных структур, включая твердые части, с точностью до атома на основании детально определенного процесса сборки и конструирования, некоторого запаса химикатов и поставки энергии.) Предположим, что на этой стадии возможно предсказать, что изготовление опасных нанорепликаторов будет гораздо проще, чем создание надежной нанотехнологической иммунной защиты, которая может защитить от всех простых опасных репликаторов. Может быть, чертежи опасных репликаторов уже были созданы заранее и доступны через Интернет. Предположим далее, что большая часть исследований, ведущих к созданию наноассемблера, за исключением только нескольких последних стадий, доступна в открытой литературе; так что другие лаборатории в других частях мира, скорее всего, скоро создадут свои собственные наноассемблеры. Что должно быть сделано?

С такими исходными данными, можно с уверенностью предсказать, что опасные технологии вскоре попадут в руки «стран-изгоев», к сосредоточенным на ненависти к чему-то группам людей и, возможно, в конце концов, в руки одиноких психопатов. Рано или поздно кто-либо соберет и выпустит на волю деструктивный нанобот и разрушит биосферу. Единственный вариант — предпринять действия по недопущению распространения технологии наноассемблера до тех пор, пока надежные контр-меры против наноатаки не будут развернуты.

Можно надеяться, что большинство наций будут достаточно ответственны, чтобы добровольно подписаться на соответствующую регуляцию технологии ассемблеров. Эта регуляция не должна быть в форме запрета на ассемблеры, но должна ограничить временно, но эффективно их использование, и она должна дополняться строгой программой контроля. Некоторые страны, однако, могут отказаться принять эту программу. На них будет вначале оказываться давление, чтобы они примкнули к коалиции. Если все попытки убеждения провалятся, сила или угроза применения силы должны быть использованы, чтобы заставить их принять регуляцию.

Превентивный удар по суверенной стране не должен быть легко совершаемым действием, но, в крайнем случае, который мы обрисовали, когда неспособность действовать с большой вероятностью приведет к глобальной катастрофе, мы несем ответственность, которую нельзя игнорировать. Любой моральный запрет, который существует в нормальных условиях против нарушения государственного суверенитета, перевешивается в этом случае необходимостью предотвратить разрушение человечества. Даже если подозрительная страна еще не совершила открытых нарушений, само решение продвигаться в развитии опасных технологий при отсутствии достаточной регуляции должно интерпретироваться как акт агрессии, поскольку это подвергает весь остальной мир даже большему риску, чем, скажем, запуск нескольких ядерных ракет в случайных направлениях.

Интервенция должна быть достаточно решительной, чтобы уменьшить риск до приемлемых уровней, но она не должна быть большей, чем это необходимо, чтобы достичь цели. Может быть, даже уместно выплатить компенсацию жителям подвергшейся атаки страны, многие из которых не несут никакой или почти никакой ответственности за безответственные действия своих лидеров.

Хотя мы надеемся, что мы никогда не окажемся в ситуации, когда применение силы станет необходимым, важно, что мы озвучим наши моральные и стратегические мысли на случай этих чрезвычайных обстоятельств. Развитие широкого понимания моральных аспектов этого сценария заранее особенно важно, поскольку без определенного уровня публичной поддержки демократическим странам будет трудно действовать решительно до того, как появятся какие-либо видимые проявления опасности. Ожидание ее проявления — определенно не подходящий вариант, потому что оно само по себе уже может быть концом1.

10.4 Регулирование скорости развития технологий

Если некая возможная технология имеет большой коммерческий потенциал, вероятно, невозможно не допустить ее развития. Во всяком случае, в современном мире, с большим количеством автономных держав и относительно ограниченным надзором и, во всяком случае, с технологиями, которые не зависят от редких материалов или огромных заводов, будет чрезвычайно трудно сделать запрет на развитие 100% надежным. Для некоторых технологий (скажем, разрушающих озон веществ) несовершенно осуществляемая регуляция может быть всем, что нам нужно. Но с другими технологиями, такими как деструктивные наноботы, которые самореплицируются в естественной среде, даже единственное нарушение может быть смертельным. Ограниченная применимость технологических запретов ограничивает набор возможных политик, из которого мы можем выбирать.

То, на что мы должны иметь возможность влиять (в объеме, зависящем от того, как мы определяем это «мы»), — это темп развития различных технологий и, вероятно, последовательность, в которой возможные технологии развиваются и применяются. Мы должны быть сосредоточены на том, что я называю дифференциальным технологическим развитием: попытках замедлить применение опасных технологий и ускорить применение полезных технологий, особенно тех, которые смягчают угрозы, создаваемые другими технологиями.

В случае нанотехнологий, желательной последовательностью было бы размещение защитных систем до того, как наступательные возможности станут доступными для многих независимых государств; с того момента, когда секрет или технология становится доступной многим, чрезвычайно трудно не допустить их дальнейшего распространения. В случае биотехнологий мы должны стремиться продвигать исследования в области вакцин, антибактериальных и антивирусных лекарств, защитных приспособлений, сенсоров и систем диагностики и отложить настолько, насколько это возможно, развитие (и распространение) возбудителей и переносчиков болезней из арсенала бактериологического оружия. Разработки, развивающие средства наступления и обороны в равной степени, являются нейтральными с точки зрения безопасности, пока они осуществляются странами, которые мы идентифицируем как ответственные, и в этом случае они являются выгодными в том отношении, что они увеличивают наше технологическое преимущество над нашими потенциальными противниками. Такие «нейтральные» разработки также могут быть полезны в уменьшении природных угроз, и они могут также приносить пользу, не связанную с глобальной безопасностью.

Некоторые технологии особенно стоит продвигать, поскольку они могут помочь уменьшить широкий круг рисков. Сверхинтеллект — одна из них. Хотя он имеет свои опасности (разъяснявшиеся в предыдущих главах), есть опасности, с которыми мы столкнемся в некоторый момент, несмотря ни на что. Но получение сверхинтеллекта раньше этого момента — желательно, поскольку это поможет уменьшить другие риски. Сверхинтеллект может дать нам советы в стратегии. Сверхинтеллект сделает кривую прогресса для нанотехнологий гораздо круче, таким образом, сокращая период уязвимости между созданием опасных нанорепликаторов и размещением адекватной защиты. Наоборот, получение нанотехнологий до сверхинтеллекта мало уменьшит риски сверхинтеллекта. Единственное значительное исключение здесь — в том случае, если мы думаем, что важно достичь сверхинтеллекта посредством загрузки человека в компьютер, а не искусственного интеллекта. Нанотехнологии очень помогут загрузке (Freitas 1999).

Другие технологии, которые обладают высоким потенциалом уменьшения рисков, включают в себя усиление интеллекта, информационные технологии и надзор. Они могут сделать нас умнее индивидуально и коллективно и могут сделать более возможным установление необходимой регуляции. Таким образом, судя по имеющимся данным, есть серьезные причины продвигать эти технологии настолько решительно, насколько возможно1.

Как уже говорилось, мы можем также определить достижения за пределами технологий, которые полезны почти при всех сценариях. Мир и международное сотрудничество — очевидно, стóящие цели, равно как и культивирование традиций, которые помогают демократиям процветать2.

10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию

Некоторые малые угрозы существованию могут быть парированы достаточно дешево. Например, есть организации, нацеленные на картирование потенциально опасных околоземных объектов (например, в НАСА существует программа обнаружения околоземных астероидов и фонд космической защиты). Здесь могло бы быть дано дополнительное финансирование. Чтобы уменьшить вероятность «физических катастроф», может быть создан общественный наблюдательный комитет с правом осуществлять предварительную экспертизу потенциально опасных экспериментов. Сейчас это делается от случая к случаю и часто таким способом, который зависит от честности исследователей, имеющих личную заинтересованность в продолжении экспериментов.

Угрозы существованию от естественных или генетически сконструированных пандемий могут быть уменьшены теми же мерами, которые могут помочь не допустить или локализовать более ограниченные эпидемии. В силу этого можно было бы увеличить усилия в противодействии терроризму, гражданской обороне, эпидемиологическом мониторинге и передаче информации, разработке и накоплении запасов антидотов, репетировании карантинных процедур в случае катастрофы и т. д. Даже отвлекаясь от угроз существованию, было бы, вероятно, рентабельно увеличить долю таких программ в оборонных бюджетах3.

Широко признанным приоритетом является уменьшение риска ядерного Армагеддона, как случайного, так и намеренного. Имеется огромный объем литературы о связанных с этим стратегических и политических проблемах, к которому мне нечего здесь добавить.

Такие долгосрочные опасности, как распространение нанотехнологий или гонка вооружений между нанотехнологическими державами, равно как и риск в духе Всхлипа «эволюции в забвение», могут сделать необходимым, даже в большей мере, чем ядерное оружие, создание и применение скоординированной глобальной стратегии. Признание этих угроз существованию предполагает, что было бы разумно постепенно перенести фокус политики в области безопасности с поиска национальной безопасности посредством одностороннего усиления на создание единой международной системы безопасности, которая сможет предотвратить гонку вооружений и распространение оружия массового поражения. Какая конкретная политика имеет наилучшие шансы достижения этой долгосрочной цели — это вопрос, выходящий за пределы тематики данной статьи.

10.6. Максипок: эмпирическое правило для этичных поступков

Предыдущие главы показали, что совместная вероятность угроз существованию очень велика. Хотя по-прежнему имеется достаточно широкий разброс оценок, которые могут сделать ответственные мыслители, тем не менее, может быть доказано, что, поскольку ущерб от глобальной катастрофы столь велик, стремление к уменьшению угроз существованию должно быть доминирующим соображением среди забот о человечестве в целом. Было бы полезно принять следующее эмпирическое правило для этичных поступков; мы назовем его Максипок:

Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной смертельной катастрофы.

В лучшем случае, это — эмпирическое правило, первоначальное предположение, а не абсолютно обоснованный принцип, поскольку есть и другие моральные цели, помимо предотвращения глобальной смертельной катастрофы. Этичное действие всегда находится под риском переноса его основных усилий на вызывающие приятные ощущения проекты1, а не на серьезную работу, которая имеет наилучшие шансы излечить наихудшие болячки. Разрыв между вызывающими приятные ощущения проектами и теми, которые на самом деле имеют наибольший позитивный потенциал, вероятно, особенно велик в отношении угроз существованию. Поскольку цель весьма абстрактна и поскольку угрозы существованию не причиняют сейчас страданий ни одному живому существу2, из усилий по их уменьшению может быть выведено гораздо меньше прибыли в виде приятного самоощущения . Это предполагает дополнительный этический проект, а именно: изменить общественное этическое восприятие таким образом, чтобы создать большее уважения и социальное одобрение тем, кто тратит свое время и ресурсы на то, чтобы облагодетельствовать человечество посредством глобальной безопасности, в сравнении с другими видами филантропии.

Максипок, как один из принципов разумной достаточности, отличается от Максимина («Выбирайте действие, которое имеет наилучший исход в наихудшем случае».)3. Поскольку мы не можем полностью устранить угрозы существованию (в любой момент мы можем быть сброшены в мусорный ящик космической истории расширяющимся фронтом вакуумного перехода, запущенного в далекой галактике миллиард лет назад), использование Максимина в текущем контексте имело бы последствием то, что мы должны были бы выбрать действие, которое имело бы наибольшие преимущества при предположении о неизбежном вымирании. Иными словами, Максимин означает, что мы все должны начать развлекаться, как если бы у нас не было завтра.

Хотя этот вариант бесспорно привлекателен, очевидно, что лучше допустить, что может наступить хотя бы завтрашний день, особенно, если мы правильно разыграем наши карты.

Выражения признательности

Я благодарен за комментарии Курту Адамсу (Curt Adams), Амаре Ангелике (Amara Angelica), Брайану Эткинсу (Brian Atkins) , Милану Цирковичу (Milan Cirkovic), Дугласу Чембермену (Douglas Chamberlain), Роберту Фрайтасу, Марку Губруду (Mark Gubrud), Робину Хэнсону (Robin Hanson), Барбаре Ламар (Barbara)Lamar, Джону Лесли (John Leslie), Майку Тредеру (Mike Treder), Кену Олуму (Ken Olum), Роберту Пизани (Robert Pisani), нескольким анонимным читателям и аудитории на встрече SIG в институте Foresight Institute в апреле 2001 года. Эта статья также выиграла от дискуссий с Микаэлой Фистос (Michaela Fistioc), Биллом Джоем (Bill Joy), Джоном О (John Oh), Пэтом Паркером (Pat Parker), Кетом Де Роузом (Keith DeRose), и Питером Сингером (Peter Singer).

Приложение: очерк эволюционного «всхлипа»

Это приложение дает очерк того, почему существует угроза, что мы кончим эволюционным «всхлипом». Последующая цепь рассуждений из 11 звеньев не предназначена для того, чтобы быть жестким доказательством какого-либо рода, но скорее — наводящим на размышления рассказом без литературных украшений. (Более подробную дискуссию по некоторым из этих идей см. (Bostrom 2001).)

Хотя легко думать об эволюции как о жизни, происходящей от простых к более сложным формам, мы не должны некритически предполагать, что это всегда так. Это правда, что здесь, на Земле, простые репликаторы развились в человеческие существа (среди прочего), но по причине эффекта селективности наблюдения, информационная ценность этого одного свидетельства очень ограничена (больше на эту тему сказано в главе об оценке вероятностей рисков существованию).

Мы не наблюдаем в настоящий момент значительного эволюционного развития человеческого вида. Это связано с тем, что биологическая эволюция действует на временной шкале многих поколений, а не потому что этого больше не происходит (Kirk 2001: 432—435).

Биологическая человеческая эволюция медленна в первую очередь из-за медленности процесса человеческого размножения (с минимальным промежутком между поколениями примерно в полтора десятка лет).

Загруженные в компьютер люди и машинные интеллекты могут размножаться практически мгновенно в случае наличия необходимых ресурсов. Также, если они смогут предсказать некоторые аспекты своей эволюции, они смогут модифицировать себя прямо сейчас, вместо того, чтобы ждать, пока их оттеснят на второй план другие. Оба эти фактора могут привести к гораздо более быстрому эволюционному развитию в постчеловеческом мире.

Виды деятельности и жизненные пути, которые мы ценим, могут не совпадать с видами деятельности, которые имеют максимальную экономическую ценность в постчеловеческом мире. Деятели, которые выберут трату некоторой части своих ресурсов на (непродуктивные или не очень оптимальные) «хобби», будут находится в невыгодном положении, и будут потому рисковать быть оттесненными на второй план. (Но как тогда игра могла развиться у людей и других приматов? Предположительно, потому что она была адаптивно выгодна и поэтому «продуктивна» в смысле слова используемого здесь. Мы приписываем ценность игре. Но опасность состоит в том, что нет никаких гарантий, что виды деятельности, которые будут адаптивно полезными в будущем, будут теми же, которые мы сейчас считаем полезными — адаптивная деятельность в будущем может быть даже не связана с какой-либо формой осознания).

Мы должны различать два значения слов «оттеснены на второй план». В первом случае «оттеснены» означает «оттеснены» только в относительном смысле: ресурсы, которыми такие существа обладают, составляют все меньшую и меньшую часть от всех колонизованных ресурсов с течением времени. Во втором смысле, «оттесненный» тип испытывает уменьшение в абсолютных терминах, так что, в конечном счете, это тип становится вымершем.

Если права собственности почти совершенно соблюдаются (на космических расстояниях, что, кажется, непросто сделать), тогда «хоббисты» (то есть те типы, которые тратят часть своих ресурсов на непродуктивные виды деятельности) будут оттеснены только в первом смысле слова. В зависимости от деталей это может быть, а может и не быть классифицировано как «всхлип». Если потеря потенциала (по причине доминирования типов, которые мы не считаем ценными) достаточно велика, это будет «всхлипом».

При отсутствии совершенного соблюдения прав собственности, нам следует опасаться того, что хоббисты вымрут, потому что они менее эффективные соревнователи за одни и те же экологические ниши, чем те типы, которые не тратят никаких своих ресурсов на активность в духе хобби.

Единственный путь избежать этого исхода может состоять в замене естественной эволюции — направленной эволюцией, то есть так сформировать давление социальной селекции, что оно будет потворствовать хоббистам (например, обкладывая налогом нехоббистов) (Bostrom et al. 1999; Bostrom 2001). Это может сделать тип хоббистов успешным в соревновании.

Направленная эволюция, однако, требует координации. Ничего хорошего не выйдет, если одни общества решат благоволить своим хоббистам, в то время как другие общества, наоборот, решат максимализировать свою продуктивность путем прекращения их поддержки. Последние в конечном счете переиграют первых. Таким образом, единственный путь, на котором направленная эволюция может избежать того, что, в противном случае, обречено быть эволюционным «всхлипом», может состоять в том, что на высшем уровне организации будет только один независимый деятель. Мы можем назвать такую организацию Синглетон (singleton — единственный, одиночка).

Синглетон не обязан быть монолитным. Он может содержать в себе высоко разнообразную экологическую среду из независимых групп и индивидуумов. Синглетон может быть, например, всемирным демократическим правительством или дружественным сверхинтеллектом (Yudkowsky 2001). Остается открытым вопрос, сформируется ли, в конце концов, Синглетон. Если Синглетон не сформируется, и если структурный ландшафт будущей эволюции не благоприятствует видам деятельности, которые мы находим ценными, то тогда результатом может быть эволюционный «всхлип».

Библиография

  1. Barrow, J.D., & Tipler, F.J. (1986). The Anthropic Cosmological Principle. Oxford: Oxford University Press.

  2. Benjamin, D.K. et al. (2001). Individuals' estimates of risks of death: Part II — New evidence. Journal of Risk and Uncertainty, 22(1), 35-57.

  3. Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Futures Studies, 2. URL: /superintelligence.html.

  4. Bostrom, N. (1999). A Subjectivist Theory of Objective Chance, British Society for the Philosophy of Science Conference, July 8-9, Nottingham, U.K.

  5. Bostrom, N. (1999). The Doomsday Argument is Alive and Kicking. Mind, 108(431), 539-550. URL: /preprints/ali/alive.html.

  6. Bostrom, N. (2000). Is the end nigh?, The philosopher's magazine, Vol. 9 (pp. 19-20). URL: /primer.html.

  7. Bostrom, N. (2000). Observer-relative chances in anthropic reasoning? Erkenntnis, 52, 93-108. URL: /preprints.html.

  8. Bostrom, N. (2000). Predictions from Philosophy? Coloquia Manilana (PDCIS), 7. URL: /old/predict.html.

  9. Bostrom, N. (2001). Are Cosmological Theories Compatible With All Possible Evidence? A Missing Methodological Link. In preparation.

  10. Bostrom, N. (2001). Are You Living in a Simulation? Working-paper. URL: .

  11. Bostrom, N. (2001). Fine-Tuning Arguments in Cosmology. In preparation. URL: .

  12. Bostrom, N. (2001). The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. Synthese, 127(3), 359-387. URL: .

  13. Bostrom, N. (2001). The Future of Human Evolution. Working paper. URL: .

  14. Bostrom, N. (2001). Transhumanist Values. Manuscript. URL: .

  15. Bostrom, N. (2002). Anthropic Bias: Observation Selection Effects in Science and Philosophy. Routledge, New York. URL: /book/.

  16. Bostrom, N. et al. (1999). The Transhumanist FAQ. URL: .

  17. Brin, D. (1998). The Transparent Society. Reading, MA.: Addison-Wesley.

  18. Brin, G.D. (1983). The `Great Silence': The Controversy Concerning Extraterrestrial Intelligent Life. Quarterly Journal of the Royal Astronomical Society, 24, 283-309.

  19. Caplin, A., & Leahy, J. (2000). The Social Discount Rate. National Bureau of Economic Research, Working paper 7983.

  20. Carter, B. (1983). The anthropic principle and its implications for biological evolution. Phil. Trans. R. Soc., A 310, 347-363.

  21. Carter, B. (1989). The anthropic selection principle and the ultra-Darwinian synthesis. In F. Bertola & U. Curi (Eds.), The anthropic principle (pp. 33-63). Cambridge: Cambridge University Press.

  22. Chislenko, A. (1996). Networking in the Mind Age. URL: /~sasha/mindage.html.

  23. Cirkovic, M., & Bostrom, N. (2000). Cosmological Constant and the Final Anthropic Hypothesis. Astrophysics and Space Science, 274(4), 675-687. URL: http://xxx.lanl.gov.

  24. Coleman, S., & Luccia, F. (1980). Gravitational effects on and of vacuum decay. Physical Review D, 21, 3305-3315.

  25. Cowen, T., & Hanson, R. (2001). How YOU Do Not Tell the Truth: Academic Disagreement as Self-Deception. Working paper.

  26. Dar, A. et al. (1999). Will relativistic heavy-ion colliders destroy our planet? Physics Letters, B 470, 142-148.

  27. Drexler, K.E. (1985). Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. URL: /EOC/index.html.

  28. Drexler, K.E. (1988). A Dialog on Dangers. Foresight Background 2, Rev. 1. URL: /Updates/Background3.html.

  29. Drexler, K.E. (1992). Nanosystems. New York: John Wiley & Sons, Inc.

  30. Earman, J. (1995). Bangs, Crunches, Whimpers, and Shrieks: Singularities and Acausalities in Relativistic Spacetimes: Oxford University Press.

  31. Ettinger, R. (1964). The prospect of immortality. New York: Doubleday.

  32. Evans, L. (1991). Traffic Safety and the Driver: Leonard Evans. URL: http://www.s/book/.

  33. Feldman, A. (1980). Welfare Economics and Social Choice Theory. Boston: Martinus Nijhoff Publishing.

  34. Flynn, J.R. (1987). Massive IQ gains in many countries: What IQ tests really measure. Psychological Bulletin, 101, 171-191.

  35. Foresight Institute (1997-1991). Accidents, Malice, Progress, and Other Topics. Background 2, Rev. 1. URL: /Updates/Background2.html.

  36. Foresight Institute (2000). Foresight Guidelines on Molecular Nanotechnology, Version 3.7. URL: /guidelines/current.html.

  37. Forrest, D. (1989). Regulating Nanotechnology Development. . URL: /NanoRev/Forrest1989.html.

  38. Foster, K.R. et al. (2000). Science and the Precautionary Principle. Science, 288, 979-981. URL: /science_and_PP.html.

  39. Freitas (Jr.), R.A. (1999). Nanomedicine, Volume 1: Basic Capabilities. Georgetown, TX: Landes Bioscience. URL: .

  40. Freitas (Jr.), R.A. (2000). Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: /NanoRev/Ecophagy.html.

  41. Freitas(Jr.), R.A. (1980). A Self-Reproducing Interstellar Probe. J. Brit. Interplanet. Soc., 33, 251-264.

  42. Frieze, I. et al. (1978). Women and sex roles. New York: Norton.

  43. Gilovich, T. (1991). How We Know What Isn't So. New York: Macmillan.

  44. Gold, R.E. (1999). SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999.

  45. Gubrud, M. (2000). Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. URL:

  46. Hanson, R. (1994). What If Uploads Come First: The crack of a future dawn. Extropy, 6(2). URL: http://hanson.gmu.edu/uploads.html.

  47. Hanson, R. (1995). Could Gambling Save Science? Encouraging an Honest Consensus. Social Epistemology, 9:1, 3-33.

  48. Hanson, R. (1998). Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. URL: http://hanson.gmu.edu/workingpapers.html.

  49. Hanson, R. (1998). Must Early Life be Easy? The rhythm of major evolutionary transitions. URL: http://hanson.berkeley.edu/.

  50. Hanson, R. (1998). The Great Filter — Are We Almost Past It? Working paper.

  51. Hanson, R. (2000). Showing That You Care: The Evolution of Health Altruism. . URL: http://hanson.gmu.edu/bioerr.pdf.

  52. Hanson, R. et al. (1998). A Critical Discussion of Vinge's Singularity Concept. Extropy Online. URL: /eo/articles/vi.html.

  53. Huxley, A. (1932). Brave New World. London: Chatto & Windus.

  54. Jackson, R.J. et al. (2001). Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. Journal of Virology, 73, 1479-1491.

  55. Jeffrey, R. (1965). The logic of decision: McGraw-Hill.

  56. Jeremiah, D.E. (1995). Nanotechnology and Global Security. Presented at the Fourth Foresight Conference on Molecular Nanotechnology. URL: /nanotech/nano4/jeremiahPaper.html.

  57. Joy, B. (2000). Why the future doesn't need us. Wired, 8.04. URL: /wired/archive/8.04/joy_pr.html.

  58. Kaul, I. (1999). Global Public Goods: Oxford University Press.

  59. Kennedy, R. (1968). 13 Days. London: Macmillan.

  60. Kirk, K.M. (2001). Natural Selection and Quantitative Genetics of Life-History Traits in Western Women: A Twin Study. Evolution, 55(2), 432-435. URL:

  61. Knight, L.U. (2001). The Voluntary Human Extinction Movement. URL: /.

  62. Kruger, J., & Dunning, D. (1999). Unskilled and Unaware if It: How Difficulties in Recognizing One's Own Incompetence Lead to Inflated Self-Assessments. Journal of Personality and Social Psychology, 77(6), 1121-1134.

  63. Kubrick, S. (1964). Dr. Strangelove or How I Learned to Stop Worrying and Love the Bomb: Columbia/Tristar Studios.

  64. Kurzweil, R. (1999). The Age of Spiritual Machines: When computers exceed human intelligence. New York: Viking.

  65. Leslie, J. (1989). Risking the World's End. Bulletin of the Canadian Nuclear Society, May, 10-15.

  66. Leslie, J. (1996). The End of the World: The Science and Ethics of Human Extinction. London: Routledge.

  67. Lewis, D. (1986). Philosophical Papers (Vol. 2). New York: Oxford University Press.

  68. Lewis, D. (1994). Humean Supervenience Debugged. Mind, 103(412), 473-490.

  69. McCarthy, T. (2000). Molecular Nanotechnology and the World System. . URL: http://www.mccarthy.cx/WorldSystem/intro.htm.

  70. Merkle, R. (1994). The Molecular Repair of the Brain. Cryonics, 15(1 and 2).

  71. Merkle, R. et al. (1991). Theoretical studies of a hydrogen abstraction tool for nanotechnology. Nanotechnology, 2, 187-195.

  72. Moravec, H. (1989). Mind Children. Harvard: Harvard University Press.

  73. Moravec, H. (1998). When will computer hardware match the human brain? Journal of Transhumanism, 1. URL: /volume1/moravec.htm.

  74. Moravec, H. (1999). Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.

  75. Morgan, M.G. (2000). Categorizing Risks for Risk Ranking. Risk Analysis, 20(1), 49-58.

  76. Morrison, D. et al. (1994). The Impact Hazard. In T. Gehrels (Ed.), Hazards Due to Comets and Asteroids. Tucson: The University of Arizona Press.

  77. National Intelligence Council (2000). Global Trends 2015: A Dialogue about the Future with Nongovernment Experts. URL: http://www.cia.gov/cia/publications/globaltrends2015/.

  78. Nowak, R. (2001). Disaster in the making. New Scientist, 13 January 2001. URL:

  79. Paulhaus, D.L. (1986). Self-Deception and Impression Management in Test Responses. In A. Angeitner & J.S. Wiggins (Eds.), Personality Assessment via Questionnaires: Current Issues in Theory and Measurement. New York: Springer.

  80. Powell, C. (2000). 20 Ways the World Could End. Discover, 21(10). URL: /oct_00/featworld.html.

  81. Putnam, H. (1979). The place of facts in a world of values. In D. Huff & O. Prewett (Eds.), The Nature of the Physical Universe (pp. 113-140). New York: John Wiley.

  82. Rawls, J. (1999). A Theory of Justice (Revised Edition ed.). Cambridge, Mass.: Harvard University Press.

  83. Roth, D.L., & Ingram, R.E. (1985). Factors in the Self-Deception Questionnaire: Associations with depression. Journal of Personality and Social Psychology, 48, 243-251.

  84. Sackheim, H.A., & Gur, R.C. (1979). Self-deception, other-deception, and self-reported psychopathology. Journal of Consulting and Clinical Psychology, 47, 213-215.

  85. Schelling, T.C. (1960). The Strategy of Conflict. Cambridge, Mass.: Harvard University Press.

  86. Schelling, T.C. (2000). Intergenerational and International Discounting. Risk Analysis, 20(6), 833-837.

  87. Schopenhauer, A. (1891). Die Welt als Wille und Vorstellung. Leipzig: F, A, Brockhaus.

  88. Shute, N. (1989). On the Beach: Ballentine Books.

  89. Sjberg, L. (1994). Stralforskningens Risker: Attityder, Kunskaper och Riskuppfattning. RHIZIKON: Rapport fran Centrum fr Riskforskning, Handelshgskolan i Stockholm, 1.

  90. Sjberg, L. (2000). Factors in Risk Perception. Risk Analysis, 20(1), 1-11.

  91. Storfer, M. (1999). Myopia, Intelligence, and the Expanding Human Neocortex. International Journal of Neuroscience, 98(3-4).

  92. Svenson, O. (1981). Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148.

  93. Taylor, H. (1999). Perceptions of Risks. The Harris Poll #7, January 27. URL: /harris_poll/index.asp?PID=44.

  94. Tickner, J. et al. (2000). The Precautionary Principle. URL: /handbook.pdf.

  95. Tipler, F.J. (1982). Anthropic-principle arguments against steady-state cosmological theories. Observatory, 102, 36-39.

  96. Turner, M.S., & Wilczek, F. (1982). Is our vacuum metastable? Nature, August 12, 633-634.

  97. Urguhart, J., & Heilmann, K. (1984). Risk Watch: The Odds of Life. New York: Facts on File Publications.

  98. Vinge, V. (1993). The Coming Technological Singularity. Whole Earth Review, Winter issue.

  99. Waldeman, M. (1994). Systematic Errors and the Theory of Natural Selection. The American Economics Review, 84(3), 482-497.

  100. Warwick, K. (1997). March of the Machines. London: Century.

  101. Westie, F.R. (1973). Academic Expectations of Professional Immortality: A Study of Legitimation. The American Sociologists, 8, 19-32.

  102. Whitby, B. et al. (2000). How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. URL: sx.ac.uk/users/blayw/BlayAISB00.html.

  103. Yudkowsky, E. (2001). Friendly AI 0.9. URL: /CaTAI/friendly/contents.html.

Zehavi, I., & Dekel, A. (1999). Evidence for a positive cosmological constant from flows of galaxies and distant supernovae. Nature, 401(6750), 252-254.

Елиезер Юдковски. Когнитивные искажения, потенциально влияющие на оценку глобальных рисков.

Перевод: А.В. Турчин

Благодарности автора: Я благодарю Майкла Роя Эймса (Michael Roy Ames), Ника Бострома (Nick Bostrom), Милана Чирковича (Milan Cirkovic), Оли Лэмб (Olie Lamb), Тамаса Мартинеса (Tamas Martinec), Робина Ли Пауэла (Robin Lee Powell), Кристиана Ровнера (Christian Rovner) и Майкла Уилсона (Michael Wilson) за их комментарии, предложения и критику. Нет необходимости говорить, что все оставшиеся ошибки в этой работе — мои.

Введение

При всех прочих равных, не много людей предпочли бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные ученые и прочие агенты погибели нуждаются в мире, чтобы достигать в нем своих целей наживы, порядка, владения или других мерзостей. Если наше истребление будет происходить достаточно медленно для того, чтобы успело произойти ужасное осознание этого процесса, деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если Земля будет все-таки уничтожена, то произойдет это, вероятно, по ошибке.

Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях и того, что эти ошибки говорят о предшествующих им ментальных процессах, изучается в когнитивной психологии в рамках исследований эвристики и предубеждений Эти исследования принесли открытия, очень существенные для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках, связанных с неким взрывчатым веществом Р, способным разрушить всю планету, если подвергнется достаточно сильному радиосигналу. К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил тридцать лет, работая с ней, и знает ее лучше, чем любой другой на Земле. Вы звоните эксперту и спрашиваете, насколько сильным должен быть радиосигнал, чтобы вещество взорвалось. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4.000 тераватт. «Вероятно?» — Спрашиваете вы. «Можете ли вы мне сообщить интервал мощности запускающего сигнала с 98%-й уверенностью?» — «Конечно, — отвечает эксперт. — Я на 99% уверен, что критический порог больше 500 тераватт, и на 99% уверен, что он меньше 80.000 тераватт.» «А как насчет 10 тераватт?» — спрашиваете вы. «Невозможно», — отвечает эксперт.

Приведенная выше методология опроса эксперта выглядит совершенно резонной, такой, какую должен использовать любой компетентный работник, сталкиваясь с подобной проблемой. И в действительности, эта методология была использована при исследовании безопасности реакторов [Rasmussen, 1975], ныне считающемся первой значительной попыткой вероятностной оценки рисков. Но исследователь моделей рассуждений и погрешностей в рассуждениях может распознать, по крайней мере, два больших недостатка в этом методе, — не логических слабых места, а пару обстоятельств, чрезвычайно уязвимых к человеческой ошибке.

Исследования эвристики и предубеждений открыли результаты, которые могут напугать и привести в уныние неподготовленного ученого. Некоторые читатели, впервые сталкивающиеся с экспериментальными результатами, цитируемыми здесь, могут удивиться и спросить: «Это действительно экспериментальные результаты? Действительно ли люди так плохо предполагают? Может быть, эксперименты были плохо организованы, и результаты изменятся, если совершить такие-то и такие-то манипуляции?» Не имея достаточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные манипуляции уже применялись, и результаты от этого не становились другими.

1. Доступность информации

Предположим, вы возьмете случайное слово из трех или более букв из английского текста. Что более вероятно: что слово начинается с буквы R ("rope"), или что его третья буква R ("park")?

Основная идея исследований моделей рассуждений и погрешностей состоит в том, что человеческие существа используют методы мышления, называемые эвристикой, которые дают хорошие средние ответы в большинстве случаев, но которые также приводят к увеличению системных ошибок, называемых погрешностями (bias). Примером эвристики является суждение о частоте или вероятности события по его информационнойдоступности (availability), то есть по легкости, с которой примеры подобного события приходят на ум. «R» появляется в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на эту букву. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. [Tversky and Kahneman, 1973.]

Погрешности, основанные на эвристике доступности, влияют на оценки риска. Пионерское исследование Лихтенштейна [Lichtenstein, 1978] описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причиняют большее число смертей, и какие – меньшее. Однако, когда их просят посчитать риски точнее, они весьма переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных. Другие повторяющиеся ошибки, выявленные в этом исследовании, также были очевидными: аварии считались причинами такого же количества смертей, что и болезни (на самом деле болезни в 16 раз чаще становятся причинами смертей, чем аварии). Убийство неверно считалось более частой причиной смерти, чем диабет или рак желудка. В исследовании Комбса и Словица [Combs and Slovic, 1979] был проведен подсчет сообщений о смерти в двух газетах, в результате была обнаружена высокая корреляция между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).

Также люди отказываются покупать страховку от наводнений, даже если она хорошо субсидируется и стоит гораздо ниже справедливой рыночной цены. Канрейсер [Kunreuther,1993] предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивида представить себе наводнение, которое на их глазах никогда не случалось. Жители затапливаемых равнин оказываются в плену своего опыта. По-видимому, люди не могут всерьез беспокоиться о возможности потерь и разрушений бóльших, чем пережитые во время последних наводнений. Бертон [Burton, 1978] сообщает, что после строительства дамб и насыпей наводнения происходят реже, что, видимо, создает фальшивое чувство безопасности, ведущее к снижению мер предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения все-таки происходящего настолько возрастает, что среднегодовой ущерб увеличивается.

Кажется, что люди не экстраполируют опыт пережитых малых опасностей на возможности более серьезных рисков; наоборот, прошлый опыт малых опасностей устанавливает верхнюю границу ожиданий максимально возможного риска. Общество, хорошо защищенное от малых опасностей, не будет предпринимать никаких действий по отношению к большим рискам. Например, часто ведется строительство на затапливаемых равнинах после того, как регулярные малые наводнения устранены). Общество, подверженное регулярным малым опасностям, будет считать эти малые опасности в качестве верхней границы возможных рисков (защищаясь от регулярных малых наводнений, но не от неожиданных больших).

Аналогично, риск человеческого истребления может быть недооценен, поскольку, очевидно, человечество никогда не сталкивалось с этим событием1.

2. Интеллектуальная ошибка, связанная со знанием «задним числом». (Hindsight bias)

Интеллектуальная ошибка, связанная со знанием «задним числом» происходит, когда субъект, узнав окончательный итог, дает гораздо бóльшую оценку предсказуемости именно этого итога, чем субъекты, которые предсказывают итог без знания результата. Эта ошибка иногда называется «я-все-это-время-чувствовал-что-так-оно-и-есть».

Фисчхофф и Бейс [Fischhoff и Beyth, 1975] представили студентам исторические отчеты о малоизвестных событиях, таких, как конфликт между гуркхами и англичанами в 1814 году. Пять групп студентов, получивших эту информацию, были опрошены в отношении того, как бы они оценили степень вероятности каждого из четырех исходов: победа англичан, победа гуркхов, патовая ситуация с мирным соглашением или пат без соглашения. Каждое из этих событий было описано как реальный итог ситуации одной из четырех экспериментальных групп. Пятой, контрольной группе о реальном исходе не говорили ничего. Каждая экспериментальная группа приписала сообщенному ей итогу гораздо бóльшую вероятность, чем любая другая или контрольная группа.

Эффект знания «задним числом» важен в суде, где судья или присяжные должны определить, виновен ли обвиняемый в преступной халатности, не предвидев опасность. ( [Sanchiro, 2003]. В эксперименте, основанном на реальном деле, Кэмин и Рачлински [Kamin and Rachlinski, 1995] попросили две группы оценить вероятность ущерба от наводнения, причиненного закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда власти решили не нанимать мостового смотрителя. Экспериментальной группе была дана эта же информация плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % опрашиваемых из контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57% экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и также ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56% респондентов этой группы заключили, что город был преступно халатен. Отсюда видно, что судьи не могут просто инструктировать присяжных, чтобы те избежали эффекта знания задним числом: Меры против предвзятости (debiasing manipulation) не работают.

Рассматривая историю сквозь линзы нашего последующего знания, мы сильно недооцениваем затраты на предотвращения катастрофы. Так, в 1986 году спейс шаттл Челленджер взорвался по причине того, что кольцевой уплотнитель потерял гибкость при низкой температуре [Rogers, 1986]. Были предупреждающие сигналы о проблемах, связанных с кольцевым уплотнителем,. Но предотвращение катастрофы Челленджерадолжно было потребовать не только внимания к проблемам с кольцевым уплотнителем, но и озабоченности каждым аналогичным предупреждающим сигналом, который бы казался столь же серьезным, как проблема уплотнителей, без преимущества последующего знания.

3. Черные лебеди. (Black Swans)

Тэйлеб [Taleb, 2005] предположил, что ошибки последующего знания и доступности несут первостепенную ответственность за нашу неспособность защититься от того, что Тэйлеб назвал черными лебедями. «Черные лебеди» являются особенно серьезным аспектом проблемы мощных последствий: иногда бóльшая часть вариативности процесса происходит из исключительно редких, но исключительно масштабных событий. Представьте себе финансовый инструмент, который зарабатывает $10 с 98% вероятностью, но теряет $1000 с 2% вероятностью. В конечном счете, расход перевешивает доход, но инструмент выглядит как устойчиво выигрышный. Тэйлеб (2001) приводит пример трейдера, чья стратегия работала 6 лет без единого убыточного квартала, принося около $80 миллионов — и затем он потерял $300 миллионов в одной катастрофе.

Другим примером является Long-Term Capital Management, инвестиционный фонд, в состав основателей которого входили два Нобелевских лауреата по экономике. В течение Азиатского кризиса и российского дефолта 1998 года рынки вели себя совершенно беспрецедентным образом, имевшим пренебрежимо малую вероятность по исторической модели, использованной LTCM. В результате LTCM начал терять по $100 миллионов в день, день за днем. За один день в 1998 году он потерял более $500 миллионов [Taleb, 2005]

Основатели LTCM позже назвали рыночные условия 1998 года очень маловероятным событием с вероятным отклонением в десять сигма1. Но очевидно, что это событие, раз оно случилось, не было столь невероятным. Ошибочно веря, что прошлое предсказуемо, люди пришли к выводу, что будущее тоже предсказуемо. Как пишет Фисчхофф [Fischhoff, 1982]:

«Когда мы пытаемся понять события прошлого, мы косвенным образом проверяем гипотезы и правила, применяемые нами, чтобы интерпретировать и воспринимать мир вокруг нас. Если, благодаря последующему знанию, мы систематически недооцениваем сюрпризы, которые могли быть в прошлом, мы подвергаем эти гипотезы ненадлежаще слабым тестам и, вероятно, не находим никаких оснований для их изменений».

Урок истории состоит в том, что такие неприятности, как «черные лебеди», случаются. Люди удивляются катастрофам, которых они не ожидали, которые лежат за пределами известных им исторически вероятных распределений. Но почему мы бываем так ошеломлены, когда «черные лебеди» случаются? Почему LTCM заняло $125 миллиардов под $4.72 миллиарда собственности, практически гарантируя, что любая крупная неприятность их обанкротит?

По причине ошибки из-за последующего знания, мы выучиваем очень специфические уроки. После 11 сентября американское управление авиации запретило использование ножей для разрезания бумаги на самолетах. В ретроспективе это событие выглядит слишком предсказуемым, позволяя разъяренным жертвам считать случившееся результатом халатности — такой, как неспособность разведывательных агентств различить предупреждения об активности Аль-Каиды среди тысяч других предупреждений. Мы научились не позволять захваченным самолетам летать над нашими городами. Но мы не выучили урок: «черные лебеди» случаются. Делай, что можешь, чтобы приготовиться к неожиданному».

Тэйлеб [Taleb, 2005] пишет:

«Трудно мотивировать людей к предотвращению «черных лебедей»... Защита с трудом воспринимается, измеряется и вознаграждается; это обычно незаметный и неблагодарный труд. Представьте себе, что некая дорогостоящая мера была предпринята, чтобы предотвратить такое явление. Легко вычислить стоимость этих мер, тогда как результат трудно измерим. Как мы можем говорить об эффективности, когда есть два альтернативных варианта объяснения: или принятые меры были эффективны, или просто ничего существенного не случилось. Оценка качества работы в таких случаях не просто сложна, но искажена наблюдением «актов героизма»... В исторических книгах не пишут о героических превентивных мерах».

4. Ошибки в ситуациях с логическим «И»

Линде 31 год, она незамужняя, искренняя и оптимистичная девушка. В колледже она специализировалась на философии. Как студентка, она была глубоко озабочена проблемами дискриминации и социальной справедливости, а также участвовала в антиядерных демонстрациях.

Расположите следующие утверждения в порядке уменьшения их достоверности.

1. Линда — учитель в начальной школе.

2. Линда работает в книжном магазине и занимается йогой.

3. Линда — активистка феминистского движения

4. Линда — социальный работник в области психиатрии

5. Линда — член общества женщин, имеющих право голоса.

6. Линда — кассир в банке

7. Линда — страховой агент

8. Линда — кассир в банке и активистка феминистского движения

89% из 88 студентов посчитали пункт 8 более вероятным, чем пункт 6 [Tversky и Kahneman, 1982]. поскольку выбранное описание Линды похоже на описание феминистки, а не банковского кассира, п.8 в большей мере характерен для описания Линды. Однако, считая п.8 более вероятным, чем п.6, мы нарушаем закон суммирования вероятностей, который утверждает, что p(A&B) ≤ p(A). Представьте себе выборку из 1000 женщин. Наверняка в этой выборке больше женщин — банковских кассиров, чем женщин-феминисток и одновременно банковских кассиров.

Может быть, ошибка логического «И» связана с тем, что участники воспринимали экспериментальные инструкции неправильно? Например, они могли понять под «вероятностью» вероятность того, что женщина, для которой верны утверждения 6 и 8, соответствует приведенному выше описанию Линды, а не вероятность утверждений 6 и 8 в отношении Линды? Или, возможно, они интерпретировали 6 как означающее «линда — кассир и не феминистская активистка»? И, хотя, чтобы объяснить склонность к этой логической ошибке, было предложено много интересных альтернативных гипотез, она пережила все экспериментальные попытки ее опровержения (см. обзор [Sides, 2002].) Например, следующий эксперимент исключает обе альтернативные гипотезы, предложенные выше.

Представьте себе правильный 6-сторонний кубик с четырьмя зелеными сторонами и двумя красными. Кубик будет брошен 20 раз и последовательность выпадения зеленых (G) и красных (R) сторон будет записана. Испытуемый должен выбрать одну последовательность из трех предложенных, и он выиграет $25, если выбранная им последовательность выпадет в серии бросков кубика. Вот эти три последовательности, надо выбрать одну из них.

1. RGRRR

2. GRGRRR

3. GRRRRR

125 студентов в Стэнфордском университете играли в эту игру с реальными ставками. 65% из них выбрали последовательность 2. [Tversky и Kahneman, 1982]. последовательность 2 наиболее типична для игральной кости, поскольку кость большей частью зеленая и последовательность 2 содержит наибольшую пропорцию зеленых сторон. Однако, последовательность 1 превосходит последовательность 2, поскольку полностью входит в нее. Чтобы получилось 2, у вас должна выпасть последовательность 1 и зеленая грань кости перед ней.

В приведенной выше задаче студенты могли вычислить точные вероятности каждого события. Однако вместо того, чтобы тратить время на арифметические вычисления, 65% студентов, по-видимому, полагались на интуицию, исходя из того, что казалось более типичным для игральной кости. Когда мы называем это умозаключением по типичности, мы не настаиваем на том, что студенты специально решили, что они будут оценивать вероятность, исходя из типичности. Скорее, умозаключение по типичности является как раз тем, что создает интуитивное чувство, будто последовательность 2 более вероятна, чем последовательность 1. Другими словами, умозаключение по типичности является встроенной характеристикой мозга, предназначенной, чтобы давать быстрые достоверные суждения, а не сознательно выбранной процедурой. Мы не осознаем подмены суждением о типичности суждения о достоверности.

Ошибки в ситуациях с логическим «И» подобным же образом происходят в футурологических прогнозах. Две независимых группы профессиональных аналитиков на втором Международном конгрессе по Предвидению Будущего были опрошены, соответственно, о вероятности «полного разрыва дипломатических отношений между СССР и США в 1983 году» и «русского вторжения в Польшу, и последующего полного разрыва дипломатических отношений между СССР и США в 1983 году». Вторая группа аналитиков сообщила о значительно более высокой вероятности. [Tversky и Kahneman, 1982].

В исследовании Джонсона [Johnson, 1993], группа студентов MBA из Уортона должна была отправиться в Бангкок в качестве части своей образовательной программы. Несколько подгрупп студентов было опрошено на тему, как много они готовы заплатить за антитеррористическую страховку. Первой группе был задан вопрос, сколько она готова заплатить за антитеррористическую страховку, покрывающую перелет из Таиланда в США. Вторую группу студентов спросили, сколько она готова заплатить за страховку, покрывающую перелет туда-обратно. А третью — о страховке, которая бы покрывала все путешествие. Эти три группы оказались в среднем готовы заплатить $17.19, $13.90, и $7.44 соответственно.

С точки зрения теории вероятностей, добавление дополнительной детали к истории делает ее менее вероятной. Менее вероятно, что Линда является кассиром-феминисткой, чем просто кассиром, поскольку все кассиры-феминистки по определению являются кассирами. Но с точки зрения человеческой психологии добавление каждой новой детали делает историю все более достоверной.

Люди могут предпочесть заплатить больше за международную дипломатию, направленную на предотвращение нанотехнологической войны с Китаем, чем за инженерный проект, предназначенный, чтобы защитить от нанотехнологической атаки с любой возможной стороны. Второй сценарий предотвращения выглядит менее зрелищным и побуждающим, но универсальная технологическая защита будет более полезной по причине своей многосторонности. Более ценными выглядят стратегии, которые уменьшают вероятности истребления человечества без жесткой зацикленности только на нанотехнологических угрозах — такие, как колонизация космического пространства или искусственный интеллект (см. работы автора на эту тему). Брюс Шнейер заметил что правительство Соединенных Штатов (и до, и после урагана 2005 года в Новом орлеане), защищало отдельные объекты на территории страны от террористических угроз в стиле киносценариев ценой отвлечения ресурсов из средств гражданской обороны, которые могли бы быть использованы в любой ситуации [Schneier, 2005].

Сверхдетальные заверения также могут создать ложное ощущение безопасности: «Х не является риском существованию, и вы не должны заботиться о нем, потому что верны утверждения A, B, C, D, и E». В то время как ошибка в любом из предположений является потенциально гибельной для человеческого рода. «Мы не должны беспокоиться о нанотехнологической войне, потому что комиссия ООН в начале разовьет эту технологию и предотвратит ее распространение до тех пор, пока не будет разработана активная защита, способная защитить от всех случайных или злонамеренных проявлений, которые современная нанотехнология способна породить, и это условие будет выполняться всегда». Яркие, четко определенные сценарии могут увеличить нашу вероятностную оценку безопасности, равно как и неправильно направить инвестиции в безопасность с учетом излишне суженных или невероятно детализованных сценариев рисков.

В целом, людям свойственно переоценивать вероятность совпадений всех событий в серии и недооценивать вероятность хотя бы одного события из серии. [Tversky и Kahneman, 1982]. То есть, людям свойственно переоценивать вероятность того, что, например, семь событий, с вероятностью 90 % каждое все вместе совпадут. Наоборот, людям свойственно недооценивать вероятность того, что хотя бы одно событие из семи, имеющих каждое вероятность 10%, все-таки случится. Некто, оценивающий, стоит ли, например, открыть новую компанию, должен вычислить вероятность того, что множество отдельных событий произойдет одновременно нужным образом (что будет достаточное финансирование, компетентные рабочие, покупатели будут хотеть товар), учитывая также вероятность того, что, по крайней мере, одна критическая неприятность случится (банк откажется дать ссуду, главный проект закончится неудачей, ведущий ученый умрет). Это может объяснить, почему только 44% предприятий1 выживают в течение первых четырех лет. [Knaup, 2005.]

Адвокаты в своих речах предпочитают избегать выводов, основанных на истинности, по крайней мере, одной из нескольких посылок («либо одно, либо другое, либо третье должно было случится и каждый из этих вариантов приводит к одному и тому же выводу»), в пользу выводов, основанных на совпадении сразу нескольких посылок. С рациональной точки зрения первые случаи гораздо более вероятны, чем вторые.

Истребление человечества в следующем столетии может произойти в результате хотя бы одной из многих причин. Оно может случиться по причине любого риска выживанию, обсужденного в этой книге [Риски глобальной катастрофы, Оксфорд, 2007], или по какой-нибудь другой причине, которую никто из нас не предвидел. Даже для футурологов описания в духе «или то, или другое, или третье» неудобны, и пророчества, с помощью них сформулированные, звучат непоэтично.

5. Ошибочность рассуждений, вызванная эффектом подтверждения (Confirmation bias)

В 1960 году Питер Уосон (Peter Wason) провел ныне классический эксперимент, известный как задача '2-4-6' [Wason, 1960.] Испытуемые должны были определить правило, известное экспериментатору, но не самому испытуемому — так, как оно бывает при научном исследовании. Испытуемые писали три числа, таких как '2-4-6' или '10-12-14' на карточках, и экспериментатор говорил, соответствуют ли данные три числа правилу или нет. Изначально субъектам была выдана тройка чисел 2-4-6 и сказано, что она соответствует правилу. Испытуемые могли продолжать испытывать тройки до тех пор, пока они не чувствовали себя уверенными, что знают правило экспериментатора, и тогда испытуемым объявляли правило.

Хотя участники обычно выражали высокую уверенность в своих догадках, только 21% из них в этом эксперименте правильно угадали правило, и при повторениях эксперимента уровень успеха обычно составлял 20%. Вопреки совету Карла Поппера, испытуемые в эксперименте Уосона пытались подтвердить свои гипотезы, а не опровергнуть. Таким образом, те, кто сформулировали гипотезу «Числа увеличиваются каждый раз на два», проверяли тройки 8-10-12 или 20-22-24, слышали, что они подходят, и уверенно объявляли правило. Во всех случаях подлинное правило было одно и тоже: три номера должны следовать один за другим по возрастающей. В некоторых случаях испытуемые выдумывали, «тестировали» и объявляли правила, гораздо более сложные, чем действительное.

Задача Уосона «2-4-6» является «прохладной» формой интеллектуальной ошибки, связанной с подтверждением: люди предпочитают подтверждающие, а не опровергающие свидетельства. «Прохладный» означает, что задача «2-4-6» является эмоционально нейтральным случаем интеллектуальной ошибки подтверждения: вывод подтверждается логикой, а не эмоциями. «Горячий» случай имеет место, когда вера эмоционально заряжена, например, в случае политических рассуждений. Неудивительно, что «горячая» ошибочность сильнее — больше по размаху и более устойчивая к изменениям. Активная, полная усилий склонность к подтверждению обычно называется мотивированным мышлением (motivated cognition) (обычно известным как «рационализация»). Как отмечает Бреннер [Brenner, 2002] в «Заметках к теории одобрения»:

«Очевидно, что во многих обстоятельствах желание уверенности в гипотезе может заметно повлиять на воспринимаемую степень ее подтверждения... Канда [Kunda, 1990] обсуждает, как люди, нацеленные на то, чтобы достичь определенных выводов, пытаются сконструировать (в ошибочной манере) убедительный случай для своей любимой гипотезы, который мог бы убедить беспристрастную аудиторию. Джилович [Gilovich, 2000] предполагает, что выводы, в которые человек не хочет верить, рассматриваются гораздо требовательнее, чем те, в которые он хочет верить. В первом случае человек требует, чтобы свидетельство с необходимостью вело к данному выводу, а во втором — спрашивает, позволяет ли некоторое свидетельство придти к данному выводу».

Когда люди подвергают те свидетельства, которые противоречат их точке зрения, более пристрастному анализу, чем те, которые ее подтверждают, это называется мотивированный скептицизм или интеллектуальная ошибка несогласия (disconfirmation bias). Ошибка несогласия особенно деструктивна по двум причинам: во-первых, два подверженных этой ошибке спорщика, рассматривая один и тот же поток свидетельств, могут изменить свою веру в противоположных направлениях — обе стороны выборочно принимают только привлекательные для них свидетельства. Накопление большего числа свидетельств не приведет этих спорщиков к согласию. Во-вторых, люди, которые являются более опытными скептиками: которые знают больший набор логических нестыковок, но применяют этот навык избирательно, могут изменять свою точку зрения гораздо медленнее, чем неопытные спорщики

Тэйбер и Лодж [Taber and Lodge, 2000] исследовали изначальное отношение и изменение отношения у студентов, под воздействием прочтения политической литературы за и против контроля и выдачи разрешений на оружие. Это исследование проверило шесть следующих гипотез в двух экспериментах:

  1. Эффект предшествующего отношения. (Prior attitude effect.) Испытуемые, имевшие изначальную точку зрения на проблему — даже когда их поощряли в том, чтобы они были объективными — находили поддерживающие аргументы более охотно, чем опровергающие.

  2. Систематическая ошибка опровержения. Испытуемые тратили больше времени и умственных усилий, стараясь отклонить опровергающие аргументы, чем поддерживающие аргументы.

  3. Систематическая ошибка подтверждения. Испытуемые, свободные выбирать источники информации, скорее искали подтверждающие, чем опровергающие источники.

  4. Поляризация отношения. Предъявление субъектам очевидно уравновешенного набора аргументов за и против приводило к увеличению изначальной поляризации их мнений.

  5. Эффектсилымнения (Attitude strength effect). Испытуемые, имеющие более ярко выраженное мнение, были более подвержены вышеназванным склонностям к ошибке.

  6. Эффект усложнения. (Sophistication effect) Более искушенные в политике испытуемые, по причине обладания более тяжелым вооружением для опровержения противных фактов и доводов, были более подвержены вышеприведенным систематическим ошибкам.

Забавно, что эксперименты Тэйбера и Лоджа (Taber and Lodge) подтвердили все шесть изначальных гипотез авторов. Вы можете сказать: «Вероятно, эти эксперименты только отражают верования, на которые опирались их авторы, и это как раз пример систематической ошибки подтверждения». если так, то, сделав вас более опытным спорщиком, а именно, научив вас еще одной систематической ошибке, в которой можно обвинить людей, я, в действительности, навредил вам: я ослабил вашу реакцию на новую информацию. Я дал вам еще один шанс всякий раз терпеть неудачу, когда вы сталкиваетесь с возможностью изменить свой стиль мышления.

Модели рассуждения и систематические ошибки широко распространены в человеческих размышлениях. Их знание позволяет нам замечать большое разнообразие логических ошибок, которые, в противном случае, были бы недоступны для нашего наблюдения. Но, как и любая способность обнаруживать ошибки в рассуждениях, это знание должно применяться обоюдосторонне: как к нашим собственным идеям, так и к идеям других; к идеям, которые нам нравятся, и которые нам не нравятся. Знание человеческой склонности ошибаться — это опасное знание, если вы напоминаете себе об ошибочности тех, кто не согласен с вами. Если я избирателен в отношении тех аргументов, которые я исследую на предмет ошибок, или даже того, насколько глубоко я исследую эти ошибки, тогда каждый новый закон логики, каждая новая логическая несообразность, которую я научаюсь обнаруживать, делает меня глупее. Ум, чтобы быть полезным, должен быть использован не для того, чтобы дурачить самого себя.

Нельзя рационализировать то, что не рационально с самого начала — как если ложь назвать «правдизацией». Нельзя сделать утверждение более истинным посредством взяточничества, лести или даже страстной аргументации — можно заставить больше людей верить в утверждение, но нельзя сделать его вернее. Для того, чтобы сделать наши верования более истинными, мы должны изменить сами эти верования. Не каждое изменение — это улучшение, но каждое улучшение — это изменение по определению.

Наши верования гораздо более подвижны, чем мы привыкли думать. Гриффин и Тверский [Griffin and Tversky, 1992] осторожно опросили 24-х своих коллег на тему выбора между двумя предложениями по работе и попросили их оценить вероятность того, что они его выберут, для каждого из предложений. Средняя вероятность выбора, высказанная в отношении более привлекательного предложения, составила умеренные 66%. Но только один из 24 опрошенных выбрал в конечном счетt вариант, которому он приписал в начале более низкую вероятность, увеличив общую точность предсказания до 96 процентов. (Это — один из немногих известных примеров, когда имеет место не «сверх-уверенность», а «недо-уверенность».)

Мораль в том, что как только вы начинаете догадываться, каков будет ваш ответ, как только вы приписываете большую вероятность тому, что вы ответите так, а не иначе, вы, на самом деле, уже решили. И если вы будете честны с самим собой, вы должны признать, что обычно вы догадываетесь об окончательном ответе через секунды после того, как услышите вопрос. Мы меняем наши мнения гораздо реже, чем мы думаем. Насколько скоротечен этот короткий незаметный момент, когда мы даже не можем догадаться, каков будет наш ответ, малюсенькое хрупкое мгновение, которое нам отведено, чтобы на самом деле подумать — как в вопросах выбора, так и в вопросах установления фактов.

Шенкель (Shenkel) говорил: «Нет необходимости в вере, пока ситуация может быть легко рассмотрена тем или другим образом».

Норман Майер (Norman R. F. Maier): «Не предлагайте решения, до тех пор, пока проблема не будет исследована так тщательно, как это только возможно».

Робин Доуз (Robyn Dawes), комментируя Майера, писал: «Я часто предлагал это правило группам, которые я вел, в частности, когда они сталкивались с особенно трудной проблемой. Это - типичная ситуация, когда члены группы особенно склонны предлагать мгновенные решения».

В компьютерной безопасности «система, которой доверяют» (trusted system) — это та, которой вы на самом деле доверяете, а не та, которая достойна доверия. «Система, которой доверяют» — это система, которая, будучи скомпрометированной, способна вызвать ошибку. Когда вы читаете статью, утверждающую, что глобальная катастрофа невозможна, или имеет определенную годовую вероятность, или может быть преодолена с использованием определенной стратегии — вы доверяете рациональности авторов. Вы доверяете способности авторов переходить от удобных выводов к неудобным, даже в случае отсутствия сногсшибательных экспериментальных свидетельств, опровергающих любимую гипотезу. Вы доверяете авторам в том, что они не искали немного более интенсивно ошибки в тех уравнениях, которые указывали на неверный, с их точки зрения, путь, до того, как к вам попал окончательный вариант статьи.

И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой политики де-факто, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один ученый не рискнет больше высказывать предположения. Я не знаю, как решить эту проблему. Но я думаю, что тем, кто оценивает глобальные риски, следует иметь общие представления о человеческих моделях рассуждений и систематических ошибках при рассуждениях, и об ошибке неподтверждения в частности.

6. Якорение, настройка и наложение (Anchoring, adjustment, and contamination).

Экспериментатор крутит у вас на глазах рулетку, и она указывает на, в первом случае, 65, а во втором — на 15. Экспериментатор затем спрашивает вас, больше или меньше процент африканских стран в ООН этого числа. Затем экспериментатор спрашивает вас о вашей оценке процента африканских стран в ООН.

Тверский и Канеман [Tversky и Kahneman, 1974] продемонстрировали, что испытуемые, которых вначале попросили оценить, находится ли искомое число выше или ниже 15, затем давали значительно более низкие оценки процента африканских стран в ООН, чем те испытуемые, которых в начале просили оценить, выше или ниже этот процент 65. Средняя оценка по группе была в первом случае 25, во втором — 45 процентов. Это происходило, несмотря на то, что испытуемые видели, что номера генерируются очевидно случайным образом, рулеткой, и потому могли быть уверены, что эти номера не имеют никакого отношения к реальному проценту африканских стран в ООН. Денежные выплаты за точность не изменили интенсивность этого эффекта. Тверский и Канеман предположили, что этот эффект вызван якорениеминастройкой; испытуемые принимали изначальное неинформативное число за точку отсчета, или якорь, и затем увеличивали или уменьшали это число, до тех пор, пока не достигали результата, который выглядел убедительно для них; тогда они прекращали подстройку. Этот результат был недооценкой, связанной с данным якорем.

В примере в начале статьи мы вначале попросили эксперта по веществу P предположить точное значение силы радиосигнала, который приведет к взрыву P, и только затем попросили оценить верхние и нижние границы для этого параметра. Этот метод опроса заставляет людей подстраивать свой ответ о верхней и нижней границе к изначальной оценке, до тех пор, пока они не достигают значений, которые звучат невероятно и прекращают подстройку. Это приводит к недооценке и слишком узким границам интервала уверенности.

После статьи Тверского и Канемана 1974 года стало накапливаться все больше свидетельств широкого круга эффектов якорения и псевдо-якорения. Якорение происходило, даже когда якорь давал абсолютно невероятный ответ на вопрос, например, при опросе студентов относительно года первого визита Эйнштейна в США, после рассмотрения якорей 1215 или 1992. Эти недостоверные якоря создавали эффект якорения такой же силы, как и более достоверные якоря, такие как 1905 и 1939 [Strack and Mussweiler, 1997].

Допустим, вы идете по супермаркету и видите стойку с банками консервированной томатной пасты с надписью: «Только 12 штук в руки». Заставляет ли это людей на самом деле покупать больше томатной пасты? Согласно экспериментальным данным, заставляет [Wansink et. al., 1998].

Более общая форма этого феномена стала известна как эффект наложения (contamination effect), поскольку оказалось, что почти любая информация может повлиять на интеллектуальное суждение [Chapman and Johnson, 2002]. Предпринимались попытки ослабить эффект наложения путем выплаты испытуемым вознаграждения за правильные ответы. Тверский и Канеман [Tversky и Kahneman, 1974] инструктирования испытуемых о необходимости избежать якорения изначальным показателем [Quattrone et. al., 1981] или же обращения испытуемых к проблемам реального мира [Wansink et. al., 1998]. Эти действия не уменьшили или уменьшили только в незначительной степени интенсивность эффектов якорения и наложения. Более того, субъекты, спрошенные о том, были ли они подвергнуты действию эффекта наложения, обычно не верили, что он на них повлиял, хотя эксперименты показывали обратное. [Wilson et. al., 1996].

Действия, существенно увеличивающие эффект наложения это действия, помещающие субъектов в интеллектуально трудные условия, такие, как непрерывное прослушивание последовательности слов в процессе работы [Gilbert et. al., 1988] или требование от субъектов быстрых ответов [Gilbert and Osborne, 1989]. Гилберт [Gilbert et. al., 1988] связывает это с тем, что дополнительная задача влияет на способность отстроиться (adjust away) от якоря; иначе говоря, в интеллектуально загруженных условиях происходит меньшая корректировка. Этот эффект уменьшения корректировки, а значит, увеличения недокорректировки, известен как якорение.

Суммируем: явно нерелевантная информация по-прежнему якорит суждения и накладывается на догадки. Когда люди начинают с информации, про которую заранее известно, что она нерелевантная, и затем производят подстройку, пока не достигают убедительно звучащего ответа, они обычно недооценивают величину некого параметра. Люди недооценивают величину параметра в гораздо большей степени в ситуациях интеллектуальной нагрузки и других воздействий, что делает проблему более серьезной. Люди отрицают, что были заякорены и недооценивали, даже когда эксперименты показывают противоположное. Эти эффекты не ослабляются или ослабляются незначительно при финансовом вознаграждении, явных инструкциях избежать наложения и в ситуациях из реальной жизни.

А теперь вспомните, сколько историй из лент новостей об искусственном интеллекте ссылаются на фильмы о Терминаторе, как если бы они были документальными, и как много медийных историй о взаимодействии мозга и компьютера упоминают Борга из кинофильма «Звездный путь».

Если даже короткая демонстрация якоря оказывает существенное воздействие на испытуемых, насколько больший эффект мы можем ожидать от чтения целой книги или просмотра остросюжетного телевизионного шоу? Во времена предков не было фильмов — все, что вы видели своими глазами, было правдой. Людям следует осознавать, в той мере, в какой осознанные мысли принимаются в расчет, что фантастика есть фантастика. Журналистские упоминания о «Терминаторе» обычно не рассматривают сценарий Камерона в качестве пророчества или установленной правды. Вместо этого репортер как бы считает видения Камерона чем-то, что уже однажды имело место в прошлом и вполне может случиться вновь — фильм вспоминается как если бы он был иллюстрирующим историческим случаем. Я называю эту смесь якорения и доступности для восприятия логической ошибкой генерализации на основании художественного вымысла.

(Похожей концепцией является систематическая ошибка «хорошей истории», предложенная Бостромом [Bostrom, 2001]. Художественные свидетельства часто состоят из «хороших историй» в бостромском смысле. Отметьте, что не все возможные «хорошие истории» уже представлены в литературе.

Рассказчики историй соблюдают строгие правила повествовательности, не имеющие отношения к реальности. Драматическая логика — это не логика. Вдохновленные писатели знают, что одной правды мало: нельзя заставить поверить в невероятное событие из вашего произведения путем цитирования примеров из реальной жизни. Хорошая история раскрашена яркими деталями, расцвечена цветущими метафорами; рассказчик историй должен быть конкретным, твердым и точным, как камень. Но в предвидении будущего каждая добавленная деталь является дополнительной нагрузкой! Правда — это тяжелая работа, и — не для рассказчиков историй. Мы должны избегать не только одурачивания фантастикой в виде нашей неспособности совершить ментальное усилие, чтобы разувериться в ней, но также того, чтобы фантастика наложилась на наше мышление и стала точкой отсчета для наших суждений. И мы должны осознавать, что мы не всегда осознаем это наложение. В дискуссиях о глобальных рисках отнюдь не необыкновенны категории, выборы, последствия и стратегии, пришедшие из фильмов, книг и телевизионных шоу. Бывают изысканные поражения, но это — откровенная капитуляция.

7. Рассуждения, обусловленные аффектом.

Рассуждения, обусловленные аффектом, возникают, когда субъективные представления о хорошем и плохом выступают в качестве метода рассуждений и способны порождать быстрые, основанные на непосредственном восприятии, суждения, а также систематические ошибки.

В исследовании Словица [Slovic, 2002] две группы испытуемых рассматривали такой сценарий: аэропорт должен решить, следует ли ему потратить деньги на новое оборудование, или на другие аспекты системы безопасности. Шкала ответов ранжирована от 0 (никакой поддержки) до 20 (очень сильная поддержка). Оказалось, что мероприятие, описанное как «Спасти 150 жизней» получило среднюю поддержку 10,4, в то время как мероприятие, описанное как «Спасти 98% от 150 жизней» имело среднюю поддержку в 13,6. Даже предложение «спасти 85% от 150 жизней» имело бóльшую поддержку, чем «спасение 150 жизней». Гипотеза, лежащая в основе этого эксперимента, состояла в том, что «спасение 150 жизней» звучит довольно расплывчато и потому имеет небольшую ценность, в то время как спасение 98% чего-нибудь это очень хорошо, потому что это очень близко к верхней границе процентной шкалы.

Файнакэйн [Finucane, 2000] исследовал, объединяют ли люди свои оценки возможных преимуществ от некой технологии, такой как, например, ядерная энергетика, со своими оценками возможных рисков в едином хорошем или плохом ощущении по поводу этой технологии. Он тестировал эту гипотезу, предлагая испытуемым четыре разных сообщения, которые должны были увеличить или ослабить воспринимаемые риски и воспринимаемые преимущества. Не было никакой логической связи между предоставленной информацией о рисках и о преимуществах. В каждом случае новая информация оказывала противоположный эффект на эмоционально противоположную характеристику. Информация, которая увеличивала восприятие риска, ослабляла восприятие преимуществ. Информация, которая ослабляла восприятие преимуществ, увеличивала восприятие рисков. Файнакэйн обнаружил, что нехватка времени обычно усиливает отрицательную взаимосвязь между воспринимаемыми рисками и воспринимаемыми преимуществами — предположительно потому, что эта нехватка усиливает преобладание эмоциональных моделей рассуждений над аналитическим анализом.

Ганзач [Ganzach, 2001] обнаружил тот же эффект в царстве финансов: аналитики делают прогнозы рисков и доходов незнакомых активов на основании в целом эмоционального отношения. Акции, воспринимавшиеся как «хорошие», были определены как имеющие низкий риск и высокий доход; акции, воспринимавшиеся как «плохие», определялись как имеющие низкий доход и высокий риск. Таким образом, для незнакомых акций, воспринимаемый риск и воспринимаемый доход имели отрицательную корреляцию, в соответствии с эмоциональной логикой. (Отметьте, что в этом эксперименте нехватка информации играет ту же роль, что занятость ума или нехватка времени в усилении эффекта эмоциональной логики.) Для знакомых акций воспринимаемый риск и воспринимаемый доход имели позитивную корреляцию, как это и предсказывается в норме экономической теорией. (Если акции безопасны, покупатель платит премию за их безопасность, и они являются более дорогими, что уменьшает ожидаемый доход.)

Люди обычно имеют недостаточную информацию о будущих технологиях. Поэтому неудивительно, что их отношение эмоционально поляризовано. Когда я только начал думать об этих материях, я считал, что биотехнология имеет относительно меньше достоинств сравнительно с нанотехнологией, и я больше боялся сконструированных супервирусов, чем вредоносного применения нанотехнологий. Искусственный интеллект, от которого я ожидал наибольших выгод, нисколько не беспокоил меня. Позже, когда я исследовал проблему гораздо более детально, моя оценка относительных преимуществ осталась относительно такой же, но мои тревоги стали противоположными: более мощные технологии, с большими ожидаемыми выгодами, теперь выглядят имеющими соответственно большие риски. С ретроспективной точки зрения это вполне предсказуемо. Но анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск.

8. Пренебрежение масштабом

(2,000 / 20,000 / 200,000) перелетных птиц тонут каждый год в незакрытых нефтехранилищах, которые птицы по ошибке принимают за пруды с водой. Эти смерти могут быть предотвращены путем накрывания хранилищ сетями. Сколько денег вы были бы готовы заплатить за установку таких сетей?

Три группы испытуемых, рассматривавших этот вопрос, были спрошены о том, какое увеличение налога они были бы готовы принять, чтобы спасти 2.000, 20.000 ил 200.000 птиц. Ответ, названный Установленная Готовность Платить (УГП), был в среднем $80 за 2.000 птиц, $78 за 20.000 и $88 за 200.000 птиц. [Desvousges, 1993]. Этот феномен известен как нечувствительность к масштабу или пренебрежение масштабом.

Подобные исследовании показали, что жители Торонто готовы заплатить только немногим больше, чтобы очистить все озера Онтарио, чем чтобы очистить загрязенные озера только части штата [Kahneman, 1986], и что жители четырех западных штатов в США готовы заплатить только на 28% больше, чтобы защитить все 57 уголков дикой природы в этих штатах, чем чтобы защитить только один такой уголок. [McFadden и Leonard, 1995].

Наиболее широко распространенное объяснение эффекта пренебрежения масштабом апеллирует к эмоциональной логике. Канеман [Kahneman, 1999] пишет:

«История о птицах из опытов Десвоуджеса, вероятно, вызывает у многих читателей ментальное представление о неком событии, возможно — образ истощенной птицы с намоченными черной нефтью крыльями, неспособной спастись. Гипотеза об оценке по первоначальному образу утверждает, что эмоциональное влияние этого образа будет доминировать над отношением к проблеме, включая готовность платить за решение. Оценка по первоначальному образу автоматически означает пренебрежение к остальным деталям ситуации»

Две другие гипотезы о пренебрежении масштабом включают в себя покупку морального удовлетворения [Kahneman и Knetsch, 1992] и пожертвование монетки ради доброго дела [Harrison, 1992]. Гипотеза о моральном удовлетворении предполагает, что люди тратят достаточно денег, чтобы создать ощущение «внутренней теплоты» в себе, и требующийся на это объем денег зависит от человеческой психологии и не имеет ничего общего с птицами. Гипотеза о «монетке на благотворительность» предполагает, что люди готовы выделить определенную сумму «на экологию», и любой вопрос о проблемах окружающей среды просто проявляет это количество.

Пренебрежение масштабом было продемонстрировано и по отношению к человеческим жизням. Карсон и Митчелл [Carson and Mitchell,, 1995] сообщают, что информации об увеличении риска, связанного с питьем хлорированной воды с 0.004 до 2.43 на 1000 смертей в год (то есть в 600 раз) увеличивает устанвленную готовность платить (УГП) платить с $3.78 до $15.23 (то есть 4 раза). Бэйрон и Грин [Baron and Greene, 1996] обнаружили, что изменение числа спасенных жизней в 10 раз не оказывает никакого эффекта на этот индекс.

Фезерстонхоу [Fetherstonhaugh, 1997], в статье, озаглавленной «Нечувствительность к ценности человеческой жизни: исследование психологического восприятия чисел», обнаружил свидетельства того, что наше восприятие человеческих смертей и ощущение ценности человеческих жизней следует закону Вебера, это значит, что мы используем логарифмическую шкалу. И действительно, исследования эффекта пренебрежения масштабом, в которых количественные изменения были достаточно велики, чтобы вызвать хотя бы какую-то чувствительность, показали небольшие линейные изменения готовности платить, соответствующие экспоненциальным изменениям масштаба. Канеман [Kahneman, 1999] интерпретирует это как дополнительный эффект эмоциональной реакции на масштаб к реакции на первоначальный образ: первоначальный образ вызывает бóльшую часть эмоции, а масштаб вызывает меньшую часть эмоции, которая добавляется (но не умножается) к первоначальному количеству.

Альберт Сент-Дьёрди (Albert Szent-Györgyi) говорит: «На меня производят сильное впечатление страдания одного человека, и я готов рисковать своей жизнью ради него. Но я могу говорить совершенно отстраненно о заражении наших больших городов с сотнями миллионов погибших. Я не способен умножить страдания одного на сто миллионов». Человеческие эмоции возникают внутри аналогового ума. Человеческий мозг не способен выработать достаточно нейротрансмиттеров, чтобы почувствовать эмоцию в тысячу раз более сильную, чем горе на похоронах. Увеличение возможного риска с десяти миллионов смертей до ста миллионов не увеличивает в десять раз нашу решимость не допустить этого. Это просто добавление еще одного нолика на бумаге у нас перед глазами, что имеет столь небольшой эффект, что обычно необходимо изменить количество жертв на несколько порядков, чтобы заметить разницу экспериментально.

9. Калибровка и сверхуверенность

Насколько люди уверены в своих ошибочных оценках? В первом разделе этой статьи, посвященном эффекту доступности информации, мы обсудили эксперимент по восприятию риска, в котором испытуемые переоценивали типичные для сообщений средств массовой информации причины смерти в пропорции, коррелирующей с избирательными сообщениями в газетах. Словиц [Slovic, 1982] также отмечает:

«Одним из пагубных аспектов моделей рассуждений является то, что люди обычно имеют очень большую уверенность в суждениях, основанных на них. В другом исследовании по поводу причин смерти, людей просили сделать ставки на то, что они правы в своем выборе более частой среди двух причин смерти. [Fischoff, Slovic, и Lichtenstein, 1977]. В эксперименте №1 испытуемые были довольно точны, когда делали ставки 1:1, 1.5:1, 2:1, и 3:1. То есть, процент правильных ответов был близок к значению, которое следовало из этих ставок. Однако, по мере увеличения ставок от 3:1 к 100:1 почти никакого прироста точности не происходило. Только 73% ответов, на которые сделали ставки 100:1, были верны (вместо 99.1%). Точность возросла до 81% при ставках 1000:1 и до 87% при 10.000:1. Для ответов, на которые ставили 1000000:1, точность составляла 90%, то есть, соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более половины ставок была выше, чем 50:1. Почти четверть — выше, чем 100:1. 30% респондентов в эксперименте №1 сделали ставку 50:1 на неверное утверждение, что убийства более часты, чем самоубийства».

Этот кажущийся удивительным результат вполне обычен в литературе, посвященной моделям рассуждений и систематическим ошибкам в мышлении, где он известен как сверхуверенность. Допустим, я попрошу вас сделать наилучшее возможное предположение насчет неизвестного числа, такого, как количество «Врачей и хирургов» в желтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, насчет которой вы уверены на 99%, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99% уверены, что искомая величина лежит ниже нее. Эти две границы образуют ваш интервал 98% уверенности (confidence interval). Если вы хорошо откалиброваны (well-calibrated) , то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.

Алперт и Раиффа (Alpert и Raiffa) (1982) задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведенным выше. Оказалось, что 426 из них подлинные значения лежали за пределами 98% интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно откалиброваны, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42.6%.

Другую группу из тридцати пяти испытуемых попросили оценить 99.9% верхние и нижние границы уверенности. Они оказались неправы в 40% случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвертая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.

В следующем эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки, и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но все еще весьма далеко от хорошо откалиброванного результата в 2%.

Подобные уровни ошибок были обнаружены и у экспертов. Хинс и Вэнмарк [Hynes и Vanmarke, 1976] опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50% уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Кристенсен-Залански и Бушихед [Christensen-Szalanski и Bushyhead, 1981] опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88%, доля пациентов, действительно имевших пневмонию, была менее 20%.

Говоря словами Алперта и Раиффы [Alpert и Raiffa,, 1982]: «Ради Бога, расширяйте свои крайние оценки! Будьте честны с собой! Допустите, что вы не знаете!».

Лихтенштейн [Lichtenstein, 1982] произвел обзор четырнадцати исследований на основании тридцати четырех экспериментов выполненных двадцатью тремя исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из исследований следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться почти в каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.

Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Булер [Buehler, 1994] попросил студентов-психологов предсказать важный параметр: время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если все пойдет «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.

Булер [Buehler, 1994] опросил студентов о времени, к которому студенты на 50% уверены, на 75% уверены и на 99% уверены, что они закончат свои академические проекты. Только 13% участников закончили свои дипломы к моменту, которому приписывали 50% вероятность, только 19% закончили к моменту 75% оценки и 45% закончили ко времени, оценивавшемуся в 99% уверенности. Булер [Buehler et. al., 2002] пишет «результаты выхода на уровень 99% достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, все равно уверенность студентов в их временных оценках намного превосходила их реальные результаты».

Ньюби-Кларк [Newby-Clark et. al., 2000] обнаружили, что опросы испытуемых об их предсказаниях, основанных на наиболее реалистичном предположении, и опросы испытуемых об их надеждах в самом лучшем случае давали неразличимые результаты. Будучи спрошены о наиболее вероятном стечении обстоятельств, люди имели тенденцию предполагать, что все пойдет так, как планировалось, без неожиданных задержек и непредвиденных катастроф, то есть так же, как в наилучшем случае. Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший случай.

В этой статье мы обсуждаем сверхуверенность после обсуждения систематической ошибки подтверждения и частного случая — систематической ошибки неподтверждения. Знание об эффекте калибровке — это опасное знание, поскольку очень соблазнительно применять его избирательно. «Насколько глуп мой оппонент, чтобы быть уверенным в своих аргументах. Знает ли он, как часто люди ошибаются в том, в чем они уверены?» Если вы обнаруживаете, что мнения эксперта имеют гораздо меньше значения, чем вы раньше думали, вам стоит также понять, что ваши собственные мысли тоже гораздо слабее, чем вы думали раньше: и тогда потребуется меньше усилий, чтобы увлечь вас в сторону от ваших любимых верований. В противном случае вы станете медленнее реагировать на новые свидетельства. Вы оказываетесь в гораздо более худшем положении, чем, если бы вы никогда не слышали о калибровке. По этой причине — часто, несмотря на значительное искушение — я избегаю обсуждения исследований по калибровке, до того как я обсужу систематическую ошибку подтверждения, для того, чтобы я мог сделать такое же предупреждение.

Отметьте так же, что оценка эксперта, сильно уверенного в своем мнении, принципиально отличается от вычислений, сделанных исключительно на основе статистических данных, или исключительно на основе адекватной, точно подтвержденной модели. Во всех случаях, когда эксперт утверждает, даже на основании точных вычислений, что событие имеет вероятность 10-6, , он наверняка ошибается чаще, чем один раз на миллион. Но если бы комбинаторика не могла точно предсказать, что лотерейный билет имеет 10-8 шанс выиграть, то продавцы билетов бы разорились.

10. Апатия прохожего

Последняя рассматриваемая мной систематическая ошибка относится не к области моделей рассуждений, но к области социальной психологии. В ныне знаменитой серии экспериментов Лэйтен и Дэрли [Latane и Darley, 1969] открыли эффект прохожего, известный также как апатия прохожего, который состоит в том, что в больших группах люди менее склонны реагировать на чрезвычайные ситуации — не только индивидуально, но и коллективно. 75% испытуемых, будучи одни в комнате и заметив дым из-под двери, выходят, чтобы сообщить об этом. Когда в комнате находятся трое испытуемых, не знающих об условиях опыта, о дыме сообщают только в 38% случаев. Испытуемый, находясь в компании двух подсадных уток, нарочно не реагирующих на дым, выходит, чтобы сообщить о дыме только в 10% случаев. Студент колледжа, изображавший эпилептический припадок, получил помощь от единственного свидетеля в 85% случаев и только в 31% случаев в присутствии пятерых свидетелей.

Эффект прохожего обычно объясняется как происходящий из рассеяния ответственности и игнорирования из-за неопределенности ситуации. Нахождение в группе уменьшает индивидуальную ответственность. Каждый надеется, что кто-то другой разберется с проблемой вместо них, и это ослабляет личную напряженность каждого по поводу того, что никто ничего не делает. Подтверждением этой гипотезы являются опыты, в которых испытуемые верили, что жертва особенно зависит от них: это ослабляло или полностью устраняло эффект равнодушия прохожего. Циалдини [Cialdini, 2001] рекомендует человеку, оказавшемуся в чрезвычайной ситуации, выделить одного одинокого прохожего и попросить его о помощи — таким образом преодолевая рассеяние ответственности.

Игнорирование из-за неопределенности ситуации является более тонким эффектом. Циалдини [Cialdini, 2001] пишет:

«Часто чрезвычайная ситуация далеко не очевидна. Является ли человек, лежащий в парке, жертвой сердечного приступа или спящим пьяным? В случае такой неопределенности естественным поведением является посмотреть вокруг на действия других людей для подсказки. Мы можем понять из поведения других свидетелей, является ли событие чрезвычайной ситуацией или нет. Однако легко забыть при этом, что все остальные свидетели события тоже ищут социального подтверждения. Поскольку все мы предпочитаем выглядеть уравновешенными и сохраняющими самообладание, мы будем искать это подтверждение скрытно, бросая короткие взгляды на людей вокруг нас. Поэтому каждый увидит другого, скорее всего, спокойным и ничего не делающим».

Эффект прохожего не связан с индивидуальным эгоизмом или нечувствительностью к страданиям других. По одиночке испытуемые обычно действуют. Игнорирование из-за неопределенности ситуации может объяснить, в отличие от индивидуального эгоизма, почему субъекты не реагируют на наполнение комнаты дымом. В экспериментах, где была явная опасность, как для других, так и для себя, испытуемые часто бросали взгляды на нереагировавших подсадных уток.

Я время от времени спрашиваю: «если «глобальный риск Х» реален, почему не много людей делают что-нибудь в связи с этим?» Есть много возможных ответов, части которых я коснулся здесь. Люди могут быть сверхуверены и сверхоптимистичны. Они могут быть сосредоточены на каких-то одних сценариях будущего, исключая при этом все остальные. Они могут не помнить ни одного случая всеобщего истребления. Они могут переоценивать предсказуемость прошлого, и за счет этого недооценивать сюрпризы будущего. Они могут не осознавать трудности подготовки к чрезвычайным ситуациям без преимуществ знания задним числом. Они могут предпочитать филантропические игры с высокой вероятностью выигрыша, пренебрегая величиной ставки. Они могут уравнивать позитивную информацию о преимуществах некой технологии с негативной информацией о ее риске. Они могут быть отравлены кинофильмами, в которых мир, в конце концов, бывает спасен. Они могут получить моральное удовлетворение гораздо проще, давая деньги на другие виды благотворительности. Или же чрезвычайно неприятная перспектива человеческого вымирания может побудить их искать доводы в пользу того, что человечество не вымрет, без столь же интенсивного поиска причин, по которым это может произойти.

Но если вопрос таков: «Почему не так много людей делают что-нибудь в связи с этим?», один возможный момент может быть в том, что люди, задающие этот самый вопрос, рыщут глазами вокруг, чтобы посмотреть, есть ли еще кто-нибудь, реагирующий на опасность, и одновременно стараются выглядеть уравновешенными и сохраняющими самообладание. Если вы хотите узнать, почему другие не реагируют на опасность, перед тем, как среагировать самому, вы уже возможно ответили на свой вопрос.

Последнее предупреждение

Любая достоверная идея, которая вас раздражает, по-видимому, задевает в вас модель хотя бы одной психологической ошибки.

Роберт Пирсиг (Robert Pirsig) сказал: «Самый глупый человек в мире может сказать, что солнце светит, и это не заставит его погаснуть». Если вы подозреваете кого-то в психологической ошибке, продемонстрируйте свою компетентность вначале, вскрыв его фактические ошибки. И если фактических ошибок нет, какое значение имеет психология? Соблазн психологии в том, что, немного зная ее, мы можем вмешиваться в споры, в которых мы не являемся техническими экспертами, мудро анализируя психологию дискутирующих.

Если кто-то написал роман об астероиде, уничтожающем современную цивилизацию, то можно критиковать этот роман как экстремистский, антиутопичный, апокалиптический; симптоматичный для наивной неспособности автора взаимодействовать со сложным технологическим обществом. Мы должны распознать здесь литературную критику, а не научную; это о хороших или плохих романах, а не о хороших или плохих гипотезах. Для того, чтобы вычислить годовую вероятность астероидного удара в реальности, нужно изучать астрономию и поднять исторические записи: никакая литературная критика никак не влияет на это число. Гэрроу (Garreau) (2005), по-видимому, утверждает, что сценарий постепенного усиления искусственного ума является более зрелым и обдуманным, чем сценарий очень быстрого развития искусственного интеллекта. Но это вопрос техники, а не предпочтений; никакой объем психологического анализа не даст точное значение наклона кривой.

Обвиняя кого-нибудь в ошибке наложения, необходимо привести список специфических деталей, которые, с вашей точки зрения, являются лишней нагрузкой и уменьшают суммарную достоверность. Даже в этом случае, не теряйте связь с фактами первостепенной важности, не позволяйте спору стать спором о психологии.

Несмотря на все опасности и соблазны, лучше знать о психологических систематических ошибках, чем не знать их. В противном случае мы попадем прямо во вращающиеся вертолетные лопасти жизни. Но будьте очень осторожны, не проявляйте слишком много рвения в обвинении других в систематических ошибках мышления. Таким путем вы только станете профессиональным спорщиком — тем, кто, встретив любой не нравящийся ему аргумент, находит в нем систематическую ошибку. Тот, за кем вы должны следить в наибольшей мере — это вы сами.

Джерри Кливер (Jerry Cleaver) сказал: «То, что вас побеждает — это не ошибка в применении высокоуровневой, сложной техники. Это — упущение из виду чего-то основного. Не следить за мячом, например».

Анализ должен быть сконцентрирован на проверяемых утверждениях о реальном мире. Не отрывайте своих глаз от мяча.

Заключение

Почему должен быть единый подход в мышлении о глобальных рисках? Падающие астероиды не похожи на сконструированные супервирусы; физические катастрофы — на нанотехнологические войны. Почему бы не рассмотреть каждую из этих проблем по отдельности?

Если кто-то предполагает физическую катастрофу, тогда комитет, собранный для анализа этой проблемы, должен, очевидно, включать в себя физиков. Но кто-то в этом комитете должен знать, как ужасающе опасно иметь в своей голове ответ до того, как ты закончил задавать вопрос. Кто-то в этом комитете должен помнить ответ Энрико Ферми на предположение Лео Сциларда о том, что цепная реакция деления может быть использована для производства ядерного оружия. (Ответ был: «Бред!» — Ферми считал эту перспективу столь отдаленной, что она не стоила исследований.) Необходимо помнить историю ошибок в физических расчетах: ядерное испытание в Кастель Браво вызвало взрыв в 15 мегатонн, вместо 4-8 мегатонн, по причине не учтенной термоядерной реакции на литии-7. Они правильно решили неверное уравнение, забыв подумать обо всех условиях, которые должны быть включены, и в результате, по крайней мере, один человек погиб в расширившемся радиусе выпадения радиоактивных осадков. Также следует помнить аккуратное доказательство Лорда Кельвина с использованием множества независимых вычислений на основании хорошо установленных теорий, о том, что Земля существует не более сорока миллионов лет. Следует знать, что когда эксперт заявляет, что вероятность составляет «один к миллиону» без использования статистических данных и точных расчетов на основании совершенной модели, реальное соотношение, скорее всего, около двадцати к одному (хотя это и не точное соответствие).

Любой глобальный риск порождает проблемы, общие со всеми остальными глобальными рисками, дополнительно к специальным знаниям, связанным с этим конкретным риском. Кто-то в комитете по проблемам физических катастроф должен знать, что означает термин «глобальный риск»; он должен обладать всеми навыками, которые область знания, связанная с глобальными рисками, располагает. Для максимальной безопасности этот ученый должен быть также психологом. Высокий уровень знаний в конкретной области и относительно области глобальных рисков должен быть объединен в одном человеке. Я не верю, что специалист по моделям мышления и заблуждениям, неспособный прочесть физическое уравнение, способен проверить работу физика, который ничего не знает о психологии заблуждений.

Когда-то, давным-давно, я написал несколько сверхдетальных сценариев, не осознавая, что каждая добавленная деталь является дополнительной нагрузкой. Когда-то, давным-давно, я действительно думал, что я могу сказать, что имеется 90-процентная вероятность появления искусственного интеллекта между 2005 и 2025, с пиком в 2018 году. Это заявление кажется мне теперь полностью абсурдным. С какой стати я мог думать, что я могу определить точное вероятностное распределение для проблемы вроде этой?

Профессиональные исследователи, скажем, молекулярной нанотехнологии или искусственного интеллекта, не обладают автоматически дополнительными навыками, необходимыми для анализа глобальных рисков, связанных с их профессией. Никто не сказал мне, когда я начал исследовать вызовы, связанные с искусственным интеллектом, что для такого человека, как я, необходимо заниматься изучением систематических ошибок мышления. Я не помню, как я впервые заинтересовался проблематикой систематических ошибок мышления, но я помню, что это было описание ситуации сверхуверенности — обычное описание, в Интернете, без ссылок. Меня это настолько удивило, что я списался с автором, чтобы узнать, был ли это действительно реальный экспериментальный результат. (Он направил меня к изданию «Суждение в условиях неопределенности».)

Я не должен был наткнуться на эту ссылку случайно. Кто-то должен был предупредить меня, как я предупреждаю вас, что это знание необходимо для изучающего глобальные риски. Должен быть круг людей, как мы, а также список навыков, необходимых нам дополнительно к узкопрофессиональным. Я не физик, но я знаю немного — возможно, недостаточно — об истории ошибок в физике, и биолог, думающий о супервирусе, тоже должен это знать.

Однажды я встретил адвоката, который вывел свою собственную физику. Я сказал ему: «Вы не можете изобрести свою собственную физику без знания математики и многих лет обучения; физика трудна». Он ответил: «Но если вы действительно понимаете физику, вы можете объяснить ее своей бабушке, как сказал Ричард Фейнман». И я спросил его: «Вы бы посоветовали своему другу защищать самого себя в суде?» И тут он замолчал. Он знал теоретически, что физику сложна, но он никогда не отдавал отчета себе, что физика так же сложна, как юриспруденция.

Одна из ошибок мышления, которую мы не обсудили, состоит в незнании того, чего именно мы не знаем. Когда наниматель в отделе кадров некой компании оттачивает свое мастерство, он вспоминает качества кандидатов, которых он нанял, многие их которых оказались в последствие превосходными. Таким образом, рекрутер имеет высокую оценку своих способностей. Но рекрутер никогда не видит работу тех кандидатов, которых он не нанял. Поэтому я должен предупредить, что эта статья затрагивает только малую часть моделей рассуждения и систематических ошибок. И когда вы захотите узнать, насколько много вы знаете, вы вспомните несколько предубеждений, упоминаемых в этой статье, а не множество тех, которые не упомянуты. Короткий обзор не может создать ощущения целостной области знаний, объемного понимания, которое сплетает серию памятных экспериментов посредством единой интерпретации. Множество очень уместных систематических ошибок, таких как потребность в завершении, я даже не упомянул. Целью этой статьи было не обучить знанию, необходимому изучающему глобальные риски, но заинтриговать вас узнать больше.

Мышление о глобальных рисках подвержено всем тем же видам ошибочности, что и мышление вообще. Но ставки гораздо, гораздо больше. Типичный результат в исследованиях систематических ошибок состоит в том, что предложение денег или другой стимул не устраняет систематическую ошибку. (Качелмейер и Шихета [Kachelmeier and Shehata, 1992] предлагали жителям КНР эквивалент трехмесячной зарплаты.) Испытуемые в этих экспериментах не совершали ошибки нарочно — они делали ошибки потому, что не знали, как сделать лучше. Даже если вы скажете им, что выживание человечества является ставкой, они в силу этого все равно будут неспособны сделать лучше. (Это может усилить их потребность в завершенности дискуссии, заставляя их давать худшие результаты.) Это ужасающе пугающее обстоятельство, но люди не становятся умнее, только потому речь идет о выживании человечества.

В дополнение к стандартным систематическим ошибкам, я лично проанализировал то, что выглядит как вредоносные модели мышления в вопросах глобальных рисков. Грипп «испанка» в 1918 году убил 25-50 миллионов человек. Вторая мировая война убила 60 миллионов. 107 – таков порядок жертв крупнейших катастроф в человеческой письменной истории. Значительно бóльшие числа, такие как 500 миллионов смертей, и особенно качественно другие сценарии, по-видимому, запускают другой режим мышления — оно переходят в другой регистр. Люди, которые и подумать не могут о том, чтобы навредить ребенку, говорят по поводу рисков глобальных катастроф: «Возможно, человеческий вид вовсе не заслуживает выживания».

В науке о заблуждениях есть поговорка, что люди обдумывают не сами события, а описания событий — то, что называется «непродолженным» мышлением. Продолжение мысли о гибели человечества включает в себя вашу смерть, ваших друзей, вашей семьи, ваших любимых, вашего города, вашей страны, ваших политических единомышленников. И даже люди, которые яростно протестовали бы против предложений вроде стереть Британию с лица земли, убить всех членов Демократической партии в США, превратить Париж в песок, которые бы очень боялись услышать, что доктор скажет им, что у их ребенка рак, эти люди будут обсуждать истребление человечества с абсолютным спокойствием. «Истребление человечества», как слова на бумаге, появляющиеся в фантастических романах или философских книгах, — относятся к другому контексту, чем грипп «испанка». Мы мыслим описаниями событий, а не их последствиями. Клише «конец света» вызывает в памяти пласт, связанный с мифами и снами, пророчествами и апокалипсисом, романами и кино. Вызов глобальных рисков для здравого смысла состоит в том, что это катастрофы столь большого масштаба, что люди переключаются в другой режим мышления. Человеческие смерти внезапно уже не плохи, и детальные предсказания вдруг перестают требовать необходимой компетентности, и счастливый или грустный конец истории — это только вопрос личного вкуса по отношению к историям.

Но это только мое частное наблюдение. Я бы предпочел, чтобы эта статья фокусировалась на ошибках, подробно описанных в литературе — в общей литературе по когнитивной психологии, поскольку пока что нет экспериментальной литературы, посвященной психологии глобальных рисков. А она должна быть.

В математическом представлении теории решений на основании теремы Байеса имеется концепция ценности информации — ожидаемой полезности некого знания. Ценность информации происходит из ценности того, о чем эта информация. Если вы удваиваете ставки, вы удваиваете и ценность информации об этих ставках. Ценность рационального мышления определяется подобным образом — ценность вычислений, охватывающих некие данные, определяется на основе самих данных. [Good, 1952]; [Horvitz et. al., 1989].

Я способен по-настоящему оценить ценность ясного мышления о глобальных рисках не более, чем Альберт Cент-Дёрджи (Albert Szent-Györgyi) способен умножить страдания одного человека на сто миллионов. Пренебрежение масштабом — естественная опасность для биологического человека, работающего на аналоговом уме; мозг не способен умножать на шесть миллиардов. Но ставки глобальных рисков простираются далеко за пределы жизней шести миллиардов людей, живущих сейчас — они простираются ко всем звездам и ко всем галактикам, которые люди и их потомки смогут однажды достичь. И весь этот огромный потенциал вращается вокруг нашего выживания здесь, сейчас, в те дни, когда царство человечества — это одна планета, вращающаяся вокруг одной звезды. Я не могу почувствовать наше будущее. Все, что я могу — это защищать его.

Рекомендуемое чтение

  1. «Суждение в условиях неопределенности: эвристика и систематические ошибки». Judgmentunderuncertainty: Heuristics and biases. (1982.) Редактировано Даниелем Канеманом, Полом Словицем и Амосом Тверским (еdited by Daniel Kahneman, Paul Slovic, and Amos Tversky). Этот сборник помогает разобраться в основных понятиях данной области знаний и рассчитан на внешнего к данной теме академического читателя. Следующее издание дает обобщенное, подробно разработанное и детальное объяснение феноменов, рассмотренных в первом издании, но основные результаты остаются неизменными.

  2. «Решения, ценностиирамки». Choices, Values, and Frames. (2000.) Редактировано Даниелем Канеманом и Амосом Тверским (еdited by Daniel Kahneman and Amos Tversky). «Эвристикаисистематическиемоделимышления». Heuristics and Biases. (2003.) Редактировано Томасом Джиловичем, Дейлом Гриффином и Даниелем Канеманом (Edited by Thomas Gilovich, Dale Griffin, and Daniel Kahneman). Эти два сборника статей дают обзор современного состояния науки об эвристике и систематических ошибках. Они в меньшей мере доступны для неподготовленного читателя.

  3. «Рациональный выбор в неопределенном мире: психология интуитивного суждения». Rational Choice in an Uncertain World: The Psychology of Intuitive Judgment, Робин Доуз (by Robyn Dawes). Первая редакция 1988: Доуз и Кэган (by Dawes and Kagan), вторая редакция 2001: Доуз и Хэсти (by Dawes and Hastie). Эта книга предназначена, чтобы ввести в тему систематических ошибок мышления широкую аудиторию образованных читателей. (Например, теорема Байеса объясняется, хотя и не доказывается, но объяснение занимает только несколько страниц.) Хорошая книга, чтобы быстро охватить поле исследований.

Библиография

  1. Alpert, M. and Raiffa, H. 1982. A Progress Report on the Training of Probability Assessors. In Kahneman et. al. 1982: 294-305.

  2. Ambrose, S.H. 1998. Late Pleistocene human population bottlenecks, volcanic winter, and differentiation of modern humans. Journal of Human Evolution 34:623-651.

  3. Baron, J. and Greene, J. 1996. Determinants of insensitivity to quantity in valuation of public goods: contribution, warm glow, budget constraints, availability, and prominence. Journal of Experimental Psychology: Applied, 2: 107-125.

  4. Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.

  5. Brenner, L. A., Koehler, D. J. and Rottenstreich, Y. 2002. Remarks on support theory: Recent advances and future directions. In Gilovich et. al. (2003): 489-509.

  6. Buehler, R., Griffin, D. and Ross, M. 1994. Exploring the "planning fallacy": Why people underestimate their task completion times. Journal of Personality and Social Psychology, 67: 366-381.

  7. Buehler, R., Griffin, D. and Ross, M. 1995. It's about time: Optimistic predictions in work and love. Pp. 1-32 in European Review of Social Psychology, Volume 6, eds. W. Stroebe and M. Hewstone. Chichester: John Wiley & Sons.

  8. Buehler, R., Griffin, D. and Ross, M. 2002. Inside the planning fallacy: The causes and consequences of optimistic time predictions. In Gilovich et. al. 2003: 250-270.

  9. Burton, I., Kates, R. and White, G. 1978. Environment as Hazard. New York: Oxford University Press.

  10. Carson, R. T. and Mitchell, R. C. 1995. Sequencing and Nesting in Contingent Valuation Surveys. Journal of Environmental Economics and Management, 28(2): 155-73.

  11. Chapman, G.B. and Johnson, E.J. 2002. Incorporating the irrelevant: Anchors in judgments of belief and value. In Gilovich et. al. (2003).

  12. Christensen-Szalanski, J.J.J. and Bushyhead, J.B. 1981. Physicians' Use of Probabilistic Information in a Real Clinical Setting. Journal of Experimental Psychology: Human Perception and Performance, 7: 928-935.

  13. Cialdini, R. B. 2001. Influence: Science and Practice. Boston, MA: Allyn and Bacon.

  14. Combs, B. and Slovic, P. 1979. Causes of death: Biased newspaper coverage and biased judgments. Journalism Quarterly, 56: 837-843.

  15. Dawes, R.M. 1988. Rational Choice in an Uncertain World. San Diego, CA: Harcourt, Brace, Jovanovich.

  16. Desvousges, W.H., Johnson, F.R., Dunford, R.W., Boyle, K.J., Hudson, S.P. and Wilson, N. 1993. Measuring natural resource damages with contingent valuation: tests of validity and reliability. Pp. 91-159 in Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland.

  17. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. 1997. Insensitivity to the value of human life: A study of psychophysical numbing. Journal of Risk and Uncertainty, 14: 238-300.

  18. Finucane, M.L., Alhakami, A., Slovic, P. and Johnson, S.M. 2000. The affect heuristic in judgments of risks and benefits. Journal of Behavioral Decision Making, 13(1): 1-17.

  19. Fischhoff, B. 1982. For those condemned to study the past: Heuristics and biases in hindsight. In Kahneman et. al. 1982: 332–351.

  20. Fischhoff, B., and Beyth, R. 1975. I knew it would happen: Remembered probabilities of once-future things. Organizational Behavior and Human Performance, 13: 1-16.

  21. Fischhoff, B., Slovic, P. and Lichtenstein, S. 1977. Knowing with certainty: The appropriateness of exterme confidence. Journal of Experimental Psychology: Human Perception and Performance, 3: 522-564.

  22. Ganzach, Y. 2001. Judging risk and return of financial assets.Organizational Behavior and Human Decision Processes, 83: 353-370.

  23. Garreau, J. 2005. Radical Evolution: The Promise and Peril of Enhancing Our Minds, Our Bodies -- and What It Means to Be Human. New York: Doubleday.

  24. Gilbert, D. T. and Osborne, R. E. 1989. Thinking backward: Some curable and incurable consequences of cognitive busyness.Journal of Personality and Social Psychology, 57: 940-949.

  25. Gilbert, D. T., Pelham, B. W. and Krull, D. S. 1988. On cognitive busyness: When person perceivers meet persons perceived. Journal of Personality and Social Psychology, 54: 733-740.

  26. Gilovich, T. 2000. Motivated skepticism and motivated credulity: Differential standards of evidence in the evaluation of desired and undesired propositions. Presented at the 12th Annual Convention of the American Psychological Society, Miami Beach, Florida.

  27. Gilovich, T., Griffin, D. and Kahneman, D. eds. 2003. Heuristics and Biases: The Psychology of Intuitive Judgment. Cambridge, U.K.: Cambridge University Press.

  28. Good, I. J. 1952. Rational decisions. Journal of the Royal Statistical Society, Series B.

  29. Griffin, D. and Tversky, A. 1992. The weighing of evidence and the determinants of confidence. Cognitive Psychology, 24: 411-435.

  30. Harrison, G. W. 1992. Valuing public goods with the contingent valuation method: a critique of Kahneman and Knestch. Journal of Environmental Economics and Management, 23: 248–57.

  31. Horvitz, E.J., Cooper, G.F. and Heckerman, D.E. 1989. Reflection and Action Under Scarce Resources: Theoretical Principles and Empirical Study. Pp. 1121-27 in Proceedings of the Eleventh International Joint Conference on Artificial Intelligence. Detroit, MI.

  32. Hynes, M. E. and Vanmarke, E. K. 1976. Reliability of Embankment Performance Predictions. Proceedings of the ASCE Engineering Mechanics Division Specialty Conference. Waterloo, Ontario: Univ. of Waterloo Press.

  33. Johnson, E., Hershey, J., Meszaros, J.,and Kunreuther, H. 1993. Framing, Probability Distortions and Insurance Decisions. Journal of Risk and Uncertainty, 7: 35-51.

  34. Kachelmeier, S.J. and Shehata, M. 1992. Examining risk preferences under high monetary incentives: Experimental evidence from the People's Republic of China. American Economic Review, 82: 1120-1141.

  35. Kahneman, D. 1986. Comments on the contingent valuation method. Pp. 185-194 in Valuing environmental goods: a state of the arts assessment of the contingent valuation method, eds. R. G. Cummings, D. S. Brookshire and W. D. Schulze. Totowa, NJ: Roweman and Allanheld.

  36. Kahneman, D. and Knetsch, J.L. 1992. Valuing public goods: the purchase of moral satisfaction. Journal of Environmental Economics and Management, 22: 57-70.

  37. Kahneman, D., Ritov, I. and Schkade, D. A. 1999. Economic Preferences or Attitude Expressions?: An Analysis of Dollar Responses to Public Issues, Journal of Risk and Uncertainty, 19: 203-235.

  38. Kahneman, D., Slovic, P., and Tversky, A., eds. 1982. Judgment under uncertainty: Heuristics and biases. New York: Cambridge University Press.

  39. Kahneman, D. and Tversky, A. 2000. eds. Choices, Values, and Frames. Cambridge, U.K.: Cambridge University Press.

  40. Kamin, K. and Rachlinski, J. 1995. Ex Post ≠ Ex Ante: Determining Liability in Hindsight. Law and Human Behavior, 19(1): 89-104.

  41. Kates, R. 1962. Hazard and choice perception in flood plain management. Research Paper No. 78. Chicago: University of Chicago, Department of Geography.

  42. Knaup, A. 2005. Survival and longevity in the business employment dynamics data. Monthly Labor Review, May 2005.

  43. Kunda, Z. 1990. The case for motivated reasoning.Psychological Bulletin, 108(3): 480-498.

  44. Kunreuther, H., Hogarth, R. and Meszaros, J. 1993. Insurer ambiguity and market failure. Journal of Risk and Uncertainty, 7: 71-87.

  45. Latane, B. and Darley, J. 1969. Bystander "Apathy", American Scientist, 57: 244-268.

  46. Lichtenstein, S., Fischhoff, B. and Phillips, L. D. 1982. Calibration of probabilities: The state of the art to 1980. In Kahneman et. al. 1982: 306–334.

  47. Lichtenstein, S., Slovic, P., Fischhoff, B., Layman, M. and Combs, B. 1978. Judged Frequency of Lethal Events. Journal of Experimental Psychology: Human Learning and Memory, 4(6), November: 551-78.

  48. McFadden, D. and Leonard, G. 1995. Issues in the contingent valuation of environmental goods: methodologies for data collection and analysis. In Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland.

  49. Newby-Clark, I. R., Ross, M., Buehler, R., Koehler, D. J. and Griffin, D. 2000. People focus on optimistic and disregard pessimistic scenarios while predicting their task completion times. Journal of Experimental Psychology: Applied, 6: 171-182

  50. Quattrone, G.A., Lawrence, C.P., Finkel, S.E. and Andrus, D.C. 1981. Explorations in anchoring: The effects of prior range, anchor extremity, and suggestive hints. Manuscript, Stanford University.

  51. Rasmussen, N. C. 1975. Reactor Safety Study: An Assessment of Accident Risks in U.S. Commercial Nuclear Power Plants. NUREG-75/014, WASH-1400 (U.S. Nuclear Regulatory Commission, Washington, D.C.)

  52. Rogers, W. et al. 1986. Report of the Presidential Commission on the Space Shuttle Challenger Accident. Presidential Commission on the Space Shuttle Challenger Accident. Washington, DC.

  53. Sanchiro, C. 2003. Finding Error. Mich. St. L. Rev. 1189.

  54. Schneier, B. 2005. Security lessons of the response to hurricane Katrina. /blog/archives/2005/09/security_lesson.html. Viewed on January 23, 2006.

  55. Sides, A., Osherson, D., Bonini, N., and Viale, R. 2002. On the reality of the conjunction fallacy.Memory & Cognition, 30(2): 191-8.

  56. Slovic, P., Finucane, M., Peters, E. and MacGregor, D. 2002. Rational Actors or Rational Fools: Implications of the Affect Heuristic for Behavioral Economics.Journal of Socio-Economics, 31: 329–342.

  57. Slovic, P., Fischoff, B. and Lichtenstein, S. 1982. Facts Versus Fears: Understanding Perceived Risk. In Kahneman et al. 1982: 463–492.

  58. Strack, F. and Mussweiler, T. 1997. Explaining the enigmatic anchoring effect: Mechanisms of selective accessibility. Journal of Personality and Social Psychology, 73: 437-446.

  59. Taber, C.S. and Lodge, M. 2000. Motivated skepticism in the evaluation of political beliefs. Presented at the 2000 meeting of the American Political Science Association.

  60. Taleb, N. 2001. Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets. Pp. 81-85. New York: Textre.

  61. Taleb, N. 2005. The Black Swan: Why Don't We Learn that We Don't Learn?New York: Random House.

  62. Tversky, A. and Kahneman, D. 1973. Availability: A heuristic for judging frequency and probability. Cognitive Psychology, 4: 207-232.

  63. Tversky, A. and Kahneman, D. 1974. Judgment under uncertainty: Heuristics and biases. Science, 185: 251-284.

  64. Tversky, A. and Kahneman, D. 1982. Judgments of and by representativeness. In Kahneman et. al. (1982): 84-98.

  65. Tversky, A. and Kahneman, D. 1983. Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment. Psychological Review, 90: 293-315.

  66. Wansink, B., Kent, R.J. and Hoch, S.J. 1998. An Anchoring and Adjustment Model of Purchase Quantity Decisions. Journal of Marketing Research, 35(February): 71-81.

  67. Wason, P.C. 1960. On the failure to eliminate hypotheses in a conceptual task. Quarterly Journal of Experimental Psychology, 12: 129-140.

  68. Wilson, T.D., Houston, C., Etling, K.M. and Brekke, N. 1996. A new look at anchoring effects: Basic anchoring and its antecedents. Journal of Experimental Psychology: General. 4: 387-402.

Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска.

Eliezer Yudkowsky

Artificial Intelligence as a Positive and Negative Factor in Global Risk

Выходит в 2007 году в сборнике Риски глобальной катастрофы под редакцией Ника Бострома и Милана Цирковича, Оксфорд.

Перевод: Алексей Валерьевич Турчин. (avturchin@mail.ru)

Разрешено некоммерческое использование перевода.

Док файл с форматированием:

www.avturchin.narod.ru/ai.doc

Текстовая версия:

/texts/2007/03/22-285.html

Оригинал: /reading/corereading

Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic

Draft of August 31, 2006

Eliezer Yudkowsky

(yudkowsky@)

Singularity Institute for Artificial Intelligence

Palo Alto, CA

Введение. (1)

До сих пор основной опасностью искусственного интеллекта (ИИ) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена ИИ. Jacques Monod пишет: «забавным аспектом теории эволюции является то, что каждый думает, что понимает её». (Monod, 1974.) Мой отец, физик, жаловался на людей, придумывавших свои собственные физические теории: «интересно знать, почему люди не придумывают свои собственные теории химии?» (Но они делают.) Тем не менее, проблема является особенно актуальной в области ИИ. Область ИИ имеет репутацию того, что она даёт огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИИ труден, и это на самом деле так. Но запутанность не происходит из трудности. Трудно сделать звезду из водорода, но звездная астрофизика не имеет ужасающей репутации обещать сделать звезду и затем не смочь. Критическим выводом является не то, что ИИ труден, а то, что, по неким причинам, людям очень легко думать, что они знают об искусственном интеллекте гораздо больше, чем на самом деле.

В моей другой статье о рисках глобальной катастрофы «Систематические ошибки мышления, потенциально влияющие на суждения о глобальных рисках», я начинаю с замечания, что немногие люди предпочли бы нарочно уничтожить мир; сценарий же уничтожения Земли по ошибке кажется мне очень беспокоящим. Немногие люди нажмут кнопку, которая, как они точно знают, вызовет глобальную катастрофу. Но если люди склонны быть абсолютно уверены, что кнопка делает нечто, совершенно отличное от её реального действия, это действительно причина для тревоги.

далее по ссылкам:

Док файл с форматированием:

/ai.doc

Текстовая версия:

/texts/2007/03/22-285.html

Гораздо труднее писать о глобальных рисках искусственного интеллекта, чем о систематических ошибках мышления. Ошибки мышления – это твёрдо установленное знание; достаточно процитировать литературу. ИИ – это не твёрдо установленное знание; ИИ относится к передовым исследованиям, а не к учебникам. И, по причинам, объясняющимся в следующей главе, проблема глобальных рисков в связи с искусственным интеллектом фактически не обсуждается в существующей технической литературе.

Сноска (1): Я благодарю Michael Roy Ames, Eric Baum, Nick Bostrom, Milan Cirkovic, John K Clark, Emil Gilliam, Ben Goertzel, Robin Hanson, Keith Henson, Bill Hibbard, Olie Lamb, Peter McCluskey и Michael Wilson за их комментарии, предложения и критику. Нет необходимости говорить, что все оставшиеся ошибки в этой статье – мои.

Я вынужден анализировать тему со своей точки зрения, делать мои собственные выводы и делать всё, от меня зависящее, чтобы доказать их в ограниченном пространстве этой статьи.

Дело не в том, что я пренебрегаю необходимостью цитировать существующие источники на эту тему, но в том, что таких источников, несмотря на все мои попытки их найти, обнаружить не удалось (на январь 2006 года).

Соблазнительно игнорировать ИИ в этой книге, потому что это наиболее трудная тема для обсуждения. Мы не можем обратиться к статистическим данным, чтобы вычислить маленькую годовую вероятность катастрофы, как в случае астероидных ударов. Мы не можем использовать вычисления на основании точных, точно подтверждённых моделей, чтобы исключить некие события или установить бесконечно малые верхние границы их вероятности, как в случае возможных физических катастроф. Но это делает катастрофы с ИИ ещё более беспокоящими, а не менее.

Эффекты систематических ошибок мышления, как оказалось, имеют тенденцию увеличиваться при недостатке времени, занятости ума или недостатке информации. Это говорит, что чем труднее аналитическая задача, тем важнее избежать или ослабить систематическую ошибку. Поэтому я усиленнорекомендую прочесть статью «Систематические ошибки мышления, потенциально влияющие на оценку глобальных рисков» (/texts/2007/03/08-62.html) до прочтения этой статьи.

  1. 1. Систематическая ошибка, связанная с антропоморфизмом.

Когда нечто очень широко распространено в нашей повседневной жизни, мы принимаем это как само собой разумеющееся вплоть до того, что забываем о существовании этого. Представьте себе сложную биологическую адаптацию, состоящую из 10 необходимых частей.

Если каждый из 10 генов независим и имеет 50% частоту в наборе генов - то есть каждый ген имеется только у половины особей вида – тогда в среднем только одна особь из 1024 будет обладать полнофункциональной адаптацией. Меховая шуба не является значительным эволюционным приобретением, пока окружающая среда не начнёт подвергать организмы отбору холодом. Точно так же, если ген Б зависит от гена А, тогда ген Б не имеет значительного преимущества, пока ген А не станет надёжной частью генетического окружения. Сложное, взаимозависимое устройство должно быть у всех сексуально воспроизводящихся видов; оно не может развиться в противном случае. (Tooby и Cosmides, 1992.) Одна малиновка может иметь более гладкие перья, чем другая, но у обеих должны быть крылья. Естественный отбор, двигаемый разнообразием, сужает это разнообразие. (Sober, 1984.) В каждой известной культуре люди испытывают грусть, отвращение, ярость, страх и удивление (Brown, 1991), и передают эти эмоции одними и теми же выражениями лица. У нас у всех под капотом один и тот же мотор, хотя мы можем и быть раскрашены разными красками; этот принцип эволюционные психологи называют психическим единствомчеловечества. (Tooby and Cosmides, 1992). Это описание и объясняется, и требуется законами эволюционной биологии.

Антрополог не будет восторженно писать о новооткрытом племени: «Они едят еду! Они дышат воздухом! Они используют инструменты! Они рассказывают друг другу истории!» Мы, люди, забываем, как мы подобны друг другу, живя в мире, который напоминает нам только о наших различиях.

Люди научились моделировать других людей, - чтобы соревноваться и кооперироваться со своими сородичами. Это было надёжным инструментом в мире наших предков, где любой сильный ум, который вам попадался, был тоже человеком. Мы развили способность понимать наших ближних путём эмпатии, помещая себя на их место; для этого то, что моделируется, должно быть похоже на моделирующего. Не удивительно, что люди часто очеловечивают, – то есть ожидают человекоподобных качеств от того, что не является человеком. В фильме «Матрица» (братья Вачовские, 1999) представитель искусственного интеллекта Агент Смит вначале кажется совершенно холодным и собранным, его лицо неподвижно и неэмоционально. Но позже, допрашивая человека Морфеуса, Агент Смит даёт выход свому отвращению к человечеству – и его лицо выражает общечеловеческое выражение отвращения. Опрашивание своего собственного ума работает хорошо, в качестве инстинкта адаптации, когда вам нужно предсказывать других людей.

Но если вы исследуете некий другой процесс оптимизации, - если вы, например, теолог 18 века William Paley – то тогда антропоморфизм – это липучка для мух для неосторожных учёных, столь липкая западня, что нужен Дарвин, чтобы из неё выбраться.

Эксперименты по исследованию антропоморфизма показали, что испытуемые часто антропоморфизируют неосознанно, вопреки своим базовым установкам. Barrett и Keil (1996) провели эксперименты на субъектах, исповедовавших веру в неантропоморфные качества Бога – что Бог может быть более чем в одном месте одновременно, или одновременно наблюдать множество вещей. Barrett and Keil предложили этим испытуемым истории, в которых Бог спасает людей от утопления. Испытуемые отвечали на вопросы об историях или пересказывали их своими словами, таким образом, что это предполагало, что Бог был только в одном месте в одно время и выполнял задачи последовательно, а не параллельно. К счастью для целей нашего исследования, Barrett и Keil в другой группе использовали в прочих отношениях аналогичные истории о суперкомпьютере по имени "Uncomp". Например, чтобы изобразить свойство всезнания, говорилось, что сенсоры Uncomp’а покрывают каждый квадратный сантиметр земли, и никакая информация не теряется. Испытуемые в этих условиях всё равно демонстрировали сильный антропоморфизм, хотя и значительно меньший, чем в «группе Бога». С нашей точки зрения, главным результатом является то, что хотя люди сознательно полагали ИИ не подобным человеку, они по-прежнему представляли себе такие сценарии, как если бы ИИ был человекоподобным (хотя и не настолько человекоподобным, как Бог).

Ошибка антропоморфизма подкрадывается незаметно: она происходит без нарочного намерения, не осознанно и вопреки очевидному знанию.

В эпоху бульварной научной фантастики обложки журналов часто изображали монструозного инопланетянина – собирательно известного как жукоглазый монстр (ЖГМ) – тащащего привлекательную полуобнажённую женщину. Может показаться, что художник верил, что негуманоидный инопланетянин, с полностью другой эволюционной историей, может сексуально желать женщину-человека. Такие ошибки происходят не из-за того, что люди явным образом рассуждают подобно следующему: «Все умы, скорее всего, возбуждаются похожим образом, и поэтому, вероятно, ЖГМ находит женщину-человека сексуально привлекательной». Скорее, художник просто не задался вопросом о том, действительно ли гигантский жук воспринимает женщин-людей привлекательными. Наоборот, полуобнажённая женщина является сексуальной – изначально, потому что это неотъемлемо присущее ей свойство. Те, кто делают эту ошибку, не думают об уме насекомообразного существа; они концентрируются на задранных одеждах женщины. Если бы одежды не были задраны, женщина была бы менее сексуальна, но ЖГМ этого не понимает. (Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую E. T. Jaynes назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy). (Jaynes and Bretthorst, 2003.) Jaynes, специалист по байесовской теории достоверности, определил «ошибочностью, связанную с умственной проекцией» как ошибку, связанную с тем, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистическийфеномен» подразумевает, что мистичность – это свойство самого феномена. Если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)

Людям нет нужды понимать, что они антропоморфизируют (или хотя бы понимать, что они вовлечены в сомнительный акт предсказания состояния чужого ума) для того, чтобы антропоморфизм повлиял на мышление. Когда мы пытаемся рассуждать о чужом сознании, каждый шаг рассуждений может быть соединён с предположениями, настолько очевидными для человеческого опыта, что мы обращаем на них внимания не больше, чем на воздух или гравитацию. Вы возражаете журнальному иллюстратору: «Не является ли более правдоподобным, что огромный жук-самец будет сексуально желать огромных жуков-самок?» Иллюстратор немного подумает и скажет: «Но даже если бы инопланетные инсектоиды начинали с любви к твёрдым экзоскелетам, после того, как инсектоид повстречает женщину-человека, он вскоре поймёт, что у неё гораздо более мягкая и нежная кожа. Если у инопланетян имеется достаточно продвинутая технология, они могут генетически изменить себя, чтобы любить мягкую кожу, а не твёрдые экзоскелеты».

Это - ошибочность-один-шаг-назад (fallacy-at-one-remove). После того, как указано на антропоморфичность мышления инопланетянина, журнальный иллюстратор делает шаг назад и пытается представить умозаключения инопланетянина как нейтральный продукт его мышления. Возможно, продвинутые инопланетяне могут перестроить себя (генетически или как-то иначе), чтобы любить мягкую кожу, но захотят ли они? Инопланетянин-инсектоид, любящий жёсткие скелеты, не будет хотеть переделать себя, чтобы любить мягкую кожу вместо этого, – кроме как в случае, если естественный отбор каким-то образом породит в нём определённо человеческое чувство метасексуальности. При использовании длинных сложных цепочек рассуждений в поддержку антропоморфических выводов, каждый шаг таких рассуждений является ещё одной возможностью, чтобы прокралась ошибка.

И ещё одной серьёзной ошибкой является начинать с вывода и искать кажущуюся нейтральной линию рассуждений, ведущую к нему; это называется рационализацией. Если первое, что приходит на ум, при вопросе на эту тему, это образ инсектоида, преследующего женщину-человека, то тогда антропоморфизм является первопричиной этого восприятия, и никакое количество рационализации не изменит этого.

Любой, кто бы хотел уменьшить систематическую ошибку антропоморфизма в себе, должен был бы изучить эволюционную биологию для практики, желательно, эволюционную биологию с математическими выкладками. Ранние биологи часто очеловечивали естественный отбор – они полагали, что эволюция будет делать тоже, что и они сами; они пытались предсказать эффекты эволюции, ставя себя на её место. В результате получался по большей части нонсенс, который начали изгонять из биологии только в поздние 1960-е годы, например, это делал Williams (1966). Эволюционная биология предлагает обучение на основе как математики, так и конкретных примеров, помогающие выбить из себя ошибку очеловечивания.

  1. 1.1: Широта пространства возможных устройств ума. (The width of mind design space).

Эволюция жёстко сохраняет некоторые структуры. В той мере, как развитие других генов опирается на ранее существовавший ген, этот ранний ген полностью цементируется: он не может мутировать, не нарушая множество форм адаптации. Гомеотические (Homeotic) гены – гены, контролирующие развитее структуры тела эмбриона – говорят множеству других генов, когда активироваться. Мутация гомеотического гена может привести к тому, что эмбрион плодовой мушки разовьётся нормально, за исключением того, что у него не будет головы. В результате гомеотические гены столь точно сохраняются, что многие из них одни и те же у человека и плодовой мушки – они не изменились со времён последнего общего предка человека и насекомых. Молекулярные механизмы синтеза АТФ по существу одни и те же в митохондриях животных, хлоропластах растений и у бактерий; синтез АТФ не претерпел значительных изменений с развития эукариотов 2 миллиарда лет назад.

Любые два устройства ИИ могут быть менее похожи друг на друга, чем вы и садовый цветок петуния.

Термин ИИ относится к гораздо большему пространствувозможностей, чем термин "Homo sapiens". Когда мы говорим о разных ИИ, мы говорим об умах вообще, или о процессах оптимизации вообще. Представьте себе карту возможных устройств ума. В одном углу маленький кружочек означает всех людей. И вся эта карта находится внутри ещё большего пространства, пространства процессов оптимизации. Естественный отбор создаёт сложные функционирующие механизмы не привлекая процесса думания; эволюция находится внутри пространства процессов оптимизации, но за пределами пространства умов.

Этот гигантский круг возможностей исключает антропоморфизм как законный способ мышления.

  1. 2: Предсказание и устройство. (Prediction and design).

  2. Мы не можем спрашивать наш собственный мозг о нечеловеческих процессах оптимизации – ни о насекомоглазых монстрах, ни о естественном отборе, ни об искусственном интеллекте. И как же мы будем продолжать? Как мы можем предсказать, что ИИ будет делать? Я нарочно задаю этот вопрос в форме, которая делает его труднообрабатываемым. При такой постановке проблемы невозможно предсказать, будет ли произвольная вычислительная система выполнять хоть какие-нибудь функции ввода-вывода, включая, например, простое умножение (Rice, 1953.) Так как же возможно, что компьютерные инженеры могут создавать микросхемы, которые надёжно выполняют вычисления? Потому что люди-инженеры нарочно используют те проекты, которые они могут понять.

Антропоморфизм заставляет людей верить, что они могут делать предсказания, не имея никакой другой информации, кроме как о самом факте «интеллектуальности» (intelligence) чего-то – антропоморфизм продолжает генерировать предсказания, не взирая ни на что, в то время как ваш мозг автоматически ставит себя на место этой самой «интеллектуальности». Это может быть одним из факторов вызывающей замешательство истории ИИ, которая происходит не из трудности ИИ как такового, но из загадочной лёгкости обретения ошибочной веры в то, что некий данный дизайн ИИ сработает.

Для того, чтобы сделать утверждение о том, что мост выдержит вес автомобилей в 30 тонн, гражданские инженеры имеют два оружия: выбор изначальных условий и запас прочности для безопасности. Им нет необходимости предсказывать, может ли выдержать вес в 30 тонн произвольная конструкция, но только проект данного конкретного моста, относительно которого они делают это заявление. И хотя это показывает с лучшей стороны инженера, который может вычислить точный вес, который мост может выдержать, также приемлемо вычислить, что мост выдержит автомобили не менее, чем в 30 тонн – хотя для того, чтобы доказать это расплывчатое утверждение строго, может потребоваться большая часть того теоретического понимания, которое входит в точное вычисление.

Гражданские инженеры придерживаются высоких стандартов в предсказании того, что мосты выдержат нагрузку. Алхимики прошлого придерживались гораздо более низких стандартов в предсказании того, что последовательность химических реагентов трансформирует свинец в золото. Какое количество свинца в какое количество золота? Каков причинный механизм этого процесса? Вполне понятно, почему исследователь-алхимик хотел золото больше, чем свинец, но почему данная последовательность реагентов превращает свинец в золото, а не золото в свинец или свинец в воду?

Ранние исследователи ИИ полагали, что искусственная нейронная сеть из слоёв пороговых устройств, обученная посредством обратного распространения, будет «интеллектуальной» (intelligent). Использованное при этом мышление, обусловленное результатом (wishful thinking), ближе к алхимии, чем к гражданском строительству. Магия входит в список человеческих универсалий Дональда Брауна (Brown, 1991); наука – нет. Мы инстинктивно не понимаем, что алхимия не работает. Мы инстинктивно не различаем строгие рассуждения и хорошее рассказывание историй. Мы инстинктивно не замечаем ожидание положительных результатов, висящее в воздухе. Человеческий вид возник посредством естественного отбора, функционирующего посредством неслучайного сохранения случайных мутаций.

Один из путей к глобальной катастрофе – когда кто-то нажимает кнопку, имея ошибочное представление о том, что эта кнопка делает – когда ИИ возникнет посредством подобного сращения работающих алгоритмов, с исследователем, не имеющим глубокого понимания, как вся система работает. Нет сомнения, они верят, что ИИ будет дружественным, без ясного представления о точном процессе, вовлечённом в создание дружественного поведения, или какого-либо детального понимания того, что они имеют в виду под дружественностью. Несмотря на то, что ранние исследователи ИИ имели сильно ошибочные, расплывчатые ожидания об интеллектуальности своих программ, мы можем представить, что этим исследователям ИИ удалось сконструировать интеллектуальную программу, но они имели сильно ошибочные расплывчатые ожидания относительно дружественности своих программ.

Не знание того, как сделать дружественный ИИ, не смертельно само по себе, в том случае, если вы знаете, что вы не знаете. Именно ошибочная вера в то, что ИИ будет дружественным, означает очевидный путь к глобальной катастрофе.

3: Недооценкасилыинтеллекта. (Underestimating the power of intelligence).

Мы склонны видеть индивидуальные различия вместо общечеловеческих качеств. Поэтому, когда кто-то говорит слово «интеллект» (intelligence), мы думаем скорее об Эйнштейне, чем о людях. Индивидуальные различия в человеческом интеллекте имеют стандартное обозначение, известные как G-фактор Шпеермана (Spearman's G-factor), это - спорная интерпретация твёрдых экспериментальных фактов о том, что различные тесты интеллекта высоко коррелируют друг с другом, а также с результатами в реальном мире, такими, как суммарный доход за жизнь. (Jensen, 1999.) G-фактор Шпеермана является статистической абстракцией индивидуальных различий в интеллекте между людьми, которые, как вид, гораздо более интеллектуальны, чем ящерицы. G-фактор Шпеермана выводится из миллиметровых различий в высоте среди представителей вида гигантов.

Мы не должны путать G-фактор Шпеермана с общечеловеческой интеллектуальностью, то есть нашей способностью обрабатывать широкий круг мыслительных задач, непостижимых для других видов. Общая интеллектуальность – это межвидовое различие, комплексная адаптация и общечеловеческое качество, обнаруживаемое во всех известных культурах. Возможно, ещё нет академического согласия об интеллектуальности, но нет сомнения в существовании, или силе, такой вещи, которая должна быть объяснена. Есть что-то такое в людях, что позволяет нам оставлять следы ботинок на Луне.

Но слово «интеллектуальность» обычно вызывает образы голодающего профессора с IQ в 160 единиц и миллиардера-главу компании с IQ едва ли в 120. В действительности, существуют различия в индивидуальных способностях помимо качеств из «книжек про карьеру», которые влияют на относительный успех в человеческом мире: энтузиазм, социальные навыки, музыкальные таланты, рациональность. Отметьте, что каждый из названных мною факторов является когнитивным. Социальные навыки присущи мозгу, а не печени. И – шутки в сторону – вы не обнаружите много глав компаний, ни даже профессоров академии, которые были бы шимпанзе. Вы не обнаружите много ни прославленных мыслителей, ни художников, ни поэтов, ни лидеров, ни опытных социальных работников, ни мастеров боевых искусств, ни композиторов, которые были бы мышами. Интеллектуальность – это основание человеческой силы, мощь, которая наполняет другие наши искусства.

Опасность перепутать общую интеллектуальность с g-фактором состоит в том, что это ведёт к колоссальной недооценки потенциального воздействия ИИ. (Это относится как к недооценке потенциально хороших воздействий, равно как и плохих воздействий.) Даже фраза «трансгуманистический ИИ» или «искусственный суперинтеллект» по-прежнему может создавать впечатление о «ящике с книгами как сделать карьеру»: ИИ, который реально хорош в когнитивных задачах, обычно ассоциируется с «интеллектуальностью», подобной шахматам или абстрактной математике. Но не со сверхчеловеческой убедительностью, или со способностью гораздо лучше, чем люди, предсказывать и управлять человеческими институтами, или нечеловечески умом в формулировании длительных стратегий. Так что, может, нам следует подумать не об Эйнштейне, а о политическом и дипломатическом гении 19 века Отто фон Бисмарке? Но это только малая часть ошибки. Весь спектр от деревенского идиота до Эйнштейна, или от деревенского идиота до Бисмарка, уменьшается в маленькую точку на отрезке между амёбой и человеком.

Если слово «интеллектуальность» ассоциируется с Эйнштейном, а не с людьми, то может показаться осмысленным заявление, что интеллектуальность не имеет отношения к ружьям, как если бы ружья росли на деревьях. Может показаться осмысленным заявление о том, что интеллектуальность не имеет ничего общего с деньгами, как если бы мыши использовали деньги. Человеческие существа начинали, не обладая большими активами зубов, когтей, вооружений, или каких-либо других преимуществ, которые были ежедневной валютой для других видов. Если вы взгляните на людей с точки зрения остальной экосферы, не было никакого намёка на то, что мягкие розовые твари в конце концов закроют себя в бронированные танки. Мы создали поле битвы, на котором мы победили львов и волков. Мы не сражались с ними посредством когтей и зубов; у нас было собственное представление о том, что действительно важно. Такова сила творчества.

Винж (Vinge, 1993) уместно замечает, что будущее, в котором существуют умы, превосходящие человеческие, отличается качественно. ИИ – это не удивительный блестящий дорогой гаджет, рекламируемый в свежайших выпусках технических журналов. ИИ не принадлежит к тому же графику, который показывает прогресс в медицине, производстве и энергетике. ИИ – это не то, что вы можете небрежно добавить в люмпен-футуристический сценарий будущего с небоскрёбами и летающими машинами и нанотехнологическими красными кровяными клетками, которые позволяют вам задержать дыхание на 8 часов. Достаточно высокие небоскрёбы не могут начать проектировать сами себя. Люди достигли господства на Земле не из-за того, что задерживали дыхание дольше, чем другие виды.

Катастрофический сценарий, произрастающий из недооценки силы интеллекта, заключается в том, что некто создаст кнопку, не достаточно заботясь о том, что эта кнопка делает, потому что он не думает, что эта кнопка достаточно сильна, чтобы повредить ему. Или, поскольку недооценка силы интеллекта ведёт к пропорциональной недооценке силы Искусственного Интеллекта, то (в настоящая время микроскопическая) группа озабоченных исследователей и поставщиков грантов и отдельных филантропов, занимающихся рисками существованию, не будет уделять достаточно внимания ИИ.

Или широкое поле исследований ИИ не будет уделять достаточно внимания рискам сильного ИИ, и в силу этого хорошие инструменты и твёрдые установления для Дружественности окажутся недоступными, когда возникнет возможность создавать мощные интеллекты.

И также следует заметить – поскольку это тоже влияет на глобальные риски – что ИИ может быть мощным решением для других глобальных рисков, и по ошибке мы можем игнорировать нашу лучшую надежду на выживание. Утверждение о недооценке потенциального воздействия ИИ симметрично относительно потенциально хороших и потенциально плохих воздействий. Именно поэтому название этой статьи – «Искусственный интеллект как позитивный и негативный фактор глобального риска», а не «Глобальные риски Искусственного интеллекта». Перспектива ИИ влияет на глобальные риски более сложным образом; если бы ИИ был чистой помехой, ситуация была бы проще.

4: Способности и мотивы. (Capability and motive).

Есть один вид ошибочности, часто встречающийся в дискуссиях об ИИ, особенно об ИИ сверхчеловеческих способностей. Кто-нибудь говорит: «Когда технологии продвинутся достаточно далеко, мы будем способны создавать интеллекты, далеко превосходящие человеческие. Очевидно, что размер ватрушки, который вы можете испечь, зависит от вашего интеллекта. Суперинтеллект может создавать гигантские ватрушки – ватрушки, размером с города – боже мой, будущее будет полно гигантских ватрушек!» Вопрос в том, захочет ли суперинтеллект создавать огромные ватрушки. Видение образа ведёт прямо от возможности к реализации, без осознавания необходимого промежуточного элемента – мотива. Следующие цепочки рассуждений, рассматриваемые в изоляции без подтверждающего доказательства, все являются примером Ошибочности Гигантской Ватрушки:

- Достаточно сильный ИИ может преодолеть любое человеческое сопротивление и истребить человечество. (И ИИ решит сделать это.) Поэтому мы не должны строить ИИ.

- Достаточно сильный ИИ может создать новые медицинские технологии, способные спасти миллионы человеческих жизней. (И он решит сделать это.) Поэтому мы должны создать ИИ.

- Когда компьютеры станут достаточно дёшевы, огромное большинство работ будет выполняться ИИ более легко, чем людьми. Достаточно сильный ИИ даже будет лучше нас в математике, конструировании, музыке, искусстве и во всех других работах, которые нам кажутся важными (И ИИ решит выполнять эти работы.) Таким образом, после изобретения ИИ, людям будет больше нечего делать, и мы будем голодать или смотреть телевизор.

  1. 4.1: Процессы оптимизации. (Optimization processes)

Вышеприведенный разбор ошибочности Гигантской Ватрушки имеет органически присущий ему антропоморфизм – а именно, идею о том, что мотивы разделимы; подразумеваемое предположение о том, что, говоря о «способностях» и «мотивах», мы разрываем связность реальности. Это удобный срез, но антропоморфический.

Для того, чтобы рассмотреть проблему с более общей точки зрения, я ввёл концепцию процесса оптимизации: системы, которая поражает маленькие цели в большом пространстве поиска, чтобы порождать согласованные эффекты в реальном мире.

Процесс оптимизации направляет будущее в определённые регионы возможного. Когда я посещаю удалённый город, мой друг из местных вызывается отвезти меня в аэропорт. Я не знаю окрестностей. Когда мой друг выезжает на перекрёсток, я не могу предсказать его повороты, ни в последовательности, ни по отдельности. Но я могу предсказать результат непредсказуемых действий моего друга: мы прибудем в аэропорт. Даже если дом моего друга находится в другом месте города, так что моему другу придётся совершить совершенно другую последовательность поворотов, я могу с той же степенью уверенности предсказать, куда мы конце концов прибудем. Не странная ли эта ситуация, научно говоря? Я могу предсказать результат процесса, будучи неспособным предсказать ни один из его промежуточных этапов. Я буду называть область, в которую процесс оптимизации направляет будущее, целью оптимизации.

Рассмотрим автомобиль, например, Тойоту Кароллу. Из всех возможных комбинаций атомов, которые её составляют, только бесконечно малая часть будет работающим автомобилем. Если вы будете собирать атомы в случайном порядке, много

много возрастов вселенной пройдёт, пока вам удастся собрать автомобиль. Малая доля пространства проектов описывает автомобили, которые мы могли бы признать как более быстрые, более эффективные и более безопасные, чем Королла. Таким образом, Королла не является оптимальной с точки зрения целей своего конструктора. Но Королла является, однако, оптимизированной, поскольку конструктор должен был попасть в сравнительно бесконечно малую область в пространстве возможных конструкций, только чтобы создать работающий автомобиль, не говоря уже о машине качества Короллы. Вы не можете даже построить эффективную тележку, распиливая доски случайно и сколачивая их по результатам броска монеты. Чтобы достичь такой малой цели в пространстве конфигураций, необходим мощный оптимизационный процесс.

Понятие о «процессе оптимизации» является предсказательнополезным, поскольку легче понять цель процесса оптимизации, чем его пошаговую динамику. Обсуждение Короллы выше неявно предполагает, что конструктор Короллы пытался создать «автомобиль», средство транспорта. Это предположение следует сделать явным, но оно не ошибочно и оно очень полезно для понимания Короллы.

  1. 4.2: Наведение на цель. (Aiming at the target.)

Есть соблазн спросить, что ИИ будет хотеть, забывая о том, что пространство умов-вообще гораздо больше, чем малая человеческая точка. Следует сопротивляться соблазну распространить количественные ограничения на все возможные умы. Рассказчики историй накручивают сказки об отдалённой и экзотичной земле, называемой Будущее, говоря, каким будущее должно быть. Они делают предсказания. Они говорят: «ИИ нападёт на людей с помощью армий марширующих роботов» или «ИИ изобретёт лекарство от рака». Они не предлагают сложных отношений между изначальными условиями и результатами – так они могли бы потерять аудиторию. Но мы нуждаемся в понимании соотношений, чтобы управлять будущим, направляя его в область, приятную человечеству. Если не рулить, мы рискуем попасть туда, куда нас занесёт.

Главный вызов состоит не в том, чтобы предсказать, что ИИ атакует людей с помощью армий роботов, или, наоборот, введёт лекарство от рака. Задача состоит даже не в том, чтобы сделать это предсказание для произвольного устройства ИИ. Скорее, задача состоит в том, чтобы выбрать и создать такой процесс оптимизации, чьи позитивные эффекты могут быть твёрдо доказаны.

Я усиленно призываю своих читателей не начинать придумывать причины, почему универсальный процесс оптимизации должен быть дружественным. Естественный отбор не является дружественным, ни ненавидит вас, ни оставляет вас в одного. Эволюция не может быть так антропоморфизирована, она не работает, как вы.

Многие биологи до 1960-х годов ожидали, что естественный отбор создаст полный набор всех хороших вещей, и выдумывали всевозможные усложнённый причины, почему он должен сделать это. Они были разочарованы, поскольку естественный отбор сам по себе не начинает со знания, что от него хотят приятного человеку результата, и затем не придумывает сложные пути, чтобы создать приятные результаты, используя давление отбора. Таким образом, события в природе были результатами совершенно других по своим причинам процессов, чем те, что приходили в голову биологам до 1960-х годов, и поэтому предсказания и реальность расходились.

Мышление, привязанное к цели (wishful thinking), добавляет детали, ограничивает предсказания и таким образом отягощает невозможностью. Как насчёт инженера гражданских сооружений, который надеется, что мост не упадёт? Следует ли инженеру доказывать это тем, что мосты обычно не падают? Но природа сама по себе не предлагает разумных причин, почему мосты не должны падать. Скорее, это инженер преодоляет тяжесть недостоверности (burden of improbability) посредством специфического выбора, направляемого специфическим пониманием. Инженер начинает с намерения создать мост. Затем он использует строгую теорию, чтобы выбрать конструкцию моста, которая бы выдерживала автомобили. Затем строит реальный мост, чья структура отражает рассчитанный проект. И в результате реальная структура выдерживает автомобили. Таким образом достигается гармония предсказанных позитивных результатов и реальных позитивных результатов.

  1. 5: Дружественный ИИ. (Friendly AI).

Было бы очень здорово, если бы человечество знало, как создать мощный оптимизационный процесс с неким частным результатом. Или, говоря более общими словами, было бы здорово, если бы мы знали, как создать хороший ИИ (nice AI).

Для того, чтобы описать область знания, необходимого, чтобы взяться за этот вызов, я предложил термин «Дружественный ИИ». Этот термин я отношу не только к самой методике, но также и к её продукту – то есть к ИИ, созданному со специфической мотивацией. Когда я использую термин Дружественный в любом из этих двух смыслов, я пишу его с большой буквы, чтобы избегать путаницы с обычным смыслом слова «дружественный».

Типичная реакция на это людей, которую я часто встречал, заключалась в немедленном заявлении, что Дружественный ИИ невозможен, потому что любой достаточно сильный ИИ сможет модифицировать свой собственный исходный код так, чтобы разорвать любые наложенные на него ограничения.

Первую логическую несообразность, которую вы тут можете отметить – это ошибочность Гиганстской Ватрушки. Любой ИИ, имеющий свободный доступ к своему исходному коду, в принципе, будет обладать способностью изменить свой код таким образом, что изменится его цель оптимизации. Но это не означает, что ИИ имеет побуждение изменить свои собственные побуждения. Я не стану сознательно глотать пилюлю, которая побудит меня наслаждаться убийствами, потому что я в настоящем предпочитаю, чтобы мои собратья - люди не умирали.

Но что если я попытаюсь изменить себя и сделаю ошибку? Когда компьютерные инженеры доказывают пригодность чипа – что есть хорошая идея, если в чипе 155 миллионов транзисторов, и вы не можете выпустить патч потом – инженеры используют руководимую человеком и проверяемую машинами формальную проверку. Замечательным свойством формального математического доказательства является то, что доказательство из 10 миллиардов шагов в той же мере надёжно, что и доказательство из 10 шагов. Но человеческие существа недостойны доверия в том, чтобы следить за проверкой из 10 миллиардов шагов; у нас слишком высокие шансы пропустить ошибку. Современные техники доказывания теорем не достаточно умны, чтобы спроектировать и проверить целый компьютерный чип сами по себе – современные алгоритмы испытывают экспоненциальный рост по мере увеличения пространства поиска. Люди-математики могут доказывать теоремы гораздо более сложные, чем те, что могут осилить современные программы-доказыватели, без того, чтобы быть поверженными экспоненциальным взрывом. Но люди-математики неформальны и ненадёжны; время от времени кто-то находит ошибку в принятом ранее неформальном доказательстве. Выход состоит в том, что люди-инженеры направляют программы-доказыватели на промежуточные шаги доказательства. Человек выбирает следующую лемму, и сложный доказыватель теорем генерирует формальное доказательство, и простой проверяльщик сверяет шаги. Таким образом современные инженеры создают надёжные механизмы со 155 миллионами независимых частей.

Проверка корректности работы компьютерного чипа требует синергии человеческого интеллекта и компьютерных алгоритмов, поскольку сейчас ни того, ни другого недостаточно. Возможно, подлинный ИИ будет использовать подобную комбинацию способностей, когда будет модифицировать свой собственный код – будет обладать как способностью вводить объёмные проекты без того, чтобы потерпеть поражение от экспоненциального роста, так и способностью проверить свои шаги с высокой надёжностью. Это один из путей, которым подлинный ИИ может оставаться познаваемо (knowably) стабильным в своих целях даже после выполнения большого количества самоисправлений.

Эта статья не будет разъяснять приведённую выше идею в деталях. (Также см. Schmidhuber 2003 на связанную с данной тему.) Но следует подумать об этом вызове, и изучить его с привлечением наилучших доступных технических данных, до того, как объявлять его невозможным – особенно, если большие ставки зависят от ответа. Неуважительно по отношению к человеческой изобретательности объявлять проблему неразрешимой без внимательного и творческого рассмотрения. Это очень сильное заявление: сказать, что вы не можете сделать нечто – что вы не можете построить летающую машину тяжелее воздуха, что вы не можете извлечь полезную энергию из ядерных реакций, что вы не можете летать на Луну. Такие заявления являются универсальными обобщениями, относящимися к любому возможному подходу к решению этой проблемы, который кто-либо придумал или придумает. Требуется всего один противоположный пример, чтобы опровергнуть универсальное обощение. Утверждение о том, что Дружественный (или дружественный) ИИ теоретическиневозможен, осмеливается относиться к любым возможным устройствам ума и любым возможным процессам оптимизации – включая человеческие существа, которые тоже имеют ум, и многие из которых хорошие (nice) и хотят быть ещё лучше. На настоящий момент имеется неограниченное количество расплывчато убедительных аргументов, почему Дружественный ИИ может быть не под силу человеку, и всё же гораздо вероятнее, что проблема разрешима, но никто не соберётся решить её вовремя. Но не следует слишком быстро списывать проблему, особенно учитывая масштаб ставок.

  1. 6: Техническая неудача и философская неудача. (Technical failure and philosophical failure.)

Бостром (Bostrom, 2001) определяет глобальную катастрофу (existential catastrophe) как такую, которая истребляет возникшую на Земле разумную жизнь или необратимо повреждает часть её потенциала. Мы можем разделить потенциальные ошибки в попытках создания Дружественного ИИ на две неформальные категории, техническую ошибку и философскую ошибку. Техническая состоит в том, что вы пытаетесь создать ИИ, и он не работает так, как должен – вы не смогли понять, как работает на самом деле ваш собственный код. Философская неудача заключается в попытке построить неправильную вещь, так что даже если вы достигните успеха, вы всё равно не сможете никому помочь или облагодетельствовать человечество. Нет необходимости говорить о том, что одна ошибка не исключает другую.

Граница между двумя случаями тонка, поскольку большинство философских ошибок гораздо легче объяснить при наличии технического знания. В теории вы должны сначала заявить, что вы хотите, а затем обрисовать, как вы это достигните. На практике часто требуется глубокое техническое понимание, чтобы очертить то, что вы хотите.

  1. 6.1: Пример философской ошибки. (An example of philosophical failure.)

В конце 19 века многие честные и интеллигентные люди выступали за коммунизм, исходя только из лучших побуждений. Люди, которые первыми ввели, распространили и усвоили коммунистическую идею (meme) были, по строгому историческому счёту, идеалистами. У первых коммунистов не было предупреждающего примера Советской России. В то время, без преимущества знания задним числом, это должно было звучать как весьма хорошая идея. После революции, когда коммунисты пришли к власти и были отравлены ею, в игру могли вступить другие мотивы; но это не было предсказано первыми идеалистами, несмотря на то, насколько это могло быть предсказуемо. Важно понимать, что автор огромной катастрофы не должен быть злым или особо тупым. Если мы отнесём любую трагедию насчёт зла или особенной глупости, мы посмотрим на себя, правильно обнаружим, что мы не злы и не особенно тупы и скажем: «Но ведь это никогда не случится с нами».

Первые коммунисты думали, что эмпирическим последствием их революции будет то, что жизнь людей должна улучшиться: рабочие больше не будут работать долгие часы на изнурительной работе и получать за это мало денег. Это оказалось не совсем так, мягко говоря. Но то, что, по мнению первых коммунистов, должно было получится, не сильно отличалось от того, что, по мнению сторонников других политических систем, должно было быть эмпирическим последствием их любимой политической системы. Они думали, что люди будут счастливы. Они заблуждались.

Теперь представим, что кто-то запрограммирует «Дружественный» ИИ на построение коммунизма, или либертарианства, или анархо-феодализма, или любой другой любимой-политической-системы, веря, что это осуществит утопию. Любимые политические системы людей порождают сияющие солнца позитивных эмоций, так что предложение будет казаться действительно хорошей идеей для предлагающего.

Мы можем наблюдать здесь программистскую ошибку на моральном или этическом уровне – скажем, в результате того, что кто-то доверяет себе столь высоко, что неспособен принять в расчет собственную подверженность ошибкам, отказываясь рассмотреть возможность того, что, например, коммунизм может быть ошибочным в конечном счёте. Но на языке байсовской теории решений, существует дополнительный технический взгляд на проблему. С точки зрения теории решений выбор в пользу коммунизма происходит из комбинации эмпирической веры и ценностного суждения. Эмпирическая вера состоит в том, что введение коммунизма приведёт к определённому результату или классу результатов: люди станут счастливее, работать меньше часов и обладать большим материальным богатством. Это, в конечном счёт, эмпирическое предсказание: даже его часть о счастье относится к реальным состояниям мозга, хотя её трудно измерить. Если вы введёте коммунизм, это результат будет или достигнут, или нет. Ценностное суждение состоит в том, что этот результат удовлетворяет или предпочтителен в текущих обстоятельствах. При другой эмпирической вере о действительных последствиях коммунистической системы в реальном мире, решение может претерпеть соответствующие изменения.

Мы можем ожидать, что подлинный ИИ, Искусственный Универсальный Интеллект, будет способен изменять свои эмпирические верования. (Или свою вероятностную модель мира и т. д.) Если бы каким-то образом Чарльз Баббадж (Charles Babbage) жил до Николая Копериника, и если бы каким-то образом компьютеры были бы изобретены до телескопов, и каким-то образом программисты той эпохи сконструировали бы Искусственный Универсальный Интеллект, из этого не следует, что ИИ верил бы всегда, что Солнце вращается вокруг Земли. ИИ может преодолеть фактическую ошибку своих программистов, в случае, если программисты понимают теорию умозаключений лучше, чем астрономию. Чтобы создать ИИ, который откроет орбиты планет, программистам не нужно знать математику Ньютоновской механики, а только математику Байсовой теории вероятности.

Недомыслие программирования ИИ для введения коммунизма, или любой другой политической системы, состоит в том, что вы программируете средства, а не цель. Вы программируете определённые решения без возможности их переработать после обретения улучшенного эмпирического знания о результатах коммунизма. Вы даёте ИИ готовое решение без того, чтобы обучить его, как создать заново (re-evaluate), - на более высоком уровне понимания, - исходно ошибочный процесс, который создал это решение.

Если я играю в шахматы против более сильного игрока, я не могу предсказать точно, где мой оппонент сделает ход против меня – если бы я мог предсказать, я бы, по необходимости, был бы так же силён в шахматах сам. Но я могу предсказать конечный результат, а именно выигрыш другого игрока. Я знаю область возможных будущ, куда мой оппонент направляется, что позволяет мне предсказать конец пути, даже если я не могу видеть дороги. Когда я нахожусь в наиболее творческом состоянии, это тогда, когда труднее всего предсказать мои действия и легче всего предсказать последствия моих действий. (Предполагая, что вы знаете и понимаете мои цели.) Если я хочу сделать игрока в шахматы, превосходящего человека, я должен запрограммировать поиск выигрышных ходов. Мне не следует программировать конкретные шаги, потому что в этом случае шахматный игрок не будет чем-либо лучше меня. Когда я начинаю поиск, я по необходимости жертвую своей способностью предсказать точный ответ заранее. Чтобы получить по настоящему хороший ответ, вы должны пожертвовать своей способностью предсказать ответ, но не своей способностью сказать, каков вопрос.

Такая путаница, как непосредственное программирование коммунизма, вероятно, не соблазнит программиста универсального ИИ, который говорит на языке теории решений. Я бы назвал это философской ошибкой, но обвинил бы в этом недостаток технического знания.

  1. 6.2: Пример технической неудачи. (An example of technical failure.)

«Вместо законов, ограничивающих поведение интеллектуальных машин, мы должны дать им эмоции, которые будут руководить их обучением поведению. Они должны хотеть, чтобы мы были счастливы и процветали, - что есть эмоция, которую мы называем любовью. Мы можем спроектировать интеллектуальные машины так, что их основная, врождённая эмоция будет безусловная любовь ко всем людям. В начале мы можем сделать относительно простые машины, которые научатся распознавать выражения счастья и несчастья на человеческом лице, человеческие голоса и человеческий язык жестов. Затем мы можем жёстко привязать результат этого обучения в качестве изначально присущих эмоциональных ценностей более сложным интеллектуальным машинам, позитивно подкрепляемым, когда мы счастливы, и негативно – когда несчастливы. Машины могут обучиться алгоритмам приблизительного предсказания будущего, как, например, инвесторы используют сейчас обучающиеся машины, чтобы предсказать будущие цены облигаций. Таким способом мы можем запрограммировать интеллектуальные машины обучиться алгоритмам предсказания будущего человеческого счастья, и использовать эти предсказания, как эмоциональные ценности».

Bill Hibbard (2001), Сверх-интеллектуальные машины(Super-intelligentmachines.)

Однажды американская армия захотела использовать нейронную сеть для автоматического обнаружения закамуфлированных танков. Исследователи натренировали нейронную сеть на 50 фотографиях закамуфлированных танков среди деревьев, и на 50 фото деревьев без танков. Использую стандартные методики контролируемого обучения, исследователи обучили нейронную сеть взвешиванию, которое правильно опознавало тренировочный набор – ответ «да» - для 50 фотография закамуфлированных танков, и ответ «нет» для 50 фотографий леса. Это не гарантировало, ни даже означало, что новые образцы будут классифицированы правильно. Нейронная сеть могла обучиться ста отдельным случаям, которые могли не обобщаться ни на одну новую задачу. Предусмотрительные исследователи сделали в начале 200 фото, 100 фото танков и 100 деревьев. Они использовали только 50 из каждой группы для тренировочного набора. Исследователи запустили в нейронную сеть оставшиеся 100 фото, и без дальнейшей тренировки нейронная сеть распознала все оставшиеся фотографии правильно. Успех подтвердился! Исследователи направили законченную работу в Пентагон, откуда её вскоре вернули, жалуясь, что в их собственной серии тестов нейронная сеть была не лучше, чем случай, в отборе фотографий.

Оказалось, что в наборе данных исследователей фотографии закамуфлированных танков были сделаны в облачные дни, тогда как фотографии чистого леса были сделаны в солнечные дни. Нейронная сеть обучилась различать облачные и солнечные дни вместо того, чтобы научиться различать закамуфлированные танки от пустого леса. (сноска 2)

(сноска 2) Эта история, хотя и известная, и часто цитируемая, может быть апокрифической. Я не нашёл сообщения из первых рук. Для отчёта без ссылок см. Crochat и Franklin (2000) или /writing/tank/. Ошибки такого рода являются предметом больших реалистических рассмотрений при создании и тестировании нейронных сетей.

Технический провал имеет место, когда код не делает то, что, вы думаете, он делает, хотя он четно выполняет то, на что вы его запрограммировали. Одни и те же данные могут соответствовать разным моделям. Допустим, что мы обучаем нейронную сеть различать улыбающиеся человеческие лица и отличать их от хмурящихся лиц. Будет ли эта сеть распознавать маленькую картинку смеющегося лица как такой же аттрактор, как и смеющееся человеческое лицо? Если ИИ, жёстко фиксированный на таком коде, обретёт власть – и Hibbard (2001) говорит о сверхинтеллекте – не закончит ли галактика тем, что будет покрыта малюсенькими молекулярными картинками улыбающихся лиц? (сноска 3)

(сноска 3) Bill Hibbard, после просмотра черновика этой статьи, написал ответ, доказывающий, что аналогии с проблемой «классификатора танков» не применима к подкрепляющему обучению в целом. Его критика может быть найдена здесь: http://www.ssec.wisc.edu/~billh/g/AIRisk_Reply.html. Мой ответ: http://yudkowsky.net/AIRisk_Hibbard.html. Hibbard также отмечает, что предложение Hibbard (2001) заменено предложением Hibbard (2004). Последнее предлагает двухуровневую систему, в которой выражения согласия со стороны людей подкрепляют распознавание счастья, и распознанное счастье подкрепляет стратегии поведения.

Эта форма провала особенно опасна, потому что система выглядит работающей в одном контексте, и проваливается при смене контекста. Создатели «определителя танков» обучали свою нейронную сеть до тех пор, пока она не начинала правильно распознавать данные, затем проверили сеть на дополнительных данных (без дальнейшего обучения). К несчастью, данные и для обучения, и для проверки содержали предположение, которое относилось ко всей информации, использованной в разработке, но не к ситуациям реального мира, где нейронная сеть была призвана работать. В истории с определителем танков это предположение состояло в том, что танки фотографируются в облачные дни.

Предположим, мы стремимся создать усиливающийся ИИ. Этот ИИ будет иметь фазу развития, когда люди-программисты будут сильнее его – не только в смысле физического контроля над электропитанием ИИ, но в смысле, что люди-программисты умнее, хитрее и более творческие, чем этот ИИ. Мы предполагаем, что в течение фазы развития программисты будут обладать способностью изменять исходный код ИИ без его согласия. После этого момента мы должны полагаться на установленную до того систему целей, потому что, если ИИ заработает достаточно непредсказуемым образом, то он сможет активно сопротивляться нашим попыткам корректировать его – и если ИИ умнее человека, то, скорее всего, он победит.

Попытки контролировать растущий ИИ посредством тренировки нейронной сети, чтобы создать его систему целей сталкиваются с проблемой большой смены контекста при переходе от стадии развития ИИ к стадии после его развития (postdevelopmental stage). На стадии развития, ИИ может быть только способен создавать реакции, попадающие в категорию «улыбающихся человеческих лиц», решая предоставленные людьми задачи, как задумали его создатели. Вскоре, когда ИИ станет сверхчеловечески интеллектуален и создаст свою собственную нанотехнологическую инфраструктуру, он станет способен создавать столь же притягательные для него стимулы, покрывая всю галактику маленькими улыбающимися лицами.

Таким образом, ИИ кажется работающим правильно на стадии разработки, но создаёт катастрофические результаты, когда он становится умнее программистов(!)

Есть соблазн подумать: «Но наверняка ИИ будет знать, что это не то, что мы имеем в виду?» Но код не дан ИИ, чтобы он его просмотрел и вернул, если выяснится, что он работает неправильно. Код и есть ИИ. Возможно, приложив достаточно усилий и понимания, мы можем написать код, который следит, чтобы мы не написали неправильный код – легендарная DWIM-инструкция, которая среди программистов означает делай-то-что-я-имею-в-виду. (Do-What-I-Mean. (Raymond, 2003.)) Но требуются усилия, чтобы описать механику работы DWIM, и нигде в предложении Хиббарда нет упоминаний о создании ИИ, который делает то, что мы имеем в виду, а не то, что мы говорим. Современные чипы не выполняют DWIM над своим кодом; это не автоматическое свойство. И если у вас проблемы с самим DWIM, вы пострадаете от последствий. Предположим, например, что DWIM был определён так, чтобы максимизировать удовлетворение программиста от своего кода; когда этот код запустится как сверхинтеллект, он может переписать мозги программиста, чтобы он был максимально удовлетворён этим кодом. Я не говорю, что это неизбежно; я только говорю, что Делай-то-что-я-имею-в-виду – это большая и не тривиальная техническая проблема на пути к Дружественному ИИ.

  1. 7: Темпы усиления интеллекта. (Rates of intelligence increase.)

С точки зрения глобальных рисков, одно из наиболее критических обстоятельств в связи с ИИ, это то, что ИИ может усилить свой интеллект чрезвычайно быстро. Очевидная причина подозревать такую возможность – это рекурсивное само-улучшение (Good, 1965) ИИ становится умнее, в том числе умнее в отношении написания внутренней когнитивной функции ИИ, так что ИИ может переписать свою существующую когнитивную функцию, чтобы она работала лучше. Это сделает ИИ ещё умнее, в том числе умнее в отношении задачи переделывания себя, так что он сделает ещё больше улучшений.

Люди по большому счёту не могут улучшать себя рекурсивно. В ограниченном объёме мы себя улучшаем: мы учимся, мы тренируемся, мы затачиваем свои навыки и знания. В небольшом отношении эти само-улучшения улучшают нашу способность улучшаться. Новые открытия могут увеличить нашу способность делать дальнейшие открытия – в этом смысле знание само себя питает. Но есть более нижний уровень, которого мы даже не коснулись. Мы не переписываем человеческий мозг. Мозг является, в конечном счёте, источником открытий (the source of discovery), и наши мозги сейчас почти такие же, как они были 10 тысяч лет назад.

Похожим образом, естественный отбор улучшает организмы, но процесс естественного отбора не улучшает сам себя – по большому счёту. Одна адаптация может открыть дорогу к дополнительным адаптациям. В этом смысле адаптация питает сама себя. Но даже когда генетический океан (pool) кипит, там всё равно присутствует нижестоящий нагреватель, а именно процессы рекомбинации, мутации и селекции, которые сами себя не перепроектируют. Несколько редких нововведений увеличили скорость эволюции самой по себе, например, появление половой рекомбинации. Но даже пол не изменил сущностной природы эволюции: её отсутствие абстрактного интеллекта, её зависимость от случайных мутаций, её слепоту и постепенность, её сосредоточенность на частоте аллелей. Точно также появление науки не изменило сущностного характера человеческого мозга: его лимбическое ядро, церебральный кортекс, его префронтальные собственные модели (prefrontal self-models), его характеристическую скорость в 200 ГЦ.

ИИ может переписать свой код с самого начала – он может изменить лежащую в основе динамику процесса оптимизации. Такой процесс оптимизации будет закручиваться гораздо сильнее, чем эволюционные накапливающие адаптации, равно как и человеческие накапливающиеся знания. Главным последствием с точки зрения наших целей является то, что ИИ может совершить огромный прыжок в интеллектуальности после достижения некого порога критичности.

Часто встречающееся скептическое мнение об этом сценарии, – который Good (1965) назвал «интеллектуальным взрывом» - происходит из того, что прогресс в области ИИ имеет репутацию очень медленного.

Здесь полезно рассмотреть свободную историческую аналогию об одном неожиданном открытии. (Дальнейшее взято главным образом из Rhodes, 1986.)

В 1933 году лорд Эрнст Резерфорд заявил, что никто не должен ожидать, что когда-нибудь удастся извлечь энергию из распада атома: «Любой, кто искал источник энергии в трансформации атомов, говорил вздор». В те времена требовались дни и недели работы, чтобы расщепить небольшое количество ядер.

Вскоре, в 1942 году, на теннисном корте под Стаг Филдом около университета Чикаго физики строят агрегат в форме гигантской шарообразной дверной ручки из чередующихся слоёв графита и урана, намереваясь запустить первую само-поддерживающуюся ядерную реакцию. За проект отвечает Энрико Ферми.

Ключевым числом для реактора является K, эффективный фактор умножения нейтронов: то есть среднее значение числа нейтронов из реакции деления, которое вызывает другую реакцию деления. Пока К меньше единицы, реактор является субкритическим. При К >=1 реактор должен поддерживать критическую реакцию. Ферми рассчитал, что реактор достигнет К=1 при числе слоёв между 56 и 57.

Рабочая группа, руководимая Гербертом Андерсоном, закончила 57 слой в ночь 1 декабря 1942 года. Контрольные стержни - бруски дерева, покрытые поглощающей нейтроны кадмиевой фольгой, - предохраняли реактор от достижения критичности. Андерсон убрал все стержни, кроме одного и замерил радиацию реактора, подтвердив, что реактор готов к цепной реакции на следующий день. Андерсон вставил все стержни, запер их на висячие замки, запер теннисный корт и пошёл домой.

На следующий день, 2 декабря 1942 года, ветреным и морозным Чикагским утром, Ферми начал окончательный эксперимент. Все, кроме одного, стержни были подняты. В 10:37 Ферми приказал поднять последний контролирующий стержень на половину высоты. Счётчики Гейгера застучали чаще, и самописец дёрнулся вверх. «Это не то, - сказал Ферми, - график дойдёт до вот этой точки и выровняется», - указывая на точку на графике. Через несколько минут самописец дошёл до указанной точки, и не пошёл выше. Через несколько минут Ферми приказал поднять стержень ещё на один фут. Опять радиация усилилась, но затем выровнялась. Стержень подняли ещё на 6 дюймов, затем ещё и ещё.

В 11:30 медленный подъём самописца прервался колоссальным ПАДЕНИЕМ - защитный контролирующий стержень, запущенный ионизационным датчиком, активировался и опустился в реактор, который был всё ещё некритичен. Ферми тихо приказал команде сделать перерыв на обед.

В два часа пополудни команда собралась снова, вынула и заперла защитный стержень, и вывела контролирующий стержень на его последнюю позицию. Ферми сделал несколько измерений и вычислений, и затем опять начал процесс подъёма стержня небольшими шагами. В 15:25 Ферми приказал поднять стержень ещё на 12 дюймов. «Это должно дать результат», - сказал Ферми. «Сейчас она станет самоподдерживающейся. График будет расти и расти, не выравниваясь».

Герберт Андерсон рассказывает (Rhodes, 1986):

«В начале вы могли слышать звук нейтронного счётчика, щёлк-щёлк. Затем щёлчки стали появляться всё чаще и через некоторое время они слились в рёв; счётчик за ними больше не успевал. Теперь надо было переключаться на графический регистратор. Но когда это было сделано, все уставились во внезапной тишине на возрастающее отклонение пера самописца. Это была значительная тишина. Каждый понимал значительность этого переключения; мы были на режиме высшей интенсивности и счётчики больше не могли справляться с этой ситуацией. Снова и снова шкала самописца должна была сменяться, чтобы подстраиваться под интенсивность нейтронов, которая возрастал всё более и более быстро. Внезапно Ферми поднял свою руку. «Реактор достиг критичности», - объявил он. Никто из присутствующих не имел на этот счёт никаких сомнений».

Ферми дал проработать реактору 28 минут, при скорости удвоения интенсивности нейтронов в две минуты. Первая критическая реакция имела К в 1,0006. Но даже при К=1.0006 реактор был контролируем только потому, что некоторые из нейтронов из деления урана задерживаются – они получаются при распаде короткоживущих продуктов деления. На каждые 100 распадов U235 242 нейтрона испускаются почти мгновенно (0,0001 сек) и 1,58 нейтронов испускаются в среднем через десять секунд. Поскольку среднее время жизни нейтрона ~0.1 секунды, что означает 1200 поколений за 2 минуты, и время удвоения в 2 минуты, потому что умножение 1.0006 на 1200 примерно даёт 2. Ядерная реакция, являющаяся мгновенно критичной (prompt critical), достигает критичности без вклада отложенных нейтронов. Если бы реактор Ферми был бы мгновенно критичным с k=1.0006, интенсивность нейтронов удваивалась бы каждую десятую долю секунды.

Первая мораль этой истории состоит в том, что смешение скорости исследований ИИ со скоростью реального ИИ подобно смешению скорости физических исследований со скоростью ядерных реакций. Происходит смешение карты и территории. Потребовались годы, чтобы построить этот первый реактор, усилиями небольшой группы физиков, которые не публиковали много пресс-релизов. Но когда реактор был построен, интересные события произошли на временной шкале ядерных взаимодействий, а не на временной шкале человеческого общения. В ядерной области элементарные взаимодействия происходят гораздо быстрее, чем срабатывают человеческие нейроны. Тоже может быть сказано о транзисторах.

Другая мораль в том, что есть колоссальная разница между ситуацией, когда одно самоулучшение запускает в среднем 0.9994 дальнейших самоулучшений, и когда одно самоулучшение запускает 1.0006 дальнейших самоулучшений. Ядерный реактор перешёл порог критичности не потому, что физики внезапно заложили в него много дополнительного вещества. Физики вводили вещество медленно и равномерно. Даже если имеется гладкая кривая интеллектуальности мозга как функции оптимизационного давления, оказанного до того на этот мозг, то кривая рекурсивного самоулучшения может содержать огромный скачок.

Есть и другие причины, по которым ИИ может совершить внезапный огромный скачок в интеллектуальности. Вид Homosapiens совершил большой прыжок в эффективности интеллекта, как результат естественного отбора, оказывавшего более-менее равномерное давление на гоминидов в течение миллионов лет, постепенно расширяя мозг и лобовую кору, настраивая программную архитектуру. Несколько десятков тысяч лет назад интеллект гоминидов пересёк некий ключевой порог и сделал огромный прыжок в эффективности в реальном мире; мы перешли от пещер к небоскрёбам за мгновение ока эволюции. Это произошло при неизменном давлении отбора – не было большого прыжка в оптимизирующей силе эволюции, когда появились люди. Наша соответствующая мозговая архитектура тоже развивалась плавно – объём нашего черепа не увеличился вдруг на два порядка величины. Так что может так случиться, что даже если ИИ будет развивать снаружи силами людей-инженеров, кривая его интеллектуальной эффективности совершит резкий скачок.

Или, возможно, некто построит прототип ИИ, который покажет некие многообещающие результаты, и эта демо-версия привлечёт дополнительные 100 миллионов долларов венчурного капитала, и на эти деньги будет закуплено в тысячу раз больше суперкомпьютеров. Я сомневаюсь, что усиление оборудования в 1000 раз приведёт к чему-либо подобному усилению интеллектуального потенциала в 1000 раз – но само это сомнение не надёжно при отсутствии какой-либо возможности произвести какие-либо аналитические вычисления.

В сравнении с шимпанзе, человек имеет трёхкратное преимущество в мозге и шестикратное – в лобовой коре, что означает (а) программы важнее оборудования и (б) малые увеличения оборудования могут поддержать большие улучшения программного обеспечения. И есть ещё один момент, который надо рассмотреть.

В конечном счёте, ИИ может сделать кажущийся резким скачок в интеллектуальности только по причине антропоморфизма, то есть человеческой склонности думать о «деревенском идиоте» и Эйнштейне как о крайних границах интеллектуальной шкалы, а не как о почти неразличимых точках на шкале умов-вообще.

Любой объект, более немой, чем немой человек, может показаться нам просто немым. Можно представить «стрелу ИИ», медленно ползущую по шкале интеллекта, проходящую уровни мыши и шимпанзе, и при этом ИИ остаётся всё ещё немым, потому что ИИ не может свободно говорить или писать научные статьи, и затем стрела ИИ пересекает тонкую грань между ультра-идиотом и Эйнштейном в течение месяца или такого же малого периода. Я не думаю, что этот сценарий убедителен, в основном, потому что я не ожидаю, что кривая рекурсивного самоулучшения будет ползти линейно. Но я не буду первым, кто укажет, что ИИ – это двигающаяся цель. Как только веха достигнута, она перестаёт быть ИИ. Это может только вдохновлять промедление.

Давайте допустим, для продолжения дискуссии, что, исходя из всего, что мы знаем (и это кажется мне реально возможным), ИИ обладает способностью совершить внезапный, резкий, огромный скачок в интеллектуальности. Что из этого следует? Первое и главное: из этого следует, что реакция, которую я часто слышал: «Нам не следует заботится о Дружественном ИИ, потому что у нас ещё нет самого ИИ» - неверна или просто самоубийственна. Мы не можем полагаться на то, что у нас будут заранее предупреждающе сигналы до того, как ИИ будет создан; прошлые технологические революции обычно не телеграфировали о себе людям, жившим в том время, что бы потом ни говорилось. Математика и техника Дружественного ИИ не появится из ниоткуда, когда она будет нужна; требуются годы, чтобы установить твёрдые основания. И мы должны разрешить проблему Дружественного ИИ до того, как универсальный ИИ появится, а не после; мне даже не следует говорить об этом. Будут трудности с Дружественным ИИ, потому что поле исследований ИИ само по себе имеет мало согласия и высокую энтропию. Но это не значит, что мы не должны беспокоиться о Дружественном ИИ. Это означает, что будут трудности. Эти два утверждения, к сожалению, даже отдалённо не эквивалентны.

Возможность резкого скачка в интеллектуальности также требует высоких стандартов для техники Дружественного ИИ. Техника не может полагаться на способность программиста наблюдать ИИ против его воли, переписывать ИИ против еговоли, угрожать превосходящей военной силой, ни на то, что программисты смогут контролировать «кнопку вознаграждения», которую умный ИИ отберёт у программистов, и так далее. В действительности, никто не должен исходить из этих предположений. Необходимой защитой является ИИ, который не хочет вам повредить. Без этого ни одна дополнительная защита не является безопасной. Ни одна система не является безопасной, если она ищет способы разрушить свою безопасность. Если ИИ повредит человечеству в любом смысле, вы должны были сделать что-то неправильно на очень глубоком уровне, искривив свои основные посылки. Вы делаете дробовик, направляете его на свою ступню и спускаете крючок. Вы осознанно приводите в движение некую когнитивную динамику, которая, при некоторых обстоятельствах, будет стремиться вам повредить. Это – неправильное поведение для данной динамики; напишите вместо этого код, который делает что-то другое.

Примерно по тем же причинам, программисты Дружественного ИИ должны предполагать, что ИИ имеет полный доступ к своему исходному коду. Если ИИ хочет модифицировать себя, чтобы не быть больше Дружественным, Дружественность уже потерпела неудачу в тот момент, когда Ии создал такое намерение. Любое решение, которое полагается на то, что ИИ не будет способен модифицировать сам себя, будет разрушено тем или иным способом, и будет разрушено даже в том случае, если ИИ решит никогда себя не модифицировать. Я не говорю, что это должна быть единственная предосторожность, но главной и незаменимой предосторожностью будет то, что вы создадите ИИ, который не захочет вредить человечеству.

Чтобы избежать ошибочности Гигансткой Ватрушки, мы должны сказать, что способность улучшать себя не означает выбора делать это. Успешное воплощение техники Дружественного ИИ может создать ИИ, который обладает потенциалом расти более быстро, но выбирающего вместо этого расти медленнее и по более управляемой кривой.

Даже в этом случае, после того, как ИИ пройдёт критический порог рекурсивного самоулучшения, вы окажетесь действующими в гораздо более опасном режиме. Если дружественность потерпит неудачу, ИИ может решить направиться с полной скоростью в сторону самоулучшения – метафорически говоря, он станет мгновенно критичным.

Я склонен предполагать потенциально произвольно большие прыжки в интеллектуальности, потому что это (а) консервативное предположение; (б) это отвергает предложения построить ИИ без реального понимания его; и (с) большие скачки потенциала (large potential jumps) кажутся мне наиболее вероятными в реальном мире. Если я обнаружу некую область знаний, в которой консервативной точкой зрения по поводу перспектив управления рисками предполагается медленное улучшение ИИ, тогда я потребую, чтобы этот план не стал катастрофическим, если ИИ замедлится на около-человеческой стадии на годы или дольше. Это не та область, относительно которой бы мне хотелось предлагать узкие интервалы уверенности.

  1. 8: Оборудование. (Hardware.)

Люди склонны думать о больших компьютерах как о ключевом факторе ИИ. Это, мягко говоря, очень сомнительное утверждение. Не-футурологи, обсуждая ИИ, говорят обычно о прогрессе компьютерного оборудования, потому что его легко измерить – в отличие от понимания интеллекта. Не потому что здесь нет прогресса, а потому что этот прогресс не может быть выражен в аккуратных графиках компьютерных презентаций. Трудно сообщать об улучшениях в понимании, и поэтому об этом меньше сообщают. Вместо того, чтобы думать о «минимальном» уровне оборудования, которое «необходимо» для ИИ, задумаемся лучше о минимальном уровне понимания исследователя, который уменьшается по мере улучшения оборудования. Чем лучше компьютерное оборудование, тем меньше понимания вам нужно, чтобы построить ИИ. Крайним случаем является естественный отбор, который использовал удивительные количества грубой компьютерной силы, чтобы создать человеческий интеллект, не используя никакого понимания, только неслучайное сохранение случайных мутаций.

Увеличивающаяся компьютерная мощность делает изготовление ИИ проще, но нет очевидных причин, по которым увеличивающая компьютерная мощь поможет сделать ИИ Дружественным. Возрастающая сила компьютеров делает более простым применение грубой силы, а также совмещение плохопонятных, но работающих техник. Закон Мура устойчиво снижает барьер, который предохраняет нас от построения ИИ без глубокого понимания мышления.

Приемлемо провалиться в попытках создания как ИИ, так и Дружественного ИИ. Приемлемо достичь успеха и в ИИ, и в Дружественном ИИ. Что неприемлемо – это создать ИИ и провалиться в создании Дружественного ИИ. Закон Мура делает именно последнее гораздо проще. «Проще», но, слава богу, не просто. Я сомневаюсь, что ИИ будет прост, когда его, наконец, построят – просто потому что есть группы людей, которые приложат огромные усилия, чтобы построить ИИ, и одна из них достигнет успеха, когда ИИ, наконец, станет возможным достичь посредством колоссальных усилий.

Закон Мура является посредником (interaction) между Дружественным ИИ и другими технологиями, что добавляет часто пропускаемый глобальный риск к другим технологиям. Мы можем представить себе, что молекулярная нанотехнология развивается силами мягкого многонационального правительственного консорциума и им удалось успешно избежать опасностей физического уровня нанотехнологий. Они непосредственно не допустили случайное распространение репликатора, и с гораздо большими трудностями разместили глобальную защиту на местах против враждебных репликаторов; они ограничили доступ к базовому уровню нанотехнологии, в то же время распространяя настраиваемые наноблоки и так далее. (См. Phoenix и Treder, в этом же сборнике.) Но, тем не менее, нанокомпьютеры становятся широко распространены, потому что предпринятые ограничения обходятся, или потому что никаких ограничений не введено. И затем кто-то добивается грубой силой ИИ, который не Дружественен, и дело закончено. Этот сценарий является особенно беспокоящим, потому что невероятно мощные нанокомпьютеры будут среди первых, простейших и кажущихся безопаснейшими применений нанотехнологии.

Как насчёт регуляторного контроля над суперкомпьютерами? Я бы определённо не стал на него полагаться, чтобы предотвратить создание ИИ; вчерашние суперкомпьютеры - это завтрашние лэптопы. Стандартный ответ на предложение о регулировании состоит в том, что когда нанокомпьютеры будут вне закона, только стоящие вне закона люди будут ими обладать.

Трудно доказать, что предполагаемые преимущества от ограничения распространения перевешивают неизбежные риски от неточного распространения. Я сам точно не буду выступать в пользу регулятивных ограничений на использование суперкомпьютеров для исследований ИИ; это предложение сомнительной полезности будет встречено в штыки всем ИИ-сообществом. Но в том маловероятном случае, если это предложение будет принято – что весьма далеко от текущего политического процесса – я не буду прикладывать значительных усилий, чтобы бороться с ним, поскольку я не думаю, что хорошим ребятам нужен доступ к современным им суперкомпьютерам. Дружественный ИИ – это не про грубую силу.

Я могу представить регулирующие органы, эффективно контролирующие небольшой набор сверхдорогих компьютерных ресурсов, которые нынче называются суперкомпьютеры. Но компьютеры везде. Это не похоже на ядерное нераспространение, где основное направление – это контроль плутония и обогащённого урана. Исходные материалы для ИИ уже есть везде. Эта кошка так далеко выскочила из мешка, что она уже в ваших наручных часах, сотовом телефоне и посудомоечной машине. Это тоже является особенным и необычным фактором ИИ как глобального риска. Мы отделены от рискованного процесса не большими видимыми установками, такими как изотопные центрифуги или ускорители частиц, но только недостаточным знанием. Если использовать слишком драматичную метафору, это подобно тому, как если бы субкритические массы обогащённого урана приводили бы в движение машины и корабли по всему миру до того, как Лео Сцилард впервые подумал бы о цепной реакции.

  1. 9: Угрозы и перспективы. (Threats and promises.)

Это рискованное интеллектуальное предприятие, - пытаться предсказать конкретно, как именно благожелательный ИИ поможет человечеству, или недружественный ИИ повредит. Здесь есть риск систематической ошибки наложения: каждая добавленная деталь обязательно уменьшает общую вероятность всей истории, но испытуемые склонны приписывать большую вероятность историям, которые включают чёткие добавленные детали. (См. Элизер Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков.) Есть риск – почти наверняка – потерпеть неудачу, пытаясь вообразить сценарий будущего; и есть риск ошибочности Гигантской Ватрушки, который превращается из возможности в мотивирующую силу (that leaps from capability to motive).

Тем не менее, я попробую очертить угрозы и перспективы. Будущее имеет репутацию совершать подвиги, которые прошлое считало невозможными. Будущие цивилизации даже нарушали то, что прошлые цивилизации считали (неверно, разумеется) законами физики. Если пророки 1900 года – и даже не думайте о 1000 годе – пытались ограничить силу человеческой цивилизации через миллиард лет, то некоторые из названных ими невозможностей были бы преодолены до конца столетия; превращение свинца в золото, например. Мы помним, что будущие цивилизации удивляли прошлые цивилизации, и поэтому стало клише, что мы не можем накладывать ограничений на своих праправнуков. И всё же все в 20 веке, в 19 веке и в 11 веке мы были людьми.

Мы можем различить три семейства ненадёжных метафор для представления возможностей превосходящего человека ИИ:

- метафора G-фактора: вдохновлена различиями индивидуального уровня интеллекта между людьми. ИИ будет патентовать новые технологии, публиковать прорывные статьи, делать деньги на фондовом рынке или возглавлять политические блоки.

- историческая метафора: вдохновлена знанием различий между прошлыми и будущими человеческими цивилизациями. ИИ быстро введёт набор возможностей, который обычно связывается с человеческой цивилизацией через сто или тысячу лет: молекулярную нанотехнологию; межзвёздные путешествия; компьютеры, выполняющие 1025 операций в секунду.

- Видовая метафора: вдохновлена различиями в архитектуре мозга между видами. ИИ овладеет магией.

Метафора G-фактора наиболее популярна в современной футурологии: когда люди думают об интеллектуальности, они думают о человеческом гении, а не о людях вообще. В историях о враждебном ИИ g-метафоры ответственны за «хорошую историю» в духе Бострома: а именно, за оппонента, достаточно могущественного, чтобы создать драматическое напряжение, но не достаточно могущественного, чтобы мгновенно истребить героев, как мух, и, в конечном счёте, достаточно слабого, чтобы проиграть в последних главах книги. Голиаф против Давида – пример хорошей истории, но Голиаф против плодовой мушки – нет.

Если мы предполагаем метафору g-фактора, то риски глобальной катастрофы в этом сценарии относительно умеренные: враждебный ИИ – не большая угроза, чем враждебный человеческий гений.

Если мы предполагаем множественность ИИ, то тогда мы имеем метафору конфликта между племенем ИИ и человеческим племенем. Если племя ИИ выиграет в военном конфликте и истребит людей, то это глобальная катастрофа по типу Взрыва (Bostrom, 2001). Если племя ИИ будет доминировать над миром экономически и обретёт эффективный контроль над судьбой возникшей на Земле разумной жизни, но цели ИИ не будут для нас интересными или стоящими, то это будет катастрофа в духе Визг, Хныкание или Хруст. Но насколько вероятно, что ИИ преодолеет весь огромный разрыв от амёбы до деревенского идиота, и затем остановится на уровне человеческого гения? Быстрейший из наблюдавшихся нейронов срабатывает 1000 раз в секунду; быстрейший аксон передаёт сигналы со скоростью 150 метров в секунду, в пол-миллионную долю от скорости света; каждая операция синапса рассеивает примерно 15 000 аттоджоулей, что в миллион раз больше термодинамического минимума для необратимых вычислений при комнатной температуре (kT300 ln(2) = 0.003 аттоджоулей на бит). Физически возможно построить мозг, вычисляющий в миллион раз быстрее человеческого, без уменьшения размера, работы при низких температурах, применения обратимых вычислений и квантового компьютера. Если человеческий ум будет таким образом ускорен, субъективный год размышлений завершится за 31 физическую секунду во внешнем мире, и тысячелетие пролетит за восемь с половиной часов. Винж (Vinge, 1993) назвал такие ускоренные умы «слабым сверхинтеллектом»: ум, думающий как человек, но гораздо быстрее.

Мы предполагаем, что возникнет чрезвычайно быстрый ум, установленный в сердцевине человеческой технологической цивилизации, которая будет существовать в это время. Провалом воображения было бы сказать: «Не важно, как быстро он думает, он может влиять на мир только со скоростью своих манипуляций; он не может управлять машинами быстрее, чем он приказывает человеческим рукам работать; поэтому быстрый ум – это не великая опасность». Нет такого закона природы, по которому физические операции должны тянуться секундами. Характерное время для молекулярных реакций измеряется в фемтосекундах, иногда в пикосекундах.

Drexler (1992) проанализировал контролируемые молекулярные манипуляторы, которые будут выполнять >106 молекулярных операций в секунду – отметьте это в связи с основной темой о «миллионократном ускорении». (Наименьшим физически значимым приращением времени обычно считается интервал Планка, 5·10-44 секунды, и на этой шкале даже танцующие кварки кажутся статуями.)

Представьте себе, что человечество было бы заперто в ящике и могло бы воздействовать на окружающий мир только посредством заморожено медленных движений щупалец пришельца, или механических рук, которые бы двигались со скоростью несколько микрон в секунду. Тогда мы бы сконцентрировали всю нашу творческую силу на поисках наикратчайшего пути построить быстрые манипуляторы во внешнем мире. Размышляя о быстрых манипуляторах, немедленно вспоминаешь о молекулярной нанотехнологии – хотя могут быть и другие пути. Какой кратчайший путь может привести вас к нанотехнологии в медленном внешнем мире, если у вас есть эоны времени, чтобы обдумывать каждый ход? Ответ в том, что я не знаю, потому что у меня нет эонов времени на размышления. Вот один из воображаемых быстрых путей:

- разрешить проблему свёртки белков, до той степени, чтобы быть способным создавать последовательности ДНК, чьи свёрнутые пептидные последовательности будут соответствовать специфическим функциональным задачам в сложных химических реакциях.

- Отправить по E-mail набор последовательностей ДНК в одну или несколько лабораторий, которые предлагают синтез ДНК, секвенсирование пептидов и доставку по FedEx. (Много лабораторий предлагают сейчас такие услуги, и некоторые рекламируют время в 72 часа на полный цикл.)

- Найти по крайней мере одного человека, соединённого с Интернетом, которого можно оплатить, запугать шантажом или задурить соответствующей историей, чтобы он получил отправления по FedEx и смешал их в специальной среде.

- Синтезированные белки сформируют очень примитивную «влажную» наносистему, вроде рибосомы, способную принимать внешние инструкции; возможно, модулированные акустические волны, направляемые динамиком на мензурку.

- Использовать эту невероятно примитивную наносистему, чтобы построить более сложную систему, развивающуюся затем в молекулярную нанотехнологию – или дальше.

Полное время на всю процедуру имело бы, вероятно, порядок недель с момента, когда быстрый интеллект смог бы решить проблему сворачивания белков. Разумеется, этот сценарий целиком выдумал я. Возможно, за 19 500 лет субъективного времени (одна неделя физического времени при ускорении в миллион раз) я бы нашёл более простой путь. Возможно, вы можете заплатить за быструю курьерскую доставку вместе FedEx. Возможно, существуют технологии, или небольшие модификации существующих технологий, которые синегретически соединяются с простыми белковыми механизмами. Возможно, если вы достаточно умны, вы можете использовать волновые электрические поля, чтобы изменять пути реакций в существующих биохимических процессах. Я не знаю. Я не настолько умён.

Задача состоит в том, чтобы связать вместе ваши способности – аналогом чему в реальном мире является комбинирование слабых уязвимостей в компьютерной системе для получения корневого доступа. Если один путь перекрыт, вы выбираете другой, всегда ища способы увеличить свои возможности и использовать их взаимоусиливающим образом (in synergy). Подразумеваемая цель – построить быструю инфраструктуру, то есть средства манипулировать внешним миром в большом масштабе за малое время. Молекулярная нанотехнология удовлетворяет этим критериям, во-первых, потому что её элементарные операции происходят быстро, и, во вторых, потому что имеется готовый набор совершенных частей – атомов – которые могут быть использованы для самореплицирования и экспоненциального роста нанотехнологической инфраструктуры. Путь, обсуждённый выше, подразумевает ИИ, получающий скоростную инфраструктуру в течение недели – что звучит быстро для человека с 200 Гц нейронами, но является гораздо бОльшим временем для ИИ.

Как только ИИ обретает быструю инфраструктуру, дальнейшие события происходят по шкале времени ИИ, а не по человеческой временной шкале. (Кроме того случая, когда ИИ предпочтёт действовать в человеческой временной шкале.) С молекулярной нанотехнологией, ИИ может (потенциально) переписать всю Солнечную систему без какого-либо сопротивления.

Недружественный ИИ с молекулярной инфраструктурой (или другой быстрой инфраструктурой) не должен беспокоиться об армиях марширующих роботов, или шантаже или тонких экономических вмешательств. Недружественный ИИ обладает способностью переделать всё вещество Солнечной системы согласно своей цели оптимизации. Для нас будет фатальным, если этот ИИ не будет учитывать при своём выборе то, как эта трансформация повлияет на существующие сейчас системы, такие как биология и люди. Этот ИИ не ненавидит вас, ни любит, но вы сделаны из атомов, которые он может использовать как-то по-другому. ИИ работает на другой временной шкале, чем вы; к тому моменту, когда ваши нейроны закончат думать слова «я должен сделать нечто», вы уже проиграли. Дружественный ИИ плюс молекулярная нанотехнология предположительно достаточно сильны, чтобы разрешить любую проблему, которая может быть разрешена путём перемещения атомов или творческого мышления. Следует соблюдать предосторожность в отношении возможных ошибок воображения: лечение рака – это популярная современная цель для филантропии, но из этого не следует, что Дружественный ИИ с молекулярной нанотехнологией скажет сам себе: «Теперь я буду лечить рак». Возможно, лучшее описание проблемы состоит в том, что человеческие клетки непрограммируемы. Если решить эту проблему, то это излечит рак как частный случай, а заодно диабет и ожирение. Быстрый, позитивный интеллект, владеющий молекулярной нанотехнологией, обладает силой избавиться от болезней, а не от рака.

Последнее семейство метафор связано с видами, и основывается на межвидовых различиях интеллекта. Такой ИИ обладает магией – не в смысле заклинаний или снадобий, но в том смысле, как волк не может понять, как работает ружьё, или какого рода усилия требуются, чтобы изготовить ружья, или природу человеческой силы, которая позволяет нам придумывать ружья.

Винж (Vinge, 1993) пишет: «Сильное сверхчеловечество (strong superhumanity) будет не просто разогнанным до большой скорости эквивалентом человеческого ума. Трудно сказать, чем именно сверхчеловечество будет, но разница, вероятно, будет глубокой. Представьте себе ум собаки, работающий на огромной скорости. Дадут ли тысячелетия собачей жизни хотя бы один человеческий инсайт?»

Видовая метафора является ближайшей аналогией а приори, но она не очень пригодна для создания детальных историй. Главный совет, которая даёт нам эта метафора, состоит в том, что нам лучше всего всё-таки сделать Дружественный ИИ, что есть хороший совет в любом случае. Единственную защиту, которую она предлагает от враждебного ИИ – это вообще его не строить, что тоже очень ценный совет. Абсолютная власть является консервативным инженерным предположением в отношении Дружественного ИИ, который был неправильно спроектирован. Если ИИ повредит вам с помощью магии, его Дружественность в любом случае ошибочна.

  1. 10: Локальные стратегии и стратегии большинства (Local and majoritarian strategies).

Можно классифицировать предлагающиеся стратегии снижения риска следующим образом:

- стратегии, требующие единодушной кооперации – стратегии, которые могут быть повержены отдельными вредителями или небольшими группами.

- стратегии, которые требуют совместного действия большинства (majoritarian strategy): большинства законодателей в одной стране, или большинства голосующих людей, или большинства стран в ООН: стратегии, требующие большинства, но не всех людей из некой большой группы, чтобы действовать определённым образом.

- Стратегии, которые требуют локальных действий – концентрации воли, таланта и финансирования, которая достигает порогового значения для некоторой конкретной задачи.

Единодушные стратегии не работоспособны, что не мешает людям продолжать предлагать их.

Мажоритарные стратегии (стратегии большинства) иногда работают, если у вас есть десятилетия на то, чтобы сделать свою работу. Следует создать движение, и пройдут годы до его признания в качестве силы в публичной политике и до его победы над оппозиционными фракциями. Мажоритарные стратегии занимают значительное время и требуют огромных усилий. Люди уже старались это сделать, и история помнит несколько успехов. Но будьте настороже: исторические книги имеют тенденцию селективно концентрироваться на тех движениях, которые имели влияние, в отличие от большинства, которое никогда ни на что не влияло. Здесь есть элемент удачи и изначальной готовности публики слушать. Критические моменты этой стратегии включают элементы, лежащие за пределами нашего контроля. Если вы не хотите посвятить всю свою жизнь продвижению некой мажоритарной стратегии, не беспокойтесь; и даже целиком посвящённой жизни недостаточно.

Обычно, локальные стратегии наиболее убедительны. Не легко получить 100 миллионов долларов обеспечения, и всеобщей политической перемены тоже нелегко достичь, но всё же гораздо легче получить 100 миллионов, чем продвинуть глобальную политическую перемену. Два предположения, выдвигаемые в пользу мажоритарной стратегии в отношении ИИ:

- Большинство из Дружественных ИИ может эффективно защитить человеческий вид от неДружественного ИИ.

- Первый построенный ИИ не может сам по себе нанести катастрофический ущерб.

Это повторяет по существу ситуацию в человеческой цивилизации до создания ядерного и биологического оружия: большинство людей сотрудничают во всемирной социальной структуре, а вредители могут причинить определённый, но не катастрофический ущерб. Большинство исследователей ИИ не хотят построить неДружественный ИИ. Если кто-то знает, как сделать стабильный Дружественный ИИ – если проблема не находится полностью за пределами современных знаний и техники – исследователи будут учиться успешным результатам друг у друга и повторять их. Законодательство может (например) потребовать от исследователей публиковать свои стратегии Дружественности или наказывать тех исследователей, чьи ИИ причинили ущерб; и хотя эти законы не предотвратят всех ошибок, они могут гарантировать, что большинство ИИ будут построены Дружественными.

Мы можем также представить сценарий, который предполагает простую локальную стратегию:

- первый ИИ не может сам по себе причинить катастрофический ущерб.

- Если даже хотя бы один Дружественный ИИ появится, этот ИИ вместе с человеческими учреждениями может отогнать любое количество неДружественных ИИ.

Этот лёгкий сценарий выдержит, если человеческие институты смогут надёжно отличать Дружественный ИИ от неДружественного и дадут могущую быть отменённой власть в руки Дружественного ИИ. Тогда мы сможем собрать и выбрать наших союзников. Единственное требование состоит в том, чтобы проблема Дружественного ИИ была разрешима (В противовес тому, что бы быть полностью за пределами человеческих возможностей.)

Оба из вышеприведённых сценариев предполагают, что первый ИИ (первый мощный, универсальный ИИ) не может сам по себе причинить глобально катастрофический ущерб. Более конкретные представления, которые это предполагают, используют g-метафору: ИИ как аналог особо одарённым людям. В главе 7 о скоростях усиления интеллекта, я указал несколько моментов, почему следует подозревать огромный, быстрый скачок в интеллектуальности.

- расстояние от идиота до Эйнштейна, которое выглядит большим для нас, является маленькой точкой на шкале умов вообще.

- Гоминиды сделали резкий скачок в эффективности во внешнем мире, несмотря на то, что естественный отбор оказывал примерно равномерное давление на их геном.

- ИИ может впитать колоссальное количество дополнительного оборудования после достижения определённого уровня компетентности (то есть, съесть интернет).

- Существует критический порог рекурсивного самоулучшения. Одно самоулучшение, дающее приращение в 1,0006 раз, качественно отличается от самоулучшения, дающего приращение в 0,9994 раза.

Как описано в главе 9, достаточно сильному ИИ может потребоваться очень короткое время (с человеческой точки зрения), чтобы достичь молекулярной нанотехнологии, или другой формы быстрой инфраструктуры. Теперь мы можем представить себе всё значение того, кто начнёт первым (the first-mover effect) в суперинтеллекте. Эффект начавшего первым состоит в том, что исход возникшей на Земле разумной жизни зависит в первую очередь от особенностей (makeup) того ума, который первым достигнет определённого ключевого порога интеллектуальности – такого, как критичности (criticality) самоулучшения. Два необходимых предположения таковы:

- Первый ИИ, который достиг некого критического порога (то есть критичности самоулучшений), будучи неДружественным, может истребить человеческий вид.

- Если первый ИИ, который достигнет этого уровня, будет Дружественным, то он сможет не допустить возникновения враждебных ИИ или причинения ими вреда человеческому виду; или найдёт другие оригинальные пути, чтобы обеспечить выживание и процветание возникшей на Земле разумной жизни.

Более, чем один сценарий соответствует эффекту начавшего первым. Каждый из следующих примеров отражает другой ключевой порог:

- Пост-критический, самоулучшающийся ИИ достигает сверхинтеллекта в течение недель или меньше. Проекты ИИ достаточно редки, так что ни один другой ИИ не достигает критичности до того, как начавший первым ИИ становится достаточно сильным, чтобы преодолеть любое сопротивление. Ключевым порогом является критический уровень самоулучшения.

- ИИ-1 разрешает проблему свёртывания белков на три дня раньше ИИ-2. ИИ-1 достигает нанотехнологии на 6 часов раньше, чем ИИ-2. С помощью быстрых манипуляторов веществом ИИ-1 может (потенциально) отключить исследования и разработку ИИ-2 до её созревания. Бегуны близки, но тот, кто первым пересекает финишную черту – побеждает. Ключевым порогом здесь является быстрая инфраструктура.

- тот ИИ, который первым поглощает интернет, может (потенциально) не допустить в него другие ИИ. Затем, посредством экономического доминирования, скрытых действий или шантажа или превосходящих способностей к социальной манипуляции, первый ИИ останавливает или замедляет другие ИИ проекты, так что никакого другого ИИ не возникает. Ключевой порог – поглощение уникального ресурса.

  1. Человеческий вид, Homo sapiens, является начавшим первым. С точки зрения эволюции, наши кузены – шимпанзе – отстают от нас только на толщину волоса. Homo sapiens заполучили все технологические чудеса, потому что мы попали сюда немного раньше. Эволюционные биологи всё ещё пытаются выяснить порядок ключевых порогов, потому что начавшие первыми виды должны были первыми пересечь столь много порогов: речь, технология, абстрактное мышление. Мы всё ещё пытаемся понять, что первым вызвало эффект домино. Результат состоит в том, что Homo Sapiens движется первым без нависшего сзади соперника. Эффект движущегося первым предполагает теоретически локальную стратегию (задачу, реализуемую, в принципе, исключительно местными усилиями), нот при этом вызывает к жизни технический вызов чрезвычайной трудности. Нам нужно правильно создать Дружественный ИИ только в одном месте и один раз, а не каждый раз везде. Но создать его нужно правильно с первой попытки, до того, как кто-то построит ИИ с более низкими стандартами.

Я не могу произвести точных вычислений на основании точно подтверждённой теории, но моё мнение сейчас состоит в том, что резкие прыжки в интеллектуальности возможны, вероятны и являют собой доминирующую возможность. Это не та область, в которой я хотел бы давать узкие интервалы уверенности, и поэтому стратегия не должна потерпеть катастрофу – то есть не оставить нас в ситуации худшей, чем раньше, - если резкий прыжок в интеллектуальности не произойдёт. Но гораздо более серьёзной проблемой являются стратегии, представляемые для медленно растущего ИИ, которые терпят катастрофу, если здесь есть эффект движущегося первым. Это более серьёзная проблема, потому что:

- Более быстро растущий ИИ является более сложной технической задачей.

- Подобно автомобилю, едущему по мосту для грузовиков, ИИ, спроектированный, чтобы оставаться Дружественным в экстремально сложных условиях (предположительно) остаётся Дружественным в менее сложных условиях. Обратное неверно.

- Быстрые скачки в интеллектуальности контр-интуитивны с точки зрения обычной социальной жизни. Метафора g-фактора для ИИ является интуитивной, притягательной, заверяющей и, по общему согласию, требующей меньше конструктивных ограничений.

- Моя нынешняя догадка состоит в том, что кривая интеллектуальности содержит огромные, резкие (потенциально) скачки.

Моя теперешняя стратегическая точка зрения имеет тенденцию фокусироваться на трудном локальном сценарии: первый ИИ должен быть Дружественным. С этой мерой предосторожности, если никаких быстрых прыжков в ИИ не произойдёт, можно переключиться на стратегию, которая сделает большинство ИИ Дружественными. В любом случае, технические усилия, которые ушли на подготовку к экстремальному случаю появления первого ИИ, не сделают нам хуже.

Сценарий, который требует невозможной – требующей единодушия – стратегии:

- Единственный ИИ может быть достаточно силён, чтобы уничтожить человечество, даже несмотря на защитные меры Дружественных ИИ.

- Ни один ИИ недостаточно могуществен, чтобы остановить людей-исследователей от создания одного ИИ за другим (или найти другой творческий путь решения проблемы.).

Хорошо, что этот баланс возможностей кажется невероятным а приори, потому что при таком сценарии мы обречены. Если вы выкладываете на стол колоду карт одна за другой, вы рано или поздно выложите туза треф.

Та же проблема относится и к стратегии намеренного конструирования ИИ, которые выбирают не увеличивать свои способности выше определённого уровня. Если ограниченные ИИ недостаточно сильны, чтобы победить неограниченных, или предотвратить их возникновение, то тогда ограниченные ИИ вычёркиваются из уравнения. Мы участвуем в игре, до тех пор, пока мы не вытащим сверхинтеллект, независимо оттого, что это – туз червей или туз треф. Мажоританые стратегии работают, только если невозможно для одиночного вредителя причинить катастрофический ущерб. Для ИИ эта возможность является свойством самого пространства возможных проектов (design space) – эта возможность не зависит от человеческого решения, равно как скорость света или гравитационная константа.

11: ИИ и усиление человеческого интеллекта. (AI versus human intelligence enhancement).

Я не нахожу достоверным, что Homo sapiens будут продолжать существовать в неограниченном будущем, тысячи или миллионы или миллиарды лет, без того, чтобы возник хотя бы один ум, который бы прорвал верхний предел интеллектуальности. И если так, то придёт время, когда люди впервые встретятся с вызовом более умного, чем человек, интеллекта. И если мы выиграем первый уровень схватки, то человечество сможет взывать к более умному, чем человек, интеллекту в следующих раундах схватки.

Возможно, мы скорее выберем другой путь, чем ИИ, более умный, чем человек, - например, будем улучшать людей вместо этого. Чтобы рассмотреть крайний случай, допустим, что кто-то говорит: «Перспектива ИИ меня беспокоит. Я бы предпочёл, чтобы, до того, как какой-либо ИИ был сконструирован, отдельный люди были бы отсканированы в компьютеры, нейрон за нейроном, и затем усовершенствованы, медленно, но наверняка, пока они не станут сверх-умными; и это та основа, на которой человечество должно сразиться с вызовом суперинтеллекта».

Здесь мы сталкиваемся с двумя вопросами: Возможен ли этот сценарий? И если да, то желателен ли он? (Разумно задавать вопросы именно в такой последовательности, по причинам рациональности: мы должны избегать эмоциональной привязки к привлекательным возможностям, которые не являются реальными возможностями.)

Представим, что некий человек сканирован в компьютер, нейрон за нейроном, как предлагает Moravec (1988). Отсюда однозначно следует, что использованная компьютерная мощность значительно превосходит вычислительную мощность человеческого мозга. Согласно гипотезе, компьютер выполняет детальную симуляцию биологического человеческого мозга, исполняемую с достаточной точностью, чтобы избежать каких-либо обнаружимых высокоуровневых эффектов от системных низкоуровневых ошибок.

Каждый биологический аспект, который любым образом влияет на переработку информации, мы должны тщательно симулировать с достаточной точностью, чтобы общий ход процесса был изоморфен оригиналу. Чтобы симулировать беспорядочный (messy) биологический компьютер, каким является человеческий мозг, мы должны иметь гораздо больше полезной компьютерной силы, чем воплощено в самом беспорядочном человеческом мозге.

Наиболее вероятный способ, который будет создан, чтобы сканировать мозг нейрон за нейроном – с достаточным разрешением, чтобы захватить любой когнитивно важный аспект нейронной структуры – это развитая молекулярная нанотехнология. (4)

(сноска 4) Albeit Merkle (1989) предполагает, что нереволюционное развитие технологий считывания, таких как электронная микроскопия или оптические срезы (optical sectioning) может быть достаточно для загрузки целого мозга.

Молекулярная нанотехнология, возможно, позволит создать настольный компьютер с общей вычислительной мощностью, превосходящей суммарную мозговую мощь всей человеческой популяции. (Bostrom 1998; Moravec 1999; Merkle и Drexler 1996; Sandberg 1999.) Более того, если технология позволит нам сканировать мозг с достаточной точностью, чтобы выполнять этот скан в качестве кода, это означает, что за несколько лет до того эта технология была способна создать невероятно точные картины процессов в нейронных сетях, и, предположительно, исследователи сделали всё от них зависящее, чтобы понять их. Более того, чтобы проапгрейдить загруженное – трансформировать скан мозга, чтобы усилить интеллект ума внутри него – мы обязательно должны понимать во всех деталях высокоуровневые функции мозга, и какой полезный вклад они делают в интеллект.

Более того, люди не созданы для того, чтобы их улучшали, ни внешние нейробиологи, ни посредством рекурсивного самоулучшения изнутри. Естественный отбор не создал человеческий мозг удобным для людей-хакеров. Все сложные механизмы в мозгу адаптированы для работы в узких параметрах конструкции мозга. Допустим, вы можете сделать человека умнее, не говоря уже о сверхинтеллекте; останется ли он вменяемым (sane)? Человеческий мозг очень легко разбалансировать; достаточно изменить баланс нейротрансмиттеров, чтобы запустить шизофрению или другие расстройства. В Deacon (1997) представлено отличное описание эволюции человеческого мозга того, как деликатно элементы мозга сбалансированы, и как это отражается в дисфункциях современного мозга. Человеческий мозг немодифицируем конечным пользователем.

Всё это делает весьма невероятным, что первое человеческое существо будет сканировано в компьютер и вменяемо усовершенствовано до того, как кто-нибудь где-нибудь первым построит ИИ. В тот момент, когда технология впервые станет способна осуществить загрузку, это потребует невообразимо больше компьютерной мощности и гораздо лучшей науки о мышлении, чем требуется, чтобы построить ИИ. Построить Боинг 747 с нуля непросто. Но проще ли:

- начать с существующего дизайна биологической птицы

- и путём пошаговых добавлений модифицировать этот дизайн через серию успешных стадий

- где каждая стадия независимо жизнеспособна

- так что в конечном итоге мы имеем птицу, растянутую до размеров 747ого

- которая на самом деле летает

- также быстро, как 747

- и затем провести серию трансформаций реальной живой птицы

- не убивая её и не причиняя ей невыносимых страданий.

Я не хочу сказать, что это никогда не может быть сделано. Я хочу сказать, что проще сделать 747, и, имея уже 747-ой, метафорически говоря, апгрейдить птицу. «Давайте просто увеличим птицу до размеров 747-ого» не выглядит в качестве разумной стратегии, избегающей контакта с устрашающе сложной теоретической мистерией аэродинамики. Может быть, в начале, всё, что вы знаете о полёте – это то, что птица обладает загадочной сущностью полёта, и что материалы, из которых вы должны построить 747ой просто лежат здесь на земле. Но вы не можете слепить загадочную сущность полёта, даже если она уже имеется в птице, до тех пор, пока она не перестанет быть загадочной сущностью для вас. Вышеприведённый довод предложен как нарочито экстремальный случай. Основная идея в том, что у нас нет абсолютной свободы выбирать путь, который выглядит позитивным и утешительным, или который будет хорошей историей для научно-фантастического романа. Мы ограничены тем, какие технологии будут, скорее всего, предшествовать другим. Я не против сканирования человеческих существ в компьютеры и делания их умнее, но кажется чрезвычайно маловероятным, что это будет полем, на котором люди впервые столкнутся с вызовом превосходящего человеческий интеллекта. Из различных ограниченных наборов технологий и знаний, требуемых, чтобы загружать и усовершенствовать людей, можно выбрать:

- апгрейдить биологические мозги на месте (например, добавляя новые нейроны, которые полезным образом встраиваются в работу);

- или продуктивно связать компьютеры с биологическими человеческими мозгами.

- или продуктивно связать мозги людей друг с другом

- или сконструировать ИИ.

Далее, это одно дело усилить среднего человека, сохраняя его здравомыслие, до IQ 140, и другое – развить Нобелевского лауреат до чего-то за пределами человеческого. (Отложим в сторону каламбуры по поводу IQ или Нобелевских призов как меры совершенного интеллекта; простите меня за мои метафоры.) Приём пирацетама (или питьё кофеина) может сделать, а может и не сделать, по крайней мере, некоторых людей умнее; но это не сделает вас существенно умнее Эйнштейна. Это не даёт нам никаких существенных новых способностей; мы не переходим на следующие уровни проблемы; мы не пересекаем верхние границы интеллекта, доступного нам, чтобы взаимодействовать с глобальными рисками. С точки зрения управления глобальными рисками, любая технология улучшения интеллекта, которая не создаёт (позитивного и вменяемого) сознания, буквально более умного, чем человек, ставит вопрос о том, стоило ли, возможно, те же время и усилия более продуктивно потратить на то, чтобы найти чрезвычайно умных современных людей и натравить их на ту же самую проблему. Более того, чем дальше вы уходите от «естественных» границ конструкции человеческого мозга – от наследственного состояния мозга, к которому отдельные компоненты мозга адаптированы – тем больше опасность личного безумия. Если улучшенные люди существенно умнее обычных, это тоже глобальный риск. Сколько ущерба усовершенствованные в сторону зла люди может причинить? Насколько они творческие? Первый вопрос, который мне приходит в голову: «Достаточно творческие, чтобы создать свой собственный рекурсивно улучшающийся ИИ?» Радикальные техники улучшения человеческого интеллекта поднимают свои вопросы безопасности. Опять, я не говорю, что эти проблемы технически не разрешимы; только указываю на то, что эти проблемы существуют. ИИ имеет спорные вопросы, связанные с безопасностью; тоже касается и усовершенствования человеческого интеллекта. Не всё, что лязгает – это ваш враг, и не всё, что хлюпает – друг. С одной стороны, позитивный человек начинает со всей огромной моральной, этической и структурной сложности, которая описывает то, что мы называем «дружественным» решением. С другой стороны, ИИ может быть спроектирован для стабильного рекурсивного самоулучшения и нацелен на безопасность: естественный отбор не создал человеческий мозг с множеством кругов мер предосторожности, осторожного процесса принятия решений и целыми порядками величины полей безопасности.

Улучшение человеческого интеллекта это самостоятельный вопрос, а не подраздел ИИ; и в этой статье нет места, чтобы обсуждать его в деталях. Стоит отметить, что я рассматривал как улучшение человеческого интеллекта, так и ИИ в начале своей карьеры, и решил сосредоточить свои усилия на ИИ. В первую очередь, потому что я не ожидал, что полезные, превосходящие человеческий уровень техники улучшения человеческого интеллекта появятся достаточно вовремя, чтобы существенно повлиять на развитие рекурсивно самоулучшающегося ИИ. Я буду рад, если мне докажут, что я не прав в отношении этого. Но я не думаю, что это жизнеспособная стратегия – нарочно выбрать не работать над Дружественным ИИ, пока другие работают над усовершенствованием человеческого интеллекта, в надежде, что усовершенствованные люди решат проблему Дружественного ИИ лучше. Я не хочу вовлекаться в стратегию, которая потерпит катастрофическое поражение, если усовершенствование человеческого интеллекта потребует больше времени, чем создание ИИ. (Или наоборот.) Я боюсь, что работа с биологией займёт слишком много времени – здесь будет слишком много инерции, слишком много борьбы с плохими конструкторскими решениями, уже сделанными естественным отбором. Я боюсь, что регуляторные органы не одобрять экспериментов с людьми. И даже человеческие гении тратят годы на обучение своему искусству; и чем быстрее улучшенный человек должен учиться, тем труднее улучшить кого-либо до этого уровня.

Я буду приятно удивлён, если появятся улучшенные люди (augmented humans) и построят Дружественный ИИ раньше всех. Но тот, кто хотел бы видеть этот результат, должен, вероятно, тяжело трудиться над ускорением технологий улучшения интеллекта; будет трудно убедить меня замедлиться. Если ИИ по своей природе гораздо более сложен, чем усиление интеллекта, то никакого вреда не будет; если же построение 747-ого естественным путём проще, чем увеличивание птицы до его размеров, то промедление будет фатальным. Имеется только небольшая область возможностей, внутри которой намеренный отказ от работы над Дружественным ИИ может быть полезен, и большая область, где это будет неважно или опасно. Даже если усиление человеческого интеллекта возможно, здесь есть реальные, сложные вопросы безопасности; мне следовало бы серьёзно задаться вопросом, хотим ли мы, чтобы Дружественный ИИ предшествовал усилению интеллекта, или наоборот.

Я не приписываю высокой достоверности утверждению, что Дружественный ИИ проще, чем усовершенствование человека, или что он безопаснее. Есть много приходящих на ум путей улучшить человека. Может быть, существует техника, которая прощу и безопаснее, чем ИИ, достаточно мощная, чтобы оказать влияние на глобальные риски. Если так, я могу переключить направление своей работы. Но я желал указать на некоторые соображения, которые указывают против принимаемого без вопросов предположения, что улучшение человеческого интеллекта проще, безопаснее и достаточно мощно, чтобы играть заметную роль.

  1. 12: Взаимодействие ИИ и других технологий. (Interactions of AI with other technologies).

Ускорение желательной технологии – это локальная стратегия, тогда как замедление опасной технологии – это трудная мажоритарная стратегия. Остановка или отказ от нежелательной технологии имеет тенденцию требовать невозможную единодушную стратегию. Я предлагаю думать не в терминах развития или неразвития некоторых технологий, но в терминах прагматичных доступных возможностей ускорять или замедлять технологии; и задаваться вопросом, в границах этих возможностей, какие технологии мы бы предпочли бы видеть развитыми до или после одна другой.

В нанотехнологиях, обычно предлагаемая цель состоит в развитии защитных щитов до появления наступательных технологий. Я очень обеспокоен этим, поскольку заданный уровень наступательной технологии обычно требует гораздо меньших усилий, чем технология, которая может защитить от него. Наступление превосходило оборону в течение большей части человеческой истории. Ружья были созданы за сотни лет до пуленепробиваемых жилетов. Оспа была использована как орудие войны до изобретения вакцины от оспы. Сейчас нет защиты от ядерного взрыва; нации защищены не благодаря обороне, превосходящей наступательные силы, а благодаря балансу угроз наступления. Нанотехнологии оказались по самой своей природе сложной проблемой. Так что, должны ли мы предпочесть, чтобы нанотехнологии предшествовали развитию ИИ, или ИИ предшествовал развитию нанотехнологий? Заданный в такой форме, это несколько мошеннический вопрос. Ответ на него не имеет ничего общего с присущей нанотехнологиям проблемностью в качестве глобального риска, или с собственной сложностью ИИ. В той мере, в какой мы беспокоимся о порядке возникновения, вопрос должен звучать: «Поможет ли ИИ нам справиться с нанотехнологиями? Помогут ли нанотехнологии нам справится с ИИ?»

Мне кажется, что успешное создание ИИ существенно поможет нам во взаимодействии с нанотехнологиями. Я не вижу, как нанотехнологии сделают более простым развитие Дружественного ИИ. Если мощные нанокомпьютеры сделают проще создание ИИ, без упрощения решения самостоятельной проблемы Дружественности, то это – негативное взаимодействие технологий. Поэтому, при прочих равных, я бы очень предпочёл, чтобы Дружественный ИИ предшествовал нанотехнологиям в порядке технологических открытий. Если мы справимся с вызовом ИИ, мы сможем рассчитывать на помощь Дружественного ИИ в отношении нанотехнологий. Если мы создадим нанотехнологии и выживем, нам всё ещё будет предстоять принять вызов взаимодействия с ИИ после этого.

Говоря в общем, успех в Дружественном ИИ должен помочь в решении почти любой другой проблемы. Поэтому, если некая технология делает ИИ не проще и не труднее, но несёт собой определённый глобальный риск, нам следует предпочесть, при прочих равных, в первую очередь встретиться с вызовом ИИ. Любая технология, увеличивающая доступную мощность компьютеров, уменьшает минимальную теоретическую сложность, необходимую для создания ИИ, но нисколько не помогает в Дружественности, и я считаю её в сумме негативной. Закон Мура для Безумной Науки: каждые 18 месяцев минимальный IQ, необходимый, чтобы уничтожить мир, падает на один пункт. Успех в усилении человеческого интеллекта сделает Дружественный ИИ проще, а также поможет в других технологиях. Но улучшение людей не обязательно безопаснее, или проще, чем Дружественный ИИ; оно также не находится в реалистически оцененных пределах наших возможностей изменить естественный порядок возникновения улучшения людей и Дружественного ИИ, если одна из технологий по своей природе гораздо проще другой.

  1. 13: Ход прогресса в области Дружественного ИИ. (Making progress on Friendly AI.)

«Мы предлагаем, чтобы в течение 2 месяцев, десять человек изучали искусственный интеллект летом 1956 года в Дармутском колледже, Ганновер, Нью Гемпшир. Исследование будет выполнено на основе предположения, что любой аспект обучения или любое другое качество интеллекта может быть в принципе столь точно описано, что может быть сделана машина, чтобы симулировать его. Будет предпринята попытка узнать, как сделать так, чтобы машины использовали язык, формировали абстракции и концепции, разрешали бы те проблемы, которые сейчас доступны только людям, и улучшали себя. Мы полагаем, что возможно существенное продвижение в одной или нескольких из этих работ, если тщательно подобранная группа учёных проработает над этим вместе в течение лета».

---- McCarthy, Minsky, Rochester, и Shannon (1955).

Предложение Дартмутского Летнего Исследовательского Проекта по Искусственному Интеллекту являет собой первое зафиксированное употребление фразы «Искусственный Интеллект». У них не было предыдущего опыта, который мог бы их предупредить, что проблема трудна. Я бы назвал искренней ошибкой то, что они сказали, что «значительное продвижение может быть сделано», а не есть «есть небольшой шанс на значительное продвижение». Это специфическое утверждение относительно трудности проблемы и времени решения, которое усиливает степень невозможности. Но если бы они сказали «есть небольшой шанс», у меня бы не было возражений. Как они могли знать?

Дартмутское предложение включало в себя, среди прочего, следующие темы: лингвистические коммуникации, лингвистические рассуждения, нейронные сети, абстрагирование, случайность и творчество, взаимодействие с окружением, моделирование мозга, оригинальность, предсказание, изобретение, открытие и самоулучшение.

(Сноска 5) Это обычно правда, но не есть универсальная истина. В последней главе широко использован учебник «Искусственный интеллект: современный подход». (Russell and Norvig 2003) (Включающий раздел «Этика и риски Искусственного интеллекта», упоминающий взрыв интеллекта по I.J.Good и Сингулярность, и призывающий к дальнейшим исследованиям.) Но и к 2006 году это отношение является скорее исключением, чем правилом.

Теперь мне кажется, что ИИ, способный к языкам, абстрактному мышлению, творчеству, взаимодействию с окружением, оригинальности, предсказаниям, изобретению, открытиям, и, прежде всего, к самоулучшению, находится далеко за пределами того уровня, на котором он должен быть так же и Дружественным. В Дармутском предложении ничего не говорится о построении позитивного / доброго / благоволящего ИИ. Вопросы безопасности не обсуждены даже с целью отбросить их. И это в то искреннее лето, когда ИИ человеческого уровня казался прямо за углом. Дармутское предложение было написано в 1955 году, до Асиломарской (Asilomar) конференции по биотехнологии, детей, отравленных тамиламидом во время беременности, Чернобыля и 11 Сентября. Если бы сейчас идея искусственного интеллекта был бы предложена в первый раз, кто-то доложен был бы постараться выяснить, что конкретно делается для управления рисками. Я не могу сказать, хорошая это перемена в нашей культуре или плохая. Я не говорю, создаёт ли это хорошую или плохую науку. Но сутью остаётся то, что если бы Дартмутское предложение было бы написано 50 лет спустя, одной из его тем должна была бы стать безопасность.

В момент написания этой статьи в 2006 году, сообщество исследователей ИИ по-прежнему не считает Дружественный ИИ частью проблемы. Я бы хотел цитировать ссылки на этот эффект, но я не могу цитировать отсутствие литературы. Дружественный ИИ отсутствует в пространстве концепций, а не просто не популярен или не финансируем. Вы не можете даже назвать Дружественный ИИ пустым местом на карте, поскольку нет понимания, что что-то пропущено. (5) Если вы читали научно-популярные/полутехнические книги, предлагающие, как построить ИИ, такие как «Гёдель, Эшер, Бах». (Hofstadter, 1979) или «Сообщество сознаний» (Minsky, 1986), вы можете вспомнить, что вы не видели обсуждения Дружественного ИИ в качестве части проблемы. Точно так же я не видел обсуждения Дружественного ИИ как технической проблемы в технической литературе. Предпринятые мною литературные изыскания обнаружили в основном краткие нетехнические статьи, не связанные одна с другой, без общих ссылок за исключением «Трёх законов Робототехники» Айзека Азимова. (Asimov, 1942.) Имея в виду, что сейчас уже 2006 год, почему не много исследователей ИИ, которые говорят о безопасности? У меня нет привилегированного доступа к чужой психологии, но я кратко обсужу этот вопрос, основываясь на личном опыте общения.

Поле исследований ИИ адаптировалось к тому жизненному опыту, через который оно прошло за последние 50 лет, в частности, к модели больших обещаний, особенно способностей на уровне человека, и следующих за ними приводящих в замешательство публичных провалов. Относить это замешательство к самому ИИ несправедливо; более мудрые исследователи, которые не делали больших обещаний, не видели триумфа своего консерватизма в газетах. И сейчас невыполненные обещания тут же приходят на ум, как внутри, так и за пределами поля исследований ИИ, когда ИИ упоминается. Культура исследований ИИ адаптировалась к следующему условию: имеется табу на разговоры о способностях человеческого уровня. Есть ещё более сильное табу против тех, кто заявляет и предсказывает некие способности, которые они ещё не продемонстрировали на работающем коде.

У меня сложилось впечатление, что каждый, кто заявляет о том, что исследует Дружественный ИИ, косвенным образом заявляет, что его проект ИИ достаточно мощен, чтобы быть Дружественным.

Должно быть очевидно, что это не верно ни логически, ни философски. Если мы представим себе кого-то, кто создал реальный зрелый ИИ, который достаточно мощен для того, чтобы быть Дружественным, и, более того, если, в соответствии с нашим желаемым результатом, этот ИИ действительно является Дружественным, то тогда кто-то должен был работать над Дружественным ИИ годы и годы. Дружественный ИИ – это не модуль, который вы можете мгновенно изобрести, в точный момент, когда он понадобится, и затем вставить в существующий проект, отполированный дизайн которого в остальных отношениях никак не изменится.

Поле исследований ИИ имеет ряд техник, таких как нейронные сети и эволюционное программирование, которые росли маленькими шажками в течение десятилетий. Но нейронные сети непрозрачны – пользователь не имеет никакого представления о том, как нейронные сети принимают свои решения – и не могут быть легко приведены в состояние прозрачности; люди, которые изобрели и отшлифовали нейронные сети, не думали о долгосрочных проблемах Дружественного ИИ. Эволюционное программирование (ЭП) является стохастическим, и не сохраняет точно цель оптимизации в сгенерированном коде; ЭП даёт вам код, который делает то, что вы запрашиваете – большую часть времени в определённых условиях, но этот код может делать что-то на стороне. ЭП – это мощная, всё более зрелая техника, которая по своей природе не подходит для целей Дружественного ИИ. Дружественный ИИ, как я его представляю, требует рекурсивных циклов самоулучшения, которые абсолютно точно сохраняют цель оптимизации.

Наиболее сильные современные техники ИИ, так, как они были развиты, отполированы и улучшены с течением времени, имеют основополагающую несовместимость с требованиями Дружественного ИИ, как я их сейчас понимаю. Проблема Y2K, исправить которую оказалось очень дорого, хотя это и не было глобальной катастрофой, - точно так же произошла из неспособности предвидеть завтрашние проектные требования. Кошмарным сценарием является то, что мы можем обнаружить, что нам всучили каталог зрелых, мощных, публично доступных техник ИИ, которые соединяются, чтобы породить неДружественный ИИ, но которые нельзя использовать для построения Дружественного ИИ без переделывания всей работы за три десятилетия с нуля. В поле исследований ИИ довольно вызывающе открыто обсуждать ИИ человеческого уровня, в связи с прошлым опытом этих дискуссий. Есть соблазн поздравить себя за подобную смелость, и затем остановиться. После проявления такой смелости обсуждать трансчеловеческий ИИ кажется смешным и ненужным. (Хотя нет выделенных причин, по которым ИИ должен был бы медленно взбираться по шкале интеллектуальности, и затем навсегда остановиться на человеческой точке.) Осмеливаться говорить о Дружественном ИИ, в качестве меры предосторожности по отношению к глобальному риску, будет на два уровня смелее, чем тот уровень смелости, на котором выглядишь нарушающим границы и храбрым.

Имеется также резонное возражение, которое согласно с тем, что Дружественный ИИ является важной проблемой, но беспокоится, что, с учётом нашего теперешнего понимания, мы просто не на том уровне, чтобы обращаться с Дружественным ИИ: если мы попытаемся разрешить проблему прямо сейчас, мы только потерпим поражение, или создадим анти-науку вместо науки. И об этом возражении стоит обеспокоится. Как мне кажется, необходимые знания уже существуют – что возможно изучить достаточно большой объём существующих знаний и затем обращаться с Дружественным ИИ без того, чтобы вляпаться лицом в кирпичную стену – но эти знания разбросаны среди множества дисциплин: Теории решений и эволюционной психологии и теории вероятностей и эволюционной биологии и когнитивной психологии и теории информации и в области знаний, традиционно известной как «Искусственный интеллект»… Не существует также учебной программы, которая бы подготовила большой круг учёных для работ в области Дружественного ИИ.

«Правило десяти лет» для гениев, подтверждённое в разных областях – от математике до тенниса – гласит, что никто не достигает выдающихся результатов без по крайней мере десяти лет подготовки. (Hayes, 1981.) Моцарт начал писать симфонии в четыре года, но это не были моцартовские симфонии – потребовалось ещё 13 лет, чтобы Моцарт начал писать выдающиеся симфонии. (Weisberg, 1986.) Мой собственный опыт с кривой обучения подкрепляет эту тревогу. Если нам нужны люди, которые могут сделать прогресс в Дружественном ИИ, то они должны начать тренировать сами себя, всё время, за годы до того, как они внезапно понадобятся.

Если завтра Фонд Билла и Мелинды Гейтс выделит сто миллионов долларов на изучение Дружественного ИИ, тогда тысячи учёных начнут переписывать свои предложения по грантам, чтобы они выглядели релевантными по отношению к Дружественному ИИ. Но они не будут искренне заинтересованы в проблеме – свидетельство чему то, что они не проявляли любопытства к проблеме до того, как кто-то предложил им заплатить. Пока Универсальный ИИ немоден и Дружественный ИИ полностью за пределами поля зрения, мы можем предположить, что каждый говорящий об этой проблеме искренне заинтересован в ней. Если вы вбросите слишком много денег в проблему, область которой ещё не готова к решению, излишние деньги создадут скорее анти-науку, чем науку – беспорядочную кучу фальшивых решений.

Я не могу считать этот вывод хорошей новостью. Мы были бы в гораздо большей безопасности, если бы проблема Дружественного ИИ могла бы быть разрешена путём нагромождения человеческих тел и серебра. Но на момент 2006 года я сильно сомневаюсь, что это годится – область Дружественного ИИ, и сама область ИИ, находится в слишком большом хаосе. Если кто-то заявляет, что мы не можем достичь прогресса в области Дружественного ИИ, что мы знаем слишком мало, нам следует спросить, как долго этот человек учился, чтобы придти к этому заключению. Кто может сказать, что именно наука не знает? Слишком много науки существует в природе, чтобы один человек мог её выучить. Кто может сказать, что мы не готовы к научной революции, опережая неожиданное? И если мы не можем продвинуться в Дружественном ИИ, потому что мы не готовы, это не означает, что нам не нужен Дружественный ИИ. Эти два утверждения вовсе не эквивалентны!

И если мы обнаружим, что не можем продвинуться в Дружественном ИИ, мы должны определить, как выйти из этой ситуации как можно скорее! Нет никаких гарантий в любом случае, что раз мы не можем управлять риском, то он должен уйти.

И если скрытые таланты юных учёных будут заинтересованы в Дружественном ИИ по своему собственному выбору, тогда, я думаю, будет очень полезно с точки зрения человеческого вида, если они смогут подать на многолетний грант, чтобы изучать проблему с полной занятостью. Определённое финансирование Дружественного ИИ необходимо, чтобы это сработало – значительно большее финансирование, чем это имеется сейчас. Но я думаю, что на этих начальных стадиях Манхетенский проект только бы увеличил долю шума в системе.

Заключение.

Однажды мне стало ясно, что современная цивилизация находится в нестабильном состоянии. I.J. Good предположил, что взрыв интеллекта описывает динамическую нестабильную систему, вроде ручки, точно сбалансированной, чтобы стоять на своём кончике. Если ручка стоит совершенно вертикально, она может оставаться в прямом положении, но если ручка отклоняется даже немного от вертикали, гравитация потянет её дальше в этом направлении, и процесс ускорится. Точно так же и более умные системы будут требовать меньше времени, чтобы сделать себя ещё умнее.

Мёртвая планета, безжизненно вращающаяся вокруг своей звезды, тоже стабильна. В отличие от интеллектуального взрыва, истребление не является динамическим аттрактором – есть большая разница между «почти исчезнуть» и «исчезнуть». Даже в этом случае, тотальное истребление стабильно.

Не должна ли наша цивилизация, в конце концов, придти в один из этих двух режимов? Логически, вышеприведённое рассуждение содержит проколы. Например, Ошибочность Гигантской Ватрушки: умы не бродят слепо между аттракторами, у них есть мотивы. Но даже если и так, то, я думаю, наша альтернатива состоит в том, что или стать умнее, или вымереть.

Природа не жестока, но равнодушна; эта нейтральность часто выглядит неотличимой от настоящей враждебности. Реальность бросает перед вами один выбор за другим, и когда вы сталкиваетесь с вызовом, с которым не можете справиться, вы испытываете последствия. Часто природа выдвигает грубо несправедливые требования, даже в тех тестах, где наказание за ошибку – смерть. Как мог средневековый крестьянин 10 века изобрести лекарство от туберкулёза? Природа не соизмеряет свои вызовы с вашими умениями, вашими ресурсами, или тем, сколько свободного времени у вас есть, чтобы обдумать проблему. И когда вы сталкиваетесь со смертельным вызовом, слишком сложным для вас, вы умираете. Может быть, неприятно об этом думать, но это было реальностью для людей в течение тысяч и тысяч лет. Тоже самое может случится и со всем человеческим видом, если человеческий вид столкнётся с несправедливым вызовом.

Если бы человеческие существа не старели, и столетние имели бы такой же уровень смерти, как и 15-летиние, люди всё равно не были бы бессмертными. Мы будем продолжать существовать, пока нас поддерживает вероятность. Чтобы жить даже миллион лет в качестве не стареющего человека в мире, столь рискованном, как наш, вы должны каким-то образом свести свою годовую вероятность смерти почти к нулю. Вы не должны водить машину, не должны летать, вы не должны пересекать улицу, даже посмотрев в обе стороны, поскольку это всё ещё слишком большой риск. Даже если вы отбросите все мысли о развлечениях и бросите жить ради сохранения своей жизни, вы не сможете проложить миллионолетний курс без препятствий. Это будет не физически, а умственно (cognitively) невозможно.

Человеческий вид Homo sapiens не стареет, но не бессмертен. Гоминиды прожили так долго только потому, что не было арсенала водородных бомб, не было космических кораблей, чтобы направлять астероиды к Земле, не было воённых биолабораторий, чтобы создавать супервирусов, не было повторяющихся ежегодных перспектив атомной войны или нанотехнологической войны или отбившегося от рук ИИ. Чтобы прожить какое-либо заметное время, мы должны свести каждый из этих рисков к нулю. «Довольно хорошо» - это недостаточно хорошо, для того, чтобы прожить ещё миллион лет.

Это выглядит как несправедливый вызов. Этот вопрос обычно не был в компетенции исторических человеческих организаций, не зависимо от того, насколько они старались. В течение десятилетий США и СССР избегали ядерной войны, но не были в этом совершенны; были очень близкие к войне моменты, например, Кубинский ракетный кризис в 1962 году. Если мы предположим, что будущие умы будут являть ту же смесь глупости и мудрости, ту же смесь героизма и эгоизма, как те, о ком мы читаем в исторических книгах – тогда игра в глобальный риск практически закончена; она была проиграна с самого начала. Мы можем прожить ещё десятилетие, даже ещё столетие, но не следующие миллион лет.

Но человеческие умы – это не граница возможного. Homo sapiens представляет собой первый универсальный интеллект. Мы были рождены в самом начале вещей, на рассвете ума. В случае успеха, будущие историки будут оглядываться назад и описывать современный мир как труднопреодолимую промежуточную стадию юности, когда человечество стало достаточно смышлёным, чтобы создать себе страшные проблемы, но недостаточно смышлёным, чтобы их решить.

Но до того как мы пройдём эту стадию юности, мы должны, как юноши, встретится с взрослой проблемой: вызовом более умного, чем человек, интеллекта. Это – выход наружу на высоко-моральной стадии жизненного цикла; путь, слишком близкий к окну уязвимости; это, возможно, самый опасный однократный риск, с которым мы сталкиваемся. ИИ – это единственная дорога в этот вызов, и я надеюсь, что мы пройдём эту дорогу, продолжая разговор. Я думаю, что, в конце концов, окажется проще сделать 747ой с нуля, чем растянуть в масштабе существующую птицу или пересадить ей реактивные двигатели.

Я не хочу преуменьшать колоссальную ответственность попыток построить, с точной целью и проектом, нечто, более умное, чем мы сами. Но давайте остановимся и вспомним, что интеллект – это далеко не первая вещь, встретившаяся человеческой науке, которая казалась трудна для понимания. Звёзды когда-то были загадкой, и химия, и биология. Поколения исследователей пытались и не смогли понять эти загадки, и они обрели имидж неразрешимых для простой науки. Когда-то давно, никто не понимал, почему одна материя инертна и безжизненна, тогда как другая пульсирует кровью и витальностью. Никто не знал, как живая материя размножает себя или почему наши руки слушаются наших ментальных приказов. Лорд Кельвин писал:

«Влияние животной или растительной жизни на материю находится бесконечно далеко за пределами любого научного исследования, направленного до настоящего времени на него. Его сила управлять перемещениями движущихся частиц, в ежедневно демонстрируемом чуде человеческой свободной воли и в росте поколений за поколением растений из одного семечка, бесконечно отличается от любого возможного результата случайной согласованности атомов». (Цитировано по MacFie, 1912.)

Любое научное игнорирование освящено древностью. Любое и каждое отсутствие знаний уходит в прошлое, к рассвету человеческой любознательности; и эта дыра длится целые эпохи, выглядя неизменной, до тех пор, пока кто-то не заполняет её. Я думаю, что даже склонные ошибаться человеческие существа способны достичь успеха в создании Дружественного ИИ. Но только если разум перестанет быть сакральной тайной для нас, как жизнь была для Лорда Кельвина. Интеллект должен перестать быть любым видом мистики, сакральным или нет. Мы должны выполнить создание Искусственного Интеллекта как точное приложение точного искусства. И тогда, возможно, мы победим.

Библиография.

Asimov, I. 1942. Runaround. Astounding Science Fiction, March 1942.

Barrett, J. L. and Keil, F. 1996. Conceptualizing a non-natural entity: Anthropomorphism in God concepts. Cognitive Psychology, 31: 219-247.

Bostrom, N. 1998. How long before superintelligence? Int. Jour. of Future Studies, 2.

Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.

Brown, D.E. 1991. Human universals. New York: McGraw-Hill.

Crochat, P. and Franklin, D. (2000.) Back-Propagation Neural Network Tutorial. http://ieee.uow.edu.au/~daniel/software/libneural/

Deacon, T. 1997. The symbolic species: The co-evolution of language and the brain. New York: Norton.

Drexler, K. E. 1992. Nanosystems: Molecular Machinery, Manufacturing, and Computation. New York: Wiley-Interscience.

Ekman, P. and Keltner, D. 1997. Universal facial expressions of emotion: an old controversy and new findings. In Nonverbal communication: where nature meets culture, eds. U. Segerstrale and P. Molnar. Mahwah, NJ: Lawrence Erlbaum Associates.

Good, I. J. 1965. Speculations Concerning the First Ultraintelligent Machine. Pp. 31-88 in Advances in Computers, vol 6, eds. F. L. Alt and M. Rubinoff. New York: Academic Press.

Hayes, J. R. 1981. The complete problem solver. Philadelphia: Franklin Institute Press.

Hibbard, B. 2001. Super-intelligent machines. ACM SIGGRAPH Computer Graphics, 35(1).

Hibbard, B. 2004. Reinforcement learning as a Context for Integrating AI Research. Presented at the 2004 AAAI Fall Symposium on Achieving Human-Level Intelligence through Integrated Systems and Research.

Hofstadter, D. 1979. Gödel, Escher, Bach: An Eternal Golden Braid. New York: Random House

Jaynes, E.T. and Bretthorst, G. L. 2003. Probability Theory: The Logic of Science. Cambridge: Cambridge University Press.

Jensen, A. R. 1999. The G Factor: the Science of Mental Ability. Psycoloquy, 10(23).

MacFie, R. C. 1912. Heredity, Evolution, and Vitalism: Some of the discoveries of modern research into these matters – their trend and significance. New York: William Wood and Company.

McCarthy, J., Minsky, M. L., Rochester, N. and Shannon, C. E. 1955. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence.

Merkle, R. C. 1989. Large scale analysis of neural structure. Xerox PARC Technical Report CSL-89-10. November, 1989.

Merkle, R. C. and Drexler, K. E. 1996. Helical Logic. Nanotechnology, 7: 325-339.

Minsky, M. L. 1986. The Society of Mind. New York: Simon and Schuster.

Monod, J. L. 1974. On the Molecular Theory of Evolution. New York: Oxford.

Moravec, H. 1988. Mind Children: The Future of Robot and Human Intelligence. Cambridge: Harvard University Press.

Moravec, H. 1999. Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.

Raymond, E. S. ed. 2003. DWIM. The on-line hacker Jargon File, version 4.4.7, 29 Dec 2003.

Rhodes, R. 1986. The Making of the Atomic Bomb. New York: Simon & Schuster.

Rice, H. G. 1953. Classes of Recursively Enumerable Sets and Their Decision Problems. Trans. Amer. Math. Soc., 74: 358-366.

Russell, S. J. and Norvig, P. Artificial Intelligence: A Modern Approach. Pp. 962-964. New Jersey: Prentice Hall.

Sandberg, A. 1999. The Physics of Information Processing Superobjects: Daily Life Among the Jupiter Brains. Journal of Evolution and Technology, 5.

Schmidhuber, J. 2003. Goedel machines: self-referential universal problem solvers making provably optimal self-improvements. In Artificial General Intelligence, eds. B. Goertzel and C. Pennachin. Forthcoming. New York: Springer-Verlag.

Sober, E. 1984. The nature of selection. Cambridge, MA: MIT Press.

Tooby, J. and Cosmides, L. 1992. The psychological foundations of culture. In The adapted mind: Evolutionary psychology and the generation of culture, eds. J. H. Barkow, L. Cosmides and J. Tooby. New York: Oxford University Press.

Vinge, V. 1993. The Coming Technological Singularity. Presented at the VISION-21 Symposium, sponsored by NASA Lewis Research Center and the Ohio Aerospace Institute. March, 1993.

Wachowski, A. and Wachowski, L. 1999. The Matrix, USA, Warner Bros, 135 min.

Weisburg, R. 1986. Creativity, genius and other myths. New York: W.H Freeman.

Williams, G. C. 1966. Adaptation and Natural Selection: A critique of some current evolutionary thought. Princeton, NJ: Princeton University Press.

НикБостром, МаксТегмарк. Насколько невероятна катастрофа судного дня?

Макс Тегмарк (сноска 1) и Ник Бостром (сноска 2)

arXiv:astro-ph/0512204v2

/pdf/astro-ph/0512204

21 Dec 2005

How Unlikely is a Doomsday Catastrophe?ʺ Nature, Vol. 438, No. 7069, p. 754

How Unlikely is a Doomsday Catastrophe?

Max Tegmark & Nick Bostrom

Сноска 1: Department of Physics, Massachusetts Institute of Technology, Cambridge, MA 02139, USA

Сноска 2: Future of Humanity Institute, Faculty of Philosophy,

Oxford University, OX14JJ, Oxford, UK

(Датировано 18 Декабря 2005 года. Эта статья является расширенной версией краткого сообщения, опубликованного в Nature, 438, 754 [1].)

Abstract

В последнее время были проанализированы многочисленные сценарии уничтожения Земли, включая распад метастабильного вакуума и разрушение планеты, вызываемое «странной частицей» (strangelet) или микроскопической чёрной дырой. Мы хотим показать, что множество предыдущих оценок их частоты дают нам фальшивое чувство безопасности: нельзя выводить заключение, что такие события редки, из того факта, что Земля прожила настолько долго, поскольку наблюдатели находятся, по определению, в тех местах, которые были достаточно везучими, чтобы избежать разрушения. Мы выводим новую верхнюю границу в 1 на 10*9 лет (99.9% c.l. – с достоверностью) на частоту внешней (exogenous) окончательной (terminal) катастрофы. Эта граница свободна от систематической ошибки, связанной с селекцией наблюдателей. Для доказательства этого мы используем данные о распределения возрастов планет и о факте относительно позднего формирования Земли.

  1. Введение.

учёные недавно высветили ряд катастрофических сценариев, которые могут уничтожить не только нашу цивилизацию, но даже нашу планету или всю наблюдаемую вселенную, - как если бы нам, людям, больше не о чем было бы беспокоиться. Например, опасения, что столкновения тяжёлых ионов на ускорителе релятивистских тяжёлых ионов в Брукхавене (RHIC) могут запустить такой катастрофический процесс, привели к созданию детального технического отчёта на эту тему [2], в котором рассматривалось три категории рисков:

1. Расширение (Initiation) перехода в более низкое вакуумное состояние, которое будет распространяться от своего источника наружу со скоростью света, уничтожая известную нам вселенную [2, 3, 4].

2. Формирование чёрной дыры или гравитационной сингулярности, которая затягивает обычную материю, и возможно, уничтожает Землю. [2, 4].

3. Формирование стабильной странной материи, которая засасывает обычную материю и превращает её в странную материю, вероятно, уничтожая Землю [2, 5].

Другие сценарии катастроф ранжируются от бесспорных до весьма умозрительных:

4. Удары массивных астероидов, близкий взрыв сверхновой и/или гамма всплеск, теоретически могут стерилизовать Землю.

5. Аннигиляция враждебной расой роботов, колонизирующей пространство.

В отчёте, выполненном в Брукхавене [2], делается вывод, что если пункты 1-3 возможны, они с колоссальной вероятностью будут запущены не RHIC, а естественно происходящими высокоэнергетичеными астрофизическими событиями, такими, как столкновения космических лучей.

Все риски 1-5, вероятно, должны считаться внешними, то есть несвязанными с человеческой активностью и нашим уровнем технического развития. Цель это статьи – оценить вероятность (likelihood) за единицу времени внешних катастрофических сценариев вроде1-5.

Можно подумать, что раз жизнь здесь, на Земле, выжила в течение примерно 4 Гигалет, такие катастрофические события должны быть исключительно редкими. К сожалению, этот аргумент несовершенен, и создаваемое им чувство безопасности – фальшиво. Он не принимает во внимание эффект избирательности наблюдения (observation selection effect) [6, 7], который не позволяет любому наблюдателю наблюдать что-нибудь ещё, кроме того, что его вид дожил до момента, когда они сделали наблюдение. Даже если бы частота космических катастроф была бы очень велика, мы по-прежнему должны ожидать обнаружить себя на планете, которая ещё не уничтожена. Тот факт, что мы всё ещё живы, не может даже исключить гипотезу, что в среднем космическое пространство вокруг стерилизуется распадом вакуума, скажем, каждые 10 000 лет, и что наша собственная планета просто была чрезвычайно удачливой до сих пор. Если бы эта гипотеза была верна, перспективы будущего были бы унылы.

Мы предлагаем способ вывести верхнюю границу частоты космических катастроф, которая неподвержена такой селекции наблюдателей. Мы доказываем, что распределение возрастов планет и звёзд ограничивает частоту многих сценариев глобальной катастрофы, и что сценарии, которые выходят за пределы этой границы (особенно распад вакуума) в свою очередь ограничены относительно поздним временем формирования Земли. Идея состоит в том, что если бы катастрофы были очень часты, почти все разумные цивилизации возникли бы гораздо раньше, чем наша.

Используя информацию о темпах формирования планет, можно вычислить распределение дат рождений разумных видов при различных предположениях о частоте космических цивилизаций. Объединение этого с информацией о нашем собственном временном местоположении позволяет нам заключить, что частота космической стерилизации для обитаемой планеты не больше, чем порядка одного раза на Гигагод.

Рис.2: См. его в оригинальной статье по адресу: /pdf/astro-ph/0512204

На левом графике показано распределение вероятностей наблюдаемого времени формирования планет, в предположении разных характерных промежутков времени между катастрофами: от бесконечности (заштриховано) до 10, 9, 8, 7, 6, 5, 4, 3, 2 и 1 млрд. лет соответственно (справа налево). Правая часть графика показывает вероятность наблюдения некого времени формирования (больше или равно 9,1 млрд. лет для Земли) , то есть области справа от пунктирной линии на левой панели.

II. Верхняяграница частоты катастроф. (AN UPPER BOUND ON THE CATASTROPHE RATE.)

Предположим, что планета случайным образом стерилизуется или уничтожается с некоторой частотой 1/T, которую мы сейчас определим. Это означает, что вероятность выживания планеты в течение времени t падает экспоненциально, как exp(- t/T)

Наиболее прямой путь избежать ошибки от эффекта избирательности наблюдения – это использовать только информацию об объектах, чьё уничтожение не повлияло бы на жизнь на Земле. Мы знаем, что ни одна планета в Солнечной системе от Меркурия до Нептуна не превратилась в чёрную дыру или сгусток странной материи, в течение последних 4,6 гигалет, поскольку их массы были бы по-прежнему заметны по их гравитационному влиянию на орбиты других планет. Это означает, что временная шкала разрушения должна быть соответственно большой, – кроме как в случаях, когда их уничтожение однозначно связанно с нашим, как по общей причине, так и по причине их взрыва, приводящего к разлёту частиц судного дня, вроде чёрных дыр или странных частиц, которые в свою очередь уничтожат Землю.

Эта лазейка в эффекте избирательности наблюдения сужается, если мы примем во внимание экзопланеты, которые мы наблюдали через их частичные затмения их родных звёзд [8] и потому знаем, что они не взорвались.

Частицы конца света, которые обсуждались в литературе, скорее, будут гравитационно захватываться звёздами, а не планетами, и по этой причине наблюдаемое изобилие очень старых звёзд (t больше или приблизительно равно 10 гигалет) (например, [9]) ещё больше уточнит нижнюю границу Т.

Единственный сценарий, который может воспользоваться оставшейся лазейкой систематической ошибки эффекта наблюдения (observer bias loophole) и избежать всех этих ограничений, – это распад вакуума, как спонтанный, так и запущенный неким высокоэнергетичным событием. Поскольку пузырь разрушения распространяется со скоростью света, мы не можем наблюдать разрушения других объектов: мы можем увидеть их разрушение только в тот момент, когда разрушаемся сами. В противовес этому, если сценарии 2 или 3 включают в себя излучение «частиц судного дня» и распространяется, как цепная реакция, медленнее скорости света, мы можем наблюдать сферические чёрные области, создаваемые расширяющимися фронтами разрушения, которые ещё не достигли нас.

Сейчас мы покажем, что временной масштаб вакуумного распада может быть ограничен другим аргументом. Темп формирования f(t) обитаемых планет как функция времени с момента Большого Взрыва показан на рис.1 (левая сторона, затенённое распределение). Эта оценка взята из [10], и основана на симуляциях, включающих создание тяжёлых элементов, взрывы сверхновых и гамма всплески. Если области пространства стерилизуются или разрушаются случайным образом с частотой 1/T, то вероятность того, что случайным образом взятая пространственная область останется неповрежденной, составляет exp(- t/T). Это означает, что распределение условной вероятности (conditional probability) f*(t) для времени формирования планет t с точки зрения наблюдателя – это просто затененное распределение f(t) умноженное на exp(- t/T) и отмасштабированное таким образом, чтобы давать в интеграле единицу. Оно отображено дополнительными кривыми на рис.1 слева. (сноска 1). По мере того, как мы уменьшаем временной параметр (timescale) катастроф T, пик результатирующего распределения (левый график) сдвигается влево и вероятность того, что Земля сформировалась так поздно, как мы это наблюдаем (9,1 гигалет после Большого взрыва) или позже, падает (правая часть рисунка).

*****

Сноска 1: Доказательство: пусть f0(t0) означает распределение вероятности в момент времени t0 после формирования планеты, когда наблюдатель измеряет t(p). В нашем случае, t0=4.6 гигалет. Мы определённо знаем очень мало о функции f0, но, к счастью, она выпадает из наших вычислений. Распределение условной вероятности для tp, изолированной (marginalized over) от t0:

f*p(tp) := integral (from 0 to ‘8’) (f0(t0) x fp(tp) x exp(-(t0+tp)/T) dt0 := fp(tp) x exp(-tp/T) (1)

независимо от неизвестного распределения fo(to), поскольку exp (- (to+tp)/T) = exp (- (to/T) x exp (- (tp/T)), и поэтому весь интеграл разделяется на два множителя, один из которых зависит от t0, а другой от tp.

Пунктирные линии показывают, что мы можем исключить гипотезы, что T < 2.5 гигалет с 95% уверенностью, и соответствующие 99% и 99.9% интервалы уверенности составляют T> 1.6 и T> 1.1 Гигалет соответственно.

Риски 4-ой категории уникальны тем, что у нас есть хорошие прямые измерения частоты столкновений, взрывов суперновых и гамма всплесков, которые не зависят от эффектов избирательности наблюдения. До сих пор наш анализ использовал статистику обитаемых планет из [10], которая включала в себя (folded in) эти измерения из категории 4.

Наши границы неприменимы в целом к катастрофам антропогенного происхождения, которые стали возможны только после того, как были развиты определённые технологии, например, ядерное уничтожение или истребление с помощью сконструированных микроорганизмов или нанотехнологии. Они так же не относятся к природным катастрофам, которые не смогут необратимо разрушить или стерилизовать планету. Другими словами, у нас до сих пор есть множество поводов для беспокойства [11, 12, 13, 14]. Вместо этого наши границы относятся к внешним катастрофам (спонтанным или вызванным космическими лучами), частота которых не связанна с человеческой активностью, при условии, что они вызывают необратимую стерилизацию.

Наши численные вычисления базируются на ряде предположений. Например, мы полагаем частоту экзогенных катастроф 1/T в качестве константы, хотя нетрудно предположить, что она изменяется в пределах 10%в порядке соответствующей временной шкалы, поскольку сама наша граница T имеет порядок 10% от возраста Вселенной (сноска 2).

Во-вторых, частота формирования обитаемых планет опирается на несколько предположений, детально обсуждаемых в [10], которые могут легко изменить результат в пределах 20%. В-третьих, риск событий, вызванных космическими лучами, будет слегка меняться от места к месту, если так же будут меняться сами космические лучи. В-четвёртых, из-за космологических флюктуаций массы, разброс масс будет отличаться на 10% от одного региона размером порядка 10*9 световых лет к другому, так что риск того, что космические лучи вызовут распад вакуума, может варьироваться в том же порядке.

В целом, хотя более детальные вычисления могут изменить количественные границы на множитель порядка единицы, наш основной результат, состоящий в том, что вероятность внешнего уничтожения невелика на человеческой и даже геологической шкале, выглядит весьма надёжным.

***

Сноска 2: как было указано в частной беседе Jordi Miralda-Escude , ограничение на вакуумный распад имеет даже более сильный характер, чем наше консервативное предположение. Вероятность того, что данная точка не является местом вакуумного распада в момент времени t, – есть вероятность того, что в пределах обращённого назад светового конуса нет центров пузырей кристаллизации (bubble nucleations), чей 4-х мерный объём пространства-времени пропорционален 4-ой степени времени, как в отношении приращения материи, так и излучения. (for both matter-dominated and radiation-dominated expansion). Таким образом, постоянная частота образования ядер кристаллизации в единице объёма означает вероятность выживания exp ((- (t)/T)*4) (обратно пропорционально экспоненте 4-ой степени времени) для некого характерно времени разрушения T. Повторение нашего анализа с заменой exp ((- (t)/T)) на exp ((- (t)/T)*4) приводит к уточнению нашего ограничения. Высказанное нами ограничение соответствует консервативному предположению, где T значительно превосходит время существования вселенной в эпоху доминирования тёмной материи, что делает уходящий в прошлое световой конус линейно пропорциональным t.

***

III. ЗАКЛЮЧЕНИЕ.

Мы показали, что жизнь на Земле очень вряд ли будет уничтожена внешней катастрофой в ближайшие 1 млрд. лет. Это численное ограничение получается из сценария, на который мы имеем наиболее слабые ограничения: распад вакуума, ограниченный только относительно поздним формированием Земли. Этот вывод переносится так же и на ограничения на гипотетические антропогенные катастрофы, вызванные высокоэнергетичными физическими экспериментами (риски 1-3). Это следует из того, что частотность внешних катастроф, например, происходящих из столкновений космических лучей, устанавливает верхнюю границу на частоту своих антропогенных аналогов. В силу этого наш результат закрывает логическую брешь ошибки селективности наблюдения и даёт заверения, что риск глобальной катастрофы, вызванной опытами на ускорителях, чрезвычайно мал, до тех пор, пока события, эквивалентные тем, что происходят в экспериментах, случаются чаще в естественных условиях. А именно, Брукхавенский отчёт [2] предполагает, что глобальные катастрофы могут происходить гораздо более чем в 1000 раз чаще в естественных условиях, чем на ускорителях. Предполагая, что это так, наше ограничение в 1 млрд. лет переходит в консервативную верхнюю границу 10*(-12) годового риска от ускорителей, что обнадёживающе мало.

4. Благодарности:

Авторы благодарны Adrian Kent, Jordi Miralda-Escude и Frank Zimmermann за обнаружение брешей в первой версии этой статьи, авторам [10] за пользование их данными и Milan Circovic, Hunter Monroe, John Leslie, Rainer Plaga и Martin Rees за полезные комментарии и дискуссии. Спасибо Paul

Davies, Charles Harper, Andrei Linde и Фонду John Templeton Foundation за организацию семинара, на котором это исследование было начато. Эта работа была поддержана NASA grant NAG5-11099, NSF CAREER grant AST-0134999, и стипендиями от David и Lucile Packard Foundation и Research Corporation.

[1] M. Tegmark and N. Bostrom, Nature, 438, 754 (2005)

[2] R. L. Jaffe, W. Busza, Sandweiss J, and F. Wilczek,

Rev.Mod.Phys., 72, 1125 (2000)

[3] P. Frampton, Phys. Rev. Lett., 37, 1378 (1976)

[4] P. Hut and M. J. Rees 1983, “How Stable Is Our Vac-

uum?”, Nature, 302, 508 P. Hut 1984, Nucl.Phys. A,

418, 301C

[5] A. Dar, A. De Rujula, and U. Heinz, Phys.Lett. B, 470,

142 (1999)

[6] B. Carter 1974, in IAU Symposium 63, ed. M. S. Longair

(Reidel: Dordrecht)

[7] N. Bostrom, Anthropic Bias: Observation Selection Ef-

fects in Science and Philosophy (Routledge: New York,

2002)

[8] F. Pont, astro-ph/0510846, 2005

[9] B. M. S Hansen et al., ApJ, 574, L155 (2002)

[10] C. H. Lineweaver, Y. Fenner, and B. K. Gibson, Science,

203, 59 (2004)

[11] J. Leslie, The End of the World: The Science and Ethics

of Human Extinction (Routledge: London, 1996)

[12] N. Bostrom, Journal of Evolution and Technology, 9, 1

(2002)

[13] M. J. Rees, Our Final Hour: How Terror, Error, and

Environmental Disaster Threaten Humankind’s Future in

This Century — On Earth and Beyond (Perseus: New

York, 2003)

[14] R. Posner, Catastrophe: Risk and Response (Oxford

Univ. Press: Oxford, 2004)

Ник Бостром. Рассуждение о Конце Света для начинающих.

/primer1.html

… Рассуждение о Конце света для начинающих…

...A Primer on the Doomsday argument....

Философия редко даёт эмпирические предсказания. Рассуждение о Конце Света является важным исключением. Исходя из кажущихся очевидными предположений, оно стремится показать, что риск вымирания человечества в ближайшем будущем систематически недооценивается. Первая реакция почти каждого человека: что-то должно быть не так с таким рассуждением. Но, несмотря на тщательное исследование всё большим числом философов, ни одной простой ошибки в этом рассуждении не было обнаружено.

Это началось около пятнадцати лет назад, когда астрофизик Брэндон Картер (Brandon Carter) обнаружил прежде незамеченное следствие из одной из версий антропного принципа. Картер не опубликовал своё открытие, но идея была подхвачена философом Джоном Лесли (John Leslie), который был плодовитым авторам на эту тему и написал монографию «Конец мира» (The End of the World (Routledge, 1996).) Разные версии Рассуждения о конце света были независимо обнаружены другими авторами. В последние годы было опубликовано определённое количество статей, пытавшихся опровергнуть этот аргумент, и примерно равное количество статей, опровергающих эти опровержения.

Вот само Рассуждение о конце света. Я объясню его в три этапа.

Шаг 1.

Представим себе Вселенную, которая состоит из 100 изолированных боксов. В каждом боксе один человек. 90 из боксов раскрашены синим снаружи, и оставшиеся 10 – красным. Каждого человека попросили высказать догадку, находится ли он в синем или красном боксе. (И каждый из них знает всё это.)

Далее, предположим, вы находитесь в одном из боксов. Какого цвета он, по вашему, должен быть? Поскольку 90% из всех людей находятся в голубых боксах, и поскольку вы не имеете никакой другой значимой информации, кажется, что вы должны думать, что с вероятностью в 90% вы находитесь в голубом боксе. Договоримся называть идею о том, что вы должны размышлять, как если бы вы были случайным экземпляром (random sample) из набора всех наблюдателей – предположением о собственном расположении (self-sampling assumption).

Предположим, что все принимают предположение о собственном расположении и все должны сделать ставку на то, находятся ли они в синих или красных боксах. Тогда 90% из всех людей выиграют и 10% проиграют. Представим, с другой стороны, что предположение о собственном расположении отвергнуто, и люди полагают, что шансы находится в синей комнате ничем не больше, тогда они сделают ставку, бросив монету. Тогда, в среднем, 50% людей выиграют, и 50% проиграют. - Так что рациональной моделью поведения было бы принять предположение о собственном нахождении, во всяком случае, в данном случае.

Шаг 2.

Теперь мы немного модифицируем этот мысленный эксперимент. У нас по-прежнему есть 100 боксов, но в этот раз они не выкрашены в синий или красный. Вместо этого они пронумерованы от 1 до 100. Номера написаны снаружи. Затем бросается монетка (может быть, Богом). Если выпадают орлы, один человек создаётся в каждом боксе. Если выпадают решки, люди создаются в боксах с номерами с 1 по 10.

Вы обнаруживаете себя в одном из боксов, и вам предлагается догадаться, имеется ли в боксах 10 или 100 человек. Поскольку это число определяется бросанием монетки, и поскольку вы не видели, как монетка выпала, и вы не имеете никакой другой значимой информации, кажется, что вам следует предполагать, что с 50% вероятностью выпали орлы ( и в силу этого имеется 100 человек)

Более того, вы можете использовать предположение о собственном расположении, чтобы определить условную вероятность (conditional probability) того, что на вашем боксе написан номер от 1 до 10, в зависимости от того, как выпала монетка. Например, при условии орлов вероятность того, что номер вашего бокса лежит между 1 и 10 составляет 1/10, поскольку в них будет находиться одна десятая людей. При условии решек вероятность того, что ваш номер лежит от 1 до 10 равна 1; в этом случае вам известно, что все находятся в этих боксах.

Предположим, что вы открываете дверь, и обнаруживаете, что вы находитесь в боксе 7. Затем вас снова спрашивают, как выпала монета? Но теперь вероятность того, что выпала решка, больше 50%. Поскольку то, что вы наблюдаете, даёт большую вероятность этой гипотезе, чем гипотезе, что выпали орлы. Точная новая вероятность выпадения решки может быть вычислена на основании теоремы Байса. Это примерно 91%. Таким образом, после обнаружения того, что вы находитесь в боксе номер 7, вам следует думать, что с вероятностью в 91% здесь находится только 10 людей.

Шаг 3.

Последний шаг состоит в переносе этих результатов на нашу текущую ситуацию здесь, на Земле. Давайте сформулируем две конкурирующие гипотезы. Ранняя Гибель: человечество вымирает в следующем столетии и суммарное число людей, которое существовало за всё время, составляет, скажем, 200 миллиардов. Поздняя Гибель: человечество переживает следующий век и отправляется колонизировать галактику; суммарное число людей составляет, скажем, 200 триллионов. Для упрощения изложения мы рассмотрим только эти две гипотезы. (Использование дробного деления пространства гипотез не изменяет принцип, хотя даёт более точные численные значения.)

Ранняя гибель соответствует здесь тому, что есть только 10 человек в мысленном эксперименте Шага 2. Поздняя Гибель соответствует здесь тому, что было 100 человек. Номерам боксов мы сопоставим «ранги рождения» (birth ranks) человеческих существ – их позицию в человеческой расе. Изначальной вероятности (50%) того, что монета упадёт орлом или решкой, мы сопоставим некоторую изначальную вероятность Ранней Гибели и Поздней Гибели. Эта оценка будет выполнена на основе наших обычных эмпирических оценок потенциальных угроз человеческому выживанию, таких как ядерная или биологическая война, взрывающий завод метеорит, неограниченно растущий парниковый эффект, вышедшие из-под контроля саморазмножающиеся наномашины, распад метастабильного вакуума в результате высокоэнергетичных экспериментов с элементарными частицами и так далее (вероятно, есть много опасностей, о которых мы даже не думали). Скажем, что на основе таких размышлений, вы полагаете, что вероятность Ранней Гибели составляет 5%. Точное число не важно для структуры рассуждения.

Наконец, тому факту, что вы обнаруживаете себя в боксе 7, соответствует тот факт, что вы обнаруживаете, что ваш ранг рождения составляет примерно 60 миллиардов (что примерно соответствует числу людей, которое жило до вас). И подобно тому, как обнаружение себя в боксе 7 увеличивает вероятность того, что монетка выпала решкой, обнаружение себя человеком номер 60 миллиардов даёт вам основания полагать, что Ранняя Гибель более вероятна, чем вы думали раньше. В данном случае апостериорная вероятность Ранней Гибели очень близка к 1. Вы почти наверняка можете исключить Позднюю Гибель.

*

Таково Рассуждение о Конце Света в двух словах. Услышав его, многие люди думают, что они знают, что неправильно в нём. Но эти возражения имеют тенденцию быть взаимно несовместимыми, и часто они держатся на неких простых непониманиях. Обязательно прочтите имеющуюся литературу до того, как чувствовать себя достаточно уверенным в том, что у вас есть опровержение.

Если Рассуждение о Конце Света верно, что именно оно показывает? Оно не говорит, что нет смысла пытаться уменьшить угрозы человеческому выживанию, потому что «мы обречены в любом случае». Наоборот, Рассуждение о Конце Света может сделать такие усилия выглядящими даже более срочными. Работы по уменьшению риска того, что нанотехнологии будут употреблены во вред, чтобы уничтожить разумную жизнь, например, уменьшат начальную вероятность Ранней Гибели, и это уменьшит также её апостериорную вероятность после принятия в расчет Рассуждения о Конце Света; так что ожидаемая продолжительность жизни человечества вырастет.

Есть также определённое количество «брешей» или альтернативных интерпретаций того, что именно говорит Рассуждение о Конце Света. Например, оказывается, что если существует множество внеземных цивилизаций, и вы интерпретируете предположение о собственном местоположении как применимое в равное мере ко всем разумным существам, а не только к людям, то тогда происходит другой сдвиг вероятности, который точно уравновешивает и отменяет сдвиг вероятности, следующий из Рассуждения о Конце Света. Другая возможная брешь – это если в будущем будет бесконечно много людей; неясно, как применять предположения о собственном расположение в бесконечном случае. Далее, если люди разовьются в значительно более продвинутый вид довольно скоро (за век или два), может быть, посредством использования продвинутых технологий, тогда не ясно, будут ли эти пост-люди в том же референетном классе, что и мы, так что тогда не понятно, как в этом случае должно применяться Рассуждение о Конце Света.

Другой возможностью является то, что если размер популяции значительно уменьшится – то тогда потребуется гораздо больше времени, до того как достаточное людей родится, чтобы ваш ранг рождения начал казаться удивительно малым. И, наконец, может быть так, что референтные классы должны быть сделаны относительными, так что не все наблюдатели, даже не все люди, будут принадлежать к одному и тому же референетному классу.

Оправдание введения относительности референтных классов могло бы придти из общей теории эффектов избирательности наблюдения, в которой предположение о собственном расположении будет только одним из элементов. Теория эффектов селективности наблюдения – теория о том, как корректировать систематические ошибки (bias), которые вводятся тем фактом, что наши свидетельства отфильтрованы предусловием, что подходящим образом расположенный наблюдатель существует, «чтобы» получить эти свидетельства – будет иметь приложения во множестве областей науки, включая космологию и эволюционную биологию.

Так что хотя Рассуждение о Конце Света содержит интересную идею, оно должно быть соединено с дополнительными предположениями и принципами (некоторые из которых ещё предстоит выработать) до того, как она может быть применено к реальному миру. По всей вероятности, даже когда будут заполнены все детали, будет набор возможных вариантов относительно нашего будущего. Тем не менее, лучшее понимание эффектов избирательности наблюдения исключит определённые типы гипотез и установит неожиданные ограничения на любые самосогласованные теоретические построения о будущем нашего вида и о распределении наблюдателей во вселенной.

Ник Бостром. Doomsday Argument жив и брыкается.

Текст перевода:

/texts/2007/05/20-267.html

The Doomsday Argument is Alive and Kicking

(c) Nick Bostrom

Dept. of Philosophy, Logic and Scientific method

London School of Economics; Houghton St.; WC2A AE; London; UK

Email: n.bostrom@lse.ac.uk

Homepage: /nickb

[Более поздняя версия этой статьи выходит в Mind. Сноски опущены в HTML версии.]

Оригинал текста:

http://www.anthropic-principle.com/preprints/ali/alive.html

Перевод: Алексей Валерьевич Турчин. avturchin ---

Разрешено некоммерческое использование перевода

Корб и Оливер (Korb and Oliver) в недавней статье в этом журнале пытаются опровергнуть Doomsday Argument (DA – Рассуждение о конце света) Картера-Лесли. Я объединил их замечания в 5 возражений, и показал, что все они терпят провал. Необходимы дальнейшие усилия, чтобы выяснить, что не так – если оно есть – с беспокоящими рассуждениями Картера и Лесли. Будучи в конечном счёте безуспешными, возражения Корба и Оливера заставляют нас, в некоторых случаях, прояснить свои позиции по поводу того, что DA означает, и что оно не означает.

Возражение первое.

Корб и Оливер предложили минимальные ограничения, которым любой индуктивный метод должен соответствовать:

Принцип нацеленности на правду (Targeting Truth (TT) Principle): Ни один индуктивный метод не должен – во всяком случае, в этом мире – указывать на правду в меньшей мере, чем бросание монеты. (Korb & Oliver, p. 404)

«DA, - утверждают они, - нарушают этот разумный принцип. В поддержку своего заявления они просят нас рассмотреть популяцию в 1000 человек (то есть популяцию, которая вымирает после 1000 индивидуумов) и ретроспективно применить наше Рассуждение к этой популяции, когда она была размером в 1,2,3 и так далее. Предполагая, что Рассуждение подразумевает заключение о том, что суммарная популяция ограничена размером, в два раза превосходящим любую заданную выборку… получаем, что в 499 случаях заключения, сделанные на основе Рассуждения о Конце Света, оказываются ложными, и в 501 случае они верные, что означает низкий исход для индуктивной схемы заключений.» (p. 405)

Но в предлагаемом контрпримере к Рассуждению о Конце света TT принцип не нарушается – 501 верных и 499 неверных догадок определённо лучше, чем можно было ожидать от случайной процедуры, вроде бросания монетки. Причина того, что результат только немного больше случайного – просто в том, что в приведённом примере участники ставят на самую строгую гипотезу, на которую они могли бы ставить при прочих равных (а именно, на ту, что суммарная популяция разделена надвое данным объёмом) - это означает, конечно, что их ожидаемый выигрыш минимален. Не удивительно, что в этом случае человек, который делает ставку по DA, лишь ненамного более успешен, чем тот, кто не делает этого. Если бы ставка была не на предположение, что суммарная популяция делится на двое данным объёмом, а, скажем, на три, - то преимущество ставящего по DA было бы значительно большим. И рассуждающий мог бы быть даже ещё более уверен в том, что суммарный объём не превышает данный в 30 раз.

Вывод: Возражение 1 ни говорит о том, что DA нарушает ТТ принцип, ни показывает, что DA даёт лишь незначительный улучшение шансов быть правым.

Возражение второе.

Как впервые было замечено французским математиком Jean-Paul Delahaye (в неопубликованном тексте) основная форма DA, кажется, может быть применена не только к выживанию человеческой расы, но так же и к продолжительности вашей собственной жизни. Второе возражение Корба и Оливера ухватывается за эту идею.

«Если вы пронумеруете минуты вашей жизни, начиная с первой, когда вы знали о применимости DA к вашей продолжительности жизни и до последней такой минуты, то тогда, согласно DA, вы должны ожидать смерти до того, как вы закончите читать эту статью.» (fn. 2, p. 405)

Однако, это заявление некорректно. Форма DA, применимая к вашей собственной продолжительности жизни, не означает, что вы должны умереть до того, как вы завершили чтение этой статьи. DA говорит, что в некоторых случаях вы можете рассуждать так, как если бы вы были случайным примером, выдернутым из определённого референтого класса. Принимая во внимание информацию, предоставленную этим случайным примером, вы должны изменить свои представления в соответствии с теоремой Байеса. Это может сместить вашу оценку вероятности в пользу гипотезы, которая говорит, что ваша позиция в человеческой популяции будет довольно типичной - скажем, в средних 98 процентах, а не в первом или последнем проценте среди всех людей, которые когда-либо родились. Но как подчёркивает Джон Лесли, та вероятностная оценка, с которой вы заканчиваете после сделанной коррекции, зависит от вашей априорной оценки, то есть вероятностной оценки, которую вы имели до того, как приняли во внимание DA. В вопросе выживания человеческой расы ваша априорная оценка может быть обоснована на ваших оценках того, что мы будем истреблены ядерной войной, бактериологическим оружием, катастрофой с будущими самореплицирующимися нанороботами, столкновением с метеоритом и т. д. В случае вашей собственной продолжительности жизни, вы могли бы учесть такие факторы, как средняя человеческая продолжительность жизни, ваше состояние здоровья, и любое физическое состояние вашего окружения, которое может привести к вашей кончине до того, как вы закончите читать эту статью. На основе таких рассуждений вероятность того, что вы умрёте в течение ближайшего получаса, должна восприниматься как крайне малая. Но если так, то даже значительный сдвиг вероятности за счёт умозаключений в духе DA не должен приводить вас к заключению, что вы умрёте до того, как закончите читать статью. Так что, вопреки тому, что Корб и Оливер утверждают, использующий DA не придёт к абсурдному умозаключению, что он, скорее всего, исчезнет в ближайшие полчаса, даже если этот человек будет полагать, что DA применимо к его личной продолжительности жизни.

Хотя этого достаточно, чтобы отбросить Возражение Два, более фундаментальный вопрос здесь в том, возможно ли вообще (и если да, то как) применять DA к индивидуальной продолжительности жизни. Я думаю, мы упустим слишком многое, если мы допустим даже небольшой сдвиг вероятности в этом случае. У меня есть две причины для утверждения этого (которые я только очерчу здесь):

Во-первых, применение Корбом и Оливером DA к индивидуальной продолжительности жизни предполагает специфическое решение того, что обычно называется проблемой референтных классов. Кратко говоря, это вопрос о том, представителем какого класса объектов вы себя считаете? Это класс всех осознающих существ? Или всех существ, которые имеют идею о своём порядковом номере рождения (birth rank)? Или всех существ, которые в действительности знают DA? По моему мнению, проблема референтных классов до сих пор не решена, и это – основная проблема, стоящая перед тем, кто говорит о DA. Возражение Корба и Оливера предполагает, что проблема референтных классов решена в пользу последней альтернативы: что референтный класс состоит исключительно из тех существ, которые в курсе о DA. Это, вероятно, не самое убедительное решение.

Вторая причина, по которой сторонник DA не должен доверять сдвигу вероятности в приведённом выше примере, состоит в том, что требование отсутствия внешнего наблюдателя (no-outsider requirement) не выполнено. Ситуация с требованием об отсутствии внешнего наблюдателя является весьма непростой, но её стоит объяснить, потому что это интересно само по себе.

Рассмотрим сперва изначальное применение DA (а именно, к выживанию всего человеческого рода). Предположим, вы уверены, что существует внеземная разумная жизнь. Предположим, что вы знаете, что существует миллион «малых» цивилизаций, каждая из которых содержит 200 миллиардов существ, и миллион «больших» цивилизаций, каждая из которых имеет 200 триллионов существ. И предположим, вы знаете, что человеческий вид – это одна из этих цивилизаций, но вы не знаете, большая или малая.

Чтобы вычислить вероятность того, что гибель настанет скоро (то есть что человеческий род – малая цивилизация), нам следует выполнить три шага:

Шаг 1. Оценим эмпирическую априорную вероятность Pr(small), то есть вероятность того, что биологическое оружие покончит с нашим видом до того, как он станет большим. В этом случае вы не принимаете в расчет никакую форму DA и рассуждений, основанных на антропном принципе.

Шаг 2. Затем примем в расчет то, что большинство людей обнаруживают себя в больших цивилизациях. Путь Н – предположение о том, что «я -человек» и определим новую вероятностную функцию Pr*( . ) = Pr( . | H), получаемую под условием H.

По теореме Байеса:

Pr*(small)=pr(small\H) = (pr(H\small) x pr(small))/pr(H)

Картинка с формулой по адресу:

http://www.anthropic-principle.com/preprints/ali/Image45.gif

(Подобное же выражение получатся и для не-малых цивилизаций.) предполагая, что вы можете считать себя случайным экземпляром из числа всех людей, мы получаем:

Pr(H\small) = (200 миллирадов)/((200 млрд + 200 трлн)x 1 миллион)

/preprints/ali/Image46.gif

И

Pr(H\ - small) = (200 триллионов)/((200 млрд + 200 трлн)x 1 миллион)

/preprints/ali/Image47.gif

(Если мы посчитаем P*(Small), мы обнаружим, что она очень мала для любой разумной изначальной вероятности. Другими словами, на этой стадии вычислений, дело выглядит так, как если бы человеческий вид был бы скорее всего долгоживущим.

Шаг 3. теперь мы примем в расчет DA. Пусть Е – предположение о том, что вы обнаруживаете себя раньше, то есть вы среди первых 200 миллиардов в своей цивилизации. При условии этого события, мы получаем постериорную вероятностную функцию Pr**( . ) = Pr*( . | E). Тогда

Pr**(small)=pr*(small\E) = (pr*(E\small) x pr*(small))/pr*(E)

http://www.anthropic-principle.com/preprints/ali/Image48.gif

Отметьте, что Pr*(E | Small) = 1 и Pr*(E | ¬Small) = 1/1000. Подставляя в выражения выше, легко убедиться, что:

Pr**(small) Pr(small)

------------- = ----------------

Pr**(- small) Pr(-small)

/preprints/ali/Image49.gif

Таким образом, мы видим, что мы вернулись к эмпирическим оценкам вероятности, с которых мы начали. DA ( в шаге 3) служит только для того, чтобы отменить эффект, который мы приняли во внимание в шаге 2, а именно, что вы с больше вероятностью оказываетесь представителями человеческой цивилизации, при условии, что человеческая цивилизация – одна из больших, а не одна из малых цивилизаций. Это показывает, что если мы предполагаем, что существуют «большие» и «малые» внеземные цивилизации (точные числа в вышеприведённых примерах значения не имеют), то тогда правильны вероятности – это те, которые даны наивной предварительной эмпирической оценкой. Только если нет «внешних» (цивилизаций), то DA работает так, как это задумывалось.

Возвращаясь к случаю, когда вы применяете DA к вашей собственной продолжительности жизни, мы видим, что в этом случае требование об отсутствии внешних субъектов не выполняется. И действительно, если вы рассмотрите период своей жизни, в течение которого вы знали о DA, и вы разобьёте этот период на временные отрезки (осознаваемые моменты), то тогда вы можете заключить, что если вы проживёте долго, то тогда данный момент будет являться исключительно ранним временным фрагментом из этих временных фрагментов. Это может вас склонить к мысли, что вы, скорее всего, умрёте вскоре (если игнорировать трудности, указанный выше). Но даже если DA применим здесь, это неправильный вывод. В этом случае вы знаете, что есть много внешних субъектов. Здесь внешними субъектами будут временные отрезки других людей. Подобно тому, как знание о том, что есть большие и малые цивилизации, аннулирует исходный DA, так и в этом случае знание о том, что есть другие коротко-живущие и долго-живущие люди аннулирует вероятность неминуемой гибели. Тот факт, что нынешний момент сознания принадлежит вам, должен означать, что вы - тот индивид, которые скорее будет иметь много моментов осознания, чем мало, то есть вы будете долгоживущим человеком. И может быть показано (как выше), что это уравновесит тот факт, что нынешний момент осознания является экстраординарно ранним среди всех ваших моментов осознания, в которых в будете долгоживущими.

Вывод: Возражение Два ошибочно в том, что не принимает в расчет априорные вероятности. Они являются крайне малыми для гипотезы, что вы умрёте в ближайшие 30 минут. Таким образом, вопреки тому, что заявляют Корб и Оливер, даже если сторонник DA полагает, что DA применим в этом случае, он не должен предсказывать, что вы умрёте в ближайшие 30 минут. Однако, сторонник DA не должен полагать, что DA применим в этом случае, по двум причинам. Во-первых, потому что он предполагает доказуемо бесспорное решение проблемы референтных классов.

Во-вторых, даже если мы примем, что только те существа, которые знают о DA, должны быть в референтном классе, и если дозволено применять DA к временным сегментам наблюдателей, вывод всё равно не будет верен; потому что требование отсутствия внешних субъектов не учтено.

Возражение третье.

Третье возражение начинается с заявления, что (в рамках Байсовой логики) выборка в один элемент слишком мала, чтобы произвести значительные изменения в чьих-то рациональных убеждениях.

«основная идея… весьма проста: выборка размером в единицу катастрофически мала. То есть, каково бы свидетельство из этой выборки не было, априорное распределение размеров популяции будет доминировать в окончательном результате вычислений. Единственный путь избежать этой проблемы – это ввести узкие искусственный ограничения в пространство гипотез». (p. 406)

Затем они отмечают, что в пространстве гипотез, содержащем только две гипотезы, всё-таки может произойти существенный сдвиг:

«Если мы рассмотрим случай с двумя вариантами, описанный Бостромом, мы легко можем убедиться, что он прав насчёт вероятностей». (p. 406)

(Вероятность в этом примере сдвинулась с 50% до 99.999%, что наверняка «значительно», и подобный результат получается для широкого разброса изначальных вероятностей.) Но Корб и Оливер полагают, что такой значительный сдвиг может произойти только в том случае, если мы введём «узкие искусственный ограничения в пространство гипотез» путём рассмотрения только двух соперничающих гипотез вместе много большего их числа.

Легко убедиться, в том, что это неверно. Пусть {H2, H3, …hN} – пространство гипотез и путь Р – некая вероятностная функция, которая приписывает ненулевую вероятность всем этим гипотезам. Пусть hi будет наименее вероятной из этих гипотез. Путь e = исход одного случайного наблюдения. Не трудно убедиться, просто путём анализа формулы Байеса, что постериорная вероятность P(hi | e) может быть сделана произвольно большой путём выбора соответствующего e:

Картинка с формулой по адресу:

/preprints/ali/Image51.gif

выбирая e так, чтобы P(e | hj) было малым для всех i не равно j , мы имеем:

Картинка с формулой по адресу:

http://www.anthropic-principle.com/preprints/ali/Image53.gif

И действительно, мы получаем P(hi | e) = 1, если мы выбираем е таким P(e | hj) = 0, при i не равно j. (Это может соответствовать тому случаю, когда вы обнаруживаете, что ваш номер рождения 200 миллиардов, и тут же приписываете нулевую вероятность всем гипотезам, согласно которым людей меньше, чем 200 миллиардов)

Вывод: Оливер и Корб неправы, когда они заявляют, что изначальные данные всегда будут доминировать над любыми вычислениями, базирующимися на одном свидетельстве.

Возражение четвёртое.

Увеличивая количество гипотез об окончательном размере человеческого рода, которые мы выбрали для рассмотрения, мы можем, согласно Корбу и Оливеру, сделать вероятностный сдвиг, который DA вызывает, произвольно малым.

«В любом случае, если ожидаемые размер популяции людей … выглядит неприятно малым, мы можем сдвинуть эту величину вверх, и таким образом отодвинуть дату нашего коллективного уничтожения, на произвольную величину, просто путём рассмотрения больших пространств гипотез. (p. 408)

Довод состоит в том, что если мы используем однородную первичную оценку (uniform prior) по отношению к выбранному пространству гипотез {H2, H3, ..., hn}, где hi – это гипотеза о том, что всего будет жить i людей, то тогда ожидаемое число людей, которые были живы, зависит от n: чем большую величину мы даём n, тем больше ожидаемая будущая популяция. Корб и Оливер вычислили ожидаемую величину человеческой популяции для разных значений n, и обнаружили, что результат действительно меняется.

Отметьте, прежде всего, что нигде здесь нет отсылки к DA. Если бы это рассуждение было бы верно, оно бы работало одинаковым образом, независимо от любых способов предсказания того, как долго проживут люди.

Например, если бы в течение Кубинского кризиса вы бы боялись – основываясь на очевидных эмпирических факторах, что человечество вымрет в течение года, вам бы на самом деле нечего было бы бояться. Вы могли бы просто рассмотреть более широкое пространство гипотез и таким образом вы бы достигли произвольно высокой степени уверенности, что гибель не нависает. Если бы только сделать мир лучше было бы так просто.

Какова же правильная изначальная оценка для использования с DA? Всё, что мы можем сказать с общефилософской точки зрения, что она та же самая, как для тех людей, которые не верят в DA. Сторонник DA не видит здесь особой проблемы. Единственный законный путь создания предварительной оценки состоит в эмпирической оценке потенциальных угроз человеческому роду. Вы должны сделать его на основе ваших лучших догадок-оценок (guesstimates) относительно опасности биологического оружия, ядерных вооружений, нано-оружия, астероидных и метеорных ударов по Земле, убегающего парникового эффекта, будущих высокоэнергетичных физических экспериментов (которые могут вызвать распад метастабильного вакуума) и других опасностей, которые мы сейчас представить не можем. (Обзор этих и других рисков составляет значительную часть монографии Джона Лесли (1996) о DA. Он оценивает исходную вероятность, основанную на этих соображениях, что человечество вымрет в ближайшие 200 лет примерно в 5%)

Было бы актом благотворительности интерпретировать слова Корба и Оливера не в том смысле, что DA ложен, потому что изначальная вероятность произвольна, но скорее в смысле, что однородная априорная оценка (с некоторой большой, но граничной линией отреза), в той же мере разумна, как любая другая оценка, и что с такой априорной оценкой DA не будет показывать, что гибель наступит скоро. Если это всё, что они имели в виду, значит, они не говорят ничего, с чем бы сторонник DA не согласился бы. Этот сторонник не привержен взгляду, что гибель наступит скоро, а только той идее, что риск быстрого наступления гибели больше, чем мы думали до того, как поняли определённые вероятностные последствия того, что наш ранг рождения относительно мал. DA (если он верен) показывает, что мы систематически недооценивали риск ранней гибели, но он не даёт никаких прямых указаний на абсолютную величину вероятности этой гипотезы. (Например, Джон Лесли, твёрдо убеждённый в DA, считает, что имеется шанс в 70%, что мы колонизируем Галактику.) Даже с однородной априорной вероятностью, всё равно будет сдвиг в сторону вероятностной функции в сторону более ранней гибели.

Но не означают ли вычисления Корба и Оливера, по крайней мере, что этот вероятностный сдвиг в пользу более ранней гибели в реальности является весьма малым, так что DA не является такой большой проблемой в результате? Нет, эти вычисления не показывают этого, по двум причинам.

Первая причина, уже упоминавшаяся, состоит в том, что их вычисления базируются на предположении об однородной априорной вероятности. Это предположение является не только произвольным (не предпринято никакой попытки его обосновать), но оно так же является сильно неправдоподобным даже на основании реальной эмпирической оценки. Лично я думаю, что довольно очевидно, исходя из того, что я знаю, что вероятность того, что всего будет существовать людей от 100 до 200 миллиардов гораздо больше, чем вероятность того, что всего будет от 1020 до 1020+100=1120 миллиардов людей.

Во-вторых, даже в случае однородной априорной вероятности, оказывается, что вероятностный сдвиг в действительности довольно большой. Они предполагают равномерное распределение над пространством гипотез {H2, H3, …, H3,048}, где h(i) – это гипотеза, что всего будет i миллиардов людей. Затем они предполагают, что размер человеческой популяции до осознания DA составляет 994 миллиарда. И вычисления Корба и Оливера показывают, что после применения DA ожидаемая популяция составляет 562 миллиарда. Ожидаемая человеческая популяция сократилась в их примере более, чем на 43%.

Вывод: Возражение Четыре неверно. Утверждение Корба и Оливера о том, что можно достичь произвольно большой ожидаемой популяции, задав равномерную изначальную вероятность и сделав пространство гипотез достаточно большим – неверно. Если бы оно было верно, это возражение бы работало бы и против гипотез, не использующих DA.

Сторонник и не сторонник DA используют одну и ту же априорную вероятность. Более того, сторонник DA вовсе не привержен тому взгляду, что гибель наступит скоро, а только тому, что риск систематически недооценивается. Корб и Оливер не показали, что риск только немного недооценивается. Наоборот, в собственном примере Корба и Оливера DA сокращает ожидаемую популяцию более, чем на половину.

Возражение пятое.

В конце своей статьи Корб и Оливер намекают на пятое возражение: что мы не должны считать себя случайной выборкой из человеческого вида (или человеческого вида плюс наших интеллектуальных потомков-роботов) потому что имеется систематическая корреляция между нашей генетической конструкцией и нашей персональной идентичностью.

«… идея о том, что некто однородно-случайным образом выбран из всей популяции является уловкой. Тела, которыми мы являемся, и от которых произошли, имеют почти фиксированную позицию в эволюционном порядке; например, исходя из того, что мы знаем об эволюции, глупо предполагать, что чья-либо ДНК может предшествовать ДНК его или её предков». (p. 408)

Сторонник DA согласится со всем этим. Но даже если точный порядок рождения всех людей может быть выведен из списка их геномов, единственная вещь, которую это покажет, это то, что мы нашли ещё один путь определения чьего-либо ранга рождения. В дополнение к обычному пути – наблюдению того, какой сейчас год и объединению этого знания с данными о числе людей в популяции в прошлом – мы получим ещё один метод вычисления того же самого: путём анализирования чьего-либо ДНК и сверки с таблицей, связывающей ДНК с рангом рождения.

Тоже самое верно для других возможных корреляций. Например, тот факт, что я ношу контактные линзы, отражает тот факт, что я живу после 1900 A.D. Это даёт мне способ оценить мой ранг рождения – проверить, имею ли я контактные линзы, и, если я имею, придти к заключению, что год 1900-ый уже прошёл; сравнение этой информации с данными о популяции в прошлом даст мне мой ранг рождения. Но ни одна из таких корреляций не даёт вам ничего нового, если вы нашли по крайней мере один способ определить свой ранг рождения.

Отказ рассматривать себя в качестве случайного экземпляра из некой группы только потому, что ваши гены определяют, что вы имеете конкретный номер в этой группе, ведёт к неубедительным следствиям, как показывает следующий мысленный эксперимент Джона Лесли:

«Был предложен твёрдый план: выращивать людей двумя группами: в первую группе будет три человека одного пола, во второй – пять тысяч другого пола. План подразумевал выращивание первой группы в течении одного столетия. Много столетий спустя могут быть выращены 5 тысяч людей другого пола. Предположим, что вы узнали, что вы – один из людей в этом вопросе. Вы не знаете, сколько столетий подразумевал план, но вы знаете, что вы – женщина. Вы можете вполне разумно заключить, что большая группа тоже состоит из женщин, почти наверняка. Если это рассуждение принято всеми участниками эксперимента, то стратегия делать ставку на то, что большая группа существ того же пола, что и вы, приведёт к пяти тысячам попаданий и только трём провалам. … Вы не должны говорить: «Мои гены – женские, следовательно, я должен обнаруживать себя женщиной, не зависимо от того, является ли группа женщин малой или большой. Поэтому у меня нет никаких определённых причин считать, что она большая».» (Leslie 1996, pp. 222-23)

Если бы каждые пришёл к выводу, что некто не должен считать себя в качестве случайного экземпляра по причине своих генов, мы бы закончили со средним (5000+3) / 2 = 2,501.5 победителей и равным числом проигравших. По методике сторонников DA было бы в среднем 5000 победителей и только 3 проигравших. Так что, по крайней мере, в этом случае методология DA является более эффективной. Это показывает, что вопреки предположению Возражения Пять, люди могут принадлежать к одному и тому же референтному классу, даже если они имеют разные гены – в действительности, даже если их гены настолько различны, как в случае людей разных полов.

(Как я уже упоминал раньше, я полагаю, что для сторонника DA является проблемой то, как и в каком смысле вы можете считать себя случайной выборкой и из какого класса вы должны полагать себя выбранным. Мысленные эксперименты Лесли показывают, что правильно считать себя выбранным случайно из некого правильно выбранного референтного класса, который содержит людей с неидентичными геномами. Однако множество различных определений референтных классов – то есть всех людей в эксперименте, все людей вообще, всех мыслящих существ, всех возможных мыслящих существ – будут соответствовать этому конкретному мысленному эксперименту. Таким образом, общая проблема о том, как выбирать референтный класс – сохраняется.)

Вывод: Это верно, что есть систематическая корреляция между нашей генетической конструкцией и нашим рангом рождения. Наличие такой корреляции даёт нам альтернативный (хотя и не практичный) способ установить свой ранг рождения, но оно не влияет на очевидные отношения между наличием определённого ранга рождения и гипотезами о человеческом будущем. Так что вы имеете законные основания считать себя в некотором смысле случайным образом выбранным из группы людей, даже в том случае, если у людей разные гены, что показано в мысленном эксперименте Джона Лесли (которое Корб и Оливер, к сожалению, не пытаются критиковать или обсуждать). Таким образом, пятое возражение оказывается неспособным опровергнуть DA.

Ссылки:

Bartha, P. and Hitchcock C. 1998: "No One Knows the Date of the Hour: An Unorthodox Application of Rev. Bayes’ Theorem". Paper presented at the Sixteenth Biennial Meeting of the Philosophy of Science Association.

Bostrom, N. 1997: "Investigations into the Doomsday Argument". Manuscript at /preprints.html.

Delahaye, J-P. 1996: "Reserche de modèles pour l’argument de l’Apocalypse de Carter-Leslie". Unpublished manuscript.

Dieks, D. 1992: "Doomsday – Or: the Dangers of Statistics". Philosophical Quaterly, 42 (166), pp. 78-84.

Eckhardt, W. 1997: "A Shooting-Room view of Doomsday". Journal of Philosophy, Vol. XCIV, No. 5, pp. 244-259.

Kopf, T., Krtous, P, and Page, D. N. 1994: "Too Soon for Doom Gloom?". Physics Preprints Archive, gr-qc/9407002.

Korb, K. and Oliver, J. 1998: "A Refutation of the Doomsday Argument". Mind, Vol. 107, No. 426, pp. 403-410.

Leslie, J. 1996: The End of the World: The Ethics and Science of Human Extinction. London: Routledge.

Ник Бостром. А не живем ли мы в «Матрице»? Доказательство методом моделирования

Почти каждый зритель «Матрицы» хотя бы в течение секунды или пары секунд допускает неприятную возможность того, что он может на самом деле жить в Матрице. Философ из Йельского университета Ник Бостром тоже рассматривает эту возможность и приходит к выводу, что она гораздо более вероятна, чем вы могли бы себе вообразить.

«Матрица» знакомит нас со странным и приводящим в ужас сценарием. Человечество лежит в коматозном состоянии в каких-то коконах, а каждая деталь реальности определяется и контролируется враждебными ему компьютерами.

Для большинства зрителей этот сценарий интересен как прием научной фантастики, невероятно далекой от всего, что существует сегодня или, скорее всего, появится в будущем. Однако после тщательного обдумывания подобный сценарий перестает казаться немыслимым. Он очень даже вероятен.

В одной из своих статей Рей Курцвейль обсуждает наблюдаемую тенденцию к развитию вычислительных мощностей с постоянно возрастающей скоростью. По прогнозам Курцвейля, практически неограниченное количество вычислительных мощностей станет доступным в течение следующих пятидесяти лет. Давайте предположим, что Курцвейль прав и рано или поздно человечество создаст практически безграничные вычислительные мощности. Для целей этой дискуссии не важно, когда это произойдет. На эти разработки может уйти сто, тысяча или миллион лет.

Как отмечается в статье Курцвейля, безграничные вычислительные возможности расширят способности человечества до невероятной степени. Эта цивилизация станет «постчеловеческой» и будет способна на необычайные технологические свершения.

Постчеловеческая цивилизация может принять различные формы. Она может оказаться во многом похожей на нашу современную цивилизацию или радикально от нее отличаться. Разумеется, почти невозможно предсказать, как будет развиваться подобная цивилизация. Но одно мы знаем точно: постчеловеческая цивилизация будет располагать доступом к практически бесконечным вычислительным мощностям.

Постчеловеческой цивилизации может оказаться по силам превращать планеты и другие астрономические объекты в сверхмощные компьютеры. В данный момент сложно с уверенностью определить «потолок» тех вычислительных мощностей, которые могут оказаться доступными постчеловеческим цивилизациям.

1. В этой статье представлено доказательство методом моделирования, согласно которому по крайней мере одно из следующих утверждений верно: весьма вероятно, что как биологический вид человечество начнет исчезать с лица земли, не достигнув «постчеловеческой» стадии.

2. Очень маловероятно, что любая постчеловеческая цивилизация запустит большое количество симуляций (моделей), имитирующих ее эволюционную историю (или, следовательно, вариантов этой истории).

3. Мы почти наверняка живем в компьютерной симуляции.

Давайте рассмотрим эти три утверждения поочередно. Первое утверждение сформулировано прямо: если мы уничтожим самих себя в результате ядерной войны, биологической катастрофы или нанотехнологического катаклизма, то остальные пункты этого доказательства к делу не относятся. Однако давайте предположим, что это утверждение неверно, и, следовательно, мы сумеем избежать самоуничтожения и вступим в постчеловеческую эпоху.

Сущность человеческой цивилизации в условиях постчеловеческой эпохи невозможно представить во всей полноте. Точно так же нельзя вообразить разнообразные способы использования прктически неограниченных вычислительных мощностей. Но давайте рассмотрим один из них — создание сложных симуляций человеческой цивилизации.

Представим себе историков будущего, моделирующих различные сценарии исторического развития. Это будут не сегодняшние упрощенные модели. С учетом огромных вычислительных возможностей, которыми будут располагать эти историки, в их распоряжении могут оказаться очень подробные симуляции, в которых будет различимо каждое здание, каждая географическая деталь, каждая личность. И каждый из этих индивидуумов будет наделен тем же уровнем вычислительных мощностей, сложности и интеллекта, как живой человек. Как и агент Смит, они будут созданы на основе программного обеспечения, но при этом будут обладать психическими характеристиками человека. Конечно, они могут так никогда и не осознать, что являются программой. Чтобы создать точную модель, нужно будет сделать восприятие смоделированных личностей неотличимым от восприятия людей, живущих в реальном мире.

Подобно жителям Матрицы, эти люди будут существовать в искусственном мире, считая его реальным. В отличие от сценария с Матрицей эти люди будут полностью состоять из компьютерных программ.

Однако будут ли эти искусственные личности настоящими «людьми»? Будут ли они разумными независимо от уровня их вычислительных мощностей? Будут ли они наделены сознанием?

Реальность — это то, с чем никто на самом деле не знаком. Однако философы, изучающие сознание, обычно делают допущение о его «независимости от субстрата». По существу это означает, что сознание может зависеть от многих вещей — от знания, интеллекта (вычислительных мощностей), психической организации, отдельных деталей логической структуры и т. д. — но одним из условий, которые для сознания не обязательны, является биологическая ткань. Воплощение сознания в основанных на углероде биологических нейронных сетях — это не необходимое его свойство. В принципе того же самого эффекта можно добиться от основанных на кремнии процессоров, встроенных в компьютер.

Многим людям, знакомым с современной компьютерной техникой, идея о программном обеспечении, наделенном сознанием, кажется невероятной. Однако это интуитивное недоверие является продуктом относительно жалких возможностей сегодняшних компьютеров. Благодаря продолжающемуся усовершенствованию самих компьютеров и программного обеспечения компьютеры будут становиться все в большей степени разумными и сознательными. На самом деле с учетом склонности человека одушевлять все, что хотя бы отдаленно похоже на человека, люди могут начать наделять компьютеры сознанием задолго до того, как это станет реальностью.

Аргументы в пользу «независимости от субстрата» изложены в соответствующей философской литературе, и я не буду пытаться их воспроизводить в данной статье. Однако я укажу на то, что это допущение разумно. Клетка мозга — это физический объект, обладающий определенными характеристиками. Если мы придем к полному пониманию этих характеристик и научимся воспроизводить их электронным путем, тогда, без сомнения, наша электронная мозговая клетка сможет выполнять те же функции, что и клетка органического происхождения. А если это можно проделать с одной клеткой мозга, то почему бы нельзя повторить ту же самую операцию с целым мозгом? А если так, то почему бы получившейся системе не обладать таким же сознанием, как у живого мозга?

Эти предположения очень любопытны. Располагая достаточными вычислительными мощностями, постлюди могут создать модели исторических личностей, у которых будет полноценное сознание и которые будут считать себя биологическими людьми, живущими в более раннем времени. Этот вывод подводит нас к утверждению под номером два.

Первое утверждение предполагает, что мы проживем достаточно долго, чтобы создать постчеловеческую цивилизацию. Эта постчеловеческая цивилизация получит возможность разрабатывать симуляции реальности, подобные Матрице. Во втором утверждении отражена возможность того, что постлюди решат не разрабатывать эти модели.

Мы можем вообразить, что в постчеловеческую эпоху интерес к разработке исторических симуляций исчезнет. Это означает существенные изменения в мотивации людей постчеловеческой эпохи, ибо в наше время, разумеется, найдется немало людей, которым бы захотелось запустить модели предшествующих эпох, если бы они могли позволить себе это сделать. Однако, вероятно, многие из наших человеческих желаний покажутся глупыми любому постчеловеку. Может быть, симуляции прошлого будут представлять незначительную научную ценность для постчеловеческой цивилизации (что не так уж невероятно с учетом ее несоизмеримого интеллектуального превосходства), и, может быть, постлюди будут считать развлечения очень неэффективным способом получения удовольствия, которое можно получить куда проще — при помощи непосредственной стимуляции центров наслаждения головного мозга. Этот вывод предполагает, что постчеловеческие общества будут весьма отличаться от человеческих: в них будут отсутствовать относительно обеспеченные и независимые субъекты, владеющие всей полнотой человеческих желаний и свободные действовать под их влиянием.

При другом раскладе возможно, что у некоторых постлюдей может появиться желание запустить симуляции прошлого, однако постчеловеческие законы помешают им сделать это. Что приведет к принятию подобных законов? Можно предположить, что все более развитые цивилизации идут по пути, который приводит их к признанию этического запрета на запуск моделей, имитирующих историческое прошлое, из-за страданий, которые выпадут на долю героев подобной модели. Однако с нашей сегодняшней точки зрения не очевидно, что создание человеческой расы есть безнравственное действие. Наоборот, мы склонны считать существование нашей расы процессом огромной этической ценности. Более того, одного существования этических воззрений об аморальности запуска симуляций прошлого недостаточно. К нему должно добавиться наличие такой социальной структуры в общецивилизационном масштабе, которая позволяет эффективно запрещать деятельность, которая считается безнравственной.

Итак, поскольку существует возможность того, что второе утверждение верно, в этом случае мотивации постлюдей либо будут разительно отличаться от мотиваций людей, либо постлюди будут должны наложить тотальный запрет на симуляции прошлого и эффективно контролировать действие этого запрета. Более того, этот вывод должен быть справедливым почти для всех постчеловеческих цивилизаций во Вселенной .

Следовательно, нам необходимо рассмотреть следующую вероятность: не исключено, что у цивилизаций человеческого уровня есть шанс стать постчеловеческими; далее: по крайней мере в некоторых постчеловеческих цивилизациях найдутся отдельные личности, которые запустят симуляции прошлого. Это подводит нас к нашему третьему утверждению: мы почти наверняка живем в компьютерной симуляции. К этому выводу мы приходим вполне естественно.

Если постлюди запускают симуляции прошлого, скорее всего, эти симуляции действуют в очень широких масштабах. Не составляет труда представить миллионы индивидуумов, запускающих тысячи вариантов симуляций на сотни различных тем, и в каждой такой симуляции будут задействованы миллиарды смоделированных личностей. Этих искусственных людей наберется многие триллионы. Все они будут считать, что они настоящие и живут в более раннем времени.

Сейчас, в 2003 году, на планете живет примерно шесть миллиардов биологических людей. Очень даже возможно, что в постчеловеческую эпоху триллионы созданных на основе компьютерных программ людей будут жить в смоделированном для них 2003 году, убежденные в том, что они биологического происхождения — точно такие же, как вы и я. Математика здесь проста, как дважды два: подавляющее большинство этих людей ошибаются; они считают, что они из плоти и крови, но на самом деле они таковыми не являются. Нет причин исключать нашу цивилизацию из этих подсчетов. Почти все шансы сводятся к тому, что мы живем в смоделированном 2003 году и что наши физические тела являются компьютерной иллюзией.

Стоит подчеркнуть, что доказательство методом моделирования не преследует цель показать, что мы живем в компьютерной симуляции. Оно отражает лишь то, что по крайней мере одно из трех перечисленных выше утверждений верно. Если кто-то не согласен с выводом о том, что мы находимся внутри симуляции, то вместо этого ему придется согласиться либо с тем, что практически все постчеловеческие цивилизации откажутся от запуска симуляций прошлого, либо с тем, что, вероятно, мы начнем вымирать, не достигнув постчеловеческой эпохи. Наше исчезновение может произойти в результате стабилизации наличествующего сейчас прогресса в области вычислительной техники или стать следствием общего коллапса цивилизации. Либо вы должны признать, что научно-технический прогресс, по-видимому, будет набирать обороты, а не стабилизироваться, и в этом случае вы могли бы предсказать, что ускорение прогресса и станет причиной нашего исчезновения. Подвести нас к этому печальному концу может, к примеру, молекулярная нанотехнология. Достигнув развитой стадии, она позволит создавать самовоспроизводящиеся наноботы, способные питаться пылью и органикой, эдакие механические бактерии. Такие наноботы, если они созданы с недобрыми намерениями, могут вызвать исчезновение всей жизни на нашей планете. В другом месте я попытался перечислить основные экзистенциальные опасности, угрожающие человечеству.

Если наша цивилизация действительно является симуляцией, отсюда не вытекает какая-либо необходимость ограничивать наш прогресс. Не исключено, что смоделированные цивилизации могут стать постчеловеческими. Тогда они могут запустить свои собственные симуляции прошлого, используя мощные компьютеры, которые они создадут в своей искусственной Вселенной. Подобные компьютеры будут «виртуальными машинами», этот термин знаком современной вычислительной технике. (К примеру, основанные на Java web-приложения используют виртуальную машину — смоделированный компьютер — внутри вашего «рабочего стола».) Виртуальные машины можно объединять в один пакет: можно смоделировать машину, моделирующую другую машину, и т. д., при этом шагов итерации может быть произвольно много. Если мы действительно добьемся создания наших собственных моделей прошлого, это будет веским доказательством против второго и третьего утверждений, так что нам волей-неволей придется заключить, что мы живем в смоделированном мире. Более того, мы должны будем подозревать, что постлюди, управляющие моделью нашего мира, сами являются искусственно созданными существами, а их создатели, в свою очередь, могут тоже оказаться смоделированными.

Таким образом, реальность может оказаться многоуровневой (эта тема затрагивалась во многих научно-фантастических работах, особенно в фильме «Тринадцатый этаж»). Даже если иерархической структуре на каком-то этапе необходимо замкнуться на саму себя — хотя метафизический статус этого утверждения не вполне ясен, — в ней может размещаться огромное количество уровней реальности, и с течением времени это количество может возрастать. (Один из доводов против мультиуровневой гипотезы состоит в том, что затраты на вычислительные ресурсы для базовых моделей будут очень велики. Моделирование даже одной постчеловеческой цивилизации может быть непомерно дорогостоящим мероприятием. Если так, то нам следует ожидать уничтожения нашей модели при приближении к постчеловеческой эпохе.)

Несмотря на то что все элементы подобной системы могут быть естественными, даже материальными, здесь можно провести некоторые вольные параллели с религиозными представлениями о мире. В каком-то смысле постлюди, запускающие симуляцию, похожи на богов по отношению к людям, населяющим эту симуляцию: постлюди создали окружающий нас мир; их уровень интеллекта намного превосходит наш; они «всемогущи» в том плане, что могут вмешиваться в жизнь нашего мира, даже способами, нарушающими его физические законы; к тому же они «всеведущи» в том смысле, что они могут наблюдать за всем, что у нас происходит. Однако все полубоги, за исключением тех, кто находится на базисном уровне реальности, подчиняются распоряжениям более могущественных богов, живущих на более глубоких уровнях.

Дальнейшие размышления на эту тему могут достичь своей кульминации в натуралистической теогонии, которая занималась бы изучением структуры этой иерархии и ограничений, наложенных на ее жителей, исходя из возможности того, что какие-то действия на их уровне могут повлечь за собой определенную реакцию со стороны обитателей более глубоких уровней. Например, если никто не может быть уверенным в том, что находится в основе иерархии, то любой должен учитывать возможность того, что за любые действия он может быть вознагражден либо наказан создателями модели. Возможно, последние будут при этом руководствоваться какими-то нравственными критериями. Жизнь после смерти станет реальной возможностью, как и реинкарнация. Из-за этой фундаментальной неуверенности, возможно, даже у основной цивилизации будут причины вести себя безупречно с точки зрения морали. Тот факт, что даже у этой цивилизации будет причина вести себя с соблюдением норм морали, разумеется, заставит еще в большей степени всех остальных стремиться вести себя точно так же, и так далее. Получится самый настоящий добродетельный круг. Возможно, каждый будет руководствоваться своего рода универсальным моральным императивом, повиноваться которому будет в интересах каждого, поскольку этот императив появился «ниоткуда».

В дополнение к моделям прошлого можно также рассмотреть возможность создания более избирательных симуляций, затрагивающих лишь небольшую группу людей или отдельного человека. В этом случае оставшаяся часть человечества превратится в зомбированных людей или в людей-теней — людей, смоделированных на уровне, достаточном для того, чтобы полностью смоделированные люди не замечали ничего подозрительного. Не ясно, насколько моделирование людей-теней будет дешевле, чем моделирование полноценных людей. Далеко не очевидно, что какое-то существо может вести себя неотличимо от настоящего человека и в то же время быть лишенным сознательного опыта. Даже если такие отдельные модели и существуют, не следует предполагать, что вы находитесь в одной из них, пока вы не придете к выводу, что они куда более многочисленны, чем полные модели. Чтобы самые условные личности попали в я-симуляцию (модель, имитирующая жизнь одного единственного разума), я-симуляций потребовалось бы в сто миллиардов раз больше, чем симуляций прошлого.

Также существует возможность того, что создатели симуляций уберут определенные моменты из психических жизней смоделированных существ и снабдят их ложной памятью об определенных переживаниях, которые они обычно испытывали во время изъятых из памяти моментов. В этом случае можно рассмотреть следующее (притянутое за уши) решение проблемы зла: на самом деле страдания в мире не существует, а все воспоминания о нем — это иллюзия. Разумеется, эту гипотезу можно серьезно воспринимать лишь тогда, когда вы не страдаете.

Если предположить, что мы живем в симуляции, то что же из этого следует для нас, людей? Несмотря на высказанные выше замечания, последствия вовсе не настолько радикальны. Стандартное эмпирическое исследование Вселенной, которую мы видим, лучше всего подскажет нам, как будут действовать наши постчеловеческие создатели, устраивая наш мир. Пересмотр большей части наших убеждений приведет к довольно незначительным и едва заметным результатам — прямо пропорциональным нехватке уверенности в нашей способности понять логику постлюдей. Поэтому правильно понятая истина, содержащаяся в третьем утверждении, не должна «сводить с ума» или мешать нам продолжать заниматься своими делами, а также планировать и предсказывать завтрашний день.

Если мы узнаем больше о мотивациях постлюдей и об ограничениях на количество ресурсов, — а это может случиться в результате нашего собственного движения к постчеловеческой цивилизации, — в этом случае гипотеза о том, что мы смоделированы, будет иметь гораздо более богатый набор эмпирических следствий. Конечно, если печальная реальность все-таки заключается в том, что мы являемся симуляциями, созданными какой-то постчеловеческой цивилизацией, то можно считать, что нам выпала лучшая доля, чем обитателям Матрицы. Вместо того чтобы попасть в лапы враждебного ИИ и быть использованными в качестве источника энергии для его существования, нас создали на основе компьютерных программ как часть научно-исследовательского проекта. Или, может, нас создала какая-нибудь девочка-подросток из постчеловеческой цивилизации, выполняя домашнее задание. Тем не менее нам все-таки лучше, чем жителям Матрицы. Разве нет?

Ник Бостром (Dr. Nick Bostrom) — философ из Йельского университета. В 1998 году организовал Всемирную трансгуманистическую ассоциацию (вместе с Дэвидом Пирсом). Часто выступает в средствах массовой информации. Исследовательские интересы Бострома связаны с философией науки, теорией вероятностей, а также с изучением этических и стратегических последствий перспективных технологий (включая ИИ, нанотехнологию, генную инженерию и т.д.). Имеет познания в области космологии, вычислительной нейронауки, математической логики, философии, искусственного интеллекта и эстрадной комедии. Является автором книги “Anthropic Bias: Observation Selection Effects in Science and Philosophy” (Routledge, 2002).

Источник:

Прими красную таблетку: Наука, философия и религия в "Матрице". /Под ред. Глена Йеффета. [Пер. с англ. Т. Давыдова]. -- М.: Ультра.Культура, 2003.

Дэвид Брин. Сингулярность и кошмары.

/texts/2007/05/14-31.html

Перевод: Алексей Валерьевич Турчин

Разрешено некоммерческое использование перевода.

avturchin -----

Permanent link to this article: /meme/frame.html?main=/articles/art0656.html

Singularities and Nightmares

by David Brin

Приближающаяся сингулярность включает в себя следующие варианты: саморазрушение цивилизации, позитивная сингулярность, негативная сингулярность (машины берут верх) и возвращение к традиционному образу жизни. Нашей срочной целью является: найти ошибочные образы действий (и избежать их), используя предвидение (мысленные эксперименты), и усилить жизнеспособность – создать мощные системы, которые могут справляться почти с любой проблемой при её возникновении.

Опубликовано в «Представление нанотехнологий: Обзор сверхточного проектирования и нанотехнологии».

(Nanotechnology Perceptions: A Review of Ultraprecision

Engineering and Nanotechnology, Volume 2, No. 1, March 27 2006.1 Reprinted with permission on March 28, 2006).

Чтобы у вас сегодня были приятные сны, позвольте мне предложить вам описание нескольких возможностей ближайшего будущего, которое скоро наступит – описание перемен, которые могут произойти в течение следующих примерно двадцати лет, приблизительно за одно человеческое поколение. Эти возможности принимаются всерьёз некоторыми лучшими современными умами и означают потенциальную возможность трансформации человеческой жизни на Земле и, может быть, даже самого смысла слова «человек».

Например, что если биологи и органические химики смогут сделать для своих лабораторий то, что кибернетики сумели сделать для компьютеров? Сжать свои огромные биохимические лаборатории от бегемотов размером со здания до крайне компактных устройств, сделав их меньше, дешевле и мощнее, чем кто-либо может себе представить. Не это ли случилось с гигантскими компьютерами в недавнем прошлом? Вплоть до того, что сейчас ваш карманный сотовый телефон содержит столько же вычислительной мощности и конструктивной сложности, сколько было у НАСА во времена лунных запусков. Люди, которые предвидели эти перемены, скользили на гребне технологической волны. Некоторые из них заработали много денег.

Биологи уже прошли большой путь к достижению такой же трансформации. Возьмём, например, Human Genome Project, который ускорил расшифровку ДНК на столько порядков, что большая часть этого процесса автоматизирована и миниатюризирована. Скорость выросла до небес, в том время как цена упала вниз, обещая нам, что вскоре каждый может иметь собственную генетическую карту в день обращения, за ту же цену, что ЭКГ. Продолжение этой тенденции в воображении, путём простой экстраполяции, уменьшит полную биохимическую лабораторию размером с дом до дешёвого агрегата на вашем столе. MolecuMac, если вы хотите. Возможности – и прекрасные, и ужасные.

мы все окажемся в выигрыше, когда сконструированные лекарства и методы терапии будут легко модифицируемы образованными медицинскими работниками. Но будет ли биохимический эквивалент «хакеров»? Что мы собираемся делать, когда дети во всём мире смогут анализировать и синтезировать любые органические соединения по своей воле? В этом случае нам лучше рассчитывать на соответствующий прогресс в области искусственного интеллекта и роботов… во всяком случае, в приготовлении наших фаст-фуд гамбургеров. Я не собираюсь есть ни в одном ресторане, который нанимает злопамятных подростков, которые обмениваются забавными рецептами для своих молекулярных синтезаторов через Интернет. А вы?

Но не поймите меня неправильно. Если мы когда-нибудь получим MolecuMac на наш рабочий стол, я готов поспорить, что 99 процентов его изделий будут нейтральны или позитивны, как и большая часть программ, создаваемых молодыми новаторами сегодня. Но если мы сейчас беспокоимся об одном проценте вредителей в мире битов и байтов – о хакерах и кибер-саботажниках – то что случится, когда этот вид «креативности» будет направлен на саму жизнь? И мы ещё не упомянули о возможности намеренного причинения вреда более крупными образованиями – террористическими сетями, интригующими диктаторами или мошенническими корпорациями.

Эти страхи становятся ещё более беспокоящими, когда мы задумываемся о следующей за биотехом стадии. Уже сейчас распространяется глубокое беспокойство о том, что случится, когда нанотехнологии – микромашины, создающие продукты атом за атомом по сверхточным правилам - наконец достигнут успеха. Молекулярное производство может привести к созданию сверхэффективных заводов, которые будут создавать блага с ошеломительной эффективностью. Ремонтные нанороботы можно будет вводить в ваши кровеносные сосуды, чтобы лечить болезни или тонко настраивать функции тела. Провидцы предполагают, что эта технология поможет спасти планету от более ранних человеческих ошибок, например, путём катализа повторного использования устойчивых загрязнителей. Эти настольные устройства, в конце концов, могут стать универсальными производителями, которые будут превращать почти любой исходный материал в почти любой продукт, который вы захотите…

… или (тревожатся некоторые) наномашины могут вырваться на свободу и стать окончательным загрязнением. Саморазмножающаяся бяка, пожирающая всё на своём пути и вероятно, превращающую всю земную поверхность в серую слизь. (gray goo) (2).

Другие уже рассматривали эту проблему раньше, и некоторые – в очень ярких красках. Возьмём, например, великолепный роман «Жертва» (Prey) Майкла Кричтона (Michael Crichton), который изображает секретное агентство, высокомерно продвигающее самонадейную новую технологию, не обращая внимания на возможные изъяны и последствия. Этот типичный Кричтовский тревожащий сценарий о нанотехнологиях следует модели, почти идентичной его ранним триллерам о вырвавшихся на свободу динозаврах, роботах, и десятках других технических угроз, каждая из которых рассмотрена с отрефлексированным подозрительным отвращением. (Разумеется, в каждой ситуации опасные эксцессы случались в результате секретности, - тема, к которой мы позже вернёмся)

Более ранний и лучший роман, «Музыка Крови» (Blood Music), Грега Бира (Greg Bear) представляет с большой живостью позитивные и негативные возможности нанотехнологий. Особенно возможность, которая больше всего беспокоит даже оптимистов в нанотехнологическом сообществе - что скорость инноваций может обогнать нашу способность справляться с ними.

И, на некотором уровне, это древний страх. Если вы хотите выбрать единственное клише, которое распространенно повсеместно, пересекая все грани идеологии и веры – например, левое против правого, или даже религиозное против мирского – наиболее общим из всех будет следующее:

«Разве это не позор, что наша мудрость отстаёт от нашей технологии?»

Хотя это клише абсолютно верно на уровне отдельных человеческих существ и даже массовых объединений, таких, как корпорации, государственные учреждения или политические партии, ситуация нигде так не ясна, как на самом верхнем уровне человеческой цивилизации. В другом месте я предположил, что «мудрость» должна определяться, исходя из результатов и процессов, а не восприятия или проницательности любого отдельного гуру или мудреца. Возьмём, например, исход Холодной Войны - первый известный пример, когда человечество обрело средство массового уничтожения и затем в целом отошло от этой пропасти. Да, это средство уничтожения по-прежнему с нами. Но два поколения беспрецедентного самоограничения предполагают, что мы сделали некоторый прогресс по крайне мере в одном виде «мудрости». И это так, когда средства массового уничтожения контролируются несколькими избирательно отобранными высшими государственными лицами обеих сторон в ситуации простого противостояния.

Но готовы ли мы к новой эре, когда дилеммы вовсе не так просты? В наступающее время самые худшие опасности для цивилизации могут возникать не от идентифицируемых и исчислимых противников, – которые стремятся победить в ясном, точно просчитанном соревновании – а от общей доступности средств нанесения вреда.

Новые технологии, распространяемые через интернет и усиливаемые легко доступными инструментами, предложат всё большему числу разъяренных людей доступ к разными видам разрушительных сил, которые будут использованы по причине оправданной обиды, алчности, возмущения, или просто потому что они есть.

Старинный рецепт: отказ от прав.

(THE RETRO PRESCRIPTION—RENUNCIATION).

Осознавая разгон технологий в биотехе, нанотехе, ИИ и т. д., некоторые искренние люди – вроде Билл Джоя (Bill Joy), бывшего ведущего учёного фирмы Sun – видят мало шансов для выживания полностью отрытого общества. Возможно, вы читали грустный манифест Джоя в журнале ‘Wired’ (3), в котором он цитирует Унабомбера (не кого-нибудь, а именно его) в поддержку предположения, одновременно старого и нового – что нашей единственной надеждой на выживание может быть отказ, уничтожение или остановка нескольких видов технологического прогресса.

Идея об отказе получила поддержку повсюду на философской и политической карте, особенно на крайне правых и левых её краях.

Возьмём, например, романы и высказывания Маргарет Атвуд (Margaret Atwood), чьи основные сюжетные линии почти идентичны тем, что у Майкла Кричтона, несмотря на их различия в поверхностной политике. Оба автора постоянно выражают беспокойство, которое часто переходит настоящее отвращение по отношению к самонадейной гордыне технологических инноваторов, которые просто не могут предоставить природу в достаточной мере самой себе.

На другой стороне спектра правых и левых стоит Фрэнсис Фукуяма, который занимает пост Bernard L. Schwartz Professor of International Political Economy at the Paul H.

Nitze School of Advanced International Studies of Johns Hopkins University. Наиболее известная работа доктора Фукуямы, «Конец истории и последний человек» (1992) с триумфом воспринимает коллапс коммунизма как, вероятно, последнее волнующее событие, стоящее занесения в летопись историков. С этого момента мы увидим цветение либеральной демократии без значительного соревнования или столкновений. Больше не будет «интересных времён». (4) Но этот жизнерадостный взгляд заканчивается, когда Фукуяма начинает замечать потенциально опасную «историю» разрушительных эффектов новых технологий. Будучи придворным интеллектуалом Администрации Буша и членом Президентского совета по биоэтике, он сейчас осуждает значительную часть биологической науки как разрушительную и даже аморальную.

Нельзя, согласно Фукуяме, доверять людям в принятии качественных решений об использовании – например – генетической терапии. Человеческая «недоказуемость» столь опасная концепция, что она должна быть отвергнута почти без всяких исключений. В «Нашем постчеловеческом будущем: Последствия Биотехнологической революции» (2002), Фукуяма предписывает индустриальным отделам отечественного правительства контролировать или запретить целые направления научных исследований, производя все действия, которые они полагают для этого необходимыми.

Вы можете подозревать, что я сомневаюсь. С одной стороны, должны ли мы распространить этот запрет на исследования на весь мир? Возможно ли истребить такие инструменты навсегда? Как для элит, так и для масс? И если да, то как?

Хотя некоторые из режимов разрушения, упоминаемых Биллом Джоем, Ральфом Петерсом (Ralph Peters) и Фрэнсисом Фукуямой выглядят убедительными и стоящими исследования, всё же не понятно, как мы можем справиться со всем, став нео-луддитами. Законы, которые направлены на ограничение технологического продвижения, наверняка будут нарушаться экстремистскими группами, где как раз и сконцентрированы наибольшие опасности. Даже если будут введены свирепые репрессии – вероятно, усиленные всевидящим и универсальным контролем – это не предотвратит исследования и использование таких технологий элитами. (Корпорации, правительства, аристократы, преступники, иностранцы – выберете на свой вкус богему с неограниченной властью.) Годами я бросал вызов отрицателям прогресса - привести хотя бы один пример из всей человеческой истории, когда власть имущие позволяли такому случиться. Особенно, когда они наверняка оставались на месте, чтобы выиграть от чего-то нового.

Будучи неспособными ответить на этот вызов, некоторые отрицатели возражали, что новые мега-технологии – включая биотех и нанотехнологию – могут быть лучше использованы и продвигаемы, если контроль будет ограничен известными элитами, возможно даже в секрете. Когда на кону так много, не должны ли лучшие и самые искренние люди принимать решения за всех? В действительности, по справедливости, я должен допустить, что один исторический пример, который я дал раньше – насчёт ядерного вооружения – не даёт особой поддержки этой идее. Определённо, главным обстоятельством здесь, которое спасло нас, было ограниченное число лиц, принимающих решения, которые могли начать бедственную войну.

И ещё, не был ли весь политический процесс тогда под внимательным наблюдениям публики? Не были ли эти лидеры контролируемы публикой, хотя бы с одной стороны? Более того, решения об атомных бомбах не были сильно подвержены влиянию эгоистических интересов. (Говард Хьюз не стремился иметь и использовать частный ядерный арсенал.) Но эгоистический интерес определённо будет воздействовать на правящие элиты, когда они будут оценивать огромные преимущества и потенциальную цену биотехнологий и нанотехнологий.

И с другой стороны, не является ли элитарная секретность в точности тем создающим ошибки режимом, который Кричтон, Атвуд и многие другие изобразили столь живо, снова и снова, когда выступали против технологической гордыни?

История кишит примерами бредовых сборищ самоуверенных мелких дворян, рассказывающих друг другу воодушевляющие истории и избегающих при этом какой-либо критики, которая могла бы обнаружить расчеты в Плане (мятежа). Предписывая возвращение к патернализму – контролю элитами, которые остаются замкнутыми и неподотчётными – не предлагают ли таким образом отрицатели именно тот самый сценарий, который – справедливо – все боятся больше всего?

Вероятно, это одна из причин того, почему отрицатели – словоохотливые и конкретные, когда речь идёт о возможных путях катастрофы – редко выражаются ясно о том, какие именно контролирующие организации должны выполнить грязную работу по подавлению технологического прогресса. Или о том, как именно эта остановка разработок будет реализована повсеместно. В действительности, сторонники этой теории не могут указать ни одного исторического примера, где подавление знаний вело бы к чем-нибудь большему, чем ещё большие человеческие страдания. До сих пор нет ни одного предложения о том, как предотвратить жульничество некой элитарной группой. А возможно, и всеми элитами.

В результате, только огромное количество нормальных людей будет исключено, отвлекая их мириады глаз, ушей и префронтальных лобных долей от всецивилизационной сети обнаружения ошибок.

И, прежде всего, самоограничение выглядит мерой отчаяния, полностью противоположной характером оптимистичной, прагматичной, могучей культуре.

Редко упоминаемая альтернатива - взаимная подотчётность.

(THE SELDOM-MENTIONED ALTERNATIVE—RECIPROCAL ACCOUNTABILITY )

И всё же, несмотря на весь скептицизм, я в действительности гораздо больше поддерживаю Джоя, Атвуда, Фукуяму и др. , чем кто-то мог бы ожидать. В Прозрачном Обществе, я общался с большим числом социальных критиков, которые затыкались, когда осознавали потенциальные опасности на пути. Превыше всего, подтверждение с высоким уровнем критики – единственный известный антидот к ошибкам. Эта коллективная версия «мудрости» - почти наверняка то, что спасало нас до сих пор. У него нет почти никакого сходства с индивидуальной мудростью, которую мы привыкли ассоциировать со священниками, гуру и бабушками… но он менее зависим от совершенства. Менее склонен к катастрофе, когда миропомазанный Центр Мудрости делает неизбежный просчёт.

В силу этого, на самом деле, я нашёл живительными раздражающих торговцев беспокойством! Одно только их присутствие помогает прогрессу продвигаться вперёд с помощью озадачивания легковерных энтузиастов. Это процесс, называемый взаимная подотчётностью (reciprocal accountability). Без искренних ворчунов, стремящихся указать на потенциальные виды аварий, мы действительно окажемся в в той опасности, в которой мы, по их словам, находимся. Забавно, что в открытом обществе – где брюзги-Кассандры прекрасно слышны – вряд ли потребуются самоограничения, или драконовский контроль, который они предписывают.

Итак, я приближаюсь к главной идее ограничителей. Если общество остане