textarchive.ru

Главная > Сборник статей


Глобальные риски

Сборник статей

Под редакцией А.В.Турчина

Препринт

Проект

Российского Трансгуманистического Движения



Москва 2011

Содержание

Предисловие 4

ЧАСТЬ 1. ОБЩИЕ ОБЗОРЫ ТЕМЫ 6

ГЛОБАЛЬНЫХ РИСКОВ 6

Билл Джой. Почему мы не нужны будущему 6

Вернор Виндж. Технологическая Сингулярность 41

Ник Бостром. Угрозы существованию: Анализ сценариев человеческого вымирания и других 54

подобных опасностей. 54

Елиезер Юдковски. Когнитивные искажения, влияющие на оценку глобальных рисков 94

Дэвид Брин. Сингулярность и кошмары 129

А.А. Кононов.Идеологические начала общей теории неуничтожимости человечества 154

Робин Хансен. Катастрофа, социальный коллапс и человеческое вымирание 167

Алексей Турчин. Процессы с положительной обратной связью как основной механизм глобальных катастроф 185

ЧАСТЬ 2. ОЦЕНКА ВЕРОЯТНОСТИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ 201

Ник Бостром, Макс Тегмарк. Насколько невероятна катастрофа судного дня? 202

Ник Бостром. Рассуждение о Конце Света для начинающих 210

Ник Бостром. Doomsday Argument жив и брыкается 215

Ник Бостром 227

Доказательство симуляции 227

М.Чиркович, А.Сандберг, 268

Н.Бостром. Антропная тень: 268

эффектнаблюдательной селекции 268

и риски вымирания человечества 268

Алексей Турчин. Природные катастрофы и антропный принцип 292

Тоби Орд, Рафаела Хиллербранд, Андрес Сандберг. Проверяя непроверяемое: методологические вызовы в оценке рисков с низкой вероятностью и высокими ставками 329

Эдриан Кент. Критический обзор оценок рисков глобальных катастроф 351

ЧАСТЬ 3. ГЛОБАЛЬНЫЕ РИСКИ И НОВЫЕ ТЕХНОЛОГИИ 374

Eлиезер Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска 375

Роберт Фрейтас. Проблема Серой Слизи 427

CRN. Опасности молекулярного производства 443

М. Вассер, Р.Фрайтас. Проект «Нанощит» 457

Алексей Карнаухов. Парниковая катастрофа. 477

479

Милан Чиркович, Ричард Каткарт. Гео-инженерия, пошедшая насмарку: новое частное решение парадокса Ферми 491

Ричард Керригэн. Следует ли обеззараживать сигналы SETI? 506

А.В.Турчин. Глобальные риски, связанные с программой SETI 517

П.Д. Смит. Кобальтовая бомба (отрывок из книги «Люди судного дня») 542

ЧАСТЬ 4. ГЛОБАЛЬНЫЕ РИСКИ, СВЯЗАННЫЕ С ПРИРОДНЫМИ КАТАСТРОФАМИ 546

Владислав Пустынский. Последствия падения на Землю крупных астероидов 547

Уильям Нейпьер. Опасность комет и астероидов 560

Майкл Рампино. Супервулканизм и другие катастрофические геофизические процессы 580

Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду 599

Предисловие

Этот сборник статей посвящен пока малоисследованной области – рискам катастроф, которые могут привести к полному и окончательному вымиранию людей.

В XXI веке перед человечеством стоит монументальная задача – освоение сверхтехнологий. И хотя эти технологии обещают много сладких плодов, в том числе неограниченное продление жизни, главным вопросом все же является безопасность их применения. А наибольший риск от новых технологий – это катастрофа, которая может привести к полному исчезновению человечества.

Цель этого сборника – показать серьёзность подхода зарубежных учёных к проблеме глобальных рисков и ознакомить отечественного читателя с первоисточниками информации по проблеме.

В начале сборника находятся три фундаментальные статьи, каждая из которых в своё время привела к многочисленным откликам.

Первой идёт основополагающая статья Билла Джоя «Почему мы не нужны будущему», изданная в 2000 году в журнале Wired. Эта статья привела к началу широкой дискуссии в обществе на тему глобальных рисков.

Далее следует статья Вернора Винджа 1993 года о Технологической сингулярности, которая необходима для понимания проблем, возникающих перед человечеством в связи с будущим созданием Искусственного Интеллекта (ИИ).

Наконец, статья Ника Бострома об угрозах существованию (так мы переводим термин «existential risks»), послужившая отправной точкой для многочисленных статей, приведенных в этом сборнике, а термин «existential risks» закрепился в зарубежной науке.

В первую часть сборника входит и статья Е.Юдковски о когнитивных искажениях в оценке глобальных рисков, которая дала новую перспективу в анализе проблемы.

В статье знаменитого писателя-фантаста Д.Брина рассматривается такой способ предотвращения глобальных катастроф как «тотальная прозрачность».

А.Кононов рассматривает в своей статье глобальные цели, которые необходимы для долгосрочного выживания человечества, а именно «задачу неуничтожимости цивилизации».

Американский экономист Р.Хансен исследует вопрос о том, может ли социальный коллапс привести к последующему вымиранию человечества.

В моей статье рассматриваются процессы с положительной обратной связью как общий механизм разных глобальных катастроф.

Во второй части собраны статьи, в которых рассмотрены проблемы вычисления вероятности глобальной катастрофы. Это – наиболее сложная часть сборника, и неподготовленный читатель может ее пропустить. Большое внимание в сборнике уделено так называемой Теореме о конце света (Doomsday argument) и вообще различным приложениям теории вероятности для оценки рисков глобальных катастроф с учётом эффектов наблюдательной селекции. Дискуссии эти далеко не закончены, но наверняка представляют интерес для будущего исследователя глобальных рисков. Ещё две статьи дают новую перспективу в оценке рисков опасных физических экспериментов, вроде Большого Адронного Коллайдера. В этих статьях производится оценка рисков с точки зрения ожидаемого возможного ущерба и с точки зрения вероятности истинности оценок безопасности коллайдера. Две статьи рассматривают гипотезу о том, что мы живём внутри компьютерной симуляции, созданной сверхцивилизацией. Вероятность того, что мы можем быть в симуляции, полностью изменяет оценку глобальных рисков. Эти две статьи высказывают противоположные точки зрения на данный аргумент.

В третьей части собраны статьи, в которых рассматриваются риски, связанные с новыми технологиями. Три статьи посвящены рискам, связанным с нанотехнологиями, и проектам их предотвращения. Обсуждаются риски программы поиска сигналов внеземного разума SETI, а также риски Искусственного интеллекта. Глава из книги П.Д.Смита рассказывает о забытой угрозе – кобальтовой бомбе.

В четвертой части рассматриваются глобальные риски, создаваемые возможными природными катастрофами.

Часть статей для этого сборника взята из книги “Global catastrophic risks”, вышедшей в Оксфорде в 2008 году. Большую часть статей, которые приведены в этой книге, были переведены мной. (Кроме статей Билла Джоя, Винджа и одной статьи Бострома.)

Сборник выходит при поддержке Российского Трансгуманистического Движения в серии «Диалоги о будущем» и рассчитан в первую очередь на тех, кто имеет профессиональный интерес к глобальным рискам, но может быть любопытен и для широкого круга читателей.

А.Турчин

ЧАСТЬ 1. ОБЩИЕ ОБЗОРЫ ТЕМЫ

ГЛОБАЛЬНЫХ РИСКОВ

Билл Джой. Почему мы не нужны будущему

Впервые опубликовано на русском в журнале

«Компьютерра» в 2001г.

От переводчика:

Автором статьи, первоначально опубликованной в журнале “Wired”1, является Билл Джой – заведующий научной частью и сооснователь американской компьютерной компании "Sun Microsystems". Билл Джой – человек-легенда, один из отцов BSD Unix, разработчик программ csh и vi ("азбука" для каждого специалиста по Unix). Джой сыграл в истории Java одну из главных ролей, оставаясь зачастую за сценой. Работал в самом центре команды BSD Unix; усовершенствовав протокол TCP/IP для работы на Ethernet, а не только на 50 кбит/сек линиях Arpanet, Билл Джой сделал возможным появление Internet. Компьютеры Sun с работающей на них системой BSD Unix оказались наиболее надёжными кораблями для TCP/IP, существенная доля всех хост-компьютеров для Web по-прежнему являются машинами от Sun.

Перевод: Илья Осипов

Оригинал на сайте “Wired”: Bill Joy "Why the future doesn't need us".

Наши наиболее могущественные технологии 21-го века – робототехника, генная инженерия и нанотехнология2 – угрожают подвергнуть человеческий род опасности.

Нравственные измерения новых технологий беспокоили меня с того момента, как я стал заниматься их созданием, но только осенью 1998-го года я с тревогой понял, насколько велики опасности, с которыми мы столкнёмся в 21-м веке. Я могу датировать начало моей тревоги днём, когда я встретил Рэя Курцвейла (Ray Kurzweil), заслуженно прославленного изобретателя первой читающей машины для слепых и многих других удивительных вещей.

Я и Рэй были докладчиками на конференции Telecosm Джорджа Гилдера1, и я встретил его случайно в гостиничном баре после того, как окончились наши заседания. Я сидел с Джоном Сирлом2 , философом из Беркли, работавшим над изучением сознания. Пока мы беседовали, подошёл Рэй и завязался разговор, предмет которого преследует меня по сей день.

Я пропустил разговор Рэя и упустил тему разговора, а они теперь начали как раз там, где остановились. Рэй говорил о том, что темп улучшения технологии собирается ускоряться и что мы собираемся стать роботами, слиться с роботами или что-то наподобие, а Джон возражал, говорил, что этого не может случиться, поскольку роботы не могут быть сознательными.

Пока я слышал такие толки раньше, я всегда полагал, что чувствующие роботы относятся к сфере научной фантастики. Но теперь от некоторых уважаемых мною людей я услышал веский аргумент в пользу того, что такие роботы являются делом близкого будущего. Я был ошеломлён, особенно если учесть подтверждённую способность Рэя воображать и создавать будущее. Я уже знал, что новые технологии, вроде генной инженерии и нанотехнологии, дают нам власть переделать мир, но реалистичный и близкий сценарий создания разумных роботов поразил меня.

От таких открытий я чувствую себя больным. Мы едва ли не каждый день слышим в новостях про тот или иной технический или научный успех. Но это было совершенно неординарное предсказание. В гостиничном баре Рэй дал мне часть своей готовящейся к выходу в свет книги "Век духовных машин"3. Эта книга намечает в общих чертах утопию, которую он предвидит – утопию, в которой люди, "смертные", достигают почти бессмертия путём становления единым целым с робототехнической технологией. От чтения данной книги моё чувство тревоги только усилилось; я был уверен, что он преуменьшал опасности, преуменьшал вероятность плохого исхода при следовании по этой тропе.

Больше всего меня обеспокоил отрывок, подробно описывающий антиутопический сценарий:

Вызов нового луддита1

«Сперва давайте примем без доказательства, что компьютерщики преуспеют в совершенствовании разумных машин, которые всё смогут делать лучше, чем люди. В этом случае, по-видимому, вся работа будет делаться многочисленными высокоорганизованными системами машин и не нужны будут никакие людские усилия. Может произойти одно из двух. Либо машинам может быть разрешено делать всё, что они сочтут нужным, без человеческого за ними присмотра, либо человеческий контроль над машинами может быть сохранён.

Если машинам дана полная свобода в осуществлении их собственных решений, то невозможно сказать, к чему это приведёт, поскольку невозможно угадать, как такие машины могут себя вести. Мы только укажем, что гибель рода человеческого была бы во власти машин. Будет ли человечество когда-нибудь столь безрассудно, что передаст всю власть машинам, или же никогда не будет – спорный вопрос. Но мы не намекаем ни на то, что человечество добровольно передаст власть машинам, ни на то, что машины умышленно захватят власть. На что мы намекаем – так это на то, что человечество легко может позволить себе скатиться до положения такой зависимости от машин, что уже не будет никакого практического выбора, кроме как полного принятия всех машинных решений. В то время как общество и проблемы, с которыми оно сталкивается, будут становиться всё более и более сложными и всё более и более интеллектуальными будут становиться машины, люди будут позволять машинам принимать за них больше решений, просто потому, что решения, выработанные машинами, будут приводить к лучшим результатам, чем решения, принятые людьми. В конце концов может быть достигнута ступень, когда решения, необходимые для поддержания системы в рабочем состоянии, будут такими сложными, что люди будут неспособны к разумной выработке этих решений. На этой ступени фактически распоряжаться будут машины. Люди просто не смогут выключить машины, потому что они будут столь зависимы от них, что их выключение равнялось бы самоубийству.

С другой стороны, возможно, что человеческий контроль над машинами может быть сохранён. В этом случае средний человек может управлять некоторыми своими личными машинами, такими, как автомобиль или персональный компьютер, но контроль над крупными системами машин будет в руках крохотной элиты – совсем как сейчас, но с двумя различиями. Благодаря усовершенствованной технике элита будет иметь больший контроль над массами, а поскольку человеческий труд будет больше не нужен, массы будут излишними, бесполезным бременем для системы. Если элита безжалостна, она может просто принять решение истребить людскую массу. Если же она гуманна, то она может использовать пропаганду или иные психологические или биологические способы для сокращения уровня рождаемости, до тех пор, пока людская масса не вымрет, освободив мир для элиты. Или, если элита состоит из мягкосердечных либералов, она может решить сыграть роль доброго пастыря для остального человечества. Они будут присматривать, чтобы физические потребности каждого были удовлетворены, чтобы все дети воспитывались в психологически здоровых условиях, чтобы каждый человек не бездельничал, а имел полезное занятие по душе и чтобы всякий, кто мог стать недовольным, подвергался "лечению" для того, чтобы исцелить его "трудный случай". Конечно, жизнь будет настолько бесцельной, что людей придётся биологически или психологически перестроить: либо устранить их потребность в процессе власти1, либо заставить их "сублимировать" своё побуждение к власти в некоторое безобидное хобби. Эти спроектированные люди могут быть счастливы в таком обществе, но они совершенно определённо не будут свободны. Они будут приведены к статусу домашних животных2».

В книге, пока вы не перевернете страницу, вы не обнаружите, что автором этого отрывка является Теодор Качински – Унабомбер1. Я не апологет Качински. В течение 17-летней кампании террора его бомбы убили троих людей и многих поранили. Одна из его бомб тяжело поранила моего друга Дэвида Гелернтера, одного из самых выдающихся компьютерщиков и провидцев нашего времени. Подобно многим моим коллегам, я чувствовал, что следующей мишенью Унабомбера запросто мог быть я.

Качински действовал кровожадно и, по моему мнению, невменяемо. Он несомненно является луддитом, но простое указание этого факта не отклоняет его аргументацию; как ни тяжело мне было это сознавать, я видел некоторое достоинство в рассуждениях, изложенных в этом единственном отрывке. Я чувствовал необходимость противостоять им.

Антиутопическое предвидение Качински описывает непреднамеренные последствия пресловутой проблемы проектирования технологии и её использования, а также проблемы, которая имеет очевидное отношение к закону Мэрфи – "Всё, что может сломаться, сломается". (Фактически это закон Жулика2, который сам по себе показывает, что Жулик был прав.) Наше чрезмерное использование антибиотиков привело к тому, что до сих пор является, быть может, наибольшей такой проблемой: появление бактерий, устойчивых к антибиотикам и гораздо более опасных. Нечто подобное произошло, когда попытки ликвидировать малярийных комаров с использованием ДДТ вызвали у них устойчивость к этому препарату; более того, малярийные паразиты приобрели гены мультимедикаментозной устойчивости1.

Причина многих таких неожиданностей кажется понятной: задействованные системы сложны, они включают в себя взаимодействие и обратные связи между множеством частей. Всякие изменения такой системы будут каскадно ниспадать путями, которые трудно предсказать; это особенно верно, когда задействована человеческая деятельность.

Я начал показывать друзьям цитату Качински из книги "Век духовных машин"; я обычно вручал им курцвейловскую книгу, давал им прочитать цитату, а потом наблюдал их реакцию, когда они обнаруживали, кто её написал. Приблизительно в то же время я нашёл книгу Ганса Моравека "Робот: просто машина для превосходящего разума"2. Моравек является одним из лидеров исследований в робототехнике и основателем крупнейшей в мире робототехнической исследовательской программы при университете Карнеги Меллона. "Робот" дал мне больше материала для проб на моих друзьях – материала, удивительно подкрепляющего аргументацию Качински. Например:

Короткий бег (ранние 2000-е)

«Биологические виды почти никогда не переживали столкновений с превосходящими конкурентами. Десять миллионов лет назад Южная и Северная Америки были разделены затопленным Панамским перешейком. Южная Америка, подобно Австралии в наши дни, была населена сумчатыми млекопитающими, включая сумчатых эквивалентов крыс, оленей и тигров. Когда же перешеек, соединяющий Северную и Южную Америки, поднялся, северным плацентарным видам со слегка более эффективными метаболизмами, а также репродуктивной и нервной системами, понадобилось всего лишь несколько тысяч лет для того, чтобы вытеснить и ликвидировать почти всех южных сумчатых.

В совершенно свободном рыночном пространстве превосходящие человека роботы, несомненно, воздействовали бы на людей так же, как североамериканские плацентарные воздействовали на южноамериканских сумчатых (и как люди повоздействовали на бесчисленное множество видов). Робототехнические промышленности сильно конкурировали бы между собой за материю, энергию и пространство, устанавливая, между прочим, цены на них выше тех, которые достижимы для человека. Будучи не в состоянии позволить себе предметы первой необходимости и необходимые условия жизни, биологические люди оказались бы выдавленными за пределы бытия.

Вероятно, имеется некоторая светлая возможность, так как мы живём не в абсолютно свободном рыночном пространстве. Правительство принуждает к нерыночному поведению, главным образом, через собирание налогов. Если правительственные принуждения применять рассудительно, то они смогут поддерживать человеческое население в роскошном стиле на плодах работы роботов, возможно, в течение длительного промежутка времени».

Учебник антиутопии – а Моравеку удалось именно это. Моравек идёт дальше, обсуждая, как наша основная работа в 21-м веке будет "обеспечивать непрерывное сотрудничество для защиты от промышленностей роботов" путём принятия законов, которые приказывают роботам быть "любезными"1, а также он описывает, насколько серьёзно опасным может быть человек, "однажды превращённый в неограниченного сверхразумного робота". Мнение Моравека состоит в том, что со временем роботы нас сменят – что люди несомненно стоят лицом к вымиранию.

Я решил, что пришло время поговорить с моим другом Дэнни Хиллисом2. Дэнни стал знаменит как соучредитель корпорации "Думающие Машины", которая строила очень мощный параллельный суперкомпьютер. Несмотря на моё теперешнее звание главного учёного в "Sun Microsystems", я больше компьютерный архитектор, чем учёный, и я уважаю знания Дэнни в области информационных и естественных наук больше, чем знания какого-либо известного мне человека. Дэнни также считается крупным футуристом, думающим долгосрочно, – четыре года назад он основал фонд "Долгосрочное Настоящее"3, который строит часы, предназначенные для последних 10000 лет, в качестве попытки привлечь внимание к ничтожно короткому сроку существования нашего общества. (См. "Испытание Времени" ("Test of Time"), журнал "Wired" 8.03, стр. 78.)

Итак, я летел в Лос-Анджелес с определённой целью: отобедать с Дэнни и его женой, Пэйти. Я проходил эту семейную процедуру, щеголяя идеями и отрывками, которые я счёл столь волнующими. Ответ Дэнни – направленный специально на сценарий Курцвейла о слиянии людей с роботами – пришёл быстро и совершенно меня поразил. Он сказал просто, что изменения придут постепенно, и что мы к ним привыкнем.

Впрочем, я полагаю, что абсолютно удивлён я не был. В книге Курзвейла я видел цитату Дэнни, в которой он говорит: "Я также люблю своё тело, как и всякий другой, но если я смогу жить 200 лет с кремниевым телом, я приму его". Похоже, он был в мире с этим процессом и сопровождающим его риском. А я – не был.

Во время разговора и размышления о Курзвейле, Качински и о Моравеке, я вдруг вспомнил роман, который я читал почти 20 лет назад – "Белая Чума" Герберта Фрэнка. В этом романе молекулярный биолог, семью которого зверски убили, помешался. Чтобы отомстить, он конструирует и распространяет новую и очень заразную моровую язву, которая убивает широко, но избирательно. (Нам повезло, что Качински был математиком, а не молекулярным биологом.) Мне вспомнился также Борг из "Звёздного пути", рой частично биологических, частично робототехнических созданий с выраженными разрушительными наклонностями. Бедствия, подобные Боргу, являются главным элементом научной фантастики, так почему же я недостаточно беспокоился о таких робототехнических антиутопиях раньше? Почему другие люди недостаточно беспокоились об этих кошмарных сценариях?

Часть ответа состоит в том, что мы склонны к безоговорочному одобрению всего нового. Привыкнув жить с почти шаблонными научными открытиями, нам всё же придётся столкнуться с фактом, что наиболее неотразимые технологии 21-го века – робототехника, генная инженерия и нанотехнология – ставят угрозу, отличную от той, которую ставили прежние технологии. А именно, роботы, спроектированные организмы и нанороботы разделяют опасный усиливающий фактор: они могут самовоспроизводиться. Бомба взрывается лишь однажды – а один робот или наноробот может стать множеством роботов и быстро выйти из-под контроля.



Скачать документ

Похожие документы:

  1. ПРОБЛЕМЫ ПРЕДОТВРАЩЕНИЯ ГЛОБАЛЬНЫХ РИСКОВ

    Сборник статей
    ... ПРЕДОТВРАЩЕНИЯ ГЛОБАЛЬНЫХРИСКОВ, УГРОЖАЮЩИХ СУЩЕСТВОВАНИЮ ЧЕЛОВЕЧЕСКОЙ ЦИВИЛИЗАЦИИ СборникстатейПодредакцией Валерии Прайд, И.В. Следзевского, А.В. Турчина. ЧЕРНОВИК ПроектРоссийскогоТрансгуманистическогоДвижения. Москва ...
  2. ПРОБЛЕМЫ ПРЕДОТВРАЩЕНИЯ ГЛОБАЛЬНЫХ РИСКОВ

    Сборник статей
    ... ПРЕДОТВРАЩЕНИЯ ГЛОБАЛЬНЫХРИСКОВ, УГРОЖАЮЩИХ СУЩЕСТВОВАНИЮ ЧЕЛОВЕЧЕСКОЙ ЦИВИЛИЗАЦИИ СборникстатейПодредакцией Валерии Прайд, И.В. Следзевского, А.В. Турчина. ЧЕРНОВИК ПроектРоссийскогоТрансгуманистическогоДвижения. Москва ...
  3. В память об Eszter СТРУКТУРА ГЛОБАЛЬНОЙ КАТАСТРОФЫ Риски вымирания человечества в XXI веке Препринт Предисловие Вводное слово Н

    Книга
    ... ГЛОБАЛЬНОЙ КАТАСТРОФЫ Риски вымирания человечества в XXI веке Препринт Предисловие Г. Г. Малинецкого Вводное слово Н. Бострома ПроектРоссийскогоТрансгуманистическогоДвижения ...
  4. Культура и время время в культуре культура времени сборник научных трудов

    Документ
    ... Сборник научных трудов Подредакцией ... глобального ... ): препринт МИФИ ... движение неравноускоренное, вернее, ускоренное движение. Ускоренное движение ... трансгуманистического ... Статья была опубликована в Вестнике Санкт-Петербургского отделения Российской ...
  5. Культура и время время в культуре культура времени сборник научных трудов

    Документ
    ... Сборник научных трудов Подредакцией ... глобального ... ): препринт МИФИ ... движение неравноускоренное, вернее, ускоренное движение. Ускоренное движение ... трансгуманистического ... Статья была опубликована в Вестнике Санкт-Петербургского отделения Российской ...

Другие похожие документы..