home    книги    переводы    статьи    форум    ресурсы    обо мне    English

 Многофакторные сценарии

18.1. Интеграция различных технологий, создающие ситуации риска. 220

18.2. Парные сценарии. 222

18.3. Изучение глобальных катастроф с помощью моделей и аналогий. 225

18.4. Неизбежность достижения устойчивого состояния. 228

18.5. Рекуррентные риски. 229

18.6. Глобальные риски и проблема темпа их нарастания. 230

18.7. Сравнительная сила разных опасных технологий. 231

18.8. Последовательность возникновения различных технологий во времени. 232

18.9. Сопоставление различных технологических рисков. 233

18.10. Цели создания оружия судного дня. 235

18.11 Социальные группы, готовые рискнуть судьбой планеты.. 240

18.12. Обобщающий коэффициент, связанный с человеческим фактором.. 240

18.13. Принятие решения о ядерном ударе. 242

18.14. Цена вопроса. 243

18.15 Универсальные причины вымирания цивилизаций. 245

 

Выше мы составили насколько возможно полный список однофакторных сценариев глобальной катастрофы. Есть и другие варианты этого списка, например, в статье Н. Бострома и в книге Дж. Лесли, с незначительными отличиями. (Однако, мой список является наиболее полным из доступных на сегодняшний день.) Теперь мы должны задаться вопросом, возможны ли сценарии, в которых человечество гибнет не по какой-то одной причине, а от некоторого сочетания факторов, и если да, то какова их вероятность и каковы эти факторы. Скажем, может ли быть так, что один континент истребят супервирусы, другой – нанороботы, а третий вымрет от голода?

18.1. Интеграция различных технологий, создающие ситуации риска

Сам факт быстрого развития сильных технологий создаёт особую зону риска. Технологии имеют тенденцию содействовать друг другу в развитии. Скажем, развитие компьютеров помогает рассчитывать свойства новых материалов, а новые материалы позволяют создавать ещё более производительные процессоры для компьютеров. В современной технологии это известно под названием NBIC-конвергенция, что расшифровывается как nano-bio-info-cogno[i] и означает процесс слияния нанотехнологий, биотехнологий, компьютерных технологий и исследований человеческого мозга. Это слияние происходит за счёт обмена методами и результатами, а также реализации проектов, объединяющих элементы этих технологий, например, когда оболочки вирусов используются в качестве элементов для нанороботов[ii], или с помощью генной инженерии выводятся мыши с флуоресцентными маркерами[iii] в нейронах мозга для изучения процессов мышления. Конвергенция технологий нарастает по ходу прогресса и происходит выделение быстро развивающегося ядра технологий (NBIC), которые способны каждая помогать каждой. При этом они могут делать вклад и в ядерные, и в космические технологии, но не получить от них обратного вклада, а в силу этого не получается кольца положительной обратной связи – и эти технологии отстают от мэйнстрима технологического прогресса. Базой для NBIC технологий является миниатюризация. Конвергенция NBIC технологий ведёт к некому пику, которым, вероятно, является сильный искусственный интеллект.

Подобная интеграция неоднократно имела место в прошлом при создании оружия. Здесь технологии не помогали в развитии друг друга, но создавали принципиально новые агрегаты. Например, самолёт с пулемётом, фотоаппаратом и радиосвязью – в качестве разведчика и истребителя в первую мировую войну. Или межконтинентальная баллистическая ракета, в которой были объединены достижения в области ядерного оружия, ракетной техники и компьютеров, каждое из которых по отдельности было бы в тысячу раз безопаснее. То есть атомная бомба без средств доставки, или ракета с обычной боеголовкой, или ракета без систем наведения. (При этом хочется отметить, что нынешнее сокращение ядерных арсеналов компенсируется ростом их точности, что повышает их поражающую силу.)

Часто имеющиеся прогнозы будущего и фантастика описывают будущее как настоящее плюс одна какая-то новая черта. Тем же грешат и прогнозы глобальных рисков: они описывают появление в мире какой-то одной опасной технологии и затем рассматривают последствия этого события. Например, как изменится мир, если в нём появятся развитые нанотехнологии. Очевидно, что этот подход несостоятелен, так как будущие технологии, за счёт их совместного развития, будут появляться одновременно и вступать друг с другом в сложные взаимодействия.

При этом имеет место и последовательная, и параллельная конвергенция. Параллельная конвергенция имеет место, когда несколько новых технологий объединяются, чтобы создать качественно новый продукт, например, межконтинентальную ракету с ядерным зарядом. Последовательная относится к цепочке событий, в которой одни факторы запускают другие, например: теракт – экономический  кризис – война – применение биологического оружия.

18.2. Парные сценарии

Рассмотрим для начала гипотетические парные сценарии глобальной катастрофы, иначе говоря, разные варианты взаимоусиления основных факторов, взятых парами. При этом понятно, что в реальности они будут действовать все вместе, но эти пары могут стать «кирпичиками» (или, скорее, связями в графе) для более сложного прогнозирования. Дадим эскизное описание такого рода взаимодействия, фактически, в порядке мозгового штурма. Здесь каждый парный сценарий не следует воспринимать как окончательный прогноз – но не потому, что он слишком фантастичен, а потому, что он не учитывает влияния ещё ряда факторов.

ИИ и биотехнологии

Последовательная конвергенция (цепочка событий):

1.        Генетически модифицированные сверхлюди будут обладать сверхинтеллектом, который позволит им создать настоящий компьютерный ИИ.

2.        Ии создаст сверх-вирус как оружие.

3.        Люди вымрут от вируса, и придётся вводить вместо них роботов.

Параллельная конвергенция: возникновение новых продуктов на базе обеих технологий:

4.        Биологическая сборка сверхплотных чипов резко ускорит рост ИИ.

5.        Специальные вирусы будут устанавливать созданные самим Ии программы в мозг людям.

6.        ИИ будут создавать непосредственно из биоматериалов – нейронов, ДНК.

Ии и сверхнаркотик

Последовательные сценарии:

1.        Например, ИИ захочет обрадовать людей и создаст такой наркотик. Или сам ИИ и будет таким наркотиком (см. виртуальная реальность, интернет, управляемые сны).

2.        По мере гибели людей от сверхнаркотика придётся заменять их на роботов.

3.        Или наоборот, придётся придумать некое сверх-телевидение, чтобы успокоить людей, которые остались без работы из-за ИИ.

4.        Сверхнаркотик будет оружием враждебного ИИ против людей.

Параллельная конвергенция:

5.        ИИ придумает сложную комбинацию магнитных полей, создающую точный наркотический эффект в мозгу.

6.        Связь ИИ и человеческого мозга через нейрошунт принципиально усилит возможности и того, и другого. ИИ получит доступ к человеческой интуиции, а человек – к неограниченной памяти и скорости мысли.

Сверхнаркотик и биотехнологии

1. производство опасных наркотиков станет таким же простым делом, как выращивание чайного гриба.

2. Потребность людей в наркотиках приведёт к расцвету чёрного рынка биотехнологий, который попутно сделает доступным и изготовление биооружие массового поражения.

3. Чтобы отучить людей от сверхнаркотика, будет распылено особое биооружие, поражающее мозг.

4. Некая заразная болезнь будет одним из своих симптомов иметь эйфорию и стремление её распространять.

Сверхнаркотик и нанотехнологии

Ещё более сильный эффект даст прямое раздражение областей мозга микророботами. Нанороботы создадут системы, которые будут выводить информацию из мозга наружу (нейрошунты), что позволит создавать ещё более мощные средства развлечений. (Интересно, что в программе развития нанотехнологий в России утверждается, что рынок таких устройств к 2025 году достигнет миллиардов долларов[iv].)  Однако в целом здесь действуют те же сценарии, что и с биотехнологиями.

ИИ и нанотехнологии

1.        Нанороботы позволят прочесть детали устройства человеческого мозга, что ускорит развитие ИИ.

2.        ИИ поможет разработать и выпустить сверхэффективных нанороботов.

3.        Прогресс в нанотехнологиях поддержит закон Мура достаточно долго, чтобы компьютеры достигли производительности, многократной превосходящей производительность человеческого мозга при крайне низкой цене.

4.        Нанороботы и будут реальными носителями ИИ – получится нечто среднее между разумным океаном в духе лемовского Соляриса и сценарием Серой слизи.

5.        Враждебный ИИ использует нанороботов как оружие для установления своей власти на Земле.

ИИ и ядерное оружие

1.        Ии придумает, как сделать ядерное оружие (ЯО) проще, быстрее и дешевле.

2.        Сценарий, в духе предложенного в фильме «Терминатор»: ИИ использует ЯО, чтобы избавится от людей.

3.        Люди используют ЯО, чтобы попытаться остановить вышедший из-под контроля ИИ.

Нано и биотехнологии

1.        Живые клетки будут собирать детали нанороботов (синтезировать в особых рибосомах).

2.        Появятся «аниматы» – искусственная жизнь, содержащая элементы как живого, так и нанороботов.

3.        Только нанороботы дадут окончательную защиту от биологического оружия.

Нанотехнологии и ядерное оружие.

1.        Нанотехнологии позволят упростить разделение изотопов и конструирование ЯО.

2.        Попытки бороться со стаями нанороботов с помощью ядерных ударов приведут к дополнительному разрушению и заражению земли.

Ядерное оружия и биотехнологии

1.        Ядерное оружие может применяться для уничтожения опасных лабораторий и стерилизации заражённых пространств.

2.        Биоразработки могут применяться для добычи урана из морской воды и для его обогащения, а также для выделения плутония из отработанного топлива. Или дезактивации территории.

3.        Ядерная война происходит в сильно заражённом биологическими агентами мире. Война делает невозможным адекватный темп производства вакцин и прочих щитов, и одновременно приводит к интенсивной миграции людей. Ресурсы, которые могли бы пойти на защиту от микробов, брошены на защиту от радиационного облучения. Многие люди ослаблены.

ЯО и супервулканы

С помощью водородной бомбы можно спровоцировать взрыв супервулкана или сильное землетрясение. Или наоборот, направить его энергию по обводному каналу.

ЯО и астероиды.

1.             С помощью ЯО можно отклонить астероид от земли, или наоборот  направить его на Землю.

2.             Падение астероида может быть воспринято как ядерный удар и привести к случайному началу атомной войны.

3.             Астероид может также разрушить атомную станцию и вызвать заражение.

ИИ и системный кризис

1.Применение сверхкомпьютеров создаст некий новый тип нестабильности – быстрой и непонятной (в военной сфере, в экономике, в области прогностики-футурологии).

2. Война или угроза войны приведёт к гонке вооружений, в результате которой будет создан самый разрушительный и опасный ИИ.

3. Весь мир оказывается зависим от глобальной компьютерной системы управления, которая затем разрушается хакерами. Или в неё отдаётся команда о саморазрушении.

ЯО и системный кризис

1.             Любой взрыв атомной бомбы в городе может обрушить мировые финансовые рынки.

2.             Наоборот, обвал рынков и финансовый кризис может привести к фрагментации мира и усилению соблазнов силовых решений.

ЯО и климат

1.             Можно нарочно вызвать ядерную зиму, взорвав мощный ядерный заряд в каменноугольном пласте, что гарантировано выбросит в атмосферу огромное количество сажи. Если теория о «ядерной зиме» в результате атак на города верна, то такое действие будет в десятки или сотни раз эффективнее по выходу сажи.

2.             Можно, вероятно, спровоцировать и необратимое глобальное потепление с помощью правильно выбранных мест для ядерной атаки. Например, известно, что после ядерной зимы возможно ядерное лето, когда сажа осядет на ледники и вызовет их нагрев и таяние. Взрыв бомб в массивах газовых гидратов под дном океана тоже может вызывать цепную реакцию их высвобождения.

3.             Наоборот, можно регулировать климат, провоцируя выброс серы и пепла вулканами с помощью ядерных зарядов (но это уже цепочкам из трёх элементов).

18.3. Изучение глобальных катастроф с помощью моделей и аналогий

Глобальная катастрофа технологической цивилизации, ведущая к человеческому вымиранию – уникальное явление, которого никогда не было в истории, что затрудняет её исследование. Однако мы можем попробовать подобрать ряд других событий, которые будут аналогичны глобальной катастрофе в некоторых своих аспектах, и собрать, таким образом, ряд моделей. Выборка такого рода достаточно субъективна. Предлагаю взять в качестве аналогий масштабные, сложные, обстоятельно изученные и известные события. Это:

·          Вымирание динозавров

·          Вымирание неандертальцев

·          Крах Римской империи

·          Распад СССР

·          Кризис на острове Пасхи

·          Крах индейских цивилизаций Америки после открытия её Колумбом

·          Взрыв в Чернобыле

·          Гибель «Титаника»

·          Взрыв сверхновой звезды

·          Возникновение человечества с точки зрения биосферы

·          Начало Первой Мировой войны

·          Рак как болезнь

Эти события могут быть уподоблены глобальной катастрофе в разных аспектах. В одних из них участвуют разумные существа, в других необратимо вымирают целые виды, в третьих к краху подходят сложноорганизованные системы, в четвёртых участвуют сложные технологии. По каждой из названных тем много литературы, и она достаточно противоречива. В каждом случае есть множество гипотез, которые объясняют всё через какую-то одну причину – но поскольку таких гипотез много, то ни одна причина не является действительно единственной. Скорее наоборот, общем во всех названных вариантах является то, что не было какой-то одной причины: чем больше мы вникаем в детали, тем более различимо множество факторов, которые привели к концу, и которые взаимодействовали сложным образом. Про каждую из этих катастроф написаны книги, и разброс мнений значителен, поэтому я не буду пытаться пересказать все возможные представления о причинах всех этих катастроф, а отсылаю читателя к соответствующей литературе, среди которой можно выделить недавнюю книгу «Коллапс» Даймонда[v]. О вымирании динозавров стоит посмотреть соответствующую главу в книге К.Еськова «История Земли и жизни на ней»[vi].

Общим во всех этих случаях является то, что присутствовал сложный комлекс причин как внешнего, так и внутреннего характера. Именно комплексность этих причин создаёт проблемы, в тех случаях, когда мы пытаемся ответить на вопросы в духе «Почему распалась Римская империя?» И это самый главный урок. Если мы столкнёмся с катастрофой, которая погубит человеческую цивилизацию, то, скорее всего, она произойдёт не по какой-то одной причине, а в силу сложного взаимодействия разных причин на разных уровнях. Следовательно, мы должны пытаться создать модели такого же уровня сложности, как те, которые используются для описания уже случившихся крупных катастроф.

Во-первых, важно отметить, что решающую роль в вымираниях и катастрофах играли  факторы, составляющие основополагающие свойства системы. (Например, динозавры вымерли не от внешне случайной причины – астероида, а от самого их определяющего свойства – что они были огромные и яйцекладущие, а значит, были уязвимы к мелким хищным млекопитающим. Астероид был только поводом, открывшим окно уязвимости, и более устойчивые виды пережили его, например, крокодилы. Человек заболевает раком, не потому что у него произошла неправильная мутация, а потому что он по своей природе состоит из клеток, способных к делению. Если бы не специфика индейской культуры без колеса, лошадей и прогресса, то не Колумб бы приплыл к ним, а они – к  Колумбу.)

Идея о том, что определяющие свойства системы задают тот тип катастроф, которые с ней может случиться, заставляет задуматься, каковы определяющие свойства человеческого вида и современной цивилизации. Например, то, что самолёт по определению летает, – задаёт наиболее типичную катастрофу для него – падение. А для корабля наиболее типичным риском будет утонуть. Но гораздо реже корабли разбиваются, а самолёты тонут.

Итак, исходя из того, что ни одна из этих катастроф не была вызвана каким-то одним простым внешним фактором, а имела причины в определяющих свойствах самой системы (которые были, соответственно, «размазаны» по всему объему системы), мы можем сделать важный вывод: однофакторные сценарии глобальной катастрофы не настолько опасны, насколько опасны «определяющие свойства систем» и связанные с ними системные кризисы. Особенность системного кризиса состоит ещё и в том, что он автоматически вовлекает в себя всю популяцию и ему не нужны универсальные «средства доставки».

С другой стороны, мы можем сказать, что все эти факторы неважны, так как все империи рано или поздно всё равно рушатся, виды вымирают, а существа гибнут. Но эти сведения для нас бесполезны, так как ничего не говорят, как сделать так, чтобы это стало «поздно», а не «рано».

Во-вторых, хотя внутренние противоречия системы могли очень долго назревать, нужны были внешние и достаточно случайные факторы, чтобы подтолкнуть её к гибели. Например, хотя экологическая ниша динозавров устойчиво сокращалась по самой логике этого процесса, падение астероида и извержение вулканов могло ещё более подтолкнуть этот процесс. Или оледенение, которое подтолкнуло неандертальцев к вымиранию,  одновременно с давлением со стороны сапиенсов. Или Чернобыльская авария, которая подорвала СССР в период наибольшей уязвимости. И если бы этих внешних случайных факторов не было, то система могла бы и не перейти в другое русло своего развития.

В-третьих, во всех случаях, когда речь шла о разумном управлении, оно оказывалось, так или иначе, не очень разумным. Т.е. совершало решающие ошибки, ведущие к катастрофе. Кроме того, часто катастрофа связана с одновременным «случайным» совпадением большого числа разнородных факторов, которые по отдельности не вели к катастрофе. Наконец, катастрофическому процессу может быть свойственна патологическая самоорганизация, когда разрушительный процесс усиливается на каждом этапе своего развития.

Интересно изучить также и насколько успешно было человечество в создании систем, которые никогда не терпели катастроф, то есть при конструировании которых не использовался метод проб и ошибок. Увы, мы вынуждены исключить множество систем, которые создавались как безаварийные, но в результате привели к катастрофам. Можно вспомнить о ядерных реакторах, космических кораблях «Шаттл», сверхзвуковых «Конкордах». Лучше всего выглядит обеспечение безопасности ядерного оружия, но и здесь было несколько инцидентов, когда ситуация была, что называется, на грани. Представляется продуктивным дальнейшее изучение аналогов и моделей глобальных катастроф на совокупности примеров.

18.4. Неизбежность достижения устойчивого состояния

Можно сформулировать следующее правдоподобное высказывание: скорее всего, скоро человечество перейдёт в такое состояние, когда вероятность глобальных катастроф будет очень мала. Это произойдёт в следующих случаях:

а) мы поймём, что ни одна из глобальных катастроф не имеет высокой вероятности ни при каких условиях.

б) мы найдём способ контролировать все риски.

в) катастрофа всё-таки произойдёт, и гибнуть больше будет некому.

г) мы смиримся с неизбежностью глобальной катастрофы как частью естественного жизненного процесса (так, например, последние две тысячи лет христиане ждали Конца Света, и даже радовались его близости).

Однако, пока мы наблюдаем противоположное явление – возможности людей по созданию средств разрушения, а значит и погодовая вероятность глобальной катастрофы, постоянно растёт. Причём растёт быстрее, чем население и средства защиты. Если мы посчитаем эту кривую роста, то она тоже будет иметь некий пик. Можно взять для сравнения масштаб жертв от первой и второй мировой войн. Мы увидим, что за 25 лет число жертв максимального реализованного разрушения выросло примерно в 3,6 раза (если брать оценки в 15 и 55 млн. жертв соответственно). Это опережает рост населения. Однако с развитием ядерного оружия это ускорение пошло ещё быстрее, и уже к 1960-70 годам реально можно было уничтожить сотни миллионов людей (в реальной войне погибло бы не всё население Земли, так как цель истребить всех не ставилась). Итак, если взять темп ускорения силы разрушения в 3,6 в 25 лет, то получим ускорение в 167 раз за сто лет. Это означает, что к 2045 году война будет способна уничтожить 9 миллиардов людей – что сопоставимо с ожидаемым на этот момент общим количеством населения Земли. Эта цифра близка к ожидаемой технологической Сингулярности в районе 2030 года, хотя получена совсем другим способом и с использованием данных только первой половины ХХ века.

Поэтому мы можем переформулировать наш тезис: вечно рост вероятности факторов риска продолжаться не может. Можно сформулировать его и иначе: средства сохранения стабильности должны превосходить средства саморазрушения. Если же средства разрушения окажутся более мощными, то система опустится на такой уровень, где силы упорядочивания будут достаточны. Даже если это будет выжженная пустыня. С учётом временнóго фактора можно сказать, что средства поддержания стабильности должны расти быстрее, чем средства саморазрушения. И только в этом случае погодовая вероятность вымирания будет падать, и интеграл её во времени не будет стремиться к единице, что означает возможность бесконечного существования человечества, то есть реализации задачи его неуничтожимости.

18.5. Рекуррентные риски

Любой глобальный риск, который был нами перечислен в первой половине этого текста, становится значительно более опасным, если он возникает многократно. Есть большая разница между однократной утечкой опасного вируса, и тысячами утечек разных вирусов, происходящих одновременно. Если утечёт и распространится один вирус с летальностью в 50  %, мы потеряем до половины населения земли, но это не прервёт развития человеческой цивилизации. Если в течение жизни одного поколения будет 30 таких утечек, то в живых останется – вероятнее всего – только один человек. Если их будут тысячи, то гарантированно не выживет никто, даже если летальность каждого отдельного вируса будет только 10-20  % (при условии что все эти вирусы распространятся по всей планете, а не осядут в ареалах). То же самое можно сказать и про падение астероидов. Бомбардировка длительной серией из десятков астероидов среднего размера будет гораздо летальнее для человечества, чем падение одного большого.  

Разумеется, надо учесть способность человечества приспособиться к какой-то одной угрозе. Например, можно преуспеть в противостоянии абсолютно всем биологическим угрозам – если это будет единственный класс угроз. Однако возможности создания универсальной защиты от глобальных рисков ограничены. После 11 сентября в США стали составлять список уязвимых объектов и быстро поняли, что невозможно охранять все объекты.

Поскольку развитие технологий идёт совместно, мы не можем рассчитывать, что какие-то одни ключевые технологии возникнут, тогда как все остальные останутся на том же уровне, как сейчас. (Хотя обычно именно такой образ создают фантастические романы и фильмы. Это пример «предвзятости мышления, обусловленного хорошей историей».)

18.6. Глобальные риски и проблема темпа их нарастания

Глобальные риски являются игрой на опережение. Каждое новое технологическое свершение создаёт новые глобальные риски и уменьшает прежние. Освоение космоса уменьшило риск случайного столкновения с астероидом, но создало возможность организовать его нарочно. Распространение нанороботов уменьшит угрозы от генетически модифицированных организмов, но создаст ещё более опасное оружие. Искусственный интеллект решит проблемы контроля над другими опасными технологиями, но создаст такую систему контроля, любой сбой в работе которой может быть смертельно опасен. Развитие биотехнологий даст нам в руки возможность победить все бывшие прежде болезни – и создать новые.

В зависимости от того, какие технологии возникнут раньше или позже, возможны разные развилки на пути дальнейшего развития цивилизации технологического типа. Кроме того, важно, будут ли новые технологии успевать решать задачи, созданные на предыдущих этапах развития, в первую очередь – проблемы исчерпанности тех ресурсов, которые были истощены в ходе развития предыдущих технологий, а также устранения рисков, созданных прошлыми технологиями.

Раньше с человечеством происходило множество всех возможных ситуаций на неком этапе его исторического  развития, например, всё множество взаимодействий большого государства с кочевниками. Теперь мы оказываемся, по-видимому, в ситуации появления реальной исторической альтернативы – если будет что-то одно, то чего-то другого совсем не будет. Или будет создан мощный, контролирующий всё ИИ, или всё съест серая слизь. Или мы станем космической цивилизацией, или вернёмся в каменный век.

Глобальный риск возникает в силу скорости создающего его процесса. С медленным процессом распространения чего-то можно успеть справиться, приготовить правильные бомбоубежища, вырастить вакцину. Следовательно, отличить настоящий глобальный риск можно по темпу его развития (Солженицын: революция определяется темпом[vii].) Темп этот будет в случае глобального риска ошеломительным, потому что люди не могут успеть понять, что происходит и правильно приготовиться. Однако для разных классов событий ошеломляющими будут разные скорости. Чем невероятнее событие, тем меньшая его скорость будет ошеломляющей. СССР казался чем-то настолько вечным и незыблемым, что даже растянутый на многие годы кризис и крах советской системы казался ошеломляющим. Системный кризис, в котором точка максимальной катастрофичности постоянно сдвигается (как пожар, перекидываясь с одного объекта на другой), обладает гораздо большим ошеломляющим потенциалом.

При этом под шоковым восприятием системного кризиса следует понимать способность событий создавать неправильное о себе впечатление, возможно, в форме «шока будущего». И соответственно вызывать неправильную на них реакцию, ещё более их усиливающую (Пример чему – недавние ошибки американских властей, допустивших банкротство банка «Леманн Бразерс», что привело к несравнимом большему финансовому ущербу, чем если бы банк был спасён[viii].) Конечно, некоторые сразу поймут суть происходящего, но ошеломлённость означает распад единой картинки происходящего в обществе, особенно у властей. Поэтому произойдёт ослепление и голоса «Кассандр» не будут услышаны – или будут понятны неверно. Более быстрые процессы будут вытеснять более медленные, но не всегда внимание будет успевать на них переключиться.

18.7. Сравнительная сила разных опасных технологий

Далее, мы можем составить список «силы» разрушительного воздействия технологий, в которой каждая следующая технология даёт больший темп угроз и затмевает угрозы, создаваемые на предыдущем этапе. Временной фактор указывает здесь на длительность возможного процесса вымирания (а не время до созревания технологии).

1.             Исчерпание ресурсов – десятилетия или столетия.

2.             Масштабная ядерная война с применением кобальтовых бомб – с учётом медленного последующего вымирание – годы и десятилетия.

3.             Биотехнологии – годы или десятки лет.

4.             Нанороботы – от нескольких дней до нескольких лет.

5.             Искусственный интеллект – от часов до нескольких лет

6.             Взрыв на ускорителе – со скоростью света.

Важно отметить, что быстрые процессы «побеждают» медленные. Соответственно, сценарии глобальной катастрофы будут с гораздо больше вероятность переходить с первых позиций этого списка на последние, иначе говоря, если в середине процесса исчерпания ресурсов вдруг начнётся многофакторная биологическая война, то процесс исчерпания ресурсов будет настолько медленным по сравнению с ней, что его можно не принимать во внимание. При этом наличие каждой более продвинутой технологии будет позволять минимизировать последствия катастрофы от более слабой. Например, развитые биотехнологии помогут добывать ресурсы и очистить мир от радиоактивного заражения. Нанороботы смогут защитить от любых биологических опасностей.

18.8. Последовательность возникновения различных технологий во времени

Приведённый выше список «силы» технологий в целом похож на ожидаемую временнýю последовательность возникновения технологий в реальности, поскольку мы можем ожидать, что по ходу прогресса будут возникать всё более сильные и потенциально разрушительные технологии, но на самом деле не обязательно соответствует этой последовательности.

Последовательность возникновения различных технологий во времени является важнейшим фактором в определении того, какое нас ждёт будущее. Хотя благодаря NBIC-конвергенции успехи в одной технологии сказываются на других, для нас моментом созревания технологии является тот момент, когда с её помощью становится  возможным создать глобальный риск. И даже небольшое опережение здесь может играть решающее значение. Вообще, любая технология позволяет создавать щит и меч. По времени, щит обычно отстает, хотя, в конечном счёте, он может оказаться сильнее меча. Кроме того, более сильная технология создаёт щит от более слабой.

Обычно ожидается следующая последовательность созревания технологий: био – нано – ИИ. Сильный искусственный интеллект является своеобразным «джокером», который может возникнуть и завтра, и через десять лет, и через 50 или вообще никогда. Биотехнологии развиваются достаточно поступательно в соответствии со своим «законом Мура», и мы в целом можем предсказать время, когда они созреют до той точки, где можно будет производить каких угодно вирусов где угодно и как угодно дёшево. Это точно будет возможно через 10-30 лет, если некая катастрофа не прервёт развитие этих технологий. Опасный физический эксперимент может произойти почти мгновенно и независимо от других технологий – пока имеется высокий уровень технологий вообще. Приход к власти мощного ИИ значительно сократит вероятность такого события (но даже ИИ может ставить некие эксперименты).

Нанотехнологии находятся в значительно более зачаточной форме, чем биотехнологии и даже технологии ИИ. Первые опасные эксперименты с биотехнологиями были ещё в 1970-е годы (раковая кишечная палочка), а до ближайших опасных нанотехнологических экспериментов – ещё 10 лет как минимум, если не произойдёт какого-то технологического прорыва. То есть, нанотехнологии отстают от биотехнологий почти на 50 лет. Внезапный прорыв может произойти или со стороны ИИ – уж он придумает как легко и быстро создать нанотехнологии или со стороны биотехнологий – или на пути создания синтетических организмов.

18.9. Сопоставление различных технологических рисков

Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b).

Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применениям (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала. Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения. Для ИИ эти величины нам неизвестны. Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия. 

Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс на то, что мы найдём способ безопасным образом управлять прогрессом и применением его плодов.

Обобщая, можно сделать вывод, что биотехнологии получают самые высокие баллы по этой шкале – эти технологии наверняка возможны, вредоносное их применение почти неизбежно и по времени они весьма близки к нам.

Нанотехнологии получают неожиданно низкий уровень угрозы. Неизвестно, возможны ли они, при этом они  могут оказаться вполне безопасными и до момента их естественного созревания ещё довольно много времени. Если же они созревают неестественно, – благодаря прогрессу в создании ИИ или биотехнологий, – они оказываются в тени силы этих технологий: в тени угроз от биотехнологий, которые к тому моменту они могут создавать, и в тени способностей ИИ к контролю, который сможет проконтролировать все случайные утечки нанотехнологий.

ИИ, будучи «двухсторонним джокером», может и предотвратить любые другие риски, и легко погубить человечество. Сам момент возникновения ИИ является моментом полифуркации – в этот момент ему могут быть заданы цели, которые потом будет изменить невозможно. Медленное и более позднее возникновение Ии связано с возможным плавным перерастанием государства в гигантский всё-контролирующий компьютер. Более быстрое и раннее возникновение, скорее, связано с внезапным изобретением в некоей лаборатории машины, способной к самосовершенствованию, и нацеливанием её на захват власти на Земле. В этом случае она, скорее, создаст некие принципиально новые структуры связи и управления, а распространение её будет взрывным и революционным. Однако чем позже люди создадут Ии, тем больше шанс, что они будут понимать, как правильно его запрограммировать, чтобы он на самом деле приносил благо людям. Однако, с другой стороны, чем позже он возникнет, тем вероятнее, что это сделает некий «хакер», так как сложность задачи с каждым годом упрощается. Е. Юдковски (в статье в приложении к этой книге) метафорически так выражает эту мысль: Закон Мура в отношении ИИ гласит, что с каждым годом IQ человека-конструктора, необходимый для создания ИИ, падает на одну единицу.

Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект «добивания», вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое уменьшит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал «глобальные риски третьего рода».

Чем быстрее ускоряется развитие технологий, чем больше скорости обмена, тем быстрее становятся все процессы внутри человеческой цивилизации, в том числе тем быстрее работают все виртуальные симуляции реальности. Это означает, что за год объективного времени цивилизация может пройти сотни и тысячи лет «субъективного» времени, если считать по её внутренним часам. В силу этого, вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков – с точки зрения внутреннего наблюдателя.

Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвует в мировых процессах – треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас люди из «золотого миллиарда» в целом поспевает за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. Трудно заставить людей менять компьютеры чаще, чем раз в несколько лет (хотя японцы приучены менять сотовые телефоны и одежду каждые три месяца), правда экономическое давление очень велико и создаёт социальное давление – например, рекламный образ нового, ещё более крутого телефона. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу – побеждает более быстрый.

18.10. Цели создания оружия судного дня

Опасный фактор глобальной катастрофы может возникнуть или случайно, или быть создан намеренно. (Однако возможна и комбинация этих двух моментов: случайным фактором могут воспользоваться намеренно, например, скрыв приближение опасного астероида, или наоборот, нечто, замышлявшееся как игра с низким риском глобальной катастрофы, выйдет из-под контроля.)

Часто в дискуссиях возникает мнение, что никто не захочет реализовывать некий дьявольский план, и поэтому можно его не рассматривать. Это неверно. Во-первых, здесь применим статистический подход – рано или поздно нужные условия сложатся. Во-вторых, на Земле действительно есть группы людей и отдельные личности, которые хотят «конца света». Однако в целом это не относится к исламским террористам, потому что они хотят создать Всемирный Халифат, а не радиоактивную пустыню. (Но они могут быть готовы рискнуть по принципу «всё или ничего», например, создав «машину судного дня» и грозить её применить, если все страны мира одновременно не примут ислам. Но если другая секта одновременно создаст «машину судного дня» с требованием всем принять некую особенную форму буддизма, то ситуация действительно станет патовой, поскольку оба этих требования нельзя удовлетворить одновременно.) Важно отметить, что группа людей может гораздо дольше удерживать себя в состоянии настройки на некую идею, чем один человек, но зато группы реже формируются. Рассмотрим разные группы людей, которые потенциально могут стремиться к уничтожению человечества.

1) эсхатологические секты. Пример: Аум Синрикё. Эта организация не только верила в близость наступления конца света, но и работала над его приближением, собиралась информация о ядерном оружии, вирусах и химических веществах. (Впрочем, есть разные предположения о том, что именно делала и хотела Аум Синрикё, и выяснить окончательную правду не представляется возможным.) Теоретически опасны любые религиозные фанатики, выбирающие смерть. Например, старообрядцы часто предпочитали смерть новой вере. Такие фанатики полагают благом потусторонний мир или воспринимают Конец света как «обряд очищения». При этом возможна психологическая подмена, когда длительное ожидание чего-либо превращается в желание этого. Собственно, логическая цепь, приводящая от мирной медитации к разрушительной деятельности (за 10 лет примерно в случае Аум Синрикё) такова: сначала осознаётся наличие иного мира. Затем осознаётся, что потусторонний мир важнее нашего, и главные цели лежат в нём. Из этого следует, что наш мир вторичен, создан высшим миром, а, следовательно, мал, конечен и неважен. Более того, наш мир полон препятствий, мешающих чистому течению медитации. Поскольку высший мир первичен, то он рано или поздно он прекратит существование нашего мира. Поскольку наша секта является богоизбранной, то она получает особо точные знания о том, когда именно случится завершение этого мира. И, удивительное совпадение, есть знаки, что это произойдёт очень скоро. Более того, уничтожив мир, наша секта выполнит волю бога. Это обладание сверхважным секретным знанием, естественно, обостряет чувство собственной важности членов секты, и используется для укрепления руководства в неё. Конец нашего мира будет означать соединение всех хороших людей с высшим миром. Знание близости неизбежного конца, осознание позитивности этого события и своей исключительной роли в этом важном событии приводит к осознанию, что секта должна не только знать и проповедовать о конце света, но и приближать это событие. (Психологически происходит замена долгого ожидания на стремление.) Кроме того, попутно можно расправиться со своими врагами и чувствовать себя победителями старого мира. (Я не хочу сказать, что точно знаю, что Аум Синрикё действительно рассуждала подобным образом. Однако элементы этого рассуждения можно обнаружить у самых разных групп с эсхатологическим мировоззрением, от христианских до революционных. И вовсе не все люди и группы, которые говорят о конце света, собираются его организовывать. Среди известных сект, ожидающих конца света, – свидетели Иеговы и мормоны.)

2) радикальные экологи. Примеры: Движение за добровольное вымирание человечества. (The Voluntary Human Extinction Movement[ix] – они считают полезным вымирание человечества, однако предлагают осуществить это путём отказа от размножения.) такие группы считают благом мир природы и животных и полагают человечество – не без оснований – раковой опухолью на теле Земли, ведущей вымиранию всего живого. Также можно вспомнить радикальных вегетарианцев – «веганов», для которых жизнь животных не менее (а под час и более) важна, чем человеческая.

3) нео-луддиты. Например, террорист Унабомбер (Теодор Качинский), который считал единственным выходом для цивилизации – остановку технологического прогресса и возвращение к природе, и рассылал по почте бомбы ведущим учёным-кибернетикам. Три человека погибли и многие были ранены в результате его действий. Сейчас он отбывает срок в американской тюрьме.

4) Озлобленные люди, движимые местью. Те, кто сейчас, например, расстреливают из автомата одноклассников. Но такие проекты всё же готовятся не годами, а обычно несколько дней. Хотя можно представить себе человека, который сошёл с ума, сконцентрировавшись на идее отомстить миру или Богу.

5) Бессознательное деструктивное поведение. Это может быть или неожиданный всплеск (разбить пробирку с ядом), или некая более тонкая ошибка в оценке собственных целей. Например, многие виды наркомании и экстремального поведения являются, по мнению психологов, скрытыми формами медленного «самоубийства» (саморазрушительное поведение). Потребность в самоубийстве, возможно, записана у человека на генетическом уровне и вызывается в ответ на отвержение его обществом (например: сепуко самураев; собака, умирающая от одиночества; алкоголизм от одиночества).

6) «геростраты». Понятно, что не перед кем будет прославиться, если разрушить весь мир, но, уничтожая его, можно на секунду почувствовать себя «великим человеком». Фактически, это будет извращённое проявление стремления к власти.

7) шантажисты, создавшие «машину судного дня». Это могут быть люди, выдвигающие какие угодно политические или экономические требования под угрозой полного уничтожения всего мира. Поэтому их может быть особенно трудно поймать, так как их «машина» может находиться в любом месте.

8) Универсальное оборонительное оружие последнего выбора. Вместо того чтобы создавать ядерный щит из ракет, некая страна может создать одну сверхмощную ядерную бомбу с кобальтовой оболочкой и угрожать её взорвать в случае вооружённой агрессии. Это немногим менее рационально, чем концепция «взаимного гарантированного уничтожения», ради которой созданы стратегические ядерные силы. И это похоже на поведение человека, который подрывает себя гранатой вместе с неприятелем  – а ведь правители тоже пока люди. Тем более что такое оружие создаётся не для того, чтобы его применять, а чтобы угрожать им. Концептуально это близко идее «глобального шантажа».

9) рискованное поведение, дающее большой выигрыш или проигрыш. Например, это может быть некий физический или биологический эксперимент. Это может быть отягчено нежеланием и неспособностью людей оценить масштабы и вероятность проигрыша в наихудшем случае. Пример: внешняя политика Рейгана в противостоянии с СССР.

10) Потребность в риске для сильных переживаний, азарт. Люди проигрывали поместья в карты не для того, чтобы изменить своё имущественное положение, а потому что испытывали потребность в острых переживаниях риска. Сейчас это проявляется в экстремальных видах спорта.

11) Сторонники вытеснения людей более совершенным искусственным интеллектом. В Интернете есть люди, продвигающие эту идею. Радикальные трансгуманисты тоже могут, даже против своей воли, попасть в это число.

12) Люди, полагающие смерть лучшей альтернативой чему-либо. Один американский генерал во Вьетнаме сказал про убитых жителей одной деревни: «Чтобы спасти их, нам пришлось их уничтожить».

13) Самоубийцы. Если человек нашёл достаточные основания, чтобы убить себя, он может не пожалеть и остальной мир. Пример: Итальянский пилот, который врезался в башню Пирелли в Милане на частном самолёте 12 марта 2002 года. Клиническая депрессия может проявляться в том, что человек начинает испытывать интерес к проблемам конца света, а затем и желать его, чтобы он скорее наступил. Отсюда один шаг до активной помощи в этом процессе.

14) Шизофреники, охваченные навязчивыми идеями. Бред при шизофрении заставляет человека обнаруживать не существующие в природе взаимосвязи. Шизофреники часто слышат голоса, которые подчиняют их себе. Мы не можем предсказать, какого рода бред приведёт к выводу о том, что землю надо уничтожить. При этом интеллектуальные способности при шизофрении не снижаются настолько, чтобы сделать невозможной реализацию долгосрочных эффективных стратегий. Хотя специальные тесты могут доказать наличие шизофрении, внешне она не всегда очевидна. Более того, в отличие от невроза, она не осознаётся самим человеком. Утрата способности сомневаться – одно из наиболее серьёзных проявлений шизофрении. Шизофрения может быть «заразной» в виде религиозных сект, тиражирующих некие бредовые идеи.

15) Борцы за мир. В истории неоднократно сверхоружие создавалось с той мыслью, что теперь оно сделает войны невозможными. С такой целью был создан динамит, с этой же идеей была придумана кобальтовая бомба.

16) Дети. Уже сейчас хакеры подросткового возраста стали одним из основных источников разрушительной активности в Интернете. При этом их интеллекта достаточно, чтобы освоить какую-то одну отрасль знания и написать вирус или сделать «бомбочку», но не достаточно ещё, чтобы осознать всю полноту последствий своих действий, и свою ответственность за них.

17) Перверсия сексуальной модели поведения человека, побуждающая его распространять «себя» экзотическими способами. В главе «Опасности молекулярного производства» отчёта Центра ответственных нанотехнологий мы можем прочесть: «Другим возможным источником серой слизи могут быть безответственные любители, для которых это будет хобби. Люди определённого психологического типа, по-видимому, не могут избежать искушения возможностью создавать и выпускать на волю самореплицирующиеся образования, что нам доказывает большое количество существующих компьютерных вирусов»[x].

18) Спецслужбы и антитеррористические организации, стремящиеся повысить своё влияние в обществе. 29 июля 2008 года покончил собой основной подозреваемый в осуществлении атак сибирской язвой в США осенью 2001 года Брюс Айвинс (Bruce Ivins). В течение 36 лет до этого он был одним из главных специалистов по биозащите и вакцинации от сибирской язвы с США. Он был женат, усыновил двоих детей, написал 44 статьи, играл на синтезаторе в местной церкви. В результате бактериологической атаки 2001 года был нанесён ущерб более, чем на миллиард долларов, а на средства биозащиты было выделено порядка 50 миллиардов долларов[xi]. В том числе планировалась (но не состоялась) закупка разработанной Айвинсом вакцины от сибирской язвы на 800 млн. долларов, из которых от должен был получить десятки тысяч долларов роялти. В результате атаки и принятых мер, число людей, работающих по программам биозащиты и имеющих доступ к опасным препаратам, возросло в десятки раз, а значит, возросли и шансы на то, что среди них опять найдётся кто-то, кто совершит новую атаку. (Впрочем, есть и убедительные альтернативные теории о том, кто был организатором атаки[xii].)

Человеком всегда движет несколько побуждений, только часть из которых осознается и вполне рациональна. Я не исключаю, что часто до 10 разных желаний и целей должны были объединиться, чтобы я принял некое решение – то есть, чтобы сформировался достаточный всплеск мотивации. При этом специальные психологические процедуры для выявления скрытых целей применяются редко, и большинству людей неизвестны. Поэтому легко ожидать, что перечисленные мотивации могут действовать совместно, скрытно, нелинейно интерферируя и давая неожиданный громадный всплеск, «волну-убийцу».

18.11 Социальные группы, готовые рискнуть судьбой планеты

Вероятно, надо отдельно выделить список социальных групп и организаций, которые стремятся к крушению и смене мирового порядка. И ради этого или готовы пойти на риск всеобщего уничтожения, или могут его создать, не осознавая этого. Например, Рональд Рейган объявил «Крестовый поход» против СССР, но он понимал, что в процессе этого противостояния риск катастрофически опасной войны возрастает.

1) мировые державы, борющиеся за господство в мире. Это могут быть или первые державы, теряющие власть и вынужденные «атаковать под угрозой утраты преимущества», или державы-претенденты на мировое господство, выбирающие радикальные  и рискованные методы достижения своих целей. Психология этих процессов остаётся на уровне борьба за место альфа-самца в обезьяньей стае, которая, однако, довольно жёстко детерминирована природой естественного отбора.

2) Утопические социальные движения, стремящиеся к великим целям, например, радикальные коммунисты или религиозные организации.

3) Различные национальные, экономические, политические силы, которые не получают «своей доли» в нынешнем мироустройстве или ожидают утраты своих позиций в будущем.

4) Можно назвать также разных сторонников «поэзии апокалипсиса», любителей компьютерных игр в духе Fallout, которых привлекает эта идея, и значит, бессознательно – а иногда и сознательно – они этого и хотят.

5) Люди, живущие по принципу «после нас хоть потоп», то есть не то, что бы желающие глобальной катастрофы прямо, но предпочитающие действия, которые приносят благо в краткосрочной перспективе, но несут колоссальный вред в долгосрочной. Это состояние может особенно обостряться в связи с осознанием неизбежности собственной смерти, присутствующим у каждого человека, и сильнее всего проявляющимся в периоды риска и старости. (Модель поведения: седина в бороду – бес в ребро.)

6). Отдельно можно выделить всё то непонимание природы и вероятности глобальных катастроф, которое мы будем обсуждать во второй части.

18.12. Обобщающий коэффициент, связанный с человеческим фактором

Чтобы учесть разнообразие человеческих мотиваций, можно ввести некий обобщённый вероятностный коэффициент k. Этот коэффициент означает, грубо говоря, шансы на то, что пилот самолёта направит свой самолёт на таран, или, говоря в общем случае, долю людей, которые решат применить доступную им технику для уничтожения себя и других людей. Мы также не учитываем здесь различие между заранее подготовленными и спонтанными действиями. Например, если в некой стране у каждого в доме есть оружие, то будет некое среднее число его незаконных применений. Это число крайне мало. Допустим, (далее идет чисто предположительные оценки, с точностью до порядка), этот коэффициент может составлять для США (где 35 миллионов стволов на руках и высокий уровень преступности)  одну миллионную в день, а для Швейцарии, если взять единственный случай расстрела парламента в Цуге – одну миллиардную. Для авиации мы получим, если поделить примерное число всех совершённых вылетов пассажирских авиалайнеров (порядка миллиарда) на число самолётов, захваченных террористами для атак 11 сентября (4) – 1/250 миллионную. При уровне самоубийств в 1 процент этот коэффициент в пересчёте на человека на день будет равен примерно одной миллионной. В мире около миллиарда компьютеров, и каждый день выходят десятки новых вирусов, что даёт k = 1/10 000 000, то есть только один из десятков миллионов пользователей производит бессмысленные и опасные вирусы (но коммерческое нелегальное spyware могут производить и большее число людей).

Мы видим, что при разных условиях k в пересчёте на один «проект» на один день колеблется между одной миллионной и одной миллиардной. Верхней безопасной оценкой будет одна миллионная, тогда как наиболее реальной оценкой, может быть, одна сто миллионная.

Не следует думать, что если мы раздадим ключи от запуска ракет нескольким людям, то мы понизим шансы опасного сумасшествия в миллион миллионов раз, поскольку бредовые идеи бывают заразными. Кроме того, дежурные одной из станций запуска ракет в США признались, что они от скуки придумали систему из ножниц и верёвочки, позволяющих повернуть одному человеку два ключа запуска одновременно[xiii].  То есть системы запуска можно обойти хитростью.

Кроме того, сумасшествие может носить тонкий и неочевидный характер, и плавно переходить из области психиатрии в область просто неверных или неадекватных решений. Оно не обязательно означает, что человек вдруг нажмёт «красную кнопку». В случае паранойи это может быть обосновано совокупностью весьма логичных и убедительных построений, способных убеждать других людей в необходимости предпринимать немного более рискованных действий, чтобы защитится от мнимых угроз. «Сумасшествие» может проявляться и в отказе от действий в решительный момент. Это может быть излишнее упорство в некоторых заблуждениях, которые приведут к цепочке неверных решений.

Сэр Мартин Рис отмечает[xiv] следующее противоречие: в будущем станет возможно управлять поведением, и даже характером людей и их личностью с помощью высокоточных лекарств, генетических манипуляций и прочих воздействий, делая людей всё более нормальными и безопасными. Однако это будет снижать естественное разнообразие человеческого поведения, убивая человеческое в человеке.

Вывод: всегда найдутся люди, которые будут хотеть уничтожить мир, и поэтому нужно рассматривать всерьёз все сценарии, где кто-то может долго и упорно работать, чтобы этого достичь. 

18.13. Принятие решения о ядерном ударе

Важным является вопрос, может ли сумасшествие одного человека привести к «нажатию красной кнопки». Этот вопрос относительно изучен применительно применению ядерного оружия, но аналогичным образом будет возникать при появлении любых других видов опасного оружия, технологий и машин судного дня. При этом важно знать, в чьих руках находится «красная кнопка» – только ли высшего руководства или в руках определённой группы исполнителей: понятно, что чем шире круг операторов, которые имеют доступ к применению оружия, тем риск выше.

Существует следующее противоречие, связанное с эффективностью и безопасностью ядерного оружия: или у нас есть абсолютно устойчивая система защиты от непреднамеренно запуска, которая делает запуск невозможным ни по команде президента, ни по решению командира подлодки. Или у нас есть система, способная в течение 8 минут в условиях интенсивного противодействия вероятного противника и нарушения всех систем связи нанести ответный удар. Реальные системы, устройство которых – в настоящий момент – является величайшей тайной, должны находить баланс между этими противоречивыми требованиями. Однако в прошлом эффективность часто предпочиталась безопасности. Например, в 60-70 годы в США запуск ракет поставили на пароль из 14 цифр, который должен был сообщаться из центра. Однако значение этого пароля установили 0000000000000000, и все это знали (военные считали пароль глупостью, которая помешает им нанести удар вовремя). Только потом пришла независимая комиссия и потребовала создать реальный пароль.

Вряд ли может возникнуть ситуация, когда президент ночью сойдёт с ума, потребует принести ему ядерный чемоданчик и нажмёт на кнопку. Однако возможны более тонкие варианты, когда непродуманное и иррациональное поведение, обусловленное аффектами, усталостью и неверным пониманием, приведёт к цепочке действий, ведущих к войне. Например, Гитлер, напав на Польшу, никак не ожидал, что Англия вступит в войну. Или американцы, планируя атаковать Кубу в 1962 году, не знали, что там уже есть советское тактическое ядерное оружие, и войска имеют право его применять.

Важным моментом в принятии решений о ядерном ударе является взаимодействие оператора с инструкцией. Инструкция тоже создаётся людьми, и описываемые в ней ситуации воспринимаются гипотетически, а не как реальные решения о применении оружия. Выполняя инструкцию, оператор также не несёт никакой ответственности, ибо делает, что написано. В результате ответственность размывается, и становятся возможными решениями, которые ни один человек бы сам по себе не принял. Характерен пример с ракетчиком С.Е.Петровым, которого позже ООН наградило медалью за спасение человечества. Обнаружив в 1983 году, вскоре после того, как сбили Корейский Боинг, старт ядерных ракет с территории США, он решил не давать команду об ответном нападении, так как посчитал эту тревогу ложной. Однако Петров не был рядовым дежурным смены, он был разработчиком инструкции по принятию решений, который оказался в этой смене случайно. И поэтому он сам отменил составленную им же инструкцию. Однако рядовой дежурный должен был бы её выполнить.

18.14. Цена вопроса

Мы можем также измерить вероятность апокалиптического сценария, определив количество денег, времени и прочих ресурсов, которые для него потребуются, – и сравнив их с общем количеством доступных ресурсов. Если для «конца света» нужно Х тонн некоего вещества, то при наличии его на Земле в размере 1,5Х он маловероятен, а если его есть триллион доступных Х, то почти неизбежен. Мы можем также пытаться  определить минимальное количество людей, которые должны объединиться, чтобы создать то или иное оружие судного дня. Очевидно, что дешевле адскую машинку захватить. Например, чеченские террористы планировали захватить атомную подводную лодку и шантажировать РФ. Но вряд ли бы они могли создать сами такой арсенал ракет.

Понятно, что важен также фактор времени. Если некоторый проект очень дёшев, но требует 10 лет усилий, то его скорее разоблачат, или человек в нём разочаруется. Наоборот, если проект быстр (разбить пробирку с ядом), то человек его может реализовать под влиянием минутного настроения.

Десятки стран в настоящий момент могут создавать ядерное оружие, но эти проекты потребуют для своей реализации многих лет. В то же время тысячи биолабораторий в мире могут работать над генетические модифицированными вирусами, и проекты эти могут быть реализованы гораздо быстрее. По мере накопления знаний и стандартизации оборудования, это число растёт, а время на разработку сокращается. Для создания опасного вируса требуется сейчас бюджет от тысяч до миллиона долларов, в то время как ядерные проекты начинаются с миллиардов. Кроме того, цена разработок в биотехнологиях падает гораздо быстрее, так как не требует больших капитальных вложений и скорее зависит от доступности информации.

Можно ввести фактор риска A, прямо пропорциональный количеству L мест на Земле, где опасный проект может осуществляться и обратно пропорциональный ожидаемому среднему времени T на завершение проекта с ожидаемой эффективностью в 50  %.

                 

Тогда для проектов по созданию ядерной сверхбомбы он будет приблизительно равен 40/10=4, а для проектов биологического оружия в настоящий момент – 1000/1=1000. При этом, скорее всего, зависимость реального риска от А нелинейная. Чем дешевле проект, тем вероятнее, что его смогут создать маргиналы. Кроме того, маленький и дешёвый проект гораздо проще скрыть или замаскировать, или продублировать. Чем больше проектов в мире, тем вероятнее, что умножение этого числа на k («доля сумасшедших») из предыдущего раздела даст значительную величину. Например, в мире около 100 действующих ядерных подводных лодок. При допущении, что для них k = одной миллионной,  это даст одно событие раз в 10000 дней или примерно в 30 лет. При этом уровень безопасности на атомных подлодках настолько высок, что, вероятно, что там k гораздо меньше приближается к миллиардной. (Однако из-за специфики систем безопасности там есть риски не сколько намеренного захвата, сколько случайного применения из-за нарушения систем связи, ложных срабатываний – например, я читал в мемуарах, что 1982 году советский подводный флот на всякий случай был переведён в полную боевую готовность после смерти Брежнева – то есть были введены коды, вставлены ключи запуска, занята позиция для удара.)

Однако число лабораторий, способных проводить генетические манипуляции, сейчас, вероятно, исчисляется тысячами, и уровень безопасности там ниже, чем на подводных лодках. Более того, создание биологического ассемблера, то есть живого существа, способного переводить сигналы с компьютера в ДНК и обратно, радикально упростит эти технологии. Благодаря этому число существующих лабораторий может возрасти до миллионов. (Можно также сказать, что чем дешевле проект, тем больше для него k, так как в дешёвых проектах меньше расходы на безопасность.) В этом случае мы можем ожидать появления смертельно опасных вирусов каждый день. 

Итак, каждое средство разрушения характеризуется суммой денег и временем, необходимыми для его создания. Эти параметры не единственные, но позволяют сравнить разные средства. Далее, надо учесть вероятностный фактор в отношении того, сработает ли (в смысле достижения полного вымирания) данное оружие. Даже очень дешёвый проект может дать вероятность в 0,0001, а очень дорогой – только 0,60. Можно условно считать, что мы нормируем все проекты «конца света» на 50 процентную вероятность. Ни один из них не может гарантировать 100 процентной эффективности, что утешает. Однако в сумме дешёвые, но не очень опасные проекты могут создать большую вероятность глобальной катастрофы за те же деньги, чем один большой проект. (Тысяча вирусов против одной сверхбомбы.)

Немаловажный вопрос – каков минимальный размер организации, которая могла бы уничтожить человечество, если бы хотела. Думаю, что сейчас страна-изгой средних размеров могла бы. Хотя раньше это могли только две сверхдержавы. Кроме того, современные корпорации обладают сравнимыми ресурсами. Следующая фаза – крупные террористические организации, потом небольшие группы и отдельные люди.

18.15 Универсальные причины вымирания цивилизаций.

Парадокс Ферми и ряд других соображений – см далее про Doomsday Argument – заставляют предположить, что есть некоторые универсальные причины вымирания цивилизаций, которые могут действовать на все цивилизации во всех мирах без исключений, не зависимо от конкретных технологических достижений и природных особенностей планет и других миров.

1) Старение цивилизации - в смысле накопления ошибок. При крайне быстром росте тоже происходит быстрое накопление ошибок, поскольку отсутствует корректирующая обратная связь между результатом роста и его дальнейшим направлением.

2) Любая цивилизация формируется благодаря естественному отбору из «обезьян», а естественный обор способствует тому, что выживают более рисковые индивиды, которые оставляют больше потомства, а не самые «безопасные» индивиды. В результате любая цивилизация недооценивает риск.

3) Цивилизации возникают так редко, что они могут возникнуть только на грани устойчивости параметров природных систем, которые их поддерживают. Рост цивилизации неизбежно разрушает это равновесие (пример: глобальное потепление)

4) Цивилизации растут экспоненциально, и таким образом рано или поздно  исчерпывают любой доступный им ресурс, после чего либо терпят экологический коллапс, либо начинают войну за ресурсы. (предел Роша у Ефремова). Нанотехнологии не решают эту проблему, так как при нынешних темпах роста все материалы солнечной системы будут израсходованы за несколько сот лет.

5) Развитие оружия всегда опережает развитие средств защиты. Любая цивилизация всегда создаёт оружие, которое может ее уничтожить, и в больших количествах. После этого вероятность самоуничтожения цивилизации становится ненулевой, что означает, что она самоуничтожиться в течение конечного времени, или найдёт способ свести эту вероятность к нулю.

6) Чем сложнее система, тем она более склонна к «нормальным авариям» и неожиданным переходам. По мере роста сложности эти переходы становятся всё чаще. При определённом уровне сложности система сразу срывается в неуправляемый хаотический режим.

7) Любая цивилизация рано или поздно порождает ИИ, который быстро экспоненциально растёт, а затем разрушается за счёт неизвестных нам противоречий. Например, принципиальная неразрешимость задачи дружественности – в более общей ее форме – задачи неуничтожимости самого ИИ.

8) Цивилизация всегда состоит из конкурирующих военных и экономических агентов, что приводит к «естественному отбору» тех из них, которые умеют побеждать в краткосрочных противостояниях, в ущерб тем, кто отказывается от краткосрочных преимуществ ради будущего цивилизации.

9) Цивилизация рано или поздно научается заменять реальное достижение результата созданием его признаков (в духе супернаркотика), и в силу этого прекращает всяческую внешнюю активность.

10) В свойствах нашей вселенной есть некая особенность, в результате которой все цивилизации, ставящие некий физический эксперимент (например, запускающие адронный коллайдер), погибают. Однако это не совсем универсальный аргумент, так как возможны другие вселенные.

11) Интеллектуальный уровень разумных существ растёт линейно, а для самоуничтожения нужен меньший уровень интеллекта, чем для создания универсальной защиты от глобальных рисков. Поэтому все цивилизации раньше достигают уровня на котором они умеют самоуничтожаться, чем уровня, на котором они обладают достаточной сознательностью, чтобы предотвращать глобальные риски.

Нетрудно отметить, что в современной цивилизации присутствуют почти все перечисленные здесь универсальные кризисы, и этот список может быть не полным.



[i] Медведев Данила. Конвергенция технологий как фактор эволюции. http://www.transhumanism-russia.ru/content/view/317/116/ вышла в первом сборнике РТД «Диалоги о будущем».

[ii]Arthur J. Olson, Yunfeng H. E. Hu, and Ehud Keinan. Chemical mimicry of viral capsid assembly. self- http://tc2tc.mojolingo.xuite.net/m2m-0000/www.pnas.org/cgi/reprint/0709489104v1

[iii] Heidi Ledford. The power of a single neuron. http://www.nature.com/news/2007/071219/full/news.2007.392.html

[iv] пересказ документа в газете «Коммерсант» http://kommersant.ru/doc.aspx?DocsID=803524

[v] Jared Diamond Collapse: How Societies Choose to Fail or Succeed. Viking Adult, 2004. Русская рецензия: http://elementy.ru/lib/164676

[vi] К.Еськова «История Земли и жизни на ней». М., МИРОС — МАИК «Наука/Интерпериодика», 2000. http://warrax.net/51/eskov/cover_eskov.html

[vii] А.И.Солженицын. «Красное колесо».

[viii] Банкротство "Леман Бразерс" похоронило американский фондовый рынок http://russianews.ru/news/17698

[x] Dangers of Molecular Manufacturing. http://www.crnano.org/dangers.htm

[xii] Берд Киви. Следствие окончено, забудьте. http://offline.computerra.ru/2008/747/370384/

 

[xiii] Об этом сообщает Блейр в своей книге Bruce G. Blair. The Logic of Accidental Nuclear War, доступной здесь: http://books.google.com/books?id=cs1J3h_28AUC&pg=PA1&ots=Vbd63DAJxg&dq=,+ACCIDENTAL+NUCLEAR+WAR&sig=ZyWYztlA8gKpm1sWeCWBx0XvZig

[xiv] Sir Martin Rees, Our final hour, с 71.