home    книги    переводы    статьи    форум    ресурсы    обо мне    English

Общие соображения об оценке вероятностей глобальных рисков

 

1.1 Пространство возможностей. 45

1.2 Рассматриваемый промежуток времени: XXI век. 46

1.3 Проблемы вычисления вероятностей различных сценариев. 47

1.4 Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами  56

1.5 Глобальные катастрофы и горизонт прогнозирования. 57

1.6 Краткая история исследований вопроса. 59

1.7 Угрозы менее масштабных катастроф: уровни возможной деградации. 67

1.8 Однофакторные сценарии глобальной катастрофы.. 70

1.9 Принципы классификации глобальных рисков. 71

 

1.1 Пространство возможностей

В первой части книги мы очертим и проанализируем «пространство возможностей», в котором может произойти глобальная катастрофа. «Пространство возможностей» – термин, восходящий к книге «Фантастика и футурология» Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он приводит пространство возможностей «Холодной войны», которое было задано появлением определённой технологии, и внутри которого разворачивались те или иные сценарии противостояния: карибский кризис, гонка вооружений и т. д. Описание сценариев практически бесполезно, так как, хотя каждый может быть очень интригующим, вероятность именно его реализации крайне мала. Чем больше в сценарии конкретных деталей, тем менее он вероятен – хотя видимость правдоподобия от этого возрастает. Вместе с тем, анализ отдельных сценариев даёт нам срез пространства возможностей, и потому полезен.

Один из важнейших способов достижения безопасности – учёт всех возможных сценариев в соответствии с их вероятностями, то есть построение «древа отказов». Например, безопасность авиатранспорта достигается, в частности, за счёт того, что учитываются всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, описание должно дать информацию, удобную для осмысления и пригодную для практического использования – и желательно, чтобы эта информация была адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста.

Обратите внимание, что при чтении одни моменты могут показаться вам очевидными, другие интересными, а третьи – вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем.

Вся информация взята из открытых источников, приведённых в списке литературы.

1.2 Рассматриваемый промежуток времени: XXI век

Есть два различных класса прогнозов – о том, что именно произойдет, и о том, когда это случится. Идеальный прогноз должен отвечать на оба эти вопроса. Однако, поскольку до идеала в прогнозах обычно далеко, то одни прогнозы лучше говорят о том, что будет, а другие о том, когда. Наилучший результат в отношении времени события можно получить, вообще не вникая в фактическую суть событий, а анализируя события статистически. Например, если знать, что рецессия в США бывает в среднем  раз в 8 лет с разбросом плюс минус два года, можно неплохо угадывать время следующей рецессии, не вникая в её фактически причины. C другой стороны, анализируя фундаментальные причины событий, можно совершить значительную ошибку в оценке времени их наступления, которое часто зависит от случайных и невычислимых факторов. Например, мы наверняка можем утверждать, что рано или поздно в районе Калифорнии произойдёт мощное землетрясение силой до 9 баллов, связанное с подвижкой океанической коры под материковую, то есть мы знаем, что произойдёт землетрясение, но не знаем, когда.

Исследуя глобальные катастрофы, возможные в XXI веке, мы в нашей работе пытаемся ответить на оба вопроса, поскольку мы описываем не только их механизмы, но и утверждаем, что эти механизмы могут реализоваться в течение ближайших нескольких десятков лет. Возможно, некоторым читателям будет проще допустить возможность реализации этих механизмов не через 30, а, допустим, через 300 лет. Таким читателям можно сказать, что, исходя из принципа предосторожности, мы рассматриваем наиболее опасный сценарий наиболее быстрого развития ситуации, и что действительно возможно, что эти же самые события произойдут значительно позже. Но следует заметить, что Р.Курцвел, рассматривая вопрос ускорения темпов исторического времени и скорости технологического прогресса, предлагает считать XXI век равным по объёму инноваций предыдущим 20 000 годам человеческого развития.

В нашей книге анализируются угрозы существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем сейчас ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница 2100 года является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года).

Некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века (например, глобальное потепление), и в этом случае мы обсуждаем их. Граница 2100-ого года позволяет нам не рассматривать в качестве рисков глобальной катастрофы отдалённые во времени космические события, вроде превращения Солнца в красного гиганта. И взята эта граница не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000 – это станет очевидным из дальнейшего анализа конкретных рисков.

Иначе говоря, любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение ближайших нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени, возможно, содержит неустранимую ошибку, я расширяю её до 100 лет. Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни двадцати, а только несколько лет до того момента, когда вероятность глобальной катастрофы достигнет максимума. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна – о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в разделе «Неизбежность достижения устойчивого состояния» главы 19 «Многофакторные сценарии».) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную.

Фактически, говоря о XXI веке в целом, я, возможно, внушаю ложное чувство спокойствия, поскольку существует класс источников глобальных рисков, вероятность появления которых значительно возрастёт в ближайшие 10-20 лет. Речь идёт, в первую очередь, об опасных практических приложениях биотехнологий (см. дальше в главе 4). Поэтому возможно, следовало бы говорить о первой половине XXI века. Иначе говоря, глобальные катастрофы могут случиться не с нашими потомками, а именно с нами. Я допускаю, что для живущего сейчас обычного человека шанс умереть от глобальной катастрофы выше, чем вероятность естественной смерти.

1.3 Проблемы вычисления вероятностей различных сценариев

Начну с цитаты из эссе «О невозможности прогнозирования» С. Лема: «Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...».[i]

Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей, а также — с хаотическим характером всей системы.

С другой стороны, отсутствие каких-либо оценок нивелирует ценность построений. При этом, получение неких численных оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим. Допустим, мы выясним, что вероятность возникновения опасного недружественного ИИ составляет 14 % в ближайшие 10 лет. Как нам применить эту информацию? Или, если всё-таки случится глобальная катастрофа, имевшая оценку вероятности в 0,1 %, мы всё равно не узнаем, какова была действительно вероятность, поскольку это однократное событие, и не понятно, из какого множества делается выборка. Иначе говоря, сам факт катастрофы ничего не скажет нам о том, было ли это закономерное событие, или нам просто очень не повезло.

Я исхожу из того, что оценки вероятности нужны, прежде всего, для принятия решений о том, каким проблемам стоит уделить внимание и ресурсы, а какими можно пренебречь. Однако, цена предотвращения разных классов проблем различна: одни предотвратить относительно легко, а другие фактически невозможно. Поэтому для вычисления вероятностей мы будем пользоваться байесовой логикой[1] и теорией принятия решения в условиях неопределённости. Получившиеся в результате числа будут не реальными вероятностями (в смысле статистическими распределениями разных глобальных рисков по множеству возможных сценариев), которые нам неизвестны, а нашими наилучшими субъективными оценками этих вероятностей.

Далее, такое вычисление должно учитывать временную последовательность разных рисков. Например, если риск А имеет вероятность в 50 % в первой половине XXI в., а риск Б – 50 % во второй половине, то наши реальные шансы погибнуть от риска Б – только 25 %, потому что в половине случаев мы до него не доживём.

Наконец, для разных рисков мы хотим получить погодовую плотность вероятности. Напомню, что здесь должна быть применена формула непрерывного нарастания процентов, как в случае радиоактивного распада. (Например, погодовой риск в 0,7 % даст 50 % вымирания цивилизации за 100 лет, 75 % за 200 и 99,9 % за 1000 лет.) Это означает, что любой риск, заданный на некотором промежутке времени, можно нормировать на «период полураспада», то есть время, на котором он бы означал 50 %-ую вероятность вымирания цивилизации.

Иначе говоря, вероятность вымирания за период времени [0; T] равна:

P(T) = 1 – 2 ,

Где Т  – время полураспада. Тогда погодовая вероятность будет P(1) = 1 – 2 , Следующая таблица показывает соотношение этих параметров, вычисленное с помощью вышеприведенной формулы для разных начальных условий.

Таблица 1. Связь ожидаемого времени существования цивилизации с погодовой вероятностью вымирания.

 

T0 — период, за который глобальная катастрофа случится с вероятностью 50 %:

P(1) — вероятность глобальной катастрофы в ближайший год,  %

P(100) — вероятность вымирания цивилизации за 100 лет (то есть к 2107г).   %

1–P(100) — шансы выживания цивилизации за 100 лет:

Период гарантированного вымирания с вероятностью

99,9 %, лет:

10 000

0.0069 %

0,7  %

99,3 %

100 000

1 600

0.0433 %

6 %

94 %

16 000

400

0.173 %

 

12,5 %

87,5 %

4 000

200

0.346 %

25 %

75 %

2 000

100

0.691 %

50 %

50 %

1 000

50

1,375 %

75 %

1 к 4

500

25

2,735 %

93,75 %

1 к 16

250

12,5

5,394 %

99,6 %

1 к 256

125

6

10,910 %

99,9984 %

1 к 16 536

60

 

Обратите внимание на нижнюю часть этой таблицы, где даже очень большое снижение шансов выживания за весь XXI век не изменяет в значительной мере «период полураспада» T0, который остаётся на уровне порядка 10 лет. Это означает, что даже если шансы пережить XXI век очень малы, всё равно у нас почти наверняка есть ещё несколько лет до «конца света». С другой стороны, если мы хотим пережить XXI век наверняка (сделать 1–P(100) как можно выше), нам надо приблизить погодовую вероятность вымирания P(1) практически к нулю.

В нашей методологии мы рассмотрели список из примерно 150 возможных логических ошибок, которые так или иначе могут изменить оценку рисков. Даже если вклад каждой ошибки составит не более одного процента, результат может отличаться от правильного в разы и даже на порядки. Когда люди предпринимают что-то впервые, они обычно недооценивают рискованность проекта в 40-100 раз, что видно на примере Чернобыля и Челленджера. (А именно, челнок был рассчитан на одну аварию на 1000 полётов, но первый раз разбился уже на 25-ом полёте, что, как подчёркивает Юдковски, говорит о том, что оценка безопасности в 1 к 25 была бы более правильной, что в 40 раз меньше исходной оценки; реакторы строились с расчетом одна авария на миллион лет, но первая масштабная авария произошла через примерно 10.000 станций-лет эксплуатации, то есть, оценка безопасности в 100 раз более низкая была бы более точной.) Е. Юдковски в своей основополагающей статье «Систематические ошибки в рассуждениях, влияющие на оценку глобальных рисков»[ii] приводит анализ достоверности высказываний экспертов о разнообразных величинах, которые они не могут вычислить точно, и о том, какие интервалы 99 %-й уверенности они дают для этих величин. Результаты этих экспериментов удручают. Позволю себе большую цитату:

«Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество «Врачей и хирургов» в бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, когда вы уверенны на 99 %, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99 % уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98 %-й уверенности. Если вы хорошо откалиброваны, то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.

Альперт и Раиффа задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведённым выше. Оказалось, что 426 подлинных значений лежали за пределами 98 %-ых интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно настроены, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2 %, случались в 42.6 % случаев.

Другую группу из 35 испытуемых попросили оценить 99.9 %-е верхние и нижние границы уверенности. Они оказались неправы в 40 % случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47 % случаев. Наконец, четвёртая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38 % случаев.

Во втором эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки – и затем их попросили дать 98 %-е интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19 % случаях, что являет собой значительное улучшение их результата в 34 % до подготовки, но всё ещё весьма далеко от хорошо откалиброванного результата в 2 %.

Подобные уровни ошибок были обнаружены и у экспертов. Хинес и Ванмарк опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 %-й уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Кристиен-Салански и Бушихед опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88 %, доля пациентов, действительно имевших пневмонию, была менее 20 %.

Лихтенштейн производит обзор 14 исследований на основании 34 экспериментов, выполненных 23 исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из них следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться почти в каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.

Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Бюхлер попросил студентов-психологов предсказать важный параметр – время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если всё пойдёт «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.

Бюхлер попросил студентов оценить время сдачи дипломных работ, в котором они уверены на 50 %, на 75 % и на 99 %. Только 13 % участников закончили свои дипломы к моменту, которому приписывали 50 % вероятность, только 19 % закончили к моменту 75 % оценки и 45 % закончили к 99 % уровню. Бюхлер пишет: “результаты выхода на уровень 99 % достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, всё равно уверенность студентов в их временных оценках намного превосходила их реальные результаты”[iii]»

Итак, есть серьёзные основания считать, что мы должны крайне расширить границы уверенности в отношении вероятностей глобальных рисков, чтобы искомая величина попала внутрь заданного интервала. Насколько же мы должны расширить границы уверенности?

Обозначим величиной N степень расширения интервала уверенности для некой величины A. Интервал уверенности будет следующим: (A/N; A×N). Например, если мы оценили некий показатель в 10 %, и взяли N=3, то интервал получится (3 %; 30 %). Разумеется, если мы оцениваем вероятность, то интервал не должен расширяться за пределы 100 %. Каково должно быть N для глобальных рисков, пока сказать трудно. Моя оценка — N=10. В этом случае, мы получаем довольно широкие интервалы уверенности, в которые, скорее всего, попадёт искомая величина. При этом, интервалы уверенности будут различны для различных видов риска (так как их вероятности мы оцениваем по-разному).

Другой способ определения N – изучить среднюю ошибку, допускаемую экспертами, и ввести такую поправку, которая бы покрывала обычную ошибочность мнений. То, что в проектах ядерного реактора и космического челнока реальное значение N было между 40 и 100 (см. выше), говорит о том, что, возможно, мы слишком оптимистичны, когда принимаем его равным 10. Вопрос этот нуждается в дальнейшем изучении.

Это обобщение не снижает ценности таких вычислений, поскольку разница вероятностей различных рисков может составлять несколько порядков. А для принятия решения о важности противостояния той или иной опасности нам нужно знать порядок величины риска, а не точное значение.

Итак, мы предполагаем, что вероятность глобальных катастроф можно оценить, в лучшем случае, с точностью до порядка (причём, точность такой оценки будет плюс-минус порядок) и что такого уровня оценки достаточно, чтобы определить необходимость дальнейшего внимательного исследования и мониторинга проблемы[2]. Подобными примерами шкал являются Туринская и Палермская шкалы риска астероидной опасности.

Одиннадцатибальная (от 0 до 10) Туринская шкала астероидной опасности «характеризует степень потенциальной опасности, грозящей Земле со стороны астероида или ядра кометы. Балл по Туринской шкале астероидной опасности присваивается малому телу Солнечной системы в момент его открытия в зависимости от массы этого тела, возможной скорости и вероятности его столкновения с Землей. По мере дальнейшего исследования орбиты тела его балл по Туринской шкале может быть изменен»[iv]. Ноль означает отсутствие угрозы, десять – вероятность более 99  % падения тела диаметром более 1 км. Палермская шкала отличается от Туринской тем, что учитывает также и время, оставшееся до падения астероида: чем времени меньше, тем выше балл. Балл по Палермской шкале вычисляется по специальной формуле[v].

Интересно было бы создать аналогичную шкалу для оценки рисков глобальных катастроф, ведущих к человеческому вымиранию. Поскольку результат любой катастрофы такого рода по определению один и тот же, то масштаб здесь учитывать не нужно. С другой стороны, принципиальное значение приобретает степень неопределённости нашего знания о риске и наша способность его предотвратить. Таким образом, шкала глобальных катастроф должна отражать три фактора: вероятность глобальной катастрофы, достоверность сведений о данном риске и вероятность того, что данный риск удастся предотвратить.

В силу сказанного кажется естественным предложить следующую вероятностную классификацию глобальных рисков в XXI веке (рассматривается вероятность на протяжении всего XXI века при условии, что никакие другие риски на неё не влияют):

1)           Неизбежные события. Оценка их вероятности – порядка 100  % в течение XXI века. Интервал уверенности: (10 %; 100 %)

2)           Весьма вероятные события – оценка вероятности порядка 10  %. (1 %; 100 %)

3)           Вероятные события – оценка порядка 1  %. (0,1 %; 10 %)

4)           Маловероятные события – оценка 0,1  %. (0,01 %; 1 %)

5)           События с ничтожной вероятностью – оценка 0,01  % и меньше. (0 %; 0,1 %)

Пунктами 4 и 5, казалось бы, можно пренебречь, поскольку их суммарный вклад меньше, чем уровень ошибок в оценке первых трёх. Однако, ими пренебрегать не стоит, так как возможна значительная ошибка в оценке рисков. Далее, важно количество событий с малой вероятностью. Например, если возможны несколько десятков разных сценариев с вероятностью 0,1 % – 10 %, то в сумме это даёт разброс вероятности 1 % - 100 %. К неизбежным событиям относится только тот факт, что в течение XXI века мир существенно изменится.

Должна ли сумма вероятностей отдельных глобальных рисков не превышать 100 %? Предположим, что мы отправляем в поездку неисправный автомобиль. Вероятность того, что он потерпит аварию из-за того, что у него проколота шина, равна 90 %. Однако, предположим, что у него, помимо этого, неисправны тормоза, и если бы шины были исправны, то вероятность аварии от неисправности тормозов тоже составляла 90 %. Из этого примера видно, что вероятность каждого глобального риска, вычисляемая в предположении (очевидно, ложном), что нет других глобальных рисков, действующих в то же самое время, не может просто складываться с вероятностями других глобальных рисков.

В нашем примере шансы машины доехать до конца пути равны 1 % ((1–0.9)х(1–0.9)=0.01) а шансы того, что причиной аварии может стать каждый из двух рисков – 49,5 %. Предположим, однако, что первые полпути дорога такова, что авария может произойти только из-за неисправных шин, а вторую – только из-за неисправных тормозов. В этом случае до конца доедет тоже только 1 % машин, но распределение вкладов каждого риска будет иным: 90 % машин разобьётся на первом участке дороги из-за шин, и только 9 % на втором из-за неисправных тормозов. Этот пример показывает, что вопрос о вероятности того или иного вида глобальной катастрофы некорректен, пока не указаны точные условия.

В наших рассуждениях мы будем широко пользоваться «принципом предосторожности», то есть, мы будем предполагать, что события могут сложиться наихудшим реалистичным образом. При этом реалистичными мы будем считать следующие сценарии: а) не противоречащие законам физики б) возможные при условии, что наука и техника будут развиваться с теми же параметрами ускорения, что и в настоящий момент. Принцип предосторожности соответствует указанной Юдковски и проверенной на многих экспериментах закономерности (см. выше цитату из него), что результат, который люди получают относительно будущего, обычно оказывается хуже их самых худших ожиданий[vi]. При расширении вероятностных промежутков нам следует уделять внимание, в первую очередь, расширению в худшую сторону, то есть — в сторону увеличения вероятности и уменьшения оставшегося времени. Однако, если некий фактор, например создание защитной системы, может нам помочь, то оценки времени его появления следует увеличивать. Иначе говоря, консервативной оценкой времени появления домашних конструкторов биовирусов будет 5 лет, а времени появления лекарства от рака – 100. Хотя, скорее всего, и то, и другое появится через пару десятков лет.

В экономике применяется следующий метод предсказания – опрос ведущих экспертов о будущем некого параметра и вычисление среднего. Очевидно, это не позволяет узнать действительное значение параметра, но позволяет сформировать «best guess» – наилучшее предположение. Тот же метод можно применить, с определённой осторожностью, и для оценки вероятности глобальных катастроф. Допустим, в отношении глобального потепления из тысяч экспертов только один говорит, что она наверняка приведёт к полному вымиранию человечества. Тогда применение этой методики даст оценку вероятности вымирания, равную 0,1 %.

Высказанные в данном разделе соображения о расчёте вероятностей пригодятся нам при дальнейшем исследовании и классификации катастроф. Напомним их:

·         экспоненциальный характер роста суммарной вероятности при постоянной погодовой вероятности,

·         необходимость расширения границ уверенности, даваемых экспертами,

·         необходимость применения байесовой логики при вычислении поправок к известным вероятностям,

·         применение шкал, вроде Туринской, для оценки разных рисков,

·         влияние на оценку вероятности одного глобального риска вероятностей других рисков и порядка их следования

·         применение принципа предосторожности для выбора наихудшей реалистичной оценки.

 

1.4 Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами

Далее я привожу известные мне оценки ведущих экспертов в этой области[vii]. Дж. Лесли, 1996, «Конец света»: 30 % в ближайшие 500 лет с учётом действия Теоремы о Конце света без него – 5 %.[viii]

Н. Бостром, 2001, «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей »: «Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25 %, и  наивысшая оценка может быть значительно больше…»[ix].

Сэр Мартин Рис, 2003 «Наш последний час»: 50 % в XXI веке[x].

Может показаться, что эти данные не сильно расходятся друг с другом, так как во всех случаях фигурируют десятки процентов. Однако, промежуток времени, на который даётся это предсказание, каждый раз сокращается (пятьсот лет – двести – сто), в результате чего погодовая плотность вероятности растёт. А именно: 1996 – 0,06 % – 0,012 % , 2001 – 0,125 %, 2003 – 0,5 %.

Иначе говоря, за десять лет ожидаемая оценка плотности вероятности глобальных катастроф, по мнению ведущих экспертов в этой области, возросла почти в 10 раз. Разумеется, можно сказать, что трёх экспертов недостаточно для статистики, и что эти мнения могут взаимно влиять друг на друга, однако тенденция неприятная. Если бы мы имели право экстраполировать эту тенденцию, то в 10-е годы XXI в. мы могли ожидать оценок погодовой вероятности вымирания в 5  %, а в 20-е годы – в 50  %, что означало бы неизбежность вымирания цивилизации до 2030 года. Несмотря на всю свою спекулятивность, эта оценка совпадает с другими оценками, полученными далее в этой книге разными независимыми способами.

С другой стороны, в годы холодной войны оценка вероятности вымирания тоже была высока. Исследователь проблемы внеземных цивилизаций фон Хорнер приписывал «гипотезе самоликвидации психозоя» шансы в 65 %[xi]. Фон Нейман считал, что ядерная война неизбежна и все в ней погибнут[xii].

1.5 Глобальные катастрофы и горизонт прогнозирования

Целью данной работы является попытка проникнуть немного далее, чем позволяет нам обычный горизонт прогнозирования – туда, где за пределами однозначного прогноза виднеются туманные очертания разных возможностей. Я полагаю, что реальный горизонт однозначного прогноза, который мы можем делать со значительной достоверностью, составляет 5 лет, тогда как пространство за горизонтом, где мы можем усмотреть разные возможности, составляет ещё 20 лет после этого момента. И за этим моментом следует абсолютная непредсказуемость. Постараюсь это обосновать.

Оценка в 5 лет возникла из экстраполяции исторических промежутков, на которых в прошлом ситуация в мире настолько менялась, что конкретные политические и технологические тенденции устаревали. Так, от открытия цепной реакции до атомной бомбы прошло 6 лет, ещё 7 – до первой водородной, а с этого момента – ещё 5 лет до запуска первого спутника. Примерно по 5 лет длились и обе мировые войны, 6 лет заняла эпоха перестройки. Поступая в вуз на 5 лет, человек не знает обычно, куда он из него пойдёт работать и какую выберет специализацию. На 5 лет обычно выбирают президентов, и никто не знает, кто будет президентом через срок. СССР управлялся на основе пятилетних планов. Периодичность появления принципиально новых продуктов и их огромных рынков: PC, интернет, сотовые телефоны – тоже имеет порядок нескольких лет. Планы внедрения новых технологий микропроцессоров также составляют не более нескольких лет. При этом основной силой в ожиданиях на ближайшие несколько лет оказывается «сила инерции», то есть мы можем с высокой вероятностью говорить, что в течение ближайших 5 лет будет примерно тоже, что и сейчас, за исключением ряда развивающихся тенденций. Однако, когда мы говорим о сроках более 5 лет, то более вероятным выглядит утверждение о том, что ситуация кардинально изменится, чем то, что она будет такой же, как сейчас. Эффект ускорения исторического времени, о котором мы будем говорить дальше, вероятно, сокращает этот срок однозначного прогноза.

Таким образом, мы можем сказать, что до начала «полосы тумана» в однозначных прогнозах будущего у нас есть примерно 5 лет, то есть, это 2013 год от момента, когда я пишу эти строки. В целом, мы смутно представляем более поздние технологии, хотя и существуют отдельные технические проекты со сроком реализации до 2020-х годов ( термоядерный реактор ИТЭР или строительство лунной базы), и есть бизнес-планы, которые рассчитаны на срок до 30 лет, например, долгосрочная ипотека. Но именно пять лет – это примерный срок, за которым неопределённость в глобальном состоянии всей системы начинает преобладать над определённостью в разных видах человеческой деятельности. Также надо отметить, что с течением времени всё большая неопределённость приходится не на технологические проекты, а на открытия. И хотя мы можем сказать, что некоторые проекты составлены на 20 лет вперёд, мы не знаем, какие факторы будут самыми главными в экономическом, политическом и техническом развитии.

Абсолютным пределом в прогнозах кажется 2030 год, в районе течение которого предполагаются возможными развитые нанотехнологии, искусственный интеллект и полное овладением биоконструированием (Это мнение разделяется многими футурологами). Нам кажется, что сейчас  нет смысла в оценках кривых роста популяции или запасов каменного угля на этот период, поскольку мы ничего не можем сказать о том, как повлияют сверхтехнологии на эти процессы. С другой стороны, большая неопределённость есть в выборе самой этой даты. Она часто фигурирует в разных дискуссиях о будущем технологий, о чём речь пойдёт дальше в главе про технологическую Сингулярность. Очевидно, что неопределённость в дате «2030 год» составит не менее пяти лет. Если произойдёт некая неокончательная катастрофа, то она может резко расширить горизонт прогнозирования просто за счёт сужения пространства возможностей (например, в духе сюжета: «теперь мы будем сидеть в бункере 50 лет»). Хотя большинство футурологов, пишущих на тему новых технологий, предполагают, что сверхтехнологии созреют к 2030 году, некоторые относят появление зрелых нанотехнологий и ИИ к 2040-м годам, однако мало кто решается дать обоснованные предсказания на более поздние даты. Кроме того, помимо неопределённости, связанной с нашим незнанием темпов развития разных технологий, их конвергенция в ходе технологической сингулярности даёт неопределённость более высокого порядка, связанную с тем, что мы не можем предсказывать поведение интеллекта, значительно превосходящего наш.

Также надо иметь в виду, что время предсказуемости постоянно уменьшается в связи с ускорением прогресса и ростом сложности систем. Поэтому, высказывая предположения о границе предсказуемости, мы уже делаем некий прогноз на будущее – хотя бы о том, что степень его изменчивости будет сохраняться. Очевидно, однако, что граница предсказуемости может возрастать за счёт нашего лучшего предвидения и успехов в создании устойчивого общества.

Здесь также действует парадокс среднесрочных прогнозов. Мы можем сказать, что будет с человеком завтра (примерно то же самое, что и сегодня), или через десятки лет (возможно, он состарится и умрёт), но мы не можем сказать, что будет через 10 лет. Также и про человечество мы можем сказать, что оно к концу XXI века или перейдёт в постиндустриальную фазу с нанотехнологиями, искусственным интеллектом и почти физическим бессмертием, или к этому моменту погибнет, не выдержав быстроты изменений. Однако прогноз на 15 лет гораздо менее очевиден.

В силу сказанного, хотя мы и исследуем угрозы глобальной катастрофы на протяжении всего XXI века, наибольшей интерес для нашего исследования представляет промежуток примерно в два десятилетия между 2012 и 2030 годами. До этого периода вероятность глобальной катастрофы в целом известна и мала, а после него – мы утрачиваем, за рядом исключений, возможность что-либо точно предполагать.

1.6 Краткая история исследований вопроса

История современного научного изучения глобальных рисков ведёт отсчёт с 1945 года. Перед первыми испытаниями атомной бомбы в США возникли сомнения, не приведёт ли это испытание к цепной реакции термоядерного синтеза азота в атмосфере Земли. (Самоподдерживающееся химическое горение азота в кислороде невозможно, так как эта реакция эндотермическая, то есть идёт с поглощением энергии. Реакция ядерного синтеза двух ядер азота-14 требует наименьшей энергии, поэтому рассматривали именно азот, а не кислород.) Если бы азот загорелся, то реакция за несколько секунд охватила бы всю атмосферу Земли, что однозначно уничтожило бы всю биосферу, и от Земли бы остался только огарок. Даже если бы реакция охватила сферу в воздухе диаметром в 50 метров вокруг бомбы, то выход энергии был бы порядка гигатонны, и разрушения были бы по всей территории Соединённых Штатов.

Для того, чтобы оценить риск такого развития событий, была создана комиссия во главе с физиком Артуром Комптоном. Ею был подготовлен доклад LA-602 «Риски поджигания атмосферы атомным взрывом» [LA-602 1945], которые недавно был рассекречен и теперь доступен всем желающим в Интернете в виде плохо отсканированных машинописных страниц. В нём Комптон показывает, что благодаря рассеянию фотонов на электронах последние будут охлаждаться (так как их энергия больше, чем у фотонов), и излучение будет не нагревать, а охлаждать область реакции. Таким образом, с ростом области реакции процесс будет ослабевать и не сможет стать самоподдерживающимся. Это гарантировало невозможность цепной реакции на азоте в атмосфере, хотя в конце текста было сказано, что не все факторы учтены – например, влияние водяного пара, содержащегося в атмосфере. Поскольку это был секретный доклад, он не был предназначен для убеждения публики, чем выгодно отличался от недавних докладов по безопасности коллайдера. Но его целевой аудиторией были лица, принимающие решения. Им Комптон сообщил, что шансы того, что цепная реакция подожжёт атмосферу, составляют 3 на миллион. В 1970-е годы было проведено журналистское  расследование, к ходе которого выяснилось, что Комптон взял эти цифры «из головы», потому что посчитал их достаточно убедительными для президента – в самом докладе нет никаких вероятностных оценок [Kent 2004]. При этом Комптон полагал, что реальная оценка вероятности катастрофы не важна, так как если американцы откажутся от испытаний бомбы, то ее всё равно испытают немцы или другие враждебные страны. В 1979 году вышла статья Вивера и Вуда [Weaver,Wood 1979] о термоядерной детонации в атмосферах и океанах, где показывалось, что нигде на Земле невозможны условия для термоядерной детонации (однако они возможны на других планетах, если там есть достаточно высокая концентрация дейтерия).

Следующим важным эпизодом стало осознание человечеством не просто возможности внезапной гибели, но сознательного самоуничтожения. Этим этапом стало предложение Лео Сциллардом кобальтовой бомбы [Smith 2006]. Во время дискуссии на радио с Гансом Бете в 1950 году о возможной угрозе жизни на Земле со стороны атомного оружия, он предложил новый тип бомбы: водородную бомбу (которой тогда ещё физически не было, но возможность создания которой широко обсуждалась), обёрнутую оболочкой из кобальта-59, который при взрыве превращался бы в кобальт-60. Этот высокорадиоактивный изотоп с периодом полураспада около 5 лет мог бы сделать целые континенты или всю Землю непригодной для жизни – если бомба будет достаточно большого размера. После такого заявления министерство энергетики решило провести расследование, с тем, чтобы доказать, что такая бомба невозможна. Однако нанятый её учёный показал, что если масса бомбы составит 200 000 тонн (то есть примерно как 20 современных ядерных реакторов, что теоретически реализуемо), то её хватит для уничтожения высокоорганизованной жизни на Земле. Такое устройство неизбежно должно было бы быть стационарным. Но смысл его был именно в качестве Оружия Судного дня (“Doomsday machine”) – то есть универсального оборонительного оружия. Ведь никто не решится напасть на страну, которая создала такое устройство. В 60-е годы идея о теоретической возможности уничтожения мира с помощью кобальтовой бомбы была весьма популярна, и широко обсуждалась в прессе, в научной и художественной литературе, но потом была весьма забыта. (Например, в книге Г. Кана «О термоядерной войне» [Khan 1960], в романе Н. Шюта «На берегу» [Shute 1957], в фильме С. Кубрика «Доктор Стрейнджлав».)

Кроме того, в 60-е годы возникло много идей о потенциальных катастрофах или опасных технологиях, которые получили развитие в будущем. Английский математик И. Гуд написал эссе «О первой сверхинтеллектуальной машине» [Good 1965], где показал, что как только такая машина появится, она будет способна к самосовершенствованию, и оставит человека навсегда позади – позднее эти идеи легли в основу представлений о Технологической Сингулярности В. Винджа [Vince 1993], суть которых состоит в том, что, исходя из текущих тенденций, к 2030 году будет создан искусственный интеллект, превосходящий человеческий, и после этого история станет принципиально непредсказуемой. Астрофизик Ф. Хойл [Hoyle 1962] написал роман «Андромеда», в котором описал алгоритм атаки на Землю враждебного искусственного интеллекта, загружаемого по каналам SETI из космоса. Физик Р. Фейнман написал эссе «Там, внизу, еще много места» [Feynman 1959], в котором впервые была высказана идея о возможности молекулярного производства, то есть нанороботов. Была взорвана самая большая в истории термоядерная бомба – 1961 г., Новая Земля. Важную роль в осознании глобальных рисков играет научная фантастика, особенно творчество Станислава Лема, его роман «Непобедимый», футурологические исследования «сумма технологий», «Фантастика и футурология» и другие работы. Форестер публикует в 1960 году статью «Судный день: пятница, 13 ноября 2026 года. Дата, когда человеческая популяция достигнет бесконечности, если она будет расти с той же скоростью, как и последние два тысячлетия».

В 1970-е годы стала понятна опасность, связанная с биотехнологиями. В 1971 году американский биолог Роберт Поллак узнал [Чирков 1989], что в соседней лаборатории планируются эксперименты по встраиванию генома онкогенного вируса SV40 в бактерию кишечной палочки. Он сразу представил, как такая кишечная палочка распространится по миру и вызовет всемирную эпидемию рака. Он обратился в эту лабораторию с просьбой приостановить эксперименты до того, как будут обдуманы их последствия. Результатом последовавших дискуссий стала конференция в Асиломаре в 1975 году, на которой были приняты рекомендации по проведению безопасного генетического конструирования.

В 1981 году вышла книга А. Азимова «Выбор катастроф» [Азимов 2002]. Хотя это была одна из первых попыток систематизировать различные глобальные риски, основное внимание в ней уделено отдалённым событиям, вроде расширения Солнца, и главный пафос книги в том, что человек сможет преодолеть глобальные риски.

В 1983 году Б. Картер предложил антропный принцип. В рассуждениях Картера была и вторая часть, которую он решил не публиковать, а только доложить на заседании Королевского общества, так как понимал, что она вызовет ещё больший протест. Позднее ее популяризовал Дж. Лесли [Leslie 1996]. Эта вторая половина рассуждений стала известна как Doomsday argument, DA – Теорема о конце света. Вкратце суть ее в том, что исходя из прошлого времени жизни человечества и предположения, что мы находимся примерно в середине его существования, мы можем оценить будущее время существования человечества. Например, если я беру случайную морскую свинку из вольера, и узнаю, что её возраст – 2 года, то я могу предположить, что он с большой вероятностью примерно равен среднему возрасту свинок в вольере (так как маловероятно что я достану очень молодую или очень старую свинку), а значит, средний возраст свинок в вольере тоже 2 года, а ожидаемая продолжительность жизни – 4 года с определённой вероятностной достоверностью. (А не 2,1 года и не 400 лет.) Иначе говоря, Картер спросил: насколько вероятно то, что мы обнаруживаем себя так рано в истории цивилизации, в предположении, что человечество заселит всю галактику в течение миллионов лет. И ответ был такой: это очень маловероятно, если считать, что человечество заселит всю Галактику, но вполне вероятно, если считать, что человечество обречено на гибель в ближайшие несколько тысяч лет. Картер предложил DA в более строгой математической форме, основанной на теореме Байеса, которая давала не вероятность вымирания человечества во времени, а поправку к вероятности уже известных рисков в сторону их увеличения. В такой форме результаты получались очень плохими: например, при ряде достаточно правдоподобных предположений, вероятность в 1 % преобразовывалась в 99 %. Независимо от Картера похожую теорию разработал Ричард Готт, и опубликовал её в журнале Nature в 1993 году [Gott 1993]. В ней вероятность будущего времени существования системы выражалась на прямую через прошлое время. (С вероятностью в 50 процентов система просуществует от 1/3 до 3 периодов времени, которые она уже просуществовала, если считать, что она наблюдается в случайный момент времени.) Если учитывать только время жизни Homo Sapiens, то с учётом того, что наш вид уже существует около 200 тысяч лет, это давало ожидаемое время существования от 66 до 600 тысяч лет, что выглядит вполне разумным. Однако если учесть рост населения Земли – и взять среднее не по времени, а по числу живших людей - то ожидаемое время жизни человечества сокращалась до 1000 лет. При некоторых предположениях оно сокращается до нескольких десятков лет. DA – крайне запутанная тема, и сейчас вышли десятки статей за и против него.

В начале 80-х возникает новая теория вымирания человечества в результате применения ядерного оружия – теория о «ядерной зиме». В ходе компьютерного моделирования поведения атмосферы оказывается, что затемнение в результате выброса сажевых частиц в тропосферу будет длительным и значительным. Вопрос о том, насколько реально такое затемнение и какое падение температуры может пережить человечество, остаётся открытым.

В 80-е появлялись и первые публикации о рисках экспериментов на ускорителях.

В 1986 году вышла книга Э. Дрекслера «Машины созидания» [Drexler 1986], посвящённая радикальным нанотехнологиям – то есть созданию самовоспроизводящихся нанороботов. Дрекслер показал, что такое событие имело бы революционные последствия для экономики и военного дела. Он рассматривает различные сценарии глобальной катастрофы, связанной с нанороботами. Первый – это «серая слизь», то есть неограниченное размножение нанороботов, над которыми потерян контроль, в окружающей среде. За несколько дней они могли бы полностью поглотить биосферу Земли. Второй риск – это «нестабильная гонка вооружений». Нанотехнологии позволят быстро и крайне дёшево создавать оружие невиданной разрушительной силы. В первую очередь речь идёт о микроскопических роботах, способных поражать живую силу и технику противника. «Нестабильность» этой гонки вооружений состоит в том, что в ней «начавший первым получает всё», и невозможно равновесие двух противоборствующих сил, как это было во времена Холодной войны.

В 1996 году выходит книга канадского философа Дж. Лесли «Конец света. Наука и этика человеческого вымирания» [Leslie 1996]., которая радикально отличается от книги Азимова в первую очередь своим пессимистическим тоном и сосредоточенностью на ближайшем будущем. В ней рассмотрены все новые открытия гипотетических сценариев катастрофы, в том числе нанороботы и DA и делается вывод, что шансы вымирания человечества составляют 30 процентов в ближайшие 200 лет. С этого момента интерес к теме постоянно растёт и обнаруживаются всё новые и новые потенциально катастрофические сценарии.

Одновременно во второй половине XX века происходит развитие синергетики и обращение к системному анализу будущего и системному анализу разных катастроф. Следует отметить работы Пригожина, Ханзена и российских авторов С. П. Курдюмова, Г. Г. Малинецкого, А. П. Назаретяна и др. В рабтах Малинецкого показана принципиальная неусточивость сложных систем, даётся теория режимов с обострениями и применяется к будущей истории человечества. А.П. Назаретян создаёт гипотезу «техно-гуманитрного баланса» и показывает, что нарушение этого баланса может привести к тому, что средства разрушения превзойдут запреты на их использование, что может привести к гибели человечества. А.Д. Панов исследует сингулярную точку эволюции в районе 2030 года, в которой «автомодельной аттрактор планетртной истории» перестаёт работать.

С конца прошлого века Дж. Лавлок [Lovelock 2006] и, независимо, А.В Карнаухов [Карнаухов 1994] в России развивают теорию о возможности необратимого глобального потепления. Суть ее в том, что если обычное потепление, связанное с накоплением углекислого газа в атмосфере, превысит некоторый очень небольшой порог (1-2 градуса), то огромные запасы гидратов метана на морском дне и в тундре, накопившиеся там за время недавних оледенений, начнут выделятся. Метан является в десятки более сильным парниковым газом, чем углекислый газ, и это может привести к дальнейшему росту температуры Земли, что запустит другие цепочки с положительной обратной связью. Например, сильнее начнёт гореть растительность на суше  – больше CO2 будет выделяться в атмосферу; нагреются океаны – упадёт растворимость CO2, и опять он будет выделяться в атмосферу, начнут образовываться бескислородные области в океане – там будет выделяться метан. Событием последних дней стало обнаружение в сентябре 2008 года пузырьков метана, выделяющихся столбами со дна Ледовитого океана. Наконец, водяной пар тоже является парниковым газом, и с ростом температур его концентрация тоже будет расти. В результате этого температура может вырасти на десятки градусов, произойдёт парниковая катастрофа, и всё живое погибнет. Хотя это не является неизбежным, риск такого развития событий является наихудшим возможным результатом с максимальным ожидаемым ущербом.

В конце XX – начале XXI века выходят статьи с описанием принципиально новых рисков, осознание которых стало возможно благодаря творческому анализу возможностей новых технологий. Это работы Р.Фрайтаса «Проблема серой слизи» (2001), Р. Кэрригена «Следует ли обеззараживать сигналы SETI» (2006), книги «Doomsday men» (2007) П.Д. Смита и «Случайная ядерная война» (1993) Брюса Блера. Ещё один новоизобретённый риск – это искусственное пробуждение сверхвулкана с помощью сверхглубокого бурения. Есть проекты автономных зондов, которые смогут проникнуть в недра Земли на глубину до 1000 км, проплавляя вещество мантии [Stivenson 2003], [Circovic 2004].

В 1993 году В. Виндж [Vince 1993] выдвинул идею Технологической Сингулярности – гипотетического момента в будущем, когда интеллект компьютеров превзойдёт человеческий. Он предполагает, что это событие произойдёт до 2030 года. Сверхчеловеческий ИИ крайне опасен, так как он будет обладать способностью переиграть людей в любом виде деятельности, а значит и уничтожить их. Поэтому встает задача так запрограммировать ИИ, чтобы он не захотел это делать, то есть создать так называемый Дружественный ИИ. Эту проблему исследует Институт Сингулярности в Калифорнии, ведущий научный сотрудник которого Е. Юдковски написал несколько работ о проблемах безопасности ИИ [Yudkowsky 2007] – в первую очередь, большой труд «Создание дружественного ИИ» (Creating friendly AI). В 2006 году она написал две статьи на которые мы часто ссылаемся в этой книге: «Систематические ошибки в рассуждениях, влияющие на оценку рисков» и «Искусственный интеллект как позитивный и негативный фактор глобального риска».

В 2000 году в журнале Wired вышла нашумевшая статья одного из основателей Sun Microsystems Билл Джоя «Почему мы не нужны будущему». В ней он рисует крайне пессимистическую картину будущего цивилизации, в котором человек будет вытеснен роботами. Человеку в лучшем случае грозит учесть домашнего животного в мире, где всё за него решают машины. Развитие технологий позволит создать «знания массового поражения».

В 2003 году вышла книга английского королевского астронома сэра Мартина Риса «Наш последний час». Она гораздо меньше по объёму, чем книга Лесли, и не содержит приницпиально новой информации, однако обращена к самой широкой аудитории и разошлась большим тиражом. В 2004 году выходит обстоятельная книга американского судьи и учёного Ричарда Познера «Катастрофа: риск и реакция», особенностью которой является попытка дать экономический анализ рисков глобальной катастрофы и цены усилий по ее предотвращению (на примере усилий по отклонению астероидов и ценности экспериментов на ускорителях).

В XXI веке основной задачей исследователей стало не перечисление различных возможных глобальных рисков, а анализ общих механизмов их возникновения и предотвращения. Выяснилось, что большинство возможных рисков связаны с ошибочными знаниями и неверными решениями людей. В начале XXI века происходит формирование методологии анализа глобальных рисков, переход от перечисления рисков к мета-анализу человеческой способности обнаруживать и правильно оценивать глобальные риски. Здесь следует особо отметить работы Бострома и Юдковски.

В 2008 году несколько событий усилили интерес к рискам глобальной катастрофы: это намечавшийся (но так пока полностью и не состоявшийся) запуск коллайдера, вертикальный скачок цен на нефть, выделение метана в Арктике, война с Грузией и мировой финансовый кризис. Научно обоснованное понимание того, что мы живём в хрупком мире, который рано или поздно разрушится, стало общественным достоянием.

В начале XXI века происходит формирование методологии анализа глобальных рисков, переход от перечисления рисков к мета-анализу человеческой способности обнаруживать и правильно оценивать глобальные риски. В 2008 году состоялась конференция в Оксфорде «Риски глобальной катастрофы», и по ее материалам был издан сборник трудов с тем же названием под редакцией Н. Бострома и М. Чирковича. В него вошли более 20 статей различных авторов. В нём опубликована статья М. Чирковича о роли наблюдательной селекции в оценке частоты будущих катастроф, однако он приходит в ней к другим выводам, чем я в статье на аналогичную тему, а именно, что невозможно сделать никаких выводов о будущей частоте катастрофы, исходя из прошлой частоты – тогда как я полагаю, что мы, скорее всего, недооцениваем будущую частоту катастроф. В этом сборнике изданы и две выше названные статьи Юдковски, припринты которых были выложены в Интернете ещё в 2006 году. Арнон Дар разбирает риски сверхновых и гамма-всплесков, а также показывает, что особая угроза Земле исходит от космических лучей, создаваемых галактичесими гамма-всплесками. Уильям Нейпер в статье про угрозы комет и астероидов показал, что, возможно, мы живём в период интесивной кометной бомбардировки, когда частота импактов в 100 раз выше средней. Майкл Рампино дал обзор рисков катастроф, связанных с супервулканами. Все эти статьи переведы мною на русский язык. Также в сборнике разобраны риски ядерной войны, ядерного терроризма, эпидемий, биологического оружия, нанотехнологий и другие вопросы.

В 2008 году в Москве выходит популярная версия этой книги: А.В. Турчин «Война и ещё 25 сценариев конца света». Исходной название этой популярной версии было «Гносеология катастроф», и основаная ее тема - это то, что конец света знания – это и есть конец света.

В начале XXI века возникают общественные организации, пропагандирующие защиту от глобальных рисков, например, Lifeboat Foundation и CRN (Centre for Responsible Nanotechnology), снимается фильм Technocalyps. Исследование вопроса в современной России. Это исследование А. П. Назаретяна (2001) «Цивилизационные кризисы в контексте Универсальной истории»[xiii]. Вышла книга Е.А. Абрамяна «Судьба цивилизации»[xiv] (2006), открылся Интернет-проект А.Кононова о неуничтожимости цивилизации[xv]. А.В. Карнаухов проводит исследования рисков парниковой катастрофы[xvi]. Вышли статьи отдельных авторов по разным гипотетоическим рискам, в том числе Э.М.Дробышевского, В.Ф. Анисичкина и др. Я выполнил переводы многих упомянутых здесь статей, которые доступны в Интернете, а часть из них публикуется в сборнике «Диалоги о будущем»[xvii]. В сборнике ИСА РАН в 2007 г. вышли две мои статьи о глобальных рисках: «О возможных причинах недооценки рисков гибели человеческой цивилизации» и «Природные катастрофы и антропный принцип».

Изучение глобальных рисков идёт по следующей цепочке: осознание одного глобального риска и самого факта возможности вымирания в ближайшем будущем, –затем осознание ещё нескольких глобальных рисков, – затем попытки создания исчерпывающего списка глобальных рисков, затем создание системы описания, которая позволяет учитывать любые глобальные риски и определять опасность любых новых технологий и открытий. Система описания обладает большей прогностической ценностью, чем просто список, так как позволяет находить новые точки уязвимости, подобно тому, как таблица Менделеева позволяет находить новые элементы. И затем –исследование границ человеческого мышления о глобальных рисках с целью создания методологии, то есть способа эффективно находить и оценивать глобальные риски.

 

1.7 Угрозы менее масштабных катастроф: уровни возможной деградации

Хотя в этой книге мы исследуем глобальные катастрофы, которые могут привести к вымиранию людей, нетрудно заметить, что те же катастрофы в несколько меньших масштабах могут не уничтожить человечество, а отбросить его сильно назад. Будучи отброшенным в своем развитии, человечество может оказаться на промежуточной ступени, с которой можно шагнуть как к дальнейшему вымиранию, так и восстановлению. Поэтому один и тот же класс катастроф может быть как причиной человеческого вымирания, так и фактором, открывающим окно уязвимости для следующих катастроф. Ниже, при перечислении возможных однофакторных сценариев катастрофы, мы укажем их потенциал как к окончательному уничтожению, так и к общему понижению устойчивости человечества.

В зависимости от тяжести произошедшей катастрофы могут быть различные степени отката назад, которые будут характеризоваться разными вероятностями последующего вымирания, дальнейшего отката и возможности восстановления. Поскольку термин «постапокалипсис», хотя и является оксюмороном, употребляется по отношению к жанру литературы, описывающей мир после ядерной войны, мы также будем его употреблять в отношении мира, где произошла некая катастрофа, но часть людей выжила. Можно представить себе несколько возможных ступеней отката:

1.           Разрушение социальной системы, как после распада СССР или краха римской империи. Здесь происходит прекращение развития технологий, уменьшение связности, падение численности населения на несколько процентов, однако некоторые существенные технологии продолжают успешно развиваться. Например, компьютеры в постсоветском мире, некоторые виды земледелия в раннем средневековье. Технологическое развитие продолжается, производство и применение опасных вооружений может продолжаться, что чревато вымиранием или откатом ещё ниже в результате следующей фазы войны. Восстановление весьма вероятно.

2.           Значительная деградация экономики, утрата государственности и распад общества на воюющие между собой единицы. Основная форма деятельности – грабёж. Такой мир изображается в фильмах «Безумный Макс», «Водный мир», компьютерной игре Fallout и во многих других произведениях на тему жизни после ядерной войны. Население сокращается в разы, но, тем не менее, миллионы людей выживают. Воспроизводство технологий прекращается, но отдельные носители знаний и библиотеки сохраняются. Такой мир может быть объединён в руках одного правителя, и начнётся возрождение государства. Дальнейшая деградация произойдёт, скорее всего, случайно: в результате эпидемий, загрязнения среды, пр.

3.           Катастрофа, в результате которой выживают только отдельные небольшие группы людей, не связанные друг с другом: полярники, экипажи морских кораблей, обитатели бункеров. С одной стороны, малые группы оказываются даже в более выгодном положении, чем в предыдущем случае, так как в них нет борьбы одних людей с другими. С другой стороны, силы, которые привели к катастрофе таких масштабов, очень велики и, скорее всего, продолжают действовать и ограничивать свободу перемещения людей из выживших групп. Эти группы вынуждены будут бороться за свою жизнь. Они могут осуществлять доработку неких технологий, если это нужно для их спасения, но только на базе уцелевших объектов. Период восстановления при самых благоприятных обстоятельствах займёт сотни лет и будет связан со сменой поколений, что чревато утратой знаний и навыков. Основой выживания таких групп будет способность к воспроизводству половым путём.

4.           Только несколько человек уцелело на Земле, но они неспособны ни сохранять знания, ни дать начало новому человечеству. Даже группа, в которой есть мужчины и женщины, может оказаться в таком положении, если факторы, затрудняющие расширенное воспроизводство людей, перевешивают способность к нему. В этом случае люди, скорее всего, обречены, если не произойдёт некое чудо.

Можно также обозначить «бункерный» уровень – то есть уровень, когда выживают только те люди, или группы ,которые находятся вне обычной среды, у них появляется шанс случайно уцелеть в неких замкнутых пространствах. Находятся они там или нарочно, или случайно. Сознательный переход на бункерный уровень возможен даже без потери качества – то есть человечество сохранит способность и дальше быстро развивать технологии.

Возможны и промежуточные сценарии постапокалиптического мира, но я полагаю, что перечисленные четыре варианта являются наиболее характерными. С каждого более катастрофического уровня существует большее количество шансов упасть ещё ниже и меньше шансов подняться. С другой стороны, возможен островок стабильности на уровне отдельных родовых общин, когда опасные технологии уже разрушились, опасные последствия их применений исчезли, а новые технологии ещё не созданы и не могут быть созданы.

При этом неверно думать, что откат назад это просто перевод стрелок исторического времени на век или тысячелетие в прошлое, например, на уровень общества XIX или XV века. Деградация технологий не будет линейной и одновременной. Например, такое устройство, как автомат Калашникова, забыть будет сложно. В Афганистане, например, местные умельцы научились вытачивать грубые копии Калашникова. Но в обществе, где есть автомат, рыцарские турниры и конные армии невозможны. То, что было устойчивым равновесием при движении от прошлого к будущему, может не быть равновесным состоянием при деградации. Иначе говоря, если технологии разрушения будут деградировать медленнее, чем технологии созидания, то общество обречено на непрерывное скольжение вниз.

Однако мы можем классифицировать степень отката назад не по количеству жертв, а по степени утраты знаний и технологий. В этом смысле можно использовать исторические аналогии, понимая, однако, что забывание технологий не будет линейным. Поддержание социальной стабильности на всё более низком уровне эволюции требует всё меньшего числа людей, и этот уровень всё более устойчив как к прогрессу, так и к регрессу. Такие сообщества могут возникнуть только после длительного периода стабилизации после катастрофы.

Что касается «хронологии», возможны следующие базовые варианты регрессии в прошлое (отчасти аналогичные предыдущей классификации):

1.      Уровень промышленного производства – железные дороги, уголь, огнестрельное оружие и т. п. Уровень самоподдержания требует, вероятно, десятков миллионов человек. В этом случае можно ожидать сохранения всех базовых знаний и навыков индустриального общества, хотя бы посредством книг.

2.      Уровень, достаточный для поддержания сельского хозяйства. Требует, вероятно, от тысяч до миллионов людей.

3.      Уровень небольшой группы. Отсутствие сложного разделения труда, хотя какое-то сельское хозяйство возможно. Число людей: от десяти до тысячи.

4.      Уровень стаи или «маугли». Полная утрата культурных человеческих навыков, речи, при сохранении в целом генофонда. Количество членов «стаи», вероятно, от одного до ста человек.

1.8 Однофакторные сценарии глобальной катастрофы

В нескольких следующих главах мы рассмотрим классическую точку зрения на глобальные (цивилизационные) катастрофы, которая состоит в перечислении списка никак не связанных между собой факторов, каждый из которых способен привести к мгновенной гибели всего человечества. Понятно, что это описание не окончательное, оно не рассматривает многофакторные и не-мгновенные сценарии глобальной катастрофы. Классическим примером рассмотрения однофакторных сценариев является уже упоминавшаяся статья Бострома «Угрозы существованию»[xviii].

Здесь мы также рассмотрим некоторые источники глобальных рисков, которые, с точки зрения автора, таковыми не являются, но мнение об опасности которых достаточно распространено, и дадим им оценку. Иначе говоря, мы рассмотрим все факторы, которые обычно называются в качестве глобальных рисков, даже если затем мы опровергнем данную точку зрения и отвергнем эти факторы.

1.9 Принципы классификации глобальных рисков

Способ классификации глобальных рисков крайне важен, поскольку позволяет, как таблица Менделеева, обнаружить «пустые места» и предсказать существование новых элементов. Кроме того, это даёт возможность отрефлексировать свою собственную методологию  и предложить принципы, по которым должны обнаруживаться новые риски. Здесь я обозначу те принципы, которыми пользовался сам и обнаружил в других исследованиях.

Наиболее очевидный подход к установлению возможных источников глобальных рисков – историографический подход. Он состоит в анализе всей доступной научной литературы по теме, в первую очередь, уже выполнявшихся обзорных работ по глобальным рискам. Однако, это не даёт полного списка, так как некоторые публикации проходили отдельными статьями в специальных дисциплинах, мало цитировались или не содержали общепринятых ключевых слов. Другой вариант – анализ фантастических произведений с целью выделения гипотетических сценариев глобальных катастроф и затем — критический анализ этих сценариев.

Принцип увеличения малых катастроф состоит в выделении малых событий и анализе того, может ли аналогичное событие произойти в гораздо больших масштабах. Например, возможна ли такая большая атомная бомба, чтобы она разрушила весь мир? К нему примыкает способ аналогий, когда, рассматривая некую катастрофу, например, падение самолёта, мы ищем в этом событии общие структурные закономерности и затем переносим их на гипотетическую глобальную катастрофу.

Палеонтологический принцип состоит в анализе причин имевших место в истории Земли массовых вымираний. Наконец, принцип «адвоката дьявола» состоит в намеренном конструировании сценариев вымирания, как если бы нашей целью было разрушить Землю.

Упорядочивание обнаруженных сценариев вымирания возможно по следующим критериям: по их источнику (антропогенные/природные), по степени вероятности, по тому, насколько готовы для них технологии, по тому, как далеко во времени от нас отстоят опасные события и по способу воздействия на людей.

Глобальные риски, делятся на две категории: риски, связанные с технологиями, и природные катастрофы и риски. При этом, природные катастрофы актуальны для любого вида живых существ (сюда входят исчерпание ресурсов, перенаселение, утрата фертильности, накопление генетических мутаций, вытеснение другим видом, моральная деградация, экологический кризис). Технологические риски не вполне тождественны антропогенным рискам, так как перенаселение и исчерпание ресурсов вполне антропогенно. Основной признак технологических рисков – это их уникальность именно для технологической цивилизации.

Технологические риски различаются по степени готовности их «элементной базы». Одни из них технически возможны в настоящий момент времени, тогда так другие возможны при условии длительного развития технологий и, возможно, неких принципиальных открытий.

Соответственно, можно выделить три категории технологических рисков:

а) риски, для которых технология полностью разработана или требует незначительной доработки. Сюда входит, в первую очередь, ядерное оружие и, скажем, загрязнение среды;

б) риски, технология для которых успешно развивается и не видно каких-либо теоретических препятствий для её развития в обозримом будущем (биотехнологии);

в) риски, которые требуют для своего возникновения неких принципиальных открытий (антигравитация, высвобождения энергии из вакуума и т д.). Не следует недооценивать эти риски – весомая часть глобальных рисков в XX веке произошла из принципиально новых и неожиданных открытий;

Значительная часть рисков находится между пунктами б и в, так как, с точки зрения одних исследователей, речь идёт о принципиально недостижимых или бесконечно сложных вещах, а с точки зрения других – вполне технологически реализуемых (нанороботы и искусственный интеллект). Принцип предосторожности заставляет нас выбирать тот вариант, где они возможны.

В предлагаемом читателю перечислении глобальных рисков в следующих главах они упорядочены по степени готовности необходимых для них технологий. Затем идёт описание природных рисков и общевидовых рисков, не связанных с новыми технологиями.



[1] То есть, представлением о том, что будущее описывается как несколько гипотез, вначале равноправных, но затем их вероятности, или точнее, степени достоверности, уменьшаются или увеличиваются по мере поступления новой информации по формуле Байеса.

[2] Очевидно, что по мере того, как проблема будет приближаться к нам по времени и конкретизироваться, мы сможем получить более точные оценки в некоторых конкретных случаях, особенно, в легко формализуемых задачах типа пролёта астероидов и последствий ядерной войны.



[i] Станислав Лем. "О невозможности прогнозирования". 

[ii] Yudkowsky E. Cognitive biases potentially affecting judgment of global risks.

[iii] Там же.

[vi] Yudkowsky E. Cognitive biases potentially affecting judgment of global risks

[vii] Эти люди публиковали специальные исследования на тему рисков человеческого вымирания.

[viii] John Leslie. The End of the World: The Science and Ethics of Human Extinction.  1996

 

[ix] Ник Бостром. Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей.

 

[x] Sir Martin Rees. Our final hour.

 

[xi] О чём пишел С,Лем в «Фантастике и футурологии».

[xii] Об этом пишет Бостром в «Анализе сценариев вымирания».

[xiii] А. П. Назаретяна. «Цивилизационные кризисы в контексте Универсальной истории», М., УРСС, 2001.

[xiv] Е.А.Абрамян. Долго ли осталось нам жить? Судьба цивилизации: Анализ обстановки в мире и перспектив будущего. http://savefuture.ru/index.php?option=com_content&task=category&sectionid=2&id=2&Itemid=4

[xvii] Новые технологии и продолжение эволюции человека. Диалоги о будущем. Т.1., М., УРСС 2008.

[xviii] Ник Бостром. Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей. http://www.proza.ru/texts/2007/04/04-210.html