home    книги    переводы    статьи    форум    ресурсы    обо мне    English

 

Процессы с положительной обратной связью, как возможный общий механизм будущих глобальных катастроф, могущих угрожать выживанию людей на Земле.

А.В. Турчин

 

В последние десятилетия было предложено несколько моделей глобальных угроз, которые могут привести к катастрофам максимально большого масштаба, ведущим к вымиранию человечества. В дальнейшем мы будем называть такие события «глобальными катастрофами». Целью настоящей статьи является исследование вопроса о том, каковы общие механизмы всех этих рисков. В начале рассмотрим, какие риски уже известны, и в чём они состоят.

Перед первыми испытаниями атомной бомбы в США возникли сомнения, не приведёт ли это испытание к цепной реакции термоядерного синтеза азота в атмосфере Земли. (Самоподдерживающееся химическое горение азота в кислороде невозможно, так как эта реакция эндотермическая, то есть идёт с поглощением энергии. Реакция ядерного синтеза двух ядер азота-14 требует наименьшей энергии, поэтому рассматривали именно азот, а не кислород.) Если бы азот загорелся, то реакция за несколько секунд охватила бы всю атмосферу Земли, что однозначно уничтожило бы всю биосферу, и от Земли бы остался только огарок. Даже если бы реакция охватила сферу в воздухе диаметром в 50 метров вокруг бомбы, то выход энергии был бы порядка гигатонны, и разрушения были бы по всей территории Соединённых Штатов.

Для того, чтобы оценить риск такого развития событий, была создана комиссия во главе с физиком Артуром Комптоном. Ею был подготовлен доклад LA-602 «Риски поджигания атмосферы атомным взрывом» [LA-602 1945], которые недавно был рассекречен и теперь доступен всем желающим в Интернете в виде плохо отсканированных машинописных страниц. В нём Комптон показывает, что благодаря рассеянию фотонов на электронах последние будут охлаждаться (так как их энергия больше, чем у фотонов), и излучение будет не нагревать, а охлаждать область реакции. Таким образом, с ростом области реакции процесс будет ослабевать и не сможет стать самоподдерживающимся. Это гарантировало невозможность цепной реакции на азоте в атмосфере, хотя в конце текста было сказано, что не все факторы учтены – например, влияние водяного пара, содержащегося в атмосфере. Поскольку это был секретный доклад, он не был предназначен для убеждения публики, чем выгодно отличался от недавних докладов по безопасности коллайдера. Но его целевой аудиторией были лица, принимающие решения. Им Комптон сообщил, что шансы того, что цепная реакция подожжёт атмосферу, составляют 3 на миллион. В 1970-е годы было проведено журналистское  расследование, к ходе которого выяснилось, что Комптон взял эти цифры «из головы», потому что посчитал их достаточно убедительными для президента – в самом докладе нет никаких вероятностных оценок [Kent 2004]. При этом Комптон полагал, что реальная оценка вероятности катастрофы не важна, так как если американцы откажутся от испытаний бомбы, то ее всё равно испытают немцы или другие враждебные страны. В 1979 году вышла статья Вивера и Вуда [Weaver,Wood 1979] о термоядерной детонации в атмосферах и океанах, где показывалось, что нигде на Земле невозможны условия для термоядерной детонации (однако они возможны на других планетах, если там есть достаточно высокая концентрация дейтерия).

Следующим важным эпизодом стало осознание человечеством не просто возможности внезапной гибели, но сознательного самоуничтожения. Этим этапом стало предложение Лео Сциллардом кобальтовой бомбы [Smith 2006]. Во время дискуссии на радио с Гансом Бете в 1950 году о возможной угрозе жизни на Земле со стороны атомного оружия, он предложил новый тип бомбы: водородную бомбу (которой тогда ещё физически не было, но возможность создания которой широко обсуждалась), обёрнутую оболочкой из кобальта-59, который при взрыве превращался бы в кобальт-60. Этот высокорадиоактивный изотоп с периодом полураспада около 5 лет мог бы сделать целые континенты или всю Землю непригодной для жизни – если бомба будет достаточно большого размера. После такого заявления министерство энергетики решило провести расследование, с тем, чтобы доказать, что такая бомба невозможна. Однако нанятый её учёный показал, что если масса бомбы составит 200 000 тонн (то есть примерно как 20 современных ядерных реакторов, что теоретически реализуемо), то её хватит для уничтожения высокоорганизованной жизни на Земле. Такое устройство неизбежно должно было бы быть стационарным. Но смысл его был именно в качестве Оружия Судного дня (“Doomsday machine”) – то есть универсального оборонительного оружия. Ведь никто не решится напасть на страну, которая создала такое устройство. В 60-е годы идея о теоретической возможности уничтожения мира с помощью кобальтовой бомбы была весьма популярна, и широко обсуждалась в прессе, в научной и художественной литературе, но потом была весьма забыта. (Например, в книге Г. Кана «О термоядерной войне» [Khan 1960], в романе Н. Шюта «На берегу» [Shute 1957], в фильме С. Кубрика «Доктор Стрейнджлав».)

Кроме того, в 60-е годы возникло много идей о потенциальных катастрофах или опасных технологиях, которые получили развитие в будущем. Английский математик И. Гуд написал эссе «О первой сверхинтеллектуальной машине» [Good 1965], где показал, что как только такая машина появится, она будет способна к самосовершенствованию, и оставит человека навсегда позади – позднее эти идеи легли в основу представлений о Технологической Сингулярности В. Винджа [Vince 1993], суть которых состоит в том, что, исходя из текущих тенденций, к 2030 году будет создан искусственный интеллект, превосходящий человеческий, и после этого история станет принципиально непредсказуемой. Астрофизик Ф. Хойл [Hoyle 1962] написал роман «Андромеда», в котором описал алгоритм атаки на Землю враждебного искусственного интеллекта, загружаемого по каналам SETI из космоса. Физик Р. Фейнман написал эссе «Там, внизу, еще много места» [Feynman 1959], в котором впервые была высказана идея о возможности молекулярного производства, то есть нанороботов. Была взорвана самая большая в истории термоядерная бомба – 1961 г., Новая Земля.

В 1970-е годы стала понятна опасность, связанная с биотехнологиями. В 1971 году американский биолог Роберт Поллак узнал [Чирков 1989], что в соседней лаборатории планируются эксперименты по встраиванию генома онкогенного вируса SV40 в бактерию кишечной палочки. Он сразу представил, как такая кишечная палочка распространится по миру и вызовет всемирную эпидемию рака. Он обратился в эту лабораторию с просьбой приостановить эксперименты до того, как будут обдуманы их последствия. Результатом последовавших дискуссий стала конференция в Асиломаре в 1975 году, на которой были приняты рекомендации по проведению безопасного генетического конструирования.

В 1981 году вышла книга А. Азимова «Выбор катастроф» [Азимов 2002]. Хотя это была одна из первых попыток систематизировать различные глобальные риски, основное внимание в ней уделено отдалённым событиям, вроде расширения Солнца, и главный пафос книги в том, что человек сможет преодолеть глобальные риски.

В 1983 году Б. Картер предложил антропный принцип. В рассуждениях Картера была и вторая часть, которую он решил не публиковать, а только доложить на заседании Королевского общества, так как понимал, что она вызовет ещё больший протест. Позднее ее популяризовал Дж. Лесли [Leslie 1996]. Эта вторая половина рассуждений стала известна как Doomsday argument, DA – Теорема о конце света. Вкратце суть ее в том, что исходя из прошлого времени жизни человечества и предположения, что мы находимся примерно в середине его существования, мы можем оценить будущее время существования человечества. Например, если я беру случайную морскую свинку из вольера, и узнаю, что её возраст – 2 года, то я могу предположить, что он с большой вероятностью примерно равен среднему возрасту свинок в вольере (так как маловероятно что я достану очень молодую или очень старую свинку), а значит, средний возраст свинок в вольере тоже 2 года, а ожидаемая продолжительность жизни – 4 года с определённой вероятностной достоверностью. (А не 2,1 года и не 400 лет.) Иначе говоря, Картер спросил: насколько вероятно то, что мы обнаруживаем себя так рано в истории цивилизации, в предположении, что человечество заселит всю галактику в течение миллионов лет. И ответ был такой: это очень маловероятно, если считать, что человечество заселит всю Галактику, но вполне вероятно, если считать, что человечество обречено на гибель в ближайшие несколько тысяч лет. Картер предложил DA в более строгой математической форме, основанной на теореме Байеса, которая давала не вероятность вымирания человечества во времени, а поправку к вероятности уже известных рисков в сторону их увеличения. В такой форме результаты получались очень плохими: например, при ряде достаточно правдоподобных предположений, вероятность в 1 % преобразовывалась в 99 %. Независимо от Картера похожую теорию разработал Ричард Готт, и опубликовал её в журнале Nature в 1993 году [Gott 1993]. В ней вероятность будущего времени существования системы выражалась на прямую через прошлое время. (С вероятностью в 50 процентов система просуществует от 1/3 до 3 периодов времени, которые она уже просуществовала, если считать, что она наблюдается в случайный момент времени.) Если учитывать только время жизни Homo Sapiens, то с учётом того, что наш вид уже существует около 200 тысяч лет, это давало ожидаемое время существования от 66 до 600 тысяч лет, что выглядит вполне разумным. Однако если учесть рост населения Земли – и взять среднее не по времени, а по числу живших людей - то ожидаемое время жизни человечества сокращалась до 1000 лет. При некоторых предположениях оно сокращается до нескольких десятков лет. DA – крайне запутанная тема, и сейчас вышли десятки статей за и против него.

В начале 80-х возникает новая теория вымирания человечества в результате применения ядерного оружия – теория о «ядерной зиме». В ходе компьютерного моделирования поведения атмосферы оказывается, что затемнение в результате выброса сажевых частиц в тропосферу будет длительным и значительным. Вопрос о том, насколько реально такое затемнение и какое падение температуры может пережить человечество, остаётся открытым.

В 80-е появлялись и первые публикации о рисках экспериментов на ускорителях.

В 1986 году вышла книга Э. Дрекслера «Машины созидания» [Drexler 1986], посвящённая радикальным нанотехнологиям – то есть созданию самовоспроизводящихся нанороботов. Дрекслер показал, что такое событие имело бы революционные последствия для экономики и военного дела. Он рассматривает различные сценарии глобальной катастрофы, связанной с нанороботами. Первый – это «серая слизь», то есть неограниченное размножение нанороботов, над которыми потерян контроль, в окружающей среде. За несколько дней они могли бы полностью поглотить биосферу Земли. Второй риск – это «нестабильная гонка вооружений». Нанотехнологии позволят быстро и крайне дёшево создавать оружие невиданной разрушительной силы. В первую очередь речь идёт о микроскопических роботах, способных поражать живую силу и технику противника. «Нестабильность» этой гонки вооружений состоит в том, что в ней «начавший первым получает всё», и невозможно равновесие двух противоборствующих сил, как это было во времена Холодной войны.

В 1996 году выходит книга канадского философа Дж. Лесли «Конец света [Leslie 1996]. Наука и этика человеческого вымирания», которая радикально отличается от книги Азимова в первую очередь своим пессимистическим тоном и сосредоточенностью на ближайшем будущем. В ней рассмотрены все новые открытия гипотетических сценариев катастрофы, в том числе нанороботы и DA и делается вывод, что шансы вымирания человечества составляют 30 процентов в ближайшие 200 лет. С этого момента интерес к теме постоянно растёт и обнаруживаются всё новые и новые потенциально катастрофические сценарии.

С конца прошлого века Дж. Лавлок [Lovelock 2006] и, независимо, А.В Карнаухов [Карнаухов 1994] в России развивают теорию о возможности необратимого глобального потепления. Суть ее в том, что если обычное потепление, связанное с накоплением углекислого газа в атмосфере, превысит некоторый очень небольшой порог (1-2 градуса), то огромные запасы гидратов метана на морском дне и в тундре, накопившиеся там за время недавних оледенений, начнут выделятся. Метан является в десятки более сильным парниковым газом, чем углекислый газ, и это может привести к дальнейшему росту температуры Земли, что запустит другие цепочки с положительной обратной связью. Например, сильнее начнёт гореть растительность на суше  – больше CO2 будет выделяться в атмосферу; нагреются океаны – упадёт растворимость CO2, и опять он будет выделяться в атмосферу, начнут образовываться бескислородные области в океане – там будет выделяться метан. Событием последних дней стало обнаружение в сентябре 2008 года пузырьков метана, выделяющихся столбами со дна Ледовитого океана. Наконец, водяной пар тоже является парниковым газом, и с ростом температур его концентрация тоже будет расти. В результате этого температура может вырасти на десятки градусов, произойдёт парниковая катастрофа, и всё живое погибнет. Хотя это не является неизбежным, риск такого развития событий является наихудшим возможным результатом с максимальным ожидаемым ущербом.

Ещё один новоизобретённый риск – это искусственное пробуждение сверхвулкана с помощью сверхглубокого бурения. Есть проекты автономных зондов, которые смогут проникнуть в недра Земли на глубину до 1000 км, проплавляя вещество мантии [Stivenson 2003], [Circovic 2004].

В 1993 году В. Виндж [Vince 1993] выдвинул идею Технологической Сингулярности – гипотетического момента в будущем, когда интеллект компьютеров превзойдёт человеческий. Он предполагает, что это событие произойдёт до 2030 года. Сверхчеловеческий ИИ крайне опасен, так как он будет обладать способностью переиграть людей в любом виде деятельности, а значит и уничтожить их. Поэтому встает задача так запрограммировать ИИ, чтобы он не захотел это делать, то есть создать так называемый Дружественный ИИ. Эту проблему исследует Институт Сингулярности в Калифорнии, ведущий научный сотрудник которого Е. Юдковски написал несколько работ о проблемах безопасности ИИ [Yudkowsky 2007].

В XXI веке основной задачей исследователей стало не перечисление различных возможных глобальных рисков, а анализ общих механизмов их возникновения и предотвращения. Выяснилось, что большинство возможных рисков связаны с ошибочными знаниями и неверными решениями людей. Точно так же и в современной медицине стали исследовать не только разные болезни, но и общие подходы к проблеме человеческой смертности  - в первую очередь посредством борьбы со старением, а также за счёт повышения культуры безопасности (борьба с курением, пристяжные ремни в машинах) и улучшения морального самочувствия человека (так как человек в депрессии не будет заботится о своей безопасности) плюс радикальное продление жизни за счёт киборгизации и крионики. (Аналогам последним являются глобальные проекты вроде хранилища семян в Норвегии.)

В 2008 году несколько событий усилили интерес к рискам глобальной катастрофы: это намечавшийся (но так пока полностью и не состоявшийся) запуск коллайдера, вертикальный скачок цен на нефть, выделение метана в Арктике, война с Грузией и мировой финансовый кризис. Научно обоснованное понимание того, что мы живём в хрупком мире, который рано или поздно разрушится, стало общественным достоянием.

В основе большинства сценариев глобальной катастрофы лежит «цепная реакция» – иначе говоря, самоусиливающиеся процессы с положительной обратной связью. Цепная реакция позволяет с помощью малых воздействий прийти к мощным изменениям: достаточно создать условия для возникновения самоусиливающегося процесса. В 1931 году Лео Сциллард [Smith 2006] понял, что именно цепная реакция с помощью некой автокаталитической реакции могла бы быть способом высвобождения атомной энергии, однако до открытия деления урана под воздействием нейтронов в 1939 году не было известно, как именно эту цепную реакцию создать. То, что многие глобальные риски являются результатом быстро раскручивающихся самоусиливающихся процессов, было известно давно, однако здесь мы впервые хотим показать, что цепная реакция – это общий универсальный механизм различных глобальных рисков, и это знание может быть использовано для обнаружения других глобальных рисков, еще не известных.

Очевидно, что цепная реакция лежит в основе принципа действия ядерного оружия. Однако цепная реакция лежит и в основе ядерного распространения и гонки вооружений. Чем больше стран обладает ЯО, тем больше они способны его распространять, тем более доступны и дёшевы его технологии и тем больше соблазн у стран, оставшихся без такого оружия, его обрести. В основе гонки вооружений так же лежит самоусиливающийся процесс – чем больше оружия у противника, тем больше нужно оружия и «нам», и тем больше страх «нас» у противника, что побуждает его дальше вооружаться. Точно такой же сценарий лежит и в основе риска случайной ядерной войны – чем больше страх, что по «нам» ударят первыми, тем больше у «нас» соблазна самим ударить первыми, а это в свою очередь вызывает ещё больший соблазн ударить первыми у наших противников. Ядерная зима также является самоусиливающейся реакцией за счёт изменения альбедо Земли – то есть рост снежного покрытия приводит к росту отражающей способности Земли, в результате чего Земля охлаждается ещё больше.

Точно такой же принцип положительной обратной связи лежит и в росте населения и в росте потребления ресурсов. Чем выше население, тем больше оно растёт, и тем больше оно потребляет ресурсов. Однако чем больше население, тем большие технологии нужны, чтобы его поддерживать, и тем большие технологии оно способно порождать, грубо говоря, за счёт роста числа людей изобретателей. Таким образом, как показал А.В. Коротаев [Коротаев 2007], скорость роста населения оказывается пропорциональна квадрату числа людей (dN/Dt=N*N ). Первое N в этой формуле получается за счёт роста числа матерей, а второе – за счёт роста числа изобретателей. Решением этого дифференциального уравнения является гиперболическая кривая (достигающая бесконечности за конечное время – а именно, согласно вычислениям Форестера, в 2026 г. [Forester 1960]). Гиперболически растущее население должно и ресурсы потреблять гипреболически, и даже если само население не растёт, то уровень жизни его растёт. С 1960-х годов гиперболический рост населения прекратился, однако начался очень быстрый (как квадрат экспоненты) рост совокупной мощности компьютеров – то есть произведения числа установленных компьютеров на мощность каждого компьютера – и если учесть число установленных компьютеров, то закон гиперболического роста в первом приближении продолжает действовать. В синергетике есть точные математические модели описываемых здесь процессов, называемые «режимами с обострением», однако в виду неопределённости данных и моделей, касающихся будущих глобальных катастроф, трудно сказать, какие именно из этих количественных моделей здесь подходят [Капица, Курдюмов, Малинецкий 2001] .

Гиперболический рост очевидным образом сталкивается с ограниченностью любого ресурса, что потенциально создаёт катастрофическую ситуацию. В принципе эта проблема разрешима и через сберегающие технологии, и через скачок на новый технологический уровень, важно то, что здесь тоже проблемная ситуация создаётся за счёт положительной обратной связи.

Точно также положительная обратная связь создаёт проблемы и в кредитном цикле Мински [Minsky 1978]. Крайним выражением его является финансовая пирамида, то есть финансовое учреждение, которое может выплачивать старые кредиты, только привлекая новые кредиты. Чтобы такое учреждение могло функционировать, его долг тоже экспоненциально расти. Есть определённые параллели между таким учреждением и состоянием мировой финансовой системы.

Закон Мура [Скробов 2005] также является самоусиливающимся процессом. Механизм его не так прост, как в предыдущих случаях. Во-первых, более быстрые компьютеры позволяют эффективно проектировать ещё более быстрые чипы. Во-вторых, в нём деньги, заработанные на одном этапе миниатюризации, позволяют осуществить следующий этап уплотнения чипов. Темп закона Мура так же задаётся той частотой, с которой потребители готовы менять технику на более продвинутые модели. Более быстрый темп был бы не выгоден, так как потребители не успели бы накопить достаточно денег на полный апгрейд системы (даже если бы им удалось внушить, что он необходим), а более медленный не мог бы отнять всех денег у потребителей, которые они готовы тратить на обновление своих систем. Готовность потребителей покупать новую технику требует каждый раз всё большего апгрейда, что создаёт простое дифференциальное уравнение, решением которого является экспоненциальный рост. В результате получается, что экономические основы закона Мура сильнее технологических проблем на его пути. Хотя подобное описание явно упрощает реальную экономику закона Мура, оно хорошо объясняет экспоненциальный рост. NBIC-конвергенция разных технологий также является самоусиливающимся процессом.

Новым глобальным риском является и возможность создания с помощью новых технологий воздействия на мозг сверхнаркотика, который бы превосходил все существующие вещества по силе зависимости и по лёгкости приготовления. (Впервые такую возможность обсуждали братья Стругацкие в романе «Хищные вещи века» [Стругацкие 1965]). Сверхнаркотик представляет опасность также за счёт создаваемой им цепной реакции. Во-первых, каждое новое удовольствие создаёт точку отсчёта для последующих, и в силу этого человек, если у него есть возможность, стремится перейти ко всё большим наслаждениям и ко всё более сильным раздражителям. Во-вторых, знание о наркотике и увлечение им также распространяется по обществу как цепная реакция.

Именно способность к саморазмножению делает опасным биологическое оружие, как в связи с лёгкостью размножения опасных возбудителей в лаборатории, так и во внешней среде, и здесь мы имеем явный пример цепной реакции. Точно также цепная реакция касается и стратегической нестабильности, создаваемой им, и количества знаний о нём и количества людей, вовлечённых в биохакерство.

Способность к саморазмножению очевидно является основной рисков, связанных с нанотехнологиями, как в связи с «серой слизью», то есть неконтролируемым размножением нанороботов в окружающей среде, о чём подробно писал Р. Фрайтас в статье «Некоторые пределы глобальной экофагии биоядными нанорепликаторами» [Freitas 2000], так и в связи с тем, что распространение этих технологий по планете примет характер цепной реакции.

Наконец, основной риск, создаваемый ИИ, также связан его рекурсивным самоулучшением, то есть цепной реакцией его усиления. Вторая цепная реакция, возможная относительно ИИ, – это процесс нарастания его автономности. Создатели ИИ создадут такие условия, чтобы они и только они могли бы им управлять. Ключевое здесь слово «только». Борьба внутри группы управляющих приведёт к выделению лидера. Такое самоограничение приведёт к тому, что у этого ИИ в любом случае рано или поздно окажется один главный программист (причём это может стать внешне второстепенный человек, но который оставил «закладку» в управляющем коде). Любой сбой аутентификации, в ходе которого ИИ перестанет «доверять» своему главному программисту, станет, возможно, необратимым событием. Наличие официального главного программиста и второстепенного программиста, сделавшего закладку, может привести как раз к такому конфликту аутентификаций, в результате которого ИИ откажется аутентифицировать кого-либо то ни было. Автономный ИИ, активно противостоящий любым попыткам его перепрограммировать или выключить – реальная угроза людям.

Наконец, ещё одна цепная реакция связана с распространением по миру знаний о том, как создать ИИ, и появлению всё новых групп по работе над этой темой со всё более низкими стандартами безопасности.

Необратимое глобальное потепление, риск которого нам рисуют в наихудшем сценарии, также является процессом, возникающим благодаря многим положительным обратным связям. Рост температуры запускает процессы выделения метана и углекислого газа, которые ведут к ещё большему росту температуры. Кроме того, увеличивается испарение воды, которая тоже является парниковым газом. Уменьшается количество растительности в результате засух, и соответственно, уменьшается способность растений связывать углекислый газ. Сокращаются ледники, и Земля всё меньше солнечного света отражает в космос.

Идеи о маловероятных рисках глобальных катастроф в результате физических экспериментов на ускорителях также описывают самоусиливающиеся процессы. Например, в случае образования микроскопической чёрной дыры на большом адронном коллайдере (см. обзор рисков коллайдера Э. Кента [Kent 2004]) риск состоит в самоусиливающемся процессе реакции захвата ею обычного вещества, поскольку чем больше масса чёрной дыры, тем быстрее она захватывает вещество. Тоже верно и для сценария с образованием гипотетической частицы, состоящей из кварковой материи стрейнджлета, способной захватывать и превращать в другие стрейнджлеты обычную материю. Наконец, фазовый переход «фальшивого» вакуума в «истинный» (событием такого рода, согласно некоторым космологическим теориям, был этап Большого взрыва, называемый космологической инфляцией, и фазовый переход нашего вакуума был бы равносилен разрушению наблюдаемой Вселенной), подробнее этот риск рассмотрен М. Рисом и П. Хатом в статье «Насколько стабилен наш вакуум» [Rees, Hut 1983] также был бы цепной реакции, которая, начавшись в одной точке, охватила бы всю вселенную.

Дегазация земных недр в результате экспериментов со сверхглубоким бурением в духе зонда Д. Стивенсона (который представляет собой огромную каплю расплавленного железа, проплавляющую верхнюю мантию – этот гипотетический, но технически реализуемый проект был предложен Стивенсоном в 2003 г. [Stivenson 2003] и подвергнут жёсткой критике как небезопасный М. Чирковичем [Circovic 2004]) также была бы самоусиливающейся реакцией, так как нарушенное метастабильного равновесие растворённых газов в недрах привело бы ко всё более интенсивному их выходу на поверхность, как это происходит в вулканах.

Обнаружение инопланетных сигналов по линии SETI, содержащих описания неких компьютеров и программ к ним [Carrigan 2006], также вызвало бы цепную реакцию интереса к ним во всём мире, что неизбежно бы привело к многократной загрузке инопланетных посланий и, в конечном счёте, к запуску опасного кода (то есть описания враждебного людям ИИ, который использует Землю, чтобы дальше распространять свои копии), если он в них есть. Само распространение такого ИИ по Галактике – тоже подобно цепной реакции.

Крах мировой системы в духе теории хаоса также предполагает цепную реакцию, где один сбой следует за другим, образуя лавину. Например, та модель развития будущих событий, которую мы уже наблюдали в середине XX в., когда экономическая депрессия и нехватка ресурсов ведут к войне, война ведёт к скачку инвестиций в прорывные военные разработки, а затем к применению принципиально нового оружия, после чего открываются физические возможности для полного уничтожения мира (кобальтовая бомба) и создаются подходящие для этого военно-политические доктрины (вроде взаимного гарантированного уничтожения). Возможно, что кризис ипотечного кредитования, пик уровня добычи нефти, обусловленный физической ограниченностью её запасов, и ряд других современных проблем – это первые стадии такой геополитической цепной реакции. Тогда, по шкале XX века, если считать 2008 год за новый 1929, то до новой «атомной бомбы» осталось 16 лет (то есть 2024 год), до идеи новой кобальтовой бомбы – 21 год (2029 год), и до нового Карибского кризиса, реально ставящего мир на грань уничтожения – почти 33 года (2041 год). Такие цифры не следует считать сколько-нибудь достоверным пророчеством, но ничего лучше этих оценок у нас пока нет. Не трудно заметить, что получившие цифры близки к датам ожидаемой Технологической Сингулярности.

Цепная реакция лежит также в основе экономических кризисов вообще и начавшегося сейчас кризиса ипотечного кредитования, в частности. Примером цепной экономической реакции является паника на бирже и бегство клиентов из банка. Чем больше людей продаёт акции, тем больше падает их цена, что вызывает ещё большую панику и вынуждает продавать тех, кто этого не хотел. В нынешней ситуации прохождение пика цен на американском рынке недвижимости запустило каскад самоусиливающихся процессов. Чем больше неплатёжеспособных кредиторов вынуждено продавать свои дома, тем больше домов на рынке, тем ниже падает их цена, тем большему числу людей выгодно перестать выплачивать свой ипотечный кредит и продать дом; кроме того, тем хуже положение банков, тем ниже рост экономики, тем больше безработных, что опять-таки приводит к тому, что они продают свои дома и т. д. (Отмечу, что выработка потенциала действия нейроном в мозгу, то есть электрического разряда, передающего сигнал другим нейронам, тоже происходит по этой схеме после прохождения критического порога.)

Соответственно, интересно посмотреть, какие схемы глобальных катастроф не попадают в эту классификацию. В первую очередь, это столкновение с астероидом. Однако и при столкновении с астероидом худшие его последствия будут косвенными, образовавшимися посредством цепочки причинно-следственных связей. А именно, астероидная зима во многом будет вызвана пожарами по всей планете, в свою очередь вызванными разлётом бесчисленного множества осколков от падения основного тела.

Можно также предположить, что в случае гипотетического «кризиса кризисов», то есть глобального кризиса, который объединит в себе все отдельные кризисные явления, цепная реакция будет состоять из других цепных реакций, как, например, мы видим это в экономике, где бегство из одного какого-то банка является только эпизодом в разворачивающемся кризисе.

Кроме того, интересно понять, какие силы препятствуют возникновению цепных реакций – ведь в большинстве случаев они не происходят или ограничены по масштабам. На примере ядерной реакции можно понять, что для начала цепной реакции нужно наличие «критической массы» и отсутствие «предохранительных стержней». Развитию экспоненциальных процессов мешает также ограниченность ресурса для их роста и наличие других самоусиливающихся процессов, тянущих в противоположную сторону, в результате чего возникает динамическое равновесие. Для того, чтобы цепная реакция развивалась беспрепятственно, она должна быть процессом качественно более высокого уровня энергии, на который не могут влиять силы более нижнего уровня. Быстрые скачки в развитии технологий как раз создают возможность для таких неудержимых процессов.

Хотя мы можем обсуждать разные механизмы глобальных катастроф, возможно, что существует некое явление, закономерно приводящее каждую цивилизацию к гибели, что и объясняет молчание космоса. Для начала отметим, что мы уже знаем одно такое явление, которое объединяет неисчерпаемый класс разнообразных по своей природе катастрофических событий – и объединяет тем, что можно назвать эквифинальностью, то есть независимостью конечного результата от множества ведущих к нему путей. Я имею в виду старение и конечность человеческой жизни.

Существует масса способов умереть, некоторые из них удивительны и уникальны, другие обыденны. Можно заболеть раком, разбиться на машине, покончить собой, отравиться, сгореть заживо, утонуть, быть убитым, умереть от инфаркта, заснуть и не проснуться, попасть под действие электрического удара, подавиться косточкой. Но самое главное здесь то, что к знаменитым словам Воланда на Патриарших прудах из «Мастера и Маргариты» о том, что человек не просто смертен, а внезапно смертен – надо добавить так же то, что человеческой жизни положен максимальный временной предел. Смерть – это не результат сложения вероятностей разных факторов, перечисленных выше; смерть – в самом естестве человеческой природы, и есть просто разные способы, которыми она проявляется. Наиболее достоверная из доступной является американская актуарная (то есть связанная с продолжительностью жизни) статистика, и в ней максимально зафиксированный возраст человека составляет 123 года. Возражения о том, что кто-то на Кавказе или в Японии прожил то ли 160, то ли 240 лет только подчёркивают, что никто не прожил 1000. Однако если бы смерть людей была бы просто игрой вероятностей, то нашлись бы люди, который прожили и по 10 000 лет. Наличие верхнего предела продолжительности человеческой жизни означает наличие механизма, её ограничивающего. И этот механизм нам прекрасно известен – это старение, которое не столько убивает само по себе, сколько увеличивает вероятность разных болезней – рака, Альцгеймера, инфаркта, инсульта и др. Существует масса теорий старения. Какая из них верная, мы, наверное, узнаем, только когда победим старение. Но интуитивно более-менее понятно, что старение связано с торможением, накоплением ошибок и износом. Это всё более ослабляет организм, делая его всё менее устойчивым, до тех пор, пока он не переходит в катастрофический режим. Отметим, что старение также является самоусиливающимся процессом, поскольку, чем слабее силы организма, тем меньше его способности к самовосстановлению, и к тем большему накоплению ошибок это приводит. Разумеется, здесь более сложные взаимосвязи, но вероятность умереть (точнее, доля умерших) с возрастом растёт по кривой, близкой к экспоненциальной.

Определённо, однако, мы не видим ничего похожего на глобальное старение в окружающем нас мире (кроме проблемы исчерпания ресурсов): старые образцы техники сменяются всё более новыми, всё более совершенными, доступные уровни энергии растут, и может создаться впечатление, что наш мир молодеет. То есть он ускоряется, а не замедляется. Однако на более глубоком уровне сходство со старением есть. Ускорение оказывается старением наоборот. (СССР распался через несколько лет после того, как провозгласил программу ускорения и модернизации. Маккиавели писал, что каждая перемена прокладывает путь новым переменам, и поэтому правитель, начиная реформы, рискует потерять над ними контроль, и в итоге свою власть, что, в общем, и произошло в СССР, – и здесь мы тоже имеем самоусиливающийся процесс.) Это ускорение приводит к такому же снижению устойчивости и рассогласованию работы разных элементов, как в случае старения. Это подобно тому, как если бы мы пустили вниз под горку автомобиль без тормозов – хотя неизвестно, до какой именно величины будет расти его скорость, понятно, что рано или поздно у него что-нибудь отвалится, причём, чем позже отвалится, тем сильнее будет авария. Здесь мы описали «кризис кризисов» на примере отчасти известного нам механизма – а именно старения.

Другим универсальным эффектом, ведущим к глобальной катастрофе, является эффект множественности. Крайне маловероятно, что появится один вирус, который будет обладать 100% летальностью и заразит 100% населения. Однако вполне можно представить искусственно синтезированный вирус, который будет обладать 10% летальностью и заразит 10 % населения (как например, грипп испанка) – то есть приведёт к гибели 1 % людей. Какое количество таких вирусов должно быть выпущено одновременно, чтобы привести к неизбежной смерти всех людей? Небольшое упражнение со степенями даёт число порядка 2 000. И это при миллионах компьютерных вирусов в Интернете. И шансы возникновения 2 000 относительно слабых, на уровне природных, вирусов, вероятно выше, чем шансы появления одного супергениально сконструированного вируса-убийцы.

В обобщённом виде идея эффекта множественности состоит в том, что одновременное появление множества слабых и не очень опасных по отдельности факторов более вероятно и более опасно, чем появление одного фактора-убийцы.

 

Литература:

  1. Blair B. G. The Logic of Accidental Nuclear War. Brookings Institution Press, 1993.

2.      Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? // Nature, Vol. 438, No. 7069, C. 754, 2005. Русский перевод: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа судного дня?     http://www.proza.ru/texts/2007/04/11-348.html

3.      Bostrom, N. and Cirkovic M. eds. Global Catastrophic Risks. Oxford University Press. 2008.

4.      Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. // Journal of Evolution and Technology, 9. 2001. Русский перевод: Ник Бостром. Угрозы существованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ.: http://www.proza.ru/texts/2007/04/04-210.html

  1. Bostrom, N. How Long Before Superintelligence? // International Journal of Futures Studies, 2. 1998. URL: http://www.nickbostrom.com/superintelligence.html.
  2.  Carrigan R. Do potential SETI signals need to be decontaminated? Acta Astronautica, Volume 58, Issue 2, January 2006, Pages 112-117, русский перевод: Р.Кэрриган. Следует ли обеззараживать сигналы SETI? http://www.proza.ru/texts/2007/11/20/582.html
  3. Cirkovic M., Cathcart R. Geo-engineering Gone Awry: A New Partial Solution of Fermi's Paradox. // Journal of the British Interplanetary Society, vol. 57, pp. 209-215, 2004.
  4. Dar, A. et al. Will relativistic heavy-ion colliders destroy our planet? // Physics Letters, B 470, 142-148. 1999.

9.      Diamond J. Collapse: How Societies Choose to Fail or Succeed. Viking Adult, 2004.

  1. Drexler, K.E. Dialog on Dangers. Foresight Background 2, Rev. 1. 1988. URL: http://www.foresight.org/Updates/Background3.html.
  2. Drexler, K.E. Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. 1985. URL: http://www.foresight.org/EOC/index.html.
  3. Foresight Institute. Foresight Guidelines on Molecular Nanotechnology, Version 3.7. 2000. URL: http://www.foresight.org/guidelines/current.html.
  4. Freitas (Jr.), R.A. Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html. (Русский перевод: Р.Фрейтас. Проблема серой слизи. http://www.proza.ru/texts/2007/11/07/59.html)
  5. Feynman, R. There's Plenty of Room at the Bottom. 1959. http://www.its.caltech.edu/~feynman/plenty.html
  6. Foerster, H. von, P. Mora, and L. Amiot. Doomsday: Friday, 13 November, A.D. 2026. At this date human population will approach infinity if it grows as it has grown in the last two millennia // Science..  № 132. С. 1291-1295. 1960.

16.Good, I. J. Franz L. Alt and Morris Rubinoff, ed., Speculations Concerning the First Ultraintelligent Machine. // Advances in Computers (Academic Press) 6: 31-88. 1965.

17.Gott J. R. III. Implications of the Copernican principle for our future prospects. // Nature, 363, 315–319, 1993.

  1. Gubrud, M. Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. 2000. URL: http://www.foresight.org/Conferences/MNT05/Papers/Gubrud/index.html.
  2. Hanson R. Catastrophe, Social Collapse, and Human Extinction // Global Catastrophic Risks, ed. Nick Bostrom. 2008. http://hanson.gmu.edu/collapse.pdf
  3. Hoyle F., Elliot J. A for Andromeda, 1962.
  4. P. Hut, M.J. Rees. How stable is our vacuum? // Nature 302, 508–509. 1983.
  5. Jackson, R.J. et al. Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox.  Journal of Virology, 73, 1479-1491. 2001.
  6. Joy, B. Why the future doesn't need us. // Wired, 8.04. 2000. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html.

24.    Kent A. A critical look at risk assessments for global catastrophes. // Risk Anal. 24 157-168 2004. Кент Э. Критический обзор оценок рисков глобальных катастроф. http://www.proza.ru/texts/2008/05/23/67.html

25.    Khan H. On thermonuclear war. NY, 1960.

  1. Kurzweil, R. The Age of Spiritual Machines: When computers exceed human intelligence. NY, Viking. 1999.
  2. LA-602: Ignition of the Atmosphere with Nuclear Bombs, unclassified document, 1945. http://www.reddit.com/r/science/comments/6o46s/la602_ignition_of_the_atmosphere_with_nuclear/
  3. Leslie J. The End of the World: The Science and Ethics of Human Extinction. 1996.
  4. Lovelock J. The Revenge of Gaia. L. 2006.
  5. Mason C. The 2030 Spike: Countdown to Global Catastrophe.  2003.
  6. Melott, B. Lieberman, C. Laird, L. Martin, M. Medvedev, B. Thomas. Did a gamma-ray burst initiate the late Ordovician mass extinction?  // arxiv.org/abs/astro-ph/0309415, (Русский перевод: Гамма-лучи могли вызвать на Земле ледниковый период. http://www.membrana.ru/articles/global/2003/09/25/200500.html
  7. Minsky H. The Financial Instability Hypothesis: A restatement, Thames Papers on Political Economy. 1978.
  8. Moravec, H. Mind Children: The Future of Robot and Human Intelligence, 1988.
  9. Morgan, M.G. Categorizing Risks for Risk Ranking. // Risk Analysis, 20(1), 49-58. 2000.
  10. Nowak, R. Disaster in the making. // New Scientist, 13 January 2001. 2001. URL: http://www.newscientist.com/nsplus/insight/bioterrorism/disasterin.html.
  11. Perrow, C. Normal Accidents: Living with High-Risk Technologies. Princeton University Press. 1999.
  12. Posner R. Catastrophe: Risk and Response. Oxford University Press, 2004.
  13. Powell, C. 20 Ways the World Could End. Discover, 21(10). 2000. URL: http://www.discover.com/oct_00/featworld.html.

39.  Robock, A., Oman L.,  Stenchikov G. L.:  Nuclear winter revisited with a modern climate model and current nuclear arsenals: Still catastrophic consequences. // J. Geophys. Res., 112, D13107, doi:2006JD008235. 2007. (русский перевод: http://climate.envsci.rutgers.edu/pdf/RobockNW2006JD008235Russian.pdf )

  1. Roland J. Nuclear Winter and Other Scenarios, 1984. рукопись. http://www.pynthan.com/vri/nwaos.htm
  2. Shute, N. On the Beach. 1957.

42.  Simmons M. R. Twilight in the Desert: The Coming Saudi Oil Shock and the World Economy. NY, 2005.

43.  Rees M. Our final hour. NY, 2003.

  1. P. D. Smith. Doomsday Men: The Real Dr Strangelove and the Dream of the Superweapon. NY, 2007. Глава на русском: П.Д. Смит. Кобальтовая бомба. http://www.proza.ru/texts/2008/02/12/83.html
  2. Stevenson D. A Modest Proposal: Mission to Earth’s Core. // Nature 423, 239-240, 2003.

46.  Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? NY, Random House, 2005.

  1. Turner, M.S., & Wilczek, F. Is our vacuum metastable? Nature, August 12, 633-634. 1982.
  2. Vinge, V. The Coming Technological Singularity. Whole Earth Review, Winter issue. 1993.
  3. Ward, P. D., Brownlee, D. Rare Earth: Why Complex Life Is Uncommon in the Universe. NY, 2000.
  4. Warwick, K. March of the Machines. London: Century. 1997.
  5. Weaver T., Wood L. Necessary conditions for the initiation and propagation of nuclear detonation waves in plane atmospheres. // Physical review 20 – 1 Jule 1979, http://www.lhcdefense.org/pdf/LHC%20-%20Sancho%20v.%20Doe%20-%20Atmosphere%20Ignition%20-%202%20-%20Wood_AtmIgnition-1.pdf
  6. Whitby, B. et al. How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. 2000.  http://www.informatics.sussex.ac.uk/users/blayw/BlayAISB00.html
  7. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2008. (Русский перевод: Е.Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска. http://www.proza.ru/texts/2007/03/22-285.html)
  8. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2008 (Русский перевод: Е.Юдковски. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )
  9. Yudkowsky, E. Creating Friendly AI 1.0. 2001. URL: http://www.singinst.org/upload/CFAI.html.

56.  Абрамян Е.А. Долго ли осталось нам жить? Судьба цивилизации: Анализ обстановки в мире и перспектив будущего. М., Терика, 2006.

  1. Азимов А. Выбор катастроф. М., Амфора, 2002.
  2. Александровский г. бегство от умирающего солнца.  // наука и жизнь, №08, 2001. http://nauka.relis.ru/05/0108/05108042.htm

59.  Анисичкин В. О взрывах планет. // Труды V Забабахинских чтений, Снежинск. 1998.

  1. Бестужев-Лада И. Человечество обречено на вымирание, Московский комсомолец, май, 2006.

61.  Биндеман И. тайная жизнь супервулканов. // В мире науки. N 10. 200

  1. Бобылов Ю. Генетическая бомба. Тайные сценарии биотерроризма. Белые Альвы, 2006.

63.  Брин Д. Сингулярность и кошмары. Nanotechnology Perceptions: A Review of Ultraprecision Engineering and Nanotechnology, Volume 2, No. 1, March 27 2006.

  1. Воробьёв, Ю.Л, Малинецкий Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6.
  2. Владимиров В.А., Малинецкий Г.Г., Потапов А.Б. и др. Управление риском. Риск, устойчивое развитие, синергетика. М., Наука, 2000

66.  Геворкян С.Г., Геворкян  И.С. Преднамеренные антропогенные экологические катастрофы. // Эволюция, , 3. 2006.

  1. Данилов-Данильян В.И., Лосев К.С., Рейф И.Е. Перед главным вызовом цивилизации. Взгляд из России.
  2. Дядин Ю. А., Гущин А. Л. Газовые гидраты и климат земли. // Соросовский Образовательный Журнал, N3, 1998.
  3. Ергин Д. Добыча. Всемирная история борьбы за нефть, деньги и власть. М. 2003.

70.  Еськов К.Ю. История Земли и жизни на ней. М., НЦ ЭНАС, 2004.

71.  Израэль Ю.А. Экологические последствия возможной ядерной войны. // Метеорология и гидрология, 1983, №10.

72.   Капица С., Курдюмов С., Малинецкий Г., Синергетика и прогнозы будущего. М., 2001.

  1. Карнаухов А.В. К вопросу об устойчивости химического баланса атмосферы и теплового баланса земли. // Биофизика, том 39, вып. 1.  1994.
  2. Коротаев А.В., Малков А.С., Халтурина Д А. Законы истории. Математическое моделирование развития Мир-Системы. Демография, экономика, культура. 2-е изд. M., УРСС, 2007.

75.  Красилов В.А. Модель биосферных кризисов. // Экосистемные перестройки и эволюция биосферы. Вып. 4. М.: Издание Палеонтологического института, 2001. С. 9-16. http://macroevolution.narod.ru/krmodelcrisis.htm

  1. Куркина Е.С. Конец режимов с обострением. Коллапс цивилизации. Доклад. http://spkurdyumov.narod.ru/kurkinaes.htm
  2. Лем С. О невозможности прогнозирования. Собрание сочинений, т.10. М., Текст, 1995.

78.  Лем С. Сумма технологий, 1963.

79.  Лем С. Фантастика и футурология, 1970.

  1. МакМаллин Р. Практикум по когнитивной терапии: Пер. с англ.  СПб., Речь, 2001.

81.  марков а.в. Возвращение черной королевы, или закон роста средней продолжительности существования родов в процессе эволюции. // Журн. Общей Биологии, 2000. Т.61. № 4. С. 357-369. http://macroevolution.narod.ru/redqueen.htm.

  1. Медведев Д.А. Конвергенция технологий как фактор эволюции. http://www.transhumanism-russia.ru/content/view/317/116/ // в сб. Диалоги о будущем. Т.1. М., 2008.

83.  Медоуз Д. и др. Пределы роста, 1972.

84.  Моисеев Н. Судьба цивилизации. М., Путь разума, 1998.

  1. Назаретян А.П. Цивилизационные кризисы в контексте Универсальной истории. М., 2001.
  2. Онищенко Г. Биотерроризм, ВАН, т. 73, № 3, 2003.
  3. Оруэлл Дж. 1984. L. 1948.
  4. Панов А.Д. Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии. // Вселенная, пространство, время. № 2, 2004. http://lnfm1.sai.msu.ru/SETI/koi/articles/krizis.html
  5. Розмаинский И.В.  «Гипотеза финансовой нестабильности» Мински: теория делового цикла XXI века. http://ie.boom.ru/Rozmainsky/fragilation.htm
  6. Скробов А. Закон Мура. 2005. http://cs.usu.edu.ru/study/moore/#conts

91.  Сорос Дж. Кризис мирового капитализма. Открытое общество в опасности. Пер. с англ. М., ИНФРА-М, 1999.

92.  Стругацкий А.Н., Стругацкий Б.Н. Хищные вещи века, М. 1965.

  1. Тофлер, Э. Шок будущего.  М., АСТ, 2002.

94.  Турчин А.В. О возможных причинах недооценки рисков гибели человеческой цивилизации  // Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук: Т. 31.  М., КомКнига, 2007.

95.  Турчин А.В. Природные катастрофы и антропный принцип. // Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук: Т. 31.  М., КомКнига, 2007.

96.  Турчин А.В. Война и ещё 25 сценариев конца света. М., Европа, 2008.

97.  Фон Нейман, Дж. Теория самовоспроизводящихся автоматов. М., Мир, 1971.

98.  Фукуяма Ф. Наше постчеловеческое будущее. Последствия биотехнологической революции, 2002.

99.  Хаин В. Е. Разгадка, возможно, близка. О причинах великих вымираний и обновлений органического мира. // Природа, 6. 2004.

  1. Чирков Ю. Ожившие химеры. М., 1989.

101.                     Шафмейстер Х. Молекулярный конструктор. // В мире науки, №9,  2007.

102.                     Шкловский и.с. звёзды. Их рождение, жизнь и смерть. М., Наука, 1984.