home    книги    переводы    статьи    форум    ресурсы    обо мне    English

Методология  анализа глобальных рисков

Глава 1. Общие замечания. Ошибка как интеллектуальная катастрофа. 346

Глава 2. Ошибки, возможные только относительно угроз существованию человечества. 350

Глава 3. как когнитивные искажения, могущие касаться любых рисков, влияют на оценку глобальных рисков  366

Глава 4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках. 402

Глава 5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта. 414

Глава 6. Специфические ошибки, связанные рассуждениями о рисках использования нанотехнологий  423

Глава 7. Выводы из анализа когнитивных искажений в оценке глобальных рисков и возможные правила для эффективной оценки глобальных рисков. 428

 

Глава 1. Общие замечания. Ошибка как интеллектуальная катастрофа

 

 

Основной частью методологии анализа представляется обнаружение и устранение возможных ошибок в рассуждениях о глобальных рисках или факторов, ведущих к неверным оценкам и затем к неверным решениям. Затем следует ряд соображений рекомендательного характера о том, как следует проводить анализ глобальных рисков.

Наши рассуждения о глобальных рисках подвержены тем или иным систематическим ошибкам и искажениям, которые оказывают влияние на конечные выводы этих рассуждений, а, следовательно, и на нашу безопасность. «Ошибки» не вполне точное слово – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения». Когнитивные искажения являются естественным свойством человеческого ума, и в этом нет никакого оттенка «вины», который со школьной скамьи связан с нашим представлением об  «ошибках». Однако важно знать, что поскольку когнитивные искажения – это естественное свойство человека, возникшего эволюционным путём, то каждый подвержен им и может найти их в своих рассуждениях. Основной способ исправления когнитивных искажений – эксперимент – не может помочь нам в случае глобальных рисков. Поэтому мы должны гораздо ответственнее подойти к задаче безошибочного мышления о них. При этом важно помнить, что любые списки когнитивных искажений предназначены для поиска ошибок в своих мыслях, а не для победы в спорах с другими людьми, поскольку во втором случае это приведёт только к накоплению ошибок в своей системе и закрытости к новой информации. 

Даже если вклад каждой из нескольких десятков возможных ошибок мал, вместе они могут отклонить вероятностную оценку того или иного сценария в разы и привести к неправильному приложению средств обеспечения безопасности. Не трудно убедиться в силе этих ошибок – достаточно опросить нескольких людей, знающих одни и те же факты о человеческой истории, и попросить их дать уверенный прогноз на XXI век – и вы увидите, насколько будут различаться конечные выводы: одни будут уверены в неизбежности исчерпания нефти, другие верить в торжество ветроэнергетики, третьи ожидать мировой пандемии; одни буду считать вероятность применения ядерного оружия огромной, другие полагать, что это крайне маловероятно. Исследователь глобальных рисков должен знать об этих подводных камнях. В этом разделе предпринимается попытка составить список таких ошибок. Использованы работы зарубежных и российских исследователей, а также авторские наработки. Базовым текстом по проблеме является статья Елиезера Юдковского «Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков»[i] в упоминавшемся уже сборнике «Риски глобальной катастрофы». Данный список не заменяет эту статью, в который приведён математический и психологический анализ ряда приведённых здесь когнитивных искажений. Однако многие описания  факторов ошибок взяты из другой литературы или обнаружены самим автором. Анализ возможных ошибок в рассуждениях о глобальных рисках является шагом на пути к созданию методологии работы с глобальными рисками, а значит, и к их предотвращению. Интересно стремление разных групп, исследующих альтернативные сценарии будущего, составить своё список интеллектуальных ловушек. Например, недавно появилась статья о ‘cognitive biases’, влияющих на оценку теории «пика Хуберта», то есть исчерпания запасов нефти[ii].

Цель работы – свести возможные когнитивные искажения в удобный и структурированный список. При этом максимальное внимание уделено полноте списка, а не доказательству каждого отдельного пункта.

Данный список не претендует ни на полноту, ни на точность классификации, и некоторые его пункты могут оказаться тождественны другим, но сказанным иными словами. Подробное разъяснение каждой отдельной возможной ошибки в оценке риска заняло бы весь объём статьи. (см. например, мою статью «Природные катастрофы и антропный принцип»[iii], где одна из приведённых в этой статье возможных причин ошибок разбирается на более чем 20 печатных страницах.)

Вместе с тем важно помнить, что ошибкам в рассуждениях в той же мере свойственная патологическая самоорганизация, как и ошибкам и цепочкам событий, которые приводят к реальным катастрофам. Это означает, что даже небольшие ошибки, приводящие к небольшому отклонению оценок, имеют тенденцию зацепляться одна за другую, взаимоусиливаясь, особенно при возникновении положительной обратной связи с ними.

Ложный вывод – это интеллектуальная катастрофа. Нетрудно проследить на примере реальных аварий, как ошибочные рассуждения пилотов самолётов приводили к катастрофам, и даже обозначить, какие именно ошибки в рассуждениях они совершили. Можно сказать, что почти любая катастрофа происходит из-за человеческих ошибок. Эти ошибки хронологически выстраиваются так: вслед за ошибками в рассуждениях о возможностях идут ошибки в конструировании, в «предполётной» подготовке, в пилотировании, в управлении критической ситуацией, в устранении последствий аварии и в анализе её причин. Наши рассуждения о глобальных рисках в основном относятся к первой стадии, к рассуждениям о возможности и предварительной оценке вероятностей тех или иных рисков. Нет смысла выстраивать стратегию противостояния глобальным рискам до того, как определились приоритеты. Соответственно, приведённые в данной статье ошибки также относятся, в первую очередь, к самой ранней фазе противодействия глобальным рискам. Однако они могут проявлять себя и позже, на стадии конструирования механизмов зашиты и принятия конкретных решений. Тем не менее, в этом тексте не ставится задача об анализе ошибок на более поздних стадиях защиты от глобальной катастрофы, хотя и упоминается ряд причин ошибочных действий «операторов».

Отдельным вопросом является то, когда именно такие ошибки могут случиться. Одни из этих ошибок происходят в процессе дискуссий в «мирное время», когда общество решает, к каким именно рискам ему стоит готовиться. Другие в полной мере проявляются в аварийных ситуациях, когда люди вынуждены быстро оценить их опасность и принять решения. Грубо говоря, принято разделять все ошибки на ошибки «конструктора» и «пилота». Ошибки «конструктора» совершаются большими группами людей в течение многих лет, тогда как ошибки пилота совершаются одним или малой группой людей в течение секунд или минут. Это может быть, вообще говоря, неверно относительно глобальных катастроф, в случае, если ситуация начнёт развиваться настолько быстро, что проектирование и управление будут развиваться фактически в одном темпе.

Есть также вероятность, что некоторые описания ошибок, которые я здесь привожу, могут оказаться объектами моего неверного понимания – то есть тоже быть ошибочными. И нет ни малейших сомнений, что этот список не полон. Поэтому данный список следует использовать скорее как стартовую площадку для критического анализа любых рассуждений о глобальных рисках, но не как инструмент для постановки окончательного диагноза.

Опасная иллюзия состоит в том, что ошибки в рассуждениях о глобальных рисках или невелики, или легко обнаружимы и устранимы. Корни этой иллюзии в следующем рассуждении: «Раз самолёты летают, несмотря на все возможные ошибки, и вообще жизнь на Земле продолжается, то значение этих ошибок невелико». Это аналогия неверна. Самолёты летают потому, что в ходе их эволюции, конструирования и испытаний разбились тысячи машин. И за каждой этой аварией стояли чьи-то ошибки, которые каждый раз учитывались и в целом не повторялись. У нас нет тысячи планет, которые мы можем разбить, чтобы понять, как нам правильно обращаться с взрывоопасной комбинацией био, нано, ядерных и ИИ технологий. Мы не можем использовать и тот факт, что Земля ещё цела для каких-либо выводов о будущем (см. мою статью «Природные катастрофы и антропный принцип»), потому что нельзя делать статистических выводов по одному случаю. И, конечно, особенно потому, что будущие технологии принципиально изменят жизнь на Земле. Итак, мы лишены привычного способа устранения ошибок – проверки. И, тем не менее, именно сейчас нам важнее всего в истории человечества не ошибиться.

Возможно, что есть ряд когнитивных искажений и логических парадоксов, которые проявляются только в рассуждениях о глобальных рисках, и которые нами пока не обнаружены, но полностью меняют всю весь ход рассуждений. Точно также я не хочу сказать, что все исследователи допускают все перечисленные здесь ошибки. Наоборот, большинство этих ошибок, вероятно, самоочевидны большинству исследователей – или вообще не кажутся ошибками. Однако есть шанс, что какие-то ошибки пропущены.

Под термином «когнитивные искажения» я имею в виду здесь не только нарушения логики, но и любые интеллектуальные конструкции, которые могут оказать влияние на конечные выводы и увеличить риск глобальной катастрофы. Некоторые приведённые ошибки могут не приводить в текущих обстоятельствах к каким-либо последствиям, тем не менее, полезно их иметь в виду.

Возможные виды ошибок и когнитивных искажений разделены на следующие группы:

1.           Ошибки, возможные только относительно глобальных рисков в силу их специфики.

2.           Ошибки, возможные относительно оценки любых рисков, применительно к глобальным рискам.

3.           Факторы, оказывающие влияние на принятие неверных решений, могущие проявиться в ситуациях глобального риска.

4.           Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках.

5.           Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (а также специфические ошибки в рассуждениях о нано-, био- и других прорывных и опасных технологиях – в том числе в ядерных технологии и астрономии.)

 

Глава 2. Ошибки, возможные только относительно угроз существованию человечества

 

1. Путаница относительно глобальных катастроф и просто очень больших катастроф

Есть тенденция путать глобальные катастрофы, ведущие к вымиранию человечества (обозначаемые в англоязычной литературе термином «existential risks») и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Критерием глобальных катастроф является необратимость. В русском языке пока нет устоявшегося краткого термина для катастроф, ведущих к вымиранию человечества. (Моисеев называл их цивилизационными рисками или катастрофами.) Я называю их глобальными катастрофами. Есть ещё термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. статью Ника Бострома «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей»[iv].) Разница между этими двумя видами катастроф – не в количестве погибших людей и испытанных ими страданий, а будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на земле опять будут государства, города и самолёты, и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам. (От древних греков остался, по некоторым оценкам, только 1 Гб информации, а влияние их на культуру оказалось огромным.)

Примером такой разницы может служить катастрофа, в которой вымирает всё человечество, и катастрофа, в котором оно вымирает всё, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. С точки зрения отдельного человека нет никакой зримой разницы между двумя этими катастрофами. и в том и в другом случае он погибнет почти наверняка, и всё, что для него ценно, также погибнет. Однако для человечества как целого это разница равнозначна разнице между смертью и очень тяжёлой болезнью. И эта разница также состоит в том, что болезнь может быть долгой и мучительной, и потом закончится выздоровлением, а смерть может быть лёгкой, мгновенной, но обязательно необратимой.

2. Недооценка неочевидных рисков

Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём, их вероятность, и в связи с ними ничего не предпринимается. Некоторые неочевидные риски известны только узкому кругу специалистов, которые высказывают диаметрально противоположные мнения в оценке их реальности и вероятности. Эти мнения могут выглядеть для стороннего наблюдателя в равной мере обоснованными, что заставляет его выбирать между мнениями экспертов, или исходя из своих личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в отношении которых есть ещё много вопросов.

По мере роста наших знаний о природе и могущества техники, постоянно росло число известных нам причин возможного человеческого вымирания. Более того, этот рост ускоряется. Поэтому вполне разумно ожидать, что есть важнейшие риски, о которых мы ничего не знаем. И хуже из них те риски, о которых мы физически не можем ничего узнать, пока они не случатся.

Кроме того, очевидные риски гораздо удобнее анализировать. Есть огромный объём данных по демографии, военному потенциалу и запасам сырья, которые можно анализировать детально и подробно. Объём этого анализа может заслонять тот факт, что есть другие риски, о которых нам очень мало известно, и которые не годятся для анализа в численной форме, но которые тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).

Нетрудно заметить, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами того, что происходит (особенно ошибки в оценке высоты и степени опасности процесса). Наоборот, когда такое понимание имеется, самолёт удаётся спасти часто в совершенно невероятных условиях. И хотя для нас апостериори причины катастрофы очевидны, для самих пилотов они были в тот момент совершено неочевидны.

3. Глобальные риски нетождественны национальной безопасности

Каждая страна тратит на национальную безопасность больше денег, чем на глобальную. Однако глобальные риски представляют большую угрозу для каждой страны, чем национальные – просто потому что если погибнет весь мир, то и страна вместе с ним. При этом часто те действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны возрастает, - во всяком случае, по мнению её руководства -  когда она накапливает запасы ядерного и бактериологического оружия, но безопасность всего мира в результате гонки вооружений падает. Или, например, проблемой РФ является депопуляция, а для всего мира – перенаселение (равно как и для Москвы). Ещё пример: один американский фонд реализует проект по предотвращению глобальных рисков и террористических атак на Америку. Но для нас понятно, что первое и второе – не одно и тоже.

4. Ошибка, связанная с психологизацией проблемы

Издавна существует стереотип сторонника «конца света», толкователя апокалипсиса, – как отверженного обществом индивида, пытающегося своими нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, свои неудачи в финансах и личной жизни. Вне зависимости от истинности или ложности такой интерпретации психологических мотивов людей, это не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если это не касается их собственной жизни.

5. Отождествление глобальной катастрофы со смертью всех людей и наоборот

вымирание человечества не означает гибели всех людей, и наоборот. Легко можно представить себе сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства, то это будет означать конец цивилизации, хотя огромное большинство людей будет некоторое время ещё живо. Или если – в некоем фантастическом сценарии – инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам. Более того, все живущие в настоящий момент люди, если не будет изобретено радикальное средство продления жизни, вымрут к началу XXII века, равно как сейчас вымерли люди, жившие в XIX веке. Но мы не рассматриваем это как глобальную катастрофу, потому что сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего.

6. Стереотип восприятия катастроф, который сложился в результате работы СМИ

СМИ создают ложный образ глобальной катастрофы, что может оказывать подсознательное влияние на оценки. Опыт смотрения телевизионных репортажей о катастрофах выработал стереотип, что конец света нам покажут по CNN. Однако глобальная катастрофа затронет каждого, и смотреть репортажи будет некому. Равно как и показывать.

В СМИ регулярно имеет место непропорциональное освещение рисков. Например, интересно сравнить масштабы возможного ущерба от глобального потепления и мутации птичьего гриппа в опасный вирус. Не вдаваясь в дискуссии, скажу, что часто оказывается, что реальный ущерб непропорционален его информационному освещению. Поскольку человек склонен к бессознательному обучению, да и вообще количество утверждений, которые можно воспринять критически, ограниченно, эти идеи создают определённый информационный фон для любых рассуждений о глобальных рисках (наравне с кино и научной фантастикой).

7. Возможные ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила

А) Отвержение некоего сценария как фантастического – но и глобальная катастрофа не может быть чем-то иным, чем «фантастическим» событием.

Б) Ошибка, могущая возникнуть в связи с неосознаванием того факта, что никакие события невозможно опознать как глобальную катастрофы ни заранее, ни в процессе – а только апостериори. Возможно, никто не узнает, что это на самом деле была глобальная катастрофа. Катастрофа станет глобальной только после смерти последнего человека. (Однако в сценариях медленного вымирания люди могут это осознавать – или заблуждаться на этот счёт. Возможный пример подобного сценария описан в романе Нейджела Шюта «На берегу», где люди медленно вымирают от последствий радиоактивного загрязнения.)

В) Неприменимость логической операции «индукции» для рассуждений о глобальных катастрофах. Индукция как логический метод состоит в том, предположении, что если некое утверждение верно в моменты 1,2, 3 … N, то оно верно и при N+1 (или при всех N). Оно не обладает абсолютной логической достоверностью, но даёт хорошие результаты при очень больших N и гладких условиях. Например, все физические законы основаны на конечном количестве экспериментов, то есть возникли в результате индукции.

Индукция как логический метод имеет границы применимости. Она неприменима в ситуациях, когда будущее не похоже на прошлое. Иначе говоря, мы не можем, на основании того, что нечто было в прошлом всегда, сказать, что так оно будет и в будущем. Особенно опасно применение индукции в рассуждениях типа: раз этой катастрофы не было в прошлом, то её никогда не будет в будущем. (Однако индукция как логическая процедура применима в вопросах безопасности: с точки обеспечения безопасности трёхразовое периодическое повторение опасного события – очень значимо, тогда как с точки зрения доказательства истинности некой закономерности – нет.)

8. Когнитивное искажение, состоящее в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира»

При этом недооценивается опасность конкуренции между разными группами людей, защищающими разные модели спасения мира. В конце концов, каждая мировая религия занимается спасением всего человечества, а остальные ей только мешают. Так что борьба спасителей мира между собой может угрожать жизни на земле. Можно вспомнить анекдот советских времён: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется».

9. недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти

Людей не волнуют глобальные риски, потому что они и так привыкли к неизбежности своей личной смерти в ближайшие десятилетия и выработали устойчивые психологические механизмы защиты от этих мыслей. Наибольший срок реального планирования (а не умозрительных фантазий) можно определить по долгосрочным реальным инвестициям людей. Типичным отражением такого планирования является покупка дома в ипотеку, пенсионные накопления и воспитание детей – предельный срок этих проектов – 30 лет, за редким исключением, а обычно же меньше 20. Однако не факт, что такое планирование на самом деле эффективно; и люди в большинстве своём знают, что жизнь гораздо более непредсказуема. В любом случае, каждый человек имеет некий горизонт событий, и происходящее за пределами этого горизонта представляет для него чисто умозрительный интерес, – а ведь большинство людей считает, что глобальные риски отстоят от нас на многие десятилетия.

10. Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания

Часто обнаруживается, что есть множество мнений о какой-либо проблеме, которые выглядят в равной мере аргументировано. А.П.Чехов писал: «Если от болезни предлагается много средств, значит, она неизлечима». В силу этого исследователь глобальных рисков должен быть экспертом по правильному отбору и сопоставлению экспертных мнений. Поскольку это не всегда возможно, всегда есть вероятность неправильного выбора пула экспертов и неправильного понимания их результатов.

11. Ошибка, связанная с тем, что глобальным рискам как целому уделяют меньше внимания, чем рискам катастрофы отдельных объектов

Глобальные риски должны оцениваться по той же шкале, что и риски всех других составляющих цивилизацию объектов. Например, нет смысла закладывать в самолёт вероятность аварии один на миллион, если вся цивилизация с множеством самолётов имеет меньшую надёжность.

12. Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество

Идеи такого рода: «Человечеству стоит рискнуть на одну сотую процента ради этого нового необычайного результата» являются порочными, потому что так может рассуждать одновременно очень много исследователей и конструкторов, каждый из которых при этом завышает безопасность своего проекта, что в сумме может давать очень высокий риск.

13. Отсутствие ясного понимания того, к кому обращены указания на глобальные риски

Обращены ли они к гражданам, которые всё равно ничего сделать не могут, к гражданской ответственности учёных, существование которой ещё надо доказать, к правительствам крупных мировых держав или ООН, занятую своими делами, или к комиссиям и фондом, специально нацеленным на предотвращение глобальных рисков – чья способность влиять на ситуацию неизвестна. Удручает и отсутствие систематического досье на все риски – с которым все были бы согласны.

14. Особенность связи теоретического и практического в отношении глобальных рисков

Вопрос о глобальных рисках является теоретическим, поскольку такого события ещё не разу не происходило. И мы не хотим проверить ни одну возможность экспериментально. Более того, мы и не можем это сделать, потому что мы, исследователи, не переживём глобальной катастрофы. Однако мы должны принимать практические меры, чтобы этого не случилось. При этом мы можем наблюдать положительный результат: а именно, что некий риск не случился, но трудно установить причины, почему это не произошло. Невозможно сказать, почему не произошла термоядерная война – потому что она была невозможна, или потому что нам невероятно повезло, или это результат борьбы за мир.

15. Ошибочные модели поведения, связанные с эволюционно сложившимися особенностями человеческого поведения

Стратегия личного выживания, воспитанная в нас в ходе эволюции, подразумевает правило: тот, кто больше рискует, тот захватывает большую территорию, получает больший авторитет в стае, становится альфа-самцом и, в конце концов, оставляет, возможно, большее потомство. Те виды, которые готовы пожертвовать тысячами своих особей, направляя их во все возможные стороны, достигают того, что хоть одна особь попадёт на новые земли. Очевидно, что эта стратегия смертельна для человечества в целом. Даже если человечество будет рисковать собой на 1 процент в год, это означает почти гарантированное вымирание в течение столетия. Однако отдельные страны неоднократно рисковали своей судьбой, вступая в опасные конфликты.

16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему

В действительности, шанс погибнуть в глобальной катастрофе для молодого человека в текущих исторических условиях, возможно, выше, чем от других причин личной или групповой смертности. Многие факторы глобального риска уже созрели, а другие могут оказаться более зрелыми, чем нам об этом известно (передовые био- и ИИ- исследования).

17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти

Оно возникает из ошибочного представления о том, что в случае глобальной катастрофы гибель обязательно будет лёгкая и безболезненная, как будто выключили свет. Но в реальности, наоборот, она может быть мучительна и морально (осознание своей вины и столкновение со смертью близких), и физически. Например, длительное, но неизбежное вымирание от радиоактивного заражения.

18. Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию

Даже когда члены правлений компаний, принимающих критически опасные решения, высказывались против – их не слушали. (Перед катастрофой Челленджера был человек, который возражал против запуска, понимая его опасность.) Тем более не стоит ожидать, что эти люди прислушаются или хотя бы будут читать высказывания тех, кто находится за пределами их тусовки. (Можно вспомнить уместный здесь закон Мерфи: «Что бы ни случилось, всегда найдётся человек, который скажет, что он так и знал, что это произойдёт».)

19. Ошибочность мнения о том, что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно

Наоборот, циркуляция определённых идей в обществе, а именно о том, что глобальные риски возможны и следует прилагать усилия для их предотвращения, может создать некий фон, который косвенно повлияет на те или иные механизмы принятия решений. Кроме того, уже сейчас мы подходим вплотную к тому рубежу, когда риски зависят от наших конкретных решений и действий.

20. Гордыня исследователя

Занятия анализом глобальных рисков может вызвать у человека ощущение, что он делает самое важное дело во вселенной, а потому является сверхценной личностью. Это может привести в определённых обстоятельствах к тому, что он будет более глухим к новой поступающей информации. Окружающие люди легко будут считывать это состояние личности исследователя, что будет компрометировать тему, которой он занимается. Также не следует забывать закон Паркинсона о том, что каждый человек стремится достичь уровня своей некомпетентности. Глобальный уровень является наивысшим для всех областей знаний. Защита от этого – относится к глобальным рискам нейтрально, также как к препарированию лягушек.

21. Интуиция как источник ошибок в мышлении о глобальных рисках

Поскольку глобальные риски относятся к событиям, которые никогда не случались, они контринтуитивны. Интуиция может быть полезна для рождения новых гипотез, но не как способ предпочтения и доказательства. Вера в силу своей интуиции ещё больше способствует ослеплению своими откровениями. Кроме того, интуиция, как проявление бессознательного, может находиться под воздействием неосознаваемых предубеждений, например, скрытого нежелания видеть разрушения и гибель – или наоборот, потребности видеть их там, где их нет.

22. Научное исследование глобальных рисков также сталкивается с рядом проблем

Эксперимент не является способом установления истины о глобальных рисках, ибо экспериментальная проверка – это именно то, чего мы хотим избежать. В связи с невозможностью эксперимента невозможно объективно измерить, какие ошибки влияют на оценку глобальных рисков. Не может быть статистики по глобальным рискам. Фундаментальная концепция «опровержимости» также неприменима к теориям о глобальных рисках.

23. Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска

Только в случае глобальных рисков начинают действовать такие парадоксальные логические рассуждения, как «Теорема о Конце света» (Doomsday Argument), а также эффекты наблюдательной селекции, однако большинству людей они неизвестны, а значительная доля исследователей их отвергает. 

24. Методы, применимые к управлению экономическими и прочими рисками, не применимы к глобальным рискам

Их нельзя застраховать, на них невозможно ставить пари: некому и нечего будет выплачивать в случае страхового случая. И даже малейшая их вероятность неприемлема. Поэтому же некому оплачивать их исследований. Если же эти исследования проводятся в рамках одной страны или культуры, в них может наблюдаться сдвиг от вопросов общечеловеческого выживания к проблемам национальной безопасности для этой общности.

25. Трудности в определении понятия глобального риска в связи с нечёткостью его объекта

Нечёткость относится как к тому, как проводить границы человечества, так и к тому, что именно считать «необратимым повреждением его потенциала». «Пограничный вопрос» касается обезьян-приматов, неродившихся детей, коматозников, преступников, неандертальцев, разумных искусственных интеллектов и других возможных крайних случаев. Важно помнить историческую изменчивость этих границ – ещё в пару сотен лет назад дикаря или раба не считали за человека даже образованные люди, а теперь считают китов и дельфином как разумных существ. Было ли истребление неандертальцев с их точки зрения гибелью человечества? Согласны ли мы, чтобы нас заменили разумные роботы? Не лучше ли смерть насильственного зомбирования во враждебную религию? Дело даже не в самих этих вопросах, а в том, что ответ на них зависит от человеческого произвола, что приводит к тому, что одни группы людей буду считать «глобальной катастрофой» то, что другие будут готовы приветствовать. Это создаёт возможности для опасной конфронтации.

26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока люди замкнуты на Земле, и переселение в космос автоматически снимет проблему

Однако масштаб сил и энергий, которыми овладевают люди на Земле, растёт быстрее, чем темпы космической экспансии. Грубо говоря, это означает, что когда люди заселят Солнечную систему, они будут обладать оружием, способным многократно уничтожить её. Если глобальная катастрофа будет сопровождаться вооружённой борьбой на какой-то фазе, то её объектами легко станут космические поселения. Только разогнав космический корабль до такой скорости, на которой его невозможно догнать, можно рассчитывать на спасение беглецов. Однако если причины кризиса коренятся в самой человеческой природе, бегство бесполезно – люди будут создавать опасные виды оружия и на кораблях, и на космических колониях. Наконец, информационная зараза, вроде компьютерных вирусов или атаки ИИ, может передаваться со скоростью света.

27. Психологическая особенность восприятия рисков человеком, называемая «пренебрежение масштабом»

Спасение жизни одного ребёнка, миллиона человек, миллиарда или ста миллиардов вызывает почти одинаковое побуждение действовать, в том числе выражаемое в готовности потратить деньги[v]. В результате большая часть денег и внимания уходит на проекты, защищающие меньшую часть жизней.

28. Преувеличение прогностической ценности экстраполяции

Потенциальная ошибочность надежды на то, что «кривая (то есть график роста) вывезет». Для некоторых людей стал религией закон Мура об удвоении числа транзисторов на процессоре каждые два года. Увы, весь опыт футурологии говорит о том, что экстраполяция кривых годится только для краткосрочных прогнозов. В более прикладной футурологии, которой является биржевая аналитика, наработан огромный аппарат анализа поведения кривых, многократно превосходящий линейную экстраполяцию, как если бы эти кривые были самостоятельными живыми организмами. В частности, развито понимание того, что быстрый рост кривой может означать близкий разворот тенденции, «отскок» или «свечу». Тем не менее, даже биржевая аналитика кривых не даёт высокоточных результатов без привлечения «фундамента» – анализа реальной экономики. Особенно за счёт эффекта обратной связи между предсказаниями и самими будущими событиями. Количество ошибок в футурологии, основанных на экстраполяции кривых, огромно. Начиная с того, что уровень навоза в Лондоне сделает движение по городу невозможным[vi], и вплоть до прогнозов освоения Марса к концу XX века на заре успехов космонавтики. В отношении глобальных рисков есть определённые ожидания, что прогресс в области техники сам собой приведёт нас в «золотой век», где глобальных рисков не будет. Действительно, есть надежды, что будущие технологии искусственного интеллекта станут основной гораздо более быстрого и эффективного решения проблем. Однако если технический прогресс застопорится, глобальные риски не исчезнут.

29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света

А.П.Назаретян[vii]  описывает базовую потребность людей в сильных эмоциях и экстремальных ощущениях, которая побуждает их нарушать скоростной режим движения машин, вести войны, заводить любовниц, короче, находить приключения. И нельзя недооценивать скуку. (Типичный пример тому – то, что можно было бы ограничить число автомобильных аварий, введя физическое ограничение скорости машин да 50 км/час, но большинство водителей бы на это не согласилось.) При этом люди всегда «рационализируют» эти свои иррациональные потребности, объясняя якобы реальными причинами.

30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска

С детства выученные представления о поражающих факторах ядерного оружия, существенно отличаются от факторов принятия решения о его применении – и всем эта разница очевидна. В сфере глобальных рисков супервирусы и ИИ перечисляются через запятую. Но вирус убивает непосредственно, а Ии сам по себе не может причинить вреда – он может только управлять разными видами оружия.

Пример из жизни: ситуация, когда человек погиб на войне, и ситуация, когда его застрелили. Эти два множества пересекаются только частично. Если человек погиб на войне, это означает много возможных причин его смерти, а не только то, что его застрелили. И наоборот, если человек погиб от огнестрельного оружия, это не означает, что он погиб на войне: это может быть и бытовая ссора, и самоубийство, и несчастный случай на охоте. Ясно, что война и выстрел – относятся к двум разным классам причин смерти: опасных ситуаций и непосредственных причин. Однако в отношении глобальных рисков такое разделение проводится более смутно, и упор делается в основном на непосредственные причины, а не на ситуации их возникновения.

31. «Шок будущего»: когнитивные искажения, связанные с разными горизонтами возможного будущего в представлении разных людей

Выделяют пять уровней «Шока будущего». Само понятие введено футурологом Э.Тоффлером. Эти уровни описывают не реальные границы возможного, которые нам пока неизвестны, а психологические границы восприятия, разные у разных людей. Каждому уровню возможного будущего соответствуют свои глобальные риски – и способы им противостояния. При этом все эти варианты будущего относятся их сторонниками к XXI веку. Те, кто продвинулся очень далеко в оценке шоков будущего, могут недооценивать традиционные опасности. Есть следующая классификация шоков будущего:

Шок 0-ого уровня – уровень обычных технологий, используемых сейчас в быту. (Уровни катастрофы: ядерная война, исчерпание ресурсов.)

Шок 1-ого уровня – уровень технологий, предлагающихся в продвинутых журналах и на компьютерных выставках. (Биологическая война и применение боевых роботов.)

Шок 2-его уровня – технологии, описываемые к классической научной фантастике середины ХХ века. (Отклонение астероидов в сторону Земли, вторжение инопланетян)

Шок 3-его уровня – сверхтехнологии, которые появились на горизонте только в конце ХХ века: нанотехнологии (умная пыль), ИИ, равный человеку, загрузка сознания в компьютер, полная перестройка человеческого тела. (Катастрофы: серая слизь, сверхчеловеческий ИИ, перерабатывающий всё земное вещество в роботов, супервирусы, изменяющие поведение людей)

Шок 4-ого уровня – концепция о «Сингулярности» – гипотетическом моменте в будущем, связанным с бесконечным ускорением человеческого прогресса, неким качественным переходом и сменой модели развития (риски: непредсказуемы). См. главу «технологическая сингулярность».

Риски ошибки, связанные с шоком будущего, состоят в том, что каждый человек, моделирующий будущее, имеет разный горизонт возможного и невозможного, определяемый скорее его психологическим комфортом, чем точными знаниями. Чем старше человек, тем труднее ему принять новое. Наоборот, возможна и ситуация «ослепления будущим», когда угрозы невероятных катастроф затмят в глазах человека обычные риски. При этом свои риски глобальной катастрофы имеются на каждом уровне.

Катастрофа в виде ядерной войны понятнее, чем псевдодружественный ИИ.

32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной

Обычно о глобальных катастрофах думают, как об однократном массовом вымирании, вызванном или вирусом, или падением астероида, или ядерной войной. Однако существуют способы самоорганизации опасных возможностей, которые создают системный эффект. Например, система, ослабленная одним событием, может быть легко повержена другим. Или, например, две медленно текущие болезни, соединяясь, могут вызвать быстротекущую – как, например, СПИД и туберкулёз у человека. Возможны разные сценарии конвергенции, например, нанотехнологии упростят создание ядерных бомб, ИИ упростит создание нанотехнологий, а нанотехнологии позволит узнать тайны мозга, что приблизит создание ИИ. Конвергенция рисков происходит параллельно с конвергенцией ключевых современных технологий, называемых NBIC (nano-bio-info-cogno), то есть нанотехнологий, биотехнологий, систем искусственного интеллекта и науки о мышлении и мозге.

33. Недооценка системных факторов глобального риска

Системные факторы – это не отдельные события, вроде внезапного появления супервируса, а некие свойства, которые относятся ко всей системе. Например, противоречие между природой современной цивилизации, основанной на непрерывной экспансии, и конечностью любых ресурсов. Это противоречие не локализовано в каком-то одном месте, и не зависит ни от одного конкретного ресурса или организации. Реальны  самовоспроизводящиеся кризисные ситуации, которые в каждый момент времени вовлекают в себя всё большое число участников сообщества, но не зависят от поведения ни одного из них и не имеют центра.

34. Призыва типа: «Мы все должны бороться за мир»

Если слишком много людей и организаций будут прилагать разнообразные нескоординированные усилия в борьбе за спасение планеты, то в лучшем случае возникнет ситуация, описываемая известным выражением «лебедь, рак и щука».

35. Недооценка предкризисных событий как элементов наступающей глобальной катастрофы

Если в результате некоторых событий вероятность глобальной катастрофы возросла (иначе говоря, выросла уязвимость человечества к катастрофе), то это событие само может рассматриваться как часть глобальной катастрофы. Например, если в результате ядерной войны выживут отдельные группы людей, то они – немногочисленные и лишённые технологий - окажутся гораздо уязвимее к любым другим факторам риска. Это поднимает значение тех факторов, которые обычно обозначаются как «глобальные риски». Например, падение астероида, размером с Апофис (Apophis 99942, пролёт Земли в 2029 году, диаметр около 400 м.) само по себе не может истребить человечество, так как взрыв составит только порядка 800 мегатонн, что сопоставимо с взрывом вулкана Санторин в древней Греции, погубившем остров Крит, и только в 4 раза сильнее взрыва вулкана Кракатау в 1883 году, оцениваемому в 200 мегатонн тротилового эквивалента. Однако поскольку связность современной цивилизации значительно возросла, возросла и роль отдалённых – экономических и структурных последствий – разных катастроф. Огромная волна-цунами от падения Апофиса могла бы привести бы к прекращению торговли в тихоокеанском регионе и всеобщему экономическому кризису, чреватому переходом к военному – с соответствующим нарастанием необратимых последствий.

36. Когнитивное искажение, основанное на идее: «Это слишком плохо, чтобы быть правдой»

Человеку свойственно мысленно защищаться от самых негативных сценариев, приписывая им меньшую вероятность или вообще отказываясь о них думать. Например, нетрудно представить себе какой-то автомобиль разбитым, но труднее представить будущие обломки своего автомобиля. Иначе говоря, вместо того, чтобы избегать некого события, человек избегает мыслей об  этом событии. Очевидно, что глобальная катастрофа, уничтожающая всё, что нам ценно, в наибольшей мере соответствует определению «слишком плохого». Глобальная катастрофа хуже, чем смерть, потому что включает её в себя.

37. Когнитивное искажение, основанное на идее: «Это слишком невероятно, чтобы быть правдой»

Мы имеем много исторических примеров того, как нечто, что было «невероятным», вдруг стало возможным, а потом и обыденным (самолёты, атомные бомбы, интернет). Более того, стало смертельно опасным. Надо отделять «невероятное» от физически невозможного, но даже и последнее в будущем может оказаться возможным.

38. Идеи о торможении создания и распространения новых технологий как способе противостояния глобальным рискам

Эта идея кажется привлекательной, так как обещают видимый результат в краткосрочной перспективе в определённом месте. Но любая группа стран, которая продвигает эту идею, в конечном счёте, проиграет другой группе, которая тайно или явно продолжает развивать опасную, но эффективную технологию.

39. представления о том, что человеческая адаптируемость высока и продолжает неограниченно расти благодаря новым технологиям

Это верно, однако опасность состоит в том, что средства разрушения, доступные людям, совершенствуются быстрее, чем средства защиты.

40. Неспособность системы смоделировать саму себя

Хотя мы не можем исследовать глобальные катастрофы экспериментально, мы можем рассчитывать, что, благодаря успехам компьютерного моделирования, мы сможем просчитать некоторые модели в виртуальном пространстве. Однако эта возможность ограничена рядом обстоятельств. Во-первых, мы всё равно не учтём неизвестные нам факторы – например, расположение опасных комет или особенности физических законов. Во-вторых, такая модель не может быть полна, так как она не включает в себя моделирование того, что мы осуществляем акт моделирования. Иначе бы получилась бесконечно большая модель, как в случае отражения двух зеркал друг напротив друга. Это является следствием математического принципа: множество не может содержать, в качестве элемента, самого себя. То есть одно дело – прогноз будущего, а другое – прогноз его с учётом влияния, которое окажет данный прогноз. Только модель с определённым огрублением может быть рассчитана. Если мы исследуем будущее поведение системы с искусственным интеллектом, то это не работает, так как модель также должна содержать ИИ. В-третьих, наши данные о мире и принципы моделирования должны быть абсолютно точны, что тоже трудно достижимо. Мы не можем выбрать правильную модель, не проведя эксперимент. Чтобы предсказать возможность глобального потепления, нам нужна правильная модель. Чтобы узнать, какая именно модель правильная, нам нужен эксперимент. И этот эксперимент будет надёжным, только если в ходе него произойдёт глобальное потепление, иначе это будет только интерпретация, то есть ещё одна модель.

41. Неспособность человека представить свою собственную смерть

Неспособность людей представить свою собственную смерть ведёт к недооценке ситуаций, в которых она может произойти, поскольку и сами ситуации непредставимы – или представимы только с точки зрения внешнего наблюдателя, который выжил. Человек не может представить «ничто», которое будет, в соответствии с атеистическими концепциями, после смерти. На это накладывается нежелание признавать свою собственную смертность. Поэтому ему легче представлять глобальную катастрофу с точки зрения выжившего, что соответственно, делает её не глобальной.

42. Подход к жизни в духе: «После нас хоть потоп»

В этой модели мышления ожидаемый полезный результат должен быть получен в некий короткий промежуток времени в будущем. Самым ярким примером является ситуация, описанная в приведённой пословице, где граница полезности совпадает с ожидаемой продолжительностью жизни. Однако часто бывает, что она даже ниже её! Например, для автогонщика или наркомана вся ожидаемая полезность должна быть получена сегодня вечером, а что будет дальше - не важно. У нормальных людей ожидаемая полезность распространяется на детей и внуков, что закреплено эволюционно, но на прапрапраправнуков она не распространяется. Таким образом, существует определённый психологический горизонт полезности, события после которого человека уже не волнуют – во всяком случае, настолько, чтобы он был готов совершать ради них какие-то траты. Конечно, это оправдывается тем, что «они сами там со всем разберутся».

Более того, мысль о том, что «я умру не один, а вместе со мной умрёт всё человечество» может быть более привлекательна, чем мысль, что «я умру, а другие останутся наслаждаться жизнью». Отчасти поэтому некоторые больные СПИДом нарочно стараются заразить как можно больше людей.

43. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели

Подобная позиция подразумевает, что можно рискнуть выживанием человечества ради некоторых других целей. Ник Бостром определяет эту позицию через принцип Максипока: «Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной смертельной катастрофы».

44. Религиозные мировоззрения и эсхатологические культы

Изучению проблем глобальных рисков мешает то, что эта территория испокон веков закреплена за религией. Поэтому за любыми дискуссиями на эту тему тянется шлейф ненаучности. Ключевое отличие эсхатологических культов – концентрация на дате события – и «откровение» или пророчество как способ её обнаружения. (В духе распространённого поверия о том, что календарь Майя, и мир вместе с ним, заканчиваются в 2012 году.) Такие культы часто носят социально деструктивный характер, побуждая людей отказаться от жизни в «обречённом» обществе, и поэтому вызывают враждебность в обществе. (В 2007 году внимание СМИ привлекла группа сектантов, закрывшихся в пещере в ожидании конца света в Пензенской области.) Наоборот, для научного анализа «дата конца света» не принципиальна, а важны вероятности и механизмы рисков.

45. Неопределённость значений новых терминов

Описывая угрозы глобальной катастрофы, мы пользуемся терминами, значения которых пока ещё не имеют однозначной интерпретации, хотя бы в силу того, что они описывают ещё не случившиеся события и не созданные технологии. Совместное использование нескольких таких терминов увеличивает «люфт» возможных значений и приводит к непониманию. Если бы мы знали, что такое «искусственный интеллект», мы бы уже могли его создать. Это создаёт принципиальную неопределённость в значении этого термина до того, как ИИ будет создан.

Глава 3. как когнитивные искажения, могущие касаться любых рисков, влияют на оценку глобальных рисков

1. Основной причиной человеческих ошибок является сверхуверенность

Сверхуверенность означает повышенную убеждённость в правильности своей картины миры и неспособность её существенно изменить при поступлении новой информации. Иначе говоря, сверхуверенность означает неспособность человека предположить, что он в настоящий момент ошибается. Поэтому в каком-то смысле сверхуверенность относится к ошибкам о природе ошибок. Сверхуверенность закреплена несколькими психологическими механизмами, и вероятно, имела эволюционное значение. Поэтому обнаружить её в себе и искоренить её очень трудно. Человек, демонстрирующий большую уверенность, может претендовать на большую власть в обществе. И, вероятно, само устройства человеческого мышления противоречит идее рассмотрения множества равновероятных будущ: гораздо привычнее думать о том, что нечто или есть, или его нет. Само слово «будущее» употребляется в единственном числе, как будто оно одно. Наконец, однажды сделанный выбор в сторону одной интерпретации становится фильтром, который подбирает информацию так, чтобы она подтверждала эту идею.

2. Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых

Медленные процессы удобнее анализировать, и по ним накоплено больше данных. Однако системы легче адаптируются к медленным изменениям и гибнут часто от быстрых. Катастрофы опаснее угасания. При этом медленное угасание делает систему уязвимой к быстрым катастрофам. Разработка новых технологий – нано, био, ИИ, когнитивные науки – относится к быстрым процессам. Их стремительное развитие затмевает любые процессы, которые будут проявлять себя после 2030 года. Однако это не значит, что надо совсем отказаться от анализа медленных вековых изменений.

3. Возрастные особенности восприятия глобальных рисков

Молодёжь склонна недооценивать глобальные риски, поскольку они в большей мере биологически нацелены на завоевание новых пространств, а не на безопасность. Более пожилые люди склонны придавать достаточно большое значение безопасности, но им труднее принять возможность принципиально новых технологий.

4. Споры не рождают истину о глобальных рисках

Дискуссии между людьми обычно приводят к поляризации мнений. Человек, который имел в начале две гипотезы, которым приписывал равные вероятности, редуцирует свою позицию до одной гипотезы, противоположной гипотезе оппонента. Таким образом, он сужает своё представление о возможном будущем. Подробнее см. статью Юдковски об оценке рисков.

5. Навык ведения споров вреден

Как я уже говорил в предисловии, Юдковски подчёркивает, что навык ведения споров вреден, так как позволяет переспорить любого оппонента, не вникая по существу в его позицию. Особенно опасно применение всего данного списка когнитивных искажений для того, чтобы обвинять в них оппонента. Это может привести к интеллектуальной слепоте.

6. Желание смерти

Фрейд высказал идею о Танатосе, стремлении к смерти, которое есть у каждого. Подобные идеи высказывались и другими учёными. Это желание может неосознанно влиять на человека, заставляя его недооценивать или переоценивать риски или стремиться к ним. Можно предположить, что любой, кто отвергает идею жить 1000 лет, испытывает определённое стремление к смерти. Это может бессознательно подталкивать человека выбрать стратегии, ведущие к глобальным рискам.

7. Консервативность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения

Ч. Докинз, автор книги «Эгоистичный ген», рассматривает каждую отдельную идею, циркулирующую в обществе, в качестве репликатора, способный к разной скорости самораспространения и называет такие объекты мемам (meme). Чтобы защитится от них, человеческое сознание вынуждено вырабатывать своеобразную «иммунную систему», одним из наиболее эффективных вариантов которой является система «отбрасывай всё новое». История полна примерами того, как очевидно полезные новые идеи отвергались без видимых причин в течение длительного периода. Например, от предложения использовать закись азота для анестезии в хирургии в конце XVIII века до начала реального применения в 1840-е годы прошло почти 50 лет, то же самое касается и правила мыть руки перед операциями. Однако в наш век перемен нужно очень гибкое и свободное мышление, чтобы учесть и принять всерьёз все варианты глобальных рисков.

8. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности

Есть два вида рассуждений – доказательства безопасности некой системы и доказательства опасности её. Эти рассуждения неравноценны логически – в первом случае речь идёт обо всех возможных случаях, тогда как во втором – хотя бы об одном случае. Чтобы опровергнуть всеобщее утверждение, достаточно одного контрпримера. Однако опровержение одного контрпримера не почти не прибавляет истинности всеобщему утверждению.

Например: для того, чтобы доказать опасность некоего самолёта, достаточно указать на то, что в некоторых экспериментах материал обшивки проявил склонность к эффекту «усталости металла». Однако для того, чтобы доказать безопасность самолёта, совершенно недостаточно обнаружить некорректность в проведении этих экспериментов по измерению усталости металла. Вместо этого необходимо доказать, что выбранный материал действительно выдержит данный режим нагрузок.

Иначе говоря, если направить все интеллектуальные усилия на опровержение различных катастрофических сценариев, не уделяя равного внимания их возможностям и ошибкам в системе безопасности, – то суммарная безопасность системы понизится. Все перечисленные правила должны применяться для поиска ошибок в рассуждениях о том, что некая катастрофа невозможна, - тогда это способствует безопасности. В проектах сложных технических систем всегда есть «технические обоснования безопасности», где описывается «максимальная проектная авария» и способы её локализации.  Реальным доказательством безопасности является строгое доказательством того, что нечто не может случиться ни при каких обстоятельствах плюс – практический опыт использования данного устройства во всех возможных режимах в течение длительного времени.

С точки зрения науки мы должны доказывать, существование объекта, а с точки зрения безопасности ­­– доказывать, что нечто не существует. Обязанность доказательства безопасности лежит на конструкторах самолёта, а не на пассажирах. Поэтому требование разработчиков к посторонним экспертам: «докажите, что данный риск реален» - наносит ущерб общей безопасности.

9. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе

Потому что каждая система стремится к самосохранению, а разговоры об опасности новых технологий могут привести к закрытию новых проектов. Например, сайт «Коммерческая биотехнология»[viii] перепечатывает в основном те статьи, которые опровергают угрозы биотерроризма, хотя потом сам же печатает на них опровержения. Или то же самое в случае с реакторами. Сторонники АЭС будут тратить свои усилия не на поиск уязвимостей в безопасности станций, а на споры с экологами и попытки доказать, что существующая конструкция безопасна, – это может доходить до попыток заткнуть оппонентов.

10. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться

Наиболее серьёзные проблемы возникают внезапно. Чем серьёзнее проблема, тем больше её энергия и – возможно – быстрее темп её развития. И тем труднее к ней готовиться. Глобальные катастрофы – это мощные проблемы. поэтому они могут развиваться слишком быстро, чтобы к ним успеть подготовиться в процессе. Кроме того, у нас нет опыта, который позволил бы определить предвестников глобальной катастрофы заранее. Например, несчастные случаи развиваются внезапно.

11. Конкретные риски воспринимаются как более опасные, чем описанные в общих словах

Например, "мятеж на ядерной подводной лодке" выглядит более устрашающе, чем "крупная морская катастрофа". Юдковски пишет: «С точки зрения теории вероятностей, добавление дополнительной детали к истории делает её менее вероятной… Но с точки зрения человеческой психологии добавление каждой новой детали делает историю всё более достоверной»[ix]. 

12. Представления о том, что мышление о глобальных рисках – пессимистично

Это приводит к тому, что людей, думающих о «конце света», осуждают – а значит, и отрицают их идеи. Но по минному полю надо идти осознано: танцевать на нём с закрытыми глазами – это не оптимизм.

13. «Теории заговора» как препятствие для научного анализа глобальных рисков

Циркулирующие в обществе разнообразные «теории заговоров» (вроде новой хронологии Фоменко) набили оскомину. Тем более что большинство, если не все из них, ложно, а их предсказания почти никогда не сбываются. Часто «теории заговоров» тоже предсказывают некие риски. Но они структурно отличаются от научного анализа рисков. Теория заговора обычно утверждает, что человечеству угрожает только один риск, и этот риск реализуется конкретным образом в конкретный момент времени: Например, «доллар рухнет осенью 2007». Как правило, автор также знает рецепт, как с этим риском бороться. Тогда как правильнее утверждать, что человечеству угрожает каскадная реакция из нескольких рисков, и мы не знаем, когда и что случится.

Чем хуже мы прогнозируем будущее, тем оно опаснее. Главная опасность будущего – его непредсказуемость. «Теории заговора» вредны для предсказания будущего, так как сужают представление о множестве будущих возможностей. при этом они предполагают сверхуверенность в собственных прогностических способностях. Хорошее предсказание будущего не предсказывает конкретные факты, а описывает пространство возможных сценариев. И на основании этого знания можно выделить узловые точки этого пространства и защитить их.

Более того, такие "предсказания" подрывают доверие к здравым идеям, лежащим в их основе, например, о том, что крупный теракт может ослабить доллар и вызвать цепную реакцию обвала. и что Бен Ладен это тоже понимает, и на это, возможно, рассчитывает. «Теории заговора» всегда подразумевают, что есть некие ОНИ, которые с нами что-то делают, скрывают и т. д. Это подрывает осознание своей ответственности за происходящее в мире, и что не менее важно, отвергает роль случайности, как важного фактора катастрофического процесса. Кроме того, «теории заговора» неспособны стыковаться друг с другом, формулируя пространство возможностей. И ни одна теория заговора не признаёт себя в качестве таковой. Эти теории распространяются в обществе как мемы, самокопирующиеся информационные единицы.

Вместе с тем из того, что сам принцип теории заговоров скомпрометирован и большинство из них ложно, не следует, что некоторые из таких теорий, тем не менее, не могут оказаться правдой. «Даже если вы не можете поймать чёрного кота в чёрной комнате – это ещё не значит, что его там нет».

14. Ошибки, связанные с путаницей краткосрочных, среднесрочных и долгосрочных прогнозов

Краткосрочный прогноз учитывает текущее состояние системы, к таковым относится большинство обсуждений на тему политики. Среднесрочный учитывает возможности системы и текущие тенденции. Долгосрочный учитывает только развитие возможностей. Поясню это следующим примером:

Допустим, у нас есть корабль с порохом, по которому ходят матросы и курят махорку. Краткосрочно можно рассуждать так: одни матросы стоят высоко на рее, а другие спят, поэтому сегодня взрыва не будет. Но в среднесрочной перспективе важно только количество пороха и количество курящих матросов, которые определяют вероятность взрыва, потому что рано или поздно какой-нибудь курящий матрос окажется в неправильном месте. А в дальнесрочной перспективе в счёт идёт только количество пороха, а уж огонь как-нибудь да найдётся. Точно так же и с угрозой ядерной войны. Когда мы обсуждаем её вероятность в ближайшие два месяца, для нас имеет значение конкретное поведение мировых держав. Когда мы говорим о ближайших пяти годах, в счёт идёт количество ядерных держав и ракет. Когда мы говорим о перспективе на десятки лет, в счёт идёт только количество наработанного плутония.

При этом в разных областях знания временной масштаб краткосрочности прогноза может различаться. Например, в области угледобычи 25 лет – это краткосрочный прогноз. А в области производства микропроцессоров – 1 год.

15. Особенности человеческой эмоции страха

Способность человека бояться включается в ответ на конкретный стимул в конкретной ситуации. Наша эмоция страха не предназначена для оценки отдалённых рисков. Это выражено в русской пословице: «Пока гром не грянет, мужик не перекрестится». С другой стороны, страх может подавлять мысли о возможных опасностях. Например, когда человек отказывается сдавать анализы, потому что боится, что у него что-то найдут.

В отношении глобальных катастроф получается замкнутый круг: для того, чтобы вероятность некой надвигающейся глобальной катастрофы стала общепризнанной – должен грянуть «гром» – то есть должно произойти некое событие, однозначно её определяющее, и, возможно, делающей её практически неизбежной.  

16. Недооценка значения удалённых событий (discount rate)

Естественным свойством человека является то, что он придаёт меньшее значение событиям, удалённым в пространстве и отдаленным во времени. Например, случившееся в древности наводнение, погубившее миллион человек, будет эквивалентно по значимости современной катастрофе с тысячью жертв в отдалённой стране или пожару в соседнем доме с несколькими жертвами. Это известно как «discount rate» – «уровень скидки»[x]. Эта скидка действует в отношении оценка полезности и риска будущих событий. При этом она имеет как рациональный, так и иррациональный характер. Рациональный уровень скидки – это скидка, который делает экономический субъект, предпочитая получить, скажем, 100 долларов сегодня, а не 105 через год, – и этот скидка есть медленно убывающая функция от времени. Наоборот, эмоциональная оценка ситуации включает очень быстро убывающий уровень скидки, который убывает гиперболически во времени. Это приводит к тому, что глобальная катастрофа, отстоящая на годы от настоящего момента, приобретает почти нулевой вес.

17. Сознательное нежелание знать неприятные факты

Это проявляется в ситуации, когда человек откладывает поход к врачу, чтобы не знать неприятный диагноз. Хотя это уменьшает его шансы выжить в отдалённом будущем, зато он выигрывает в спокойном ближайшем будущем – то есть здесь тоже проявляется уровень скидки.

18. Эффект смещения внимания.

Чем больше некий человек уделяет внимания одной возможной причине глобальной катастрофы, тем меньше он уделяет другим, и в результате его знания приобретают определённый сдвиг в сторону его специализации. Поэтому переоценка какого-то одного глобального риска ведёт к недооценке других и также вредна.

19. Интернет как источник возможных ошибок

Интернет, как подчёркивает сэр Мартин Рис[xi], позволяет создать газету «я  сегодня», путём отбора только тех сайтов, которые поддерживают исходную точку зрения субъекта, который затем укрепляет себя в выбранной позиции, постоянно читая только своих единомышленников. Не говоря о том, что в Интернете низкий уровень достоверности информации, поскольку значительная часть хорошей достоверной информации находится в платных изданиях, например, статьи в Nature по 30 долларов за статью, а любой человек может свободно выложить свои тексты в сети, создавая высокий информационный шум. При этом более сенсационные материалы распространяются быстрее, чем менее сенсационные. Иначе говоря, если раньше печатная продукция способствовала более быстрому распространению более качественных текстов, то теперь Интернет способствует более быстрому распространению менее качественных, но более назойливых в своей рекламе источников. С другой стороны, интернет ускоряет доступ к информации и ускоряет её поиск.

20. Верования

Трудно отрефлексировать свои верования, так как они воспринимается как достоверное знание или как неподсудный императив, но легко заметить, как те или иные суеверия влияют на оценку рисков другими людьми. Например, высокая аварийность в Турции связана, в частности, с принципом «иншала» – на всё воля Аллаха: поскольку судьбы всех людей уже записаны в книге у Аллаха, то не важно, что ты делаешь – день твоей смерти уже назначен. Поэтому можно как угодно рисковать. Сэр Мартин Рис пишет[xii], что в администрации Рейгана за окружающую среду отвечал религиозный фундаменталист Джеймс Уатт, который верил, что Апокалипсис наступит раньше, чем исчерпаются запасы нефти, погибнут леса и наступит глобальное потепление, так что расточать ресурсы – это почти что наша обязанность. Многие верования могут носить более тонкий, околонаучный или «научный» характер, как вера в правоту или неправоту Эйнштейна, опасность или безопасность того или иного риска и т. д. Верования не подразумевают возможность фальсификации. Чтобы  выявить верование полезно задаться вопросом: «Какое бы событие или рассуждение заставило бы меня изменить мою точку зрения на этот вопрос?»

21. Врождённые страхи

У многих людей есть врождённые страхи – змей, высоты, воды, болезней. Не трудно предположить, что они будут переоценивать события, напоминающие эти страхи, и недооценивать те, которые на них непохожи. На оценку рисков может влиять и посттравматический синдром, когда некий сильный испуг запомнился и теперь все похожие вещи пугают. Наоборот, сильные желания могут подавлять страхи, в духе поговорки: «Если нельзя, но очень хочется, то можно». Например, человек с врождённой брезгливостью может переоценивать риск биологической войны и недооценивать риски падения астероида, а, наоборот, человек, переживший автокатастрофу, будет преувеличивать риски падения астероида, и недооценивать биологические риски.

22. Ошибка, проистекающая из-за борьбы не с самим источником риска, а с сообщениями о риске

Недовольство переносится не на сам источник риска, а на человека, который о ней сообщил, в духе восточного правила: «Убить гонца, принёсшего плохую весть». Я неоднократно сталкивался с жёсткой критикой, направленной на мои «личные недостатки», и обвинениями в «паранойе», когда предлагал обсудить те или иные риски.

23. Трудность в определении границ собственного знания

Я не знаю того, чего я не знаю. Это создаёт ощущение того, что я знаю всё, потому что я знаю всё, что я знаю. То есть создаёт ложное ощущение всеведения, ведущее к интеллектуальной слепоте и нежеланию принять новые сведения. А.Камю: «Гений – это ум, осознавший свои пределы»[xiii]. Но пока мы полностью не познаем мир, мы не можем исчерпать список глобальных рисков.

24. Юмор как фактор возможных ошибок

Шутка даёт право человеку законно говорить неправду. Соответственно, это создаёт ожидание у тех, кто слышит неожиданную новость, что это шутка. Например,  охранник посольства в Кении позвонил напарнику и сообщил, что к воротам подъехали террористы с пистолетом; тот не поверил и выключил связь; бомба взорвалась. Поскольку мы не знаем, в какой форме к нам может придти глобальная угроза, мы можем воспринять сообщение о ней, как шутку. Можно вспомнить и шутку Рейгана о том, что ядерная атака на СССР начнётся через 5 минут, которую он сказал для проверки микрофона перед выступлением, что привело к приведению Советской армии в боевую готовность[xiv].

25. Паника

Гипертрофированная реакция на стресс приводит к ошибочным и опасным действия. Например, человек может выпрыгнуть из окна при пожаре, хотя огонь ещё не дошёл до него. Очевидно, что паника оказывает влияние и на мысли человека в состоянии стресса. Например, один человек[xv], в мирное время придерживавшийся ахимсы (принцип йоги о неубиении живых существ), во время войны разрабатывал план взрыва дамб в германии, чтобы затопить города. То есть паника может быть достаточно длительным состоянием, существенно изменяющим модели поведения. Но и кратковременная паника опасна, поскольку ситуация глобального риска может развиваться очень быстро, за часы и даже минуты, и стратегические решения должны будут быть приняты за это время.

26. Сонливость и другие факторы естественной неустойчивости человеческого сознания, влияющие на появление ошибок

По одной из версий, Наполеон проиграл Ватерлоо, потому что был простужен. Каким образом можно ожидать, что президент примет верное решение, будучи разбуженным среди ночи? Сюда можно добавить и принципиальную неспособность человека точно следовать инструкциям, и конечность длины инструкций, которые он может понять и выполнить. Хотя это относится в первую очередь к ошибкам операторов, можно представить, что состояние временного помутнения сознания повлияют и на выводы конструктора или составителя некой инструкции, приведя к допустим, к ошибке в чертеже. 

27. Склонность людей бороться с опасностями, которые уже были в прошлом

Например, было цунами 2004 года, и теперь все стали строить системы предупреждений о цунами. А в следующий раз это будет не цунами. При этом с течением временем тревога людей убывает, а вероятность повторного сильного землетрясения (но не афтершока) – возрастает.

28. Усталость от ожидания катастрофы

Типична ошибка, состоящая в том, что после того, как некоторая катастрофа случится, все начинают ожидать повторения в ближайшем будущем второй точно такой же, и после того, как это ожидание не исполняется, переводят эту катастрофу в разряд «это было давно и неправда». Так было после теракта 11 сентября. Сначала все ждали повторных атак на небоскрёбы, и строительство небоскрёбов в мире затормозилось. Теперь же все об этом забыли, и строительство небоскрёбов идёт ударными темпами. Это противоречит тому, что в реальности катастрофы такого масштаба могут происходить с периодичностью во много лет, и поэтому именно после длительного промежутка времени их вероятность реально возрастает. Усталость от ожидания катастрофы выражается и в утрате чувствительности общества к предупреждениям.

29. Экспертные оценки, не основанные на строгих вычислениях, не могут служить в качестве меры реальной вероятности

В отличие от ситуации на фондовых рынках, где среднестатистическая оценка лучших экспертов используется для предсказания будущего результата, мы не можем оценивать и отбирать наших экспертов по глобальным рискам по количеству угаданных ими катастроф. Кроме того, то, что ставка в оценке глобальных рисков очень высока – выживание человечества – это не приводит автоматически к тому, что предсказания становятся более точными.

В экспериментах по предсказанию обнаружена следующая статистика: «Только 73 % ответов, на которые сделали ставки 100:1, были верны (вместо 99.1 %). Точность возросла до 81 % при ставках 1000:1 и до 87 % при 10.000:1. Для ответов, на которые ставили 1.000.000:1, точность составляла 90 %, то есть соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более чем половина их ставок была более чем 50:1».[xvi]

«Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 %  уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту».[xvii] Причиной этой ошибки является «сверхуверенность экспертов» – например, потому что эксперт боится потерять свой статус эксперта, если будет слишком сомневаться в своих мнениях.

30. игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта

Даже если некая теория действительно неразумна, стоит потратить время и усилия, чтобы опровергнуть её ясным и убедительным для всех образом в открытой дискуссии. Кроме того, незначительность не означает невозможность. Незначительность риска должна быть результатом исследования, а не поводом отказаться от исследования. Кроме того, нужно правильное понимание незначительности. Например, если мы примем оценку 10  для вероятности глобальной катастрофы, как незначительную (а именно так оценивает ЦЕРН риск катастрофы на новом ускорителе), то если проводить такие эксперименты каждый день, то это даст 3 % шансов вымирания в течение 100 лет или гарантированное вымирание в течение 3000 лет.

31. Недооценка или переоценка нашей способности противостоять глобальным рискам

Если мы недооцениваем нашу способность противостоять глобальным рискам, то в силу этого мы не будем предпринимать тех действий, которые могли бы нас спасти. Если мы переоцениваем наши способности им противостоять, то это может привести нас к излишнему благодушию.

32. Стокгольмский синдром

Речь идёт об эффекте лояльности или даже влюблённости заложников в похитителя. В каком-то смысле он может проявляться в «смертничестве»    философской концепции, которая одобряет смертность человека и ограниченность его срока жизни 100 годами. Но если смертность человека одобряется, то отсюда один шаг до одобрения смертности всего человечества.

33. За ошибками оператора стоит неправильная подготовка

За конкретными ошибками пилотов, операторов, диспетчеров и политиков часто стоят концептуальные ошибки в их отборе и подготовке. Например, потакание их авторитету (случай со знаменитым египетским пилотом, который по определению не мог ошибаться – и разбил самолёт) и экономия на обучении. Научный анализ и распространение знаний о глобальных рисках можно рассматривать как часть такой подготовки для лиц, принимающих решения в будущем.

34. Группа людей может принимать худшие решения, чем каждый человек в отдельности

В зависимости от формы организации группы, она может способствовать или препятствовать выработке разумных решений. Хороший пример – штаб или НИИ, плохой пример – стая, толпа или страна, охваченная гражданской войной. До тех пор, пока в мире нет единой общепризнанной группы, принимающей решения о предотвращении глобальных рисков, ситуация скорее ближе к плохому варианту.

35. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие – как возможные источники ошибок

Это заставляет человека концентрироваться на один аспектах проблемы, вроде того, нападёт ли А на Б, уменьшая при этом (погружая в тень внимания) другие аспекты. ни один человек не может охватить все мировые проблемы в своём уме, чтобы ранжировать их по степени их опасности и приоритетности. Вряд ли это может и организация.

36. Раскол футурологии по разным дисциплинам, как если бы эти процессы происходили независимо

Есть несколько вариантов мышления о будущем, и они имеют склонность странным образом не пересекаться, как будто речь идёт о разных мирах.

- прогнозы наступлении «Сингулярности». суперкомпьютеры, биотехнологии, и нанороботы.

- прогнозы системных кризисов в экономике, геополитике и войнах.

- прогнозы в духе традиционной футурологии о демографии, ресурсах, потеплении.

Особый тип прогнозов – большие катастрофы: астероиды, супервулканы, сверхвспышки на солнце, переполюсовка магнитного поля, плюс религиозные сценарии и фантастические сценарии.

37. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить («Беда не приходит одна»)

Глобальная катастрофа может наступить в результате цепочки всё более масштабных событий, однако первое из этих событий может заслонить для нас восприятие следующих рисков. Причинами этого могут быть:

1) Наше внимание в момент аварии полностью отвлекается. Например, попав в маленькую аварию, водитель начинает ходить вокруг машины, и тут в него врезается другая, мчащаяся машина.

2) Влияния аффекта.

3) Человек сам совершает ещё большую ошибку в процессе исправления мелкой. Например, когда мелкий воришка стреляет в полицейского, чтобы скрыться.

4) Непонимание того, что первая авария создаёт неочевидную цепочку причин и следствий, которая может вдруг вывернуть из-за угла.

5) Первая неприятность постепенно ослабляет сопротивляемость организма к более быстрым и внезапным переменам. Например, грипп чреват воспалением лёгких, при неправильном лечении.

6) Непонимание того, что обе аварии могут быть вызваны некой неочевидной общей причиной. например, что-то обвалилось, человек пошёл посмотреть - что, и тут оно обвалилось целиком.

7) Эйфория от преодоления первой катастрофы может заставить потерять благоразумие. (Например, человек рвётся выйти из больницы пораньше, и у него расходятся швы.)

38. Эффект избирательности внимания

Часто у людей, следящих за некими предсказаниями, например в экономике, возникает вопрос: «По какой причине то, что должно вот-вот рухнуть, всё не рушится и не рушится?» Вероятно, мы имеем дело со специфической ошибкой в оценке рисков. Замечая трещины в фундаменте, мы говорим себе: "Так! оно же вот-вот рухнет" и начинаем искать другие трещины. разумеется, мы их находим, и нам не трудно связать их в умозрительную сеть. Но, занимаясь поискам трещин, мы перестаём смотреть на опоры. наше внимание становится избирательным, нам хочется подтвердить свою гипотезу.

Мы попадаем в порочный круг избирательного накопления информации только об одном аспекте неустойчивости системы, игнорируя причины её устойчивости, а также другие риски, связанные с этой системой. Завышение некоторых рисков, в конечном счёте, приводит также к их недооценке, поскольку общество приобретает иммунитет к негативным прогнозам и утрачивает доверие к экспертам. Например, станция предупреждения о цунами на Гавайях оказалась перед дилеммой: если предупредить население о риске цунами, то в следующий раз предупреждению не поверят, а если не предупредить – возможно, что именно в этот раз цунами окажется опасным. Таиландская служба предупреждения в 2004 году решила не предупреждать людей о цунами, боясь напугать туристов.

39. Подсознательное желание катастрофы

Стремление эксперта по рискам доказать правоту своих прогнозов вызывает у него неосознанное желание того, чтобы прогнозируемая катастрофа всё-таки случилась. Это подталкивает его или преувеличить предвестники приближающейся катастрофы, или даже попустительствовать тем событиям, которые могут к ней привести. Люди также могут хотеть катастроф от скуки или в силу мазохистского механизма «негативного наслаждения».

40. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса

Этот тип поведения можно определить как «синдром Скарамеллы», – в честь итальянского мошенника, выдававшего себя за эксперта по вопросам безопасности. В крайне остром случае человек выдумывает некие риски, потому что знает, что общество и масс-медиа  на них резко отреагируют. Эта модель поведения опасна тем, что из общего контекста выдёргивается несколько самых зрелищных рисков, а не менее опасные, но не столь завлекательно звучащие риски затушёвываются. Кроме того, у общества возникает привыкание к сообщениям о рисках, как в сказке о мальчике, который кричал «Волк, Волк!», а волка не было. Когда же волк пришёл на самом деле, никто мальчику не поверил. Более того, возникает общественная аллергия на сообщения о рисках, и все сообщения начинают объясняться в терминах пиара и деления денег.

41. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа

Выделение адреналина в критических ситуациях по-своему приятно, и небольшой укол его можно получить, посмотрев фильм-катасрофу. Это приводит к тому, что разговоры о рисках начинают восприниматься как нечто несерьёзное, не имеющее отношение к личной реальности и проблемам, даже как нечто приятное и желанное.

42. Логическая ошибка генерализации на основании художественного вымысла

Описана у Бострома[xviii] как «искажение в духе «хорошей истории». Регулярное потребление развлекательных произведений – фильмов, романов – подсознательно формирует модель риска, который назревает, угрожает, интересно развивается, но затем зрелищно преодолевается, – и вся игра идёт почти на равных. Реальные риски не обязаны соответствовать этой модели. Даже если мы стараемся избегать воздействия художественных произведений, фильм «Терминатор» сидит у нас в подсознании, создавая, например, ошибочное представление, что проблемы с Искусственным Интеллектом – это обязательно война с роботами. Одна из форм этой ошибки состоит в том, что в фантастическом романе берётся неизменным обычный мир и к нему добавляется одна фантастическая деталь, и затем рассматриваются возможные следствия этого. Другая – в том, что противники выбираются равными по силе. Третья – в том, что нормой завершения истории считается хэппи-энд. Однако в деле предотвращения глобальных рисков не может быть никакого хорошего конца – если мы предотвратили все риски в XXI веке, то тоже надо делать и в XXII веке и так далее.

43. идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – обеспечить благо человечества

Эта идея порочна, потому что всегда, когда есть «мы», есть и «они». У любой организации есть самостоятельная групповая динамика, направленная на укрепление и выживание этой организации. У любой организации есть конкурент. Внутри организации запускается групповая динамика стада-племени, побуждающая бороться за власть и реализовывать другие скрытые цели. В результате возможна борьба спасителей человечества между собой.

44. Секретность как источник ошибок в управлении рисками

Исследования по безопасности, ведущиеся в секрете, утрачивают возможность получать обратную связь от потребителей этой информации и, в итоге, могут содержать больше ошибок, чем открытые источники. Засекречивание результатов неких испытаний и катастроф обесценивает их значение для предотвращения последующих катастроф, потому что этих результатов никто не знает.

45. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии

Сверхкритичность препятствует начальной фазе мозгового штурма, на которой набирается банк возможных идей. Поскольку безопасности часто угрожают невероятные стечения обстоятельств, «тяжёлые хвосты», то именно странные идеи могут быть полезными. Корни критической настройки могут быть в том, например, что критикующий может претендовать на более высокий социальный статус.

46. Ошибочность идеи о том, что безопасность чего-либо можно доказать теоретически

Однако единственный реальный критерий – практика. Десятки лет безотказной работы – лучший критерий реальности безопасности. История знает массу примеров, когда приборы или проекты, теоретически имевшие высокую безопасность, рушились из-за непредусмотренных сценариев. Например, падение самолёта «Конкорд». Американский писатель М.Крайтон в романе «Парк Юрского периода» отчеканил это следующими словами: «Чтобы заключить, что ваша система безопасности ненадёжна и не может во всех случая обеспечить изоляцию полигона от окружающей среды, мне вовсе не обязательно знать, как именно она устроена».

47. Недооценка человеческого фактора

От 50 до 80  % катастроф происходят из-за ошибок операторов, пилотов и других людей, осуществляющих непосредственное управление системой. Ещё более значительная доля катастрофических человеческих ошибок приходится на техническое обслуживание, предполётную подготовку и ошибки при конструировании. Даже сверхнадёжную систему можно привести в критическое состояние определённой последовательностью команд. Человек достаточно умён, чтобы обойти любую защиту от дурака и натворить глупостей. Поэтому мы не можем отвергнуть ни один из сценариев глобальной катастрофы, исходя из того, что люди никогда не будут этого делать.

48. Ошибочность идеи о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код

Но сами проверки вносят некоторое число новых ошибок, и, в силу этого, на определённом уровне число ошибок стабилизируется. (Этот уровень примерно соответствует квадрату числа ошибок – то есть если человек делает одну ошибку на 1000, то, сколько он не будет проверять, он не создаст безошибочный «код» длиною более 1 000 000.)

49. Статистика как источник возможных ошибок

В самой природе статистики есть возможность совершения ошибок, намеренных искажений и ложных интерпретаций, связанная с тем, что она является не описанием однократных фактов, а обобщением множества описаниями. Проблемы статистики связаны, в частности, со способом выборки, разными методами вычисления среднего, способами округления, интерпретацией полученных результатов и способами их зрительного представления для других людей.

50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты

Все знают, когда упала атомная бомба на Хиросиму, но мало кто знает, где и когда впервые зафиксирован грипп 1918 года «испанка», унёсший в 100 раз больше жизней. (По одной из версий, 8 марта 1918 г., около Канзас-Сити, США). Это приводит к тому, что одни риски переоцениваются, и уже в силу этого другие риски недооцениваются. Юдковски в своей статье об оценки рисков называет это когнитивным искажением, связанным со степенью доступности информации.

51. Двойная ошибка

Многие перечисленные факторы источников ошибок могут приводить как к переоценке наших способностей противостоять рискам, так и к недооценке самих факторов риска. Следовательно, каждая ошибка может проявиться дважды.

52. Анализ глобальных рисков не есть создание прогнозов

Прогноз содержит конкретные данные о времени и месте. Но такие точные попадания очень редки и, скорее, случайны. Более того, прогноз и анализ рисков требует разных реакций. Неудачные прогнозы компрометируют свою тему и людей, которые их дают. Но некоторые люди дают очень много прогнозов, надеясь, что хоть один попадёт в цель и человек прославится. Например, анализ рисков в авиации требует усовершенствования разных механизмов самолёта, а прогноз об авиакатастрофе предполагает, что люди откажутся от рейса в данный день.

53. Иллюзия знания задним числом

Иногда люди говорят: «Я знал это с самого начала» и в силу этого переоценивают свои прогностические способности. В силу этого они ждут, что другие люди могут легко догадаться о том, что нам уже известно. В отношении глобальных рисков у нас не может быть никакого знания задним числом. А в отношении многих других обычных рисков оно есть. Это приводит к тому, что нам кажется, что глобальные риски так же легко оценить, как уже известные нам риски. Иначе говоря, эффект знания задним числом в отношении глобальных рисков приводит к их недооценке. Подробнее см. в статье об ошибках Юдковски, который называет эту систематическую ошибку «hindsight bias».

54. Эффект настройки на источники информации

Читая литературу, человек может стать проводником идей, которые в него вкладывает автор. Это позволяет ему сходу отвергать концепции других людей. В силу этого он становится глухим к новой информации, и его эффективность в анализе рисков падает. Ощущение собственной правоты, образованности, навыки ведения споров – всё это усиливает «глухоту» человека. Поскольку глобальные риски – вопрос в первую очередь теоретический (ведь мы не хотим экспериментальной проверки), то теоретические разногласия имеют тенденцию в нём проявляться особенно ярко.

55. Принятие малого процесса за начало большой катастрофы

 Например, изменение курса доллара на несколько процентов может восприниматься как предвестник глобального краха американской валюты. Это приводит к преждевременным высказываниям в духе: «ну вот, я же говорил!» – что затем, когда выясняется незначительность изменений, подрывает веру, в первую очередь, свою собственную, в возможность катастрофы и её предвидения.

56. более простое объяснение катастрофы подменяет более сложное

На выяснение более сложного варианта уходят годы анализа, например, так часто бывает при анализе авиакатастроф. (Не говоря о том, что участники стремятся немедленно подтасовать факты, если эти факты означают их уголовную и финансовую ответственность.) Это более сложное объяснение не доходит до широкой публики и остаётся в качестве некоторого информационного фона. Чем позже будет найдено точное определение причин аварии, тем дольше невозможно защититься от аварии подобного рода. Когда речь идёт о быстрых процессах, такое отставание понимания может стать критическим.

57. Использование апокалиптических сценариев, чтобы привлечь внимание к своим проектам и добиться их финансирования

Действительно, такая форма саморекламы распространена, и особенно она распространена среди представителей псевдонауки, что приводит к аллергии на такого рода заявления. Даже если 99,9  % людей, придумывающих разные апокалиптические сценарии, явно не правы, выдвигаемые ими гипотезы, вероятно, следует принимать к сведению, так как ставки в игре слишком велики, и неизвестные физические эффекты могут угрожать нам и до того, как их официально подтвердит наука. Иначе говоря, суммарные расходы на проверку почти наверняка ложных идей меньше, чем возможный ущерб оттого, что хотя бы одна окажется верной.

58. Стремление людей установить некий приемлемый для них уровень риска

У каждого человека есть представление о норме риска. Поэтому, например, водители более безопасных машин предпочитают более опасный стиль езды, что сглаживает в целом эффект безопасности машины. Как бы ни была безопасна система, человек стремится довести её до своей нормы риска. Поскольку ожидаемая продолжительность жизни человека имеет порядок 10 000-20 000 дней, то, установив для себя норму риска в 1 к 100 000 в день (по своим интуитивным представлениям или в духе «все так делают»), человек не сильно изменит свою ожидаемую продолжительность жизни. Однако по отношению к глобальным рискам такая позиция означала бы 30 % шансы вымирания в ближайшие 100 лет. При этом есть отдельные «лихачи» с гораздо более высокой нормой риска.

59. Эффект «сверхуверенности молодого профессионала»

Он возникает у водителей и пилотов на определённом этапе обучения, когда они перестают бояться и начинают чувствовать, что уже всё могут. Переоценивая свои способности, они попадают в аварии. Человечество в целом, возможно, находится на такой стадии по отношению к сверхтехнологиям. (Хотя на ядерных технологиях уже хорошо обожглись в чернобыле.)

60. Ощущение неуязвимости у выживших

Сверхуверенность молодого профессионала усугубляется эффектом наблюдательной селекции, который состоит в том, что, например, отвоевавшие определённый срок без ранений солдаты начинают чувствовать свою «неуязвимость», и всё более и более повышает свою норму риска. Это же может происходить и с цивилизацией – чем дольше не реализуются угрозы атомной войны, тем в большей мере кажется, что она вообще невозможна и тем более рискованную политику можно проводить.

61. Переоценка собственных профессиональных навыков.

Поскольку глобальные риски охватывают все сферы знаний – от биологии до астрофизики и от психологии до политики, то, чтобы получить адекватную картинку ситуации, любой специалист вынужден выйти за пределы своих знаний. Поскольку чувствовать себя профессионалом приятно, человек может испытывать склонность к преувеличению своих способностей. Это мешает ему проконсультироваться у специалистов по существенным вопросам. Стереотип «спасителя мира» как героя-одиночки, который способен на всё, может помешать ему скооперироваться с другими исследователями и сделать свой ценный вклад. В равное мере и представление об ордене «джедаев», тайно спасающих мир, может быть некорректным и целиком заимствованным из развлекательного кино.

62. Ошибка, связанная с концентрацией на мерах по предотвращению небольшой катастрофы вместо мер по предотвращения максимально возможной

Например, в Йеллоустоунском парке так успешно предотвращали пожары в течение многих лет, что в лесу скопилось очень много сухих деревьев, и в результате произошёл колоссальный пожар, справиться с которым было почти невозможно. Юдковски описывает пример со строительством дамб на одной реке в США, в результате чего выяснилось, что хотя количество наводнений уменьшилось, ущерб от каждого отдельного наводнения увеличился, и в сумме ежегодный ущерб оказался выше, чем до строительства дамб. Это было связано с тем, что после строительства дамб люди чувствовали успокоенность, и возводили более дорогие постройки на более низких землях, поэтому, когда наводнение всё же случалось, оно наносило больший ущерб.

63. Усталость исследователя

Энтузиазм отдельных людей движется волнами. В силу этого человек, который, допустим, начал выпускать некий бюллетень, может, утратив энтузиазм, начать выпускать его всё реже, что с точки зрения стороннего наблюдателя будет означать снижение интенсивности событий в этой области. Тем более работа исследователя глобальных рисков неблагодарна – он никогда не увидит реализации своих пророчеств, даже если они сбудутся. И у него никогда не будет уверенности, что ему на самом деле удалось что-то предотвратить. Только в кино спаситель мира получает за свою работу благодарность всего человечества и любовь красивой актрисы. Не будем забывать, что Черчилля прокатили на выборах сразу после войны, хотя он верил, что заслужил переизбрания. Чтобы избежать эффекта «перегорания», на американском флоте во время второй мировой войны применяли регулярную ротацию высшего состава – одна смена воевала, а другая отдыхала на берегу. Юдковски по этому поводу пишет: мы никогда не слышали о героических превентивных мерах.

64. Страх потери социального статуса исследователями

В нашем обществе есть ряд тем, интерес к которым воспринимается как симптом определённого рода неполноценности. Люди, интересующиеся этими вопросами, автоматически считаются (или даже выдавливаются в соответствующие «экологически ниши») второсортными, сумасшедшими, клоунами и маргиналами. И другие исследователи даже могут стремиться избегать контакта с такими людьми и чтения их исследований. Клеймлению подвергнуты темы НЛО, телепатии и прочая парапсихологии, сомнение в реальности мира. Однако важно отметить, что если хотя бы одно сообщение об НЛО истинно и необъяснимо, то это требует переделки всей имеющейся картины мира, и не может не влиять на вопросы безопасности (И военные принимают эти сообщения гораздо серьёзнее, чем учёные). Более того, те исследователи, которые потеряли свой статус, проявив интерес к НЛО и т. п., утратили вместе с этим и возможность доносить свои мысли до представителей власти. Военные исследования в этой области настолько засекречены, что неизвестно, имеются ли такие исследования вообще, и соответственно, в какой мере можно доверять людям, говорящим от имени этих исследований. Иначе говоря, секретность настолько инкапсулирует некую исследовательскую организацию, что она перестаёт существовать для внешнего мира, как чёрная дыра, которая не выпускает своих лучей – особенно в том случае, если высшее руководство страны ничего не знает о ней. (Характерен пример с канцлером Германии А.Меркель, которой отказывались объяснять, что за люди ходят по резиденции, пока она это категорически не потребовала – это оказались сотрудники службы безопасности.)

65. Количество внимания, которое общество может уделить рискам, конечно

Поэтому преувеличение некоторых рисков не менее опасно, чем умалчивание о других, так как съедает то количество внимания (и ресурсов), которые можно потратить на анализ более опасных рисков. Кроме того, оно создаёт ложную успокоенность у человека, которому кажется, что он сделал достаточный вклад в спасение Земли, например, заправив свой автомобиль спиртом.

66. Пренебрежение экономикой

Такие выражения, как «деньги – это только бумажки», или «банковские вклады – это только нолики в компьютерах» могут быть отражением широко распространённого мнения, что экономика не так важна, как, скажем, война или некие более зрелищные катастрофы. Однако экономика – это материальное воплощение структурности всей человеческой деятельности. Для понимания роли экономики важно отметить, что кризис 1929 года нанёс США ущерб в 2 раза больший, чем Вторая мировая война, а крах СССР произошёл не в результате прямой агрессии, а результате структурно-экономического кризиса. Даже вымирание динозавров и другие крупные вымирания  биологи связывают не с космической катастрофой, а с изменением условий конкуренции между видами.

Все риски имеют стоимостное выражение. Экономические последствия даже небольших катастроф могут иметь огромное стоимостное выражение. Теракты 11 сентября нанесли ущерб американской экономике в 100 млрд. долларов, и возможно, ущерб будет гораздо больше, если учесть потенциальные потери от политики снижения процентных ставок (пузырь на рынке недвижимости), а также триллионы долларов, потраченный на войну в Ираке. При этом цена разрушенных зданий составляла только несколько миллиардов долларов. 7 писем с сибирской язвой нанесли ущерб в 1 миллиард долларов.

Итак, даже небольшие аварии могу приводить к огромному ущербу и утрате стабильности экономики, а крах экономики сделает систему менее устойчивой и более уязвимой к ещё большим катастрофам. Это может привести к положительной обратной связи, то есть к самоусиливающемуся катастрофическому процессу.

По мере глобализации экономики, всё больше возрастает возможность глобального системного кризиса. Конечно, трудно поверить, что мир погибнет от того, что несколько крупных банков обанкротились, но это может именно тем, что запустит эффект домино общей неустойчивости.

67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит

Одна из версий крушения Римской империи – деградация её элит, состоящая в том, что люди, из которых рекрутировались правители всех уровней, действовали исключительно в своих личных краткосрочных интересах, иначе говоря, глупо и эгоистично (что может быть связано с тем, что они употребляли воду из водопровода со свинцовыми трубами, отрицательно влиявшую на мозг). При этом предполагается, что эффективное действие в своих долгосрочных интересах совпадает с интересами общества в целом, что, вообще говоря, не бесспорно. Другой метафорой является сравнение «морального духа», например, войска – со способностью молекул некого вещества превращаться в единый кристалл (подробно на эту тему рассуждал Лев Толстой в «Войне и мире»).

С другой стороны, на падение нравов жаловались ещё сами древние римляне, и до сих пор этот процесс не помешал развитию производственных сил общества. Корень ошибки здесь может быть в конфликте поколений, а именно в том, что опытные и старые оценивают молодых и задиристых, не внося возрастную поправку и забывая, что сами были такими же.

Однако в случае современных глобальных рисков огромный ущерб может быть нанесён небольшой группой, скажем, террористов, которые в рамках своей стратегии действуют долгосрочно и эффективно. Или конфликтом двух обществ, каждое из которых внутри себя продвигает некие позитивные идеалы. Причём конфликт может быть вокруг точных определений этих идеалов, например, что лучше: демократия или религия? Наконец, даже высокоморальный человек может уничтожить мир по ошибке. В то время как низко моральный человек будет безопасен, так как будет коротать свой срок в тюрьме за мелкую кражу, и никогда не получит доступа к высоко опасным технологиям.

68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей

Одни идеи проще доказывать, чем другие. Это приводит к сдвигу в оценке вероятностей. Юдковский пишет об этом в связи с систематической ошибкой, связанной со степенью доступности информации. Чем более очевидна некая идея, тем легче превратить её яркий агитационный фильм. Например, легче рекламировать угрозу от глобального потепления, чем от Искусственного интеллекта, потому что последняя незрима. Кроме того, человеку свойственно вовлекаться в процесс доказывания идеи массам, что приводит к отождествлению с этой идеей, стремлению сделать её проще и доступнее.

69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав

А затем упорствовать, защищая их и подбирая под них аргументацию. Человеку очень трудно «передумать». Здесь можно вспомнить закон Мёрфи: «Любая сложная проблема имеет простое, очевидное и неправильное решение». Юдковски подробно пишет о важности того малого промежутка времени между моментом возникновения вопроса и тем моментом, когда человек сделал окончательный выбор в пользу одного из ответов, в течение которого, собственно, и происходит мышление. Людям психологически трудно передумать, потому что это как бы означает признать себя глупыми и способными ошибаться, и особенно трудно передумать, если позиция уже оглашена публична и стала предметом спора.

70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли

Юдковски пишет об этой проблеме, честно признавая, что не видит никакого её решения: «И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой де-факто политики, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один учёный не рискнёт больше высказывать предположения».

71. Ошибка, связанная с неправильной корреляцией силы и безопасности

Эмоционально нам кажется, что технологии делятся на хорошие, то есть сильные и безопасные, и плохие – то есть слабые и опасные. Однако, на самом деле, чем сильнее некое орудие, чем более оно способно влиять на мир, – тем оно опаснее, тем больше способов направить его на цели разрушения. «Анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск», – пишет Юдковски. Понятно так же, что новые технологии сильнее старых технологий – иначе бы не было коммерческого смысла их создавать.

72. Преждевременные инвестиции

Если бы в середине XIX века люди бы поняли, что в XX веке им угрожает атомное оружие, и на предотвращение этого риска были бы выделены миллионы, то нет сомнений, что эти деньги были бы потрачены не по назначению, и у будущих поколений выработалась бы аллергия на такие проекты. Возможный пример: по некоторым данным, СССР в 80-е годы получил дезинформацию о том, что США во всю разрабатывают беспилотные летательные аппараты, и развернул свою огромную программу, в результате которой возникли такие аппараты как «Пчела» – автоматические самолёты-разведчики весом около тонны, огромной стоимости и малой надёжности. В результате российские военные разочаровались в дронах именно к тому моменту, когда в США была принята программа их реального создания. Другой пример: до 1939 года было абсурдно бороться против атомного оружия, а после – уже поздно.

73. Склонность людей смешивать свои ожидания того, вероятного и наилучшего исходов

«Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший ожидаемый исход», – пишет Юдковски, описывая в своей статье эксперимент со студентами, где их просили оценить наиболее вероятное и наихудшее время сдачи дипломной работы. В результате среднее время сдачи дипломной работы оказалось хуже, чем наихудший случай. Даже ясное предупреждение о том, что людям свойственно совершать такую оценку не привело к тому, что испытуемые правильно скорректировали свои ожидания. Даже я сам, хотя и перевёл эту статью и хорошо знал о необходимости поправки, всё равно пал жертвой этой ошибки, оценивая ожидаемые сроки выхода данной книги в печати. А именно, я сделал предположение о том, когда эта книга выйдет, а затем, вспомнив о том, что реальность будет хуже моих ожиданий, я добавил к этому сроку три месяца. Уже сейчас очевидно, что я недооценил необходимую поправку, и книга выйдет ещё позже.

74. Апатия прохожего

Глобальные риски не являются чей-то личной ответственностью, и соблазнительно рассуждать в том смысле, что раз никто ничего не делает в связи с этим, то почему именно я должен? Более того, это состояние возникает бессознательно, просто как рефлекс подражания группе. Типичный пример: когда человек лежит на тротуаре и мимо идёт толпа, никто не помогает ему. Но если один человек на тропинке в лесу увидит лежащего человека, он, скорее всего, ему поможет. Юдковски выделяет эту модель как важный фактор возможной недооценки глобальных рисков.

75. Потребность в завершении

Концепция когнитивной психологии, обозначающая стремление человека как можно скорее найти ответ на беспокоящий вопрос («need for closure» – как её называет Круглански[xix]). Это стремление приводит к тому, что человек предпочитает быстрое и неверное решение более долгому поиску правильного ответа. И хотя мы не можем искать правильную стратегию работы с глобальными рисками бесконечно долго – мы ограничены во времени! – нам стоит хорошо подумать перед тем, как придти к каким-то выводам.

76. Влияние авторитета и социальное давление группы

Этот вопрос подробно рассмотрен в книге «Человек и ситуация»[xx]. В частности, хорошо известны эксперименты Милграма, где испытуемых заставляли бить всё большим током других «испытуемых» (на самом деле подсадных уток, и ни какого тока на самом деле не подавалось), чтобы те «учились», и испытуемые доходили до смертельно опасного напряжения в 400 вольт, несмотря на то, что «жертвы» умоляли их прекратить. При этом, хотя большинство людей уверено, что они не стали бы это делать, в реальных опытах это делали 66 % испытуемых. В качестве причин такого поведения было обнаружено влияние авторитета, удалённость жертвы и воздействие аналогичного поведения группы. Очевидно, что те же факторы могут действовать на нас, когда мы оцениваем риск, связанный с некоторым фактором или технологией. Если потенциальные жертвы её находятся от нас далеко во времени и в пространстве, если рядом с нами высокоавторитетная личность высказывается в пользу этой технологии, а также, если мы окружены группой людей, придерживающегося противоположного мнения, всё это окажет влияние на наш выбор.

77. Разрыв между обзорными и точечными исследованиями, между «деревом и лесом»

Обзорные исследования могут предлагать системные сценарии глобальной катастрофы или обсуждать последствия некоторых новых открытий, но не могут сказать, как именно сделать нечто опасное. Наоборот, прикладные исследования могут дать точную оценку рисков, скажем, отдельного астероида, но не суммарную оценку рисков ото всех причин. Этот разрыв ярко заметен в области нанотехнологий. Есть уровень обзорных  проектных исследований, где в первую очередь уделяется внимание тому, что можно и нужно сделать, то есть идёт движение от заявленной цели к разным вариантам её воплощения. И есть уровень конкретных исследований свойств отдельных материалов. С точки зрения представителей первого направления прикладники «за деревом не видят леса», с точки зрения прикладников – первые «занимаются верхоглядством и фантастикой». Причём оба обвинения могут быть отчасти справедливы.

78. Ошибка, связанная с интеллектуальной проекцией

Эта ошибка возникает, когда мы неосознанно приписываем предметам обладание свойствами, которые на самом деле существуют только в наших представлениях о них. Пример такой ошибочности рассуждение вроде: «ИИ будет добрый, поэтому он не может меня убить». Тогда как доброта – это не свойство самого ИИ,  а наша оценка его действия по отношению к нам, и причинная связь здесь обратная – мы называем ИИ «добрым», потому что он нас не убивает. Юдковски её определяет так: «Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую E. T. Jaynes назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy). Jaynes, специалист по байесовской теории достоверности, определил «ошибочность, связанную с умственной проекцией» как ошибку, связанную с тем, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистический феномен» подразумевает, что мистичность – это свойство самого феномена – но если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)» 

79. Представление о том, что изменять обстоятельства следует, уничтожая их причины

Однако спичка, от которой загорелся пожар, уже погасла. Стремление уничтожить любую систему, от государства до тараканов и микроорганизмов, приводит к тому, что эта система оптимизируется для борьбы, становится сильнее. А тот, кто с ней борется, вынужден приобретать качества своего врага, чтобы действовать с ним на одной территорией.

80. Забвение основного принципа медицины – «Не навреди!»

Другая формулировка этого принципа: «Когда не знаешь что делать, – не делай ничего». За этим стоит вековой опыт, который говорит, что необдуманные действия скорее принесут вред, чем помогут. В отношении глобальных катастроф это имеет тот смысл, что своими попытками их поспешно предотвратить мы можем их усугубить.

81. Путаница между объективными и субъективными врагами

Когда некто преследует цели, мешающие моим целям, он мой враг объективно (тигр, который хочет съесть козу; противник в игре в шахматы; конкурент в бизнесе). Однако между людьми врагом становится тот, кто стремится уничтожить лично меня. Это понятие завязано на кровную месть. Путаница же состоит в том, что объективные враги начинают казаться субъективными. Например, если встать перед мчащимся поездом и сказать, что поезд хочет меня уничтожить. Однако между людьми бывает и реальные ситуации «субъективной» вражды, когда один хочет уничтожить другого, не имея никаких иных за этим целей или полезностей. Применительно к глобальным рискам это означает, что люди, которые могут уничтожить мир, вовсе не будут лично ко мне злы или выглядеть как исчадия ада. Это могут быть честные, благородные, красивые люди, которые совершат некую очень маленькую и неочевидную ошибку.

82. предсказания или мечты о катастрофе, на самом деле обусловленные завистью

Яркий пример этого – множество форумов в Интернете, где люди, обиженные распадом СССР, мечтают увидеть крах США и выискивают признаки этого процесса. (Но это не значит, что в американской экономике нет проблем.) Один из вариантов того, когда неосознаваемые желания могут влиять на описание действительности.

83. Страх утраты идентичности

Система не хочет глубоко трансформироваться, так как тогда это будет уже не она. Это одна из причин борьбы против глобализации. Некто может предпочесть смерть утрате идентичности. То есть предпочесть глобальную катастрофу трансформации того мира, в котором он живёт.

84. Понятная катастрофа может быть привлекательнее непонятного будущего

В целом глобальную катастрофу проще представить, чем будущее, с некими ещё не открытыми технологиями. (То есть здесь действует когнитивное искажение, связанное с доступностью информации.) Непонятное может вызывать страх.

85. Неправильное применение философского правила «бритва Оккама»

Мы не должны отсекать сложные гипотезы на основании бритвы Оккама[xxi]. Бритву Оккама можно рассмотреть через призму байесовой логики. Тогда гипотеза, требующая большего числа независимых предположений, оказывается менее вероятной. Например, гипотеза, базирующаяся на 10 независимых предположениях, будет иметь только 1 к 1024 шанс на истинность. Однако и этого не мало, если речь идёт о гипотезе, которая означает риск вымирания человечества!

86. Верхняя граница возможной катастрофы формируется на основании прошлого опыта

Вот что пишет Юдковски в связи с уже упоминавшимися дамбами: «Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что должны быть обеспокоены…. Когда дамбы и насыпи построены, они уменьшают частоту наводнений, такие образом, видимо, создавая фальшивое чувство безопасности, ведущее к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения настолько возрастает, что среднегодовой ущерб увеличивается. Кажется, что люди не экстраполируют с пережитых малых опасностей на возможности более серьёзных рисков; наоборот, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков».

87. Ошибка, связанная с неверным переносом закономерностей одной системы на другую

А) неучёт роста сложности структуры как фактора, снижающего надёжность системы. Если от растения можно отрезать большую часть, не повредив его способности к полноценному восстановлению, то, чтобы убить животное, достаточно удалить очень маленький кусочек организма. То есть, чем сложнее система, тем больше в ней уязвимых точек. Нельзя не отметить, что, по мере нарастания процессов глобализации, связность и структурность земной цивилизации растёт.

Б) Снижение надёжности системы пропорционально четвёртой степени плотности энергии. Это эмпирическое обобщение (точное значение степенного показателя может отличаться в зависимости от разных факторов) можно обнаружить, сравнивая надёжность самолётов и ракет: при равных размерах, количестве и затратах надёжность ракет примерно в десять миллионов раз меньше – в значительной мере за счёт того, что плотность энергии в двигателях в несколько раз больше, и ряда других факторов. Похожее эмпирическое обобщение верно и для статистики смертельных аварий автомобилей в зависимости от скорости. Нельзя не отметить, что энерговооружённость человечества постоянно растёт.

88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки

С точки зрения авторов регламента работ на Чернобыльском реакторе персонал нарушил их требования, а с точки зрения персонала, пользовавшегося этим регламентом, он действовал точно в соответствии с его требованиями. Регламент требовал «заглушить реактор» – но разработчики считали, что это надо произвести немедленно, а операторы – что постепенно. Другой вариант – когда автоматическая система спасения и пилот могут совершать набор действий, каждый из которых в отдельности спас бы самолёт, но вместе они накладываются друг на друга и приводят к катастрофе (гибель А310 в 1994 году в Сибири). Трудно достичь однозначного понимания терминов, когда у нас нет экспериментального опыта, как в случае с глобальными катастрофами.

89. Отказ рассматривать некий сценарий по причине его «невероятности»

Однако большинство катастроф случаются в результате именно невероятного стечения обстоятельств. Гибель «Титаника» связана с экзотической, можно сказать, комбинацией 24 (!) обстоятельств.

90. Переход от обмана к самообману

Сознательный обман других людей с целью получения определённой выгоды, в нашем контексте – сокрытия рисков – может незаметно принять форму самогипноза. Самообман может быть гораздо более устойчив, чем иллюзия или непреднамеренное заблуждение. Ещё один вариант такого опасного самогипноза – команда себе «Я подумаю об этом завтра» (но завтра никогда не наступает).

91. Переоценка собственных возможностей вообще и выживаемости в частности

 Просто проиллюстрирую это цитатой из статьи Бострома об угрозах существованию: «Эмпирические данные о предубеждениях в оценке рисков двусмысленны. Доказано, что мы страдаем от систематических предубеждений, когда мы оцениваем наши собственные перспективы рисков в целом. Некоторые данные показывают, что людям свойственно переоценивать собственные способности и перспективы. Три четверти всех автолюбителей думают, что они более аккуратные водители, чем среднестатистический водитель. Согласно одному исследованию, почти половина социологов верит в то, что они принадлежат к лучшим десяти учёным в своей области, и 94 % социологов думают, что они лучше в своей работе, чем их коллеги в среднем. Также было показано, что находящиеся в депрессии люди имеют более точные предсказания, чем нормальные люди, за исключением тех предсказаний, которые касаются безнадёжности их ситуации. Большинство людей думает, что они сами с меньшей вероятностью подвержены обычным рискам, чем другие люди. Широко распространено убеждение, что публика склонна переоценивать вероятности часто освещаемых в печати рисков (таких, как катастрофы самолётов, убийства, отравления едой и т. д.), и недавнее исследование показывает, что публика переоценивает большое количество распространённых рисков здоровью в отношении себя. Другое недавнее исследование, однако, предполагает, что доступная информация согласуется с предположением, что публика рационально оценивает риск (хотя и с некоторым сужением из-за расхода мыслительных усилий на удержание в уме точной информации)».

92. Стремление к прекрасному будущему, заслоняющее восприятие рисков

Это явление можно заметить у революционеров. Опыт Великой Французской революции вполне мог научить, что революция ведёт к гражданской войне, диктатуре и внешним войнам, однако русские революционеры начала ХХ века питали те же иллюзии, что и их французские коллеги за 120 лет до них, хотя, в конечном счёте, получили аналогичный результат. И у современных сторонников радикального развития технологий есть необъективность такого же рода – то есть вера в том, что новые технологии не приведут новым видам оружия, его применению, и новым технологическим катастрофам. Психологически это связано с тем, что человек отвергает размышления о рисках, как препятствия на пути к светлому будущему.

93. Фильтры, мешающие поступлению информации к руководству

Информация существует не в вакууме, а внутри конкретной системы. Ценность информации определяется её новизной и суммарной способностью системы реагировать на неё. Поэтому важно исследовать не только высказывания о глобальных рисках, но и то, как они могут распространяться в обществе. Г.Г. Малинецкий в книге  «Риск. Устойчивое развитие. Синергетика»[xxii] пишет: «Еще одна особенность информации в условиях возникновения ЧС состоит в том, что поступающие в систему управления данные проходят через ряд фильтров. Первыми из них являются используемые в системе управления методы изучения и анализа внешней среды, посредством реализации которых входная информация, прежде чем поступить к руководству, отсеивается. Этот фильтр, как правило, настроен на прошлое и настоящее, а не на возможные экстремальные изменения ситуации в будущем.

Вторым фильтром является психологический, суть которого заключается в неприятии руководством информации вследствие ее стратегической новизны.

Третий фильтр на пути поступающей информации образует руководящая иерархия. Новая информация не сможет влиять на формирование реакции на изменения, если руководители не будут обладать достаточной властью, чтобы официально признать актуальность этой информации.

Четвертый фильтр связан с тем, что в последние годы информация рассматривается как ценный стратегический товар, к которому следует относиться бережно и не передавать его по первому требованию. Подчеркнем, что в условиях ЧС любые задержки в передаче исходной информации не только безнравственны, но и преступны».

94. Любопытство может оказаться сильнее страха смерти

Вовсе не любая информация о глобальных рисках полезна. Например, если мы произведём некий опасный эксперимент и в результате выживем, мы узнаем, что этот тип экспериментов безопасен. Но стоит ли это знание того риска, которому мы себя подвергли? Тем не менее, людям свойственно рисковать жизнью ради знаний или переживаний. Можно вспомнить, что были жертвы в толпе любопытных, наблюдавших штурм белого дома в 93 году. И, я уверен, многим людям любопытно, каков будет «конец света». Кто-то может согласиться на опасные эксперименты ради любопытства.

95. Система и регламент

Глобальная катастрофа, как и любая обычная техногенная авария, может быть не результатом какой-то одной фатальной ошибки, а следствием случайного фатального совпадения десятка незначительных ошибок. Для гладкого функционирования системы приходится позволять нарушать регламент по мелочам. И в какой-то момент эти нарушения складываются подходящим образом – непотушенный окурок, незакрытый бак, упрощённая схема запуска – и приводят к образованию цепочки событий, ведущей к катастрофе. Дальше происходит следующее: «Мне приходилось принимать участие в расследованиях (или изучать материалы) несчастных случаев и аварий в промышленности (неатомной). По их результатам я для себя сделал следующий вывод: практически никогда не бывает какой-то "единственной главной" причины и соответственно "главного виновного" (я имею в виду не официальные выводы комиссий, а фактическую сторону дела). Как правило, происходит то, что я для себя условно называю: десять маленьких разгильдяйств. Все эти маленькие разгильдяйства совершаются у всех на виду в течение многих лет подряд, а т.к. по отдельности каждое из них не способно привести к тяжелым последствиям, то в силу этого внимание на них не обращается. Но когда все они происходят в одно время, в одном месте и с одними людьми – это приводит к трагическому результату. Ну а когда происшествие имеет общественный резонанс – тогда обычно и назначают главного стрелочника по принципу: "кто не спрятался, я не виноват"[xxiii].

96. Эффект «стрелочника»

Вместо поиска подлинных причин аварии ищут стрелочника, в результате чего подлинные причины не устраняются, и она становится возможной ещё раз. В отношении глобальной катастрофы этот может иметь тот смысл, что вместо того, чтобы обнаруживать и устранять общесистемные закономерности, ведущие к ней, будет вестись борьба с частными проявлениями. Общесистемными закономерностями, ведущими к глобальной катастрофе, являются технический прогресс, принципиальная невозможность экспериментальной проверки, сверхуверенность людей и т. д., тогда как распространение генетического кода одного взятого вируса – частным проявлениям этих закономерностей.

97. Минимальный воспринимаемый риск

Существует минимальный воспринимаемый риск, то есть, если вероятность события меньше некого порога, человек воспринимает её как нулевую. Было выдвинуто предположение, что это обусловлено тем, что человек принимает решения, исходя не из реальных вероятностей, возможных вариантов событий pi, а из своих представлений о них f(pi). Например, ряд экспериментов показывает, что человек не воспринимает вероятности меньше 10‑5, несмотря на очень большой возможный ущерб[xxiv]. Это мы выше объясняли исходя из того, что такой уровень риска незаметен на фоне ежедневного риска, которому подвергается человек.

98. Отвержение новых идей

Люди и учёные часто отвергают новые идеи, так как это означало бы признать собственную неправоту. Динамика такого процесса обрисована куном в его теории научных революций, и, к сожалению, дискуссии о новых идеях часто окрашены теми же моделями поведения, что и борьба за власть в стае обезьян. Часто предупреждения о новых рисках носят не вполне доказанный характер. Пример такого отвержения, стоивший миллионы жизней – длительное отвержение идей венгерского врача Игнаца  Филиппа Земмельвейса  (1818-1865), который утверждал, что родильная горячка связана с тем, что врачи не моют руки после вскрытия трупов.

99. Воздействие эмоциональной реакции шока

Известно, что катастрофы провоцируют определённую последовательность психологических переживаний, каждое из которых влияет на объективность принимаемых решений. В книге «Психогении в экстремальных условиях» сказано: «… психологические реакции при катастрофах подразделяются на четыре фазы: героизма, «медового месяца», разочарования и восстановления»[xxv] при этом фазе героизма может предшествовать период отрицания, паники или паралича в первые мгновения катастрофы.

Каждая из этих стадий создаёт свой вид необъективности. Если начнётся глобальная катастрофа, то она будет настолько ужасна, что вызовет реакцию отрицания в духе «не может быть», «это какая-то ошибка» и т. д. Например, видеокадры о теракте 11 сентября многие восприняли как кадры из нового голливудского кинофильма. Затем идёт стадия сверхреакции, которая может создать новые опасности из-за опрометчивого поведения. Например, лётчики, вылетевшие патрулировать 11 сентября небо над Нью-Йорком, были уверены, что началась война с русскими. В том же духе было и заявление президента Буша о том, что «мы объявляем войну» в тот же день. Затем на стадии эйфории чувство опасности притупляется, хотя на самом деле опасная ситуация ещё не закончилась. Уныние, наоборот, связано не с уменьшением оценки риска, а с уменьшением мотивации с ним бороться, возможно, связанное с масштабами потерь и осознанием неизбежности. Принятие приводит к тому, что катастрофы забывается, а риск принимается как должное. То есть на этой стадии происходит и уменьшение оценки риски, и уменьшение мотивации по его преодолению. Такое описание относится к переживанию катастроф, которые начались и закончились, вроде землетрясений, и клинике острого горя при смерти близких. Однако глобальная катастрофа не относится к таким событиям – скорее, если её наступление удастся заметить, она будет выглядеть как всё более нарастающий грозный процесс.

При этом важно то, что эмоции воздействует на поведение людей независимо от того, хотят они этого, или нет, даже если они знают об этом воздействии, и хотят его избежать. На этом основано действие рекламы. Кроме того, если начнётся глобальная катастрофа, например, всеобщая эпидемия, то у почти каждого будут близкие люди, умершие в результате неё или находящиеся в зоне повышенного риска. В голливудских фильмах это изображается обычно в том духе, что главный герой успевает и страну спасти, и высвободить любимую девушку из завалов. Но на то она и сказка, что так не будет. Все люди, и принимающие решения, и исполнители, в случае глобальной катастрофы будут думать не только о судьбах планеты, но и о спасении своих близких (а также своих стран, родных городов и других общностей, с которыми они связаны), и в силу этого их выбор будет неоптимален. Даже если они примут решение пожертвовать своими близкими и целиком сосредоточиться на предотвращении катастрофы, эмоциональный стресс от такого решения нанесёт вред их объективности и работоспособности. Фактически, они будут находиться в состоянии острого горя или шока. Г.Г. Малинецкий пишет: «Ряд специалистов по психологии риска считают, что доля руководителей, способных адекватно действовать в условиях ЧС, не превышает 0,5 %»[xxvi].

100. Проблемы отбора экспертов

Поскольку по каждому отдельному вопросу мы вынуждены полагаться на мнение наиболее компетентных людей в этой области, нам нужен эффективный способ отбора таких людей – или их книг. Методики отбора экспертов обычно таковы: во-первых, имеют значение их регалии: индекс цитирования, научные звания, должности и т. д. Во-вторых, можно полагать на число сбывшихся прогнозов для того, чтобы определить вероятность их правоты. Третий способ состоит в том, чтобы не доверять никому, и перепроверять самому все чужие выкладки. Наконец, можно отбирать людей по тому, насколько они разделяют ваши убеждения – верят ли они в Сингулярность, Пик Хубберта, либеральную модель экономики и т.д. – очевидно, что в этом случае мы не узнаем ничего нового, кроме того, что и так подразумевалось нашим отбором. А очевидно, что все способы отбора экспертов содержат свои подводные камни. Например, в отношении глобальных катастроф не может быть сбывшихся прогнозов.

101. Вина и ответственность как факторы предотвращения рисков

Нашему уму свойственно пытаться определить того, кто именно виноват в той или иной катастрофе. Вина опирается на концепции свободы воли, вменяемости и последующего наказания. Однако в случае глобальной катастрофы она утрачивает всякий смысл, так как не будет ни расследования, ни наказания, ни пользы от этого наказания, ни страха наказания. С другой стороны, концентрация на поиске виноватых отвлекает от видения целостной картинки катастрофы. Фактически, мы думаем, что если мы определим виноватых и заменим их на более эффективных исполнителей, то следующий раз катастрофы не будет, а всем разгильдяям будет хороший урок и дисциплина на производстве повысится. Очевидно, однако, что наказание виноватых бесполезно, когда речь идёт о глобальных катастрофах. Возможно, имело бы смысл «судить победителей» - то есть людей, которые допустили некий глобальный риск, даже если катастрофы в результате не произошло. При этом важно повышать ответственность людей за сохранение мира, в котором они живут.

102. Недооценка сил инерции как фактора устойчивости систем

Помимо общих соображений о сложности и механизмах обратной связи, делающих систему устойчивой, можно использовать формулу Готта (см. главу непрямые способы оценки рисков) для оценки будущего времени существования системы, исходя из прошлого времени её существования. Она позволяет математически выразить тот факт, что если, например, автобуса не было около часа, то маловероятно, что он придёт в ближайшую минуту. То есть прошлое время существования системы создаёт, так сказать, «временную инерцию». Когда оказывается, что некая система более устойчива, чем нам казалось, исходя из наших теорий, мы начинаем сомневаться в наших теориях, которые могут быть по сути правильными, но ошибаться в датировке событий. Таким образом, недооценка устойчивости ведёт к недооценке рисков.

103. Мнения, обусловленные мировоззрением

Суть ошибки состоит в предположении том, что существуют истинные высказывания, не обусловленные мировоззрением. Все дискуссии о рисках глобальной катастрофы происходят на платформе определённого научного, культурного и исторического мировоззрения, которое для нас настолько очевидно, что кажется прозрачным и является незаметным. Однако возможно, что представитель другой культуры и религии будет рассуждать принципиально по-другому и предвзятость наших рассуждений будет для него также очевидна.

104. Борьба за научный приоритет

Например, в отношении глобального потепления есть несколько разных терминов, выдвинутых разными авторами с целью закрепить свой приоритет на эту концепцию: «планетарная катастрофа» у Ал. Гора, «парниковая катастрофа» у А.В.Карнаухова, «runaway global warming» в другой зарубежной литературе. Это приводит к тому, что поиск по одному из  синонимов не выдаёт результатов по другому.  Кроме того, важно отметить те трудности, которые испытывает наука с удостоверением уникальных событий, которые имели конечное число наблюдателей (в духе решения французской академии наук о том, что камни с неба падать не могут.)

 

105. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы

 И вытекающие из этого неправильное информирование начальства о ситуации. Сознательное – когда, например, военные скрывают некую аварию, чтобы их не наказали, желая справится своими силами. Когда люди не вызывают пожарных, сами туша пожар до тех пор, пока он не становится слишком обширным. Бессознательная – когда люди верят в то описание, которое уменьшает масштаб аварии и их вину. В чернобыле организатор испытаний дятлов верил, что взорвался не реактор, а бак с водой охлаждения – и продолжал подавать команды на несуществующий реактор. Вероятно, такое нежелание может действовать и вперёд во времени, заставляя людей не принимать на себя ответственность за будущие глобальные катастрофы.

106. Систематическая ошибка, связанная с эгоцентричностью

Она состоит в том, что люди приписывают себе большее влияние на результаты коллективных действий, чем на самом деле. Иногда люди преувеличивают негативное влияние (мегаломания). По мнению Майкла Анисимова, по этой причине люди преувеличивают значение собственной смерти и недооценивают смерть всей цивилизации[xxvii].

107. Систематическая ошибка, возникающая в связи с наличием или отсутствием явной причины событий

Людям свойственно более толерантно относиться к событиям, происходящим естественным образом (например, смерти от старости), чем к событиям, имеющим явную причину (смерти от болезни), и особенно – событиям, связанным со злым умыслом (убийство). В случае с глобальными рисками в настоящий момент нет объекта или человека, которого мы могли бы обвинить в том, что человеческая цивилизация вымрет. Майкл Анисимов пишет: «Поскольку на горизонте не видно плохого парня, чтобы с ним бороться, люди не испытывают такого энтузиазма, который бы они, например, испытывали, протестую против Буша»[xxviii].

107. Зависимость реакции от скорости изменения величины

Человеку свойственно сильнее реагировать на внезапно возникшие угрозы, чем на угрозы той же силы, но развившиеся постепенно. Ал Гор в своём фильме о глобальном потеплении приводит в качестве примера опыт с лягушкой. Если лягушку бросить в горячую воду, она тут же выпрыгнет, но если поместить её в сосуд с холодной  водой и нагревать, она будет сидеть в нём, пока не свариться. Точно так же и жители острова Пасхи так медленно сводили деревья, что для каждого поколения проблема была не заметна.

Глава 4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках

1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте

Первое относится к вероятностному процессу, например, радиоактивному распаду, а второе к неизвестному процессу – например, угадыванию карты. Однако глобальные риски относятся к явлениям, оценивая которые мы вынуждены высказывать вероятностные суждения о процессах, которые одновременно и вероятностные, и неизвестные. Здесь мы начинаем говорить о степени уверенности в той или иной вероятности. В этом случае вероятность и степень уверенности перемножаются.

2. Подмена анализа возможностей анализом целей

Например, рассуждения вроде «террористы никогда не захотят применять бактериологическое оружие, потому что оно нанесёт удар и по тем, чьи интересы они защищают». Структура целей может быть очень сложна или просто содержать в себе ошибки.

3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго

Это высказывание работает только в том случае, если мы однократно нечто наблюдали в случайный момент времени и вероятность в таком случае описывается формулой Готта. Она даёт шанс завершения для произвольного события в 50 процентов  в промежуток от 1/3T до 3T, где T – возраст объекта в момент его случайного обнаружения. Однако если мы очень долго наблюдаем некий процесс, то он очевидным образом, приближается к своему концу. Например, если мы возьмём случайного человека, то он, скорее всего, будет среднего возраста. Однако если взять случайного человека и потом очень долго наблюдать, то мы однозначно получим глубокого старика, который может умереть в любой момент. (Подробнее см. мою статью «Природные катастрофы и антропный принцип»[xxix].)

4. Мышление, обусловленное желанием нечто доказать

В зависимости от того, что человек хочет доказать, он будет подбирать те или иные аргументы, часто неосознанно. Другое название для этой модели – «рационализация», то есть подбор псевдорациональных аргументов под некое исходно иррациональное утверждение.

5. Логическая ошибка, возникающая при попытках доказать, что нужно делать, исходя только из описания фактов

Если в первой и второй посылке умозаключения содержатся только факты, то и в выводе могут быть только факты. Любое рассуждение о целях должно опираться на некие представления о ценностях, заданных аксиоматически. Однако это означает произвольность таких целей, и их понимание может различаться у разных исследователей глобальных рисков, что может вести к разным определениям катастрофы и представлениям о том, что будет из неё выходом. Кроме того, любая система аксиом позволяет формулировать недоказуемые высказывания (как показал Гёдель в теореме о неполноте), и в отношении долженствований в этом легко убедиться: почти любая система базовых ценностей легко позволяет создавать внутри себя противоречия, что является основным содержанием многих литературных произведений, где герой должен сделать выбор между, допустим, любовью к семье и к родине (то, что ещё называется экзистенциальный выбор). Неизвестно, возможна ли вообще непротиворечивая система ценностей, как она будет выглядеть, и будет ли применима на практике. Однако работа над непротиворечивой системой ценностей важна, так как её нужно будет вложить в будущие машины, обладающие искусственным интеллектом.

6. Ошибки, связанные с подменой анализа рисков анализом коммерческих мотивов тех, кто о них говорит

Можно рассуждать следующим образом: если человек исследует риски бесплатно, то он безработный и маргинал, если он хочет получать за это деньги, то он паразитирует на общественных страхах, если это его прямые должностные обязанности, то доверять ему нельзя, потому что он агент государства и запудривает мозги населению. Отсюда видно, что прямой связи между деньгами и анализом рисков нет, хотя в некоторых случаях она возможна. Объяснение через упрощение называется «редукционизмом» и позволяет объяснить всё, что угодно.

7. Использование так называемого «авторитетного знания»

«Авторитетное знание» было основным источником сведений о мире в Средние века, когда истину искали в трудах Аристотеля; потом изобрели эмпирический метод. Ссылки на мнения великих людей не должны служить достаточным основанием, чтобы признать нечто безопасным. Только регулярно повторяемые вычисления могут указывать на это.

8. Неправильное применение идеи о том, что теория должна считаться истинной, только если она доказана

 Если рассматривать научный метод, как способ получения наиболее достоверных знаний, то эта методология верна. Однако с точки зрения обеспечения безопасности необходим противоположный подход: некое предположение должно считаться опасным до тех пор, пока оно не опровергнуто. Например, новая модель самолёта считается опасной, до тех пор пока не будет доказано, путём теоретических выкладок и испытательных полётов во всех режимах, что она безопасна; тот же принцип лежит в основе клинического тестирования новых лекарств. Неясно так же, как применять принцип фальсифицируемости в отношении теорий о тех или иных глобальных катастрофах.

9. Восприятие новой информации через призму старой

 В процессе восприятия человек только часть информации берёт из внешнего мира, а остальное достраивает на основании своей памяти, ожиданий и ассоциаций. Увы, то же самое верно и для текстов, в том числе и по глобальным рискам. Читая рецензии разных людей на один и тот же текст, не трудно убедиться, что они восприняли его совершенно по-разному. Вряд ли это связано с тем, что одни люди были принципиально умнее других – скорее, с тем, что они применяли разные фильтры восприятия. Более того, если человек начал придерживаться некой точки зрения, то он подписывается на те издания и выбирает те статьи, которые её подтверждают. Таким образом, у него создаётся иллюзия, что статистика по данным, подтверждающим его точку зрения, растёт. Это ещё более укрепляет и его фильтр, и его уверенность в этих данных.

10. Ошибка в выборе нейтральной позиции

Каждый человек со временем понимает, что он не вполне объективен, и его точка зрения имеет некоторую тенденциозность. Чтобы компенсировать это отклонение, он может выбрать некий нейтральный источник информации. Ошибка состоит в том, что люди, придерживающиеся противоположных взглядов, выберут разные нейтральные точки, каждая из которых будет ближе к позиции того, кто её выбрал. Похожую ошибку мы описывали выше, когда приводили результаты опытов, в которых испытуемые были предупреждены о возможной ошибке и делали на неё поправку – и, тем не менее, всё равно недооценивали. Вероятно, поправку надо было давать не только к основному параметру, но и к самой поправке.

11. Уверенность как источник ошибок

Чем больше человек сомневается в своей точке зрения, тем чаще он меняет её под влиянием новых фактов, и тем больше шансов, что он попадёт к более достоверному знанию. Если же человек слишком уверен в своём мнении, ему трудно его изменить. Если же он слишком изменчив, то он не приближается к истине, а ходит по кругу.

12. Использование полностью ошибочной логики

Увы, возможна ситуация, когда человек в своих рассуждениях совершает ошибки «в каждой строчке». В этом случае он не мог бы найти свои ошибки, даже если бы хотел. Это может быть или одна повторяющаяся систематическая ошибка, или такая плотность разных ошибок, которая делает невозможным безошибочное рассуждение. Даже я сейчас не знаю наверняка, не делаю ли я каких-либо систематических логических ошибок в настоящий момент. Это может происходить чаще, чем мы думаем – анализ научных текстов показал, что обычно люди пользуются сокращёнными умозаключениями и приёмами эвристики – и не осознают этого.

13. Смешение преднауки и псевдонауки

В тот момент, когда гипотеза находится в процессе формулирования, она ещё не обросла всем научным аппаратом и является, скорее, продуктом мозгового штурма на некую тему, возможно, осуществляемого коллективно путём обмена мнениями в печатных изданиях. И в этот момент она является преднаукой – однако она нацелена на то, чтобы стать частью науки, то есть пройти соответствующий отбор и быть принятой или отвергнутой. Псевдонаука может имитировать все атрибуты научности – звания, ссылки, математический аппарат, – тем не менее, её цель – не поиск достоверного знания, а видимость достоверности. Все высказывания о глобальных рисках являются гипотезами, которые мы почти никогда не сможем проверить. Однако мы не должны отбрасывать их на ранних фазах созревания. Иначе говоря, фаза мозгового штурма и фаза критического отсева не должны смешиваться – хотя обе должны присутствовать.

14. Ошибка, связанная с неправильным определением статуса «универсалий»

Проблема реальности универсалий (то есть обобщений) была основной в средневековой философии, и состояла она в вопросе, какие объекты на самом деле реально существует. Существуют ли, например, птицы вообще, или существуют только отдельные экземпляры птиц, а все виды, рода и семейства птиц – не более чем условная выдумка человеческого разума? Одним из возможных ответов является то, что объективно существует наша способность различать птиц и не-птиц. Более того, каждая птица тоже обладает этим качеством, и в силу этого универсалии существуют объективно. В рассуждения о рисках неясность по поводу универсалий вкрадывается следующим образом: свойства одного объекта переносятся на некий класс, как если бы этот класс был объектом. Тогда возникают рассуждения вроде «Америка хочет…» или «русским свойственно…», тогда как за этими понятиями стоит не единый объект, а множество, точное определение которого зависит от самого наблюдателя. Любые дискуссии о политике отравлены такого рода сдвигом. Рассуждая об искусственном интеллекте легко совершить такую ошибку, так как не понятно, идёт ли речь об одном устройстве или о классе объектов.

15. Утверждения о возможности чего-то и невозможности неравносильны

Утверждение о невозможности гораздо сильнее, ибо относится ко всему множеству потенциальных объектов, а для истинности утверждения о возможности достаточно одного объекта. Поэтому утверждения о невозможности чего-либо являются ложными гораздо чаще. Предполагая какое-то событие или стечение обстоятельств невозможным, мы наносим ущерб нашей безопасности. В определённых обстоятельствах возможно всё. При этом любые дискуссии о будущих катастрофах – это всегда дискуссии о возможностях. Как говорится: если мне говорят, что нечто невозможно, я отвечаю: докажите.

16. Очевидности как источник ошибок

Правильное умозаключение всегда опирается на две посылки, два истинных суждения. Однако анализ текстов показывает, что люди очень редко употребляют полную форму умозаключений, а вместо этого употребляют сокращённую, где явно называется только одна посылка, а другая подразумевается по умолчанию. Умалчиваются обычно очевидности – суждения, кажущиеся настолько истинными и несомненными, что нет нужды их озвучивать. Более того, часто они настолько очевидны, что не осознаются. Понятно, что такое положение дел является причиной многочисленных ошибок, потому что очевидность – не обязательно истинность, и то, что очевидно одному, не очевидно другому.

17. Недооценка собственной ошибочности

Как и любой человек, я склонен ошибаться, что связано как с принципиальной ненадёжностью человеческого мозга, связанной с вероятностной природой его работы, так и с неполнотой моих знаний о мире и навыков устранения ошибок. Я ничего не могу знать на 100 %, потому что надёжность моего мозга не равна 100 %. Я могу проверить свою надёжность, решив серию логических задач средний сложности, и затем посчитав количество ошибок. Однако обычно этого не делается, и собственная ошибочность оценивается интуитивно. Точно также человек обычно не измеряет характерную ошибочность своих суждений о будущем, хотя это возможно сделать экспериментально: например, написать прогноз своей и общественной жизни на год или пять лет и затем сравнить.

18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину

В действительности:

 а) есть совершенно случайные события.

 б) каждое событие имеет много причин (стакан упал, потому что его поставили с краю, потому что он сделан из стекла, потому что сила тяготения велика, потому что пол твёрдый, потому что кошка непослушная, потому что это рано или поздно должно было случиться).

в) каждая причина имеет свою причину, в результате чего мы имеем расходящееся в прошлое древо причин. Человеческий ум неспособен целиком это древо причин охватить и вынужден упрощать. Но понятие «причина» необходимо в обществе, потому что связано с виной, наказанием и свободой воли. То есть здесь под «причинной» имеется в виду принятие свободным вменяемым человеком решения о совершении преступления. Нет нужды говорить о том, сколько здесь неочевидных моментов. (основной вопрос: Кто виноват?)

И в конструировании техники: где важно найти причину аварии. То есть то, что можно устранить – так чтобы аварий такого рода больше не было. (основной вопрос: Что делать?)

Понятие причина менее всего применимо к анализу сложных уникальных явлений, таких как человеческое поведение и история. Пример тому – масса запутанных дискуссий о причинах тех или иных исторических событий. Именно поэтому рассуждения в роде «причиной глобальной катастрофы будет Х» – мягко говоря, несовершенны.

19. Необходимость выбора на основе веры

Если руководитель получает несколько противоречащих друг другу заключений о безопасности, то он делает выбор между ними, просто веря в одно из них – по причинам, не связанным с самой логикой. Здесь также можно вспомнить термин «экзистенциальный выбор», когда человек должен сделать выбор в неформализуемой ситуации. Например, между любовью и долгом.

20. Эффект первой и последней прочитанной книги

Порядок поступления информации влияет на её оценку, причём выделены первый и последний источник. Это одна из форм ошибочности, связанной с доступностью информации.

21. Преувеличение роли компьютерного моделирования

Наиболее две проработанные модели – метеорология и атомные взрывы. Обе составлены на огромном фактическом материале, с учётом сотен испытаний, которые вносили поправки к прогнозам, и обе регулярно давали ошибки. Даже самая точная модель остаётся моделью. Поэтому мы не можем сильно полагаться на компьютерное моделирование уникальных событий, к каковым относится глобальная катастрофа.

22. Доказательство по аналогии как источник возможных ошибок

Дело не только в том, что не может быть аналогий уникальному событию, которое ещё никогда не случалось – необратимой глобальной катастрофе, но и в том, что мы не знаем, как проводить такие аналогии. В любом случае, аналогии могут только иллюстрировать. Вероятно, полезно принимать аналогии, когда они говорят о реальности некой угрозы, но не когда – о безопасности.

23. Ошибка, связанная с неточностью экстраполяции экспоненциальной вероятностной функции с помощью линейной

Вероятностную функцию гибели цивилизации – если считать это процесс гладким в смысле вероятности, что, конечно, неверно – можно уподобить функции распада радиоактивного атома, которая, как известно, описывается экспонентой. Например, если вероятность гибели цивилизации в течение XXI века равна 50  %, как это предполагает сэр Мартин Рис в книге «Наш последний час», то через 200 лет шанс выживания цивилизации будет 25  %, а через тысячу лет – только 0,1  % – при равномерном сохранении тех же тенденций. Отсюда видно, что неверно заключать, что раз шансы выживания в течение тысячелетия составляет 0,1  %, то для одного столетия оно будет в только десять раз больше, то есть 1  %. Эта же ошибка в менее явном виде возникает, если нам нужно экстраполировать эти же 50  % выживания в течение 100 лет на погодовую вероятность гибели. Линейная аппроксимация дала бы 0,5  % на год. Однако точное значение, вычисленное по формуле , составляет примерно 0,7  %, то есть в 1,4 раза выше, чем даёт интуитивная линейная аппроксимация.

24. Санкт-Петербургский парадокс

Этот парадокс имеет прямое отношение к глобальным катастрофам, поскольку показывает то, что бесконечно большой ущерб от крайне редких событий имеет больший вес, чем все остальные события, однако психологически люди не готовы это воспринять. Г.Г. Малинецкий так описывает этот парадокс в книге «Риск. Устойчивое развитие. Синергетика»: «Рассмотрим следующую игру. Подбрасывается монета до тех пор, пока в первый раз не выпадет орел. Если потребовалось n бросков, то выигрыш составит 2n единиц. То есть выигрыши 2,4,8,…2n будут происходить с вероятностью 1/2,1/4,1/8,…1/2n. Ожидаемый выигрыш в этой игре бесконечен:

.                                                                         

Спрашивается, сколько человек готов заплатить за право войти в такую игру. Парадокс состоит в том, что большинство людей готово заплатить за это право не более 100, а иногда и 20 единиц»

25. Различие между опасностью и риском

Риск создаётся принимаемыми решениями, а опасности – обстоятельствами. Поскольку основным источником риска глобальных катастроф являются новые технологии, то именно решения об их развитии и применении определяют его. Однако если технологии развиваются стихийно и неосознанно, то они становятся подобны природным опасностям.

26. Ошибка, связанная с тем, что если вероятность некого события является невычислимой, ей полагают нулевой

Тогда как принцип предосторожности требовал бы, чтобы мы приписывали таким событиям 100 процентную вероятность. Однако это привело бы к абсурдным выводам в духе: вероятность высадки инопланетян завтра неизвестна, поэтому мы должны к ней готовиться так, как если бы она была равна 100 процентам. В этом случае можно пользоваться непрямыми способами оценки вероятности, например, формулой Готта.

27. Упущение того, что безопасность системы определяется наиболее слабым её звеном

Если в помещение есть три параллельных двери, одна из которых заперта тремя замками, вторая - двумя, а третья – одним, то помещение заперто на один замок. Как не укрепляй две самые прочные двери, это ничего не изменит.

28. Отвержение гипотез без рассмотрения

Для того, чтобы отвергнуть некую гипотезу, её надо вначале рассмотреть. Но часто эта последовательность нарушается. Люди отказываются рассматривать те или иные невероятные предположения, потому что они их отвергают. Однако надёжно отвергнуть некое предположение можно, только тщательно его рассмотрев, а для этого его необходимо хотя бы на некоторое время принять всерьёз.

29. Невычислимость

Целый ряд принципиально важных для нас процессов настолько сложен, что предсказать их невозможно, поскольку они невычислимы. Невычислимость может иметь разные причины.

·              Она может быть связана с непостижимостью процесса (например, Технологическая Сингулярность, или, например, то, как теорема Ферма непостижима для собаки), то есть связана с принципиальной качественной ограниченностью человеческого мозга. (Такова наша ситуация с предвидением поведения Суперинтеллекта в виде ИИ.)

·              Она может быть связана с квантовыми процессами, которые делают возможным только вероятностное предсказание, то есть недетерминированностью систем (прогноз погоды, мозга).

·              Она может быть связана со сверхсложностью систем, в силу которой каждый новый фактор полностью меняет наше представление об окончательном исходе. К таковым относятся: модели глобального потепления,  ядерной зимы, глобальной экономики, модели исчерпания ресурсов. Четыре последние области знаний объединяются тем, что каждая описывает уникальное событие, которое ещё никогда не было в истории, то есть является опережающей моделью.

·              Невычислимость может быть связана с тем, что подразумеваемый объём вычислений хотя и конечен, но настолько велик, что ни один мыслимый компьютер не сможет его выполнить за время существования вселенной (такая невычислимость используется в криптографии). Этот вид невычислимости проявляться в виде хаотической детерминированной системой.

·              Невычислимость связана также с тем, что хотя нам может быть известна правильная теория (наряду со многими другими), мы не можем знать, какая именно теория правильна. То есть теория, помимо правильности, должна быть легко доказуемой для всех, а это не одно тоже, в условиях, когда экспериментальная проверка невозможна.  В некотором смысле способом вычисления правильности теории, а точнее – меры уверенности в них, является рынок, где или делаются прямые ставки на некий исход, или на цену некого товара, связанного с прогнозом, например, цены на нефть. Однако на рыночную цену теория влияет много других факторов: спекуляции, эмоции или нерыночная природа самого объекта. (Бессмысленно страховаться от глобальной катастрофы, так как некому и не перед кем будет за неё расплачиваться, и в силу этого можно сказать, что её страховая цена равна нулю.)

·              Ещё один вид невычислимости связан с возможностью осуществления самосбывающихся или самоотрицающих прогнозов, которые делают систему принципиально нестабильной и непредсказуемой.

·              Невычислимость, связанная с предположением о собственном местоположении (self-sampling assumption – см. об этом книгу Н.Бострома[xxx]). Суть этого предположения состоит в том, что в некоторых ситуация я должен рассматривать самого себя как случайного представителя из некоторого множества людей. Например, рассматривая самого себя как обычного человека, я могу заключить, что я с вероятностью в 1/12 имел шансы родиться в сентябре. Или с вероятностью, допустим, 1 к 1000 я мог бы родиться карликом. Это иногда позволяет делать предсказания на будущее: а именно, если в России 100 миллиардеров, то шансы, что я стану миллиардером, составляют один к 1,5 миллионам, в предположении, что эта пропорция будет сохраняться. К невычислимости это приводит, когда я пытаюсь применить предположение о собственном местоположении к своим собственным знаниям. Например, если я знаю, что только 10 % футурологов дают правильные предсказания, то я должен заключить, что с шансами 90 % любые мои предсказания неправильные. Большинство людей не замечают этого, поскольку за счёт сверхуверенности и повышенной оценки рассматривают себя не как одного из представителей множества, а как «элиту» этого множества, обладающей повышенной способностью к предсказаниям. Это особенно проявляется в азартных играх и игре на рынке, где люди не следуют очевидной мысли: «Большинство людей проигрывает в рулетку, следовательно, я, скорее всего, проиграю».

·              Похожая форма невычислимости связана с информационной нейтральностью рынка. (Сказанное далее является значительным упрощением теории рынка и проблем информационной ценности даваемых им показателей. Однако более подробное рассмотрение не снимает названную проблему, а только усложняет её, создавая ещё один уровень невычислимости – а именно невозможности для обычного человека ухватить всю полноту знаний, связанную с теорией предсказаний, а также неопределённости в том, какая именно из теорий предсказаний истинна. См. об информационной ценности рынка так называемую «no trade theorem»[xxxi].)  Идеальный рынок находится в равновесии, в котором половина игроков считает, что товар будет дорожать, а половина – что дешеветь. Иначе говоря, выиграть в игре с нулевой сумме может только более умный или осведомленный, чем большинство людей, человек. Однако большинство людей не являются более умными, чем все, по определению, хотя и не способны осознать это по причине психологической предвзятости. (В результате чего, например, большинство водителей считают себя более аккуратными водителями, чем среднестатистический водитель.) например, цена на нефть находится на таком уровне, что не даёт явных подтверждений ни предположению о неизбежности кризиса, связанного с исчерпанием нефти, ни предположению о неограниченности нефтяных запасов. В результате рациональный игрок не получает никакой информации о том, к какому сценарию ему готовится. Та же самая ситуация относится и к спорам: если некий человек выбрал доказывать точку зрения, противоположную вашей, и вам ничего неизвестно о его интеллекте, образованности и источниках информации – и при этом вы полагаете, что вы также являетесь средним, человеком, а не особенным, что особенно трудно -, а также о своём объективном рейтинге, то есть шансы 50 на 50, что он прав, а не вы. Поскольку объективно измерить свой интеллект и осведомленность крайне трудно из-за желания их переоценить, то следует считать их находящимися в середине спектра.

·              Поскольку в современном обществе действуют механизмы превращения любых будущих параметров в рыночные индексы (например, торговля квотами по Киотскому протоколу на выбросы углекислого газа или ставки на выборы, войну и т. д, фьючерсы на погоду), то это вносит дополнительный элемент принципиальной непредсказуемости во все виды деятельности. В силу такой торговли мы не можем узнать наверняка, будет ли глобальное потепление, исчерпание нефти, какова реальная угроза птичьего гриппа.

·              Ещё одна причина невычислимости – секретность. Если мы пытаемся учесть эту секретность через разные «теории заговора» в духе книги Симмонса «Сумерки в пустыне»[xxxii] о преувеличенности оценок запасов Саудовской нефти, то мы получаем расходящееся пространство интерпретаций. (То есть, в отличие от обычного случая, когда точность повышается с числом измерений, здесь каждый новый факт только увеличивает раскол между противоположными интерпретациями.) Ни один человек на Земле не обладает всей полнотой секретной информации, поскольку у разных организаций разные секреты.

·              Рыночные механизмы побуждают людей лгать о качествах их товаров и о прогнозах своих фирм, с тем, чтобы получить бОльшую выгоду на интересующем их промежутке времени. Яркий пример этого мы видим в последствиях так называемой «революции менеджеров», когда управленцы сменили собственников в директорате фирм в 70е годы. В результате они стали более заинтересованы получать краткосрочную прибыли в течение срока своей работы в компании, не рассматривая риски для компании за пределами этого срока.

Психологический аспект этой проблемы заключается в том, что люди рассуждают так, как если бы никакой невычислимости не было. Другими словами, можно обнаружить сколько угодно мнений и рассуждений о будущем, в которых его принципиальная и многосторонняя непредсказуемость вовсе не учитывается, равно как и ограниченность человеческой способности достоверно о нём рассуждать.

Глава 5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта

1. Разброс мнений по вопросу о безопасности ИИ означает отсутствие реальных доказательств безопасности

Специалисты по компьютерам высказывают много разных мнений о причинах того, почему, по их мнению, ИИ безопасен. Эти высказывания взаимоисключают друг друга, и, значит, значительная их часть ложна. Поэтому мы смело можем привести их в качестве примеров ошибок, не вдаваясь в доказательства ложности каждого отдельного высказывания. Я провёл в Интернете опрос среди разработчиков ИИ[xxxiii], на тему того, что является гарантией безопасности ИИ, и получил следующий разброс мнений, с примерно одинаковым числом людей, придерживающимся того или иного мнения. Итак, «ИИ является безопасным, потому что»:

1)           потому что ИИ невозможен.

2)           потому что Ии может решать только узкие задачи, вроде распознания образов.

3)           потому что, когда мы сделаем универсальный ИИ, мы введём в него Три закона робототехники Азимова.

4)           Потому что я знаю, как использовать ИИ во благо людям.

5)           Потому что Ии будет обладать сверхчеловеческой мудростью по определению и не захочет причинять вреда людям.

6)           Потому что ИИ ничего не нужно от людей, и мы можем мирно сосуществовать друг с другом.

7)           Потому что он будет заперт в моём компьютере, и если что-то пойдёт не так, я выключу электричество.

8)           потому что у ИИ не может быть своей воли.

9)           ИИ невозможен без свободы воли, поэтому мы должны предоставить ему свободу.

10)       Потому что ИИ не может сделать ничего плохого.

11)       ИИ может быть опасен, но, скорее всего, всё обойдётся.

12)       Нет, ИИ опасен, и мы все обречены.

13)       Ии уничтожит человечество, и именно к этому мы должны стремиться, так как ИИ – это более прогрессивная форма эволюции.

В ходе опроса оказалось, что эти мнения распределены более-менее равномерно. Это значит, что сумма информации по вопросу о безопасности ИИ, которой обладают исследователи ИИ в целом, равна нулю.

2. Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код

Сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется. Это верно и насчёт систем целеполагания, каковыми, например, являются законы. Не следует рассчитывать, что мы сможем создать свод правил поведения для ИИ, несодержащий ошибок.

3. Ошибки в критике ИИ Пенроузом

Р. Пенроуз в книге «Новый ум короля»[xxxiv] утверждает, что ИИ невозможен, потому что в мозгу происходят невычислимые квантовые процессы, которые необходимы для творческого мышления и сознания[xxxv]. На основании этого часто утверждается, что опасный ИИ невозможен. Мне представляется, что данный вывод не вполне корректен по следующим причинам:

1. Квантовая природа сознания – это далеко не мэйнстрим науки. Мы не можем основывать безопасность человечества на недоказанной (хотя и интересной) теории.

2. Невозможно доказать невозможность чего-либо в природе теоретически. (Но возможность доказать можно – например, фон Нейман доказал возможность самовоспроизводящихся механизмов[xxxvi].)

3. Для того чтобы ИИ стал опасен, ему не нужно обладать ни сознанием, ни способностью к творчеству. Современный Ии может обыграть любого человека в шахматы, не используя ни сознания, ни интуиции. То есть интуиция – это только полезная характеристика, сокращающая скорость перебора комбинаций, но заменяемая алгоритмами. Достаточно сказать, что опасный ИИ – это ИИ, который может обыграть человека в любой игре. Война и зарабатывание денег – это разновидности таких игр.

4. Если некие особые квантовые функции выполняются нейронами или микротрубками, то ничто не мешает использовать их как элементы будущего мощного ИИ – например, в виде внешнего сопроцессора. Квантовые компьютеры являются одним из вариантов реализации. В конце концов, сильный Ии может возникнуть не как компьютер, а как генетически модифицированный человек с нейрошунтом (то есть подключённый напрямую к компьютеру). И на худой конец, если обнаружится класс задач, доступных человеку, но не доступных компьютеру, возможна ситуация прямой эксплуатации людей для решения этих задач, при этом каждый из людей не будет знать, как именно будет применяться его решение. Так, например, работают сейчас спамерские программы – они просят людей на своём сайте с «клубничкой» распознать контрольные цифры на рисунке, взятом с другого сайта, и таким образом получают доступ к этому другому сайту. При этом людей используют вслепую, так как люди не знают, что результаты их распознавания будут использованы в другом месте. Похожим образом государство нанимает учёных для разработке оружия.

5. Значительное число важных задач можно решить перебором, то есть путём осуществления конечного числа операций. Например, это может быть перебор всех возможных комбинаций знаков, порождающих текст доказательства теоремы. Иначе говоря, есть алгоритм, позволяющий решить любую задачу. И вопрос только в его оптимизации. Возможно, что решение тех задач, от которых может зависеть судьба человечества, вполне возможно перебором, даже если существуют некоторые задачи, которые перебором не решаются за время существования Вселенной.

6. Если удастся доказать, что сознание всё-таки обладает квантовой природой, это откроет новый мир возможностей, а значит и новых рисков.

4. Представление о том, что 3-х законов робототехники А.Азимова достаточно, чтобы решить все проблемы с безопасностью ИИ

Уже неоднократно показывалось в разных исследованиях, что законы робототехники не являются гарантией безопасности Ии в сколько-нибудь значительной мере[xxxvii]:

1.           Эти законы являются тавтологией, так как из них следует, что ИИ будет безопасен, потому что он не будет причинять вреда.

2.           Они содержат в себе противоречия, которое мастерски обыгрывается самим Азимовым в его рассказах – робот часто испытывает конфликт между 1, 2 и 3 законами и в результате ведёт себя опасным образом.

3.           Эти законы относятся к автономным роботам, а не к ИИ, который не привязан к одному механизму.

4.           Они опираются на интуитивное понятие «вреда», которое не определяется ими и поэтому может принимать произвольную форму. Например: жить вредно, потому что от этого умирают.

5.           Эти законы являются скорее пожеланиями – то есть тем, что мы хотим от ИИ, а не правилами, которыми он мог бы руководствоваться. Неизвестно, как именно поместить эти законы в ИИ.

5. Ошибочные представления о том, что прогресс в области программного обеспечения отсутствует

Алгоритмы разложения чисел на множители улучшаются быстрее, чем аппаратное обеспечение[xxxviii]. Есть прогресс и в других областях, но он менее измерим. В конце концов, прогресс аппаратуры – это тоже прогресс нашего понимания того, как сделать микросхемы меньше.

6. Ошибочные представления о том, что никто в мире не занимается такой «малоперспективной» темой как ИИ

Известно несколько фирм и людей, которые активно работают над созданием универсального ИИ – Numenta, Novamenta, SIAI, a2i2. Более подробный обзор программ по созданию ИИ см. в главе о рисках ИИ.

7. Ошибочные представления о том, что ИИ – это разные конкретные приложения, вроде техники распознания образов

Здесь происходит подмена тезисов. В данной книге под «Ии» имеется в виду именно Искусственный Интеллект. От того, что кто-то распространяет свои разработки под брендом «ИИ», хотя они на самом деле им не являются, не следует, что ИИ невозможен. В англоязычной литературе распространён термин GAI General AI – Универсальный искусственный интеллект, который предназначен для устранения этой двусмысленности, также предлагают использовать термин «искусственный разум».

8. Антропоморфизм

Бессознательно мы очеловечиваем ИИ множеством разных способов, и это формирует наши ожидания. Подробнее см. в статье Юдковски в приложении. В частности, мы воспринимаем ИИ как объект, который где-то находится, имеет чёткие границы, цели и т. д.

9. Ошибочное представление о том, что достаточно отключить ИИ от питания, чтобы его остановить

Это утверждение базируется на предположении, что программист Ии будет знать, когда процесс пошёл неправильно – очевидно, неверном. Второе неверное предположение – о локальности ИИ. Третье – о том, что ИИ не сможет защитить своё питание, или замаскировавшись, или уйдя в сеть. Четвёртое – что программист не может быть в сговоре с ИИ (и/или обманут им).

10. Ошибочное представление о том, что, даже распространившись по Интернету, Ии никак не сможет воздействовать на внешний мир

Неверно – в Интернете можно зарабатывать деньги и заказывать любые действия во внешнем мире. Кроме того, возможен договор с людьми, шантаж и прямое управление механизмами.

11. Ошибочное представление о том, что у ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред

Чтобы ИИ заработал, перед ним поставят некие задачи. В процессе выполнения их он может реализовывать те или иные подцели. Эти подцели могут быть очень опасны, если на них несформулировано правильных ограничений. Наиболее известный пример – некому ИИ поручают доказать гипотезу Римана и ради этой цели он превращает всё вещество Солнечной системы в вычислительные устройства.

12. Ошибочное представление о том, что ИИ будет осваивать космос, оставив Землю человеку

Это хорошее пожелание, но в нём уже есть горечь капитуляции. Нет никаких оснований думать, что ИИ обязан и будет это на самом деле это делать.

13. Ошибочное представление о том, что любой ИИ является интеллектом, поэтому он обладает целью X (подставить нужное), и это благо

Интеллект – это инструмент, который может быть направлен на достижение произвольной цели. Люди пользуются мощнейшим интеллектом, чтобы достигать примитивных целей, которые свойственны альфа-самцу обезьяньего стада – топить конкурентов, добиваться расположения самок, доставать пропитание – и ради всего этого пишутся стихи, доказываются теоремы, плетутся заговоры. Поэтому наличие интеллекта не означает никакой однозначной цели. (И думать так, значит переходить от фактов к долженствованиям, что содержит в себе всегда логическую ошибку.) И уж тем более абстрактная цель (познать мир, например) не может быть конкретным благом для всех людей, ибо всё зависит от способов реализации этой цели.

14. Ошибочное представление о том, что современные компьютеры очень ограничены в своих возможностях, поэтому Ии будет только в отдалённом будущем

Поскольку мы не знаем, что такое ИИ, мы не знаем, что именно должно быть изобретено, чтобы его создать, а потому не можем высказывать точные временные прогнозы. ИИ может возникнуть и завтра – компания a2i2 планирует завершить свой проект в 2008 г., другие проекты ориентируются на 2011 г. Существующие темпы прогресса в области создания мощных компьютеров достаточны, чтобы создать компьютеры, близкие по производительности нашему мозгу, в ближайшие годы, и нет неизбежных причин, по которым рост мощности компьютеров должен замедлится.

15. Ошибочное представление о том, что прогресс в понимании работы мозга идёт очень медленно, поэтому ИИ будет работать очень медленно

Но медленность подготовительных процессов не означает медленности самого процесса. Юдковски в статье, которую Вы найдёте в приложении, опровергает это примером разницы между временем разработки ядерного оружия и скоростью процессов в бомбе.

16. Ошибочное представление о том, что человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому Ии не представляет никакой угрозы

«X» может иметь в разных интерпретациях качества творческих озарений, интуиции, быстрого распознавание образов, переживания чувств, осознания, любви. Однако:

1.           Мы не знаем, чего может или не может ИИ, пока не сделаем его.

2.           ИИ может быть опасен, даже если он не может делать Х. Например, он может выигрывать у нас в шахматы, на бирже, или в любую другую жизненно важную для нас игру.

3.           если есть некая задача, которую может решать только человек, ИИ может нанять или подчинить себе людей для её решения. Например, современное государство нанимает учёных, и даёт каждому фрагмент задачи по разработке, скажем, атомной бомбы.

17. Ошибочное представление о том, что ИИ невозможен, потому что он мыслит алгоритмически, а человек – неалгоритмически

Требование алгоритмичности при создании ИИ не является необходимым. Генетические алгоритмы, квантовые компьютеры, вживление нейронов в чипы и рандомизированные методы делают требование алгоритмичности условным. Вопрос о том, как именно мыслит человек, пока не открыт.  недавно удалось научить компьютер играть лучше человека в покер (техасский халдом – а ведь именно покер считается той игрой, в которой особенно важна интуиция) и лучше человека играть на бирже (на моделях). Это означает, что реальные люди будут терять деньги, сталкиваясь с компьютерами на бирже или на онлайн турнирах. Видимо, что для них вопрос о том, обладает ли компьютер сознанием или является калькулятором не так важен, как то, сколько они потеряли. если компьютер научится распознавать образы внешнего мира, то он сможет также эффективно побеждать в спорах, преследовать вас в лесу, стрелять по целям, делать чертежи.

Человеку приятно думать, что он лучше (умнее, совершеннее и т. д.) компьютера, потому что у него есть интуиция. Однако раз так, то надо относиться с подозрением к этой идее, так как она может быть обусловлена эмоциями. Мы не можем строить свою систему безопасности на утверждении, которое нам приятно. а вдруг мы недооцениваем силу алгоритмов? Вдруг есть такой алгоритм, который работает мощнее нашей интуиции?

18. Ошибочное представление о том, что ИИ будет примерно такой же умный, как и человек

Есть ошибочное представление о том, что ИИ будет обладать примерно человеческими способностями, и в будущем образуется общество, состоящее из людей и «роботов». Однако множество возможных человеческих умов, скорее всего, является только малой частью множества вообще возможных умов. Поэтому маловероятно, что, достигнув человеческого уровня, ИИ на нём остановится. Увеличив его скорость работы, соединив его с тысячами других ИИ, добавив компьютерную безошибочность и память, мы можем в тысячи раз усилить ИИ человеческого уровня, не совершая принципиальных открытий.

19. Ошибочное представление о том, что ИИ будет равноправным сотрудником человека с теми же возможностями и правами

Здесь путают ИИ и отдельного робота. В том случае, если его возможности будут бесконечно превосходить человеческие, то «равноправие» их будет сильно в ущерб людям. Поскольку в любом равном соревновании он будет обыгрывать людей. Кроме того, у него могут быть свои представления о равноправии.

20. Ошибочное представление о том, что ИИ будет много

Когда мы говорим «вирус распространяется в Интернете», мы имеем в виду один вирус, хотя у него имеется много копий. Когда мы говорим об Интернете, мы имеем в виду один Интернет. Когда мы говорим о государстве (находясь внутри него) мы тоже имеем в виду одно государство. Так же и ИИ будет один, хотя у него может быть множество копий и проявлений. Даже если будет несколько видов ИИ, то среди них только один будет главным. То есть мы скорее столкнёмся не с множеством отдельных разумных машин, а с одной системой нечеловеческих масштабов; примерами таких систем являются наука, государство и Интернет.

21. Различия в понимании того, что, собственно, является интеллектом

Вероятно, дать правильное определение интеллекта – это уже почти создать искусственный интеллект. С точки зрения безопасности такое определение дать проще: Ии – это машина, способная побеждать человека в любом виде деятельности (или даже: хотя бы в одном виде деятельности, который жизненно важен для человека, при этом мы имеем в виду под деятельностью управлением процессами – то есть информационную деятельность). То есть мы определяем ИИ через его способность решать практически измеримые задачи. Мы оставляем в стороне вопрос о сознании, свободе воли, творчестве. Это определение в принципе тождественно предлагаемому Юдковски определению ИИ как «мощного процесса оптимизации».

22. Ошибочное однозначное отождествление ИИ с отдельным объектом

ИИ определяется тем, что он делает (эффективно осуществляет процесс оптимизации), однако представление о том, что есть сущность, порождающая эти действия, может вести нас к заблуждениям. Например, процесс эволюции в дарвиновском смысле порождает всё более эффективные решения. Однако у этого процесса нет никакого центра, который ставит цели или который можно уничтожить.

23. Ошибочное представление о том, что достаточно спрятать ИИ в «чёрный ящик», чтобы он стал безопасен

Если мы поместили Ии в «чёрный ящик» (то есть полностью изолировали его), а затем получили результаты его работы, то значит, произошёл двухсторонний обмен информацией, и «чёрный ящик» не является таковым. Если мы не получаем никакой информации из «чёрного ящика», это равносильно тому, что вообще его не включать. Трудность здесь ещё в том, чтобы знать, что ИИ уже возник, чтобы понять, что нам пора помещать его в «чёрный ящик». Наконец, ИИ может взломать «чёрный ящик» изнутри, например, излучая радиосигналы, или считывая колебания тока в системе питания. Юдковски провёл так называемый AI-box эксперимент[xxxix]. В ходе этого эксперимента человек, изображающий из себя ИИ, должен был уговорить оператора выпустить его из чёрного ящика (не используя подкупа, шантажа и при ряде других ограничений). Из пяти экспериментов, в трёх операторы его выпустили, хотя в начале считали, что не выпустит его ни при каких условиях.

 

24. ошибочное возражение следующего рода: «В Японии уже был проект по созданию Ии в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен»

В 1880-е годы было несколько проектов по созданию самолёта, и они потерпели неудачу. После этого распространилось мнение, что самолёт невозможен. То есть несколько неудачных попыток с негодными средствами не значат принципиальной невозможности. Кроме того, проект в Японии не заглох до конца, и из него выросли другие ИИ-проекты, просто менее афишируемые. Однако эта яркая неудача повлияла как на доверие публики к таким проектам, так и на склонность исследователей обещать невероятные результаты.

25. Ошибочное представление о том, что ИИ надо дать команду X (подставить нужное), и всё будет в порядке

Командой «Х» может быть: «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Но мы не можем проверить, как именно Ии реализует любую команду, пока не запустим его. А когда запустим, может быть поздно.

26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации Ии, я подумаю о его безопасности»

Неверно. Проверить эффективность Ии можно, только запустив его на сложной задаче, связанной с реальным миром. Если с ИИ вышел из-под контроля, то о безопасности думать будет поздно. Некоторые типы ИИ могут быть несовместимы с нормативной безопасностью, например, основанные на генетических алгоритмах. Поэтому меры по обеспечению безопасности следует встраивать в ИИ с самого начала, они не могут быть довеском на нём. И во всех других крупных проектах безопасность обдумывается с самого начала.

27. Ошибочное представление в духе: «Маловероятно, что наш проект по созданию Ии выйдет из-под контроля»

В мире много ИИ-проектов и мало знаний о том, как измерять вероятность неконтролируемого распространения ИИ. Достаточно потерять контроль над одним проектом. Кроме того, в случае, когда программист использует сильный ИИ в своих целях, с его точки зрения это не выглядит бунтом, но с точки зрения других людей – является им.

28. Ошибочное представление в духе: «Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы»

Среди сторонников мощного ИИ встречается мнение, что некоторые будущие проблемы не надо решать, потому что, когда появится мощный ИИ, он найдёт лучшее и более точное решение этих проблем. Однако перед запуском мощного ИИ в реальном мире нам надо задать ему некоторый круг задач, а чтобы правильно сформулировать, чего мы хотим и чего не хотим, надо хорошо об этом подумать заранее.

29. Нетождественность способностей и намерений

См. когнитивное искажение в духе «гигантской ватрушки» в статье Юдковски в этой книги. Суть его в том, что если ИИ может что-то делать, это не значит, что он будет это делать. Если ИИ может печь гигантские ватрушки, это не значит, что будущий мир будет заполнен гигантскими ватрушками. То есть мы не должны отождествлять мотивы действий и способности ИИ.

Глава 6. Специфические ошибки, связанные рассуждениями о рисках использования нанотехнологий

1. Ошибочное представление о том, что нанотехнологии невозможны, так как невозможно создать механизмы с точностью до одного атома

Это не так, – существуют белки, которые являются самыми разными механизмами: клапанами, ножницами, моторчиками, – и в них важно и определено местоположением каждого атома.

2. Ошибочное представление о том, что нанофабрики безопаснее наноассемблеров

Нанофабрики – это макроскопические устройства, производящие устройства наноразмеров (например, фотолитографическое производство микросхем). Наноассемблеры – это устройства наноразмеров, способное производить свои копии. С помощью одного можно сделать другое и наоборот, то есть эти устройства функционально изоморфны.

3. Ошибочное представление о том, что нанотехнологии настолько далеки от нас во времени, что о них можно не думать

От практической реализации нанотехнологий нас отделяет только недостающее знание. Если бы мы его имели, мы могли бы собрать такую цепочку ДНК, которая, будучи запущена в клетке бактерии, позволила бы произвести дистанционно управляемый наноассемблер.

4. Ошибочное представления в духе «Нанотехнологии придумали только для отмывания денег»

Поскольку такое объяснение можно применить к чему угодно, то оно ничего не объясняет. Даже если кто-то отмывает деньги с помощью нанотехнологий, это не значит, что нанороботы невозможны. Крах дот-комов не означает, что нельзя зарабатывать деньги в Интернете.

5. Ошибочное представление о том, что нанотехнологии связаны только с материаловедением, мелкодисперсными материалами и нанотрубками

Далеко не все так думают, и ведутся разработки в области нанороботов. Промежуточным объектом между нанороботами и наноматериалами является литография чипов, которая позволяет вытравливать любые механизмы из кремния, в том числе и с подвижными частями – технология MEMS[xl] (например, микромаятники для гироскопов). Основной прогресс закона мура идёт именно за счёт развития нанотехнологий всё более прецизионной печати полупроводников.

6. Ошибочное представление о том, что нанороботы будут слабее бактерий, потому что бактерий имели миллиарды лет, чтобы приспособиться к окружающей среде

Это не более верно, чем утверждение, что «Самолёты будут слабее (как оружие) птиц, потому что птицы развивались в течение миллионов лет». Человеческие достижения обычно превосходят биологические по какому-то одному параметру (размеру, скорости, быстродействию).

7. Ошибочное представление о том, что если бы нанороботы были возможны, их бы уже создала природа

Природа не создала колеса, но оно возможно и эффективно.  С другой стороны природа создала аналог нанороботов в виде бактерий, которые показывают принципиальную возможность самодостаточных самовоспроизводящихся микроскопических устройств.

8. Ошибочное представление о том, что нанороботы не смогут размножаться в природной среде

Если бактерии могут размножаться в природе, то могут и нанороботы – ведь они могут использовать все приёмы, доступные бактериям.

9. Ошибочное представление о том, что нанороботов в природной среде будет легко уничтожить взрывом бомбы

Для этого нужно точно знать, где они находятся. Если они уже проникли в город, то взрывать их будет невозможно. Ведь не борются с заразными болезнями с помощью бомб.

10. Ошибочное представление о том, что нанороботы будут состоять только из нескольких атомов, что невозможно или малофункционально

Название «наноботы» условно и не означает, что длина нанобота будет равна нескольким нанометрам. Он может быть длиной в 1 микрометр и более, способен к саморазмножению и выполнению множества функций. И при этом невидим. В этом случае он будет содержать миллиарды и даже триллионы атомов.

11. Ошибочное представление о том, что нанороботы будут глупы и неэффективны, так как в них нельзя разместить компьютер

Внутри любой клетки человека находится ДНК объёмом примерно 500 мегабайт, с которой совершается до миллиона операций в секунду. Этого достаточно для создания довольно сильного компьютера. Это показывает нам достижимый предел плотности вычислений, хотя не обязательно в нанороботах будут использоваться именно ДНК компьютеры. Нанороботы смогут объединяться в локальные сети, усиливая свою вычислительную производительность многократно.

12. Э. Дрекслер о возможных возражениях реализуемости нанотехнологий

 Далее я приведу обширную цитату из Э. Дрекслера[xli], основоположника идеи создания нанороботов, в которой выделю названия главок: «Не сделает ли принцип неопределённости квантовой физики молекулярные машины неосуществимыми? Кроме всего прочего, этот принцип указывает на то, что невозможно определить точное местоположение частицы в течение любого отрезка времени. Это ограничивает то, что могут делать молекулярные машины, равно как и ограничивает то, что может делать что-либо ещё. Тем не менее, вычисления показывают, что принцип неопределённости накладывает мало существенных ограничений на то, насколько легко атомы можно поместить на их места, по крайней мере, для тех целей, которые обрисовываются здесь. Принцип неопределённости делает местоположение электронов довольно расплывчатым, и в действительности эта расплывчатость определяет сам размер и структуру атомов. Атом как целое, однако, имеет сравнительно определённое местоположение, соответствующее своему относительно массивному ядру. Если бы атомы не сохраняли своё положение сравнительно хорошо, молекулы бы не существовали. Квантовой механики не требуется, чтобы доказать эти заключения, поскольку молекулярные машины в клетке демонстрируют то, что молекулярные машины работают. Не сделают ли тепловые вибрации молекул молекулярные машины неработоспособными или слишком ненадёжными, чтобы их использовать? Тепловые колебания причинят большие проблемы, чем принцип неопределённости. Однако и в этом случае существующие молекулярные машины непосредственно демонстрируют, что молекулярные машины могут работать и при обычных температурах. Несмотря на тепловые колебания, механизмы копирования ДНК в некоторых клетках делают меньше чем одну ошибку на 100 000 000 000 операций. Чтобы достичь такой точности, однако, клетки используют машины (такие как фермент ДНК-полимераза I), которые проверяют копию и исправляют ошибки. Для ассемблеров вполне может быть необходимы аналогичные способности проверки и исправления ошибок, если они предназначены выдавать надёжные результаты. Не будет ли радиация разрушать молекулярные машины или делать их непригодными для использования? Радиация высокой энергии может нарушать химические связи и разрушать молекулярные машины. Живые клетки еще раз показывают, что решения существуют: они работают в течение лет, восстанавливая и заменяя поврежденные радиацией части. Однако поскольку каждая отдельная машина такая крошечная, она представляет собой маленькую цель для радиации, и радиация редко в неё попадает. Всё же, если система наномашин должна быть надёжна, то она должна выдерживать определённое количество повреждений, а повреждённые части должны регулярно чиниться или заменяться. Этот подход к надёжности хорошо знаком разработчикам самолётов и космических кораблей. Эволюция не сумела произвести ассемблеры. Не говорит ли это о том, что они либо невозможны, либо бесполезны? Отвечая на предыдущие вопросы, мы отчасти ссылались на уже работающие молекулярные машины клеток. Они представляют собой простое и мощное доказательство того, что законы природы позволяют маленьким группам атомов вести себя как управляемые машины, способные строить другие наномашины. Однако вопреки тому, что они в основе напоминают рибосомы, ассемблеры будут отличаться от всего, что находится в клетках; хотя они состоят в обычных движениях молекул и реакциях, то, что они делают, будет иметь новые результаты. Например, ни одна клетка не производит алмазного волокна. Доказательства реализуемости ассемблеров и других наномашин могут казаться обоснованным, но почему бы не подождать и не посмотреть, действительно ли они могут быть разработаны? Чистое любопытство кажется достаточной причиной, чтобы исследовать возможности, открытые нанотехнологией, но есть и более сильные причины. Нанотехнологии охватят мир в пределах от десяти до пятидесяти лет, то есть в пределах сроков жизни наших собственных или членов наших семей. Что более существенно, заключения следующей главы подсказывают, что политика "подождём-посмотрим" была бы слишком дорогой: она бы стоила миллионы жизней, и, возможно, жизни на Земле».

13. Наша склонность ожидать грандиозных результатов только от грандиозных причин

Дрекслер иллюстрирует это заблуждение следующими контрпримерами: «СКУЧНЫЙ ФАКТ: некоторые электрические переключатели могут включать и выключать друг друга. Эти переключатели можно сделать очень маленькими и потребляющими мало электричества. ГРАНДИОЗНОЕ СЛЕДСТВИЕ: если их соединить правильно, эти переключатели образуют компьютеры, машины информационной революции...  СКУЧНЫЙ ФАКТ: плесень и бактерии конкурируют за пищу, поэтому некоторые плесени научились выделять яды, которые убивают бактерии. ГРАНДИОЗНОЕ СЛЕДСТВИЕ: пенициллин, победа над многими бактериальными заболеваниями, и спасение миллионов жизней».[xlii]

14. Ошибочное представление о том, что детали наномашин будут слипаться в силу квантовых, вандерваальсовых и прочих сил

Но белки в живых клетках не слипаются. Предложенный Дрекслером вариант реализации нанотехнологий с помощью механических роботов из алмазоида с зубчиками и колёсами – не единственный. Возможны промежуточные варианты с псевдобиологичесим устройством.

15. Ошибочное представление о том, что активный нанотехнологический щит, подобный иммунной системе, будет идеальной защитой от опасных нанороботов

Ни одна иммунная система в реальности, ни в живых организмах, ни антивирусная в компьютерах, не является абсолютно надёжной. Кроме того, существуют автоиммунные заболевания. См. подробнее главу «активные щиты».

16. Ошибочное представление о том, что Дрекслер – фантазёр, а настоящие нанотехнологии состоят в чём-то другом

Приходилось встречать утверждения со стороны специалистов в области нанотехнологий, о том, что нанороботы Дрекслера – это фантазии, а настоящие нанотехнологии состоят в детальном измерении неких очень тонких параметров малоразмерных структур. Однако на самом деле эти исследования находятся на разных уровнях. Исследования Дрекслера относятся к «проектному» уровню. Точно так же, как к нему относилась идея сделать атомную бомбу в своё время. То есть это уровень леса, а не деревьев.  Эрик Дрекслер – далеко не единственный провидец продвинутых нанотехнологий, связанных с молекулярным производством и нанороботами. Можно также назвать Р.Фрейтаса и других сотрудников Центра ответственных нанотехнологий[xliii].

Глава 7. Выводы из анализа когнитивных искажений в оценке глобальных рисков и возможные правила для эффективной оценки глобальных рисков

1.      Открытая дискуссия как точка отсчёта

Масштаб влияние ошибок на рассуждения о глобальных рисках можно оценить, сравнив мнения разных экспертов, учёных и политиков по вопросу о возможности окончательной глобальной катастрофы и её возможных причинах. Нетрудно убедиться, что разброс мнений огромен. Одни считают суммарный риск ничтожным, другие уверенны в неизбежности человеческого вымирания. В качестве возможных причин называется множество разных технологий и сценариев, причём разные эксперты предлагают свои наборы возможных сценариев и наборы невозможных сценариев.

Очевидно, что корни такого разброса мнений – в разнообразии движений мысли, которое, в отсутствии какой-либо зримой точки отсчёта, оказывается подвержено различным предубеждениям и когнитивным искажениям. Поскольку мы не можем найти точку отсчёта относительно глобальных рисков в эксперименте, представляется желательным, чтобы такой точкой отсчёта стала открытая дискуссия о методологии исследования глобальных рисков, на основании которой могла бы быть сформирована единая и общепризнанная картина глобальных рисков.

Важно поддержание открытой дискуссии по всем видам рисков. Это означает рассмотрение любого возражения в качестве истинного достаточное время, чтобы его оценить, перед тем, как решить его отвергнуть. Не отбрасывать никакие возражения сходу и поддерживать наличие оппонентов.

2. Принцип предосторожности

Он означает подготовку к наихудшему реалистичному сценарию во всех ситуациях неопределённости. Реалистичным следует считать любой сценарий, который не противоречит известным законам физики и имеет точно измеримую вероятность выше некого порогового уровня. Это соответствует принципу консервативной инженерной оценки. Однако предосторожность не должна носить иррациональный характер, то есть не должна утрировать ситуацию. Одна из формулировок принципа предосторожности звучит так: «Принцип предосторожности является моральным и политическим принципом, который утверждает, что если некое действие или политика могут причинить жестокий или необратимый ущерб обществу, то, в отсутствии научного согласия о том, что вреда не будет, тяжесть доказательства лежит на тех, кто предлагает данные действия»[xliv].

3. Принцип сомнения

Принцип сомнения требует допускать возможность ошибочности любой идеи. Однако сомнение не должно привести к неустойчивости хода мысли, слепому доверию авторитетам, отсутствию своего мнения и неуверенности в нём, если оно достаточно доказано.

4. самоанализ

Непрерывный анализ собственных выводов на предмет возможных ошибок из всего списка.

5. Независимые повторные вычисления

Сюда входит независимое вычисление разными людьми, а также сравнение прямых и непрямых оценок.

6. Косвенная оценка степени ошибки

Мы можем оценить степень недооценки глобальной катастрофы, изучая то, насколько люди недооценивают аналогичные риски – то есть риски уникальных катастроф. Например, космические корабли «Спейс Шаттл» были рассчитаны на одну аварию более чем на 1000 полётов, но первая авария произошла на 25-ом полёте. То есть исходная оценка 1 к 25 была бы более точной. Атомные станции строились с расчетом на одну аварию в миллион лет, но Чернобыльская авария произошла примерно после 10 000 станций-лет эксплуатации (это число получается из умножения числа станций к тому моменту на средний срок их эксплуатации, и требует уточнения). Итак, в первом случае реальная устойчивость оказалась в 40 раз хуже, чем проектная оценка, а во втором – в 100 раз хуже. Отсюда мы можем сделать вывод, что в случае уникальных сложных объектов люди недооценивают их риски в десятки раз.



[i] Е. Юдковски. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html

[ii] Nate Hagens. Peak Oil - Believe it or Not? http://www.theoildrum.com/node/3178#more

[iii] Алексей Турчин. Природные катастрофы и антропный принцип.

[iv] Ник Бостром. Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей.
http://www.proza.ru/texts/2007/04/04-210.html

[v] Е. Юдковски. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html

[vi] Об этой кочующей футурологической легенде упоминает С.Лем http://mars-x.ru/san/10/80_1.shtml

[vii] А.П. Назаретян, Цивилизационные кризисы в контексте Универсальной истории, М., 2001.

[viii] «Бумажный тигр биотерроризма». Часть 1. Не кричи «волки»! http://www.cbio.ru/modules/news/article.php?storyid=261

[ix] Е. Юдковски. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html

[x] См. статью об ошибках в оценке пика нефти. http://www.theoildrum.com/node/3178#more

[xi] Sir Martin Rees. Our final hour, с.65.

[xii] Там же, с.65.

[xiii] А.Камю. «Миф о Сизифе. Эссе об абсурде», в сб. Сумерки богов, М., 1990.

[xiv] "Pentagon confirms Soviets were on war alert", Pacific Stars and Stripes, October 14, 1984, p4.

[xv] Как пишет сэр Мартин Рис.

[xvi] Е. Юдковски. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков.

[xvii] Там же.

[xviii] В статье «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей».

[xix] См. Kruglanski A. W. Lay Epistemics and Human Knowledge: Cognitive and Motivational Bases. 1989.

[xx] Л. Росс, Р. Нисбетт. Человек и ситуация: Уроки социальной психологии. http://evolkov.iatp.ru/social_psychology/Ross_L_Nisbett_R/index.html

[xxi] На самом Оккам имел в виду вовсе не это, см. http://ivanov-petrov.livejournal.com/19980.html#cutid1

[xxii] С. Капица, С. Курдюмов, Г. Малинецкий. Синергетика и прогнозы будущего, 2001

[xxiv] С. Капица, С. Курдюмов, Г. Малинецкий. Синергетика и прогнозы будущего, 2001

[xxv] Ю.А. Александровский и др. Психогении в экстремальных условиях, М.1991.  стр. 17.

[xxvi] С. Капица, С. Курдюмов, Г. Малинецкий. Синергетика и прогнозы будущего, 2001

[xxvii] Ross, M. & Sicoly, F. (1979). Egocentric biases in availability and attribution. Journal of Personality and Social Psychology 37, 322-336.

[xxix] Турчин А.В. Природные катастрофы и антропный принцип.

[xxx] Nick Bostrom. Antropic principle in science and philosophy. L. 2003

[xxxi] «No trade theorem» гласит: Вы не должны торговать на рынке, даже если имеете для этого возможность, так как тот факт, что кто-то другой желает занять противоположную вам сторону в сделке, является наилучшим доказательством того, что его информация о ситуации так же хороша, как и ваша. См. подробнее http://www.overcomingbias.com/2008/02/buy-now-or-fore.html#comments или оригинальную статью здесь: Paul Milgrom, Nancy Stokey, "Information, trade and common knowledge", Journal of Economic Theory, Volume 26:1, pp. 17-27. 1982 http://www.stanford.edu/~milgrom/publishedarticles/Information% %20Trade% %20and% %20Common% %20Knowledge.pdf

[xxxii] Matthew R. Simmons. Twilight in the Desert: The Coming Saudi Oil Shock and the World Economy. NY, 2005.

[xxxiv] Роджер Пенроуз. Новый ум короля. О компьютерах, мышлении и законах физики. УРСС, 2005 г.

[xxxv] Интересную критику и дискуссию по Пенроузу можно найти здесь: http://fregimus.livejournal.com/8524.html

[xxxvi] Джон фон Нейман. Теория самовоспроизводящихся автоматов. М., Мир, 1971.

[xxxvii] См. сайт «3 Laws Unsafe», где собраны разные критические статьи на эту тему http://www.asimovlaws.com/

[xxxviii] Как утверждает Юдковски в дискуссионном листе SL4.

[xli] Э.Дрекслер. Машины созидания. http://www.mikeai.nm.ru/russian/eoc/eoc.html

[xlii] Там же.  

[xliv] Raffensberger C, Tickner J (eds.) Protecting Public Health and the Environment: Implementing the Precautionary Principle. Island Press, Washington, DC, 1999.