А. В. Турчин

СТРУКТУРА ГЛОБАЛЬНОЙ КАТАСТРОФЫ

Риски вымирания человечества в XXI веке

 

 

Предисловие Г.Г. Малинецкого

Вводное слово Н. Бострома

 

 

 

Проект

Российского Трансгуманистического Движения

 

 

 

Москва

2008

 

СЕРИЯ «ДИАЛОГИ О БУДУЩЕМ»

Т.2

Ответственные редакторы:

И. В. Следзевский

Валерия Прайд

 

Рецензенты:

Д.п.н. А.П. Назаретян

Д.г.н. Л.Я. Аранович

Д.ф.н. В.И. Аршинин
Содержание

 

 

Г. Г. Малинецкий. Размышления о немыслимом... 18

1.          Глобальная неустойчивость. 19

2.          Психологический дискурс. 23

3.          Проблема инструмента.. 27

4.          В погоне за предвестниками.. 32

4.1. Анализ и предупреждение о глобальных рисках способны парировать или отодвинуть опасности планетарного масштаба. 32

4.2. Анализ глобальных последствий деятельности человека позволяет более адекватно оценивать те риски, которые недооцениваются. 34

4.3. Сложные системы гораздо более хрупки, чем кажется на первый взгляд. Обеспечение их безопасности неотделимо от исследования таких объектов и создания эффективных систем мониторинга и управления рисками их развития и функционирования. 35

4.4. На обсуждении многих глобальных угроз, основ бытия отдельных цивилизаций, будущего человечества, фактически наложено табу, что весьма опасно. 36

4.5. Большого внимания заслуживают предвестники катастроф невиданного ранее масштаба. 36

Н. Бостром. Вводное слово.. 38

Предисловие. 39

Термины.. 45

Введение. 47

Часть 1. Анализ Рисков. 49

Глава 1. Общие замечания. 49

1.1 Пространство возможностей. 49

1.2 Рассматриваемый промежуток времени: XXI век. 50

1.3 Проблемы вычисления вероятностей различных сценариев. 52

1.4 Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами  61

1.5 Глобальные катастрофы и горизонт прогнозирования. 62

1.6 Краткая история исследований вопроса. 65

1.7 Угрозы менее масштабных катастроф: уровни возможной деградации. 68

1.8 Однофакторные сценарии глобальной катастрофы.. 70

1.9 Принципы классификации глобальных рисков. 71

Глава 2. Атомное оружие. 73

2.1 «Ядерная зима». 74

2.2 Полное радиоактивное заражение. 80

2.3 Иные опасности атомного оружия. 83

2.4 Интеграция поражающих факторов ядерного оружия. 87

2.5 Стоимость создания ядерного потенциала, могущего угрожать выживанию человеческой цивилизации  88

2.7 Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени  92

2.8 Стратегия сдерживания под вопросом.. 93

2.9 Ядерный терроризм как фактор глобальной катастрофы.. 94

2.10. Выводы по рискам применения ядерного оружия. 94

Глава 3. Глобальное химическое заражение. 95

Глава 4. Биологическое оружие. 100

4.1 Общие соображения и основные сценарии. 100

4.2 Структура биологической катастрофы.. 103

4.3 «Саморазмножающейся» синтезатор ДНК. 105

4.4 Множественный биологический удар. 106

4.5 Биологические средства доставки. 106

4.6 Вероятность применения биологического оружия и её распределение во времени  107

Глава 5. Супернаркотик и другие риски, связанные с воздействием на человека.. 111

5.1. Воздействие на центр удовольствия и новые технологии. 111

5.2 Риски, связанные с самокопирующимися идеями (мемами) 114

5.3. Риски, связанные с размыванием границ между человеческим и нечеловеческим.. 116

5.4. Риски, связанные с проблемой «философского зомби». 117

Глава 6. Искусственный интеллект. 118

6.1. Общее описание проблемы.. 118

6.2 Ии как универсальное абсолютное оружие. 122

6.3 Система целей. 123

6.4 Борьба ИИ-проектов между собой. 123

6.5 «Усовершенствованный человек». 124

6.6 ИИ и его отдельные экземпляры.. 124

6.7 «Бунт» ИИ.. 125

6.8 Скорость старта. 125

6.9 Сценарии «быстрого старта». 126

6.10 Медленный старт и борьба разных ИИ между собой. 127

6.11 Плавный переход. Превращение государства тотального контроля в ИИ.. 127

6.12 «Восстание» роботов. 129

6.13 Контроль и возможность истребления. 130

6.14 ИИ и государства. 131

6.15 Вероятность катастрофы, связанной с  ИИ.. 131

6.16 Другие риски, связанные с компьютерами. 133

6.17 Время возникновения ИИ.. 134

Глава 7. Риски, связанные с роботами и нанотехнологиями.. 135

7.1 Проблема создания микроскопических роботов и нанотехнологии. 135

7.2 Робот-распылитель. 137

7.3 Самовоспроизводящийся робот. 137

7.4 Стая микророботов. 137

7.5 Армии крупных боевых роботов, выходящие из-под контроля. 138

7.6 Нанотехнологическое оружие. 138

7.7 Неограниченное распространение саморазмножающихся нанороботов. 140

7.8 Вероятность возникновения нанороботов и возможное время для этого события  142

Глава 8. Технологические способы провоцирования природных катастроф.. 143

8.1 Искусственная инициация термоядерной детонации Земли и других небесных тел  143

8.2 Отклонение астероидов. 144

8.3 Создание искусственного сверхвулкана. 145

8.4 Намеренное разрушение озонового слоя. 147

Глава 9. Технологические риски, связанные с принципиально новыми открытиями   148

9.1 Неудачный физический эксперимент.. 148

9.2 Новые виды оружия, новые источники энергии, новые среды распространения и способы дальнодействия  153

Глава 10. Риски, создаваемые космическими технологиями.. 153

10.1 Атака на землю с помощью космического оружия. 153

10.2 Ксенобиологические риски. 154

10.3 Столкновение с превосходящими нас разумными силами во Вселенной. 155

Глава 11. Риски, связанные с программой SETI 159

11.1 История вопроса. 159

11.2 Сценарий возможной атаки. 162

11.3 Анализ возможных целей атаки. 169

11.4 Анализ возможных возражений. 173

Глава 12. Риски, связанные с природными катастрофами.. 181

12.1 Вселенские катастрофы.. 181

12.2 Геологические катастрофы.. 183

12.3 Извержения сверхвулканов. 183

12.4 Падение астероидов. 185

12.5 Зона поражения в зависимости от силы взрыва. 188

12.6 Солнечные вспышки и увеличение светимости. 190

12.7 Гамма-всплески. 193

12.8 Сверхновые звёзды.. 196

12.9 Сверх-цунами. 196

12.10 Сверх-землетрясение. 197

12.11 Переполюсовка магнитного поля Земли. 198

12.12 Возникновение новой болезни в природе. 198

Глава 13. Крайне маловероятные природные риски.. 200

13.1. Неизвестные процессы в ядре Земли. 201

13.2. Внезапная дегазация растворённых в мировом океане газов. 203

13.3. Нарушение стабильности Земной атмосферы.. 204

13.4. Взрывы других планет солнечной системы.. 205

13.5. Немезида. 205

13.6 Ложные и опровергнутые теории глобальных катастроф. 206

Глава 14. Природные катастрофы и эффект наблюдательной селекции.. 207

14.1. Прекращение действия «защиты», которую нам обеспечивал антропный принцип  207

14.2. Ослабление устойчивости природных процессов и человеческие вмешательства  209

Глава 15. Глобальное потепление. 210

Глава 16. Антропогенные риски, не связанные с новыми технологиями.. 213

16.1 Исчерпание ресурсов. 213

16.2 Перенаселение. 215

16.3 Крах биосферы.. 217

16.4 Социально-экономический кризис. Война. 217

16.5 Генетическая деградация и ослабление фертильности (способности к размножению) 217

16.6 Старение вида. 218

16.7 Вытеснение другим биологическим видом.. 219

16.8 Неизвестные нам сейчас причины катастроф.. 219

Глава 17. Способы обнаружения однофакторных сценариев глобальной катастрофы   220

17.1. Общие признаки любого опасного агента. 220

17.2. Способы возникновения. 221

17.3. выход из точки и начало распространения. 222

17.4. Распространение важнее разрушения. 223

17.5. Способ распространения. 223

17.6. Способ причинения смерти. 225

17.7. Типичные виды разрушающего воздействия. 226

17.8. Временная структура события. 227

17.9. Предаварийные ситуации. 228

17.10. Намеренная и случайная глобальная катастрофа. 229

17.11. Машина судного дня. 230

Глава 18. Многофакторные сценарии.. 231

18.1. Интеграция различных технологий, создающие ситуации риска. 232

18.2. Парные сценарии. 233

18.3. Изучение глобальных катастроф с помощью моделей и аналогий. 237

18.4. Неизбежность достижения устойчивого состояния. 240

18.5. Рекуррентные риски. 241

18.6. Глобальные риски и проблема темпа их нарастания. 242

18.7. Сравнительная сила разных опасных технологий. 243

18.8. Последовательность возникновения различных технологий во времени. 244

18.9. Сопоставление различных технологических рисков. 245

18.10. Цели создания оружия судного дня. 248

18.11 Социальные группы, готовые рискнуть судьбой планеты.. 253

18.12. Обобщающий коэффициент, связанный с человеческим фактором.. 253

18.13. Принятие решения о ядерном ударе. 255

18.14. Цена вопроса. 256

18.15 Универсальные причины вымирания цивилизаций. 258

Глава 19. События, изменяющие вероятность глобальной катастрофы. 260

19.1. Определение и общие соображения. 260

19.2. События, которые могут открыть окно уязвимости. 262

19.3. Системные кризисы.. 263

19.4. Кризис кризисов. 272

19.5. Технологическая Сингулярность. 274

19.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов. 277

19.7. Системный кризис и технологические риски. 279

19.8. Системный технологический кризис – наиболее вероятный сценарий глобальной катастрофы   280

19.9. Криптовойна. 281

19.10. Уязвимость к сверхмалым воздействиям.. 282

19.11. Гонка вооружений. 284

19.12. Моральная деградация. 284

19.13. Враждебность в обществе как сценарный фактор. 286

19.14. Месть как сценарный фактор. 286

19.15. Война как сценарный фактор. 287

19.16. Деградация биосферы.. 290

19.17. Глобальная дезинфекция. 290

19.18. «Раскачивающее» управление. 291

19.19. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска  291

19.20. Общие модели поведения систем на грани устойчивости. 294

19.21. Закон техногуманитарного баланса. 296

19.22. Схемы сценариев. 296

19.23. Степень мотивации и осведомленности лиц, принимающих решения, как факторы глобального риска  297

19.24 Означает ли крах технологической цивилизации вымирание людей. 300

Глава 20. Факторы, влияющие на скорость прогресса.. 301

20.2. Закон Мура. 303

Глава 21. Защита от глобальных рисков. 307

21.1. Общее понятие о предотвратимости глобальных рисков. 307

21.2. Активные щиты.. 309

21.3. Действующие и будущие щиты.. 312

21.4. Сохранение мирового баланса сил. 314

21.5. Возможная система контроля над глобальными рисками. 315

21.6. Сознательная остановка технологического прогресса. 317

21.7. Средства превентивного удара. 318

21.8. Удаление источников рисков на значительное расстояние от Земли. 320

21.9. Создание автономных поселений в отдалённых уголках Земли. 320

21.10. Создание досье на глобальные риски и рост общественного понимания связанной с ними проблематики  321

21.11. Убежища и бункеры.. 321

21.12. Опережающее расселение в космосе. 326

21.13 «всё как-нибудь обойдётся». 327

21.14 Деградация цивилизации до уровня устойчивого состояния. 328

21.15 Предотвращение одной катастрофы с помощью другой. 329

21.16 Опережающая эволюция человека. 329

21.17 Возможная роль международных организаций в предотвращении глобальной катастрофы   330

21.18 Бесконечность Вселенной и вопрос об окончательности человеческого вымирания  333

21.19 Предположения о том, что мы живём в «Матрице». 334

21.20 Глобальные катастрофы и устройство общества. 336

21.21 Глобальные катастрофы и текущая ситуация в мире. 339

21.22 Мир после глобальной катастрофы.. 340

21.23 Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф.. 341

Максимализация функции удовольствия. 342

Глава 22. Непрямые способы оценки вероятности глобальной катастрофы.. 343

22.1. Закон Парето. 344

22.2. Гипотеза о «Чёрной королеве». 345

22.3. Парадокс Ферми. 345

22.4. Теорема о Конце света - «Doomsday argument». Формула Готта. 347

22.5. Рассуждение о конце света Картера-Лесли. 350

22.6. Непрямая оценка вероятности природных катастроф.. 354

22.7 Рассуждение о Симуляции. 356

22.8. Интеграция различных непрямых оценок. 361

Глава 23. Наиболее вероятный сценарий глобальной катастрофы.. 364

Часть 2. Методология анализа глобальных рисков. 370

Глава 1. Общие замечания. Ошибка как интеллектуальная катастрофа.. 370

Глава 2. Ошибки, возможные только относительно угроз существованию человечества   374

1. Путаница относительно глобальных катастроф и просто очень больших катастроф   374

2. Недооценка неочевидных рисков. 375

3. Глобальные риски нетождественны национальной безопасности. 376

4. Ошибка, связанная с психологизацией проблемы.. 376

5. Отождествление глобальной катастрофы со смертью всех людей и наоборот.. 377

6. Стереотип восприятия катастроф, который сложился в результате работы СМИ   377

7. Возможные ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила  378

8. Когнитивное искажение, состоящее в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира». 378

9. недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти. 379

10. Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания. 379

11. Ошибка, связанная с тем, что глобальным рискам как целому уделяют меньше внимания, чем рискам катастрофы отдельных объектов. 379

12. Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество. 380

13. Отсутствие ясного понимания того, к кому обращены указания на глобальные риски  380

14. Особенность связи теоретического и практического в отношении глобальных рисков  380

15. Ошибочные модели поведения, связанные с эволюционно сложившимися особенностями человеческого поведения. 381

16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему. 381

18. Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию   381

19. Ошибочность мнения о том, что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно  382

20. Гордыня исследователя. 382

21. Интуиция как источник ошибок в мышлении о глобальных рисках. 382

22. Научное исследование глобальных рисков также сталкивается с рядом проблем.. 383

23. Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска  383

24. Методы, применимые к управлению экономическими и прочими рисками, не применимы к глобальным рискам.. 383

25. Трудности в определении понятия глобального риска в связи с нечёткостью его объекта  383

26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока люди замкнуты на Земле, и переселение в космос автоматически снимет проблему. 384

27. Психологическая особенность восприятия рисков человеком, называемая «пренебрежение масштабом»  384

28. Преувеличение прогностической ценности экстраполяции. 384

29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света  385

30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска. 385

31. «Шок будущего»: Когнитивные искажения, связанные с разными горизонтами возможного будущего в представлении разных людей. 386

32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной  387

33. Недооценка системных факторов глобального риска. 387

34. Призыва типа: «Мы все должны бороться за мир». 388

35. Недооценка предкризисных событий как элементов наступающей глобальной катастрофы   388

36. Когнитивное искажение, основанное на идее: «Это слишком плохо, чтобы быть правдой»  388

37. Когнитивное искажение, основанное на идее: «Это слишком невероятно, чтобы быть правдой»  389

38. Идеи о торможении создания и распространения новых технологий как способе противостояния глобальным рискам.. 389

39. представления о том, что человеческая адаптируемость высока и продолжает неограниченно расти благодаря новым технологиям.. 389

40. Неспособность системы смоделировать саму себя. 389

41. Неспособность человека представить свою собственную смерть. 390

42. Подход к жизни в духе: «После нас хоть потоп». 390

43. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели. 391

44. Религиозные мировоззрения и эсхатологические культы.. 391

45. Неопределённость значений новых терминов. 391

Глава 3. как когнитивные искажения, могущие касаться любых рисков, влияют на оценку глобальных рисков. 392

1. Основной причиной человеческих ошибок является сверхуверенность. 392

2. Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых  392

3. Возрастные особенности восприятия глобальных рисков. 393

4. Споры не рождают истину о глобальных рисках. 393

5. Навык ведения споров вреден. 393

6. Желание смерти. 393

7. Консервативность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения. 394

8. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности. 394

9. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе. 395

10. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться  395

11. Конкретные риски воспринимаются как более опасные, чем описанные в общих словах  396

12. Представления о том, что мышление о глобальных рисках – пессимистично. 396

13. «Теории заговора» как препятствие для научного анализа глобальных рисков. 396

14. Ошибки, связанные с путаницей краткосрочных, среднесрочных и долгосрочных прогнозов  397

15. Особенности человеческой эмоции страха. 398

16. Недооценка значения удалённых событий (discount rate) 398

17. Сознательное нежелание знать неприятные факты.. 398

18. Эффект смещения внимания. 399

19. Интернет как источник возможных ошибок. 399

20. Верования. 399

21. Врождённые страхи. 400

22. Ошибка, проистекающая из-за борьбы не с самим источником риска, а с сообщениями о риске  400

23. Трудность в определении границ собственного знания. 400

24. Юмор как фактор возможных ошибок. 400

25. Паника. 401

26. Сонливость и другие факторы естественной неустойчивости человеческого сознания, влияющие на появление ошибок. 401

27. Склонность людей бороться с опасностями, которые уже были в прошлом.. 401

28. Усталость от ожидания катастрофы.. 402

29. Экспертные оценки, не основанные на строгих вычислениях, не могут служить в качестве меры реальной вероятности. 402

30. игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта  403

31. Недооценка или переоценка нашей способности противостоять глобальным рискам   403

32. Стокгольмский синдром.. 403

33. За ошибками оператора стоит неправильная подготовка. 403

34. Группа людей может принимать худшие решения, чем каждый человек в отдельности  404

35. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие – как возможные источники ошибок. 404

36. Раскол футурологии по разным дисциплинам, как если бы эти процессы происходили независимо  404

37. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить («Беда не приходит одна») 405

38. Эффект избирательности внимания. 405

39. Подсознательное желание катастрофы.. 406

40. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса. 406

41. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа  406

42. Логическая ошибка генерализации на основании художественного вымысла. 407

43. идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – обеспечить благо человечества. 407

44. Секретность как источник ошибок в управлении рисками. 407

45. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии. 408

46. Ошибочность идеи о том, что безопасность чего-либо можно доказать теоретически  408

47. Недооценка человеческого фактора. 408

48. Ошибочность идеи о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код. 409

49. Статистика как источник возможных ошибок. 409

50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты.. 409

51. Двойная ошибка. 409

52. Анализ глобальных рисков не есть создание прогнозов. 409

53. Иллюзия знания задним числом.. 410

54. Эффект настройки на источники информации. 410

55. Принятие малого процесса за начало большой катастрофы.. 410

56. более простое объяснение катастрофы подменяет более сложное. 410

57. Использование апокалиптических сценариев, чтобы привлечь внимание к своим проектам и добиться их финансирования. 411

58. Стремление людей установить некий приемлемый для них уровень риска. 411

59. Эффект «сверхуверенности молодого профессионала». 411

60. Ощущение неуязвимости у выживших. 412

61. Переоценка собственных профессиональных навыков. 412

62. Ошибка, связанная с концентрацией на мерах по предотвращению небольшой катастрофы вместо мер по предотвращения максимально возможной. 412

63. Усталость исследователя. 413

64. Страх потери социального статуса исследователями. 413

65. Количество внимания, которое общество может уделить рискам, конечно. 414

66. Пренебрежение экономикой. 414

67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит   415

68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей. 416

69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав  416

70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли. 416

71. Ошибка, связанная с неправильной корреляцией силы и безопасности. 417

72. Преждевременные инвестиции. 417

73. Склонность людей смешивать свои ожидания того, вероятного и наилучшего исходов  417

74. Апатия прохожего. 418

75. Потребность в завершении. 418

76. Влияние авторитета и социальное давление группы.. 418

77. Разрыв между обзорными и точечными исследованиями, между «деревом и лесом»  419

78. Ошибка, связанная с интеллектуальной проекцией. 419

79. Представление о том, что изменять обстоятельства следует, уничтожая их причины   420

80. Забвение основного принципа медицины – «Не навреди!». 420

81. Путаница между объективными и субъективными врагами. 420

82. предсказания или мечты о катастрофе, на самом деле обусловленные завистью   421

83. Страх утраты идентичности. 421

84. Понятная катастрофа может быть привлекательнее непонятного будущего. 421

85. Неправильное применение философского правила «бритва Оккама». 421

86. Верхняя граница возможной катастрофы формируется на основании прошлого опыта  421

87. Ошибка, связанная с неверным переносом закономерностей одной системы на другую   422

88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки  422

89. Отказ рассматривать некий сценарий по причине его «невероятности». 423

90. Переход от обмана к самообману. 423

91. Переоценка собственных возможностей вообще и выживаемости в частности. 423

92. Стремление к прекрасному будущему, заслоняющее восприятие рисков. 424

93. Фильтры, мешающие поступлению информации к руководству. 424

94. Любопытство может оказаться сильнее страха смерти. 425

95. Система и регламент.. 425

96. Эффект «стрелочника». 426

97. Минимальный воспринимаемый риск. 426

98. Отвержение новых идей. 426

99. Воздействие эмоциональной реакции шока. 427

100. Проблемы отбора экспертов. 428

101. Вина и ответственность как факторы предотвращения рисков. 428

102. Недооценка сил инерции как фактора устойчивости систем.. 429

103. Мнения, обусловленные мировоззрением.. 429

104. Борьба за научный приоритет.. 429

105. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы.. 430

106. Систематическая ошибка, связанная с эгоцентричностью.. 430

107. Систематическая ошибка, возникающая в связи с наличием или отсутствием явной причины событий  430

107. Зависимость реакции от скорости изменения величины.. 431

Глава 4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках  431

1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте. 431

2. Подмена анализа возможностей анализом целей. 431

3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго. 432

4. Мышление, обусловленное желанием нечто доказать. 432

5. Логическая ошибка, возникающая при попытках доказать, что нужно делать, исходя только из описания фактов. 432

6. Ошибки, связанные с подменой анализа рисков анализом коммерческих мотивов тех, кто о них говорит   433

7. Использование так называемого «авторитетного знания». 433

8. Неправильное применение идеи о том, что теория должна считаться истинной, только если она доказана  433

9. Восприятие новой информации через призму старой. 434

10. Ошибка в выборе нейтральной позиции. 434

11. Уверенность как источник ошибок. 434

12. Использование полностью ошибочной логики. 434

13. Смешение преднауки и псевдонауки. 435

14. Ошибка, связанная с неправильным определением статуса «универсалий». 435

15. Утверждения о возможности чего-то и невозможности неравносильны.. 436

16. Очевидности как источник ошибок. 436

17. Недооценка собственной ошибочности. 436

18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину  437

19. Необходимость выбора на основе веры.. 437

20. Эффект первой и последней прочитанной книги. 438

21. Преувеличение роли компьютерного моделирования. 438

22. Доказательство по аналогии как источник возможных ошибок. 438

23. Ошибка, связанная с неточностью экстраполяции экспоненциальной вероятностной функции с помощью линейной. 438

24. Санкт-Петербургский парадокс. 439

25. Различие между опасностью и риском.. 439

26. Ошибка, связанная с тем, что если вероятность некого события является невычислимой, ей полагают нулевой. 439

27. Упущение того, что безопасность системы определяется наиболее слабым её звеном   440

28. Отвержение гипотез без рассмотрения. 440

29. Невычислимость. 440

Глава 5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта.. 444

1. Разброс мнений по вопросу о безопасности ИИ означает отсутствие реальных доказательств безопасности  444

2. Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код. 445

3. Ошибки в критике ИИ Пенроузом.. 445

4. Представление о том, что 3-х законов робототехники А.Азимова достаточно, чтобы решить все проблемы с безопасностью ИИ.. 446

5. Ошибочные представления о том, что прогресс в области программного обеспечения отсутствует   447

6. Ошибочные представления о том, что никто в мире не занимается такой «малоперспективной» темой как ИИ.. 447

7. Ошибочные представления о том, что ИИ – это разные конкретные приложения, вроде техники распознания образов. 447

8. Антропоморфизм.. 447

9. Ошибочное представление о том, что достаточно отключить ИИ от питания, чтобы его остановить  448

10. Ошибочное представление о том, что, даже распространившись по Интернету, Ии никак не сможет воздействовать на внешний мир. 448

11. Ошибочное представление о том, что у ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред. 448

12. Ошибочное представление о том, что ИИ будет осваивать космос, оставив Землю человеку  448

13. Ошибочное представление о том, что любой ИИ является интеллектом, поэтому он обладает целью X (подставить нужное), и это благо. 448

14. Ошибочное представление о том, что современные компьютеры очень ограничены в своих возможностях, поэтому Ии будет только в отдалённом будущем – через десятки или сотни лет.. 449

15. Ошибочное представление о том, что прогресс в понимании работы мозга идёт очень медленно. Поэтому ИИ будет работать очень медленно. 449

16. Ошибочное представление о том, что человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому Ии не представляет никакой угрозы.. 449

17. Ошибочное представление о том, что ИИ невозможен, потому что он мыслит алгоритмически, а человек – неалгоритмически. 450

18. Ошибочное представление о том, что ИИ будет примерно такой же умный, как и человек  450

19. Ошибочное представление о том, что ИИ будет равноправным сотрудником человека с теми же возможностями и правами. 451

20. Ошибочное представление о том, что ИИ будет много. 451

21. Различия в понимании того, что, собственно, является интеллектом.. 451

22. Ошибочное однозначное отождествление ИИ с отдельным объектом.. 451

23. Ошибочное представление о том, что достаточно спрятать ИИ в «чёрный ящик», чтобы он стал безопасен  452

24. ошибочное возражение следующего рода: «В Японии уже был проект по созданию Ии в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен». 452

25. Ошибочное представление о том, что ИИ надо дать команду X (подставить нужное), и всё будет в порядке  452

26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации Ии, я подумаю о его безопасности». 453

27. Ошибочное представление в духе: «Маловероятно, что наш проект по созданию Ии выйдет из-под контроля». 453

28. Ошибочное представление в духе: «Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы». 453

29. Нетождественность способностей и намерений. 453

Глава 6. Специфические ошибки, связанные рассуждениями о рисках использования нанотехнологий   454

1. Ошибочное представление о том, что нанотехнологии невозможны, так как невозможно создать механизмы с точностью до одного атома. 454

2. Ошибочное представление о том, что нанофабрики безопаснее наноассемблеров  454

3. Ошибочное представление о том, что нанотехнологии настолько далеки от нас во времени, что о них можно не думать. 454

4. Ошибочное представления в духе «Нанотехнологии придумали только для отмывания денег»  454

5. Ошибочное представление о том, что нанотехнологии связаны только с материаловедением, мелкодисперсными материалами и нанотрубками. 455

6. Ошибочное представление о том, что нанороботы будут слабее бактерий, потому что бактерий имели миллиарды лет, чтобы приспособиться к окружающей среде. 455

7. Ошибочное представление о том, что если бы нанороботы были возможны, их бы уже создала природа  455

8. Ошибочное представление о том, что нанороботы не смогут размножаться в природной среде  455

9. Ошибочное представление о том, что нанороботов в природной среде будет легко уничтожить взрывом бомбы.. 455

10. Ошибочное представление о том, что нанороботы будут состоять только из нескольких атомов, что невозможно или малофункционально. 456

11. Ошибочное представление о том, что нанороботы будут глупы и неэффективны, так как в них нельзя разместить компьютер. 456

12. Э. Дрекслер о возможных возражениях реализуемости нанотехнологий. 456

13. Наша склонность ожидать грандиозных результатов только от грандиозных причин  458

14. Ошибочное представление о том, что детали наномашин будут слипаться в силу квантовых, вандерваальсовых и прочих сил. 458

15. Ошибочное представление о том, что активный нанотехнологический щит, подобный иммунной системе, будет идеальной защитой от опасных нанороботов. 458

16. Ошибочное представление о том, что Дрекслер – фантазёр, а настоящие нанотехнологии состоят в чём-то другом.. 459

Глава 7. Выводы из анализа когнитивных искажений в оценке глобальных рисков и возможные правила для эффективной оценки глобальных рисков. 459

1.          Открытая дискуссия как точка отсчёта. 459

2. Принцип предосторожности. 460

3. Принцип сомнения. 460

4. самоанализ. 460

5. Независимые повторные вычисления. 460

6. Косвенная оценка степени ошибки. 461

Заключение. Перспективы предотвращения глобальных катастроф.. 462

Литература.. 463

Приложение 1. Таблица катастроф.. 475

Примечания: 514

 

 


Г. Г. Малинецкий[*]. Размышления о немыслимом

 

Завидую Прусту. Упиваясь прошлым, он опирался на весьма прочную основу: вполне надежное настоящее и неоспоримое будущее. Но для нас прошлое стало прошлым вдвойне, время вдвойне утрачено, потому что вместе со временем мы утратили и самый мир, в котором текло это время. Произошёл обрыв. Поступательное движение веков прервалось. И нам уже неведомо, когда, в каком веке мы живем и будет ли у нас хоть какое-то будущее.

Р. Мерль. «Мальвиль»

Картина, нарисованная мною, не обязательно должна быть картиной полного уныния: ведь неизбежных катастроф, возможно, и нет. И, конечно, шансов избежать катастрофы становится больше, если мы смело посмотрим катастрофе в лицо и оценим её опасность.

А. Азимов. «Выбор катастроф»

Такая книга должна была появиться. Её время пришло. Хорошо было бы, чтобы она была написана лет на 20 раньше. Но прошлого уже не изменишь, а о будущем надо думать, проектировать его и осмысливать его опасности, риски и угрозы.

Эта книга находится на грани между обзором работ, посвященных сценариям глобальной катастрофы, выполненным в мире, между футурологическим исследованием и методологическим анализом существующих подходов. Автор книги – Алексей Турчин – стремится к объективному анализу, к научности, к целостному осмыслению глобальных рисков. Безусловным достоинством книги является её интеллектуальная честность, стремление к чёткому разделению фактов, результатов, гипотез, сомнений, домыслов.

Наверно, у многих читателей возникнет естественный вопрос, как соотносится предпринятое исследование с конкретными работами по управлению рисками и проектированию будущего, которые активно ведутся в России и во всем мире. О «мостике», соединяющим анализ гипотетических катастроф и работы по прогнозированию и предупреждению реальных аварий, бедствий, чрезвычайных ситуаций, наверно, и стоит сказать в предисловии к этой книге.

1.   Глобальная неустойчивость

…макросдвиг – это трансформация цивилизации, в которой движущей силой является технология, а запускается сдвиг наличием критической массы людей, осознавших необходимость обновления системы ценностей.

Э. Ласло. «Макросдвиг»

Вероятно, именно сейчас человечество делает самый важный и значимый выбор в своей истории. В теории самоорганизации – синергетике (дословно, теории совместного действия) – есть принципиально важное понятие бифуркация. Слово пришло из французского языка, где означает раздвоение, ветвление. Бифуркацией называют изменение числа или устойчивости решений определенного типа при изменении параметра.

В нашем случае параметром является время (точнее, историческое «медленное время», как назвал его выдающийся французский историк Фернан Бродель). «Решение» – это важнейшие количественные параметры, характеризующие жизнеустройство нашей цивилизации. И в течение жизни одного поколения предыдущая траектория развития теряет устойчивость.

Очевидное свидетельство этому – технологический предел, к которому подошла цивилизация. По оценкам экологов, если весь мир сегодня начал бы жить по стандартам Калифорнии, то всех разведанных запасов полезных ископаемых хватит по одним видам на 2,5 года, по другим на 4. Человечество живет не по средствам – за год оно потребляет такое количество углеводородов, на создание которого у природы уходило более 2 миллионов лет. Несколько лет назад был пройден важный рубеж – более трети нефти начало добываться на шельфе и с океанических глубин. Бразильские и американские кампании начали бурить в море на глубинах 2,5 километра. То, до чего легко было дотянуться, уже освоено или исчерпано.

Наука ХХ века не решила задачу производства необходимого количества дешёвой чистой энергии и её эффективного аккумулирования. Наглядное свидетельство нынешнего мирового нефтяного кризиса рост цен на нефть с 7 (несколько десятилетий назад) до 140 долларов за баррель. То же касается производства продовольствия, сценариев экономического развития, обостряющихся проблем глобализации[†]. Становится очевидным, что прежняя траектория развития человечества потеряла устойчивость. И надо осознанно и разумно выбирать новую траекторию, либо обстоятельства выберут её за нас.

В синергетике показано, что вблизи точки бифуркации имеет место неустойчивость. И малые причины могут иметь большие следствия. Мы видим множество признаков неустойчивости современной реальности. Неустойчивости всегда были спутником развития человечества.

Неустойчивости, как показывает синергетика, носят разный характер. Например, в линейных системах они развиваются по экспоненциальному закону или, что то же самое, по геометрической прогрессии – в одинаковое число раз за одинаковое время. Простейший пример такого роста дает уравнение Мальтуса.

.                                                          (1)

По предположению английского священника и профессора Ост-Индийской компании Томаса Мальтуса (1766-1834), по этому закону растет численность всех видов, включая человека. Из школьной математики известно решение этого уравнения N(t) = N0·exp(at). Если увеличить начальные данные вдвое, то и решение возрастет вдвое: отклик, пропорциональный воздействию – общая черта всех линейных систем.

Это очень «быстрый» закон. В соответствии с ним, например, с 1960-х годов, развивается компьютерная индустрия. Там он называется закон Мура: каждые 18 месяцев степень интеграции элементов микросхемы (а с ней и быстродействие компьютеров) удваивается.

Однако есть и ещё более быстрые законы, характерные для нелинейных систем, например, систем с положительной обратной связью. В них отклонение вызывает реакцию системы, увеличивающую отклонение, увеличивающую более сильно, чем в уравнении (1).

Такую неустойчивость, например, описывает уравнение (2)

.                                                         (2)

Но закон роста здесь совсем другой

.                                                                         (3)

Здесь имеет место режим с обострением[‡], когда исследуемая величина неограниченно возрастает за ограниченное время tf, которое само зависит от начальных данных tf = 1 / aN0.

Всё это не является математическим упражнением, а имеет непосредственное отношение к нашему настоящему и будущему. Исследования последних десятилетий ХХ века, данные палеодемографов, показали, что именно по закону (2), а не по закону (1) росла численность человечества на протяжении двух миллионов лет, и определили момент обострения tf » 2025 год.

Закон (3) описывает сингулярность (особенность). Специалисты по прогнозированию связывают с сингулярностью гипотетическую точку во времени вблизи 2030 года, в которой ряд прогностических кривых уходят в бесконечность. Многие эксперты связывают его с взрывным развитием технического прогресса, в особенности информационно-телекоммуникационных, нано-, био- и когнитивных технологий (английское сокращение NanoBioInfoCognoNBIC), с качественным изменением человечества.

Будем рассуждать как реалисты, твердо стоящие на Земле. Нас не может быть бесконечно много. Поэтому закон (3), гиперболический рост численности человечества – главная пружина истории на протяжении многих веков – должен измениться. И это происходит. Происходит в последние 20 лет – на протяжении жизни одного поколения. Речь идет об изменении алгоритмов развития цивилизации. Самое близкое по масштабу событие – неолитическая революция, в результате которой человечеству удалось перейти от охоты и собирательства к земледелию и к скотоводству. По оценкам ряда экспертов, в ходе этой революции численность человечества уменьшилась почти в 10 раз.

Человечеству и науке брошен вызов, сравнимого с которым ещё не было. Состояние ресурсов, биосферы, общества заставляет нас в очень короткий срок 15-20 лет обновить или радикально изменить весь набор жизнеобеспечивающих технологий (энергетика, производство продовольствия, транспорт, управление обществом и многое другое).

По сути, речь идет о типе бифуркации. В синергетике различают мягкие бифуркации, при прохождении которых возникшие траектории лежат в окрестности прежней, потерявшей устойчивость. И далее постепенно, эволюционно удаляются от неё при изменении параметра. Делается важный и ответственный выбор, суть и значение которого выясняется позже, однако развитие идёт эволюционно. Это вариант будущего, который предвидит профессор С. П. Капица.

Но бывают и жесткие бифуркации, когда близкой ветви нет и, скажем, происходит переход на другую, достаточно далёкую от предыдущей ветвь. Это революционное событие. Не хочется думать, что это ждёт человечество в ближайшие десятилетия, но и исключать такого варианта нельзя. И здравый смысл подсказывает, что, надеясь на лучшее, следует рассчитывать на худшее и, конечно, всерьёз размышлять о нем.

Это и является лейтмотивом книги А. В. Турчина. По сути, она является первой научной (насколько это возможно при анализе трагического, невиданного, никогда не происходившего) работой, посвященной данному кругу проблем. Обсуждаемое направление мысли уже несколько десятилетий развивается на Западе. Соответствующие работы публикуются во многих авторитетных научных журналах, в частности, в Nature. Естественно познакомить с этим направлением поисков, которое может оказаться очень важным («кто предупрежден, тот вооружен») и отечественного читателя.

В точке бифуркации очень велика неопределенность. И обещания светлого будущего соседствует с апокалиптическими сценариями. Но и те, и другие гипотезы должны быть предметом серьёзного обсуждения и анализа. Автор весьма добросовестно подошёл к проблеме. Он обладает отличной логикой, огромной эрудицией, хорошим стилем и прекрасной способностью к классификации. Тем не менее, свою книгу он называет дискуссионной. Местоимение «я» появляется на её страницах гораздо чаще, чем это принято в научной литературе. Думаю, что и это стремление взять на себя ответственность за сделанные утверждения заслуживает уважения.

2.   Психологический дискурс

Всё, всё, что гибелью грозит,

Для сердца смертного таит

Неизъяснимы наслажденья –

Бессмертья, может быть, залог!

И счастлив тот, кто средь волненья

Их обретать и ведать мог.

А.С. Пушкин

Страх вообще и страх смерти в частности, является важным компонентом индивидуального и коллективного сознания. Место, которое он занимает, зависит от состояния личности и общества. В эпохи перемен, нестабильности, неуверенности это место становится очень большим. Об этом можно судить по рубежу ХХ века в России – мода на медиумов, мистику, богоискательство и богостроительство, Григорий Распутин у вершин власти. Алексей Турчин не случайно приводит в качестве эпиграфа слова из спектакля, который ставили дачники в чеховской «Чайке». Это слова о конце времен, когда на Земле уже не осталось ничего живого. Проблема смерти и бессмертия – стержень любого религиозного мировоззрения.

Переломный период, время выбора и неуверенности в будущем переживает сейчас наша цивилизация. Проект Модерна, связанный с надеждами на технический прогресс, способный качественно улучшить жизнь людей, на более эффективное, разумное и справедливое жизнеустройство, на культурное развитие, на становление научного мировоззрения испытывает глубокий кризис. Ему противостоят Постмодерн, постулирующий множественность смыслов, ценностей, познавательных практик, типов общества и отрицающий элемент объективности, необходимый для сравнения, а также саму возможность диалога культур, цивилизаций, школ. Наука в постмодернистской традиции оказывается на одной доске с религиозными сектами, медиумами, экстрасенсами. Философия, служившая в Новое время опорой развития, начинает расшатывать основы мироустройства. «… смерть Бога обращает нас не к ограниченному позитивному миру, она обращает нас к тому миру, что распускает себя в опыте предела, в акте эксцесса, излишества, злоупотребления, преодолевающих этот предел, переступающих через него, нарушающих его», – пишет один из классиков философии постмодернизма М. Фуко о фундаментальной метафоре этого направления – «смерти Бога».

С другой стороны, проект Модерна атакует Контрмодерн, связанный с возвратом к религиозной традиции, с фундаментализмом, с отказом от ряда возникших в ходе реализации проекта Модерн моральных и нравственных норм, многих достижений культуры. Место науки в мировоззрении занимает мистика, магия, религия. Поэтому при таком социально-психологическом фоне даже обсуждать вопросы, рассматриваемые в книге, очень нелегко. И поэтому А.В. Турчин выбрал рациональную, нарочито-суховатую форму обзора, лишенную эмоциональной окраски. И это представляется очень разумным.

Очевидно, есть две реакции на такого рода тексты. Первый – это общая, на уровне обыденного сознания реакция недоверия. Приведу пример такого рассуждения: «почему страшилки так живучи? Ну ладно, ладно, инстинкт самосохранения… но ведь известно, что те угрозы, о которых говорят, и те угрозы, с которыми человек потом столкнется, существенно отличаются… Так почему же коллективное бессознательное не откорректирует отношение к пророчеству угроз? Да очень просто – не только письменная история пишется победителями. Они ещё и формируют коллективное бессознательное… Вот так-то и корректируется архетип – несбывшиеся ужасы забываются, а любовь к страшилкам – живет»[§]. Замечу в скобках, что для того, чтобы многие ужасы не сбылись, потребовались в ряде случаев громадные средства и усилия очень многих людей.

Оборотная сторона этой медали – попытки решить сущностные, социальные, психологические, мировоззренческие вопросы технологическими средствами. Здесь можно привести в пример проекты радикального продления жизни (с помощью стволовых клеток, микророботов или как-то иначе), крионику (замораживание после смерти, в надежде, что потомки займутся оживлением, лечением и т.д.), многие инициативы трансгуманистического движения. Например, один из активистов этого движения, сотрудник Института системного анализа РАН А. А. Кононов предложил заключить договор с потомками: «Это будет договор между поколениями! Мы напишем в договоре, что работали ради прогресса, двигали технологии воскрешения, и потомки нас воскресят.»[**]

Мне доводилось быть на семинаре, где обсуждался проект Гечвок («Ковчег» наоборот), где рассматривалось создание городов на глубине многих километров под землей, которые пригодятся на случай столкновения Земли с гигантским астероидом…

Мне могут возразить, сказав, что мечтатели нужны, и даже привести в пример русского космиста Н. Ф. Федорова, автора философии Общего дела, связанной с воскрешением всех умерших людей, который оказал большое влияние на выдающихся ученых – отца космонавтики К. Э. Циолковского и основателя гелиобиологии А. Л. Чижевского. Мечтатели действительно нужны. А приведенное исключение только подтверждает правило – с какой же любовью и мудростью надо относится к людям, считая, что все они заслуживают воскрешения… И здесь тоже видно, что вначале стоят глубокие мировоззренческие вопросы, а потом исследования и технологии…

Наука также является частью культуры и, естественно, самым тесным образом оказывается связанной с другими частями, ощущая на себе дух времени.

Этот психологический феномен легко проследить на примере нескольких книг, связанных с очень далеким будущим и с глобальными угрозами, которые оно несет.

Библия научно – технической революции – «Сумма технологий» (начало 60-х годов)[††]. Никаких сомнений в том, что удастся преодолеть все барьеры на пути технологического, социального, психологического развития и парировать все угрозы, которые могут возникнуть на этом бесконечном пути.

Выдающийся фантаст и популяризатор науки Айзек Азимов. Книга, посвященная

глобальным катастрофам: «Выбор катастроф» (конец ХХ века). Об этой книге прекрасно сказал её редактор, профессор С. А. Степанов: «это блестящая, спокойная, познавательная книга, тем не менее, принадлежит к той эпохе, которая уходит вместе с последним десятилетием ХХ столетия. Азимов – как фантаст и как популяризатор науки – воспитан столетиями гуманизма. Для него «естественный свет разума», помноженный на усилие гения, оказывается той силой, которая способна преобразовать и неведомые силы природы и неразумное начало в человеческом существе…

Скажи мне, чего ты боишься, и я скажу, кто ты. Человек гуманистической эпохи боится опасностей, на которые указывает ему здравый смысл: исчерпание природных ресурсов, плохое правительство, безумие ученых, обилие пятен на Солнце…

Для того, чтобы узнать, чего боится современный «человек с улицы», достаточно посмотреть фильмы, которые нравятся ему. Современный человек боится собственного бессознательного, невозможности исчерпывающего контроля внутренних своих начал. Он боится, что создаст существо, которое уничтожит его же самого (мутант, робот, суперкомпьютер). Он боится, что существует скрытая ложа космополитов, которая правит экономической и политической жизнью, придумав ради порабощения народных масс Интернет и СМИ. Он очень опасается зловредных пришельцев, исповедующих абсолютно другие ценности, чем человечество. Он не доверяет рациональным статистическим расчетам и предполагает, что Землю в ближайшем будущем ожидает столкновение с кометой…

Как назвать наступающую эпоху? Пусть об этом заботится эпоха следующая. Можно лишь предполагать, что грядущий век будет в чем-то ближе древнему восприятию мира c магическим отношением к реальности и мистическим ощущением присутствия Собеседника, предлагающего человеку загадки – одну интереснее другой».[‡‡]

Эта мода затронула и популяризаторов, и учёных. В США родился целый жанр литературы, посвященной тому, как будут с течением времени исчезать следы пребывания человека на Земле, если в один прекрасный день все люди исчезнут. Всерьёз обсуждаются проблемы, которые возникнут у космологов через 100 триллионов лет и проблемы финала: «Мы, Кросс и Шеррер считаем, что наблюдаемую Вселенную в далеком будущем ожидает коллапс в черную дыру, что в начале произойдет и с нашей Галактикой»[§§].

3.   Проблема инструмента

— Какая вероятность, что выйдя с экзамена Вы встретите динозавра?

— ½

— Почему?

— Потому что я его либо встречу, либо не встречу.

Из разговора на экзамене

Математика это язык. Но само употребление языка не гарантирует содержательности суждения, высказанного на этом языке. Математика – эффективный и ценный инструмент. Однако употреблять его следует разумно и по назначению.

Не исключением является и теория вероятности (создающая обманчивое впечатление простоты, очевидности и научности в массовом сознании). Употребление вероятностных аргументов и оценок в книге А. В. Турчина является одним из «дискуссионных» моментов. В самом деле, что такое вероятность? [DM1] Если исходить из частной формулировки, то следует поставить N одинаковых экспериментов, в n которых произошло интересующее нас событие. В этом случае

                                                              (4)

Разумеется, у нас нет возможности поставить бесконечно много экспериментов, и мы должны судить о вероятности pn на основе М наблюдений, что дает приближенное значение этой величины p(M). И математическая теория показывает насколько p(M) будет близко к истинной вероятности.

Но ведь когда мы говорим о вероятности глобальных катастроф, которых, к счастью, пока не было, то пользоваться соотношением (4) или чем-то подобным просто нельзя. Здесь-то N = 0!

Нет пророка в своём отечестве, и поэтому обратимся к зарубежным пророкам, чтобы показать типичные пробелы в логике применения математического аппарата. Это формула Фрэнка Дрейка для числа внеземных цивилизаций (встречу с которыми А. В. Турчин, видимо, не без оснований относит к глобальным рискам).

,                                                            (5)

где N – число внеземных цивилизаций, R – число ежегодно образующихся звезд во вселенной, P – вероятность наличия звезды у планетной системы, Ne – вероятность того, что среди планет имеется планета земного типа, на которой возможно зарождение жизни, L – вероятность реального зарождения жизни на планете, C – вероятность того, что разумная жизнь пошла по пути технологического развития, разработала средства связи и желает вступить в контакт, T – усредненное время, на протяжении которого желающая вступить в контакт цивилизация посылает радиосигналы в космос.

По форме соотношение (5) выглядит вполне научно, а по сути является чистой воды фантастикой со своим сюжетом, предположениями и моралью. В этой формуле многовато неизвестных, значения которых в принципе непонятно, как могут быть определены.

Допустим величину R могут оценить астрофизики и космологи, хотя в контексте обнаруженного расширения вселенной с ускорением, темной материи и это неочевидный вопрос.

О величине P ещё недавно вообще ничего сказать было нельзя – не видели планет астрономы у звезд кроме Солнца. В последние десять с небольшим лет в астрономии произошла революция – планетные системы удалось разглядеть у сотни с лишним звезд. И вопросы о «земной группе», о «составе атмосферы» – это передний край науки, и пока тут тоже время для определенных суждений ещё не пришло.

Величина Ne исходит из допущения, совсем не очевидного, что для зарождения жизни нужна планета земной группы.

Вероятность реального зарождения жизни L… Многие исследователи полагают, что жизнь на Земле уникальна. Фрэнсис Крик (открывший двойную спираль ДНК) и ещё несколько нобелевских лауреатов считают, что жизнь вообще не могла зародиться на Земле и занесена к нам из космоса. Мне довелось участвовать в программе Президиума РАН, посвященной добиологической и ранним стадиям биологической эволюции (то есть происхождению жизни). И руководитель программы, академик Э. М. Галимов, поставил вопрос перед исследователями: «Каковы достаточные условия возникновения жизни?» Несмотря на серьёзные усилия многих ведущих специалистов, пока, судя по всему, эта задача ученым недоступна.

Об оценке двух остальных, ещё более экзотических слагаемых и речи нет.

Сильной стороной данной работы А. В. Турчина является серьёзное внимание к методологическим вопросам, им уделена довольно большая часть книги. И здесь, наверно, мне тоже стоит внести свою лепту. По-видимому, с понятием «вероятность» произошла аберрация восприятия. Поясню её на конкретном примере.

При оценке экономических, научно-технических, научно-технологических проектов, в том числе с высоким уровнем риска, начиная с XVI века, пользуются (вначале интуитивно, а затем и осознанно) формулой

,                                                                            (6)

где S – ожидаемая полезность проекта; i – номер возможного сценария, по которому могут развиваться события; N – общее число рассматриваемых сценариев; pi – вероятность реализации i-го сценария; xi – прибыли или убытки в случае i-го сценария. И величина xi, и соответствующие вероятности – объективные величины, оцениваемые на основе предшествующего опыта. Актуарная математика создала соответствующие методики, и страховые компании ими пользуются. Это основа объективной оценки риска. (Проблемы, которые также рассматриваются в прикладной математике, связаны с анализом и модификацией формулы (6) в случае, когда S = ∞. В случае глобальных рисков мы имеем дело именно с этой ситуацией, если в j-ом сценарии речь идет об уничтожении всего живого, то S = ∞).

Однако в ХХ веке при анализе поведения экономических агентов было выяснено, что люди, компании, государства, принимая решения, достаточно часто исходят из иного соотношения

,                                                  (7)

где М – число сценариев, принимаемых во внимание; gi(pi,xi) – субъективная вероятность, то есть представление лиц, принимающих решения, о вероятности i –го сценария; hi(pi,xi) – субъективная оценка прибылей и издержек в случае наступления i –го сценария.

Субъективная вероятность зависит от психологических установок руководителей, традиций, принятого законодательства и, во многом, её оценка парадоксальна. Например, психологические исследования показывают, что у большинства людей gi(pi,xi) = 0, если pi < 105, как бы не был велик ущерб. Иными словами, если, что-то случается с одним из 10 000, то человек обычно уверен, что с ним-то ничего подобного не произойдет[***]. То есть, субъективная вероятность – «тень» объективной вероятности, её подобие, подчас весьма далекое от оригинала.

Однако, в последние десятилетия «субъективная вероятность» получила права гражданства и начала гулять по страницам монографий, учебников, научных журналов (формула Дрейка – наглядный пример). Вероятности глобальных катастроф, изучаемые в книге А. В. Турчина – это сплошь и рядом субъективные вероятности.

Эти величины – полезный инструмент для проведения социологических или социально-психологических исследований, для оценки пессимизма или оптимизма экспертов. Однако к существу дела они могут не иметь никакого отношения. И если нет предмета (объективной вероятности), то и субъективная вероятность повисает в воздухе, приобретает не рациональный, а интуитивный или эмоциональный характер, становится тенью несуществующего предмета.

Ещё одна методическая тонкость. Для обычных аварий и бедствий характерен гауссов закон для распределения плотности вероятности ущерба. Рост людей, коэффициент интеллектуальности и другие характеристики и способности человека распределены по этому закону:

,                                                                       (8)

где r(x) – плотность вероятности случайной величины; M – её математическое ожидание; s2 – дисперсия. Для этого распределения имеет место «закон трёх сигм» – вероятность того, что случайная величина выйдет из интервала (M3s, M+3s). составляет менее 0,3 %. «Хвосты» этого распределения спадают очень быстро и вероятностью гигантских отклонений можно пренебречь.

Однако, для землетрясений, наводнений, торнадо, биржевых крахов, ущерба от утечки конфиденциальной информации, аварий на атомных станциях имеет место совсем другая статистика.

.                                                                  (9)

Это степенная статистика с «тяжелыми хвостами», здесь гигантскими отклонениями пренебречь нельзя. Это напоминает страшный и удивительный мир восточных сказок, в которых действуют гиганты и джинны: шанс встретить их очень мал, но встреча с ними может изменить все.

И действительно, в ХХ