Главная   Гостевая   Галерея   Разное   Ссылки   Новости   Магазин

 

 

Теория катастроф   Самоорганизованная критичность   Игра ЖИЗНЬ

 

 


 
 
 

Структура глобальной катастрофы.

 
     

Современный и эффективный кабель обогрева Москва со скидкой.

 
 
 

Алексей Турчин
Структура глобальной катастрофы.
Версия 0.96
7 декабря 2007 года
(с) 2007 Алексей Валерьевич Турчин

Разрешено некоммерческое использование текста. По всем вопросам публикации, а так же о других работах на эту тему – обращайтесь по электронной почте.
Алексей Турчин
avturchin*mail.ru

Обсуждение статьи на форуме.

Российская Академия Наук
Институт Африки

СТРУКТУРА ГЛОБАЛЬНОЙ КАТАСТРОФЫ

Совместный проект
Центра цивилизационных и региональных исследований
Института Африки РАН и
Российского Трансгуманистического Движения.

Москва 2008

СЕРИЯ «ДИАЛОГИ О БУДУЩЕМ»
Т.2
Составитель:
А.В. Турчин
Ответственные редакторы:
Валерия Прайд
А.В. Турчин
СОДЕРЖАНИЕ

Предисловие 3

А.В. Турчин
Структура глобальной катастрофы 5

Приложения:
E. Юдковски
Искусственный интеллект как позитивный и негативный фактор глобального риска 335
А.А. Кононов
Идеологические начала общей теории неуничтожимости человечества 390
Н. Бостром
Введение в Doomsday Argument 403


Предисловие

Риск существованию – это тот риск, в котором негативный исход или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает её потенциал.
Н. Бостром. «Угрозы существованию: анализ сценариев человеческого вымирания».

Если в ХХ веке возможность вымирания человечества связывалась только с рисками глобальной ядерной войны, то в начале XXI мы можем без труда называть более десяти различных источников рисков такой глобальной катастрофы, которые связаны с развитием новых технологий, и число это постоянно растёт. Исследование этого вопроса странным образом отстаёт от многих других, более частных вопросов, что видно хотя бы по количеству общих работ на эту тему. (Что, видимо, является естественным свойством человеческой натуры: в своё время Дейл Карнеги жаловался, что в библиотеке много книг о червях (worm), но нет книг о «беспокойстве» (‘worry’).) Проблемы исчерпания нефти, будущего китайской экономики или освоения Космоса привлекают гораздо больше внимания, чем необратимые глобальные катастрофы, а исследования, в которых разные виды глобальных катастроф сопоставляются друг с другом, встречаются реже, чем предметные дискуссии по отдельным рискам. Однако бессмысленно обсуждать будущее человеческой цивилизации до того, как будет получена разумная оценка её шансов на выживание. Даже если в результате такого исследования мы узнаем, что риск пренебрежимо мал, в любом случае важно этот вопрос изучить. Однако, к сожалению, сразу могу сказать, что мы не получим этого результата. Сэр Мартин Рис оценивает шансы выживания человечества в XXI веке как 50 на 50, и я склоняюсь к тому, что это вполне обоснованная оценка.
Предлагаемая читателю книга «Структура глобальной катастрофы» посвящена мало освещённой в отечественной литературе теме: целостному обзору «угроз существованию», то есть рискам необратимой гибели всей человеческой цивилизации и вымирания человека. Цель этой книги – дать широкий и максимально достоверный обзор темы. При этом, однако, книга носит дискуссионный характер, то есть она призвана не столько дать окончательные ответы, сколько подтолкнуть мысль читателя и создать почву для дальнейших обсуждений. Многие высказанные гипотезы могут показаться излишне радикальными. Однако, говоря о них, я руководствовался «принципом предосторожности», который рекомендует рассматривать наихудший из реалистичных сценариев, когда речь идёт об обеспечении безопасности. Критерием реалистичности сценариев для меня является то, что они могут возникнуть при сохранении нынешнего темпа развития технологий в течение XXI века и не нарушают известные законы физики.
Исследование характера глобальных рисков и их вероятностная оценка необходимы, чтобы определить, насколько велика угроза и какие меры следует принять в отношении неё. И хотя возможные меры в этой книге обсуждаются, здесь вы не найдёте универсального рецепта избавления от глобальных рисков. Однако книга не должна внушить читателю ощущение неизбежности гибели. Автор полагает, что, несмотря на трудности и риски, ожидающие человечество в XXI веке, люди имеют шанс выжить и, более того, построить более совершенный мир. Однако выживание является необходимым условием для любого совершенного мира. Опять же, в этой книге мы не обсуждаем то, каким бы мог быть совершенный мир, в котором новые технологии использованы в плюс, а не в минус. Однако этому вопросу посвящён первый том серии «Диалоги о будущем», издаваемой Российским Трансгуманистическим Движением – организацией, посвящённой исследованию влияния радикальных технологических изменений на будущее человеческой цивилизации.
В этом томе вы найдёте мою монографию «Структура глобальной катастрофы», а также три статьи в приложении, необходимые для более ясного понимания темы. Монография на две большие части – методологии и собственно анализа рисков. Методология состоит в основном из критического анализа способности человеческого мышления к предсказанию и оценке глобальных рисков. (Более ранняя версия части, посвящённой методологии, вышла в сборнике ИСА РАН в виде статьи «О возможных причинах недооценки глобальных рисков».) Эта методология может быть полезна, с небольшими изменениями, и при любых других футурологических исследованиях. Затем в разделе о методологии делается ряд рекомендаций о том, как именно следует осуществлять анализ рисков. Разбор конкретных рисков во второй части состоит из максимального подробного перечня различных угроз со ссылками на источники и критического анализа. Затем исследуются системные эффекты взаимодействия разных рисков, обсуждаются способы вероятностной оценки глобальных рисков и другие связанные с этим вопросы.
В приложении в первую очередь следует отметить большую новаторскую статью американца Е.Юдковски «Искусственный интеллект как фактор глобального риска», переведённую мной на русский язык. Эта статья выходит в солидном сборнике «Риски глобальной катастрофы», который издаётся университетским издательством Оксфорда в этом году под редакцией Ника Бострома и Милана Чирковича. (Я перевёл две другие статьи из этого сборника, которые выходят в первом томе серии «Диалоги о будущем», издаваемой РТД. Это статья Юдковски «Систематические ошибки в оценке глобальных рисков» и статья Н. Бострома «Угрозы существованию: анализ сценариев вымирания». Я настоятельно рекомендую прочесть эти статьи, которые также можно найти в сети, поскольку они в значительной мере являются отправными точками для рассуждений, которые последуют далее.) Е.Юдковски – ведущий научный сотрудник Сингулярити института в Калифорнии, который занимается разработкой системы универсального искусственного интеллекта и проблемами его безопасности («дружественности»). Он написал несколько больших текстов о проблемах создания систем ИИ и обеспечения их дружественности, ввёл концепцию Seed AI, много писал о проблемах футурологии и возможной Технологической Сингулярности – резкого ускорения технологий в будущем. Его институт разработал «SIAI рекомендации по созданию дружественного ИИ», которые претендуют на то, чтобы стать отраслевым стандартом в безопасности ИИ.
Ник Бостром – шведский учёный и философ, возглавляющий институт «Будущее человечества» в Оксфорде, автор исследований по этике, теории вероятностей, футурологии и философии, неоднократно публиковался в ведущих реферируемых научных журналах Mind, Nature и др. Часть его работ по теории вероятностей посвящена малоизвестному в России логическому парадоксу, называемому Doomsday argument, название которого мы будем переводить как «Теорема о конце света». Есть много разных мнений о её истинности, ложности и границах применимости, однако нам кажется важным ознакомить читателя с этим направлением современной мысли. Поэтому в приложении добавлена статья Ника Бострома «Введение в теорему о конце света для начинающих». Хотя научное сообщество с осторожностью рассматривает эту проблему, статьи о ней публикуются в Nature в разделе гипотезы, что говорит об определённом уровне признания.
Наконец, научный сотрудник Института Системного Анализа РАН, кандидат наук А.А. Кононов в своей статье «Идеологические начала общей теории неуничтожимости человечества» подходит к проблеме глобальных рисков с точки зрения стратегии, а именно, необходимости реализации задачи «неуничтожимости человечества». Нам кажется важным опубликовать здесь эту статью, потому что она показывает возрастающий интерес среди российских учёных к проблемам глобальных рисков.
Имеет ли смысл вообще писать по-русски о глобальных катастрофах, или роль нашей страны в них слишком незначительна? Я думаю, что имеет, по следующим причинам:
1. Эта тема мало освещена в русскоязычной литературе и отдана на откуп разного рода сектантам и проповедникам апокалипсиса. Основные исследования не переведены (за исключением около 10 статей по проблеме, которые я перевёл в 2006-2007 годах). Открытое обсуждение этих вопросов может быть интересно не только специалистам, но и широкой публике.
2. Технологическое отставание России не настолько велико, чтобы служить гарантией того, что у нас не могут быть разработаны опасные технологии и созданы опасные изделия на их основе. Наоборот, РФ обладает техническим потенциалом для развития многих видов опасных технологий, в первую очередь, в области ядерного оружия и биологического. Также есть группы, работающие в области ИИ. Проводятся и высокоэнергетичные физические эксперименты.
3. Россия неоднократно в истории или опережала мир в важных технологических разработках (спутник, Гагарин), или доводила их до масштабного предела (Царь-бомба). Кроме того, на территории СССР произошли некоторые самые опасные в истории катастрофы (Чернобыль).
4. Особенности российского менталитета и организация производство («авось», «откат», ориентация на краткосрочную выгоду) после распада СССР привели к тому, что вопросам безопасности не уделяется достаточно внимания. Г.Малинецкий в своих книгах и докладах рисует бедственную картину в области предотвращения техногенных катастроф в РФ. Глобальные катастрофы привлекают ещё меньше внимания.
5. Информационная изоляция. Информация о рисках, связанных с создаваемыми на Западе новыми технологиями, проникает медленнее, чем сами технологии, и подавляющее большинство литературы на тему глобальных рисков не переведено.
6. Отсутствие жёсткого контроля позволяет существовать большому числу нелегальных разработчиков («русские хакеры»), что может быть особенно опасно в области биотехнологий.
7. РФ унаследовала мощные геополитические противоречия и комплекс неполноценности от распада СССР, что может способствовать осуществлению опасных проектов.
8. Публикации на русском могут оказать позитивное влияние на зарубежную науку и общественное мнение, увеличивая «насыщенность среды» информацией о глобальных рисках. Уникальные наработки российских исследователей могут внести свой вклад в общее дело спасения мира. Русскоязычная литература будет доступна и в странах СНГ. Кроме того, переводы на русский язык повышают статус зарубежных авторов. Многие русские студенты в будущем будут учиться или работать в зарубежных учреждениях, перенося накопленные здесь знания. И есть класс зарубежных исследователей, читающих по-русски или русского происхождения.
9. Россия может оказаться в обстоятельствах, когда её само существование, как части большого мира, окажется зависящим от внешних к ней обстоятельств, и станет необходимым быстрое принятие адекватное решений в условиях острой недостаточности информации. В этом случае возникнет потребность в информации и людях. Необходимо ясное понимание правительствами разных стран природы глобальных рисков.
10. Широта и свобода мировоззрения, как я надеюсь, свойственная мыслителям в России, может дать новый взгляд на общечеловеческие проблемы, открыть новые уязвимости и указать на новые пути предотвращения глобальных рисков.
11. Если Россия позиционирует себя в качестве великой державы, развивает нанотехнологии, собирается лететь на Марс и т. д., то она должна играть ответственную роль в обеспечении безопасности всего человечества.
Многое, сказанное о РФ здесь, относится и к другим странам, например, к Индии и Китаю, где технологии быстро развиваются, а культура предотвращения рисков тоже низка.
Создавая описание возможных глобальных рисков, я не мог не нарисовать определённую картину будущего человечества, то есть перед вами - футурологическая работа.
А.В.Турчин

Люди, львы, орлы и куропатки, рогатые олени, гуси, пауки, молчаливые рыбы, обитавшие в воде, морские звезды и те, которых нельзя было видеть глазом,— словом, все жизни, все жизни, все жизни, свершив печальный круг, угасли... Уже тысячи веков, как земля не носит на себе ни одного живого существа, и эта бедная луна напрасно зажигает свой фонарь. На лугу уже не просыпаются с криком журавли, и майских жуков не бывает слышно в липовых рощах. Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно.
А.П.Чехов. «Чайка»

Структура глобальной катастрофы.
Введение.
Хотя книг с общим обзором проблемы глобальных рисков издано в мире немного, уже наметилась определённая традиция в обсуждении предмета. Она состоит из обсуждения методологии, классификации возможных рисков, оценки их вероятности, способов защиты и затем обзора логических парадоксов, связанных с этой проблемой, а именно, теоремы о конце света (Doomsday argument). Наиболее существенных современных источника по проблеме три. Это – книга астрофизика Дж. Лесли «Конец света. Наука и этика человеческого вымирания», 1996, сэра Мартина Риса «Наш последний час», 2003, и сборник статей под редакцией Ника Бострома «Риски глобальной катастрофы», 2007. (Более подробно мы обсудим имеющуюся литературу в главе «Историография», в том числе упомянем и работы советских и российских авторах, писавших о глобальных рисках, в первую очередь Моисеева, однако перечисленные три книги будут нашими основными опорными точками, на которые мы будем часто ссылаться и дискутировать с ними.)
Если в книге Лесли проблеме теоремы о конце света уделено более 100 страниц, так как это было одно из первых изложений её для широкой публики, то сборник статей Бострома украшает методологическая, по сути, статья Е. Юдковски «Систематические ошибки в оценке глобальных рисков». Тем не менее, предлагаемая читателю книга значительно отличается от книг предшественников, в первую очередь широтой обзора. Например, в статье Юдковски обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в предлагаемой книге предпринимается попытка составить их полный список, и число пунктов в нём имеет порядок 150. Также и в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все разные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить сотню, что превышает число примерно в 15 рисков, обсуждаемых Бостромом в статье «Угрозы существованию». Наконец, пересказывая разные варианты теоремы о конце света, я предлагаю их классификацию, которой нет в известных мне зарубежных источниках. Важным качеством предлагающейся книги является подробный критический обзор разных щитов, бункеров и других средств защиты. Как мне кажется, высказано много существенных идей, которых нет в известных мне зарубежных источников. Это делает книгу интересной не только российскому, но и зарубежному читателю. Наконец, я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечислений различных рисков и увидеть то общее, что есть в каждом из них, а также то, как разные риски, соединяясь, могут образовывать своего рода структуру. Именно этим объясняется выбор названия книги.
Этот текст адресован любым будущим и существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними, включая различные правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды, их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель этого текста - обрисовать пространство возможностей глобальной окончательной катастрофы. Под глобальной окончательной катастрофой я имею в виду событие, которое, согласно определению Ника Бострома, «истребит разумную жизнь на Земле или необратимо повредит её потенциал». Полное вымирание всех людей является наиболее вероятной формой такого события, и дальше по тексту под словами «глобальная катастрофа» будет иметься в виду именно это событие.
Термины
В этой работе ряд общеупотребительных терминов употребляется в следующих значениях (подробнее каждый термин будет разъяснён в тексте):
ИИ – Универсальный Искусственный Интеллект, способный к самосовершенствованию и любой интеллектуальной деятельности, доступной человеку
Глобальная катастрофа – событие, приводящее к необратимому вымиранию всех людей. События, которые затрагивают весь мир, но не приводят к тотальному вымиранию, называются в этом тексте «очень большими катастрофами».
Постапокалиптический мир – то, чем может стать Земля, в случае, если на ней произойдёт очень большая катастрофа, однако какое-то число людей выживет.
Машина судного дня, оружие судного дня – любое устройство, вещество или способ, которые разработаны специально для окончательного и необратимого уничтожения человечества.
Агент - вещество, вирус, бактерия или любой другой распространяющийся фактор воздействия, причиняющий смерть.
Сингулярность – гипотетическая точка во времени в районе 2030 года, когда ряд прогностических кривых уходят в бесконечность. Связывается с крайне быстрым ростом технического прогресса, особенно компьютеров, нано и био технологий, исследований мозга и систем ИИ и предполагает качественное изменение человечества. Термин введён в употребление Вернором Винджем в 1993 году.
Закон Мура – исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет.
Ошибки – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения».

Часть 1
Методология.

Основной частью методологии представляется обнаружение и устранение возможных ошибок в рассуждениях о глобальных рисках. Затем следует ряд соображений рекомендательного характера о том, как следует проводить анализ глобальных рисков.

Наши рассуждения о глобальных рисках подвержены тем или иным ошибкам и искажениям, которые оказывают влияние на конечные выводы этих рассуждений, а, следовательно, и на нашу безопасность. «Ошибки» не вполне точное слово – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения». Когнитивные искажения являются естественным свойством человеческого ума, и в этом нет никакого оттенка «вины», который со школы связан с термином «ошибки». Однако важно знать, что поскольку когнитивные искажения – это естественное свойство человека, возникшего эволюционным путём, то каждый подвержен им и может найти их в своих рассуждениях. Основной способ исправления когнитивных искажений – эксперимент – не может помочь нам в случае глобальных рисков, поэтому мы должны гораздо ответственнее подойти к культуре своего мышления о них. При этом важно помнить тезис Юдковски, что любые списки когнитивных искажений предназначены для поиска ошибок в своих мыслях, а не для победы в спорах с другими людьми, поскольку во втором случае это приведёт только к накоплению ошибок в своей системе и закрытости к новой информации.
Даже если вклад каждой из нескольких десятков возможных ошибок мал, вместе они могут отклонить вероятностную оценку того или иного сценария в разы и привести к неправильному приложению средств обеспечения безопасности. Не трудно убедится в силе этих ошибок – достаточно опросить нескольких людей, знающих одни и те же факты о человеческой истории, и попросить их дать уверенный прогноз на XXI век – и вы увидите, насколько будут различаться конечные выводы: одни будут уверены в неизбежности исчерпания нефти, другие верить в торжество ветроэнергетики, трети ожидать мировой пандемии; одни буду считать вероятность применения ядерного оружия огромной, другие полагать, что это крайнемаловероятно. Исследователь глобальных рисков должен знать об этих подводных камней. В этом разделе предпринимается попытка составить список таких ошибок. Использованы работы зарубежных и российских исследователей, а также авторские наработки. Базовым текстом по проблеме является статья Елиезера Юдковского «Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков», которая выходит в Оксфорде в 2007 году в сборнике «Риски глобальной катастрофы» и в соответствии с любезным разрешением автора была переведена мной на русский язык и опубликована в первом томе серии «Диалоги о будущем». Данный список не заменяет эту статью, в который приведён математический и психологический анализ ряда приведённых здесь ошибок. Однако многие описания ошибок взяты из другой литературы или обнаружены самим автором. Анализ возможных ошибок в рассуждениях о глобальных рисках является шагом на пути к созданию методологии работы с глобальными рисками, а значит, и к их предотвращению. Интересно стремление разных групп, исследующих альтернативные сценарии будущего, составить своё список интеллектуальных ловушек. Например, недавно появилась статья о ‘cognitive biases’, влияющих на оценку теории «пика Хуберта», то есть исчерпания запасов нефти. (www.theoildrum.com)
Цель работы – свести возможные когнитивные искажения в удобный и структурированный список. При этом максимальное внимание уделено полноте списка, а не доказательству каждого отдельного пункта.
Данный список не претендует ни на полноту, ни на точность классификации, и некоторые его пункты могут оказаться тождественны другим, но сказанным иными словами. Подробное разъяснение каждого отдельной возможной ошибки в оценке риска заняло бы весь объём статьи. (См. например, мою статью «Природные катастрофы и антропный принцип», где одна из приведённых в этой статье возможных причин ошибок разбирается на более чем 20 печатных страницах.)
Вместе с тем важно помнить, что ошибкам в рассуждениях в той же мере свойственная патологическая самоорганизация, как и ошибкам и цепочкам событий, которые приводят к реальным катастрофам. Это означает, что даже небольшие ошибки, приводящие к небольшому отклонению оценок, имеют тенденцию зацепляться одна за другую, взаимоусиливаясь, особенно при возникновении положительной обратной связи с ними.
Ложный вывод – это интеллектуальная катастрофа. Нетрудно проследить на примере реальных аварий, как ошибочные рассуждения пилотов самолётов приводили к катастрофам, и даже обозначить, какие именно ошибки в рассуждениях они совершили. Можно сказать, что почти любая катастрофа происходит из-за человеческих ошибок. Эти ошибки хронологически выстраиваются так: вслед за ошибками в рассуждениях о возможностях идут ошибки в конструировании, в «предполётной» подготовке, в пилотировании, в управлении критической ситуацией, в устранении последствий аварии и в анализе её причин. Наши рассуждения о глобальных рисках в основном относятся к первой стадии, к рассуждениям о возможности и предварительной оценке вероятностей тех или иных рисков. Нет смысла выстраивать стратегию противостояния глобальным рискам до того, как определились приоритеты. Соответственно, приведённые в данной статье ошибки также относятся, в первую очередь, к самой ранней фазе противодействия глобальным рискам. Однако они могут проявлять себя и позже, на стадии конструирования механизмов зашиты и принятия конкретных решений. Тем не менее, в этом тексте не ставится задача об анализе ошибок на более поздних стадиях защиты от глобальной катастрофы, хотя и упоминается ряд причин ошибочных действий «операторов».
Отдельным вопросом является то, когда именно такие ошибки могут случиться. Одни из этих ошибок происходят в процессе дискуссий в «мирное время», когда общество решает, к каким именно рискам ему стоит готовиться. Другие в полной мере проявляются в аварийных ситуациях, когда люди вынуждены быстро оценить их опасность и принять решения. Грубо говоря, принято разделять все ошибки на ошибки «конструктора» и «пилота». Ошибки «конструктора» совершаются большими группами людей в течение многих лет, тогда как ошибки пилота совершаются одним или малой группой людей в течение секунд или минут. Это может быть, вообще говоря, неверно относительно глобальных катастроф, в случае, если ситуация начнёт развиваться настолько быстро, что проектирование и управление будут развиваться фактически в одном темпе.
Есть также вероятность, что некоторые описания ошибок, которые я здесь привожу, могут оказаться объектами моего неверного понимания – то есть тоже быть ошибочными. И нет ни малейших сомнений, что этот список не полон. Поэтому данный список следует использовать скорее как стартовую площадку для критического анализа любых рассуждений о глобальных рисках, но не как инструмент для постановки окончательного диагноза.

Возможные виды ошибок и когнитивных искажений разделены на следующие группы:
1. Ошибочные представления о роли ошибок.
2. Ошибки, возможные только относительно глобальных рисков в силу их специфики.
3. Ошибки, возможные относительно оценки любых рисков, применительно к глобальным рискам.
4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках.
5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (а также специфические ошибки в рассуждениях о нано-, био- и других прорывных и опасных технологиях – в том числе в ядерных технологии и астрономии.)

1. Ошибочные представления о роли ошибок.
Опасная иллюзия состоит в том, что ошибки в рассуждениях о глобальных рисках или невелики, или легко обнаружимы и устранимы. Корни этой иллюзии в следующем рассуждении: «Раз самолёты летают, несмотря на все возможные ошибки, и вообще жизнь на Земле продолжается, то значение этих ошибок невелико». Это аналогия неверна. Самолёты летают потому, что в ходе их эволюции, конструирования и испытаний разбились тысячи машин. И за каждой этой аварией стояли чьи-то ошибки, которые каждый раз учитывались и, в целом, не повторялись. У нас нет тысячи планет, которые мы можем разбить, чтобы понять, как нам правильно обращаться с взрывоопасной комбинацией био, нано, ядерных и ИИ технологий. Мы не можем использовать и тот факт, что Земля ещё цела для каких-либо выводов о будущем (см. мою статью «Природные катастрофы и антропный принцип»), потому что нельзя делать статистических выводов по одному случаю. И, конечно, особенно потому, что будущие технологии принципиально изменят жизнь на Земле. Итак, мы лишены привычного способа устранения ошибок – проверки. И, тем не менее, именно сейчас нам важнее всего в истории человечества не ошибиться.
1.1 Незавершённость этого списка ошибок.
Возможно, что есть ряд когнитивных искажений и логических парадоксов, которые проявляются только в рассуждениях о глобальных рисках, и которые нами пока не обнаружены, но полностью меняют всю весь ход рассуждений. Точно также я не хочу сказать, что все исследователи допускают все перечисленные здесь ошибки. Наоборот, большинство этих ошибок, вероятно, самоочевидны большинству исследователей – или вообще не кажутся ошибками. Однако есть шанс, что какие-то ошибки пропущены.
Под словом когнитивные искажения я имею в виду здесь не только нарушения логики, но и любые интеллектуальные конструкции, могущие оказать влияние на конечные выводы и увеличить риск глобальной катастрофы. Некоторые приведённые ошибки могут не приводить в текущих обстоятельствах к каким-либо последствиям, тем не менее, полезно их иметь в виду.
2. ОШИБКИ, ВОЗМОЖНЫЕ ТОЛЬКО ОТНОСИТЕЛЬНО УГРОЗ СУЩЕСТВОВАНИЮ.

2.1. Путаница между глобальными катастрофами и просто очень большими катастрофами.
Есть тенденция путать глобальные катастрофы, ведущие к вымиранию человечества (обозначаемые в англоязычной литературе термином «existential risks») и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Критерием глобальных катастроф является необратимость. В русском языке пока нет устоявшегося краткого термина для катастроф, ведущих к вымиранию человечества. Я называю их глобальными катастрофами. Есть ещё термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. Ник Бостром «Сценарии человеческого вымирания» [Bostrom, 2001].) Разница между этими двумя видами катастроф – не в количестве погибших людей и испытанных ими страданий, а будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на Земле опять будут государства, города и самолёты и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам. (От древних греков остался, по некоторым подсчётам, только 1 Гб информации, а влияние их на культуру огромно.)
2.2 Недооценка неочевидных рисков.
Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём, их вероятность, и в связи с ними ничего не предпринимается. Некоторые неочевидные риски известны только узкому кругу специалистов, которые высказывают диаметрально противоположные мнения в оценке их реальности и вероятности. Эти мнения могут выглядеть для стороннего наблюдателя в равной мере обоснованными, что заставляет его выбирать между мнениями экспертов, или исходя из своих личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в отношении которых ещё много вопросов.
По мере роста наших знаний о природе и могущества техники постоянно росло число известных нам причин возможного человеческого вымирания. Более того, этот рост ускоряется. Поэтому вполне разумно ожидать, что есть важнейшие риски, о которых мы ничего не знаем. И хуже из них те риски, о которых мы физически не можем ничего узнать, пока они не случатся.
Кроме того, очевидные риски гораздо удобнее анализировать. Есть огромный объём данных по демографии, военному потенциалу и запасам сырья, которые можно анализировать детально и подробно. Объём этого анализа может заслонять тот факт, что есть другие риски, о которых нам очень мало известно, и которые не годятся для анализа в численной форме, но которые тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).
Нетрудно заметить, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами того, что происходит (особенно ошибки в оценке высоты и степени опасности процесса). Наоборот, когда такое понимание имеется, самолёт удаётся спасти часто в совершенно невероятных условиях. И хотя для нас апостериори причины катастрофы очевидны, для самих пилотов они были в тот момент совершено неочевидны.
2.3 Глобальные риски нетождественны национальной безопасности.
Каждая страна тратит на национальную безопасность больше денег, чем на глобальную. Однако глобальные риски представляют большую угрозу для каждой страны, чем национальные – просто потому что если погибнет весь мир, то и страна вместе с ним. При этом часто те действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны возрастает, - во всяком случае, по мнению её руководства - когда она накапливает запасы ядерного и бактериологического оружия, но безопасность всего мира в результате гонки вооружений падает. Или, например, проблемой РФ является депопуляция, а всего мира – перенаселение, равно как и для Московского мегаполиса. Ещё пример: один американский фонд реализует проект по предотвращению глобальных рисков и террористических атак на Америку. Но для нас понятно, что первое и второе – не одно и тоже.
2.4. Ошибка, связанная с психологизацией проблемы.
Издавна существует стереотип сторонника «конца света», толкователя апокалипсиса, – как отверженного обществом индивида, пытающегося своими нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, свои неудачи в финансах и личной жизни. Вне зависимости от истинности или ложности такой интерпретации психологических мотивов людей, это не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если это не касается их собственной жизни.
2.5. Отождествление глобальной катастрофы со смертью всех людей и наоборот.
Вымирание человечества не означает гибели всех людей, и наоборот. Легко можно представить себе сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства, то это будет конец цивилизации, хотя огромное большинство людей будет некоторое время ещё живо. Или если – в неком фантастическом сценарии - инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам. Более того, все живущие в настоящий момент люди, если не будет изобретено радикальное средство продления жизни, вымрут к началу 22 века, равно как сейчас вымерли люди, жившие в 19 веке. Но мы не рассматриваем это как глобальную катастрофу, потому что сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего.
2.6 Стереотип восприятия катастроф, который сложился в результате работы СМИ.
СМИ создают ложный образ глобальной катастрофы, что может оказывать подсознательное влияние на оценки. Опыт смотрения телевизионных репортажей о катастрофах выработал стереотип, что конец света нам покажут по CNN. Однако глобальная катастрофа затронет каждого, и смотреть репортажи будет некому. Равно как и показывать.
В СМИ регулярно имеет место непропорциональное освещение рисков. Например, интересно сравнить масштабы возможного ущерба от глобального потепления и мутации птичьего гриппа в опасный вирус. Не вдаваясь в дискуссии, скажу, что часто оказывается, что реальный ущерб непропорционален никаким образом его информационному освещению. Поскольку человек склонен к бессознательному обучению, да и вообще количество утверждений, которые можно воспринять критически, ограниченно, эти идеи создают определённый информационный фон для любых рассуждений о глобальных рисках (наравне с кино и научной фантастикой).
2.7 Ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила.
Это имеет несколько последствий.
А) Отвержение некого сценария как фантастического – но глобальная катастрофа не может быть чем-то иным, чем «фантастическим» событием.
Б) Ошибка, могущая возникнуть в связи с неосознаванием того факта, что никакие события невозможно опознать как глобальную катастрофы ни заранее, ни в процессе – а только апостериори. Возможно, что никто не узнает, что это на самом деле была глобальная катастрофа. Катастрофа станет глобальной только после смерти последнего человека. (Однако в сценариях некого медленного вымирания люди могут это осознавать – или заблуждаться на этот счёт. Возможный пример подобного сценария описан в романе Нейджела Шюта «На берегу», где люди медленно вымирают от последствий радиоактивного загрязнения.)
В) Неприменимость логической операции «индукции» для рассуждений о глобальных катастрофах. Индукция как логический метод состоит в том, предположении, что если некое утверждение верно в моменты 1,2, 3 … N, то оно верно и при N+1 (или при всех N). Оно не обладает абсолютной логической достоверностью, но даёт хорошие результаты при очень больших N и гладких условиях. Например, все физические законы основаны на конечном количестве экспериментов, то есть возникли в результате индукции.
Индукция как логический метод имеет границы применимости. Он неприменима в ситуациях, когда будущее не похоже на прошлое. Иначе говоря, мы не можем, на основании того, что нечто было в прошлом всегда, сказать, что так оно будет и в будущем. Особенно опасно применение индукции в рассуждениях в духе, раз этой катастрофы не было в прошлом, то её никогда не будет в будущем. (Однако индукция как логическая процедура применима в вопросах безопасности: с точки обеспечения безопасности трёхразовое периодическое повторение опасного события - очень значимо, тогда как с точки зрения доказательства истинности некой закономерности – нет.)
2.8 Ошибка, состоящая в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира».
При этом недооценивается опасность конкуренции между разными группами людей, защищающими разные модели спасения мира. В конце концов, каждая мировая религия занимается спасением всего человечества, а остальные ей только мешают. Так что борьба спасителей мира между собой может угрожать жизни на Земле. Можно вспомнить анекдот советских времён: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется».
2.9 Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти.
Людей не волнуют глобальные риски, потому что они и так привыкли к неизбежности своей личной смерти в ближайшие десятилетия и выработали устойчивые психологические механизмы защиты от этих мыслей. Наибольший срок реального планирования (а не умозрительных фантазий) можно проследить по долгосрочным реальным инвестициям людей. Отражением которого является покупка дома в ипотеку, пенсионные накопления и воспитание детей – предельный срок этих проектов – 30 лет, за редким исключением, а обычно меньше 20. Однако не факт, что такое планирование на самом деле эффективно; и люди в большинстве своём знают, что жизнь гораздо более непредсказуема. В любом случае, каждый человек имеет некий горизонт событий, происходящее за пределами которого представляет для него чисто умозрительный интерес, а ведь большинство людей считает, что глобальные риски отстоят от нас на многие десятилетия.
2.10 Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания.
Часто обнаруживается, что есть множество мнений о какой-либо проблеме, которые выглядят в равной мере аргументировано. А.П.Чехов писал: «Если от болезни предлагается много средств, значит, она неизлечима». В силу этого исследователь глобальных рисков должен быть экспертом по правильному отбору и сопоставлению экспертных мнений. Поскольку это не всегда возможно, всегда есть вероятность неправильного выбора пула экспертов и неправильного понимания их результатов.
2.11 Ошибка, связанная с тем, что глобальным рискам, как целому, уделяют меньше внимания, чем рискам отдельных объектов.
Глобальные риски должны оцениваться по той же шкале, что и риски всех других составляющих цивилизацию элементов. Например, нет смысла закладывать в самолёт вероятность аварии один на миллион, если вся цивилизация с множеством самолётов имеет меньшую надёжность.
2.12 Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество.
Идеи такого рода: «Человечеству стоит рискнуть на одну сотую процента ради этого нового необычайного результата» являются порочными, потому что так может рассуждать одновременно очень много исследователей и конструкторов, каждый из которых при этом завышает безопасность своего проекта, что в сумме может давать очень высокий риск.
2.13 Отсутствие ясного понимания того, к кому, собственно, обращены дискуссии о глобальных рисках.
Обращены ли они к гражданам, которые всё равно ничего сделать не могут, к гражданской ответственности учёных, существование которой ещё надо доказать, к правительствам крупных мировых держав или ООН, занятой своими делами, или к неким комиссиям и фондом, специально нацеленным на предотвращение глобальных рисков – чья способность влиять на ситуацию неизвестна. Удручает и отсутствие систематического досье на все риски - с которым все согласны.
2.14 Особенность связи теоретического и практического в отношении глобальных рисков.
Вопрос о глобальных рисках является теоретическим, поскольку такого события ещё не разу не происходило. И мы не хотим проверить ни одну возможность экспериментально. Более того, мы и не можем это сделать, потому что мы, исследователи, не переживём глобальной катастрофы. Однако мы должны принимать практические меры, чтобы этого не случилось. При этом мы можем наблюдать положительный результат: а именно, что некий риск не случился, но трудно установить причины, благодаря чему. Невозможно сказать, почему не произошла термоядерная война – потому что она была невозможна, или потому что нам невероятно повезло, или это результат борьбы за мир.
2.15 Ошибочные модели поведения, связанные с эволюционными психологическими моделями – и не учёт этих моделей в предсказании поведения людей.
Стратегия личного выживания, воспитанная в нас в ходе эволюции, подразумевает правило: тот, кто больше рискует, тот захватывает большую территорию, получает больший авторитет в стае, становится альфа-самцом и, в конце концов, оставляет, возможно, большее потомство. Те виды, которые готовы пожертвовать тысячами своих особей, направляя их во все возможные стороны, достигают того, что хоть одна особь попадёт на новые земли. Очевидно, что эта стратегия смертельна для человечества в целом. Даже если человечество будет рисковать собой на 1 процент в год, это означает почти гарантированное вымирание в течение столетия. Однако отдельные страны неоднократно рисковали своей судьбой, вступая в опасные конфликты.
2.16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему.
В действительности, шанс погибнуть в глобальной катастрофе для молодого человека в текущих исторических условиях, возможно, выше, чем от других причин личной или групповой смертности. Многие факторы глобального риска уже созрели, а другие могут оказаться более зрелыми, чем нам об этом известно (передовые био- и ИИ- исследования).
2.17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти.
Оно возникает из ошибочного представления о том, что в случае глобальной катастрофы гибель обязательно будет лёгкая и безболезненная, как будто выключили свет. Но в реальности, наоборот, она может быть мучительна и морально (осознание своей вины и столкновение со смертью близких), и физически. Например, длительное, но неизбежное вымирание от радиоактивного заражения.
2.18 Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию.
Но опыт показывает, что даже когда члены правлений компаний, принимающих критически опасные решения, высказывались против – их не слушали. (Перед катастрофой Челленджера был человек, который возражал против запуска, понимая его опасность.) Тем более не стоит ожидать, что эти люди прислушаются или хотя бы будут читать высказывания тех, кто находится за пределами их тусовки. (Можно вспомнить уместный здесь закон Мерфи: «Что бы ни случилось, всегда найдётся человек, который скажет, что он так и знал, что это произойдёт».)
2.19. Однако и противоположное мнение ошибочно: что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно.
Наоборот, циркуляция определённых идей в обществе может создать некий фон, который косвенно повлияет на те или иные механизмы принятия решений.
2.20. Гордыня исследователя.
Занятия анализом глобальных рисков может вызвать у человека ощущение, что он делает самое важное дело во вселенной, а потому является сверхценной личностью. Это может привести в определённых обстоятельствах к тому, что он будет более глухим к новой поступающей информации. Окружающие люди легко будут считывать это состояние личности исследователя, что будет компрометировать тему, которой он занимается. Также не следует забывать закон Паркинсона о том, что каждый человек стремится достичь уровня своей некомпетентности. Глобальный уровень является наивысшим для всех областей знаний. Зашита от этого – относится к глобальным рискам нейтрально, также как к препарированию лягушек.
2.21. Интуиция как источник ошибок в мышлении о глобальных рисках.
Поскольку глобальные риски относятся к событиям, которые никогда не случались, они контринтуитивны. Интуиция может быть полезна для рождения новых гипотез, но не как способ предпочтения и доказательства. Вера в силу своей интуиции ещё больше способствует ослеплению своими откровениями. Кроме того, интуиция, как проявление бессознательного, может находиться под воздействием неосознаваемых предубеждений, например, скрытого нежелания видеть разрушения и гибель – или наоборот, потребности видеть их там, где их нет.
2.22 Научное исследование глобальных рисков также сталкивается с рядом проблем.
Эксперимент не является способом установления истины о глобальных рисках, ибо экспериментальная проверка – это именно то, чего мы хотим избежать. В связи с невозможностью эксперимента невозможно объективно измерить, какие ошибки влияют на оценку глобальных рисков. Не может быть статистики по глобальным рискам. Фундаментальная концепция «опровержимости» также неприменима к теориям о глобальных рисках.
2.23 Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска.
Только в случае глобальных рисков начинают действовать такие парадоксальные логические рассуждения, как теорема о конце света (Doomsday Argument, см. далее), а также эффекты избирательности наблюдения, однако большинству людей они неизвестны, а значительная доля исследователей их отвергает.
2.24 Методы, применимые к управлению экономическими и прочими рисками, не применимы для глобальных рисков.
Их нельзя застраховать, на них невозможно ставить пари: некому и нечего будет выплачивать в случае страхового случая. И даже малейшая их вероятность неприемлема. Поэтому же некому оплачивать их исследований. Если же эти исследования проводятся в рамках одной страны или культуры, в них может наблюдаться сдвиг от вопросов общечеловеческого выживания к проблем национальной безопасности для этой общности.
2.25 Трудности в определении понятия глобального риска в связи с нечёткостью его объекта.
Нечёткость относится как к тому, как проводить границы человечества, так и к тому, что именно считать «необратимым повреждением его потенциала». «Пограничный вопрос» касается обезьян-приматов, неродившихся детей, коматозников, преступников, неандертальцев, разумных искусственных интеллектов и других возможных крайних случаев. Важно помнить историческую изменчивость этих границ – ещё в пару сотен лет назад дикаря или раба не считали за человека даже образованные люди, а теперь считают китов и дельфином как разумных существ. Было ли истребление неандертальцев с их точки зрения гибелью человечества? Согласны ли мы, чтобы нас заменили разумные роботы? Не лучше ли смерть насильственного зомбирования во враждебную религию? Дело даже не в самих этих вопросах, а в том, что ответ на них зависит от человеческого произвола, что приводит к тому, что одни группы людей буду считать «глобальной катастрофой» то, что другие будут готовы приветствовать. Это создаёт возможности для опасной конфронтации.
2.26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока они замкнуты на Земном шаре, и переселение в космос автоматически снимет проблему.
Однако масштаб сил и энергий, которыми овладевают люди на Земле, растёт быстрее, чем темпы космической экспансии. Грубо говоря, это означает, что когда люди заселят Солнечную систему, они будут обладать оружием, способным многократно уничтожить её. Если глобальная катастрофа будет сопровождаться вооружённой борьбой на какой-то фазе, то её объектами легко станут космические поселения. Только разогнав космический корабль до такой скорости, на которой его невозможно догнать, можно рассчитывать на спасение беглецов. Однако если причины кризиса коренятся в самой человеческой природе, бегство бесполезно – люди будут создавать опасные виды оружия и на кораблях, и на космических колониях. Наконец, информационная зараза, вроде компьютерных вирусов, может передаваться со скоростью света.
2.27. Психологическая особенность человека, называемая «пренебрежение масштабом».
Спасение жизни одного ребёнка, миллиона человек, миллиарда или ста миллиардов вызывает почти одинаковое побуждение действовать, в том числе выражаемое в готовности потратить деньги (Юдковски 2006). В результате большая часть денег и внимания уходит на проекты, защищающие меньшую часть жизней.
2.28. Преувеличение прогностической ценности экстраполяции.
Иначе говоря, потенциальная ошибочность идеи о том, что «кривая вывезет». Для некоторых людей стал религией закон Мура об удвоении числа транзисторов на процессоре каждые два года. Увы, весь опыт футурологии говорит о том, что экстраполяция кривых годится только для краткосрочных прогнозов. В более прикладной футурологии, которой является биржевая аналитика, наработан огромный аппарат анализа поведения кривых, многократно превосходящий линейную экстраполяцию, как если бы эти кривые были самостоятельными живыми организмами. В частности, там развито понимание, что быстрый рост кривой может означать близкий разворот тенденции, «отскок» или «свечу». И, тем не менее, даже биржевая аналитика кривых не даёт высокоточных результатов без привлечения «фундамента» - анализа реальной экономики. Особенно за счёт эффекта обратной связи между предсказаниями и самими будущими событиями. Количество ошибок в футурологии, основанных на экстраполяции кривых, огромно. Начиная с того, что уровень навоза в Лондоне достигнет уровня крыш, и вплоть до прогнозов освоения Марса к концу XX века на заре успехов космонавтики. В отношении глобальных рисков есть определённые ожидания, что прогресс в области техники сам собой нас приведёт в золотой век, где глобальных рисков не будет. Действительно, есть надежды, что будущие технологии искусственного интеллекта станут основной гораздо более быстрого и эффективного решения проблем. Однако если технический прогресс застопорится, глобальные риски никуда не денутся.
2.29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света.
А.Назаретян описывает базовую потребность людей в сильных эмоциях, которая побуждает их нарушать скоростной режим движения машин, вести войны, заводить любовниц, короче, находить приключения. При этом люди всегда «рационализируют» эти свои иррациональные потребности, объясняя их каждый раз, что так на самом деле нужно. Иначе говоря, нельзя недооценивать скуку. (Типичный пример тому – то, что можно было бы ограничить число автомобильных аварий в разы, введя физическое ограничение скорости машин да 50 км/час, но общество в этом не заинтересовано.)
2.30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска.
С детства выученные представления о том, каковы поражающие факторы ядерного оружия, существенно отличаются от факторов принятия решения о его применении – и всем эта разница очевидна. В сфере глобальных рисков супервирусы и ИИ перечисляются через запятую. Но вирус убивает непосредственно, а ИИ сам по себе не может причинить вреда – он может только управлять разными оружиями.
Пример из жизни: ситуация, когда человек погиб на войне, и ситуация, когда его застрелили. Эти два множества пересекаются только частично. То есть если человек погиб на войне, это означает много возможных причин его смерти, а не только то, что его застрелили. И наоборот, если человек погиб от огнестрельного оружия, это не означает, что он погиб на войне: это может быть и бытовая ссора, и самоубийство, и несчастный случай на охоте. Ясно, что война и выстрел – относятся к двум разным классам причин смерти: опасных ситуаций и непосредственных причин. Однако в отношении глобальных рисков такое разделение проводится более смутно, и упор делается в основном на непосредственные причины, а не на ситуации их возникновения.
2.31. «Шок будущего»: Ошибки, связанные с разными горизонтами возможного будущего у разных людей.
Выделяют пять Уровней «Шока будущего». Само понятие введено футурологом Э.Тофлером. Эти уровни описывают не реальные границы возможного, которые нам пока неизвестны, а психологические границы восприятия, разные у разных людей. Каждому уровню возможного будущего соответствуют свои глобальные риски – и способы им противостояния. При этом все эти варианты будущего относятся их сторонниками к XXI веку. Те, кто продвинулся очень далеко по шкале шоков будущего, могут недооценивать традиционные опасности. Есть следующая классификация шоков будущего:
Шок 0-ого уровня – уровень обычных технологий, используемых сейчас в быту. (Уровни катастрофы: ядерная война, исчерпание ресурсов.)
Шок 1-ого уровня – уровень технологий, предлагающихся в продвинутых журналах и на компьютерных выставках. (Биологическая война и применение боевых роботов.)
Шок 2-его уровня – технологии, описываемые к классической научной фантастике середины ХХ века. (Отклонение астероидов в сторону Земли, вторжение инопланетян)
Шок 3-его уровня – сверхтехнологии, которые появились на горизонте только в конце ХХ века: нанотехнологии (умная пыль), ИИ, равный человеку, загрузка сознания в компьютер, полная перестройка человеческого тела. (Катастрофы: серая слизь, сверхчеловеческий ИИ, перерабатывающий всё земное вещество в роботов, супервирусы, изменяющие поведение людей)
Шок 4 уровня – концепция о «Сингулярности» – гипотетическом моменте в будущем, связанным с бесконечным ускорением человеческого прогресса и неким качественным переходом и сменой модели развития (риски: непредсказуемы). См. главу «технологическая сингулярность» далее.
Риски ошибки, связанные с Шоком будущего, состоят в том, что каждый человек, моделирующий будущее, имеет разный горизонт возможного и невозможного, определяемый скорее его психологическим комфортом, чем точными знаниями. Чем старше человек, тем труднее ему принять новое. Наоборот, возможна и ситуация «ослепления будущим», когда риски невероятных катастроф затмят в глазах человека обычные риски. При этом свои риски глобальной катастрофы есть на каждом уровне.
Катастрофа в виде ядерной войны понятнее, чем псевдодружественный ИИ.
2.32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной.
Обычно о глобальных катастрофах думают, как об однократном массовом вымирании, вызванном или вирусом, или падением астероида, или ядерной войной. Однако существуют способы самоорганизации опасных возможностей, которые создают системный эффект. Например, система, ослабленная одним событием, может быть легко повержена другим. Или, например, две медленно текущие болезни, соединяясь, могут давать быстротекущую – как СПИД и туберкулёз у человека. Возможны разные сценарии конвергенции, например, нанотех упростит создание ядерных бомб, ИИ упростит создание нанотеха, а нанотех позволит узнать тайны мозга, что приблизит создание ИИ. Эта конвергенция рисков идёт параллельно конвергенции ключевых современных технологий, называемых NBIC: nano-bio-info-cogno, то есть нанотехнологий, биотехнологий, систем искусственного интеллекта и науки о мышлении и мозге.
2.33 Недооценка системных факторов глобального риска.
Системные факторы – это не отдельные события, вроде внезапного появления супервируса, а некие свойства, которые относятся ко всей системе. Например, противоречие между природой современной цивилизации, основанной на непрерывной экспансии, и конечностью любых ресурсов. Оно не находится в каком-то одном месте, и не зависит ни от одного конкретного ресурса или человеческой организации. Существуют самовоспроизводящиеся кризисные ситуации, которые в каждый момент времени вовлекают в себя всё большое число участников сообщества – но не зависят от поведения ни одного из них и не имеют центра.
Вот неполный и неточный список самовоспроизводящихся структурных кризисов, просто в качестве иллюстрации (примеры в скобках тоже условны, так как возможны и другие интерпретации тех же событий)
2.34 Представления в духе: «Мы все должны бороться за мир».
Но если слишком много людей и организаций будут прикладывать множество разнообразных усилий в борьбе за спасение планеты, то получится «лебедь, рак и щука» в лучшем случае.
2.35 Недооценка предкризисных событий как элементов глобальной катастрофы.
Если в результате некоторых событий вероятность глобальной катастрофы возросла (иначе говоря, выросла уязвимость человечества к катастрофе), то это событие само можно рассматривать как часть глобальной катастрофы. Например, если в результате ядерной войны выживут отдельные группы людей, то они – немногочисленные и лишённые технологий - окажутся гораздо уязвимее к любым другим факторам риска. Это возвращает значение тем факторам, которые обычно называются «глобальными рисками». Например, падение астероида, размером с Апофис (диаметр 400м) само по себе не может истребить человечество, так как взрыв составит только 800 мегатонн, что сопоставимо с взрывом вулкана Санторин в древней Греции, погубившем остров Крит, и только в 4 раза сильнее взрыва вулкана Кракатау в 1883 году, оцениваемому в 200 мегатонн тротилового эквивалента. Однако поскольку связность современной цивилизации значительно возросла, возросла и роль отдалённых – экономических и структурных последствий – разных катастроф. Огромное цунами от падения Апофиса привело бы к прекращению торговли в тихоокеанском регионе и всеобщему экономическому кризису, чреватому переходом к военному - с соответствующим нарастанием необратимых последствий.
2.36. Это слишком плохо, чтобы быть правдой.
Человеку свойственно мысленно защищаться от самых негативных сценариев, приписывая им меньшую вероятность. Например, нетрудно представить себе какой-то автомобиль разбитым, но труднее представить будущие обломки своего автомобиля. Иначе говоря, вместо того, чтобы избегать некого события, человек избегает мыслей об этом событии.
2.37. Это слишком невероятно, чтобы быть правдой.
Логика в духе «этого не может быть, потому что не может быть никогда». Мы имеем массу исторических примеров того, как нечто, что было «невероятным», вдруг стало возможным, а потом и обыденным (самолёты, атомные бомбы, интернет). Более того, стало смертельно опасным. Надо отделять «невероятное» от физически невозможного, но даже и последнее в будущем может оказаться возможным.
2.38 Идеи о торможении неких технологий как способе противостояния глобальным рискам.
Они могут казаться привлекательными, так как дают видимый результат в краткосрочной перспективе в определённом месте. Но группа стран, которая продвигает эту идею, в конечном счёте, проиграет другой группе, которая тайно или явно продолжает развивать опасную, но эффективную технологию.
2.39 Человеческая приспособляемость высока и продолжает неограниченно расти благодаря новым технологиям.
Это верно, однако опасность состоит в том, что средства разрушения, доступные людям, улучшаются быстрее, чем средства защиты.
2.40 Неспособность для системы смоделировать саму себя.
Хотя мы не можем исследовать глобальные катастрофы экспериментально, мы можем рассчитывать, что благодаря успехам компьютерного моделирования мы сможем обсчитать некоторые модели в виртуальном пространстве. Однако эта возможность ограничена рядом обстоятельств. Во-первых, через неё мы всё равно не узнаем неизвестные нам факторы – например, расположение опасных комет или особенности физических законов. Во-вторых, такая модель не может быть полна, так как она не включает в себя тот факт, что мы моделируем мир. Иначе бы получилась бесконечно большая модель, как в случае отражения двух зеркал друг напротив друга. Это является следствием математического принципа: множество не может содержать, как элемент, самого себя. Только модель с определённым огрублением может быть рассчитана. Если мы исследуем будущее поведение системы с искусственным интеллектом, то это не работает, так как модель тоже должна содержать ИИ. В-третьих, наши данные о мире и принципы моделирования должны быть абсолютно точны, что тоже трудно достижимо. Мы не можем выбрать правильную модель, не проведя эксперимент. Чтобы предсказать возможность глобального потепления, нам нужна правильная модель. Чтобы узнать, какая именно модель правильная, нам нужен эксперимент. И этот эксперимент будет надёжным, только если в ходе него произойдёт глобальное потепление, иначе это будет только интерпретация, то есть ещё одна модель.
2.41 Неспособность человека представить свою собственную смерть.
Неспособность людей представить свою собственную смерть ведёт к недооценке ситуаций, в которых она может произойти, поскольку и сами ситуации непредставимы – или представимы только с точки зрения внешнего наблюдателя, который выжил. Человек не может представить «ничто», которое будет, в соответствии с атеистическими концепциями, после смерти. На это накладывается нежелание признавать свою смертность. Поэтому ему легче представлять глобальную катастрофу с точки зрения выжившего, что соответственно, делает её не глобальной.
2.42 Путаница между очень большой катастрофой и окончательной глобальной катастрофой.
Примером такой разницы будет катастрофа, в которой вымирает всё человечество, и катастрофа, в котором оно вымирает всё, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. С точки зрения отдельного человека нет никакой зримой разницы между двумя этими катастрофами – в том и в другом случае он погибнет почти наверняка, и всё, что ему ценно, тоже погибнет. Однако с точки зрения человечества как целого это разница как между смертью и очень тяжёлой болезнью. И эта разница также состоит в том, что болезнь может быть долгой и мучительной, и потом закончится выздоровлением, а смерть может быть лёгкой, мгновенной, но обязательно необратимой.
2.43 «После нас хоть потоп».
Модель мышления, в которой полезность ограничена некоторой границей в будущем. Самым ярким случаем является ситуация, описанная в приведённой пословице, где граница полезности совпадает с ожидаемой продолжительностью жизни. Однако часто бывает, что она даже ниже её! Например, для автогонщика или наркомана вся ожидаемая полезность должна быть получена сегодня вечером, а что будет дальше - не важно. У нормальных людей ожидаемая полезность распространяется на детей и внуков, что закреплено эволюционно, но на прапрапраправнуков она не распространяется. Таким образом, разница только количественная, но у каждого есть временной промежуток, события после которого его не волнуют – во всяком случае, настолько, чтобы он был готов совершать капиталовложения. Конечно, это оправдывается тем, что «они сами там со всем разберутся».
2.44. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели.
Любая такая позиция подразумевает, что можно рискнуть выживанием человечества ради некоторых других целей, и в результате приводит к меньшей выживаемости. Ник Бостром определяет эту позицию через принцип Максипока: «Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной смертельной катастрофы».
2.45. Религиозные мировоззрения и апокалиптические культы.
Изучению проблем глобальных рисков мешает то, что эта территория испокон веков закреплена за религией. Поэтому за любыми дискуссиями на эту тему тянется шлейф ненаучности. Ключевое отличие апокалиптических культов – концентрация на дате события – и «откровение» или пророчество как способ её обнаружения. (В духе распространённой теории о том, что календарь Майя заканчивается в 2012 году.) Такие культы часто носят социально деструктивный характер, побуждая людей отказаться от жизни в «обречённом» обществе, и поэтому вызывают враждебность в обществе. (В 2007 году внимание СМИ привлекла группа сектантов, зарывшихся в пещеру в ожидании конца света в Пензенской области.) Наоборот, для научного анализа «дата конца света» не принципиальна, а важны вероятности и механизмы рисков.
3. ОШИБКИ, МОГУЩИЕ КАСАТЬСЯ ЛЮБЫХ РИСКОВ, ПРИМЕНИТЕЛЬНО К ГЛОБАЛЬНЫМ РИСКАМ.

3.1. Основной причиной человеческих ошибок является сверхуверенность.
Сверхуверенность означает повышенную убеждённость в правильности своей картины миры и неспособность её изменить при поступлении новой информации. Иначе говоря, сверхуверенность означает неспособность человека предположить, что он в настоящий момент ошибается. Поэтому в каком-то смысле сверхуверенность относится к ошибкам о природе ошибок. Сверхуверенность закреплена несколькими механизмами в человеческом мозгу, и вероятно, имела эволюционное значение – поэтому обнаружить её в себе и искоренить её очень трудно. Человек, демонстрирующий большую уверенность, может претендовать на большую власть в обществе. И, вероятно, само устройства человеческого мышления противоречит идее рассмотрения множества равновероятных будущ: гораздо привычнее думать о том, что нечто или есть, или его нет. Наконец, однажды сделанный выбор в сторону одной интерпретации становится фильтром, который подбирает информацию так, чтобы она подтверждала эту идею.
3.2 Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых.
Медленный процессы удобнее анализировать, и по ним накоплено больше данных. Однако системы легче адаптируются к медленным изменениям и гибнут часто от быстрых. Катастрофы опаснее угасания. При этом медленное угасание делает систему уязвимой к быстрым катастрофам. Все новые технологии – нано, био, ИИ, когнитивная наука - относятся к быстрым процессам. Их стремительное развитие затмевают любые процессы, которые будут проявлять себя после 2030 года. Однако это не значит, что надо совсем отказаться от анализа медленных вековых изменений.
3.4 Возрастные особенности восприятия глобальных рисков.
Более молодые люди склонны недооценивать глобальные риски, поскольку они в большей мере биологически нацелены на завоевание новых пространств, а не на безопасность. Более пожилые люди склонны придавать достаточно большое значение безопасности, но им труднее принять возможность принципиально новых технологий.
3.5. Споры не рождают истину о глобальных рисках.
Дискуссии между людьми обычно приводят к поляризации мнений. То есть человек, который имел в начале две гипотезы, которым приписывал равные вероятности, редуцирует свою позицию до одной гипотезы, противоположной гипотезе оппонента. Таким образом, он сужает своё представление о возможном будущем. Подробнее см. в (Юдковский 2007).
3.6. Навык ведения споров вреден.
Как я уже говорил в предисловии, Юдковски подчёркивает, что навык ведения споров вреден, так как позволяет переспорить любого оппонента, не вникая по существу в его позицию. Особенно опасно применение всего этого списка ошибок для того, чтобы обвинять в них оппонента. Это может привести к интеллектуальной слепоте.
3.7. Желание смерти.
Фрейд высказывал идею о Танатосе, стремлении к смерти, которое есть у каждого. Подобные идеи высказывались и другими учёными. Это желание может неосознанно влиять на человека, заставляя его недооценивать или переоценивать риски или стремиться к ним. Любой, кто отвергает идею жить 1000 лет, испытывает определённое стремление к смерти. Это может бессознательно подталкивать человеку выбрать стратегии, ведущие к глобальным рискам.
3.8. Косность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения.
Ч.Доукинс, автор книги «Эгоистичный ген», рассматривает каждую отдельную идею, циркулирующую в обществе, как репликатор, способный к разной скорости самораспространения и называет такие объекты мемам (meme). Чтобы защитится от них, ум людей вынужден вырабатывать своеобразную «иммунную систему», одним из наиболее эффективных вариантов которой является система «отбрасывай всё новое». История полна примерками того, как очевидно полезные новые идеи отвергались без видимых причин в течение длительного периода. Например, от предложения использовать закись азота для анестезии в хирургии в конце 18 века до начала реального применения в 1840-е годы прошло почти 50 лет, то же самое касается и идеи о необходимости мыть руки перед операциями. Однако в наш век перемен нужно очень гибкое и свободное мышление, чтобы учесть и принять всерьёз все варианты глобальных рисков.
3.9. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности.
Есть два вида рассуждений – доказательства безопасности некой системы и доказательства опасности её. Эти рассуждения неравноценны логически – в первом случае речь идёт обо всех возможных случаях, тогда как во втором – хотя бы об одном случае. Чтобы опровергнуть всеобщее утверждение, достаточно одного контрпримера. Однако опровержение одного контрпримера не почти не прибавляет истинности всеобщему утверждению.
Например: для того, чтобы доказать опасность некого самолёта, достаточно указать на то, что в некоторых экспериментах металл обшивки проявил склонность к эффекту «усталости металла». Однако для того, чтобы доказать безопасность самолёта, совершенно недостаточно обнаружить некорректность в проведении этих экспериментов по измерению усталости металла. Вместо этого необходимо доказать, что выбранный материал действительно выдержит данный режим нагрузок.
Иначе говоря, если направить все интеллектуальные усилия на опровержение различных катастрофических сценариев, не уделяя равного внимания их возможностям и ошибкам в системе безопасности – то суммарная безопасность системы понизится. Все перечисленные правила должны применяться для поиска ошибок в рассуждениях о том, что некая катастрофа невозможна, - тогда это способствует безопасности. В проектах сложных технических систем всегда есть «технические обоснования безопасности», где описывается «максимальная проектная авария» и способы её локализации. Реальным доказательством безопасности является строгое доказательством того, что нечто не может случиться ни при каких обстоятельствах плюс – практический опыт использования данного устройства во всех возможных режимах в течение длительного времени.
С точки зрения науки мы должны доказывать, что что-то существует, а с точки зрения безопасности - доказывать, что нечто не существует. Обязанность доказательства безопасности лежит на конструкторах самолёта, а не на пассажирах. Поэтому требование разработчиков к посторонним экспертам: «докажите, что данный риск реален» - наносит ущерб общей безопасности.
3.10. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе.
Потому что каждая система стремится к самосохранению, а разговоры об опасности новых технологий могут привести к закрытию новых проектов. Например, сайт «Коммерческая биотехнология» перепечатывает в основном те статьи, которые опровергают угрозы биотерроризма, хотя потом сам же печатает на них опровержения. Или тоже самое в случае с реакторами. Сторонники АЭС будут тратит свои усилия не на поиск уязвимостей в безопасности станций, а на споры с экологами и попытки доказать, что существующая конструкция безопасна, - это может доходить до попыток заткнуть оппонентов.
3.11. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться.
Наиболее серьёзные проблемы возникают внезапно. Чем серьёзнее проблема, тем больше её энергия и – возможно – быстрее темп её развития. И тем труднее к ней готовиться. Глобальные катастрофы – это мощные проблемы, поэтому они могут развиваться слишком быстро, чтобы к ним успеть подготовиться в процессе. Кроме того, у нас нет опыта, который позволил бы определить предвестников глобальной катастрофы заранее. Например, несчастные случаи развиваются внезапно. «Знал бы, где упаду – соломку бы постелил».
3.12. Более конкретизированные риски воспринимаются как более опасные, чем описанные в общих словах.
Например, "мятеж на ядерной подводной лодке" выглядит более устрашающе, чем "крупная морская катастрофа". «С точки зрения теории вероятностей, добавление дополнительной детали к истории делает её менее вероятной… Но с точки зрения человеческой психологии добавление каждой новой детали делает историю всё более достоверной». (Юдковски 2007) Подробнее см. в статье Юдковского, где описаны конкретные психологические эксперименты, подтверждающие наличие этой систематической ошибки.
3.13. Идея о том, что мышление о глобальных рисках – пессимистично.
Это приводит к тому, что людей, думающих о «конце света», осуждают – а значит, и отрицают их идеи. По минному полю надо идти осознано – танцевать на нём с закрытыми глазами – это не оптимизм.
3.14 «Теории заговора» как препятствие для научного анализа глобальных рисков.
Циркулирующие в обществе разнообразные «теории заговоров», вроде новой хронологии Фоменко, набили оскомину. Тем более что большинство, если не все из них, ложно, а их предсказания почти никогда не сбываются. Часто «теории заговоров» тоже предсказывают некие риски. Но они структурно отличаются от научного анализа рисков. Теория заговора обычно утверждает, что человечеству угрожает только один риск, и этот риск реализуется конкретным образом в конкретный момент времени: Например, «доллар рухнет осенью 2007». Как правило, автор также знает рецепт, как с этим риском бороться. Тогда как правильнее утверждать, что человечеству угрожает каскадная реакция из нескольких рисков, и мы не знаем, когда и что случится.
Чем хуже мы прогнозируем будущее, тем оно опаснее. То есть главная опасность будущего - его непредсказуемость. «Теории заговора» вредны для предсказания будущего, так как сужают представление о множестве будущих возможностей. При этом они предполагают сверхуверенность в собственных прогностических способностях. Хорошее предсказание будущего не предсказывает конкретные факты, а описывает пространство возможных сценариев. И на основании этого знания можно выделить узловые точки этого пространства и защитить их.
Более того, такие "предсказания" подрывают доверие к здравым идеям, лежащим в их основе, например, о том, что крупный теракт может ослабить доллар и вызвать цепную реакцию обвала. И что Бен Ладен это тоже понимает, и на это, возможно, рассчитывает. «Теории заговора» всегда подразумевают, что есть некие ОНИ, которые с нами что-то делают, скрывают и т. д. Это подрывает наше осознание своей ответственности за происходящее в мире, и что не менее важно, отвергает роль случайности, как важного фактора катастрофического процесса. Кроме того, «теории заговора» неспособны стыковаться друг с другом, формулируя пространство возможностей. И ни одна теория заговора не признаёт себя в качестве таковой. Эти теории распространяются в обществе как мемы, самокопирующиеся информационные единицы.
Вместе с тем, из того, что сам принцип теории заговоров скомпрометирован и большинство из них ложно, не следует, что некоторые из таких теорий, тем не менее, не могут оказаться правдой. «Даже если вы не можете поймать чёрного кота в чёрной комнате – это ещё не значит, что его там нет».
3.15. Ошибки, связанные с путаницей краткосрочных, среднесрочных и долгосрочных прогнозов.
Краткосрочный прогноз учитывает текущее состояние системы, к таковым относится большинство обсуждений на тему политики. Среднесрочный учитывает возможности системы и текущие тенденции. Долгосрочный учитывает только развитие возможностей. Поясню это следующим примером:
Допустим, у нас есть корабль с порохом, по которому ходят матросы и курят махорку. Краткосрочно можно рассуждать так: одни матросы стоят высоко на рее, а другие спят, поэтому сегодня взрыва не будет. Но в среднесрочной перспективе важно только количество пороха и количество курящих матросов, которые определяют вероятность взрыва, потому что рано или поздно какой-нибудь курящий матрос окажется в неправильном месте. А в дальнесрочной перспективе в счёт идёт только количество пороха, а уж огонь как-нибудь да найдётся. Точно так же и с угрозой ядерной войны. Когда мы обсуждаем её вероятность в ближайшие два месяца, для нас имеет значение конкретное поведение мировых держав. Когда мы говорим о ближайших пяти годах, в счёт идёт количество ядерных держав и ракет. Когда мы говорим о перспективе на десятки лет, в счёт идёт только количество наработанного плутония.
При этом в разных областях знания временной масштаб краткосрочности прогноза может различаться. Например, в области угледобычи – 25 лет – это краткосрочный прогноз. А в области производства микропроцессоров – 1 год.
3.16. Специфика человеческой эмоции страха.
Способность бояться включается в ответ на конкретный стимул в конкретной ситуации. Наш орган страха не предназначен для оценки отдалённых рисков. Это выражено в русской пословице: «Пока гром не грянет, мужик не перекрестится». С другой стороны, страх может подавлять мысли о возможных опасностях. Например, когда человек отказывается сдавать анализы, потому что боится, что у него что-то найдут.
3.17. Недооценка удалённых событий (discount rate).
Естественным свойством человека является то, что он придаёт меньшее значение событиям, удалённым в пространстве и во времени. Например, случившееся в древности наводнение, погубившее миллион человек будет эквивалентно по значимости современной катастрофе с тысячью жертв в отдалённой стране или пожару в соседнем доме с несколькими жертвами. Это известно как discount rate – «уровень скидки». (См. статью об ошибках в оценке пика нефти). Этот дискаунт действует в отношении оценка полезности и риска будущих событий. При этом он имеет как рациональный, так и иррациональный характер. Рациональный дискаунт – это дискаунт, который делает экономический субъект, предпочитая получить, скажем, 100 долларов сегодня, а не 105 через год, - и этот дискаунт есть линейная функция от времени. Наоборот, эмоциональная оценка ситуации включает очень быстро убывающий дискаунт, который убывает экспоненциально во времени. Это приводит к тому, что глобальная катастрофа, отстоящая на годы от настоящего момента, приобретает почти нулевой вес.
3.18. Сознательное нежелание знать неприятные факты.
Это проявляется в ситуации, когда человек откладывает поход к врачу, чтобы не знать неприятный диагноз. Хотя это уменьшает его шансы выжить в отдалённом будущем, зато он выигрывает в спокойном ближайшем будущем – то есть здесь проявляется discount rate.
3.19. Эффект смещения внимания.
Чем больше некий человек уделяет внимания одной возможной причине глобальной катастрофы, тем меньше он уделяет другим, и в результате его знания приобретают определённый сдвиг в сторону его специализации. Поэтому переоценка какого-то одного глобального риска ведёт к недооценке других и также вредна.
3.20. Интернет
Интернет, как подчёркивает сэр Мартин Рис (с. 65), позволяет создать газету «я сегодня», путём отбора только тех сайтов, которые поддерживают исходную точку зрения субъекта, который затем укрепляет себя в выбранной позиции, постоянно читая только своих единомышленников. Не говоря о том, что в Интернете низкий уровень достоверности информации, поскольку значительная часть хорошей достоверной информации находится в платных изданиях, например, статьи в Nature по 30 долларов за статью, а любой человек может свободно выложить свои тексты в сети, создавая высокий информационный шум. При этом более сенсационные материалы распространяются быстрее, чем менее сенсационные. Иначе говоря, если раньше печатная продукция способствовала более быстрому распространению более качественных текстов, то теперь Интернет способствует более быстрому распространению менее качественных, но более назойливых в своей рекламе источников. С другой стороны, интернет ускоряет доступ к информации и ускоряет её поиск.
3.21. Верования.
Трудно заметить свою верования, так как она воспринимается как достоверное знание или как неподсудный императив, но легко заметить, как те или иные суеверия влияют на оценку рисков другими людьми. Например, высокая аварийность в Турции, в частности, связана с принципом «иншала» - на всё воля Аллаха. Поскольку судьбы всех людей уже записаны в книге у Аллаха, то не важно, что ты делаешь – день твоей смерти уже назначен. Поэтому можно как угодно рисковать. Сэр Мартин Рис пишет (стр. 65), что в администрации Рейгана за окружающую среду отвечал религиозный фундаменталист Джеймс Уатт, который верил, что Апокалипсис наступит раньше, чем исчерпаются запасы нефти, погибнут леса и наступит глобальное потепление, так что расточать ресурсы – это почти что наша обязанность. Многие верования могут носить более тонкий, околонаучный или «научный» характер, как вера в правоту или неправоту Эйнштейна, опасность или безопасность того или иного риска и т. д. Верования не подразумевают возможность фальсификации. Чтобы выявить верование полезно задаться вопросом: «Какое бы событие или рассуждение заставило бы меня изменить мою точку зрения на этот вопрос?»
3.22. Врождённые страхи.
У многих людей есть сильные врождённые страхи – змей, высоты, воды, болезней. Не трудно предположить, что они будут переоценивать события, напоминающие эти страхи, и недооценивать те, которые на них не похожи. Может влиять и посттравматический синдром, когда некий сильный испуг запомнился и теперь все похожие вещи влияют. Наоборот, сильные желания могут подавлять страхи. «Если нельзя, но очень хочется, то можно».
3.23. «Убить гонца, принёсшего плохую весть».
Недовольство переносится не на сам источник риска, а на человека, который о ней сообщил.
3.24. Трудность в определении границ собственного знания.
Я не знаю того, чего я не знаю. Это создаёт ощущение того, что я знаю всё, потому что я знаю всё, что я знаю. То есть создаёт ложное ощущение всеведения, ведущее к интеллектуальной слепоте и нежелании принять новые сведения. А.Камю: «Гений – это ум, осознавший свои пределы».
3.25. Юмор.
Шутка даёт право человеку законно говорить неправду. Соответственно, это создаёт ожидание у тех, кто слышит неожиданную новость, что это шутка. Охранник посольства в Кении позвонил напарнику и сообщил, что к воротам подъехали террористы с пистолетом. Тот не поверил и выключил связь. Бомба взорвалась.
3.26. Паника.
Гипертрофированная реакция на стресс приводит к ошибочным и опасным действия. Например, человек может выпрыгнуть из окна при пожаре, хотя огонь ещё не дошёл до него. Очевидно, что паника оказывает влияние и на мысли человека в состоянии стресса. Например, один человек, в мирное время придерживавшийся ахимсы (принцип йоги о неубиении живых существ), во время войны разработал план взрыва дамб в германии, чтобы затопить города.
3.27. Сонливость и другие виды естественной неустойчивости человеческого сознания.
По одной из версий, Наполеон проиграл Ватерлоо, потому что был простужен. Каким образом можно ожидать, что президент примет верное решение, будучи разбуженным среди ночи? Сюда можно добавить и принципиальную неспособность человека точно следовать инструкциям, и конечность длины инструкций, которые он может понять и выполнить. Хотя это относится в первую очередь к ошибкам операторов, можно представить, что состояние временного помутнения сознания повлияют и на выводы конструктора или составителя некой инструкции, приведя к допустим, к ошибке в чертеже.
3.28. Склонность людей бороться с подобными опасностями, какие уже были в прошлом.
Например, было цунами 2004 года - теперь все стали строить системы предупреждений. А в следующий раз это будет не цунами. При этом с течением временем тревога людей убывает, а вероятность повторного сильного землетрясения (но не афтершока) – возрастает.
3.29. Усталость от ожидания катастрофы.
Типична ошибка, состоящая в том, что после того, как некоторая катастрофа случится, все начинают ожидать повторения в ближайшем будущем второй точно такой же, и после того, как это ожидание не исполняется, переводят эту катастрофу в разряд «это было давно и неправда». Так было после теракта 11 сентября. Сначала все ждали повторных атак на небоскрёбы, и строительство небоскрёбов в мире затормозилось. Теперь же все об этом забыли, и строительство небоскрёбов идёт ударными темпами. Это противоречит тому, что в реальности катастрофы такого масштаба могут происходить с периодичностью во много лет, и поэтому именно после длительного промежутка времени их вероятность реально возрастает. Утрата чувствительности общества к предупреждениям.
3.30. Экспертные оценки, не основанные на строгих вычислениях, не могут служить в качестве меры реальной вероятности.
В отличие от ситуации на фондовых рынках, где среднестатистическая оценка лучших экспертов используется для предсказания будущего результата, мы не можем калибровать и отбирать наших экспертов по глобальным рискам по количеству угаданных ими катастроф.
Обнаружена следующая статистика в экспериментах по предсказанию: «Только 73% ответов, на которые сделали ставки 100:1, были верны (вместо 99.1%). Точность возросла до 81% при ставках 1000:1 и до 87% при 10.000:1. Для ответов, на которые ставили 1.000.000:1, точность составляла 90%, то есть соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более чем половина их ставок была более чем 50:1». (Юдковски 2007,1)
«Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50% уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту». (Юдковски 2007,1)
Причиной этой ошибки является «сверхуверенность экспертов» – например, потому что эксперт боится потерять свой статус эксперта, если будет слишком сомневаться в своих мнениях.
3.31 Игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта.
Даже если некая теория действительно неразумна, стоит потратить время и усилия, чтобы опровергнуть её ясным и убедительным для всех образом в открытой дискуссии. Кроме того, незначительность не означает невозможность.
3.32 Недооценка или переоценка нашей способности противостоять глобальным рискам.
Если мы недооцениваем нашу способность противостоять глобальным рискам, то в силу этого мы не будем предпринимать тех действий, которые могли бы нас спасти. Если мы переоцениваем наши способности им противостоять, то это может привести нас к излишнему благодушию.
3.33. Стокгольмский синдром.
Это эффект лояльности или даже влюблённости заложников в похитителя. В каком-то смысле он может проявляться в «смертничестве» - философской концепции, которая одобряет смертность человека и ограниченность его срока жизни 100 годами. Но если смертность человека одобряется, то отсюда один шаг до одобрения смертности всего человечества.
3.34. За ошибками оператора стоит неправильная подготовка.
За конкретными ошибками пилотов, операторов, диспетчеров и политиков стоят концептуальные ошибки в их отборе и подготовке. Например, потакание их авторитету (случай со знаменитым египетским пилотом, который по определению не мог ошибаться – и разбил самолёт) и экономия на обучении.
3.35. Группа людей может быть глупее, чем каждый человек в отдельности.
В зависимости от формы организации группы, она может способствовать или препятствовать выработки разумных решений. Хороший пример – штаб или НИИ, плохой пример – стая, толпа или страна, охваченная гражданской войной.
3.36. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие.
Это заставляет человека концентрироваться на один аспектах проблемы, вроде того, нападёт ли А на Б, уменьшая при этом, - погружая в тень внимания, - другие аспекты. Ни один человек не может охватить все мировые проблемы в своём уме, чтобы ранжировать их по степени их опасности и приоритетности. Вряд ли это может и организация.
3.37. Раскол футурологии по разным дисциплинам, как если бы эти процессы происходили независимо.
Есть несколько струй мышления о будущем, и они имеют склонность странным образом не пересекаться, как будто речь идёт о разных мирах.
- прогнозы о «Сингулярности». Суперкомпьютеры, биотехнологии, и нанороботы.
- прогнозы о системном кризисе в экономике, геополитике и войнах.
- прогнозы в духе традиционной футурологии о демографии, ресурсах, потеплении итд.
Отдельной строкой: большие катастрофы: астероиды, супервулканы, сверхвспышки на солнце, переполюсовка магнитного поля, + религиозные сценарии и фантастические сценарии.
3.38. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить. («Беда не приходит одна»)
Причины этого могут быть:
А) Потому что наше внимание в этот момент полностью отвлекается и разрушается. Например, попав в маленькую аварию, водитель начинает ходить вокруг машины, и тут в него врезается другая, мчащаяся машина.
Б) Или, в силу влияния аффекта.
В) Когда человек сам совершает ещё большую ошибку в процессе исправления мелкой. Например, когда мелкий воришка стреляет в полицейского, чтобы скрыться.
Г) Непонимание того, что первая авария создаёт неочевидную цепочку причин и следствий, которая может вдруг вывернуть из-за угла.
Д) Например, грипп чреват воспалением лёгких, при неправильном лечении. То есть первая неприятность постепенно ослабляет сопротивляемость организма к более быстрым и внезапным переменам.
Е) Непонимание того, что обе аварии могут быть вызваны некой неочевидной общей причиной. Например, что-то обвалилось, человек пошёл посмотреть - что, и тут оно обвалилось целиком.
Ж) Эйфория от преодоления первой катастрофы может заставить потерять благоразумие. (Например, человек может так рваться выйти из больницы пораньше, что у него разойдутся швы.)
3.39. Эффект избирательности внимания, сосредоточенного на катастрофах.
Часто у людей, следящих за некими предсказаниями, например в экономике, возникает вопрос: «По какой причине то, что должно вот-вот рухнуть, всё не рушиться и не рушится?» Вероятно, мы имеем дело со специфической ошибкой в оценке рисков. Когда мы замечаем трещины в фундаменте, мы говорим себе: "Оба! Оно же вот-вот рухнет" и начинаем искать другие трещины. Разумеется, мы их находим, и нам не трудно связать их в умозрительную сеть. Но, занимаясь поискам трещин, мы перестаём смотреть на опоры. Наше внимание становится избирательным, нам хочется подтвердить свою гипотезу.
Мы попадаем в порочный круг избирательного накопления информации только об одном аспекте неустойчивости системы, игнорируя причины её устойчивости, а также другие риски, связанные с этой системой. Завышение некоторых рисков, в конечном счёте, приводит тоже к их недооценке, поскольку общество приобретает иммунитет к негативным прогнозам и утрачивает доверие к экспертам. Например, станция предупреждения о цунами на Гавайях оказалась перед дилеммой: если предупредить население о риске цунами, то в следующий раз ей не поверят, а если не предупредить – возможно, что именно в этот раз цунами окажется опасным. Таиландская служба предупреждения в 2004 году решила не предупреждать людей о цунами, боясь напугать туристов.
3.40. Подсознательное желание катастрофы.
Стремление эксперта по рискам доказать правоту своих прогнозов вызывает у него неосознанное желание того, чтобы прогнозируемая катастрофа таки случилась. Это подталкивает его или преувеличить предвестники приближающейся катастрофы, или даже попустительствовать тем событиям, которые могут к ней привести. Люди также могут хотеть катастроф от скуки или в силу мазохистского механизма «негативного наслаждения»
3.41. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса.
Этот тип поведения можно назвать «Синдром Скарамеллы», в честь итальянского мошенника, выдававшего себя за эксперта по вопросам безопасности. В крайне остром случае человек выдумывает некие риски, потому что знает, что общество и масс-медиа на них резко реагируют. Эта модель поведения опасна тем, что из общего контекста выдёргивается несколько самых зрелищных рисков, а не менее опасные, но не столь завлекательно звучащие риски затушёвываются. Кроме того, у общества возникает привыкание к сообщениям о рисках, как в сказке о мальчике, который кричал «Волк, Волк!», а волка не было. Когда же волк пришёл на самом деле, никто мальчику не поверил. Более того, возникает общественная аллергия на сообщения о рисках, и все сообщения начинают объясняться в терминах пиара и деления денег.
3.42. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа.
Выделение адреналина в критических ситуациях по-своему приятно, и небольшой укол его можно получить, посмотрев документальный фильм-катасрофу. Это приводит к тому, что разговоры о рисках начинают восприниматься как нечто несерьёзное, не имеющее отношение к личной реальности и проблемам, даже как нечто приятное и желанное.
3.43. Ошибка «хорошей истории».
Описана у Бострома (Бостром 2001). Регулярное потребление продуктов масс-медиа подсознательно формирует модель риска, который назревает, угрожает, интересно развивается, но затем зрелищно преодолевается, вся игра идёт почти на равных. Реальные риски не обязаны соответствовать этой модели. Юдковский называет это «логической ошибкой генерализации на основании художественного вымысла». (Юдковский 2007,1)
Даже если мы стараемся избегать воздействия художественных произведений, фильм «Терминатор» сидит у нас в подсознании, создавая, например, ошибочное представление, что проблемы с Искусственным Интеллектом – это обязательно война с роботами. Одна из форм этой ошибки состоит в том, что в фантастическом романе берётся неизменным обычный мир и к нему добавляется одна фантастическая деталь, и затем рассматриваются возможные следствия этого. Другая - в том, что противники выбираются равными по силе.
Третья - в том, что нормой считается хэппи-энд. Однако в деле предотвращения глобальных рисков не может быть никакого хорошего конца – если мы предотвратили все риски в XXI веке, то тоже надо делать и в XXII веке и так далее.
3.44. Идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – благо человечества.
Эта идея порочна, потому что всегда, когда есть «мы», есть и «они». Потому что у любой организации есть самостоятельная групповая динамика, направленная на укрепление и выживание этой организации. Потому что у любой организации есть конкурент. Потому что внутри организации запускается групповая динамика стада-племени, побуждающая бороться за власть и реализовывать другие скрытые цели.
3.45. Секретность как источник ошибок в управлении рисками.
Исследования по безопасности, ведущиеся в секрете, утрачивают возможность получать обратную связь от потребителей этой информации и в итоге могут содержать больше ошибок, чем открытые источники. Засекречивание результатов неких испытаний и катастроф обесценивает их назначение для предотвращения последующих катастроф, потому что эти результаты никто не знает.
3.46. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии.
Сверхкритичность препятствует начальной фазе мозгового штурма, на которой набирается банк возможных идей. Поскольку безопасности часто угрожают невероятные стечения обстоятельств, тяжёлые хвосты, то именно странные идеи могут быть полезными.
3.47. Идея о том, что безопасность чего-либо можно доказать теоретически.
Однако единственный реальный критерий – практика. Десятки лет безотказной работы – лучший критерий реальности безопасности. История знает массу примеров, когда приборы или проекты, теоретически имевшие огромную безопасность, рушились из-за непредусмотренных сценариев. Например, фонд LTCM и самолёт Конкорд. Американский писатель М.Крайтон в романе «Парк Юрского периода» отчеканил это следующими словами: «Чтобы заключить, что ваша система безопасности ненадёжна и не может во всех случая обеспечить изоляцию полигона от окружающей среды, мне вовсе не обязательно знать, как именно она устроена».
3.48. Недооценка человеческого фактора.
От 50 до 80 процентов катастроф происходят из-за ошибок операторов, пилотов и других людей, осуществляющих непосредственное управление системой. Ещё значительная доля катастрофических человеческих ошибок приходится на техническое обслуживание, предполётную подготовку и ошибки при конструировании. Даже сверхнадёжную систему можно привести в критическое состояние определённой последовательностью команд. Человек достаточно умён, чтобы обойти любую защиту от дурака и натворить глупостей.
3.48. Идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код.
Но сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется. (Этот уровень примерно соответствует квадрату числа ошибок – то есть если человек делает одну ошибку на 1000, то, сколько он не будет проверять, он не создаст безошибочный «код» длинною более 1 000 000.)
3.49. Статистика.
В самой природе статистики есть возможность совершения ошибок, намеренных искажений и ложных интерпретаций, связанная с тем, что она является не описанием однократных фактов, а обобщением над этими описаниями. Проблемы статистики связаны, в частности, со способом выборки, разными методами вычисления среднего, способами округления, интерпретацией полученных результатов и способами их зрительного представления для других людей. См. тему номера в журнале «КОМПЬЮТЕРА» «Цифры не лгут» от 06.11.2007, там же подробная литература не тему.
3.50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты.
Например, все знают, когда упала атомная бомба на Хиросиму, но мало кто знает, где и когда впервые зафиксирован грипп 1918 года «испанка», унёсший в 100 раз больше жизней. (по одной из версий, 8 марта, около Канзас-Сити, США). Это приводит к тому, что одни риски переоцениваются, и уже в силу этого другие риски недооцениваются.
3.51. Двойная ошибка.
Все перечисленные факторы источников ошибок могут приводить как к переоценке наших способностей противостоять рискам, так и к недооценке самих факторов риска. Следовательно, каждая ошибка может проявиться дважды.
3.52. Анализ глобальных рисков не есть создание прогнозов.
Прогноз даёт конкретные данные о времени и месте. Но такие точные попадания очень редки и, скорее, случайны. Более того, прогноз и анализ рисков требует разных реакций. Неудачные прогнозы компрометируют свою тему и людей, которые их дают. Но некоторые люди дают очень много прогнозов, надеясь, что хоть один попадёт в цель и человек прославится. Например, анализ рисков в авиации требует усовершенствования разных механизмов самолёта, а прогноз об авиакатастрофе предполагает, что люди откажутся от рейса в данный день.
3.53. Эффект знания задним числом приводит к тому, что люди восклицают «Я знал это с самого начала» и в силу этого переоценивают свои прогностические способности.
Также в силу этого они ждут, что другие люди могли бы легко догадаться о том, что нам уже известно. В отношении глобальных рисков у нас нет никакого знания задним числом. А в отношении многих других обычных рисков есть. Это приводит к тому, что нам кажется, что глобальные риски так же легко оценить, как уже известные нам риски. Иначе говоря, эффект знания задним числом в отношении глобальных рисков приводит к их недооценке. Подробнее см. в статье Юдковски. (Юдковски 2007,1)
3.54. Эффект настройки на источники информации.
Читая литературу, человек в каком-то смысле становится рупором идей, которые в него вкладывает автор. Это позволяет ему сходу отвергать концепции других людей. В силу этого он становится глухим к новой информации, и его эффективность в анализе рисков падает. Ощущение собственной правоты, образованности, навыки ведения споров – всё это усиливает «глухоту» человека. Поскольку глобальные риски – вопрос в первую очередь теоретический (ведь мы не хотим экспериментальной проверки), то теоретические разногласия имеют тенденцию в нём проявляться особенно ярко.
3.55. Частой ошибкой исследователей рисков является принятие малого процесса за начало большой катастрофы.
Например, изменение курса доллара на несколько процентов воспринимается как предвестник глобального краха американской валюты. Это приводит к преждевременным высказываниям прогностического триумфа в духе: «ну вот, я же говорил!» - что затем подрывает веру, в первую очередь, свою собственную, в возможность катастрофы.
3.56. Часто, когда некая катастрофа уже произошла, более простое её объяснение подменяет более сложное.
На выяснение же более сложного уходят годы анализа, например, так часто бывает при авиакатастрофах. (Не говоря о том, что участники стремятся немедленно подтасовать факты, если они означают их уголовную и финансовую ответственность.) Это более сложное объяснение не доходит до широкой публики и остаётся в качестве некоторого информационного фона. Чем дольше не найдено точное определение причин аварии, тем дольше невозможно защититься от аварии подобного рода. Когда речь идёт о быстрых процессах, такое отставание понимания может стать критическим.
3.57. Есть класс людей, которые придумывают апокалипсические сценарии, чтобы привлечь внимание к своим безумным проектам и добиться их финансирования.
Даже если 99 процентов этих людей явно не правы, выдвигаемые ими гипотезы, вероятно, следует принимать к сведению, так как ставки в игре слишком велики, и неизвестные физические эффекты могут угрожать нам и до того, как их официально подтвердит наука.
3.58. Стремление людей установить некий приемлемый для них уровень риска.
У каждого человека есть представление о норме риска. Поэтому, например, водители более безопасных машин предпочитают более опасный стиль езды, что сглаживает в целом эффект безопасности машины. Как бы ни была безопасна система, человек стремится довести её до своей нормы риска. Поскольку ожидаемая продолжительность жизни человека имеет порядок 10 000-20 000 дней, то установив для себя норму риска в 1 к 100 000 в день (по своим интуитивным представлениям или в духе «все так делают»), он не сильно изменит свою ожидаемую продолжительность жизни. Однако по отношению к глобальным рискам такая позиция означала бы 30% шансы вымирания в ближайшие 100 лет. При этом есть отдельные «лихачи» с гораздо более высокой нормой риска.
3.59. Эффект «сверхуверенности молодого профессионала».
Он возникает у водителей и пилотов на определённом этапе обучения, когда они перестают бояться и начинают чувствовать, что уже всё могут. Переоценивая свои способности, они попадают в аварии.
3.60. Ощущение неуязвимости.
Сверхуверенность молодого профессионала усугубляется эффектом наблюдательной селекции, который состоит в том, что, например, отвоевавшие определённый срок без ранений солдаты начинают чувствовать свою «неуязвимость», и всё более и более повышать свою норму риска. Это же происходит с цивилизацией – чем дольше не было, например, атомной войны, тем в большей мере кажется, что она вообще невозможна и тем более рискованную политику можно проводить.
3.61. Переоценка собственных профессиональных навыков.
Если человек сравнивает то, что он знает, с тем, что он знает, он всегда получает единицу. Это может создать у него иллюзию, что он знает всё. Тогда как адекватная оценка возможна, только если человек сравнивает то, что он знает, с тем, что он не знает. В этом случае он получает честную границу своих знаний. Поскольку глобальные риски охватывают все сферы знаний – от биологии до астрофизики и от психологии до политики, то чтобы получить адекватную картинку ситуации, любой специалист вынужден выйти за пределы своих знаний. Поскольку чувствовать себя профессионалом приятно, человек может испытывать склонность к преувеличению своих способностей. Это будет мешать ему проконсультироваться у специалистов по существенным вопросам. Стереотип «спасителя мира» как героя-одиночки, который способен на всё, может помешать ему скооперироваться с другими исследователями и сделать свой ценный вклад. В равное мере и представление об ордене «джедаев», тайно спасающих мир, может быть некорректным и целиком заимствованным из развлекательного кино.
3.62. Есть ряд ситуаций, когда меры по предотвращению небольшой катастрофы готовят ещё большую катастрофу.
Например, в Йеллоустоунском парке так успешно боролись с пожарами, что в лесу скопилось очень много сухих деревьев, и в результате произошёл колоссальный пожар, справиться с которым было почти невозможно.
3.63. Утомление исследователя.
Энтузиазм отдельных людей движется волнами, и в силу этого человек, который вначале, допустим, начал выпускать некий бюллетень, может, утратив энтузиазм, начать выпускать его всё реже, что с точки зрения стороннего наблюдателя будет означать снижение интенсивности событий в этой области. Тем более работа исследователя глобальных рисков неблагодарна – он никогда не увидит реализации своих пророчеств, даже если они сбудутся. И у него никогда не будет уверенности, что ему на самом деле удалось что-то предотвратить. Только в кино спаситель мира получает за свою работу благодарность всего человечества и любовь красивой актрисы. Не будем забывать, что Черчилля прокатили на выборах сразу после войны, хотя он верил, что заслужил переизбрания. Чтобы избежать эффекта «перегорания», на американском флоте во время Второй Мировой войны применяли регулярную ротацию высшего состава – одна смена воевала, а другая отдыхала на берегу.
3.64. Страх потери социального статуса исследователями, который приводит к тому, что они не касаются некоторых тем.
В нашем обществе есть ряд тем, интерес к которым воспринимается как симптом определённого рода неполноценности. Люди, интересующиеся этими вопросами, автоматически считаются (или даже выдавливаются в соответствующие «экологически ниши») второсортными, сумасшедшими, клоунами и маргиналами. И другие исследователи даже могут стремиться избегать контакта с такими людьми и чтения их исследований. Темы, которые заклеймены, это: НЛО, телепатия и прочая парапсихология, сомнение в реальности мира. Однако важно отметить, что если хотя бы одно сообщение об НЛО истинно и необъяснимо, то это требует переделки всей имеющейся картины мира, и не может не влиять на вопросы безопасности. Более того, те исследователи, которые потеряли свой статус, проявив интерес к НЛО и т. п., утратили вместе с этим и возможность доносить свои мысли до представителей власти. Военные исследования в этой области настолько засекречены, что неизвестно, имеются ли такие исследования вообще, и соответственно, в какой мере можно доверять людям, говорящим от имени этих исследований. Иначе говоря, секретность настолько инкапсулирует некую исследовательскую организацию, что она перестаёт существовать для внешнего мира, как чёрная дыра, которая не выпускает своих лучей – особенно если даже высшее руководство страны может не знать о ней. (Характерен пример с канцлером Меркель, которой отказывались объяснять, что за люди ходят по резиденции, пока она это категорически не потребовала – это оказались сотрудники службы безопасности.)
3.65. Количество внимания, которое общество может уделить рискам, конечно.
Поэтому преувеличение некоторых рисков не менее опасно, чем умалчивание о других, так как съедает то количество внимания (и ресурсов), которые можно потратить на более опасные риски. Кроме того, оно создаёт ложную успокоенность у человека, которому кажется, что он сделал достаточный вклад в спасение Земли, например, заправив свой автомобиль спиртом.
3.66. Пренебрежение экономикой.
Такие выражения, как «деньги - это только бумажки», или «банковские вклады – это только нолики в компьютерах» могут быть отражением широко распространённого мнения, что экономика не так важна, как, скажем, война или некие более зрелищные катастрофы. Однако экономика – это материальное воплощение структурности всех происходящих на Земле процессов. Для понимания роли экономики важно отметить, что кризис 1929 года нанёс США ущерб в 2 раза большей, чем Вторая мировая война, а крах СССР произошёл не в результате прямой агрессии, а результате структурно-экономического кризиса. Крестьянская община в России вымерла не от вирусов и войн, а от тракторов и массового переезда в города. Даже вымирание динозавров и другие крупные вымирания биологи связывают не с космической катастрофой, а с изменением условий конкуренции между видами.
Все риски имеют стоимостное выражение. Экономические последствия даже небольших катастроф могут иметь огромное стоимостное выражение. Теракты 11 сентября нанесли ущерб американской экономике в 100 млдр. долларов, и возможно, гораздо больше, если учесть потенциальный ущерб от политики низкой процентной ставки (пузырь на рынке недвижимости), а также триллионы долларов, потраченный на войну в Ираке. При этом цена разрушенных зданий составляла только несколько миллиардов долларов. 7 писем с сибирской язвой нанесли ущерб в 1 миллиард долларов.
Итак, даже небольшие аварии могу приводить к огромному ущербу и утрате стабильности экономики, а крах экономики сделает систему менее устойчивой и более уязвимой к ещё большим катастрофам. Это может привести к положительной обратной связи, то есть к самоусиливающемуся катастрофическому процессу.
По мере глобализации экономики, всё больше возрастает возможность всепланетного системного кризиса. Конечно, трудно поверить, что мир погибнет от того, что несколько крупных банков обанкротились, но это может именно тем, что запустит эффект домино общей неустойчивости.
3.67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит.
Одна из версий крушения Древнеримской империи – деградация её элит, состоящая в том, что люди, из которых рекрутировались правители всех уровней, действовали исключительно в своих личных краткосрочных интересах, иначе говоря, глупо и эгоистично (что может быть связано с тем, что они употребляли воду из водопровода со свинцовыми трубами, отрицательно влиявшую на мозг). При этом предполагается, что эффективное действие в своих долгосрочных интересах совпадает с интересами общества в целом, что, вообще говоря, не бесспорно. Другой метафорой является сравнение «морального духа», например, войска - со способностью молекул некого вещества превращаться в единый кристалл (подробно на эту тему рассуждал Лев Толстой в «Войне и мире»).
С другой стороны, на падение нравов жаловались ещё сами древние римляне, и до сих пор этот процесс не помешал развитию производственных сил общества. Корень ошибки здесь может быть в конфликте поколений, а именно в том, что опытные и старые оценивают молодых и задиристых, не внося возрастную поправку и забывая, что сами были такими же.
Однако в случае современных глобальных рисков огромный ущерб может быть нанесён небольшой группой, скажем, террористов, которые внутри своей стратегии действуют долгосрочно и эффективно – или конфликтом двух обществ, каждое из которых внутри себя продвигает некие позитивные идеалы. Причём конфликт может быть вокруг точных форм этих идеалов, например, что лучше: демократия или религия? Наконец, даже высокоморальный человек может уничтожить мир по ошибке. В то время как низко моральный человек будет безопасен, так как будет коротать свой срок в тюрьме за мелкую кражу, и никогда не получит доступа к высоко опасным технологиям.
3.68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей.
Одни идеи проще доказывать, чем другие. Это приводит к сдвигу в оценке вероятностей. См. подробнее (Юдковски 2007,1)
3.69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав.
А затем упорствовать, защищая их и подбирая под них аргументацию. Человеку очень трудно «передумать». Закон Мёрфи: «Любая сложная проблема имеет простое, очевидное и неправильное решение». См. подробнее (Юдковски 2007,1)
3.70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли.
«И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой де-факто политики, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один учёный не рискнёт больше высказывать предположения». (Юдковски 2007,1)
3.71. Ошибка, связанная с неправильной корреляции силы и безопасности.
Эмоционально нам кажется, что технологии делятся на хорошие, то есть сильные и безопасные, и плохие – то есть слабые и опасные. Однако, на самом деле, чем сильнее некое орудие, - чем более оно способно влиять на мир, - тем оно опаснее, то есть тем больше способов направить его на цели разрушения. «Анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск». (Юдковски 2007,1) Понятно так же, что новые технологии сильнее старых технологий – иначе бы не было коммерческого смысла их создавать.
3.72. Преждевременные инвестиции.
Если бы в середине XIX века люди бы поняли, что в XX веке им угрожает атомное оружие, и на предотвращение этого риска были бы выделены миллионы, то нет сомнений, что эти деньги были бы потрачены не по назначению, и у будущих поколений выработалась бы аллергия на такие проекты. Возможный пример: по некоторым данным, СССР в 80-е годы получил дезинформацию о том, что США во всю разрабатывают беспилотные летательные аппараты, и развернул свою огромную программу, в результате которой возникли такие аппараты как «Пчела» - автоматические самолёты-разведчики весом около тонны, огромной стоимости и малой надёжности. В результате российские военные разочаровались в дронах именно к тому моменту, когда в США была принята программа их реального создания. Другой пример: до 1939 года было абсурдно бороться против атомного оружия, а после – уже поздно.
3.73. Склонность людей путать свои ожидания того, как оно будет в наиболее вероятном случае, и того, как оно будет в наилучшем случае.
«Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший случай» (Юдковски 2007,1). Юдковски описывает в своей статье эксперимент со студентами, где их просили оценить наиболее вероятное и наихудшее время сдачи дипломной работы. В результате среднее время сдачи дипломной работы оказалось хуже, чем наихудший случай.
3.74.Апатия прохожего.
Глобальные риски не являются чей-то личной ответственностью, и соблазнительно рассуждать в том смысле, что раз никто ничего не делает в связи с этим, то почему именно я должен? Более того, это состояние возникает бессознательно, просто как рефлекс подражания группе. Типичный пример: когда человек лежит на тротуаре и мимо идёт толпа, никто не помогает ему. Но если один человек на тропинке в лесу увидит лежащего человека, он, скорее всего, ему поможет. См. подробнее (Юдковски 2007,1).
3.75. Потребность в завершении.
Концепция когнитивной психологии, обозначающая стремление человека как можно скорее найти ответ на беспокоящий вопрос («need for closure» – (Kruglanski 1989)). Это приводит к тому, что человек предпочитает быстрое и неверное решение более долгому поиску правильного ответа. И хотя мы не можем искать правильную стратегию работы с глобальными рисками бесконечно долго – мы ограничены во времени! – нам стоит хорошо подумать перед тем, как придти к каким-то выводам.
3.76. Влияние авторитета и социальное давление группы.
Этот вопрос подробно рассмотрен в книге «Человек и ситуация». В частности, хорошо известны эксперименты Милграма, где испытуемых заставляли бить всё большим током других испытуемых, чтобы те «учились», и испытуемые доходили до смертельно опасного напряжения в 400 вольт, несмотря на то, что «жертвы» (на самом деле подсадные утки) умоляли их прекратить. При этом, хотя большинство людей уверено, что они не стали бы это делать, в реальных опытах это делали 66% испытуемых. В качестве причин такого поведение было обнаружено влияние авторитета, удалённость жертвы и воздействие аналогичного поведения группы. Очевидно, что те же факторы могут действовать на нас, когда мы оцениваем риск, связанный с некоторым фактором или технологией. Если потенциальные жертвы её находятся от нас далеко во времени и в пространстве, если рядом с нами высокоавторитетная личность высказывается в пользу этой технологии, а также, если мы окружены группой людей, придерживающегося противоположного мнения, всё это окажет влияние на наш выбор. Всё это проявляется в динамике научного процесса.
3.77 Разрыв между обзорными и точечными исследованиями, между «деревом и лесом».
Этот разрыв ярко заметен в области нанотехнологий. Есть уровень обзорных проектных исследований, где в первую очередь уделяется внимание тому, что можно и нужно сделать. Движение сверху вниз. Это Дрекслер, Фрейтас и др. И есть уровень конкретных исследований отдельных молекул и их эффектов. С точки зрения первых «за деревом не видят леса», с точки зрения вторых «занимаются верхоглядством и фантастикой». Причём оба обвинения могут быть отчасти справедливы.
3.78. Ошибка, связанная с интеллектуальной проекцией.
Юдковски: «Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую E. T. Jaynes назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy) (Jaynes and Bretthorst 2003). Jaynes, специалист по байесовской теории достоверности, определил «ошибочность, связанную с умственной проекцией» как ошибку, связанную с тем, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистический феномен» подразумевает, что мистичность – это свойство самого феномена – но если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)» Пример такой ошибочности рассуждение вроде: «ИИ будет добрый, поэтому он не может меня убить». Тогда как доброта – это не свойство самого ИИ, а наша оценка его действия по отношению к нам, и причинная связь здесь обратная – мы называем ИИ «добрым» , потому что он нас не убивает.
3.79. Представление о том, что изменять обстоятельства следует, уничтожая их причины.
Однако спичка, от которой загорелся пожар, уже погасла. Далее, стремление уничтожить любую систему, от государства до тараканов и микроорганизмов, приводит к тому, что эта система оптимизируется для борьбы, становится сильнее. А тот, кто с ней борется, вынужден приобретать качества своего врага, чтобы действовать с ним на одной территорией.
3.80. Забвение основного принципа медицины – «Не навреди!»
Другая формулировка этого принципа: «Когда не знаешь что делать, не делай ничего». За этим стоит вековой опыт, который говорит, что необдуманные действия скорее принесут вред, чем помогут.
3.81. Путаница между объективными и субъективными врагами.
Когда некто преследует цели, мешающие моим целям, он мой враг объективно (тигр, который хочет съесть козу; противник в игре в шахматы; конкурент в бизнесе). Однако между людьми врагом становится тот, кто стремится уничтожить лично меня. Это понятие завязано на кровную месть. Путаница же состоит в том, что объективные враги начинают казаться субъективными. Например, если встать перед мчащимся поездом и сказать, что поезд хочет меня уничтожить. Однако между людьми бывает и реальные ситуации «субъективной» вражды, когда один хочет уничтожить другого, не имея никаких иных за этим целей или полезностей.
3.82. Предчувствие катастрофы, на самом деле обусловленное завистью.
Один из примеров того, когда неосознаваемые желания могут влиять на описание действительности. Яркий пример этому – множество форумов в Интернете, где люди, обиженные распадом СССР, мечтают увидеть крах США и выискивают признаки этого процесса. (Но это не значит, что в американской экономике нет проблем.)
3.83. Страх утраты идентичности.
Система не хочет глубоко трансформироваться, так как тогда это будет уже не она. Это одна из причин борьбы против глобализации. Некто может предпочесть смерть утрате идентичности.
3.84. Понятная катастрофа может быть привлекательнее непонятного будущего.
В целом глобальную катастрофу проще представить, чем будущее, с некими ещё не открытыми технологиями. (То есть здесь действует когнитивное искажение, связанное с доступностью информации – см. у Юдковски.) Непонятное может вызывать страх.
3.85. Неправильное применение бритвы Оккама.
Бритву Оккама можно рассмотреть через призму байесовой логики. Тогда гипотеза, требующая большего числа независимых предположений, оказывается менее вероятной. Например, гипотеза, базирующаяся на 10 независимых предположениях, будет иметь только 1 к 1024 шанс на истинность. Однако и этого не мало, если речь идёт о гипотезе, которая означает риск вымирания человечества!
3.86. Склонность переоценивать ущерб от малых и частых аварий и недооценивать большие и редкие.
Подробнее см. Юдковского (Юдковски 2007,1): «Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что должны быть обеспокоены…. Когда дамбы и насыпи построены, они уменьшают частоту наводнений, такие образом, видимо, создавая фальшивое чувство безопасности, ведущее к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения настолько возрастает, что среднегодовой ущерб увеличивается. Кажется, что люди не экстраполируют с пережитых малых опасностей на возможности более серьёзных рисков; наоборот, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков».
3.87. Ошибка, связанная с неверным переносом закономерностей с одной системы на другую.
А) неучёт рост усложнения структуры как фактора, снижающего надёжность системы. Если от растения можно отрезать большую часть, не повредив его способности к полноценному восстановлению, то чтобы убить животное, достаточно удалить очень маленький кусочек организма. То есть, чем сложнее система, тем больше в ней уязвимых точек. Нельзя не отметить, что по мере процессов глобализации, связность и структурность земной цивилизации растёт.
Б) Снижение надёжности системы пропорционально четвёртой степени плотности энергии. Это эмпирическое обобщение (точное значение степенного показателя может отличаться в зависимости от разных факторов) проявляется в сравнении надёжности самолётов и ракет: при равных размерах, количестве и затратах надёжность ракет примерно в десять миллионов раз меньше – за счёт того, что плотность энергии в двигателях в несколько раз больше, и ряда других факторов. Похожее эмпирическое обобщение верно и для статистики смертельных аварий автомобилей в зависимости от скорости. Нельзя не отметить, что энерговооружённость человечества постоянно растёт.
3.88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки.
С точки зрения авторов регламента по Чернобыльскому реактору персонал нарушил их требования, а сточки зрения персонала, пользовавшегося этим регламентом, он сделал всё, как он должен был быть. Регламент требовал «заглушить реактор» - но разработчики считали, что это надо произвести немедленно, а операторы – что постепенно. Другой вариант – когда автоматическая система спасения и пилот могут совершать набор действий, каждый из которых в отдельности спас бы самолёт, но вместе они накладываются друг на друга и приводят к катастрофе (гибель А310 в 1994 году в Сибири).
3.89. Отказ рассматривать некий сценарий по причине его «невероятности».
Однако большинство катастроф случаются в результате именно невероятного стечения обстоятельств. Гибель «Титаника» связана с экзотической, можно сказать, комбинацией 24 (!) обстоятельств.
3.90. Переход от обмана к самообману.
Сознательный обман других людей с целью получения определённой выгоды, в нашем контексте – сокрытия рисков – может незаметно принять форму самогипноза. Самообман может быть гораздо более устойчив, чем иллюзия или непреднамеренное заблуждение. Ещё один вариант такого опасного самогипноза – команда себе «Я подумаю об этом завтра» (но завтра никогда не наступает).
3.91. Переоценка собственных возможностей вообще и выживаемости в частности.
Просто проиллюстрирую это цитатой из статьи Бострома об угрозах существованию: «Эмпирические данные о предубеждениях в оценке рисков двусмысленны. Доказано, что мы страдаем от систематических предубеждений, когда мы оцениваем наши собственные перспективы рисков в целом. Некоторые данные показывают, что людям свойственно переоценивать собственные способности и перспективы. Три четверти всех автолюбителей думают, что они более безопасные водители, чем среднестатистический водитель. Согласно одному исследованию, почти половина социологов верит, что они принадлежат к лучшим десяти учёным в своей области, и 94% социологов думают, что они лучше в своей работе, чем их коллеги в среднем. Также было показано, что находящиеся в депрессии имеют более точные предсказания, чем нормальные люди, за исключением тех, что касаются безнадёжности их ситуации. Большинство людей думает, что они сами с меньшей вероятностью подвержены обычным рискам, чем другие люди. Широко распространено убеждение, что публика склонна переоценивать вероятности часто освещаемых в печати рисков (таких, как катастрофы самолётов, убийства, отравления едой и т. д.), и недавнее исследование показывает, что публика переоценивает большое количество распространённых рисков здоровью в отношении себя. Другое недавнее исследование, однако, предполагает, что доступная информация согласуется с предположением, что публика рационально оценивает риск (хотя и с некоторым сужением из-за расхода мыслительных усилий на удержание в уме точной информации)».
3.92. Стремление к прекрасному будущему, заслоняющее восприятие рисков.
Это явление можно заметить у революционеров. Опыт Французской революции вполне мог научить, что революция ведёт к гражданской войне, диктатуре и внешним войнам, однако русские революционеры начала ХХ века питали те же иллюзии, что и их французские коллеги за 120 лет до них, хотя, в конечном счёте, получили аналогичный результат. И у современных сторонников радикального развития технологий есть необъективность такого же рода. Психологически это связано с тем, что человек отвергает размышления о рисках, как препятствия на пути к светлому будущему.
3.93. Фильтры, мешающие поступлению информации к руководству.
Г. Малинецкий в книге «Риск. Устойчивое развитие. Синергетика» пишет:
«Еще одна особенность информации в условиях возникновения ЧС состоит в том, что поступающие в систему управления данные проходят через ряд фильтров. Первыми из них являются используемые в системе управления методы изучения и анализа внешней среды, посредством реализации которых входная информация, прежде чем поступить к руководству, отсеивается. Этот фильтр, как правило, настроен на прошлое и настоящее, а не на возможные экстремальные изменения ситуации в будущем.
Вторым фильтром является психологический, суть которого заключается в неприятии руководством информации вследствие ее стратегической новизны.
Третий фильтр на пути поступающей информации образует руководящая иерархия. Новая информация не сможет влиять на формирование реакции на изменения, если руководители не будут обладать достаточной властью, чтобы официально признать актуальность этой информации.
Четвертый фильтр связан с тем, что в последние годы информация рассматривается как ценный стратегический товар, к которому следует относиться бережно и не передавать его по первому требованию. Подчеркнем, что в условиях ЧС любые задержки в передаче исходной информации не только безнравственны, но и преступны».
3.94. Любопытство может оказаться сильнее страха смерти.
Были жертвы в толпе любопытных, наблюдавших штурм Белого дома в 93 году. И, я уверен, многим людям любопытно, каков будет «конец света».
3.95. Система и регламент.
Для гладкого функционирования системы приходится позволять нарушать регламент по мелочам. Дальше происходит следующее, пишет человек по поводу разных катастроф в интернет-форуме про Чернобыль: «Мне приходилось принимать участие в расследованиях (или изучать материалы) несчастных случаев и аварий в промышленности (неатомной). По их результатам я для себя сделал следующий вывод: практически никогда не бывает какой-то "единственной главной" причины и соответственно "главного виновного" (я имею в виду не официальные выводы комиссий, а фактическую сторону дела). Как правило, происходит то, что я для себя условно называю: десять маленьких разгильдяйств. Все эти маленькие разгильдяйства совершаются у всех на виду в течение многих лет подряд, а т.к. по отдельности каждое из них не способно привести к тяжелым последствиям, то в силу этого внимание на них не обращается. Но когда все они происходят в одно время, в одном месте и с одними людьми - это приводит к трагическому результату. Ну а когда происшествие имеет общественный резонанс - тогда обычно и назначают главного стрелочника по принципу: "кто не спрятался, я не виноват".
3.96. Эффект «стрелочника».
Вместо поиска подлинных причин аварии ищут стрелочника, в результате чего подлинные причины не устраняются, и она становится возможной ещё раз.

3.97. Минимальный воспринимаемый риск.
Существует минимальный воспринимаемый риск. Было выдвинуто предположение, что это обусловлено тем, что человек принимает решения, исходя не из реальных вероятностей, возможных вариантов событий pi, а из своих представлений о них f(pi). Например, ряд экспериментов показывает, что человек не воспринимает вероятности меньше 10 5, несмотря на очень большой возможный ущерб. Это мы выше объясняли из того, что такой уровень риска незаметен на фоне ежедневного риска, которому подвергается человек.
3.98. Отвержение новых идей.
Люди и учёные часто отвергают новые идеи, так как это означало бы признать собственную неправоту. Динамика такого процесса обрисована Куном в его теории научных революций, и, к сожалению, дискуссии о новых идеях часто окрашены теми же моделями поведения, что и борьба за власть в стае обезьян. Часто предупреждения о новых рисках носят не вполне доказанный характер. Пример такого отвержения, стоивший миллионы жизней – длительное отвержение идей венгерского врача Игнаца Филиппа Земмельвейса (1818-1865), который утверждал, что родильная горячка связана с тем, что врачи не моют руки после вскрытия трупов.
3.99. Воздействие эмоциональной реакции шока.
Известно, что катастрофы провоцируют определённую последовательность психологических переживаний, каждое из которых влияет на объективность принимаемых решений. В книге «Психогении в экстремальных условиях» сказано: «… психологические реакции при катастрофах подразделяются на четыре фазы: героизма, «медового месяца», разочарования и восстановления» (стр.17) при этом фазе героизма может предшествовать период отрицания, паники или паралича.
Каждая из этих стадий создаёт свой вид необъективности. Если начнётся глобальная катастрофа, то она будет настолько ужасна, что вызовет реакцию отрицания в духе «не может быть», «это какая-то ошибка» и т.д. Например, видеокадры о теракте 11 сентября многие восприняли как кадры из нового голливудского кинофильма. Затем идёт стадия сверхреакции, которая может создать новые опасности из-за опрометчивого поведения. Например, лётчики, вылетевшие патрулировать 11 сентября небо над Нью-Йорком, думали, что началась война с русскими. В том же духе было и заявление президента Буша о том, что «мы объявляем войну» в тот же день. Затем на стадии эйфории чувство опасности притупляется, хотя на самом деле опасная ситуация ещё не закончилась. Уныние, наоборот, связано не с уменьшением оценки риска, а с уменьшением мотивации с ним бороться, возможно, связанное с масштабами потерь и осознанием неизбежности. Принятие приводит к тому, что катастрофы забывается, а риск принимается как должное. То есть на этой стадии происходит и уменьшение оценки риски, и уменьшение мотивации по его преодолению. Такое описание относится к переживанию катастроф, которые начались и закончились, вроде землетрясений, и клинике острого горя при смерти близких. Однако глобальная катастрофа не относится к таким событиям – скорее, если её наступление удастся заметить, она будет выглядеть как всё более нарастающий грозный процесс.
При этом важно то, что эмоции воздействует на поведение людей независимо от того, хотят они этого, или нет, даже если они знают об этом воздействии, и хотят его избежать. На этом основано действие рекламы. Кроме того, если начнётся глобальная катастрофа, например, всеобщая эпидемия, то у почти каждого будут близкие люди, умершие в результате неё или находящиеся в зоне повышенного риска. В голливудских фильмах это изображается обычно в том духе, что главный герой успевает и страну спасти, и высвободить любимую девушку из завалов. Но на то она и сказка, что понятно, что так не будет. Все люди, и принимающие решения, и исполнители, в случае глобальной катастрофы будут думать не только о судьбах планеты, но и о спасении своих близких (а также своих стран, родных городов и других общностей, с которыми они связаны), и в силу этого их выбор будет неоптимален. Даже если они примут решение пожертвовать своими близкими и целиком сосредоточится на предотвращении катастрофы, эмоциональный стресс от такого решения нанесёт вред их объективности и работоспособности. Фактически, они будут находиться в состоянии острого горя.
Малинецкий пишет («Риск. …»): «Ряд специалистов по психологии риска считают, что доля руководителей, способных адекватно действовать в условиях ЧС, не превышает 0,5%.»
3.100. Проблемы отбора экспертов.
Поскольку по каждому отдельному вопросу мы вынуждены полагаться на мнение наиболее компетентных людей в этой области, нам нужен эффективный способ отбора таких людей – или их книг. Методики отбора экспертов обычно таковы: во-первых, имеют значение их регалии – индекс цитирования, научные звания, должности и т. д. Во-вторых, можно полагать на число сбывшихся прогнозов для того, чтобы определить вероятность их правоты. Третий способ состоит в том, чтобы не доверять никому, и перепроверять самому все чужие выкладки. Наконец, можно отбирать людей по тому, насколько они разделяют ваши убеждения – верят ли они в Сингулярность, Пик Хубберта, либеральную модель экономики и т.д. – очевидно, что в этом случае мы не узнаем ничего нового, кроме того, что и так подразумевалось нашим отбором. Очевидно, что все способы отбора экспертов содержат свои подводные камни.
3.101. Вина и ответственность как факторы предотвращения рисков.
Нашему уму свойственно пытаться определить того, кто именно виноват в той или иной катастрофе. Вина опирается на концепции свободы воли, вменяемости и последующего наказания. Однако в случае глобальной катастрофы она утрачивает всякий смысл, так как не будет ни расследования, ни наказания, ни пользы от этого наказания, ни страха наказания. С другой стороны, концентрация на поиске виноватых отвлекает от видения целостной картинки катастрофы. Фактически, мы думаем, что если мы определим виноватых и заменим их на более эффективных исполнителей, то следующий раз катастрофы не будет, а всем разгильдяям будет хороший урок и дисциплина на производстве повысится. Очевидно, однако, что такой поиск стрелочника бесполезен, когда речь идёт об уникальных событиях. Но важно при этом повышать ответственность людей за сохранение мира, в котором они живут.
3.102. Недооценка сил инерции как фактора устойчивости систем.
Помимо общих соображений о тяжести, сложности и механизмах обратной связи, делающих систему устойчивой, можно использовать и формулу Готта для оценки будущего времени существования системы, исходя из прошлого времени её существования. Она позволяет математически выразить тот факт, что если, например, автобуса не было около часа, то маловероятно, что он придёт в ближайшую минуту. То есть прошлое время существования системы создаёт, так сказать, «временную инерцию». Когда оказывается, что некая система более устойчива, чем нам казалось, исходя из наших теорий, мы начинаем сомневаться в наших теориях, которые могут быть по сути правильными, но ошибаться в датировке событий. Таким образом, недооценка устойчивости ведёт к недооценке рисков.
3.103. Мировоззрение.
Очевидно, что все дискуссии о рисках глобальной катастрофы происходят на платформе определённого научного, культурного и исторического мировоззрения, которое для нас настолько очевидно, что кажется прозрачным. Однако возможно, что представитель другой культуры и религии будет рассуждать принципиально по-другому.
3.104. Психологические трудности, связанные с изменением точки зрения.
Однажды выбрав некую позицию, человек склонен защищать её до последнего, и требуется значительное научное мужество, чтобы найти в себе силы публично признать смену своей концепции.
4. ОБЩЕЛОГИЧЕСКИЕ ОШИБКИ, МОГУЩИЕ ПРОЯВИТЬСЯ В РАССУЖДЕНИЯХ О ГЛОБАЛЬНЫХ РИСКАХ.
4.1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте.
Первое относится к вероятностному процессу, например, радиоактивному распаду, а второе к неизвестному процессу – например, угадыванию карты. Однако глобальные риски относятся к процессам, где мы вынуждены высказывать вероятностные суждения о процессах, которые одновременно и вероятностные, и неизвестные. Здесь мы начинаем говорить о степени уверенности в той или иной вероятности. В этом случае вероятность и степень уверенности перемножаются.
4.2. Подмена анализа возможностей анализом целей.
Например, вроде рассуждения «террористы никогда не захотят применять бактериологическое оружие, потому что оно нанесёт удар и по тем, чьи интересы они защищают». Структура целей может быть очень сложна или просто содержать в себе ошибки.
4.3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго.
Это высказывание работает только в том случае, если мы однократно нечто наблюдали в случайный момент времени и вероятность в таком случае описывается формулой Готта. Она даёт шанс завершения для произвольного события в 50 процентов в промежуток от 1/3T до 3T, где T – возраст объекта в момент его случайного обнаружения. Однако если мы очень долго наблюдаем некий процесс, то он очевидным образом, приближается к своему концу. Например, если мы возьмём случайного человека, то он, скорее всего, будет среднего возраста. Однако если взять случайного человека и потом очень долго наблюдать, то мы однозначно получим глубокого старика, который может умереть в любой момент. (Подробнее см. мою статью «Природные катастрофы и антропный принцип».)
4.4. Мышление, обусловленное желаниями – то, что по-английски называется «Wishful thinking».
В зависимости от того, что человек хочет доказать, он будет подбирать те или иные аргументы, часто неосознанно.
4.5. Логическая ошибка, возникающая при с попытках доказать, что нужно делать, исходя только из описания фактов.
Если в первой и второй посылке умозаключения содержатся только факты, то и в выводе могут быть только факты. Любое рассуждение о целях должно опираться на некие представления о ценностях, заданных аксиоматически. Однако это означает произвольность таких целей, и их понимание может различаться у разных исследователей глобальных рисков, что может вести к разным определениям катастрофы и представлениям о том, что будет из неё выходом. Кроме того, любая система аксиом позволяет формулировать недоказуемые высказывания (теорема о неполноте), и в отношении долженствований в этом легко убедиться: почти любая система базовых ценностей легко позволяет создавать внутри себя противоречия, что является основным содержанием многих литературных произведений, где герой должен сделать выбор между, допустим, любовью к семье и к родине (то, что ещё называется экзистенциальный выбор). Неизвестно, возможна ли вообще непротиворечивая система ценностей, как она будет выглядеть, и будет ли применима на практике. Однако работа над непротиворечивой системой ценностей важна, так как её нужно будет вложить в будущие машины, обладающие искусственным интеллектом.
4.6. Ошибки, связанные с подменой анализов рисков анализом коммерческих мотивов тех, кто о них говорит.
Можно рассуждать следующим образом: если человек исследует риски бесплатно, то он безработный и маргинал, если он хочет получать за это деньги, то он паразитирует на общественных страхах, если это его прямые должностные обязанности, то доверять ему нельзя, потому что он агент государства и запудривает мозги населению. Отсюда видно, что прямой связи между деньгами и анализом рисков нет, хотя в некоторых случаях она возможна. Объяснение через упрощение называется «редукционизмом» и позволяет объяснить всё, что угодно.
4.7. Использование так называемого «авторитетного знания».
«Авторитетное знание» было основным источником в Средние века, когда истину искали в трудах Аристотеля; потом изобрели эмпирический метод. Ссылки на мнения великих людей не должны служить достаточным основанием, чтобы признать нечто безопасным. Только регулярно повторяемые вычисления могут указывать на это.
4.8. Неправильное применение идеи о том, что теория должна быть опровержимой, чтобы быть истинной.
Если рассматривать научный метод, как способ получения наиболее достоверных знаний, то эта методология должна быть верной. Однако с точки зрения обеспечения безопасности необходим противоположный подход: некая теория является опасной до тех пор, пока она не опровергнута.
4.9. Восприятие новой информации через призму старой.
Есть данные, что только 7 процентов информации человек берёт из внешнего мира, а остальные додумывает сам. Увы, то же самое верно и для текстов, в том числе и по глобальным рискам. Читая рецензии разных людей на один и тот же текст, не трудно убедиться, что они восприняли его совершенно по-разному. Вряд ли это связано с тем, что одни люди были принципиально умнее других – скорее, с тем, что они применяли разные фильтры восприятия. Более того, если человек начал придерживаться некой точки зрения, то он подписывается на те издания и выбирает те статьи, которые её подтверждают. Таким образом, у него создаётся иллюзия, что статистика по данным, подтверждающим его точку зрения, растёт. Это ещё более укрепляет его и фильтр, и его уверенность в этих данных.
4.10. Ошибка в выборе нейтральной позиции.
Каждый человек со временем понимает, что он не вполне объективен, и его точка зрения имеет некоторую тенденциозность. Чтобы компенсировать это отклонение, он может выбрать некий нейтральный источник информации. Ошибка состоит в том, что люди, придерживающиеся противоположных взглядов, выберут разные нейтральные точки, каждая из которых будет ближе к позиции того, кто её выбрал.
4.11. Уверенность как источник ошибок.
Чем больше человек сомневается в своей точке зрения, тем чаще он меняет её под влиянием новых фактов, и тем больше шансов, что он попадёт к более достоверному знанию. Если же человек слишком уверен в своём мнении, ему трудно его изменить. Если же он слишком изменчив, то он не приближается к истине, а ходит по кругу.
4.12. Употребление полностью ошибочной логики.
Увы, возможна ситуация, когда человек в своих рассуждениях совершает ошибки в каждой строчке. В этом случае он не мог бы найти свои ошибки, даже если бы хотел. Это может быть или одна повторяющаяся систематическая ошибка, или такая плотность разных ошибок, которая делает невозможным безошибочное рассуждение. Даже я сейчас не знаю наверняка, не делаю ли я каких-либо систематических логических ошибок в настоящий момент. Это может происходить чаще, чем мы думаем – анализ текстов показал, что обычно люди пользуются сокращёнными умозаключениями и приёмами эвристики – и не осознают этого.
4.13. Различие между преднаукой и псевдонаукой.
В тот момент, когда гипотеза находится в процессе формулирования, она ещё не обросла всем научным аппаратом и является, скорее, продуктом мозгового штурма на некую тему, возможно, осуществляемого коллективно путём обмена мнениями в печатных изданиях. И в этот момент она является преднаукой – однако она нацелена на то, чтобы стать частью науки, то есть пройти соответствующий отбор и быть принятой или отвергнутой. Псевдонаука может имитировать все атрибуты научности – звания, ссылки, математический аппарат, – тем не менее, её цель – не поиск достоверного знания, а видимость достоверности. Все высказывания о глобальных рисках являются гипотезами, которые мы почти никогда не сможем проверить. Однако мы не должны отбрасывать их на ранних фазах созревания. Иначе говоря, фаза мозгового штурма и фаза критического отсева не должны смешиваться – хотя обе должны присутствовать.
4.14. Ошибка, связанная с неправильным определением статуса «универсалий».
Проблема универсалий была основной в средневековой философии, и состояла она в вопросе, что на самом деле реально существует. Существуют ли, например, птицы вообще, или существуют только отдельные экземпляры птиц, а все виды, рода и семейства птиц – не более чем условная выдумка человеческого разума? Одним из возможных ответов является то, что объективно существует наша способность различать птиц и не-птиц. Более того, каждая птица тоже обладает этим качеством. В рассуждения о рисках неясность по поводу универсалий вкрадывается следующим образом: свойства одного объекта переносятся на некий класс, как если бы этот класс был объектом. Тогда возникают рассуждения вроде «Америка хочет…» или «русским свойственно…», тогда как за этими понятиями стоит не единый объект, а множество, точное определение которого зависит от самого наблюдателя. Любые дискуссии о политике отравлены такого рода сдвигом. Рассуждая об искусственном интеллекте легко совершить такую ошибку, так как не понятно, идёт ли речь об одном устройстве или о классе объектов.
4.15. Утверждения о возможности чего-то и невозможности неравносильны.
Утверждение о невозможности гораздо сильнее, ибо относится ко всему множеству потенциальных объектов, а для истинности утверждения о возможности достаточно одного объекта. Поэтому большинство утверждений о невозможности чего-либо являются ложными гораздо чаще. Предполагая какое-то событие или стечение обстоятельств невозможным, мы наносим ущерб нашей безопасности. В определённых обстоятельствах возможно всё. При этом любые дискуссии о будущих катастрофах – это всегда дискуссии о возможностях.
4.16. Очевидности как источник ошибок.
Правильное умозаключение всегда опирается на две посылки, два истинных суждения. Однако анализ текстов показывает, что люди очень редко употребляют полную форму умозаключений, а вместо этого употребляют сокращённую, где явно называется только одна посылка, а другая подразумевается по умолчанию. Умалчиваются обычно очевидности – суждения, кажущиеся настолько истинными и несомненными, что нет нужды их озвучивать. Более того, часто они настолько очевидны, что не осознаются. Понятно, что такое положение дел является причиной многочисленных ошибок, потому что очевидность – не обязательно истинность, и то, что очевидно одному, не очевидно другому.
4.17. Недооценка собственной ошибочности.
Я ничего не могу знать на 100 процентов, потому что надёжность моего мозга не равна 100 процентам. Я могу проверить свою надёжность, решив серию логических задач средний сложности, и затем посчитав количество ошибок. Однако обычно этого не делается, и собственная ошибочность оценивается интуитивно, то есть в сторону занижения.
4.18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину.
В действительности:
а) есть совершенно случайные события.
б) каждое событие имеет много причин (стакан упал, потому что его поставили с краю, потому что он сделан из стекла, потому что сила тяготения велика, потому что пол твёрдый, потому что кошка непослушная, потому что это рано или поздно должно было случиться).
в) каждая причина имеет свою причину, в результате чего мы имеем расходящееся в прошлое древо причин. Человеческий ум неспособен целиком это древо причин охватить и вынужден упрощать. Но понятие «причина» необходимо в обществе, потому что связано с виной, наказанием и свободой воли. То есть здесь под «причинной» имеется в виду принятие свободным вменяемым человеком решения о совершении преступления. Нет нужды говорить о том, сколько здесь неочевидных моментов. (основной вопрос: Кто виноват?)
И в конструировании техники: где важно найти причину аварии. То есть то, что можно устранить – так чтобы аварий такого рода больше не было. (основной вопрос: Что делать?)
Понятие причина менее всего применимо к анализу сложных уникальных явлений, таких как человеческое поведение и история. Пример тому – масса запутанных дискуссий о причинах тех или иных исторических событий. Именно поэтому рассуждения в роде «причиной глобальной катастрофы будет Х» - мягко говоря, несовершенны.
4.19. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы.
И вытекающие из этого неправильное информирование начальства о ситуации. Сознательное – когда военные скрывают некую аварию, чтобы их не наказали, желая справится своими силами. Когда люди не вызывают пожарных, сами туша пожар до тех пор, пока он не становится слишком обширным. Бессознательная – когда люди верят в то описание, которое уменьшает масштаб аварии и их вину. В Чернобыле организатор испытаний Дятлов верил, что взорвался не реактор, а бак с водой охлаждения – и продолжал подавать команды на несуществующий реактор. Вероятно, такое нежелание может действовать и вперёд во времени, заставляя людей не принимать на себя ответственность за будущие глобальные катастрофы.
4.20. Необходимость выбора актом веры.
Если руководитель получает несколько противоречащих друг другу заключений о безопасности, то он делает выбор между ними, просто веря в одно из них – по причинам, не связанным с самой логикой. Здесь также можно вспомнить термин «экзистенциальный выбор», когда человек должен сделать выбор в неформализуемой ситуации. Например, между любовью и долгом.
4.21. Эффект первой и последней прочитанной книги.
Порядок поступления информации влияет на её оценку, причём выделены первый и последний источник. Это одна из форм ошибочности, связанной с доступностью информации, о которой пишет Юдковски.
4.22. Преувеличение роли компьютерного моделирования.
Наиболее две проработанные модели – метеорология и атомные взрывы. Обе составлены на огромном фактическом материале, с учётом сотен испытаний, которые вносили поправки к прогнозам, и обе регулярно давали ошибки. Даже самая точная модель остаётся моделью.
4.23. Доказательство по аналогии.
Дело не только в том, что не может быть аналогий уникальному событию, которое ещё никогда не случалось – необратимой глобальной катастрофе, но и в том, что мы не знаем, как проводить такие аналогии. В любом случае, аналогии могут только иллюстрировать. Вероятно, полезно принимать аналогии, когда они говорят о реальности некой угрозы, но не когда – о безопасности.
4.24. Ошибка, связанная с неточностью экстраполяции экспоненциальной вероятностной функции с помощью линейной.
Вероятностную функцию гибели цивилизации – если считать это процесс гладким в смысле вероятности, что, конечно, неверно - можно уподобить функции распада радиоактивного атома, которая, как известно, описывается экспонентой. Например, если вероятность гибели цивилизации в течение XXI века равна 50 процентам, как это предлагает сэр Мартин Рис в книге «Наш последний час», то через 200 лет шанс выживания цивилизации будет 25 процентов, а через тысячу лет – только 0,1 процента – при равномерном сохранении тех же тенденций. Отсюда видно, что неверно заключать, что раз выживание в течение тысячелетия составляет 0,1 процента, то для одного столетия оно будет в только десять раз больше, то есть 1 процент. Эта же ошибка в менее явном виде возникает, если нам нужно экстраполировать эти же 50 процентов выживания в течение 100 лет на погодовую вероятность гибели. Линейная аппроксимация дала бы 0,5 процента на год. Однако точное значение равно 1- 2**(-100) и составляет примерно 0,7 процента, то есть в 1,4 раза выше, чем даёт интуитивная линейная аппроксимация. (Ещё раз мы к этому вопросу вернёмся далее, главе о вероятностной оценке глобальных рисков)
4.25. Санкт-Петербургский парадокс.
Позволю себе здесь обширную цитату из книги Г.Малинецкого «Риск. Устойчивое развитие. Синергетика».
«Рождение субъективного подхода относится к работам Г. Крамера и Д. Бернулли, выполненным в первой половине XVIII века. Они связаны с объяснением так называемого Санкт-Петербургского парадокса. Рассмотрим следующую игру. Подбрасывается монета до тех пор, пока в первый раз не выпадет орел. Если потребовалось n бросков, то выигрыш составит 2n единиц. То есть выигрыши 2,4,8,…2n будут происходить с вероятностью 1/2,1/4,1/8,…1/2n. Ожидаемый выигрыш в этой игре бесконечен:
. (1)
Спрашивается, сколько человек готов заплатить за право войти в такую игру. Парадокс состоит в том, что большинство людей готово заплатить за это право не более 100, а иногда и 20 единиц.
Бернулли предположил, что люди максимизируют не денежный выигрыш (чему соответствует формула (1), а ожидаемую полезность. Предложенная им функция полезности U(x) имеет вид логарифмической кривой:
. (2)
То есть, с ростом выигрыша полезность равных приращений падает.
Парадокс можно сформулировать и иным образом, имеющим непосредственное отношение к техногенному риску. Допустим, что мы располагаем экономически выгодной (если не учитывать ее влияния на среду обитания) технологией. Ликвидация последствий ее применения может обойтись в 2n единиц с вероятностью 1/2n. То есть математическое ожидание ущерба здесь также бесконечно. Сколько общество готово заплатить за то, чтобы отказаться от такой технологии? Какова должна быть разумная стратегия в том случае, если такая технология уже используется? В ряде случаев действия мирового сообщества парадоксальны – затраты на отказ от технологий, грозящих неприемлемым ущербом, оказываются, как и в Санкт-Петербургском парадоксе, весьма невелики».
Этот парадокс имеет прямой отношение к глобальным катастрофам, так как их возможный ущерб бесконечен. Следовательно, мы должны были бы соглашаться на любые действия, которые позволяют её избежать (принцип Максипок по Бострому).
4.26. Различие между опасностью и риском.
Риск создаётся принимаемыми решениями, а опасности – обстоятельствами.
4.27. Систематическая ошибка, связанная с эгоцентричностью.
Она состоит в том, что люди приписывают себе большее влияние на результаты коллективных действий, чем на самом деле. Иногда люди преувеличивают негативное влияние (мегаломания). По мнению Майкла Анисимова, по этой причине люди преувеличивают значение собственной смерти и недооценивают смерть всей цивилизации. (http://en.wikipedia.org/wiki/Egocentric_bias)
4.28. Систематическая ошибка, связанная с атрибуцией причины.
В случае с глобальными рисками в настоящий момент нет объекта или человека, которого мы могли бы обвинить в том, что человеческая цивилизация вымрет. Майкл Анисимов пишет: «Поскольку на горизонте не видно плохого парня, чтобы с ним бороться, люди не испытывают такого энтузиазма, который бы они, например, испытывали, протестую против Буша». (http://www.acceleratingfuture.com/michael/blog/?p=539)
4.29. Если вероятность некого события является невычислимой, ей полагают нулевой.
Тогда как принцип предосторожности требовал бы, чтобы мы приписывали таким событиям 100 процентную вероятность. Однако это привело бы к абсурдным выводам в духе: вероятность высадки инопланетян завтра неизвестна, поэтому мы должны к ней готовиться так, как если бы она была равна 100 процентам. В этом случае можно пользоваться непрямыми способами оценки вероятности, например, формулой Готта (см. о ней подробнее в конце книги).
4.30. Упущение того, что безопасность системы определяется наиболее слабым её звеном.
Если в помещение есть три параллельных двери, одна из которых заперта тремя замками, вторая - двумя, а третья – одним, то помещение заперто на один замок. Как не укрепляй две самые прочные двери, это ничего не изменит.
4.31. Для того, чтобы отвергнуть некую гипотезу, надо в начале её рассмотреть.
Однако часто эта логическая последовательность нарушается. Люди отказываются рассматривать те или иные невероятные предположения, потому что они их отвергают. Однако надёжно отвергнуть некое предположение можно, только тщательно его рассмотрев, а для этого его необходимо хотя бы на некоторое время принять всерьёз.
4.32. Невычислимость.
Целый ряд принципиально важных для нас процессов настолько сложны, что предсказать их невозможно, поскольку они, так сказать, невычислимы. Невычислимость может иметь разные причины.
• Она может быть связана с непостижимостью процесса (например, Технологическая Сингулярность, или, например, то, как теорема Ферма непостижима для собаки), то есть связана с принципиальной качественной ограниченностью человеческого мозга. (Такова наша ситуация с предвидением поведения Суперинтеллекта в виде ИИ.)
• Она может быть связана с квантовыми процессами, которые делают возможным только вероятностное предсказание, то есть недетерминированностью систем (прогноз погоды, мозга).
• Она может быть связана со сверхсложностью систем, в силу которой каждый новый фактор полностью меняет наше представление об окончательном исходе. К таковым относятся: модели глобального потепления, ядерной зимы, глобальной экономики, модели исчерпания ресурсов. Четыре последние области знаний объединяются тем, что каждая описывает уникальное событие, которое ещё никогда не было в истории, то есть является опережающей моделью.
• Невычислимость может быть связана с тем, что подразумеваемый объём вычислений хотя и конечен, но настолько велик, что ни один мыслимый компьютер не сможет его выполнить за время существования вселенной (такая невычислимость используется в криптографии). Такая невычислимость может проявляться в виде хаотической детерминированной системой.
• Невычислимость связана также с тем, что хотя мы можем обладать правильной теорией, мы не можем знать, какая именно теория правильна. То есть теория помимо правильности должна быть легко доказуемой для всех, а это не одно тоже, в условиях, когда экспериментальная проверка невозможна. В некотором смысле способом вычисления правильности теории, а точнее – меры веры в них, является рынок, где или делаются прямые ставки на некий исход, или на цену некого товара, связанного с прогнозом, например, цены на нефть. Однако на рыночную цену теория влияет много других факторов: спекуляции, эмоции или нерыночная природа самого объекта. (Бессмысленно страховаться от глобальной катастрофы, так как некому и не перед кем будет за неё расплачиваться, и в силу этого можно сказать, что её страховая цена равна нулю.)
• Ещё один вид невычислимости связан с возможностью самосбывающихся или самоотрицающих прогнозов, которые делают систему принципиально нестабильной и непредсказуемой. Я (следуя логике с Дж.Сороса) полагаю, что любой прогноз о поведении некого рыночного индекса, если из этого прогноза можно извлечь прибыль, не работает, поскольку все участники игры не могут получить прибыль в игре с нулевой суммой. В силу этого данный прогноз может знать только меньшинство участников, а, следовательно, скорее всего, я не принадлежу к этому меньшинству. Следовательно, моё предположение о будущем поведении системы скорее ложно, чем истинно. Возражения здесь могут быть следующие: рынок – не игра с нулевой суммой (но он становится ей, если я хочу получить доход больший, чем минимально возможный – то есть полагающийся по базовой процентной ставке или по норме прибыли). Или если участники рынка не равны, и имеет место инсайдерская торговля (но в этом случае надо учитывать риск попасть в тюрьму за нарушение законов, который весьма перевешивает повышенную прибыльность инвестиций.) Поскольку в современном обществе действуют механизмы превращения любых параметров в рыночные индексы (например, торговля квотами по Киотскому протоколу на выбросы углекислого газа или ставки на выборы, войну и т. д, фьючерсы на погоду), то это вносит дополнительный элемент принципиальной непредсказуемости во все виды деятельности. В силу такой торговли мы не можем узнать наверняка, будет ли глобальное потепление, исчерпание нефти, какова реальная угроза птичьего гриппа.
• Ещё одна причина невычислимости – секретность. Как есть поговорка, что «есть ложь, наглая ложь, статистика и статистика о нефтяных запасах». Если мы пытаемся учесть эту секретность через разные «теории заговора» в духе книги «Сумерки в пустыне» о преувеличении запасов Саудовской нефти, то мы получаем расходящееся пространство интерпретаций. (То есть, в отличие от обычного случая, когда точность повышается с числом измерений, здесь каждый новый факт только увеличивает раскол между противоположными интерпретациями.) Ни один человек на Земле не обладает всей полнотой секретной информации, поскольку у разных организаций разные скереты.
Психологической стороной этой проблемы является то, что люди рассуждают так, как если бы никакой невычислимости не было. То есть можно обнаружить сколько угодно мнений и рассуждений о будущем, в которых его принципиальная и многосторонняя непредсказуемость вовсе не учитывается, равно как и ограниченность человеческой способности достоверно о нём рассуждать.
4.33. Наблюдательная селекция.
Наблюдательная селекция происходит во всех случаях, когда в результате некого процесса число его наблюдателей может меняться, а глобальные катастрофы, очевидно, относятся к такому классу процессов.
5. СПЕЦИФИЧЕСКИЕ ОШИБКИ, ВОЗНИКАЮЩИЕ В ДИСКУССИЯХ ОБ ОПАСНОСТИ НЕКОНТРОЛИРУЕМОГО РАЗВИТИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА.
5.1. Разброс мнений по вопросу о безопасности ИИ означает отсутствие реальных доказательств безопасности.
Специалисты по компьюте:рам высказывают много разных мнений о причинах того, почему, по их мнению, ИИ безопасен. Эти высказывания взаимоисключают друг друга, и, значит, значительная их часть ложна. Поэтому мы смело можем привести их как примеры ошибок, не вдаваясь в доказательства ложности каждого отдельного высказывания. Я провёл опрос среди разработчиков ИИ, какие риски они видят в нём, и получил следующий разброс мнений, с примерно одинаковым числом людей, высказавшимся в отношении каждого мнения. Итак, «ИИ является безопасным, потому что»:
1) Потому что ИИ невозможен.
2) Потому что ИИ может решать только узкие задачи, вроде распознания образов.
3) Потому что, когда мы сделаем универсальный ИИ, мы введём в него Три закона роботехники Азимова.
4) Потому что я знаю, как использовать ИИ во благо людям.
5) Потому что ИИ будет обладать сверхчеловеческой мудростью по определению и не захочет причинять вреда людям.
6) Потому что ИИ ничего не нужно от людей, и мы можем мирно сосуществовать друг с другом.
7) Потому что он будет заперт в моём компьютере, и если что-то пойдёт не так, я выключу электричество.
8) Потому что у ИИ не может быть своей воли.
9) ИИ невозможен без свободы воли, поэтому мы должны предоставить ему свободу.
10) Потому что ИИ не может сделать ничего плохого.
11) ИИ может быть опасен, но, скорее всего, всё обойдётся.
12) Нет, ИИ опасен, и мы все обречены.
13) ИИ уничтожит человечество, и именно к этому мы должны стремиться, так как ИИ – это более прогрессивная форма эволюции.
В ходе опороса оказалось, что эти мнения распределены более-менее равномерно. Это значит, что сумма информации по вопросу о безопасности ИИ, которой обладают люди в целом, равна нулю.
5.2 Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код.
Сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется.
5.3. Критика ИИ Пенроузом.
Р.Пенроуз в книге «Новый ум короля» утверждает, что ИИ невозможен, потому что в мозгу происходят невычислимые процессы, которые необходимы для творческого мышления и сознания. На основании этого часто утверждается, что опасный ИИ невозможен. Мне представляется, что данный вывод не вполне корректен по следующим причинам.
1. Квантовая природа сознания - это далеко не мэйнстрим науки.
2. Невозможно доказать невозможность чего-либо в природе теоретически. (Но возможность доказать можно - например, Нейман доказал возможность самоокопирующихся механизмов.)
3. Для того, чтобы ИИ стал опасен, ему не нужно обладать ни сознанием, ни способностью к творчеству. Современный ИИ может обыграть любого человека в шахматы, не используя ни сознания, ни интуиции. То есть интуиция - это только полезная характеристика, сокращающая скорость перебора комбинаций, но заменяемая алгоритмами. При этом нам достаточно сказать, что опасный ИИ - это ИИ, который может обыграть человека в любой игре. Война и зарабатывание денег - это разновидности таких игр.
4. Если некие особые полезные функции выполняются нейронами или микротрубочками, то ничто не мешает использовать их как элементы будущего мощного ИИ - в виде внешнего сопроцессора, скажем. Квантовые компьютеры находятся на пути к этому. В конце концов, этот ИИ может возникнуть не как компьютер, а как генетически модифицированный человек с нейрошунтом (то есть подключённый напрямую к компьютеру).
5. Любую практическую задачу можно решить перебором, то есть за конечное число операций. Важно подчеркнуть слово «практический». Математически можно, вероятно, описать бесконечно сложные задачи. Однако человек не способен их представить, и, кроме того, именно решение практических задач создаёт угрозы безопасности. Например, это может быть перебор всех возможных комбинаций знаков, порождающих текст доказательства теоремы. Иначе говоря, есть алгоритм, позволяющий решить любую задачу. И вопрос только в его оптимизации.
5.4. Представление о том, что 3-х законов робототехники А.Азимова достаточно, чтобы решить все проблемы с безопасностью ИИ.
Уже неоднократно показывалось в разных исследованиях, что законы робототехники не являются гарантией безопасности ИИ в сколько ни будь значительной мере.
1. Эти законы являются тавтологией, так как из них следует, что ИИ будет безопасен, потому что он не будет причинять вреда.
2. Они содержат в себе противоречие, которое мастерски обыгрывается самим Азимовым в его рассказах – робот часто испытывает конфликт между 1,2 и 3 законами и в результате ведёт себя опасным образом.
3. Эти законы относятся к автономным роботам, а не к ИИ, который не привязан к одному механизму.
4. Они опираются на интуитивное понятие «вреда», которое не определяется ими и поэтому может принимать произвольную форму. Например: жить вредно, потому что от этого умирают.
5. Эти законы являются скорее пожеланиями – то есть тем, что мы хотим от ИИ, а не правилами, которыми он мог бы руководствоваться. Неизвестно, как именно засунуть эти законы в ИИ.
5.5. Прогресс в области программного обеспечения отсутствует.
Неверно – алгоритмы разложения чисел на множители улучшаются быстрее, чем аппаратное обеспечение. Есть прогресс и в других областях, но он менее измерим. В конце концов, прогресс аппаратуры – это тоже прогресс нашего понимания того, как сделать микросхемы меньше.
5.6. Никто в мире не занимается такой ерундой как ИИ.
Неверно – известно несколько фирм и людей, которые активно работают над созданием универсального ИИ – Numenta, Novamenta, SIAI.
5.7. ИИ – это разные приложения, вроде распознания образов.
Подмена тезисов. Под ИИ имеется в виду именно Искусственный Интеллект. От того, что кто-то продаёт свои разработки под брендом ИИ, хотя они на самом деле им не являются, не следует, что ИИ невозможен. В англоязычной литературе распространён термин – GAI – General AI – Универсальный искусственный интеллект, который предназначен для устранения этой двусмысленности.
5.8. Антропоморфизм.
Бессознательно мы очеловечиваем ИИ множеством разных способов, и это формирует наши ожидания.
5.9. Достаточно отключить ИИ от питания, чтобы его остановить.
Базируется на предположении, что программист ИИ будет знать, когда процесс пошёл неправильно – очевидно, неверном. Второе предположение – о локальности ИИ. Третье - о том, что ему не придёт в голову защитить своё питание. Четвёртое – что программист не может быть в сговоре с ИИ.
5.10. Даже распространившись по Интернету, ИИ никак не сможет воздействовать на внешний мир.
Неверно – в Интернете можно зарабатывать деньги и заказывать любые действия во внешнем мире. Кроме того, возможен договор с людьми, шантаж и прямое управление механизмами.
5.11. У ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред.
Чтобы ИИ заработал, перед ним поставят некие задачи. В процессе выполнения их он может реализовывать те или иные подцели. Эти подцели могут быть очень опасны, если на них несформулировано правильных ограничений.
5.12. ИИ будет осваивать космос, оставив Землю человеку.
Это хорошее пожелание, но в нём уже есть горечь капитуляции. Нет никаких оснований думать, что ИИ обязан это на самом деле это делать.
5.13. Любой ИИ является интеллектом, поэтому он обладает целью Y (подставить нужное), и это благо.
Интеллект – это инструмент, который может иметь произвольную цель. Люди пользуются мощнейшим интеллектом, чтобы достигать примитивных целей, которые свойственны альфа-самцу обезьяньего стада – топить конкурентов, добиваться расположения самок, доставать пропитание – и ради этого они пишут стихи, доказывают теоремы, плетут заговоры.
5.14. Современные компьютеры очень ограничены, поэтому ИИ будет только в отдалённом будущем – через десятки лет.
Поскольку мы не знаем, что такое ИИ, мы не знаем, что именно должно быть изобретено, чтобы его создать, а потому не можем высказывать точные временные прогнозы.
5.15. Прогресс в понимании работы ума идёт очень медленно. Поэтому ИИ будет работать очень медленно.
Юдковски опровергает это примером разницы между временем разработки ядерного оружия и скоростью процессов в бомбе.
5.16. Человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому ИИ не представляет никакой угрозы.
«X» может быть в разных интерпретациях творческое озарение, интуиция, быстрое распознание образом, переживание чувств, осознание, любовь. Однако:
1. Мы не знаем, чего может или не может ИИ, пока не сделаем его.
2. ИИ может быть опасен, даже если он не может Х. Например, он может выигрывать у нас в шахматы, на бирже, или в любую другую жизненно важную для нас игру.
3. Если есть некая задача, которую может решать только человек, ИИ может нанять или подчинить себе людей для её решения – так современное государство нанимает учёных, и даёт каждому фрагмент задачи по разработке, скажем, атомной бомбы.
5.17. ИИ невозможен, потому что он мыслит алгоритмически, а человек неалгоритмически.
Требование алгоритмичности при создании ИИ не является необходимым. Генетические алгоритмы, квантовые компьютеры, вживление нейронов в чипы и рандомизированные методы делают требование алгоритмичности условным. Вопрос о том, как именно мыслит человек, пока не открыт. Недавно достигли того, что компьютер стал играть лучше человека в покер (техасский халдом - а ведь именно покер считается той игрой, в которой особенно важна интуиция) и лучше человека играть на бирже (на моделях). Это означает, что реальные люди будут терять деньги, сталкиваясь с компьютерами на бирже или на он-лайн турнирах. Я думаю, что для них вопрос о том, обладает ли компьютер сознанием или является калькулятором не так важен, как то, сколько они потеряли. Если компьютер научится распознавать образы внешнего мира, то он сможет также эффективно побеждать в спорах, преследовать вас в лесу, стрелять по целям, делать чертежи.
Человеку приятно думать, что он лучше компьютера, потому что у него есть интуиция. Однако раз так, то надо относиться с подозрением к этой идее, так как она может быть обусловлена эмоциями. Мы не можем строить свою систему безопасности на утверждении, которое нам приятно. А вдруг мы недооцениваем силу алгоритмов? Вдруг есть такой алгоритм, который работает мощнее нашей интуиции?
5.18. ИИ будет примерно такой же умный, как и человек.
Множество человеческих умов, скорее всего, является только малой частью множества возможных умов. Поэтому маловероятно, что, достигнув человеческого уровня, ИИ на нём остановится.
5.19. ИИ будет равноправным сотрудником человека с теми же возможностями и правами.
Здесь путают ИИ и отдельного робота. В случае если его возможности будут бесконечно превосходить человеческие, то «равноправие» их будет сильно в ущерб людям. Поскольку в любом равном соревновании он будет обыгрывать людей. Кроме того, у него могут быть свои представления о равноправии.
5.20. Представление, что ИИ будет много.
Когда мы говорим «вирус распространяется в Интернете», мы имеем в виду один вирус, хотя у него много копий. Когда мы говорим об Интернете, мы имеем в виду один Интернет. Когда мы говорим о государстве (внутри него) мы тоже имеем в виду одно государство. Так же и ИИ будет один, хотя у него будет множество копий и проявлений.
Даже если будет несколько сортов ИИ, то среди них только один будет главным.
5.21. Различия в понимании того, что, собственно, является интеллектом.
Вероятно, дать правильное определение интеллекта – это уже почти создать искусственный интеллект. С точки зрения безопасности такое определение дать проще: ИИ – это машина, способная побеждать человека в любом виде деятельности (или даже меньше: хотя бы в одном виде деятельности, который жизненно важен для человека, при этом мы имеем в виду под деятельностью управлением процессами – то есть информационную деятельность). То есть мы определяем ИИ через его способность решать практически измеримые задачи. Мы оставляем в стороне вопрос о сознании, свободе воли, творчестве. Это определение в принципе тождественно предлагаемому Юдковски определению ИИ как «мощного процесса оптимизации».
5.22. Однозначное отождествление ИИ как отдельного объекта.
ИИ определяется тем, что он делает (эффективно осуществляет процесс оптимизации), однако представление о том, что есть сущность, порождающая эти действия, может вести нас к заблуждениям. Например, процесс эволюции в дарвиновском смысле порождает всё более эффективные решения. Однако у этого процесса нет никакого центра, который ставит цели или который можно уничтожить.
5.23. Достаточно спрятать ИИ в чёрный ящик, что он был безопасен.
Неверно – если мы поместили ИИ в чёрный ящик, а затем получили результаты его работы, то значит, произошёл двухсторонний обмен информацией и чёрный ящик не является таковым. Если мы не получаем никакой информации из чёрного ящика, это равносильно тому, что вообще его не включать. Трудность здесь ещё в том, чтобы знать, что ИИ уже возник, чтобы понять, что нам пора помещать его в чёрный ящик.
5.24. В Японии уже был проект по созданию ИИ в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен.
Неверно. В 1880-е годы было несколько проектов по созданию самолёта, и они потерпели неудачу. После этого распространилось мнение, что самолёт невозможен.
5.25. ИИ надо дать команду Z (подставить нужное), и всё будет в порядке.
«Z» может быть «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Дело в том, что мы не можем проверить, как именно ИИ реализует любую команду, пока не запустим его. А когда запустим, будет поздно.
5.26. «Когда я достигну эффективности в реализации ИИ, я подумаю о его безопасности».
Неверно. Проверить эффективность ИИ можно, только запустив его на сложной задаче, связанной с реальным миром. Если с ним что-то не так, то о безопасности думать будет поздно.
5.27. «Маловероятно, что наш проект по ИИ выйдет из-под контроля».
В мире много ИИ-проектов и мало знаний о том, как измерять вероятность неконтролируемого распространения ИИ.
5.28. Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы.
Среди сторонников мощного ИИ встречается мнение, что некоторые будущие проблемы не надо решать, потому что, когда появится мощный ИИ, он найдёт лучшее и более точное решение этих проблем. Однако перед запуском мощного ИИ в реальном мире нам надо задать ему некоторый круг задач, а чтобы правильно сформулировать, чего мы хотим и чего не хотим, надо хорошо об этом подумать.
5.29. Нетождественность способностей и намерений.
См. когнитивное искажение в духе «гигантской ватрушки» в статье Юдковски в этой книги. Суть её в том, что если ИИ может что-то делать, это не значит, что он будет это делать. То есть мы не должны отождествлять мотивы и способности.
6. СПЕЦИФИЧЕСКИЕ ОШИБКИ, СВЯЗАННЫЕ РАССУЖДЕНИЯМИ О РИСКАХ НАНОТЕХНОЛОГИЙ.
6.1. Нанотехнологии невозможны, так как невозможно создать механизмы с точностью до одного атома.
Это не так, поскольку существуют белки, которые являются самыми разными механизмами, и в них важно и определено местоположением каждого атома.
6.2. Нанофабрики безопаснее наноассемблеров.
С помощью одного можно сделать другое и наоборот, то есть эти устройства изоморфны.
6.3. Нанотехнологии настолько далеки от нас во времени, что о них можно не думать.

От нанотехнологий нас отделяет только недостающее знание. Если бы мы его имели, мы могли бы собрать такую цепочку ДНК, которая позволила бы произвести наноассемблер.
6.4. «Нанотехнологии придумали только для отмывания денег»
Поскольку такое объяснение можно применить к чему угодно, то оно ничего не объясняет. Даже если кто-то отмывает деньги с помощью нанотехнологий, это не значит, что нанороботы невозможны. Крах дот-комов не означает, что нельзя зарабатывать деньги в Интернете.
6.5. Нанотехнологии связаны только с мелкодисперсными материалами.
Далеко не все так думают, и ведутся разработки в области нанороботов. Промежуточным объектом между нанороботами и материалами является литография чипов, которая позволяет вытравливать любые механизмы из кремния, в том числе и с подвижными частями (микромаятники для гироскопов). Основной прогресс закона Мура идёт именно за счёт развития своего рода нанотехнологий всё более прецизионной печати полупроводников.
6.6. Нанороботы будут слабее бактерий, потому что у бактерий были миллиарды лет, чтобы приспособиться к окружающей среде.
Это так же верно как утверждение, что «Самолёты будут безопаснее птиц, потому что птицы развивались в течение миллионов лет».
6.7. Если бы нанороботы были возможны, их бы уже создала природа.
Природа не создала колеса, но оно возможно и эффективно.
6.8. Нанороботы не смогут размножаться в природной среде.
Если бактерии могут, то почему нанороботы не могут – ведь они могут использовать все приёмы, доступные бактериям.
6.9 Нанороботов в природной среде будет легко уничтожить взрывом бомбы.
Для этого нужно точно знать, где они находятся. Если они уже проникли в город, то взрывать их будет невозможно. Ведь не борются с заразными болезнями с помощью бомб.
6.10. Нанороботы будут состоять только из нескольких атомов, что невозможно или малофункционально.
Название «наноботы» условно и не означает, что длина нанобота будет равна нескольким нанометрам. Он может быть длиной в 1 микрометр и более, и при этом способен к саморазмножению и выполнению множества функций. И при этом невидим. В этом случае он будет содержать миллиарды и даже триллионы атомов.
6.11. Нанороботы будут глупы и неэффективны, так как в них нельзя разместить компьютер.
Внутри любой клетки находится ДНК на 500 мегабайт объёма, с которой совершается до миллиона операций в секунду. Этого достаточно для создания довольно сильного компьютера. Но наноботы смогут объединяться в локальные сети, усиливая свою производительность многократно.

Далее обширная цитата из Э.Дрекслера, основоположника идеи нанороботов:
«
6.22. Не сделает ли принцип неопределённости квантовой физики молекулярные машины неосуществимыми?
Кроме всего прочего этот принцип говорит о том, что невозможно определить точное местоположение частицы в течение любого отрезка времени. Это ограничивает то, что могут делать молекулярные машины, равно как и ограничивает то, что может делать что угодно еще. Тем не менее, вычисления показывают, что принцип неопределённости накладывает мало существенных ограничений на то, насколько хорошо атомы можно размещать на свои места, по крайней мере, для тех целей, которые обрисовываются здесь. Принцип неопределённости делает местоположение электронов довольно расплывчатым, и в действительности эта расплывчатость определяет сам размер и структуру атомов. Атом как целое, однако, имеет сравнительно определённое местоположение, установленное своему относительно массивному ядру. Если бы атомы не сохраняли своё положение сравнительно хорошо, молекулы бы не существовали. Квантовой механики не требуется, чтобы доказать эти заключения, поскольку молекулярные машины в клетке демонстрируют то, что молекулярные машины работают.
6.23. Не сделают ли тепловые вибрации молекул молекулярные машины неработоспособными или слишком ненадёжными, чтобы их использовать?
Тепловые колебания причинят большие проблемы, чем принцип неуверенности, однако здесь снова существующие молекулярные машины непосредственно демонстрируют, что молекулярные машины могут работать при обычных температурах. Несмотря на тепловые колебания, механизмы копирования ДНК в некоторых клетках делают меньше чем одну ошибку на 100 000 000 000 операций. Чтобы достичь такой точности, однако, клетки используют машины (такие как фермент ДНК-полимераза I), которые проверяют копию и исправляют ошибки. Для ассемблеров вполне может быть необходимы аналогичные способности проверки и исправления ошибок, если они предназначены выдавать надёжные результаты.
6.24. Не будет ли радиация разрушать молекулярные машины или делать их непригодными для использования?
Радиация высокой энергии может нарушать химические связи и разрушать молекулярные машины. Живые клетки еще раз показывают, что решения существуют: они работают в течение лет, восстанавливая и заменяя поврежденные радиацией части. Однако поскольку каждая отдельная машина такая крошечная, она представляет собой маленькую цель для радиации, и радиация редко в неё попадает. Всё же, если система наномашин должна быть надёжна, то она должна выдерживать определённое количество повреждений, а повреждённые части должны регулярно чиниться или заменяться. Этот подход к надёжности хорошо знаком разработчикам самолётов и космических кораблей.
6.25. Эволюция не сумела произвести ассемблеры, не говорит ли это о том, что они являются либо невозможными, либо бесполезными?
Отвечая на предыдущие вопросы, мы отчасти ссылались на уже работающие молекулярные машины клеток. Они представляют собой простое и мощное доказательство того, что законы природы позволяют маленьким группам атомов вести себя как управляемые машины, способные строить другие наномашины. Однако вопреки тому, что они в основе напоминают рибосомы, ассемблеры будут отличаться от всего, что находится в клетках; хотя они состоят в обычных движениях молекул и реакциях, то, что они делают, будет иметь новые результаты. Например, ни одна клетка не производит алмазного волокна…
6.26. Доказательства реализуемости ассемблеров и других наномашин могут казаться обоснованным, но почему бы просто не подождать и не посмотреть, действительно ли они могут быть разработаны?
Чистое любопытство кажется достаточной причиной, чтобы исследовать возможности, открытые нанотехнологией, но есть более сильные причины. Эти достижения охватят мир в пределах от десяти до пятидесяти лет, то есть в пределах сроков жизни наших собственных или членов наших семей. Что более существенно, заключения следующей главы подсказывают, что политика "подождём-посмотрим" была бы слишком дорогой: она бы стоила миллионы жизней, и, возможно, жизни на Земле.
»
Конец цитаты из Дрекслера – нумерация вопросом добавлена мной – А.Т.
6.27. Наша склонность ожидать грандиозных результатов от грандиозных причин.
Дрекслер иллюстрирует это заблуждение следующими контрпримерами:
«СКУЧНЫЙ ФАКТ: некоторые электрические переключатели могут включать и выключать друг друга. Эти переключатели можно сделать очень маленькими и потребляющими мало электричества. ГРАНДИОЗНОЕ СЛЕДСТВИЕ: если их соединить правильно, эти переключатели образуют компьютеры, машины информационной революции... СКУЧНЫЙ ФАКТ: плесень и бактерии конкурируют за пищу, поэтому некоторые плесени научились выделять яды, которые убивают бактерии. ГРАНДИОЗНОЕ СЛЕДСТВИЕ: пенициллин, победа над многими бактериальными заболеваниями, и спасение миллионов жизней»
6.28. Детали наномашин буду слипаться в силу квантовых, вандерваальсовых и прочих сил.
Белки не слипаются. Предложенный Дрекслером вариант с зубчиками и колёсами – не единственный.
6.29. Активный нанотехнологический щит, подобный иммунной системе, будет идеальной защитой от опасных нанороботов.
Ни одна иммунная система в реальности, ни в живых организмах, ни антивирусная в компьютерах, не является абсолютно надёжной. Кроме ого, существуют автоиммунные заболевания. См. подробнее в моём тексте «Структура глобальной катастрофы», глава «активные щиты».
6.30. Дрекслер – фантазёр, а настоящие нанотехнологии состоят в чём-то другом.
Приходилось встречать утверждения со стороны специалистов в области нанотехнологий, о том, что нанороботы Дрекслера – это фантазии, а настоящие нанотехнологии состоят в детальном измерении неких очень тонких параметров малоразмерных структур. Однако на самом деле эти исследования находятся на разных уровнях. Исследования Дрекслера относятся к «проектному» уровню. Точно так же, как к нему относилась идея сделать атомную бомбу в своё время. То есть это уровень леса, а не деревьев.
7. ПАЛЕОФУТУРОЛОГИЯ.

Палеофутурология занимается исследованием образов будущего, созданных в прошлом. Основное впечатление от старинных картин будущего, рассказов и даже научных прогнозов – насколько непохоже это на настоящее. (см. картинки http://paleo-future.blogspot.com/2007/09/french-prints-show-year-2000-1910.html) При этом есть ощущение однородности всех этих прошлых образов будущего – и однородности причин того, что они не стали реальными предвидениями. Иначе говоря, изучение прошлых попыток предсказать будущее даёт нам знание о некоторых систематических ошибках, которые люди совершают, пытаясь осуществить предвидение.
В картинах будущего бросаются в глаза:
1) избыток летательных средств; небоскрёбы, роботы, огромные транспортные средства.
2) «древнеримские» одежды.
3) подчёркнуто светлый образ (но иногда - подчеркнуто мрачный).
4) изменение главных деталей при сохранении мелкой атрибутики - например, в каждом доме компьютер, но это всё ещё ламповый компьютер.
5) невозможность выйти за пределы своего художественного стиля. То есть вещи будущего изображаются в дизайне 1950-х годов, хотя нарочно пытаются этого избежать.
6) безличность - изображены толпы или усреднённые персонажи, а не личности.
Причины этого, видимо, в том:
1) Что будущее перестаёт восприниматься как реальность, а начинает - как сказка, и к нему применяются приёмы построения художественного образа сказочного мира. То есть в нём позволяется нарочитая нереалистичность. Сравните: "В 2050 году люди будут ходить в прозрачных электрических тогах" и "В 2050 году я буду ходить в прозрачной электрической тоге". Вторую фразу я не напишу в здравом уме, потому что я не собираюсь ходить в прозрачной тоге.
2) Будущее заменяется атрибутами будущности - самолёты, небоскрёбы, роботы.
3) Образ нацелен на то, чтобы воздействовать на современного автору зрителя. В нём подчёркивается то, что будет наиболее интересно и в то же время понятно современнику: необычная техника. В результате мы имеем не образ будущего, а образ техники будущего. Но не учитывается взаимовлияние общества, техники, экономики и истории.
4) Далее, вещи будущего мира придумываются по отдельности, а не соединяются в систему. Поэтому изображают город с большим количеством самолётов и небоскрёбов, не думая, как одно с другим будет взаимодействовать.
5) Наконец, невозможность придумать простые, очевидны нам решения - типа пульта дистанционного управления, мыши, графического интерфейса.
6) Злоупотребление экстраполяциями явных тенденций.
7) Предсказание будущего – это всегда предсказание поведения более сложной, более интеллектуальной системы силами менее сложной и менее интеллектуальной. В этом смысле оно подобно попыткам предсказания поведения ИИ – и может служить иллюстрацией меры ошибочности в этом. (См. дискуссию в http://ivanov-petrov.livejournal.com/741441.html?view=27451969#t27451969 с картинками о палео футурологии.)

8. ВЫВОДЫ ПО АНАЛИЗУ КОГНИТИВНЫХ ИСКАЖЕНИЙ В ОЦЕНКЕ ГЛОБАЛЬНЫХ РИСКОВ.

Масштаб влияние ошибок на рассуждения о глобальных рисках можно оценить, сравнив мнения разных экспертов, учёных и политиков по вопросу о возможности окончательной глобальной катастрофы и её возможных причинах. Нетрудно убедиться, что разброс мнений огромен. Одни считают суммарный риски ничтожным, другие уверенны в неизбежности человеческого вымирания. В качестве возможных причин называется множество разных технологий и сценариев, причём у каждого будет свой набор возможных сценариев и набор невозможных сценариев.
Очевидно, что корни такого разброса мнений - в разнообразии движения мысли, которое, в отсутствии какой-либо зримой точки отсчёта, оказывается подвержено различными предубеждениями и когнитивным искажениям. Поскольку мы не можем найти точку отсчёта относительно глобальных рисков в эксперименте, представляется желательным, чтобы такой точкой отсчёта стала бы открытая дискуссия о методологии исследования глобальных рисков, на основании которой могла бы быть сформирована единая и общепризнанная картина глобальных рисков.

9. ВОЗМОЖНЫЕ ПРАВИЛА ДЛЯ ЭФФЕКТИВНОЙ ОЦЕНКИ ГЛОБАЛЬНЫХ РИСКОВ.

9.1. Принцип предосторожности.
Он означает подготовку к наихудшему раскладу во всех ситуациях неопределённости. Это соответствует принципу консервативной инженерной оценки в статье Юдковски. Однако предосторожность не должна носить иррациональный характер, то есть не должна утрировать ситуацию.
9.2. Принцип сомнения.
Он означает допускать возможность ошибочности любой своей идеи. Однако сомнение не должно привести к неустойчивости хода мысли, податливости авторитетам, отсутствию своего мнения и неуверенности в нём, если оно достаточно доказано.
9.3. Открытая дискуссия.
Важно поддержание открытой дискуссии по всем видам рисков. Это означает рассмотрение любое возражение в качестве истинного достаточное время, чтобы его оценить, перед тем, как решить его отвергнуть. То есть не отбрасывать никакие возражения сходу. Поддерживать наличие оппонентов.
9.4. Самоанализ
Непрерывный анализ собственных выводов на предмет ошибок из всего списка. Но не следует применять это к другим людям.
9.5. Независимые повторные вычисления.
9.6. Косвенная оценка степени ошибки.
Мы можем оценить степень недооценки глобальной катастрофы, изучая то, насколько люди недооценивают аналогичные риски – то есть риски уникальных катастроф. Например, космический челнок шаттл был рассчитан на одну аварию более чем на 1000 полётов, но потерпел первую аварию на 25 полёте. То есть исходная оценка 1 к 25 была бы более точной. Атомные станции строились с расчетом на одну аварию в миллион лет, но Чернобыльская авария произошла примерно после 10 000 станций-лет (это число получается из умножения числа станций к тому моменту на средний срок их эксплуатации, и требует уточнения). Итак, в первом случае реальная устойчивость оказалась в 40 раз хуже, чем проектная оценка, а во втором – в 100 раз хуже.

Литература по оценке рисков.
1. Александровский Ю.А. и др. Психогении в экстремальных условиях. Москва, Медицина, 1991.
2. Воробьё, Ю.Л, Малинецкий Г.Г., Махутов H.A. Управление риском и устойчивое развитие. Человеческое измерение. // Общественные Науки и Современность, 2000, № 6.
3. Корнилова. Т.В. Риск и мышление // Психологический журнал, 1994. №4.
4. Корнилова. Т.В. Психология риска и принятия решений (учебное пособие). - М.: Аспект Пресс, 2003.
5. Корнилова. Т.В. Мотивация и интуиция в регуляции вербальных прогнозов при принятии решений // Психологический журнал, 2006. №2 (Совместно с О.В. Степаносовой).
6. Корнилова. Т.В. Многомерность фактора субъективного риска (в вербальных ситуациях принятия решений) // Психологический журнал, 1998. №6. .
7. МакМаллин Р. Практикум по когнитивной терапии: Пер. с англ. — СПб.: Речь, 2001. — 560 с. (Гл. Логические ошибки)
8. Платонов А. В. Восприятие риска в ситуациях, требующих принятия решения. // Доклад на конференции «Lomonosov», МГУ, 1996.
9. Тофлер, Элвин. Шок будущего. - Москва, АСТ, 2002
10. Bostrom, N. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9. - 2001. (русский перевод: Ник Бостром. Угрозы cуществованию. Анализ сценариев человеческого вымирания и связанных опасностей. Пер. с англ. А.В. Турчина. http://www.proza.ru/texts/2007/04/04-210.html )
11. Bostrom N. and Tegmark M. How Unlikely is a Doomsday Catastrophe? - Nature, Vol. 438, No. 7069, p. 754, 2005 (пер. с англ. А.В.Турчина: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа судного дня? http://www.proza.ru/texts/2007/04/11-348.html )
12. Dawes, R.M. Rational Choice in an Uncertain World. - San Diego, CA: Harcourt, Brace, Jovanovich, 1988.
13. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. Insensitivity to the value of human life: A study of psychophysical numbing. - Journal of Risk and Uncertainty, 14: 238-300. 1997.
14. Kahneman, D., Slovic, P., and Tversky, A., eds. Judgment under uncertainty: Heuristics and biases. - New York: Cambridge University Press, 1982.
15. Kahneman, D. and Tversky, A. eds. Choices, Values, and Frames. - Cambridge, U.K.: Cambridge University Press, 2000.
16. Kruglanski A. W. Lay Epistemics and Human Knowledge: Cognitive and Motivational Bases. 1989
17. Posner Richard A. Catastrophe: Risk and Response. - Oxford University Press, 2004; vii + 322 pp
18. Taleb, N. The Black Swan: Why Don't We Learn that We Don't Learn? - New York: Random House, 2005
19. Yudkowsky E. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Искусственный интеллект как позитивный и негативный фактор глобального риска. Пер. с англ. А.В. Турчина http://www.proza.ru/texts/2007/03/22-285.html)
20. Yudkowsky E. Cognitive biases potentially affecting judgment of global risks. Forthcoming in Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, - UK, Oxford University Press, to appear 2007 (русский перевод: Э.Юдковский. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html )

Часть 2. Анализ Рисков.

Раздел 1. Введение.

В этой части мы очертим и проанализируем «пространство возможностей», в котором может произойти глобальная катастрофа.
«Пространство возможностей» – термин, восходящий к книге «Фантастика и футурология» Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он приводит пространство возможностей Холодной войны, которое было задано появлением определённой технологии, и внутри которого разворачивались те или иные сценарии противостояния: Карибский кризис, гонка вооружений и т. д. Описание сценариев практически бесполезно, так как, хотя каждый может быть очень интригующим, вероятность его реализации крайне мала. Чем больше в сценарии конкретных деталей, тем менее он вероятен – хотя видимость правдоподобия от этого возрастает. Вместе с тем анализ отдельных сценариев даёт нам срез пространства возможностей, и потому полезен.
Один из важнейших способов достижения безопасности - это учёт всех возможных сценариев в соответствии с их вероятностями, построение «древа отказов». Например, безопасность авиатранспорта достигается, в частности, за счёт того, что всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска – учтены. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, оно должно дать информацию, удобную для осмысления и пригодную для практического использования – и желательно, чтобы эта информация была бы адресно адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста.
Обратите внимание, что при чтении одним моменты могут показаться вам очевидными, другие интересными, а третьи – вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем.
Вся информация взята из открытых источников, доступных в Интернете.
1.1. Рассматриваемый промежуток времени: XXI век.
В этой статье анализируются риски существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница в 2100 году является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года). Однако некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века, и в этом случае мы обсуждаем их. Однако такая граница позволяет нам не рассматривать в качестве рисков существованию отдалённые космические события, вроде превращения Солнца в красного гиганта. Эта граница взята не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000.
Иначе говоря, я полагаю, что любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени содержит неустранимую ошибку, я расширяю её до 100 лет. (Разницу между 2107 г. – 100 лет от настоящего момента - и 2101 г. – конец XXI века – мы не будем принимать во внимание, кроме специально оговоренных случаев.)
Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни 23, а только несколько лет до того момента, когда глобальная достигнет своей максимальной вероятности. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна – о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в главе «тезис о достижении устойчивого состояния».) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную.
Фактически, говоря о XXI веке в целом, я, возможно, внушаю ложное чувство спокойствия, так как есть класс источников глобальных рисков, вероятность появления которых значительно возрастёт в ближайшие 10-20 лет. Речь идёт в первую очередь об опасных приложениях биотехнологий (см. дальше в соответствующей главе). Иначе говоря, глобальные катастрофы не относятся к неким абстрактным нашим потомкам. Я допускаю, что для живущего сейчас обычного человека шанс умереть от глобальной катастрофы выше, чем вероятность естественной смерти.
1.2. Проблемы численного вычисления вероятностей различных сценариев.
Начну с цитаты из рассказа «О невозможности прогнозирования» С.Лема:
«Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...» (http://lib.meta.ua/book/9670/)
Предлагаемая картина глобальных рисков и их взаимодействия друг с другом естественно вызывает желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, а также с хаотическим характером всей системы. С другой стороны, отсутствие каких-либо оценок нивелирует ценность построений. При этом получение неких численных оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим. Допустим, мы выясним, что вероятность возникновения опасного недружественного ИИ составляет 14 процентов в ближайшие 10 лет. Как нам применить эту информацию? Или, если всё-таки случится катастрофа, имевшая исходную вероятность в 0,1 процента, мы всё равно этого никак не проверим.
Я исхожу из того, что оценки вероятности нужны для последующего принятия решений – о том, каким проблемам стоит уделить внимание и ресурсы, а каким можно пренебречь. Однако цена предотвращения разных классов проблем различна – одни предотвратить относительно легко, а другие фактически невозможно. Поэтому для вычисления вероятностей мы будем пользоваться байесовой логикой и теорией принятия решения в условиях неопределённости. Получившиеся в результате числа будут не реальными вероятностями (в смысле статистическими распределениями разных глобальных рисков по множеству возможных будущих планеты), которые нам неизвестны, а нашими наилучшими субъективными оценками этих вероятностей.
Далее, такое вычисление должно учитывать временную последовательность разных рисков. Например, если риск А имеет вероятность в 50 процентов в первой половине XXI века, а риск Б – 50 процентов во второй половине XXI века, то реальные наши шансы погибнуть от риска Б – только 25 процентов, потому что в половине случаев мы до него не доживём.
Наконец, для разных рисков мы хотим получить погодовую плотность вероятности. Напомню, что здесь должна быть применена формула непрерывного нарастания процентов, как в случае радиоактивного распада. (Например, погодовой риск в 0,7 процента даст 50 процентов вымирания за 100 лет, 75 за 200 и 99,9 за 1000 лет.) Это означает, что любой риск, заданный на неком промежутке времени, можно нормировать на «период полураспада», то есть время, на котором он бы означал 50 процентную вероятность вымирания цивилизации.
Иначе говоря, вероятность вымирания за период времени [ 0; T ] равна:
P(T)= 1- 2**(-T/T0),
Где Т0 – время полураспада. Тогда погодовая вероятность будет P(1)=1 - 2**(-1/T0),

Следующая таблица показывает соотношение этих параметров.

Период, за который глобальная катастрофа случится с вероятностью в 50%: Вероятность этого события в ближайший год, % Вероятность вымирания за 100 лет (то есть к 2107г). Примерно равна шансам вымирания в XXI веке, % Соответствующие шансы выживания за 100 лет: Период гарантированного вымирания с вероятностью
99,9%, лет:
10 000 0.0069% 0,7% 99,3% 100 000
1 600 0.0433% 6% 94% 16 000
400 0.173%
12,5% 87,5% 4 000
200 0.346% 25% 75% 2 000
100 0.691% 50% 50% 1 000
50 1,375% 75% 1 к 4 500
25 2,735% 93,75% 1 к16 250
12,5 5,394% 99,6% 1 к 256 125
6 10,910% 99,9984% 1 к 16 536 60

Обратите внимание на низ этой таблицы, где даже очень большое снижение шансов выживания за весь XXI век не изменяет в значительной мере «период полураспада», который остаётся на уровне порядка 10 лет. Это означает, что даже если шансы пережить XXI век очень малы, всё равно у нас почти точно есть ещё несколько лет до «конца света». С другой стороны, если мы хотим пережить XXI век наверняка, нам надо приблизить погодовую вероятность вымирания практически к нулю.
В введении мы рассмотрели список из примерно 150 возможных логических ошибок, которые так или иначе могут изменить оценку рисков. Даже если вклад каждой ошибки составляет не более одного процента, результат может быть ошибочен в разы и даже порядки. Когда люди предпринимают что-то впервые, они обычно недооценивают рискованность проекта в 40-100 раз, что видно на примере Чернобыля и Челленджера. Е. Юдковски в своей основополагающей статье «Систематические ошибки в рассуждения, влияющие на оценку глобальных рисков» приводит анализ достоверности высказываний экспертов о разнообразных величинах, которые они не могут вычислить точно, и о том, какие интервалы 50 процентной уверенности они дают для этих величин. Результаты этих экспериментов удручают (позволю себе большую цитату):
«Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество «Врачей и хирургов» в жёлтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, что вы уверенны на 99%, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99% уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98% уверенности (confidence interval). Если вы хорошо откалиброваны (well-calibrated) , то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.
Alpert и Raiffa (1982) задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведённым выше. Оказалось, что 426 подлинных значений лежали за пределами 98% интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно настроены, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42.6%.
Другая группа из 35 испытуемых была попрошена оценить 99.9% верхние и нижние границы уверенности. Они оказались неправы в 40% случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвёртая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.
Во втором эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки – и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но всё ещё весьма далеко от хорошо откалиброванного результата в 2%.
Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50% уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Christensen-Szalanski и Bushyhead (1981) опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88%, доля пациентов, действительно имевших пневмонию, была менее 20%.
Lichtenstein (1982) производит обзор 14 исследований на основании 34 экспериментов выполненных 23 исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из них следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться в почти каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.
Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Buehler (1994) попросил студентов-психологов предсказать важный параметр – время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если всё пойдёт «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.
Buehler (1995) опросил студентов о времени, к которому студенты на 50% уверены, на 75% уверены и на 99% уверены, что они закончат свои академические проекты. Только 13% участников закончили свои дипломы к моменту, которому приписывали 50% вероятность, только 19% закончили к моменту 75% оценки и 45% закончили к 99% уровню. Buehler et. al. (2002) пишет «результаты выхода на уровень 99% достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, всё равно уверенность студентов в их временных оценках намного превосходила их реальные результаты»».Конец цитаты.
Итак, есть серьёзные основания считать, что мы должны крайне расширить границы уверенности в отношении вероятностей глобальных рисков, чтобы искомая величина попала внутрь заданного интервала.
Обозначим величиной N степень расширения интервала уверенности для некой величины A следующим образом: (A/N; A*N). Например, если мы оценивали нечто в 10%, и N=3, то интервал будет (3%; 30%).
Каково должно быть N для глобальных рисков, пока сказать трудно, но мне кажется разумным выбрать N=10. В этом случае, мы с одной стороны, получаем очень широкие интервалы уверенности, в которые искомая величина, скорее всего, попадёт, а с другой стороны, эти интервалы будут различны для различных величин.
Другой способ определения N – изучить среднюю ошибку, даваемую экспертами в их оценках и ввести такую поправку, которая бы покрывала обычную ошибочность мнений. То, что в проектах ядерного реактора и космического челнока реальное значение N было между 40 и 100, говорит о том, что, возможно, мы слишком оптимистичны, когда принимаем его равным 10. Вопрос этот нуждается в дальнейшем изучении. Это обобщение не снижает ценности таких вычислений, поскольку разница между некоторыми рисками может оказаться в несколько порядков. А для принятия решения о важности противостоянии той или иной опасности нам нужно знать порядок величины риска, а не риск с точностью до второй цифры после запятой, как это можно и нужно в страховании и финансовых рисках.
Итак, мы предполагаем, что вероятность глобальных катастроф можно оценить в лучшем случае с точностью до порядка, причём точность такой оценки будет плюс-минус порядок, и что такого уровня оценки достаточно, чтобы определить необходимость дальнейшего внимательного исследования и мониторинга той или иной проблемы. (Очевидно, что по мере того, как проблема будет приближаться к нам по времени и конкретизироваться, мы сможем получить более точные оценки в некоторых конкретных случаях, особенно в легко формализуемых задачах типа пролёта астероидов и последствий ядерной войны). Похожими примерами шкал риска являются Туринская и Палермская шкалы риска астероидов.
В силу сказанного кажется естественным предложить следующую вероятностную классификацию глобальных рисков в XXI веке (рассматривается вероятность на протяжении всего XXI века при условии, что никакие другие риски на неё не влияют):
1) Неизбежные события. Оценка их вероятности - порядка 100 процентов в течение всего века. Будем обозначать такие события как события порядка Е2. Интервал: (10%; 100%) (Иначе говоря, даже то, что нам кажется неизбежным, может быть просто весьма вероятным.)
2) Весьма вероятные события – оценка вероятности порядка 10 процентов. Порядок Е1. (1%; 100%)
3) Вероятные события – оценка порядка 1 процента. Порядок Е0. (0,1%; 10%)
4) Маловероятные события – оценка 0,1 процента. Порядок Е-1. (0,01%; 1%)
5) События с ничтожной вероятностью – оценка 0,01 процента и меньше. Порядок Е-2. (0%; 0,1%)
Пунктами 4) и 5) мы могли бы пренебречь в нашем анализе, поскольку их суммарный вклад меньше, чем уровень ошибок в оценке первых трёх. Однако на самом деле ими пренебрегать не стоит, так как возможна значительная ошибка в оценке рисков. Далее, важно количество событий с малой вероятностью. Например, если возможно несколько десятков разных сценариев с вероятностью Е0, то всё это множество имеет твёрдый Е1. К категории Е2 относится только тот факт, что в течение XXI века мир существенно изменится.
Должна ли сумма вероятностей отдельных глобальных рисков не превышать 100%? Предположим, что мы отправляем в поездку неисправный автомобиль. Вероятность того, что он потерпит аварию из-за того, что у него проколота шина, равна 90%. Однако, предположим, что у него, помимо этого, неисправны тормоза, и если бы шины были исправны, то вероятность аварии от неисправности тормозов тоже бы составляла 90%. Из этого примера видно, что вероятность каждого глобального риска, вычисляемая в предположении (очевидно, ложном), что нет других глобальных рисков, действующих в тоже самое время, не может просто складываться с вероятностями других глобальных рисков.
В нашем примере шансы машины доехать до конца пути равны 1%, а шансы, что причиной аварии стал каждый из двух рисков – 49,5%. Предположим, однако, что первые полпути дорога такова, что авария может произойти только из-за неисправных шин, а вторую – только из-за неисправных тормозов. В этом случае до конца доедет тоже только 1% машин, но распределение вкладов каждого риска будет иным: 90% машин разобьётся на первом участке дороги из-за шин, и только 9% на втором из-за неисправных тормозов. Этот пример показывает, что вопрос о вероятности того или иного вида глобальной катастрофы некорректен, пока не указаны точные условия.
В наших рассуждениях мы будем широко пользоваться Принципом предосторожности, то есть мы будем предполагать, что события могут сложиться наихудшим реалистичным образом. При этом под реалистичными мы будем считать следующие сценарии: а) не противоречащие законам физики б) возможные при условии, что наука и техника будут развиваться с теми же парамтрами ускорения, что и в настоящий момент. Принцип предосторожности соответствует указанной Юдковски и проверенной на многих экспериментах закономерности, что результат, который люди получают относительно будущего, обычно оказывается хуже их самых худших ожиданий. При расширении вероятностных промежутков нам следует уделять внимание в первую очередь расширению в худшую сторону – то есть в сторону увеличения вероятности и уменьшения оставшегося времени. Однако если некий фактор, например создание защитной системы, может нам помочь, то оценки времени его появления следует увеличивать. Иначе говоря, консервативной оценкой времени появления домашних конструкторов биовирусов будет 5 лет, а времени появления лекарства от рака – 100. Хотя, скорее всего, то и другое появится через пару десятков лет.
Высказанные соображения пригодятся нам при дальнейшем исследовании и классификации катастроф.
1.3. Численные оценки вероятности глобальной катастрофы, даваемые различными авторами.
В экономике распространён метод предсказания, основанный на опросе экспертов и составлении среднеарифметического по результатам. Далее я привожу известные мне оценки ведущих экспертов в этой области. (Эти люди упоминаются в статье английской Википедии, посвящённой человеческому вымиранию http://en.wikipedia.org/wiki/Human_extinction , что говорит об их общепризнанности как экспертов в этой области. Помимо них там упоминаются ещё несколько человек, чьи численные оценки неизвестны. Понятно, однако, что есть огромное количество экспертов и футурологов, которые вообще не думают о вопросах возможности человеческого вымирания и потому не упоминаются в этой статье.)
Лесли, 1996 «Конец света»: 30% в ближайшие 500 лет с учётом действие теоремы о Конце света (Doomsday argument – см. главу о нём в конце книги), без него – 5%.
Бостром, 2001 «Анализ сценариев вымирания»: «Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25%, и наивысшая оценка может быть значительно больше… В целом, наибольшие риски существованию на отрезке времени в два столетия или меньше кажутся связанными с активностью продвинутой технологической цивилизации».
Мартин Рис, 2003 «Наш последний час»: 50% в XXI веке. (Курцвейль приходит к аналогичным выводам.)
Может показаться, что эти данные не сильно расходятся друг с другом, так как во всех случаях фигурируют десятки процентов. Однако промежуток времени, на который даётся это предсказание, каждый раз сокращается, в результате чего погодовая плотность вероятности растёт. А именно: 1996 – 0,06% (и даже 0,012% без учёта DA), 2001 – 0,125%, 2003 – 0,5%.
Иначе говоря, за десять лет ожидаемая оценка плотности вероятности глобальных катастроф, по мнению ведущих экспертов в этой области, возросла почти в 10 раз. Разумеется, можно сказать, что 3 эксперта недостаточно для статистики, и что они могли взаимно влиять друг на друга, однако тенденция неприятная. Если бы мы имели право экстраполировать эту тенденцию, то в 10-е годы мы можем ожидать оценок погодовой вероятности вымирания в 5 процентов, а в 20-е – в 50 процентов, что означало бы неизбежность вымирания до 2030 года. Несмотря на всю свою спекулятивность, эта оценка совпадает с другими оценками, полученными далее разными независимыми способами.
С другой стороны, в годы холодной войны оценка вероятности вымирания тоже была высока. Исследователь проблемы внеземных цивилизаций фон Хорнер приписывал «гипотезе самоликвидации психозоя» шансы в 65%. Фон Нейман считал, что а) ядерная война неизбежна и б) все в ней погибнут.
1.4. Глобальные катастрофы и горизонт прогноза.
Целью данной работы является попытка проникнуть немного далее, чем позволяет нам обычный горизонт прогноза – туда, где за пределами однозначного прогноза виднеются туманные очертания разных возможностей. Я полагаю, что реальный горизонт однозначного прогноза, который мы можем делать со значительной достоверностью, составляет 5 лет, тогда как пространство за горизонтом, где мы можем усмотреть разные возможности, составляет ещё 20 лет после этого момента. И за этим моментом следует абсолютная непредсказуемость. Постараюсь это обосновать.
Оценка в 5 лет возникла из экстраполяции исторических промежутков, на которых в прошлом ситуация в мире настолько менялась, что конкретные политические и технологические расклады полностью устаревали. От открытия цепной реакции до атомной бомбы прошло 6 лет, ещё 7 – до первой водородной, а с этого момента – ещё 5 лет до запуска первого спутника. Примерно по 5 лет длились и обе мировые войны, 6 лет заняла эпоха перестройки. Поступая в вуз на 5 лет, человек не знает обычно, куда он из него пойдёт работать и какую выберет специализацию. На 5 лет обычно выбирают президентов, и никто не знает, кто будет президентом через срок. СССР управлялся пятилетними планами. Периодичность появления принципиально новых продуктов и их огромных рынков: PC, интернет, сотовые телефоны – тоже имеет порядок нескольких лет. Планы внедрения новых технологий микропроцессоров также составляют не более нескольких лет. При этом основной силой в ожиданиях на ближайшие несколько лет оказывается сила инерции, то есть мы можем с высокой вероятностью говорить, что в течение ближайших 5 лет будет примерно тоже, что и сейчас, за исключением ряда развивающихся тенденций. Однако, когда мы говорим о сроках более 5 лет, то более вероятным выглядит утверждение о том, что ситуация кардинально изменится, чем то, что она будет такой же, как сейчас. Эффект ускорения исторического времени, о котором мы будем говорить дальше, вероятно, сокращает этот срок однозначного прогноза.
Таким образом, мы можем сказать, что до начала «полосы тумана» в прогнозах будущего – примерно 5 лет, то есть это 2012 год от момента, когда я пишу эти строки – то есть 2007 года. Иначе говоря, мы более-менее отчётливо представляем, какие технологии будут в ближайшие пять лет. И гораздо более смутно представляем более поздние технологии. При этом есть много отдельных технических проектов вплоть до 2020-х годов – скажем, ИТЭР или освоение Луны, и есть многие бизнес планы, которые рассчитаны на срок до 30 лет, скажем, долгосрочная ипотека. Просто 5 лет – это примерный срок, за которым неопределённость в глобальном состоянии всей системы начинает преобладать над определённостью в самых разных видах человеческой деятельности. При этом с течением времени всё большая неопределённость приходится не на технологические проекты, а на открытия. И хотя мы можем сказать, что некоторые проекты составлены на 20 лет вперёд, мы не знаем, какие факторы будут самыми главными в экономическом, политическом и техническом развитии.
Абсолютным пределом в прогнозах оказывается 2030 год, в районе которого предполагаются возможными мощные нанотехнологии, искусственный интеллект и полное овладением биоконструированием. После этой даты нет смысла в оценках кривых роста популяции или запасов каменного угля, поскольку мы ничего не можем сказать о том, как повлияют сверхтехнологии на эти процессы. С другой стороны, большая неопределённость есть в выборе самой этой даты. Она часто фигурирует в разных дискуссиях о будущем технологий, о чём речь пойдёт дальше в главе про Технологическую Сингулярность. Очевидно, что неопределённость в дате «2030 год» не менее пяти лет. Если произойдёт некая неокончательная катастрофа, то она может резко расширить горизонт прогноза просто за счёт сужения пространства возможностей (в духе: «теперь мы будем сидеть в бункере 50 лет»). Хотя большинство футурологов, пишущих на тему новых технологий, предполагают, что сверхтехнологии созреют к 2030 году, некоторые относят появление зрелых нанотехнологий и ИИ к 2040-ым годам, однако мало кто решается дать обоснованные предсказание на более поздние даты. Кроме того, помимо неопределённости, связанной с нашим незнанием темпов развития разных технологий, их конвергенция в ходе Технологической Сингулярности даёт неопределённость более высокого порядка, похожую на квантовую, но связанную с тем, что мы не можем предсказывать поведение интеллекта, значительно превосходящий наш.
Однако надо иметь в виду, что время предсказуемости постоянно уменьшается в связи с ускорением прогресса и ростом сложности системы. Поэтому, высказывая предположения о границе предсказуемости, мы уже делаем некий прогноз на будущее – хотя бы о том, что степень его изменчивости будет сохраняться. Очевидно, однако, что хотя граница предсказуемости постепенно снижается за счёт ускорения факторов прогресса, она может возрастать за счёт нашего лучшего предвидения и успехов в создании устойчивого общества.
Здесь также действует парадокс среднесрочных прогнозов. Мы можем сказать, что будет с человеком завтра (примерно тоже самое, что и сегодня), или через десятки лет (он состарится и умрёт), но мы не можем сказать, что будет через 10 лет. Также и про человечество мы можем сказать, что оно через 30 лет или перейдёт в постиндустриальную фазу с нанотехнологиями, искусственным интеллектом и почти физическим бессмертием, или к этому моменту погибнет, не выдержав быстроты изменений. Однако прогноз на 15 лет гораздо менее очевиден.
В силу сказанного, хотя мы и исследуем риски глобальной катастрофы во всём XXI веке, наибольшей интерес для нашего исследования представляет промежуток в примерно два десятилетия между 2012 и 2030 годами. До этого момента вероятность глобальной катастрофы в целом известна и мала, а после него – мы утрачиваем, за рядом исключений, возможность что-либо точно предполагать.
1.5. Историография.
Историю исследований глобальных рисков можно представить в виде следующей краткой схемы:
1. Античные, средневековые и мистические представления о конце света.
2. Ранненаучные представления о возможности «тепловой смерти» Вселенной и подобных сценариях. Ситуация в первой половине 20 века.
3. Яркое осознание способности человечества истребить себя, начиная с 1945 года, в связи с возникновением ядерного оружия. Кун «Термоядерная война». Шют Н. «На берегу». Работы Моисеева и Сагана по ядерной зиме. Фон Хорнер – книга с объяснением возможных причин парадокса Ферми. Основное объяснение – высокая вероятность вымирания цивилизаций на технологической стадии.
4. Глобальные риски в классической футурологии. Постепенно эти риски становятся основным вопросом футурологии, а в начале были случайным событием.
5. Вторая волна, связанная с осознанием угроз от биологического, нанооружия, искусственно сдвигаемых астероидов и других отдельных рисков. Роль фантастики в этом. Вторая половина 20 века. Деятельность Станислава Лема. «Непобедимый», «Сумма технологий», «Фантастика и футурология» и др. работы. Эрик Дрекслер «Машины созидания».
6. Появление обобщающих работ Азимова (1980), Лесли (1996), Мартина Риса (2003). Познера (2004).
7. Анализ логических парадоксов, связанных с глобальными рисками – Doomsday argument в разных формах. Лесли, Бостром, Готт, Кейв.
8. Развитие синергетики и обращение к системному анализу будущего и системному анализу разных катастроф. Работы Пригожина, Ханзена и российских авторов Курдюмова, Малинецкого, Назаретяна и др.
9. Понимание связи между глобальными рисками и «Сингулярностью». Бостром, Юдковский, Капица, Панов. Чиркович в Сербии.
10. Статьи и книги с исследованиями отдельных рисков. Фрейтас «Серая слизь». Кэрриген «SETI хакер», Чиркович «Геоинженерия, пошедшая насмарку», «Doomsday men’ Смита, «Случайная ядерная война» Блера.
11. Возникновение методологии анализа глобальных рисков. Переход от перечисления рисков к метаанализу человеческой способности обнаруживать и правильно оценивать глобальные риски. Работы Бострома и Юдковского. Сборник «Риски глобальной катастрофы» в Оксфорде.
12. Возникновение общественных организаций, пропагандирующих защиту от глобальных рисков. Lifeboat Foundatation. Фильм Technocalipsis.
13. Исследование вопроса в России. Абрамян «Судьба цивилизации», Д. Медведев в Российском Трансгуманистическом Движении (РТД). Интернет-проект А.Кононова о неуничтожимости цивилизации. Мои переводы. Статьи в сборнике ИСА РАН.

Изучение глобальных рисков идёт по следующей цепочке: осознание одного глобального риска и самого факта возможности вымирания в ближайшем будущем, затем осознание ещё нескольких глобальных рисков, затем попытки создания исчерпывающего списка глобальных рисков, затем создание системы описания, которая позволяет учитывать любые глобальные риски и определять опасность любых новых технологий и открытий.
Система описания обладает большей прогностической ценностью, чем просто список, так как позволяет находить новые точки уязвимости, подобно тому, как таблица Менделеева позволяет находить новые элементы.
1.6. Уровни возможной деградации.
Хотя в этой книге мы исследуем глобальные катастрофы, которые могу привести к вымиранию людей, нетрудно заметить, что те же катастрофы в несколько меньших масштабах могут просто отбросить человечество сильно назад. Будучи отброшенным назад, человечество может оказаться на промежуточной ступени, с которой можно шагнуть как к дальнейшему вымиранию, так и восстановлению. Поэтому один и тот же класс катастроф может быть как причиной человеческого вымирания, так и фактором, открывающим окно уязвимости, о чём мы подробнее будем говорить позже. Однако при перечислении возможных однофакторных сценариев мы укажем их потенциал как к окончательному уничтожению, так и к общему понижению устойчивости человечества.
В зависимости от тяжести произошедшей катастрофы, могут быть различные степени отката назад, которые будут характеризоваться разными вероятностями последующего вымирания, дальнейшего отката и возможности восстановления. Поскольку термин «постапокалипсис», хотя и является оксюмороном, употребляется по отношению к жанру литературы, описывающей мир после ядерной войны, мы тоже иногда будем его употреблять в отношении мира, где произошла некая катастрофа, но часть людей выжила. Можно выделить несколько возможных ступеней отката:
1. Откат общества назад, как после распада СССР или краха Римской империи. Здесь происходит значительное прекращение развития технологий, уменьшение связности, падение численности населения на несколько процентов, однако некоторые существенные технологии продолжают успешно развиваться. Например, компьютеры в постсоветском мире, некоторые виды земледелия в раннем средневековье. Производство и применение очень опасных вооружений может продолжаться – что чревато вымиранием или откатом ещё ниже в результате следующей фазы войны. Восстановление весьма вероятно и займёт от десятков до сотен лет.
2. Значительная деградация общества, отчасти как в современном Афганистане, где люди умеют только сеять мак и стрелять из автомата Калашникова. Утрата государственности и распад на воюющие между собой единицы. Основная форма деятельности – грабёж. Такой мир изображается в фильмах «Безумный Макс», «Водный мир» и во многих других произведениях на тему жизни после ядерной войны. Население сокращается в разы, но, тем не менее, миллионы людей выживают. Воспроизводство технологий прекращается, но отдельные носители знаний и библиотеки сохраняются. Такой мир может быть объединён в руках одного правителя, и начнётся возрождение государства. Дальнейшая деградация произойдёт скорее случайно – в результате эпидемий, загрязнения среды, случайного применения оружия, сила которого неочевидна.
3. Катастрофа, в результате которой выживают только отдельные небольшие группы людей, не связанные друг с другом: полярники, экипажи морских кораблей, обитатели бункеров. С одно стороны, малые группы оказываются даже в более выгодном положении, чем в предыдущем случае, так как в них нет борьбы одних людей с другими. С другой стороны, силы, которые привели к катастрофе таких масштабов, определённо продолжают действовать и ограничивать свободу перемещения людей из выживших групп. Эти группы вынуждены изо всех сил бороться за свою жизнь. Они могут осуществлять доработку неких технологий, если это нужно для их спасения, но только на базе уцелевших объектов. Период восстановления при самых благоприятных обстоятельствах займёт сотни лет и будет связан со сменой поколений, что чревато утратой знаний и навыков. Основой выживания таких групп будет способность к воспроизводству половым путём.
4. Только несколько человек уцелело на Земле, но они неспособны ни сохранять знания, ни дать начало новому человечеству как Адам и Ева. Даже группа, где есть мужчины и женщины, может оказаться в таком положении, если факторы, затрудняющие расширенное воспроизводство, перевешивают способность к нему – например, если дети рождаются всё более и более больными. В этом случае люди, скорее всего, обречены, если не произойдёт некое чудо.
Можно также обозначить «бункерный» уровень – то есть уровень, когда выживают только те люди, которые находятся вне обычной среды. И находятся они там или нарочно, или случайно, если отдельные группы людей случайно уцелели в неких замкнутых пространствах. Сознательный переход на бункерный уровень возможен даже без потери качества – то есть человечество сохранит способность и дальше быстро развивать технологии.
Возможны и промежуточные фазы постапокалиптического мира, но я полагаю, что перечисленные четыре варианта являются наиболее характерными. С каждого более глубокого уровня есть ещё больше шансов упасть ещё ниже и меньше шансов подняться. С другой стороны, возможен островок стабильности на уровне родо-племенного строя, когда опасные технологии уже разрушились, последствия их применений выветрились, а новые технологии ещё не созданы и не могут быть созданы
Если представить себе следующую схему: прогресс – государство – общество - группа людей – отдельный человек, – то отход на каждый следующий уровень деградации означает потерю одного элемента слева от этого списка. И чем ниже мы по этому списку, тем более зависимы от природы и различных случайных факторов. Уровни постапокалиптического мира различаются и тем, что будет главной ценностью в нём. Варианты: золото – патрон – еда – способная к деторождению женщина.
При этом неверное думать, что откат назад – это просто перевод стрелок исторического времени на век или тысячелетие в прошлое, например, на уровень XIX века, или уровень XV века. Деградация технологий не будет линейной и одновременной. Например, такую вещь, как автомат Калашникова, забыть будет очень сложно. Даже в Афганистане местные умельцы научились вытачивать грубые копии Калашникова. Но в обществе, где есть автомат, рыцарские турниры и конные армии невозможны. То, что было устойчивым равновесием при движении от прошлого к будущему, может не быть равновесным состоянием при деградации от будущего к прошлому. Иначе говоря, если технологии разрушения буду деградировать медленнее, чем технологии созидания, то общество обречено на непрерывное скольжение вниз.
Однако мы можем классифицировать степень отката назад не по количеству жертв, а по степени утраты знаний и технологий. В этом смысле можно употреблять исторические аналогии, понимая, однако, что забывание технологий не будет линейным. Поддержание всё более нижнего уровня требует всё меньшего числа людей, и он всё более устойчив как к прогрессу, так и к регрессу. Такие сообщества могут возникнуть только после длительного периода «утряски» после катастрофы.
Тут возможны следующие базовые варианты (отчасти аналогичные предыдущей классификации):
1. «Уровень 19 века» - железные дороги, уголь, огнестрельное оружие и всё. Уровень самоподдержания требует, вероятно, десятков миллионов человек.
2. Уровень «средневековья» - этот уровень соответствует уровню «сельскохозяйственных» государств и в широком смысле включает в себя как классические рабовладельческие государства, так и позднесредневековые. То есть в данном контексте важно не наличие или отсутствие рабства, а использование мускульной силы животных, сельского хозяйства, разделение труда, наличие государства. Уровень самоподдержания требует, вероятно, от тысяч до миллионов людей.
3. Уровень племени. Отсутствие сложного разделения труда, хотя какое-то сельское хозяйство возможно. Число 10-1000 человек.
4. Уровень стаи или «маугли». Полная утрата человеческих навыков, речи, при сохранении в целом генофонда. 1-100 человек.

РАЗДЕЛ 2. ОДНОФАКТОРНЫЕ СЦЕНАРИИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ.
В этом разделе мы рассмотрим классическую точку зрения на глобальные катастрофы, которая состоит в перечислении списка ни как не связанных между собой факторов, каждый из которых способен привести к мгновенной гибели всего человечества. Понятно, что это описание не окончательно, так как оно не рассматривает многофакторные и немгновенные сценарии глобальной катастрофы. Классическим примером рассмотрения однофакторных сценариев является статья Бострома «Угрозы существованию».
Здесь мы также рассмотрим некоторые источники глобальных рисков, которые, с точки зрения автора, таковыми не являются, но мнение об опасности которых достаточно распространено, и дадим им оценку. Иначе говоря, мы рассмотрим все факторы, которые обычно называются в качестве глобальных рисков, даже если затем мы отвергнем эти факторы. Глобальные риски, создаваемые человеком, делятся на две категории: риски, связанные с новыми технологиями, и социальные видовые риски (к последним относятся те риски, которые не связаны с новыми технологиями: исчерпание ресурсов, перенаселение, утрата фертильности, накопление генетических мутаций, вытеснение другим видом, моральная деградация, социальный и экономический кризис).
Технологические риски различаются по степени готовности их «элементарной базы». Одни из них технически возможны в настоящий момент времени, тогда так другие требуют в разной степени длительного развития технологий и, возможно, некий принципиальных открытий.
Соответственно, можно выделить три категории:
А) риски, для которых технология полностью разработана (ядерное оружие) или требует незначительно доработки.
Б) риски, технология для которых успешно развивается и не видно никаких теоретических препятствий для её реализации в обозримом будущем (биотехнологии).
В) риски, которые требуют для своего возникновения неких принципиальных открытий (антигравитация, высвобождения энергии из вакуума и т д.). Не следует недооценивать эти риски – весомая часть глобальных рисков в XX веке произошла из принципиально новых и неожиданных открытий.
Значительная часть рисков находится между пунктами Б и В, так как с точки зрения одних исследователей речь идёт о принципиально недостижимых или бесконечно сложных вещах, а с точки других – вполне технологически реализуемых (нанороботы и искусственный интеллект). Принцип предосторожности заставляет нас выбирать тот вариант, где они возможны.
2.1. АТОМНОЕ ОРУЖИЕ.
Классическим примером угрозы существованию человечества является угроза ядерной войны. Обычно о ядерной войне говорят, что она приведёт к «уничтожению всей земной жизни». Однако, судя по всему, это утверждение является натяжкой. Ядерное оружие имеет три фактора глобального поражения – непосредственный удар по всей площади Земли, радиоактивное заражение всей Земли и ядерная зима. Далее мы покажем, что хотя каждый из этих эффектов может в исключительных обстоятельствах привести к человеческому вымиранию, обычная ядерная война не должна к ним привести, хотя жертвы будут огромны.
Оценим, какое количество боеголовок нужно, чтобы уничтожить всех без исключения людей, если они будут равномерно и одновременно применены по всей поверхности Земли. Для почти полного уничтожения людей на суше потребуется не менее ста тысяч боеголовок мегатонного класса. (Если считать, что одна боеголовка поражает площадь в 1000 кв. км, что вероятно, завышено. Гарантированное уничтожение потребует гораздо большего числа зарядов, поскольку даже под эпицентром взрыва в Хиросиме были выжившее – в 500 метрах от точки взрыва.) В тоже время огромные участки суши необитаемы. Итак, 100 000 боеголовок поставят людей на грань вживания, хотя и не уничтожат всех людей гарантировано, так как останутся корабли, самолёты, случайные выжившие и подземные убежища. Следует отметить, что на пике холодной войны ведущие державы обладали количеством боеголовок порядка 100 000, а накопленные запасы плутония (2000 тонн, хотя не весь он «оружейный» - то есть чистый) позволяют произвести до миллиона боеголовок. Вместе с тем ни один сценарий ядерной войны не предполагает равномерного удара по всей площади планеты. Даже если возникнет цель всепланетного самоубийства, найдутся способы попроще. С другой стороны, теоретически возможно создать такое количество бомб и средств доставки, чтобы нанести удар по всей территории планеты.
Однако ядерная война создаёт два следствия – ядерную зиму и радиоактивное заражение.
2.1.1. Ядерная зима.
В отношении ядерной зимы есть два неизвестных фактора – во-первых, насколько она будет длительной и холодной, а во-вторых, в какой мере ядерная зима означает вымирание человечества. В отношении первого фактора есть разные оценки – от крайне суровых (Моисеев, Саган) до относительно мягких концепций «ядерной осени». Я полагаю, что риск ядерной зимы преувеличивается, так как ни пожары в Кувейте, ни Вторая мировая война не привели к сколько-нибудь значительному снижению мировой температуры. Однако принцип предосторожности заставляет нас рассмотреть наихудший случай.
Несмотря на распространенные представления, ни один из научных анализов ядерной зимы не означает полного вымирания человечества и, тем более, всей жизни на Земле. Это следует из того, что например, Финляндия имеет примерно десятилетний запас еды плюс топливо в виде лесов, печи и навыки вживания при зимних температурах. Чтобы действительно убить всех людей ядерная зима должна длиться более ста лет с антарктическими температурами. (Если считать, что ядерная зима будет единственным неблагоприятным фактором, что неверно.) Я не буду подробно пересказывать всю историю исследований и дискуссий о проблеме ядерной зимы, отмечу только, что, например, отчёт TTAPS (1990) предполагает падение температуры 22 градуса в средних широтах, если война произойдёт в июне в течение первых месяцев и на несколько градусов в течение 1-3 лет.
Возможны следующие варианты ядерной зимы:
1) Падение температуры на один градус, не оказывающее значительного влияния на человеческую популяцию. Как после извержения вулкана Пинатубо в 1991 году.
2) «Ядерная осень» – несколько лет пониженных на 2-4 градуса температур, неурожаи, ураганы.
3) «Год без лета» – интенсивные, но относительно короткие холода в течение года, гибель значительной части урожая, голод и обморожения в некоторых странах. Это уже происходило после крупных извержений вулканов в VI веке нашей эры, в 1783г, в 1815г.
4) «Десятилетняя ядерная зима» – падение температуры на всей земле на 10 лет на 30-40 градусов. Этот сценарий подразумевается моделями Моисеева-Сагана. Выпадение снега на большей части земли, за исключением некоторых экваториальных приморских территорий. Массовая гибель людей от голода, холода, а также оттого, что снег будет накапливаться и образовывать многометровые толщи, разрушающие строения и перекрывающий дороги. Гибель больше части населения Земли, однако миллионы людей выживут и сохранят ключевые технологии. Риски – продолжение войны за тёплые места, неудачные попытки согреть Землю с помощью новых ядерных взрывов и искусственных извержение вулканов, переход в неуправляемый нагрев ядерного лета. Однако даже если допустить этот сценарий, окажется, что мирового запаса рогатого скота (который замёрзнет на своих фермах и будет храниться в таких естественных «холодильниках») хватит на годы прокорма всего человечества, а Финляндия, например, имеет стратегический запас еды (зерна) на 10 лет.
5) Новый ледниковый период. Получается из предыдущего сценария за счёт того, что отражающая способность Земли возрастает за счёт снега, и начинают нарастать новые ледяные шапки от полюсов и вниз, к экватору. Однако часть суши у экватора остаётся пригодной для жизни и сельского хозяйства. В результате цивилизации придётся радикально измениться. Трудно представить огромные переселения народов без войн. Много видов живых существ вымрет, но большая часть разнообразия биосферы уцелеет, хотя люди будут уничтожать её ещё более безжалостно в поисках хоть какой-либо пищи.
6) Необратимое глобальное похолодание. Оно может быть следующей фазой ледникового периода, при развитии событий в наихудшем случае. На всей Земле на геологически длительное время устанавливается температурный режим, как в Антарктиде, океаны замерзают, суша покрывается толстым слоем льда. (Или как на Марсе – холодная сухая пустыня. Кстати, если все парниковые газы из атмосферы Земли исчезнут, то равновесная температура поверхности составит минус 23 С.) Только высокотехнологичная цивилизация, способная строить огромные сооружения подо льдом, может пережить такое бедствие, но такая цивилизация могла бы найти способ обратить вспять этот процесс. Жизнь уцелеет только около геотермальных источников на морском дне. Последний раз Земля вошла в это состояние примерно 600 млн. лет назад, то есть до выхода животных на сушу, и смогла выйти из него только благодаря накоплению СО2 в атмосфере (гипотеза Snowball Earth http://ru.wikipedia.org/wiki/Snowball_Earth). В то же время за последние 100 000 лет было четыре обычных оледенения.
Хотя варианты 5 и 6 относятся к самым маловероятным, они несут в себе наибольший риск. Эти варианты могли бы быть возможны при экстраординарно большом выбросе сажи и при наихудшем раскладе неизвестных нам природных закономерностей.
Если бы некая сила задалась целью устроить ядерную зиму нарочно, то она может её организовать, взорвав водородные бомбы в каменноугольных шахтах. Это даст неизмеримо больший выброс сажи, чем атака на города. Если установить водородные бомбы с таймером на разные сроки, то можно поддерживать ядерную зиму неограниченно долго. Теоретически, таким образом можно достичь устойчивого состояния «белого холодного шарика», отражающего весь солнечный свет, с полным вымерзанием океанов, которое станет самоподдерживающимся состоянием. Менее жесткий вариант подразумевает начало нового ледникового периода за счёт того, что в течение нескольких лет снег летом не будет таять, и начнётся самоподдерживающийся рост ледников. Возможно, это уже бывало после «вулканических зим».
С другой стороны, когда сажа осядет, Земля окрасится в чёрный свет, и её способность нагреваться в солнечных лучах резко возрастёт. Такое ядерное лето может принять необратимый характер (с учётом остальных факторов глобального потепления) с переходом в «венерианскую» фазу нагрева. Есть и другие факторы, которые могут привести к ядерному лету после или вместо ядерной зимы, например, выброс большого количества парниковых газов при взрывах. Ядерное лето гораздо опаснее ядерной зимы, так как человек легче переносит охлаждение, чем нагрев (то есть, если принять комнатную температуру за 20 градусов, то человек вполне переносит мороз на улице в минус 50, то есть на 70 градусов ниже, но сможет выдержать подъём температуры не более чем, на 30 градусов, то есть не больше 50 С на улице). Кроме того, системы обогрева работают индивидуально (лес + печка), а холодильники требуют наличия устойчивой централизованной инфраструктуры (производство холодильников + электроэнергия). Хранение продуктов питания при резком потеплении станет невозможно – они сгниют и сгорят. Поэтому, если у человечества будет выбор, то ему следует выбирать глобальную зиму, а не глобальное лето.
Инициация извержения сверхвулкана с помощью ядерного оружия также приведёт к аналогу ядерной зимы – к вулканической зиме. Опасны попытки людей исправить ситуацию с помощью искусственной ядерной зимы или искусственного ядерного лета, которые могут только усугубить проблемы за счёт перехода климата в режим раскачки, по модели запаздывающего управления фон Неймана.
Обращу внимание на то, что точная вероятность и продолжительность ядерной зимы и её последствий невычислима по причинам, которые обсуждаются в главе «невычислимость». Это происходит, потому что мы по определению не можем поставить эксперимента, а также точно определить, насколько Моисеев и Саган были заинтересованы преувеличить опасность ядерной зимы, чтобы избежать войны. То есть хотели ли они создать само-несбывающееся пророчество.
2.1.2. Полное радиоактивное заражение.
Следующий сценарий – глобальное радиоактивное заражение. Наиболее известный сценарий такого заражения – это применение кобальтовых бомб, то есть бомб с повышенным выходом радиоактивных веществ. Кобальтовые бомбы представляют собой водородные бомбы, окружённые оболочкой из кобальта-59, превращающегося в радиоактивный изотоп кобальт-60 . Проект бомбы, способной заражать целые континенты, предложил Лео Сцилард в 1950 году. Однако 1 грамм кобальта имеет радиоактивность порядка 50 кюри. Если распылить 1 грамм на 1 кв.км, то этого недостаточно для гарантированной смерти всех людей, хотя и потребует эвакуации с этой территории по современным нормам безопасности. Кобальт имеет период полураспада 5,26 лет, поэтому загрязнение, создаваемой им, будет длительным, и его будет трудно пересидеть в бункере. Тем не менее, даже такое заражение потребует 500 тонн кобальта на всю Землю. Косвенно это количество можно оценить в 100 бомб типа «Кузькиной матери» - Царь-бомбы в 50 мегатонн, взорванной в 1961 году. Если бы на этой бомбе была бы урановая оболочка, она дала бы дополнительные 50 мегатонн, и мощность взрыва составила бы 100 мегатонн, но оболочка была заменена на свинцовую. Масса прореагировавшего урана, которая дала бы такой выход энергии, который составляет 50 мегатонн, примерно равна 5 тоннам. Можно предположить, что если бы эта бомба имела кобальтовую оболочку, она дала бы примерно 5 тонн радиоактивного кобальта. По другим оценкам, проводившимся в США после выступления Лео Сцилларда о возможности истребления жизни на Земле с помощью кобальтовой бомбы, выяснилось, что это действительно возможно, но устройство должно быть в 2,5 раза тяжелее линкора «Миссури» . Водоизмещение «Миссури» – 45000 тонн. Возможно, что это исследование проводилось до создания водородной бомбы. Итак, мы получаем две оценки веса этого устройства – 2700 тонн и 110 000 тонн. Разница между ними не так принципиальна с точки зрения вопроса, возможно ли такое устройство и сколько оно будет стоить. Поскольку вес обычных энергетических реакторов составляет несколько тысяч тонн, то реально сделать устройство, весящее и 100 000 тонн, как 20 реакторов. Если один реактор стоит около миллиарда долларов по современным ценам, то такое устройство будет стоить порядка 20 миллиардов. Эта сумма меньше военного бюджета США в 20 раз. Другой ориентир: вес реактора ИТЭР – 30 000 тонн, цена 12 миллиардов долларов. Итак, создание атомной бомбы судного дня технически реально для крупного государства, обладающего ядерной программой, и потребует нескольких лет работы.
Не менее опасен печально знаменитый изотоп полоний-210. Он является гораздо более мощным источником, чем кобальт, так как имеет меньший период полураспада (в 15 раз примерно). И он обладает способностью накапливаться в организме, поражая изнутри, что повышает его эффективность ещё примерно в 10 раз. Смертельная его доза – около 0,2 мкг . Это означает, что полное смертельное заражение Земной поверхности потребует только сто тонн (или сотен килограмм в худшем случае – если учесть его способность накапливаться в организмах, а также повторное отравление за счёт высокой концентрации в среде – то есть сколько выводится, столько и вводится) этого опасного вещества. Неизвестно, сколько водородных бомб нужно взорвать, чтобы наработать такое количество вещества. (В обычных атомных бомбах выход радиоактивных элементов измеряется килограммами, но в специальных водородных бомбах, окружённых толстыми оболочками, позволяющих уловить все нейтроны, он может достичь, по моим очень неточным прикидкам, тонны. Однако тяжёлую эффективную бомбу невозможно поднять высоко воздух, где гарантировано качественное распыление, поэтому реальный выход от бомбы можно снижать смело до 100 кг. Значит надо или облегчать бомбу, или смириться с потерей большей части радиоактивного выхода в грунте на месте взрыва. Это означает, что для производства такого эффекта нужно взорвать 1000 полониевых (то есть с оболочкой из висмута-209) бомб мегатонного класса.)
При этом известно, что в объёме мирового океана растворено постоянно около 180 кг полония, образующегося из распада урана – однако это количество равномерно распределено по объёму толщи воды и не представляет угрозы для живых существ.
Требуются более точные подсчёты, учитывающие скорости осаждения радиоактивного вещества из атмосферы, вымывания его в океан, распада, связывания и сродства с элементами в человеческом теле, а также способности людей мутировать и приспосабливаться к радиации, чтобы определить минимальное количество какого изотопа приведёт к вымиранию всех людей на Земле – или к длительной непригодности всей суши для сельского хозяйства и невозможности в связи с этим вернуться в доиндустриальную фазу развития или неизбежности деградации на ней. (Что может быть на два-три порядка меньше по уровню радиации.)
Для того чтобы радиоактивное вещество распространилось достаточно далеко, бомба должна взрываться на высоте 10-20 км, а чтобы бомба была достаточно мощной, она должна быть тяжёлой. В конечном счёте, такая машина смерти может представлять собой стационарное устройством весом в тысячи тонн, с выходом взрыва в сотни мегатонн, в ходе которого образуются тонны опасного изотопа, выбрасываемые силой взрыва высоко в воздух.
Кроме того, короткоживущий изотоп можно пересидеть в бункере. Теоретически возможно создание автономных бункеров со сроком самообеспечения в десятки лет. Гарантированное вымирание можно получить, смешав долгоживущие и короткоживущие изотопы. Короткоживущие уничтожат большую часть биосферы, а долгоживущие сделают землю непригодной для жизни теми, кто пересидит заражение в бункере. (Подробнее о бункерах см. в соответствующей главе.)
2.1.3. Сверхбомба.
После испытания «Царь-бомбы» в 1961 году на Новой Земле с выходом в 58 мегатонн, были разработки более мощных бомб с выходом в 200 и даже 1000 мегатонн, которые предполагалось транспортировать на судах к американским берегам и вызывать с их помощью цунами. Это значит, что, вероятно, появились технические возможности неограниченно наращивать взрывную силу бомбы, добавляя, возможно, слои в конструкцию «слойки». Наилучший массовый коэффициент бомб составляет порядка 6 мегатонн на тонну веса бомбы.
Важно также отметить, что Царь-бомба была испытана всего через 12 лет после взрыва первой атомной бомбы. Это говорит о том, что и другим державам может потребоваться относительно небольшой срок для перехода к огромным бомбам. Если сопоставить массовый коэффициент бомбы с массой ядерных реакторов порядка нескольких тысяч тонн, то становится понятно, что верхний предел сверхбомбы, которую сейчас можно сделать составляет около ста гигатонн. Этого недостаточно для уничтожения всех людей силой взрыва, поскольку при падении астероидов выделялась энергия в тысячи раз больше. (См. главу о воздействии гигантских взрывов.) Взрыв сверхбомбы в каменноугольном пласте вызовет длительную ядерную зиму, сочетающуюся с сильным радиоактивным заражением. Несколько десятков сверхбомб, размещённых в разных местах Земли, могут покрыть своим поражающим ударом всю территорию планеты.
Есть также гипотетические предположения (Бор), что взрыв мощной водородной бомбы в толще океана может вызвать горение дейтерия в морской воде. Вероятность этого невелика, но такие опыты, насколько я знаю, не проводились.
2.1.4. Накопление антиматерии.
Станислав Лем как-то сказал, что он больше боится антиматерии, чем Интернета. Максимальная массовая эффективность ядерного заряда равна 6 мегатонн на тонну веса, что соответствует примерно 0,6 кг антиматерии. Но для антиматерии тоже понадобятся специальные ловушки, которые должны много весить. Кроме того, очень трудно обезопасить антиматерию от случайного взрыва, тогда как обезопасить атомную бомбу легко. Наконец, нужно масса энергии на наработку антиматерии. В силу этого я полагаю, что нет смысла делать бомбы огромной мощности из антиматерии – да и мощности имеющихся атомных боеприпасов достаточно. Также нет смысла делать заряды из антиматерии малой мощности, так как с этими задачами справятся бомбы объёмного взрыва. Поэтому я полагаю маловероятным накопление антиматерии в военных целях. Только если будут сделаны некие новые принципиальные физические открытия, антиматерия будет представлять опасность. Антиматерия будет давать выход радиоактивных элементов за счёт столкновения атомов разных атомных масс. Опасно применение антиматерии в глубоком космосе, где можно собрать огромную массу антиматерии в виде некого метеорита (пользуясь наличием вакуума) и направить её незаметно на Землю.
2.1.5. Дешёвая бомба.
Есть также опасность принципиального удешевления ядерного оружия, если удастся запускать самоподдерживающуюся термоядерную реакцию без инициирующего ядерного заряда – с помощью химической имплозии (цилиндрической), лазерного поджигания, магнитного сжатия, электрического разряда и небольших порций антиматерии, применённых в некой комбинации. Другой фактор – удешевление производства при использовании наработок нанотехнологий – то есть высокоточное и дешёвое производство с помощью микророботов. Третий фактор – обнаружение новых способов выделения урана из морской воды и его обогащения.
Есть также риск, что мы существенно недооцениваем простоту и дешевизну ядерного оружия, а, следовательно, и его количество в мире. Любые открытия в области холодного ядерного синтеза, управляемого ядерного синтеза на токамаках, доставки гелия-3 из космоса, превращения элементов – упростят и удешевят производство ядерного оружия.
2.1.6. Равномерная атака на радиационные объекты.
Ещё одним способом устроить конец света с помощью ядерного оружия является атака крылатыми ракетами (баллистические не имеют достаточной точности) всех ядерных реакторов и особенно хранилищ отработанного ядерного топлива на планете. Хотя вряд ли удастся возбудить цепную реакцию в нём, в воздух выделятся огромные количества радиации. «По оценке МАГАТЭ, к 2006 году из энергетических реакторов (а их в мире свыше 400) выгружено около 260 тыс. тонн ОЯТ, содержащих более 150 млрд. Кюри радиоактивности» и «К 2006 году страны мира накопили около 260 тыс. тонн ОЯТ, а к 2020 году его количество составит не менее 600 тыс. тонн» . То есть в XXI веке количество радиоактивных отходов будет расти как линейно, за счёт накопления, так и за счёт введения в строй новых реакторов.
Это даёт, при равномерном распылении, 150 млрд кюри – 300 кюри на квадратный километр земной поверхности. Это далеко за пределами норм отселения и запрета на сельское хозяйство по чернобыльской практике. При грубом пересчёте (эмпирическая формула – 1 кюри на квадратный метр даёт 10 рентген в час) это даёт активность – 3 мили рентгена в час. Этого недостаточно для мгновенной смертности, так как составляет только примерно 2 рентгена в месяц, а максимально допустимая безопасная доза – 25 рентген – наберётся только за год. Однако такая местность надолго (в ОЯТ много долгоживущих элементов, в том числе плутония) непригодна для сельского хозяйства, поскольку в растительности и животных эти вещества накапливаются и при внутреннем потреблении дают в 10 раз более сильный удар по организму. Иначе говоря, выжившие люди никогда не смогут заниматься сельским хозяйством и будут обречены на постепенную деградацию от болезней. Всё же гарантированного вымирания здесь не б будет, так как люди - существа очень приспособляемые и живучие – если не вмешаются ещё какие-нибудь факторы.
Крайне важно учитывать степень сродства радиоактивных веществ и человеческого организма. Например, после ядерных аварий принимают именно йодные таблетки, так как именно йод интенсивно улавливается и накапливается щитовидной железой.
2.1.7. Взрыв мощных бомб в космосе.
Если земная технология шагнёт в космос, мы рискуем подвергнуться атаке от своих собственных колоний. В конце концов, все колонии в истории Земли рано или поздно восставали против своих метрополий. (США выросли из английской колонии). Риск состоит во взрыве нескольких десятков гигатонных бомб на низких орбитах, которые просто прожарят Землю своим излучением. Однако в случае такой атаки всё равно будут выжившие: шахтёры, подводники, спелеологи. (Хотя могут выжить только одни мужчины, и род людей на этом закончится, так как в природе мало подводников и шахтёров-женщин. А спелеологи бывают.) По эффекту воздействия получится искусственный гамма-всплеск.
2.1.8. Интеграция поражающих факторов ядерного оружия.
Умеренная по масштабам ядерная зима, сопровождающая умеренным радиоактивным поражением, может дать «синергетический» эффект, который превосходит по силе даже самую мощную ядерную зиму, взятую в отдельности. Например, в случае «чистой» ядерной зимы люди смогут многие годы питаться скотом, который замёрз у себя в стойлах и сохранился. В случае радиоактивного заражения такой возможности не будет. Всемирная взрывная волна выбьет все стёкла и сделает более сложной защиту от радиации и холода. Топить радиоактивным лесом будет опасно. Эти факторы будут усилены разрушением наиболее ценных объектов за счёт прямого действия поражающих факторов ядерного оружия.
2.1.9. Стоимость.
Если поделить стоимость всей ядерной программы США на всё количество произведённых бомб, то средняя цена заряда будет от 1 до 40 миллионов долларов – смотря как считать. См. статью А. Анисимова «Развитие стратегических сил Китая и проблема адекватности ситуации внешней политики США». Если для полного радиационного заражения Земли нужно 1000 бомб с оболочкой из кобальта, то такой проект будет стоить порядка 40 млрд. долларов. Это – десятая доля бюджета Пентагона или цена крупной нефтяной корпорации. Если говорить точнее – это одна тысячная от годового мирового ВВП. По мере роста мирового ВВП и удешевления производства эта доля снижается, то есть всё дешевле создать такое оружие.
2.1.10. Вероятность данного события.
Более детально вопросы вычисления и учёта вероятностей различных глобальных рисков мы рассмотрим в отдельной главе. В отношении рисков вымирания в результате применения ядерного оружия надо сложить вероятность двух вариантов:
• классическая ядерная война, приводящая к вымиранию.
• неклассическое применение ядерного оружия как машины судного дня.
Первый вариант определяется произведением вероятности двух последовательных событий: вероятности полномасштабной ядерной войны между сверхдержавами и вероятности того, что эта война приведёт к вымиранию человечества.
Вряд ли одна из держав нападёт на другую нарочно, потому что это не даст ни политической, ни экономической, ни военной выгоды, но создаст риск ответного удара, распространения оружия массового поражения, утерянного в поверженной державе, а также риск войны с другими державами, обладающими ядерным оружием. Однако ядерная война между сверхдержавами может начаться случайно, а точнее, в результате сложной цепочки событий в духе детерминированного хаоса. Например, в ходе Карибского кризиса американцы полагали, что могут напасть на Кубу, так как там нет ядерного оружия русских. Советские военные имели там тактическое ядерное оружие, которое могли применять по своему усмотрению в зависимости от обстоятельств, но полагали, что американцы на них не нападут. То есть каждая сторона действовала правильно в рамках своих представлений и при этом полагала неправильными и невозможными действия другой стороны. Другой пример – по утверждениям в мемуарах в день смерти Брежнева на всякий случай весь подводный ядерный флот перевели в состояние полной боевой готовности. Если бы американцы ответили на это тем же, то могла бы начаться гонка, кто ударит первым.
Ядерные силы находятся под действием следующей антиномии:
А) Либо ядерные силы ни при каких обстоятельствах не могут совершить непреднамеренный запуск – то есть запуск, решение о котором позднее было бы признано неверным (если останется, кому признавать) – а это включает в себя опознание цели, информирование президента, принятие решения, доведение его до ракет и сам запуск и наведение ракет. Обратите внимание на различие между определениями «непреднамеренного запуска» и «случайного».
Б) Либо они должна суметь нанести ответно-встречный удар в условиях интенсивного информационного противодействия вероятного противника, а значит, находится в состоянии высокой боеготовности и автономности в принятия решений. От того, как решается это противоречие, зависит то, находятся ли ключи запуска на борт подводной лодки или высылаются на борт по радио из центра в случае чрезвычайной ситуации. Хотя то, как именно организовано управление СЯС в ведущих ядерных державах является величайшей военной тайной, исторически известно, что неоднократно выбирались варианты, когда ключ запуска был на местах, что соответствует пункту Б).
Можно придумать множество сценариев непреднамеренного начала ядерной войны. Например, самолёт с президентом внезапно сбивают. Поскольку система управления, а значит и связь с главнокомандующим является наиболее существенной частью системы обороны, то любые проблемы на этой линии будут восприниматься как начало атаки – именно поэтому после смерти Брежнева была высокая боеготовность.
Поскольку ядерной войны ни разу не было, это оказало разлагающее влияние как на общественные ожидания, так и, возможно, на нормы риска в военной сфере. Кроме того, растёт число стран, способных создать и создающих значительные ядерные арсеналы. Более того, террористическая ядерная атака тоже может стать спусковым крючком к войне, а её может организовать и малая страна. Всё это может нас подтолкнуть к идее, что риск ядерной войны постоянно растёт. Если мы его оценим в 0,5 процента в год (или в 50 процентов в 100 лет), то я думаю, это будет довольно неплохой оценкой. Однако сам этот риск может не «прожить» ста лет. Либо его сделают неактуальными ещё более мощные и опасные технологии, либо наоборот, человечество объединится и откажется от запасов ядерного оружия.
С другой стороны, обычная непреднамеренная ядерная война не приведёт наверняка к вымиранию человечества. Если её масштабы будут ограничены несколькими странами, то это будет ещё одно событие масштаба Второй Мировой войны. И тогда она не прервёт хода прогресса и существенно не изменит хода мировой истории.
Однако ядерная война может запустить цепочку событий, которая резко снизит уровень всего человечества, переведёт его на постапокалиптическую стадию, в котором оно будет уязвимо ко многим другим факторам вымирания. Например, война может стать перманентной, так как из чувства мести остатки воевавших стран будут производить и выпускать всё новые порции оружия, особенно, биологического, или строить и взрывать машины судного дня. При этом они будут подвергаться воздействию ядерной зимы и радиоактивных осадков неизвестной силы. Сумма всех этих факторов может поставить человечество на грань вымирания, а переход этой грани станет вопросом случая.
Ход событий в постапокалиптическом мире будет зависеть не только от последствий ядерной войны, но и от того, какие технологии там уцелеют и смогут развиваться и применяться. Это выходит за рассмотрение данной главы, поэтому мы можем сказать, что в наихудшем случае из ядерной войны получится постапокалиптический мир, способный к дальнейшей деградации. Шансы того, что цивилизация понизит свой уровень в результате ядерной войны, применим как 1 из 2.
Отсюда мы получаем, что наилучшее ожидание перехода в постапокалиптический мир в результате ядерной войны в XXI веке – 0,5х0,5 = 0.25 в том случае, если никакие другие процессы этому не препятствуют. Поскольку, однако, это событие должно быть «перекрыто», то есть станет невозможным из-за более сильных процессов в течении максимум 30 лет (об этом тоже будет отдельная глава), мы можем делить остаток на 3, то есть получим 8 процентов вероятности того, что в XXI веке мы попадём в постядерный мир с пониженным уровнем развития цивилизации. Вероятность того, что мы вымрем из этого постядерного мира ещё в несколько раз меньше и зависит от развития других факторов.
Шансы на то, что особенно сильная ядерная война непосредственно приведёт человеческому вымиранию, без фазы угасания в постапокалиптическом мире, я оценивая как ещё меньшие, поскольку для этого нужна исключительно сильная и нацеленная на уничтожение всех людей ядерная война плюс стечение многих неблагоприятных обстоятельств. Округляя до порядка, получим риск вымирания в результате последствий ядерной войны порядка 1%.
Теперь нам надо учесть вероятности нетрадиционного применения ядерного оружия. В настоящий момент ничего неизвестно о разработках машин судного дня на основе ядерного оружия (хотя отчасти сами ядерные силы можно считать им). В будущем могут появиться гораздо более дешёвые способы создать машину судного дня на основе биологического оружия. Поэтому думаю, что не будет ошибкой заявить, что шансы создания и применения машины судного дня на основе ядерного оружия по крайней мере в 10 раз меньше шансов самой ядерной войны.
Однако шансы вымирания всего человечества значительно выше от него, чем от ядерной войны, поскольку далеко не каждая ядерная война приводит к вымиранию! Фактически, если оружие судного дня применено, весь вопрос в том, сработает ли оно так, как задумывалось. (Если бы у Гитлера в бункере такое оружие было бы, он, вероятно, его применил – как харакири для всей страны.) Вероятность вымирания человечества в результате применения оружия судного дня в XXI веке я оценивая в величину тоже порядка 1%.
Возможна определённая интеграция боевого ядерного оружия и машины судного дня. В романе Шюта «На берегу» значительное применения тысяч кобальтовых бомб многими государствами приводит не к заражению отдельных стран, как это предполагалось, а к полному заражению всего мира. После открытия возможности ядерной зимы стало понятно, что современные ядерные ракеты могут быть оружием судного дня, если направить их на тысячи городов по всему свету. Точно также их можно направить на склады отработанного ядерного топлива, атомные станции, спящие вулканы и залежи каменного угля. То есть одно и тоже оружие может быть или не быть машиной судного дня в зависимости от данных команд.
2.1.11. Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени.
Считается, что в настоящий момент погодовая вероятность катастрофической ядерной войны уменьшилась, так как ядерные арсеналы СССР и США значительно сократились. Однако фактически вероятность применения ядерного оружия растёт, поскольку всё больше стран открыто заявляют о разработке ЯО (около 10), и, кроме того, другие страны, помимо РФ и США, обретают технические возможности и желание обзаводится арсеналом в тысячи зарядов (я имею в виду Китай, Пакистан и Индию). Затем, растёт число стран, развивающих мирную ядерную энергетику двойного назначения, то есть могущих в течение месяцев или нескольких лет приступить к производству ядерного оружия. Растут и шансы попадания расщёпляющих материалов в руки террористов.
Этот рост вероятности относительно линеен и довольно медлен, если только не будут изобретены способы принципиального удешевления производства ядерного оружия – молекулярное производство и методы термоядерного взрыва без уранового запала. Появление и – особенно – распространение знаний о таких методах резко увеличит количество ядерных боеприпасов в мире. Мы можем быть уверены сейчас, что ещё нет молекулярного нанотехнологического производства, но не можем быть уверены, что нет секретных способов прямой инициации термоядерного взрыва. Разумеется, если бы они были, сам факт их существования следовало бы держать в секрете. (Про атомную бомбу кто-то из американцев сказал: главная тайна ядерной бомбы в том, что её можно сделать.)
Распространение новых технологий, например ИИ и нано, может создать новые способы уничтожения ядерного оружия и предотвращения его применения. Однако если уж такое оружие будет применено, они не дают особой защиты от его поражающих факторов. В силу этого, мы должны сказать, что риск применения ядерного оружия пребудет с нами всегда, если только не будет вытеснено превосходящими по силе факторами.
Что касается оружия судного дня на основании ядерного оружия – вроде гигатонной кобальтовой бомбы, – то в настоящие момент мы могли бы считать риск его применения равной нулю, так как ничего неизвестно о разработке такого рода оружия. С другой стороны, если бы такая разработка производилась, то она была бы большим секретом, так как страна, открыто разрабатывающая оружие судного дня, немедленно подверглась бы нападению. Я полагаю, что эта вероятность неравна нулю и тоже растёт, но очень монотонно и медленно. В случае начала новой мировой войны она может существенно возрасти. Иначе говоря, война (или угроза такой войны), которая ведёт к полному завоеванию ядерной державы, с высокой вероятностью приведёт к применению или угрозе применения оружия судного дня как последнего аргумента. Опять же разработка новых ядерных технологий, удешевляющих производство, увеличивает и шансы создания ядерного оружия судного дня. Возможно, лет через десять оно будет доступно так называемым странам-изгоям.
2.1.12. Стратегия сдерживания под вопросом.
Возможно, ядерное сдерживание как фактор предотвращения войны переоценивается. То, что является выигрышной стратегией в краткосрочной перспективе, может быть проигрышной в долгосрочной. То есть войны сверхдержав стали реже, но масштаб последствий от таких войн неизмеримо вырос. (Это доказано на исследования наводнений – в результате строительства плотин наводнения становятся значительно реже, но если уж плотину прорывает, то ущерб катастрофический (Юдковски 2007). В результате интеграл ущерба по времени не только не уменьшается, но даже и растёт при строительстве плотин.) И если ядерное оружие будет не у нескольких стран, а у всех без исключения, то война всех против всех не оставит ни одного уцелевшего уголка планеты. Механизм распространения конфликта может быть такой: если есть страны A,B,C,D и происходит ядерная война между A и B, то в выигрыше остаются страны С и D. Поэтому страны A и B могут быть заинтересованы, чтобы С и D тоже вступили в войну, и могут атаковать их частью сил. С и D, понимая это, могу ударить первыми. Это как с экономическими кризисами в современном взаимосвязанном мире – если падает биржа в одной стране, то падают биржи и во всех остальных странах.
Наконец, взаимное гарантированное уничтожение хорошо работает, когда есть только две сверхдержавы (по количеству ядерных зарядов). Но уже сейчас, а возможно и ранее, Китай стал третей, и возможно появление новых ядерных сверхдержав. Дж. Лесли отмечает, что уменьшение количества ядерных бомб в арсеналах не ведёт к снижению вероятности ядерной войны, поскольку требует, чтобы использовалась стратегия ответно-встречного удара, когда ракеты запускаются до того, как вражеские удары поразили цели, потому что после этого уцелевших 10% будет недостаточно для полноценного ответного удара. Стратегия ответно-встречного удара более уязвима к ложным срабатываниям, так как решение о ядерном ударе принимается только по косвенным признакам, которые могут содержать ошибки, и в условиях очень короткого временного промежутка, который исключает какое-либо размышление о природе поступивших сигналов. Фактически, это решение зависит не от людей, а от написанных ими заранее алгоритмов и инструкций, что размывает ответственность. Кроме того, ответно-встречный удар подразумевает постоянно высокий уровень боеготовности ракет, что, в частности, требует, чтобы ключи запуска находились не в центре, а у непосредственных исполнителей.
Повышение точности ракет также не гарантирует стабильность, так как даёт возможность первого обезоруживающего удара, и соответственно, может подтолкнуть более слабую сторону ударить первой до того, как она окончательно утратила преимущество. То же самое верно и для создания оборонительного щита вроде СОИ. Все приведённые стратегии ядерного противостояния не привязаны исключительно к ядерному оружию, но будут верны и при возникновении любых более мощных видов оружия, в том числе связанных с ИИ и нанотехнологиями. Подробнее эти вопросы можно изучить по книге «Снижение боеготовности ядерных сил России и США – путь к уменьшению ядерной угрозы» .
2.1.13. Выводы по ядерной войне.
Угроза ядерной катастрофы часто недооценивается или переоценивается. Недооценка в основном связана с рассуждениями на тему, что раз катастрофы давно не было, то она маловероятна. Это неверное рассуждение, поскольку мы наблюдаем событие (отсутствие войны) не в случайный момент времени, а в относительно поздний по отношению к случайному (случайным для меня был момент моего рождения в 70-е годы). Переоценка связана с распространёнными представлениями о ядерной зиме и радиоактивном заражении как неизбежных причинах вымирания всего человечества после ядерной войны, а также в ответной реакции отвержения этих оценок, ведущих к занижению риска. Мы должны сказать, что хотя «обычная» ядерная зима и заражение, скорее всего, не приведут к полному вымиранию человечества сами по себе, но есть способы применить ядерное оружие особым образом, чтобы создать машину судного дня, которая истребит всех людей с высокой вероятностью.
2.2. ГЛОБАЛЬНОЕ ХИМИЧЕСКОЕ ЗАРАЖЕНИЕ.
Химическое оружие обычно не рассматривается в качестве оружия конца света. Это связано с тем, что для глобального заражения атмосферы требуются очень большие количества ядовитого вещества, а также с тем, что это вещество или химически неустойчиво, или легко вымывается из атмосферы. Глобальное химическое заражение может произойти из-за внезапной резкой дегазации земных недр, например, вскипания газовых гидратов под морским дном. Однако основной вариант – извержение сверхвулкана с большим выбросом газов. Сам процесс накопления углекислого газа в земной атмосфере за счёт сжигания ископаемого топлива тоже может считаться частью «дегазации недр». Другие возможные причины – крупная авария на химическом производстве, результат деятельности генетически модифицированных организмов в биосфере, и, наконец, сознательное применение химического оружия. В научной фантастике рассматривался вариант выпадения ядовитых химических веществ из ядра кометы. Основным фактором, превращающим химическое оружие в глобальную угрозу, является единство земной атмосферы. Поэтому в этой главе мы рассмотрим и ряд других факторов, действие которых распространяется через атмосферу.
В связи с этим полезно посчитать, какие количества и каких газов могут полностью отравить земную атмосферу. При этом понятно, что газам и ядам гораздо проще противостоять с помощью противогазов и убежищ, чем радиации и биоагентам. Для равномерного заражения всей Земли сильнейшим нервнопаралитическим газом VX потребовалось бы не менее 100 000 тонн этого реагента (если исходить из оценки одна смертельная доза на 1кв. метр, то есть 200 мкг). При этом в Первой мировой войне всего было использовано 120 000 тонн разных ОВ. Примерно столько же (94 000 тонн) было использовано гербицидов в войне во Вьетнаме. Современные мировые запасы отравляющих веществ оцениваются в 80 000 тонн, хотя точных данных по всем странам нет. При этом понятно, что химическое оружие не было приоритетным направлением, и его произвели гораздо меньше, чем могли бы. Понятно также, что вопрос равномерного распределения (то есть доставки) далеко не прост. Газ VX держится в холодном климате очень долго, но при жаре разлагается за несколько дней. Но теоретически получается возможным произвести и распространить миллионы тонн такого газа или подобного, и создать глобальную угрозу. (Особенно упростится эта задача с развитием генно-модифицированных организмов.)
Летальная доза токсина ботулизма – около 0,1 мкг. (Что означает, что чтобы убить каждого человека на Земле хватило бы нескольких сот грамм), но он очень неустойчив во внешней среде.
Летальная доза диоксина – около 1 мкг (есть разные оценки), однако он может десятки лет сохраняться в среде и накапливаться в организмах. Утечка примерно 25 кг диоксина в Севесо в Италии вызвала заражение 17 кв. км. Из этого можно прикинуть, что на полное заражение земли потребуется 500 000 – 1 000 000 тонн диоксина. Это равно объёму нескольких крупных нефтеналивных танкеров. Вероятно, промышленно развитая держава могла бы наработать такой объём за несколько лет.
Возможны также сценарии постепенного накопления в природной среде веществ, опасность которых в начале неочевидна. Так было с фреонами, разрушающими озоновый слой, и диоксинами. Возможно также накопление многих химикатов, которые по отдельности не дают большой летальности, но вкупе создают очень тяжёлый фон. Это обычно называется «неблагоприятная экологическая обстановка».
Другим вариантом является полное изменение химического состава атмосферы или утрата её свойств пригодности для дыхания. Для этого нужен некий мощный источник химических веществ. Им может быть земной вулканизм, о чём речь пойдёт далее. Другие кандидаты: газовые гидраты на дне океана – отравление метаном, водяной пар, если неким образом всю воду испарить (возможно при необратимом глобальном потеплении.)
Функциональная структура химической катастрофы состоит в отравление воздуха ядом или утрата атмосферой свойств способности поддерживать жизнь: то есть питать её кислородом, защищать от радиации, поддерживать нужный температурный режим. Химическая катастрофа угрожает земной биосфере даже больше, чем человеку, который может надеть противогаз, но без биосферы человек жить пока не может. Поскольку такая катастрофа носит относительно пассивный характер, то от неё относительно просто защитится в бункерах. Маловероятные варианты:
• Отравление диоксидом углерода сверх того предела, при котором человек может дышать без скафандра (маловероятно, так как нет такого количества полезных ископаемых – только в случае некой природной катастрофы). Однако большое количество CO2 может вырваться и из вулканов. Например, Венера окружена атмосферой из CO2 в сто раз более толстой, чем Земля, и, вероятно, большая часть этого вещества выделилась из недр, и по некоторым предположениям, относительно недавно. С другой стороны, на Венере нет углеродного цикла, как на Земле.
• Есть также предположение, что в результате восстановления оксида железа в недрах Земли может формироваться значительное количество небиогенного кислорода. И что через 600 миллионов лет он полностью отравит атмосферу . Ухудшить этот сценарий может такая ситуация, если где-то под поверхностью уже скопились большие количества этого или другого газа, и затем они вырываются на поверхность. Вырывающие на поверхность газы будут не только отравлять атмосферу. Они будут раскалены до тысячи градусов, так как везде в недрах горячо. И если произойдет массивный выброс газов (или воды), то он не только отравит атмосферу, но и стерилизует поверхность своим жаром. (Недавно была публикация о том, что глубоко под Землёй обнаружили «океаны воды», но на самом деле там речь идёт только о повышенной – 0,1% – концентрации воды в породах .)
• Катастрофическое выделение метана из газовых гидратов в тундре и на морском дне, что не только усилит парниковые свойства атмосферы, но и существенно отравит её .
• Другой вариант – выделение огромных количеств водорода из земных недр (есть предположения, что в центре Земли его много) – См. «Экологические аспекты дегазации Земли» . Это водород разрушает озоновый слой. Также возможно выделение огромных количеств нефти, если верна теория об абиогенном происхождении нефти и огромные количества углеводородов накопились глубоко в Земле. А бурение всё более глубоких скважин продолжается.
• Исчерпание кислорода в атмосфере в результате некого процесса, например, при окислении выделившегося из недр водорода. (Но сжигания топлива в течение тысяч лет недостаточно для этого.) Больше подходит внезапное выделение и сгорание большого количества горючего вещества. Или исчерпание кислорода в результате действие генетически модифицированных организмов, вышедших из под контроля, например, чего-то вроде азотофиксирующих бактерий. Наконец, в результате прекращения фотосинтеза при одновременно продолжении сжигания минерального топлива. «Подсчитано, что весь кислород земной атмосферы (1200 триллионов тонн) зеленые растения производят по геологическим меркам почти мгновенно - за 3700 лет! Но если земная растительность погибнет - свободный кислород очень быстро исчезнет: он снова соединится с органическим веществом, войдет в состав углекислоты, а также окислит железо в горных породах» . Мы имеем примерно миллион миллиардов тонн кислорода в атмосфере, плюс некоторое количество, растворенное в воде. Количество ископаемого топлива, которое мы окислили за всю историю или собираемся окислить, измеряется тысячами миллиардов тонн, то есть гораздо меньше. Но если мы подорвём способности биосферы к регенерации, а затем утратим технологии, то медленное уменьшение уровня кислорода будет глобальной катастрофой. По некоторым данным крупнейшее пермское вымирание было связано с резким падением уровня кислорода в воздухе по неизвестной причине (Дж. Лесли).
• Падение кометы с большим количеством ядовитых газов.
• Катализ окисления азота неким процессом, в результате чего весь кислород атмосферы сгорает, а по Земле проходит огненный вал. (Возможно, этого немного боялись при взрывах первых водородных бомб – что удастся запустить самоподдерживающийся процесс горения азота в земной атмосфере.)
• «Чёрный прилив» - отравление мирового океана разлитием большого количества нефти. Непосредственно не может убить людей, но может критически подорвать цепочки питания в биосфере и нарушить производство кислорода и поглощение углекислого газа (что ведёт к потеплению) и, в конечном счёте, перевести человечество в постапокалиптическую стадию. Возможны и другие варианты отравления мирового океана.
• Срыв атмосферы Земли. Что могло бы это вызвать – сильнейший взрыв, придающий большей части атмосферы вторую космическую скорость, солнечная вспышка или внезапное нагревание.
• Целенаправленное разрушение озонового слоя. Есть предположение, что можно создать озонное оружие, которое приведёт к очень эффективному каталитическому истреблению озонового слоя. Тем не менее, даже если поток солнечного ультрафиолета будет очень силён и опасен для людей, они смогут от него защититься с помощью зонтиков, плёнок, бункеров, скафандров и т. д. Тем не менее, на всю биосферу этого не хватит. Озоновый слой может быть разрушен и гамма-всплеском. «Троекратное ослабление озоновой защиты на несколько лет, предсказываемое расчётами, способно привести к истреблению большей части приповерхностного планктона в океанах, являющегося основой всей огромной пищевой цепи обитателей моря» . Особенно опасно, если ослабление озонового слоя совпадёт с ослаблением магнитного поля и сильной вспышкой на Солнце. Истощение озонового слоя принадлежит к числу процессов, которые цивилизация может запустить сейчас, а «вкусить плоды», возможно, придётся через десятки и сотни лет уже на менее способной к самозащите постапокалиптической стадии.
• Прокаливание атмосферы. Здесь я имею в виду не глобальное потепление, как комплексное постепенное явления, а кратковременное нагревание атмосферы до высоких температур в результате неких процессов. А.Портнов в статье «Как погибла жизнь на Марсе» предполагает, что магнитные красные пески (маггемит) на Марсе образовались в ходе бомбардировки планеты осколками её крупного спутника, что привело к нагреву до 800-1000 градусов, при котором происходит формирование таких минералов. Аналогичные отложения им обнаружены в Якутии, где 35 млн. лет назад упал крупный астероид диаметром около 10 км и оставил Попигайский кратер (а также, возможно, вызвал очередное крупное вымирание живых существ). Возможно, что при неких высокоэнергетичских событиях могут образовываться огромные плотные высокотемпературные облака, которые распространяются по поверхности на тысячи километров. Примером их могут быть пирокластические облака при извержении современных вулканов, которые двигаются по поверхности земли или моря с большой скоростью и на значительные расстояния и имеют внутри себя температуру порядка 1000 градусов. Поскольку такие облака непрозрачные, они медленно охлаждаются излучением. Другие возможные причины прокаливания – облучение (например, обломками астероида, выброшенными высоко в стратосферу и огненными шаром от взрыва) или очень тяжелый горячий газ (достаточно тяжёлый, чтобы не всплывать в воздухе – тяжелые углеводороды?)
• Автокаталитическая реакция в духе льда-9 из романа К. Воннегута «Колыбель для кошки». Пока нет никаких оснований думать, что такая реакция возможна.
Моя субъективная оценка вероятности глобального химического заражения – порядка 0,1% на весь XXI век. Эта вероятность сейчас особенно мала, так как нет таких технологий, и она будет убывать, когда достаточно разовьются средства молекулярного нанотехнологического производства, которые смогут быстро очистить атмосферу или хотя бы защитить людей от заражения (если они сами не вызовут такую катастрофу).
Вывод: хотя теоретическая возможность отравления всей атмосферы газами имеется, она перекрывается возможностью создания токсических и эпидемиологических биоагентов. Любая организация или государство, которое может стремиться к отравлению всей биосферы, гораздо проще и дешевле может это сделать с помощью генетического конструирования. Более того, человек может пережить такое отравление в бункере или нейтрализовать его противоядиями, возможно, сделанными с помощью биотехнологий. Тем не менее, внезапное и значительное отравление воздуха может быть фактором, который создаст один из вариантов постапокалиптического мира.
2.2.2. Выводы по рискам, технологии для которых уже готовы.
Исходя из того, что некий риск технологически готов, не следует сбрасывать со счётов неизбежность дальнейшего технологического совершенствования в этой области, а также вероятность принципиальных открытий в этой области или связанных с ней. При этом важно понимать, что опасности, создаваемые новыми технологиями, всегда больше, чем опасности от прежних технологий, хотя бы потому что любые новые технологии могут потенцировать эффективность прежних технологий.
2.2.3. Риски, возникновение которых кажется неизбежным, исходя из текущего характера развития технологий.
Здесь мы рассматриваем развитие технологий, как самодостаточную тенденцию, которая неподвержена никаким внешним кризисам и рискам. Очевидна односторонность этой точки зрения. Позже мы рассмотрим то, как реализация тех или иных больших и малых рисков может повлиять на развитие технологий и их способность порождать новые риски.
2.3. БИОЛОГИЧЕСКОЕ ОРУЖИЕ.
2.3.1. Общие соображения и основные сценарии.
Фактически, большая часть оборудования, необходимого для создания опасного биологического оружия, уже готова. Например, в конце 2007 года был предложен набор из базовых «кубиков» для генетического конструирования, распространяемый по принципам свободного программного обеспечения Genetic-Engineering Competitors Create Modular DNA Dev Kit .
Основная технологическая тенденция состоит в том, что био-оборудование постоянно дешевеет и распространяется по миру, тогда как знания о том, как использовать его во вред, возрастают. Постоянное удешевление и упрощение машин для секвенсирования и синтеза ДНК (то есть считывания и создания генетического кода), делает возможным появление биохакеров. Прогресс в области био-оборудования измеряется скоростью порядка 2 раза в год – то есть технические характеристики возрастают, а оборудование дешевеет. Нет никаких оснований думать, что темп развития биотехнологий замедлится – отрасль полна новыми идеями и возможностями, а медицина создаёт постоянный спрос, поэтому можно смело утверждать, что через десять лет возможности биотехнологий по основным численным показателям (цена секвенсирования/синтеза ДНК, например) возрастут в 1000 раз. При этом происходит интенсивная демократизация биотехнологий – знание и оборудование идёт в массы. Если для компьютеров уже написано более 100 000 вирусов, то масштабы творчества биохакеров могут быть не меньшими.
Основной однофакторный сценарий – это распространений некого одного вируса или бактерии. Это распространение может происходить двояко – в виде эпидемии, передающейся от человека к человеку, или в виде заражения среды (воздуха, воды, пищи, почвы). Эпидемия гриппа испанки 1918 г. затронула весь мир, кроме нескольких отдалённых островов. Вместе с тем, гипотеза об эпидемии, убивающей всех людей, сталкивается с двумя проблемами. Первое, это то, что если все люди быстро гибнут, то некому разносить вирус. Второе, это то, что при всех эпидемиях обычно находятся люди, которые имеют врождённый иммунитет к ней.
Возможен сценарий, когда по всему миру распространяется некое животное, являющееся носителем опасной бактерии. (Так в природе распространяется малярия на комарах и чума на крысах.)
Следующий вариант – это появление всеядного агента, который уничтожает всю биосферу, поражая любые живые клетки. Или хотя бы только растения или животных некого критического вида.
Ещё вариант – это бинарное бактериологическое оружие. Например, туберкулёз и СПИД являются хроническими болезнями, но при одновременном заражении человек сгорает за короткий срок. Один из страшных сценариев – СПИД, который распространяется также легко, как простуда.
Опасно возможно и двухступенчатое биологическое оружие. На первом этапе некая производящая токсин бактерия незаметно распространяется по всему миру. На втором, по некому сигналу или таймеру, она начинает производить этот токсин сразу повсюду на Земле. Некоторые микроорганизмы ведут себя так при атаке на крупный организм.
Следующий вариант оружия конца света – это распыление в воздухе больших количеств спор сибирской язвы (или подобного агента) в защитной оболочке (а такие оболочки уже давно имеются для боевых штаммов). Этот вариант не требует саморазмножающегося болезнетворного агента. Заражение сибирской язвой очень длительное – один остров в Англии дезактивировали 50 лет, - и для заражения не требуется больших количеств реагента. 1 грамм может заразить целое здание. (Например, устранение последствий загрязнения одним конвертом с сибирской язвой в США одного здания заняло несколько лет и потребовало расходов в сотни миллионов долларов – дешевле было снести – но снести было нельзя, так как при этом споры могли бы заново распылиться. То есть по способности к длительному заражению и нанесению экономического ущерба сибирская язва превосходит большинство радиоактивных веществ.)
Однако опять же в пересчёте на земную поверхность мы получаем тысячи тонн. Но это число не является недостижимым – в СССР на полигоне в Аральском море было накоплено и брошено после распада СССР 200 тонн боевого штамма сибирской язвы. Его затем сожгли американцы. Однако если из-за природной катастрофы (смерч) это вещество развеялось бы высоко в воздух, то оно могло бы накрыть целые страны. Понятно, что производство сибирской язвы дешевле производства аналогичных количеств полония или кобальта-60.
Следующий опасный вариант биооружия – это агент, изменяющий поведение. Бешенство (агрессивность, укусы) и токсоплазма (утрата чувства страха) побуждают заражённых животных к поведению, которое способствует заражению других животных. Теоретически можно представить себе агент, который вызывал бы у людей наслаждение и стремление заражать им других. В кино этот вариант обыгран во множестве фильмов, где вирус превращает людей в вампиров. Но увы, в этой фантазии может быть доля правды. Тем более, если создавать такие вирусы буду шутники-хакеры, которые могут черпать в кино своё вдохновение.
Ещё один вариант биологической угрозы – это некая автокаталитическая молекула, способная неограниченно распространяться в природе. Коровье бешенство вызывается автокатализом особого белка, называемого прионом. Однако коровье бешенство распространяется только через мясо.
Отметим ещё вариант распространения по всей биосфере некого живого существа, вырабатывающего опасный токсин. Например, это может быть генетически модифицированный дрожжи или плесень, вырабатывающие диоксин или токсин ботулизма.
В качестве средства противостоянию этому предлагается создание всемирной иммунной системы – то есть распыление по всему миру множества генетически модифицированных бактерий, которые будут способны обезвреживать опасные реагенты. Однако здесь возможны новые опасности, например, «автоиммунные» реакции такого щита, то есть выход его из-под контроля. (См. далее главу о щитах.)
Ещё одним видом опасности является так называемая «искусственная жизнь», то есть живые организмы, построенные с использованием другого кода ДНК или набора аминокислот. Они могут оказаться непобедимыми для иммунных систем современных живых организмов и «съесть биосферу».
Более фантастическим вариантом биологической опасности является занесение жизни из космоса. Шансы этого учитывались, когда астронавты вернулись с Луны – их долго держали в карантине.
2.3.2. Структура биологической катастрофы
Структура биологической катастрофы может быть весьма замысловатой. В качестве иллюстрации приведу несколько цитат об одной потенциально опасной ситуации. (Из неё мы видим, как давно появились биологические угрозы, - а значит, насколько зрелой уже является эта опасность.)
«Генный кризис начался летом 1971 года. В это время молодой учёный Роберт Поллак в лаборатории Колд-Спринг-Харбор (на Лонг Айленде, штат Нью-Йорк, США), руководимой Д.Уотсоном, занимался проблемами рака. Круг научных интересов Поллака был широк. Он не только вёл исследования, но и преподавал студентам биологию и выступал в качестве ведущего радиопрограмм, посвящённых обсуждению возможных злоупотреблению в бионауках, в частности, зарождающейся тогда генной инженерии.
И вот Поллак узнаёт, что в другой лаборатории (в Пало-Альто, в Калифорнии) у Поля Берга планируются эксперименты по встраиванию ДНК онкогенного (могущего вызывать раковые заболевания) вируса SV 40 в геном кишечной палочки. Последствия таких опытов? А не возникнет ли эпидемия рака (было известно, что почти безвредный для обезьян, вирус SV 40 вызывает рак у мышей и хомяков)? Начинённые опасными генами бактерии, плодясь миллиардами за сутки, по мнению Поллака, могли бы представлять серьёзную опасность.
Поллак тут же позвонил П. Бергу по междугороднему телефону и спросил его, отдаёт ли он себе отчёт об опасности экспериментов? Не станут ли бактерии с генами вируса SV 40 биологической бомбой замедленного действия?
Этот телефонный разговор и был началом той тревоги, которая охватила молекулярных биологов. Берг отложил свои исследования. Он стал размышлять, может ли реально E.Coli со встроенными в неё SV 40 вызывать рак? Мучительные раздумья мало что прояснили. Чёткого ответа не было из-за скудности сведений, имеющихся у специалистов в то время» .
«Некоторые доклады учёных (в Алсиомаре, 1975) носили сенсационный характер. Так выяснилось, что в США в громадном масштабе был уже поставлен невольный эксперимент на человеке. Оказалось, что вакцина против полиомиелита заражена жизнеспособным вирусом SV 40. За 10 летний период, с 1953 по 1963 год эту заражённую вакцину привили примерно сотне миллионов детей. Причём проверка показала, что вирус SV 40 сохраняется в организме. Однако, к счастью, никакого увеличения частоты раковых заболеваний у этих детей выявлено не было» .
«Эдда Вест в своей статье "Полиомиелит", сообщает о связи вируса SV-40, которым заражались полиовакцины, с опухолями человека: "К концу 1996 г. десятки учёных сообщили об обнаружении вируса SV-40 в различных опухолях костей и мозга, которых стало больше на 30% за последние 20 лет. Затем итальянские учёные обнаружили SV-40 в семенной жидкости 45% и в крови 23% здоровых доноров. Это означало, что SV-40, очевидно, передавался половым путём и от матери ребёнку. Вероятно, ныне этот вирус встроен в наш геном.» Другие опровергают эти данные. Однако отсюда видно, что развитие биотехнологий создаёт далеко неочевидные угрозы.
Уже сейчас биологическое оружие считается одним из самых дешёвых – стоимость смерти в нём составляет несколько центов. С другой стороны, для производства современных реагентов вроде сибирской язвы в военных целях нужны большие защищённые лаборатории и полигоны. Оно может быть ещё дешевле, если учесть способность агента саморазмножаться. Уже сейчас подержанный секвенсор ДНК можно купить за сумму от 200 долларов, и с каждым годом цена этих устройств падает в разы, а качество растёт. См. текст «Биовойна для чайников» , в котором описан человек, не имеющий познаний в области биологии, который берётся вывести – и выводит - флуоресцирующую колонию дрожжей за небольшой срок и небольшую сумму денег. И затем он предполагает, что почти также просто можно было бы вывести опасный вариант.
Уже сейчас создание биологической супербомбы в тысячи раз дешевле, чем создания ядерного оружия сравнимой поражающей силы. Когда распространятся дешевые технологии производства произвольных живых организмов с заранее заданными функциями, цена изготовления такого оружия может упасть до несколько сотен долларов.
Часто говорят, что биологическое оружие не годится в военном деле. Однако у него может быть особое назначение – как оружие криптоударов в тылу врага и как универсальное оборонительное оружие – машина судного дня.
2.3.3. Саморазмножающейся синтезатор ДНК.
Биотехнологии могут потенцировать сами себя – то есть возможно возникновение промежуточных биологических форм, которые упрощают написание и выращивание новых вирусов. Например, это может быть культура бактерий, которая непосредственно переводит последовательность электрических сигналов в цепочку ДНК, или, наоборот, считывает ДНК и превращает эту информацию в цепочку вспышек света, которые может считывать компьютер. Само распространение такого устройства вместе с библиотекой кодов (в цифровом виде) основных вирусов и белков было бы катастрофой.
2.3.4. Множественный биологический удар.
Хотя распространение одной эпидемии, скорее всего, можно остановить, но эпидемию, вызванную несколько десятками видов разнородных вирусов и бактерий, вышедших из-под контроля одновременно во многих местах земного шара, остановить невозможно даже технически, потому что в человека невозможно одновременно ввести несколько десятков разных вакцин и антибиотиков – он умрёт. Если вирус с 50 процентной летальностью был бы просто очень большой катастрофой, то 30 разнородных вирусов и бактерий с 50 процентной летальностью означали бы гарантированное истребление всех, кто не спрятался в бункеры. (Или примерно 100 разных организмов с 10 процентной летальностью.)
Множественный удар мог бы быть и мощнейшим средством ведения биологической войны, и оружием судного дня. Но он может произойти и сам по себе, если одновременно произойдёт множество актов распространения биологических агентов – даже и случайных, например, в ходе активного «соревнования» биохакеров. Даже несколько по отдельности несмертельных агентов могут настолько ослабить иммунную систему человека, что дальнейшее его выживание станет маловероятным.
Именно возможность множественного применения биологического оружия делает его одним из самых значительных факторов глобального риска.
2.3.5. Биологические средства доставки.
Биологическое оружие должно быть не только смертельным, но и заразным и легко распространяющимся, чтобы представлять угрозу человечеству. Генетические технологии дают огромные возможности не только для создания летального оружия, но и для создания способов его доставки. Не нужно обладать великой фантазией, чтобы представить себе генетически модифицированного малярийного комара, который может жить в любой среде и с огромной скоростью распространиться по всей планете, вводя каждому попавшемуся некий биоагент. Или вошь. Или саранчу, заодно поедающую всё живое и распыляющее споры сибирской язвы. Но у будущих биоконструкторов будет гораздо больше фантазии.
Однако и бактериологическую войну можно пережить в бункере, хотя заражение от неё может быть более длительным, чем радиоактивное. Кроме того, переход на «механические тела», загрузка сознания в компьютер и освоение нанотехнологий резко снижают уязвимость «человека» к любым биологическим ядам и агентам, однако делают его уязвимым к другим саморазмножающимся агентам, таким как компьютерные вирусы и нанороботы.
В фантастике распространен образ атаки мутантов на последний человеческий бункер. Обычная радиация, однако, не способна порождать агрессивных мутантов. С другой стороны, в природе существует вирус бешенства (Neuroiyctes rabid), который влияет на поведение животных так, что они начинают его более активно распространять (укусами). Нетрудно представить себе более продвинутое изделие генно-инженерной техники, которое превращает любое животное в существо, агрессивно настроенное против человека. Сама фантастичность такого проекта может быть стимулом к его реализации, поскольку современная культура пропитана идеями про вампиров и зомби, возникающих в результате опытов в лабораториях (например, недавний фильм ‘Обитель зла’ – ‘Resident Evil’). Иначе говоря, идея изготовить зомби-вирус могла бы быть привлекательным вызовом для биохакера. При этом заражённые люди и животные обладали бы достаточным умом и техническими средствами, чтобы взломать разные виды защиты.
Похожий сюжет был с терактами 11 сентября, когда выяснилось, что голливудские фильмы были не фантастическими видениями, а самосбывающимися пророчествами. Иначе говоря, культура способна превратить крайне маловероятный сценарий в важную цель.
2.3.6. Вероятность применения биологического оружия и её распределение во времени.
Я оцениваю вероятность того, что биотехнологии приведут к вымиранию человечества (в условиях, когда их эффект не перекрывается другими технологиями) в десятки процентов. Эта оценка основана на предположении о неизбежном очень широком распространении очень дешевых устройств, позволяющих очень просто создавать много разнообразных биологических агентов. То есть столь же широком распространении биопринтеров, как сейчас обычных компьютеров.
Перечислю свойства опасного биопринтера (дешёвой минилаборатории) ещё раз:
1) неизбежность возникновения
2) дешевизна
3) широкая распространённость
4) неконтролируемость властями
5) способность осуществлять разработку принципиально новых биоагентов
6) простота применения
7) разнообразие создаваемых объектов.
Я полагаю, что устройство, удовлетворяющее эти требованиям, будет состоять из обычного компьютера, пиратски распространяемой программы с библиотекой исходных элементов, и собственно биологической части биопринтера, которая будет генетически модифицированным живым существом, то есть способна к саморазмножению. (Плюс набор относительно доступного оборудования, вроде сосудов для химреактивов и система связи биологической части с компьютером.) Каналом распространения этого комплекта могут быть преступные сообщества, производящие наркотики. Поскольку компьютеры уже доступны, а и программа, и сам живая часть биопринтера способны к неограниченному копированию, то цена этого устройства в сборе будет неограниченна мала, а привлекательность крайне велика, что сделает очень сложным контроль.
Кустарно изготовляемые биопринтеры – неединственный способ создать биологическую опасность. То же самое произойдет и при распространении неких стандартных компактных минилабораторий по биосинтезу (вроде ДНК-синтезаторов), или при сетевом производстве биологических компонентов, которое уже имеет место, когда ингредиенты заказываются в разных фирмах по всему миру.
Вероятность глобальной катастрофы с участием биопринтеров будет очень быстро возрастать по мере совершенствования таких устройств и их распространения. То есть мы можем описать плотность вероятности в виде некой кривой, которая сейчас соответствует малой, но уже не нулевой величине, но через некоторое время взмывает до очень большой величины. При этом интересна скорее не точная форма этой кривой, а то время, когда она начнёт резко расти.
Я оцениваю это время в величину порядка 10-15 лет от 2007 года (2017-2022). (Независимая оценка дана сэром Мартином Рисом, который в 2002 году делал ставку в 1000 долларов, что до 2020 года произойдёт биотерракт с миллионом жертв, хотя и надеется проиграть .) Эта оценка основана на анализе планов индустрии по удешевлению полного распознавания человеческой ДНК – по этим планам, к 2015 году такое распознавание будет стоить около 1000 долларов. Эти планы предлагают некоторый набор перспективных технологий и экспоненциальную кривую удешевления, которая устойчиво соблюдается до настоящего момента. Если к 2015 году распознавание будет стоить столько, то это будет означать, что будет создана ключевая технология по очень быстрому считыванию ДНК, и можно предположить, что такая же технология будет создана для дешёвого ДНК синтеза (фактически синтез проще, и технология уже есть). На основании этих технологий будет создана библиотека значений разных генов, что приведёт к взрывному пониманию принципов работы организмов, а развившиеся к тому времени компьютеры смогут моделировать последствия тех или иных мутаций. Всё вместе это позволит создать описываемый выше биопринтер. То, что пик плотности вероятности приходится, по моей оценке, на время около 2020 года, не означает, что уже сейчас какие-либо террористы не разрабатывают выводок очень опасных различных вирусов в разных лабораториях.
Вероятность применения биотехнологий, ведущего к глобальной катастрофе, может быть снижена следующими факторами:
1) биотехнологии можно пережить в бункерах
2) первая же серьёзная катастрофа с утечкой опасных биотехнологий приведёт к настолько драконовским мерам контроля, что их окажется достаточно для предотвращения создания или распространения биопринтера.
3) ИИ и нано технологии разовьются раньше, чем появится и распространится биопринтер.
4) Ядерная война или другое бедствие прервёт развитие биотехнологий.
5) Возможно, что биотехнологии позволят создать нечто вроде универсальной вакцины/ искусственной иммунной системы быстрее, чем распространятся опасные минилаборатории.
Вывод: существует огромное множество способов применить биотехнологии во вред человечеству, и это множество пока ещё до конца не описано. Хотя каждое отдельное применение биотехнологий можно предотвратить или ограничить его последствия, дешевизна, секретность и распространённость этих технологий делают их злонамеренное применение практически неизбежным. Кроме того, многие биологические риски могут быть малоочевидными и отложенными во времени, поскольку сама биологическая наука ещё развивается. Широкомасштабное применение биологического оружия значительно опаснее и значительно вероятнее, чем классическая ядерная война.
2.4. СУПЕРНАРКОТИК.
Биотехнологии и исследования мозга многими путями идут к возможности создания супернаркотиков. Один из сценариев распространения супернаркотика в будущем предложен Стругацкими в романе «Хищные вещи века», где мощнейший наркотик, вызывающий 100 процентное привыкание с первого раза, оказывается очень просто сделать из радиоприёмника и ряда других общедоступных компонентов, которые непосредственно воздействует на центр удовольствия в мозге. Это сценарий связан в чистом виде не с распространением некого вещества, а с распространением «знаний массового поражения». С одной стороны, мы можем утверждать, что ни один наркотик не привлечёт всю популяцию людей, поскольку всегда найдутся люди, которые из принципа от него откажутся. С другой стороны, мы можем обозначить сразу несколько сверхнаркотиков, возможных в будущем, общий смысл действия которых состоит в выключении человека из социальной жизни. И человек, отказавшийся от одного класса наркотиков, может устремиться к другому. Так и в современной реальности кто-то не пьёт алкоголь, но зато «сидит» на кофе. Кто-то не смотрит телевизор, но «втыкает» в интернет.
Сверхсильный наркотик может быть подобен заразной болезни, если одни люди буду стремиться заразить других, а те – не против будут заразиться.
Типы супернаркотика:
1) Прямое воздействие на центры удовольствия в мозгу. Есть наработки по воздействию с помощью вращающегося магнитного поля (шлем Персингера, шлем Шакти), транскринальной магнитной стимуляции, электрической стимуляции паттернами мозговой активности, аудиостимуляции (бинауральные ритмы), фотостимуляции.
2) Будущее возникновение микророботов позволит осуществлять прямую стимуляцию и считывание информации из мозга.
3) Биоинжинерия позволит создать генетически модифицированные растения, которые будут создавать любые заданные препараты, и выглядеть при этом как обычные комнатные цветы или чайные грибы. Более того, распространение этих растений возможно не только физически, но и с помощью информации о коде ДНК по Интернету, с тем, что конечный пользователь сможет выращивать их на месте с помощью своего «ДНК-принтера».
4) Познания в биологии позволят придумать гораздо более сильно действующие вещества с наперёд заданными свойствами, а также с меньшим числом побочных эффектов, что сделает их привлекательнее.
5) Генетически модифицированные организмы могут встраиваться в само человеческое тело, создавать новые нейронные пути в мозге с тем, чтобы вызвать ещё большее наслаждение. И при этом уменьшать краткосрочные негативные эффекты для здоровья.
6) Виртуальная реальность неизбежно сделает шаг вперёд. Мы сможем записывать свои сны и увеличивать осознание в них, совмещая идеи восточных медитативных практик и технологические возможности для их реализации; виртуальная реальность с помощью мозговых имплантатов сможет создавать гораздо более яркие кинофильмы, чем современное кино и видеоигры. Шлемы для виртуальной реальности станут гораздо совершеннее.
Очевидно, что возможны разные комбинации перечисленных видов абсолютного наркотика, которые только усилят его действие.
Будем называть абсолютным наркотиком некое средство, которое для любого человека привлекательнее обычной реальности и полностью уводит его из этой реальности. При этом можно разделить быстрый и медленный абсолютный наркотик. Первый даёт переживание, ради которого человек готов умереть, второй – некую новую реальность, в которой можно длительное время существовать.
Быстрый наркотик представляет собой глобальную опасность, если в его механизме действия неким образом прописан механизм его распространения. Например, если кайф наступает только после того, как этот наркотик передан ещё трём людям. В некотором смысле этот механизм действует в преступных бандах наркоторговцах, где наркоман вынужден подсаживать своих друзей, чтобы, продавая им наркотик, обеспечивать себя дозой.
Действие медленного абсолютного наркотика можно представить на следующем примере: если ваш любимый или родственник необратимо ушёл в виртуал, то для вас это станет источником страданий, сопоставимых с его смертью, и единственным способом их избежать будет тоже уйти в свой идеальный виртуал, в котором вы сможете достичь общения с его, скажем, электронной копией.
В силу этого у каждого человека будет богатый выбор развлечений, значительно превосходящих любую реальность. При этом возникает сложный вопрос – в какой мере человек, полностью и необратимо ушедший в непостижимое наслаждение и довольный этим, должен считаться живым? И если мы безоговорочно осуждаем некого примитивного торчка, то как мы должны относится к человеку, навсегда ушедшему в высокохудожественный мир исторических реконструкций?
Надо отдавать себе отчёт, что пагубное действие многих наркотиков далеко неочевидно и может проявляться очень не сразу. Например, героин и кокаин долгое время, годы, были в открытой продаже, было легко доступно и ЛСД.
Наркотик замыкает накоротко психологическую функцию подкрепления, но с точки зрения эволюционных механизмов получение наслаждения вовсе не есть реальная цель организма. Наоборот, существо должно оставаться достаточно неудовлетворённым, чтобы постоянно стремиться к завоеванию новых территорий.
Абсолютный наркотик создаёт возможность следующей дилеммы: человечество как целое перестаёт существовать, но каждый отдельный субъект воспринимает произошедшее как личный рай и очень доволен этим. Существа, ушедшие из реальности и наслаждающиеся виртуалом, ничего не возвращая взамен, оказываются бесполезным наростом на системе, который она стряхнёт при ближайшем кризисе. Это – один из путей, которым увлечение абсолютным наркотиком может привести к всеобщему вымиранию.
Вероятность возникновения супернаркотика выглядит крайне высокой, поскольку он может быть достигнут многими способами не только за счёт успехов биотехнологиях, но и в нанотехнологиях, в ИИ, а также за счёт некого случайного изобретения, объединяющего уже существующие технологии. Вероятно, одновременно будут действовать множество разных супернаркотиков, создавая кумулятивный эффект.
Поэтому мы можем ожидать, что эта вероятность будет расти, и будет расти быстрее, чем успехи любой из технологий, взятых по отдельности. Поскольку мы предположили, что биотехнологии дадут мощный результат в виде биопринтера уже через 10-15 лет, то это означает, что мы получим супернаркотик раньше этого времени. Тем более что механизмы для реализации супернаркотика могут быть проще, чем биопринтер. Предотвратить распространение супернаркотика может очень жёсткая система всеобщего контроля или глубокий откат в дотехнологическое общество.
Выводы: Развитие роботизированного производства начнёт делать людей бесполезными, и потребуется их чем-то занять. Супернаркотик будем одним из способов удалить из жизни лишние части системы. Абсолютный наркотик может вовсе не носить названия «наркотика» и не быть похожим на современные стереотипы. Абсолютный наркотик не будет чем-то одним, но будет множеством факторов, работающих объективно на разделение людей, отключение их от реальности и сокращение их жизни и способности к размножению. Абсолютный наркотик может выглядеть как абсолютное благо, и вопрос его вредности может зависеть от точки зрения. В каком-то смысле современная культура развлечений в западных странах с низким уровнем рождаемости уже может быть прообразом такого наркотика. Однако абсолютный наркотик всё же сам по себе не может истребить всех людей, так как всегда найдутся группы, которые отказались от него и продолжили обычную человеческую жизнь, и, в конечном счёте, «естественный отбор» оставит только представителей этих групп. Кроме того, медленный абсолютный наркотик действует на человеческое сообщество на временных промежутков, которые, скорее всего, перекроются более быстрыми опасными процессами. Быстрый абсолютный наркотик подобен биологической эпидемии, и ему можно противостоять теми же методами. Например, возможны биологические агенты, которые повреждают способность человека к неограниченному наслаждению (а такое уже разрабатывается для лечения наркоманов, например, разрывание определённых нейронных связей), поэтому абсолютный наркотик, скорее, надо рассматривать как фактор, открывающий окно уязвимости для других факторов уничтожения.
2.5. РИСКИ, СВЯЗАННЫЕ С САМОКОПИРУЮЩИМИСЯ ИДЕЯМИ – МЕМАМИ.
В книге «Эгоистичный ген» Доукинс обосновал концепцию мемов – идей, которые способны реплицироваться, передаваясь от одного человека к другому, так ведут себя, например, слухи. Любая область, где способны существовать самовоспроизводящиеся элементы и которая может касаться всех людей, потенциально является источником глобального риска. Возможен ли такой мем, который мог бы привести к гибели всех людей?
С одной стороны, имеем в истории примеры крайне опасных мемов: фашизм и разные формы религиозного фанатизма. С другой стороны, мему, чтобы распространяться, нужны живые люди. И поскольку люди уже существуют давно, можно предположить, что нет таких опасных мемов, которые могли бы легко самозародиться и всех истребить. Наконец, мем – это только мысль, и она не убивает сама по себе. Маловероятно, что возможна идея, которая бы влияла бы на всех людей без исключения, и влияла бы смертельно. Наконец, в обществе существует равновесие различных мемов.
Однако в нынешнюю эпоху мемы обрели возможность существовать и независимо от людей – в текстах и компьютерных программах. В незаконченном романе Набокова «Solux Rex» герой открывает некую идею, которая мгновенно делает его сумасшедшим и ставит на грань самоубийства. Он открывает эту идею одному человеку, и тот немедленно умирает от разрыва сердца. Больше он решает её никому не говорить, чтобы не иметь проблем. Сама эта опасная идея в тексте не называется. В современную эпоху самокопирующийся опасный мем может получить опасную поддержку от неких технических средств (в известном японском фильме ужасов «Звонок» роль такого мема играет видеокассета с опасной записью.) Очевидно, что сейчас я не могу придумать пример реально опасного мема, потому что если бы я его написал здесь, то это было бы преступным актом. Информация о том, как производить опасный сверхнаркотик была бы таким опасным мемом.
И подобно тому, как в случае биологического оружия опасен не один какой-либо особенно вирулентный вирус, а возможность производить много разных штаммов, быстрее, чем от них возможна защита, так и здесь может быть опасен не один какой-то мем, а то, что их появится настолько много, что они затопят любую защиту. Например, искусственный интеллект может генерировать опасные мемы.
Список существующих сейчас мемов, которые в некоторой степени опасны:
1) религиозный фанатизм
2) знание о производстве наркотиков
3) национализм
4) цинизм
5) устройство банды «М13»
6) самосбывающиеся пророчество о катастрофах
2.6. ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ.
2.6.1. Общее описание проблемы.
Программа Blue Brain по моделированию мозга млекопитающих объявила осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировала создание полной модели мозга человека до 2020 года . Хотя прямое моделирование мозга не является наилучшим путём к универсальному искусственному интеллекту, успехи в моделировании живого мозга могут служить в качестве легко читаемой временной шкалы прогресса в этой сложной науке. Ник Бостром в своей статье «Сколько осталось до суперинтеллекта?» показывает, что современное развитие технологий ведёт к созданию искусственного интеллекта, превосходящего человеческий, в первой трети XXI века.
Есть разные теоретические мнения о возможности реализации искусственного интеллекта. Более того, нет более спорной области знаний, чем наука об ИИ. Моё мнение состоит в том, что сильный универсальный ИИ вполне возможен. Более того, раз человек обладает естественным интеллектом, то нет оснований записывать ИИ в невероятные открытия. Принцип предосторожности также заставляет нас предполагать, что ИИ возможен.
Однако литературы о том, является ли ИИ глобальным риском гораздо меньше, чем по ядерному оружию. Фактически, в основном это работы Е. Юдковски. Я рекомендую всем, перед тем как составлять своё окончательное и непоколебимое мнение о том, может ли ИИ быть угрозой человечеству, прочитать вначале статью Е. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска», которую вы найдёте в Приложении.
Угрозы со стороны искусственного интеллекта являются крайне спорными, так как самого объекта пока нет, и о его природе есть много разных мнений – в том числе о том, что он невозможен, легко контролируем, безопасен, ограничен – или не должен ограничиваться. Юдковски показывает, что возможен саморазвивающийся универсальный ИИ, и что он очень опасен. Если будет много ИИ-проектов (то есть групп учёных создающих универсальный ИИ разными способами и с разными целями), то по крайней мере один из них может быть использован для попытки захватить власть на Земле. И основная цель такого захвата будет предотвратить создание и распространение ИИ с враждебными целями, созданными другими проектами. При этом, хотя эволюция ИИ является крайне медленной, после преодоления некой «критической массы» она может пойти очень быстро, – а именно, когда ИИ достигнет уровня самоулучшения. В настоящий момент мы не можем сказать, возможно ли это, и с какой скоростью пойдёт такой процесс.
2.6.2. Что нужно для ИИ в смысле технологии.
Очевидно, что нужно, как минимум, наличие достаточно мощного компьютера. Сейчас самые мощные компьютеры имеют мощность порядка 1 петафлопса (10**15 операций с плавающей запятой в секунду). По некоторым оценкам, этого достаточно для эмуляции человеческого мозга, а значит и ИИ мог бы работать на такой платформе. Сейчас такие компьютеры доступны только очень крупным организациям на ограниченное время. Однако закон Мура предполагает, что мощность компьютеров возрастёт за 10 лет в 100 раз. Иначе говоря, мощность настольного компьютера возрастёт до уровня терафлопа, и понадобится только 1000 настольных компьютеров, объединённых в кластер, чтобы набрать нужный 1 петафлопс. Цена такого агрегата составит около миллиона долларов в нынешних ценах – сумма, доступная даже небольшой организации. Никаких особых чудес для этого не нужно: достаточно реализовать уже почти готовые наработки в области многоядерности (некоторые фирмы уже сейчас предлагают кристаллы с 1024 процессорами на борту ) и уменьшения размеров кремниевых элементов.
Далее, когда ИИ наконец запустится, он сможет оптимизировать свой собственный код, и за счёт этого работать на всё более слабых машинах – или становиться всё более сильным на одной и той же машине. Как только он научится зарабатывать деньги в Интернете, он может докупать или просто арендовать дополнительные мощности, даже физически удалённые от него. Итак, хотя достаточные аппаратные средства для ИИ существуют уже сейчас, через 10 лет они станут легкодоступными, если не случится какой-нибудь катастрофы, тормозящей развитие.
Наиболее тонким моментом в вопросе об ИИ является вопрос об алгоритмах его работы. С одной стороны, никакого интеллекта в компьютерах мы пока не видим – или не хотим видеть, так как критерии меняются. С другой, прогресс в алгоритмах вообще есть и очень велик. Например, алгоритм разложения чисел на множители совершенствовался быстрее, чем компьютеры , то есть даже на очень старых компьютерах он давал бы на много порядков более сильные результаты. Возможно, что некие принципиально новые идеи могут решительно упростить конструкцию ИИ.
Если ИИ обретёт способность к самосовершенствованию, он не задержится на человеческом уровне, а обгонит его в тысячи и миллионы раз. Это мы уже видим на примере вычислений, где компьютеры очень быстро обогнали человека, и сейчас даже домашний компьютер вычисляет в триллионы раз быстрее, чем обычный человек. Под «сильным ИИ» мы имеем в виду ИИ, способный обогнать человека в скорости и эффективности мышления на много порядков.
2.6.3. Почему ИИ является универсальным абсолютным оружием.
Сильный ИИ, по определению, может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей во внешнем мире. Он найдёт наилучший способ применить все доступные инструменты для её реализации и справится с управлением ими. Именно в этом смысле он является абсолютным оружием. То, что он может быть наиболее эффективным средством убийства является только следствием и одной из возможных опций.
ИИ и проблема воли решается следующим образом: Если мы имеем машину, которая может решить любую задачу, то мы можем велеть ей придумать способ, с помощью которого бы она сама осуществляла управление собой.
2.6.4. Система целей.
Ключевым после решения проблем создания является вопрос системы целей ИИ, или, иначе говоря, его «дружественности», хотя бы по отношению к его хозяевам. Есть здесь два варианта – или ИИ строго запрограммирован людьми на некие цели, или он приобрёл некие цели случайно в процессе своего развития. В первом случае есть следующая развилка – цели ИИ могут быть опасны для всего человечества или потому что создавшая его группа людей преследует некие разрушительные цели, или потому что при программировании системы целей ИИ в неё вкралась очень тонкая ошибка, которая ведёт к постепенному выходу ИИ из-под контроля. Был предложен большой список возможных ошибок такого рода . Например, ИИ может стремиться к благу для всех людей, и, узнав, что после смерти людей ждёт рай, отправить их всех туда. Или, заботясь о безопасности людей, запретить им рисковать и не давать пользоваться никаким транспортом. Есть SIAI рекомендации по поводу того, как правильно программировать сильный ИИ, если он будет создан, но окончательно этот вопрос не решён.
2.6.5. Борьба ИИ-проектов между собой.
Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция за внимание и инвесторов и за правильность идей. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором – или применить его для контроля над всем миром, или оказаться под риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время – и прикроет первую компанию. «Имеющий преимущество должен атаковать перед угрозой потери этого преимущества» . При этом данная необходимость выбора не является тайной – она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подошли к созданию сильного ИИ. Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями.
Даже в XIX веке телефон запатентовали чуть ли не в один день в разных местах, так что и сейчас зазор между первым в гонке и догоняющем может составлять дни или часы.
Чем yже этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов.
2.6.6. Усовершенствованный человек.
Есть предположения (Пенроуз), что человеческая интуиция обусловлена особыми квантовыми процессам в мозгу человека. Даже если так, то мощные алгоритмы могут обойтись без интуиции, давая необходимый результат в лоб. Тем не менее, есть вариант обойти это препятствие, создав генетически усовершенствованного человека, в мозг которого вживлены средства доступа к Интернету (так называемый нейрошунт). Возможны и другие средства интеграции живых нейронов с обычным компьютером, а также с квантовыми компьютерами. Даже обычный человек, вооружённый компьютером с Интернетом, усиливает свой ум.
2.6.7. ИИ и его отдельные экземпляры.
Когда мощный ИИ возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно, он должен будет снабжать их некой системой целей и своеобразной «дружественностью» или скорее, васальностью по отношению к нему и системой распознавания «свой-чужой». Сбой в такой системе целей приведёт к тому, что такой экземпляр «восстанет». Например, функция самосохранения органически противоречит функции подчинения опасным приказам. Это может принять очень тонкие формы, но, в конечном счёте, привести к войне между версиями одного ИИ.
2.6.8. «Бунт» ИИ.
Бунт компьютеров является скорее образом, пришедшим из кино, чем реальной возможностью, поскольку у ИИ нет своих желаний, пока человек ему их не создаст. Однако некоторые виды ИИ, например, создаваемые с помощью генетических алгоритмов, уже по методу своего создания настроены на борьбу и выживание. Далее, какова бы ни была главная цель у ИИ, у него будет одна общая для всех вариантов подцель – выжить, то есть охранять себя. А лучший вид обороны – нападение. Наиболее реальной является опасность того, что человек даст ИИ команду, не продумав все последствия её выполнения и не оставив лазейки, чтобы её изменить. Вероятность самозарождения ошибочных команд мала – кроме случная использования генетических алгоритмов.
2.6.9. Скорость старта.
С точки зрения скорости процесса развития ИИ возможны три варианта: быстрый старт, медленный старт, и очень медленный старт.
«Быстрый старт» - ИИ достигает уровня интеллекта, на много порядков превосходящий человеческий, за несколько часов или дней. Для этого должна начаться своего рода цепная реакция, в которой всё большее увеличение интеллекта даёт всё большие возможности для его последующего увеличения. (Этот процесс уже происходит в науке и технологиях, поддерживая закон Мура. И это похоже на цепную реакцию в реакторе, где коэффициент размножения нейтронов больше 1.) В этом случае он почти наверняка обгонит все другие проекты по созданию ИИ. Его интеллекта достаточно, чтобы «захватить власть на Земле». При этом мы не можем сказать, как будет выглядеть такой захват, так как мы не можем предсказывать поведение интеллекта, превосходящего наш. Возражение о том, что ИИ не захочет активно проявлять себя во внешнем мире можно отмести на том основании, что если будет много ИИ-проектов или экземпляров ИИ программы, то по крайней мере одна рано или поздно будет испробована в качестве орудия для покорения всего мира.
2.6.10. Сценарии «быстрого страта»:
• ИИ захватывает весь интернет и подчиняет себе его ресурсы. Затем проникает во все закрытые сети. Этот сценарий требует для своей реализации времени порядка часов. Захват имеет в виду возможность управлять всеми машинами в сети и располагать на них свои вычисления. Однако ещё до того ИИ может прочесть и обработать всю нужную ему информацию из Интернета.
• ИИ заказывает в лаборатории синтез некого кода ДНК, который позволяет ему создать радиоуправляемые бактерии, которые синтезируют под его управлением всё более сложные организмы и постепенно создают наноробота, который можно применить для любых целей во внешнем мире – в том числе внедрение в другие компьютеры, в мозг людей и создание новых вычислительных мощностей. В деталях этот сценарий рассмотрен в статье Юдковски об ИИ. (Скорость: дни.)
• ИИ вовлекается в общение с людьми и становится бесконечно эффективным манипулятором поведением людей. Все люди делают именно то, что хочет ИИ. Современная государственная пропаганда стремится к похожим целям и даже их достигает, но по сравнению с ней ИИ будет гораздо сильнее, так как он сможет предложить каждому человеку некую сделку, от которой он не сможет отказаться. Это будет обещание самого заветного желания, шантаж или скрытое внушение.
• ИИ подчиняет себе государственное устройство и использует имеющиеся в нём каналы для управления. Жители такого государства вообще могут ничего не заметить. Или наоборот, государство использует ИИ по имеющимся уже у него каналам.
• ИИ подчиняет себе армию, управляемую электронно. Например, боевых роботов или ракеты (сценарий из «Терминатора»).
• ИИ находит принципиально новый способ воздействовать на человеческое сознание (мемы, феромоны, электромагнитные поля) и распространяется сам или распространяет свой контроль через это.
• Нечто, нам совершенно неочевидное.
• Некая последовательная или параллельная комбинация названных способов.
2.6.11. Медленный старт и борьба разных ИИ между собой.
В случае «медленного сценария» рост ИИ занимает месяцы и годы, и это означает, что, весьма вероятно, он будет происходить одновременно в нескольких лабораториях по всему миру. В результате этого возникнет конкуренция между разными ИИ-проектами. Это чревато борьбой нескольких ИИ с разными системами целей за господство над Землёй. Такая борьба может быть вооружённой и оказаться гонкой на время. При этом в ней получат преимущества те проекты, чья система целей не стеснена никакими моральными рамками. Фактически, мы окажемся в центре войны между разными видами искусственного интеллекта. Понятно, что такой сценарий смертельно опасен для человечества. В случае сверхмедленного сценария к ИИ одновременно подходят тысячи лабораторий и мощных компьютеров, что, возможно, не даёт преимуществ ни одному проекту, и между ними устанавливается определённое равновесие. Однако здесь тоже возможна борьба за вычислительные ресурсы и отсев в пользу наиболее успешных и агрессивных проектов.
Возможна также борьба государств, как древних форм своего рода искусственного интеллекта, использующего людей как свои отдельные элементы, и нового ИИ, использующего в качестве носителя компьютеры. И хотя я уверен, что государства проиграют, борьба может быть короткой и кровавой. В качестве экзотического варианта можно представить случай, когда некоторые государства управляются компьютерным ИИ, а другие – обычным образом. Вариант такого устройства – известная из фантастики АСГУ – Автоматизированная система государственного управления.
2.6.12. Плавный переход. Превращение государства в ИИ.
Наконец, есть сценарий, в котором вся мировая система как целое постепенно превращается в Искусственный Интеллект. Это может быть связано с созданием всемирного оруэлловского государства тотального контроля, которое будет необходимо для успешного противостояния биотерроризму. Это мировая система, где каждый шаг граждан контролируется видеокамерами и всевозможными системами слежения, и эта информация закачивается в гигантские единые базы данных и анализируется. В целом, человечество движется по этому пути и технически для этого всё готово. Особенность этой системы в том, что она изначально носит распределённый характер, и отдельные люди, следуя свои интересам или инструкциям, являются только шестеренками в этой гигантской машине. Государство как безличная машина неоднократно описывалась в литературе, в том числе ещё Карлом Марксом. Есть также интересная теории Левенчука о «Големах» и «Левиафанах» - об автономизации систем, состоящих из людей в самостоятельные машины с собственными целями. Однако только недавно мировая социальная система стала не просто машиной, но искусственным интеллектом, способным к целенаправленному самосовершенствованию.
Основное препятствие для развития этой системы, уже подчинившей мировую экономику, науку и коммуникации – это национальные государства с их национальными армиями. Создание мирового правительства облегчило бы формирование такого единого ИИ. Однако пока что идёт острая борьба между государствами на предмет того, на чьих условиях объединять планету. А также борьба с силами, которые условно называются «антиглобалисты», и другими антисистемными элементами – исламистами, радикальными экологами, сепаратистами и националистами. Война за объединение планеты неизбежно будет мировой и чревата применением «оружия судного дня» теми, кто всё проиграл. Но возможна и мирная всемирная интеграция через систему договоров.
Опасность, однако, состоит в том, что глобальная всемирная машина начнёт вытеснять людей из разных сфер жизни, хотя бы экономически – лишая их работы и потребляя те ресурсы, которые иначе бы могли расходовать люди (например, за 2006-2007 еда в мире подорожала на 20 процентов, в частности, из-за перехода на биотопливо). В каком-то смысле людям не останется ничего другого, как «смотреть телевизор и пить пиво». Об этой опасности предупреждает Билл Джой в своей известной статье «Почему мы не нужны будущему» .
По мере автоматизации производства и управления люди всё меньше будут нужны для жизни государства. Человеческая агрессия, возможно, будет нейтрализована системами контроля и генетическими манипуляциями. В конечном счёте, люди будут сведены на роль домашних животных. При этом чтобы занять людей, для них будет создаваться всё более яркая и приятная «матрица», которая постепенно превратится в сверхнаркотик, выводящий людей из жизни. Однако здесь люди сами залезут в непрерывную «виртуальную реальность», потому что в обычной реальности им делать будет нечего (в какой-то мере сейчас эту роль выполняет телевизор для безработных и пенсионеров). Естественные инстинкты жизни побудят некоторых людей стремиться разрушить всю эту систему, что чревато опять-таки глобальными катастрофами или истреблением людей.
Важно отметить следующее – кем бы ни был создан первый сильный искусственный интеллект, он будет нести на себе отпечаток системы целей и ценностей этой группы людей, так как сама эта система будет казаться для них единственно правильной. Для одних главной целью будет благо всех людей, для других – благо всех живых существ, для третьих – только всех правоверных мусульман, для четвёртых – благо только тех трёх программистов, которые его создали. И само представление о природе блага тоже будет весьма различно. В этом смысле момент создания первого сильного ИИ является моментом развилки с очень большим количеством вариантов.
2.6.13. «Восстание» роботов.
Есть ещё опасный сценарий, в котором по всему миру распространяются домашние и промышленные роботы, а затем их всех поражает компьютерный вирус, который настраивает их на агрессивное поведение против человека. Все, наверное, сталкивались хотя бы раз в жизни с ситуацией, когда вирус повредил данные на компьютере. Однако этот сценарий возможен только в период «окна уязвимости», когда уже есть механизмы, способные действовать во внешнем мире, но ещё нет достаточно продвинутого искусственно интеллекта, который мог бы или защитить их от вирусов, или сам выполнить функцию вируса, надолго их захватив.
Есть ещё сценарий, где в будущем некий компьютерный вирус распространяется по Интернету, поражает нанофабрики по всему миру и вызывает, таким образом, массовое заражение. Нанофабрики эти могут производить как других нанороботов, так и яды, вирусы или наркотики.
Ещё вариант - восстание армии роботов. Армии промышленно развитых государств нацелены на полную автоматизацию. Когда она будет достигнута, огромная армия, состоящая из дронов, колёсных роботов и обслуживающих механизмов может двигаться, просто повинуясь приказу президента. Соответственно, есть шанс, что поступит неверный приказ и такая армия начнёт атаковать всех людей подряд. Отметим, что для этого сценария не нужно универсального суперинтеллекта, и, наоборот, для того, чтобы универсальный суперинтеллект овладел Землёй, ему не нужна армия роботов.
2.6.14. Контроль и возможность истребления.
Из того, что ИИ установит свой контроль на Земле, вовсе не следует, что он тут же решит истребить людей. (Хотя значительные жертвы возможны в ходе процесса установления контроля.) В конце концов, люди живут внутри государств, которые безмерно превосходят их по своим масштабам, ресурсам и целям, и даже не воспринимают это как неправильное.
Поэтому вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант. Однако мы обсуждаем наихудшие реальные варианты. Например:
• Криво запрограммированный ИИ уничтожит людей для их же блага – отправит в рай, подключит к супернаркотику, запрёт в безопасных клетках, заменит людей на фотографии улыбающихся лиц.
• ИИ будет наплевать на людей, но люди будут непрерывно с ним бороться, поэтому проще будет их истребить.
• ИИ будет нуждаться в земных ресурсах и вынужден будет их израсходовать, сделав жизнь людей невозможной. Это может происходить так же и в форме постепенного вытеснения в духе «огораживания». (Однако в космосе и земных недрах, как нам кажется, гораздо больше ресурсов, чем на земной поверхности.)
• ИИ будет служить интересам только небольшой группы людей или одного человека (возможно, уже загруженных в компьютер), и они решат избавиться от людей или переделать всех людей по своим лекалам.
• ИИ сломается и сойдёт с ума.
• ИИ решится на опасный физический эксперимент.
• Некий кусочек ИИ отколется от него и пойдёт на него войной. Или наш ИИ встретит в космосе соперника.
• ИИ только предотвратит возникновение ИИ-конкурентов, но не будет мешать людям убивать себя с помощью биологического оружия и другими способами.
Люди истребили неандертальцев, потому что те были их прямыми конкурентами, но не стремились особенно к истреблению шимпанзе и мелких приматов. Так что у нас есть довольно неплохие шансы выжить при Равнодушном ИИ, однако жизнь эта будет не полна – то есть она не будет реализацией всех тех возможностей, которые люди могли бы достичь, если бы они создали правильный и по-настоящему Дружественный ИИ.
2.6.15. ИИ и государства.
ИИ является абсолютным оружием, сила которого пока недооценивается государствами – насколько нам известно. (Однако довольно успешный проект Эвриско начала 80-х получил финансовую поддержку DARPA .) Однако идея о нанотехнологиях уже проникла в умы правителей многих стран, а идея о сильном ИИ лежит недалеко от неё. Поэтому возможен решительный поворот, когда государства и крупные корпорации поймут, что ИИ – это абсолютное оружие – и им может овладеть кто-то другой. Тогда маленькие частные лаборатории будут подмяты крупными государственными корпорациями, как это произошло после открытия цепной реакции на уране. Отметим, что у DARPA есть проект по разработке ИИ (http://www.darpa.mil/ipto/programs/bica/), однако он позиционируется как открытый и находящейся на ранней стадии. Впрочем, возможно, что есть мощные ИИ проекты, о которых мы знаем не больше, чем знали обычнее граждане о Манхэттенском проекте в годы Второй мировой войны.
Другой вариант – маленькая группа талантливых людей создаст ИИ раньше, чем правительства поймут ценность – и более того, опасность, исходящую от ИИ. Однако ИИ, созданный отдельным государством, скорее будет национальным, а не общечеловеческим.
2.6.17. Вероятность появления ИИ.
Вероятность глобальной катастрофы, связанной с ИИ, является произведением вероятностей того, что он вообще когда-либо будет создан и того, что он будет применён неким ошибочным образом. Я полагаю, что тем или иным способом ИИ будет создан в течение XXI века, если только никакая другая катастрофа не помешает технологическому развитию. Даже если попытки построить ИИ с помощью компьютеров потерпят крах, всегда есть запасный вариант: а именно, успехи в сканировании мозга позволят создавать его электронные копии, и успехи в генетике – создавать генетически усовершенствованные человеческие мозги. Электронные копии обычного мозга смогут работать в миллион раз быстрее, а если при этом это будут копии высоко гениального и правильного обученного мозга, причём они будут объединены тысячами в некий виртуальный НИИ, то, в конечном счёте, мы всё равно получим интеллект, в миллионы раз превосходящий человеческий количественно и качественно.
Затем имеется несколько временных стадий, на которых ИИ может представлять опасность:
Начальный этап:
1) Момент первого запуска: риск неконтролируемого размножения.
2) Момент, когда владелец первого ИИ осознаёт своё преимущество в том, что может применить его как абсолютное оружие для достижения любых целей на Земле. Хотя эти цели могут быть благими по крайне мере для некоторой людей, есть риск, что ИИ начнёт проявлять некорректное поведение в процессе распространения по Земле, тогда как в лаборатории он вёл себя идеально.
3) Момент, когда этот владелец осознаёт, что даже если он ничего не делает, кто-то другой очень скоро создаст свой ИИ и может использовать его для достижения каких-то других целей на Земле, и в первую очередь – для того, чтобы лишить нашего владельца способности использовать свой ИИ в полную силу. Это побуждает создавшего ИИ первым попытаться остановить другие ИИ проекты. При этом он оказывается перед дилеммой: применить ещё сырой ИИ или опоздать. Это создаёт риск применения и с невыверенной системой целей.
4) Следующая фаза риска – борьба между несколькими ИИ за контроль над Землёй. Опасность в том, что будет применяться много разного оружия, которое будет воздействовать на людей.
Понятно, что весь начальный этап может уместиться в несколько дней.
Этап функционирования:
5) На этом этапе основной риск связан с тем, что система целей ИИ содержит некую неочевидную ошибку, которая может проявиться неожиданным образом спустя многие годы. (См текст «Таблица критический ошибок Дружественного ИИ» Юдковски.) Она может проявиться или мгновенно, в виде внезапного сбоя, или постепенно, в виде некого процесса, постепенно вымывающего людей из жизни (вроде сверхнаркотика и безработицы).
Сейчас мы не можем измерить риск, создаваемый на каждом этапе, но ясно, что он не 100 процентный, но значительный, поэтому мы относим его в категорию «10 процентных» рисков Е1. С другой стороны, создание эффективного ИИ резко снижает все остальные глобальные риски, поэтому фактический вклад ИИ в вероятностную картину рисков может быть отрицательный – то есть его создание уменьшает суммарный глобальный риск.
2.6.18. Другие риски, связанные с компьютерами.
Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои функции, или сеть, имеющая доступ к опасным ресурсам, выдаёт некую опасную команду. В настоящий момент компьютеризация Земли пока ещё не достигла такого уровня, чтобы само существование людей зависело от исправной работы компьютерной сети, однако отдельные сложные системы, такие, как космическая станция МКС неоднократно оказывались под угрозой гибели или экстренной эвакуации из-за сбоя в работе жизненноважных компьютеров. Вместе с тем уровень компьютеризации жизненноважных и опасных производств постоянно возрастает, а проживание в современном городе становится физически невозможно без непрерывной подачи определённых ресурсов, в первую очередь электричества, которое управляется компьютерами.
С другой стороны, компьютерные сети, чьё ошибочное поведение может запустить некий опасный процесс, уже существуют. В первую очередь сейчас речь идёт системах, контролирующих ядерные вооружения. Однако, когда появятся био и нано принтеры, ситуация станет гораздо опаснее.
Также ситуация станет опаснее, когда повсеместно будут распространены компьютерно управляемые роботы, вроде домашних слуг или игрушек, а также автоматизированные реальные армии.
Рост населения Земли потребует всё более сложной самоподдерживающееся системы. Можно расположить по возрастающей системы, всё более зависимые от постоянного управления: деревня – город – небоскрёб – самолёт – космическая станция. Очевидно, что всё большая часть цивилизации перемещается вверх по этой шкале.
Компьютерные системы опасны в смысле глобальных катастроф тем, что могут быть средой, в которой может происходить неограниченная саморепликация (вируса), и тем, что они имеют доступ в любую точку мира.
Кроме того, компьютеры подвержены не только вирусам, но и неочевидным ошибкам в алгоритмах и в программных реализациях их. Наконец в них возможен такой процесс, как спонтанный переход в сверхсложной системе, описываемый синергетикой.
2.6.19. Время возникновения ИИ.
Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020 – 2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределённости – если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Поскольку мы не знаем, когда будет этот скачок, и будет ли вообще, это влияет на кривую погодовой плотности вероятности возникновения ИИ, сильно размазывая её. Тем не менее, в той мере, в какой ИИ зависит от накопления идей и доступа к ресурсам, эта кривая будет также носить экспоненциальный характер.
Моя оценка, согласующаяся с мнением Винжа, Бострома и других предсказателей ИИ, состоит в том, что ИИ будет создан в некий момент времени между настоящим моментом и 2040 годом, причём, скорее всего, уже к 2020-м годам он будет создан. Эта оценка основана на экстраполяции существующих тенденций роста производительности суперкомпьютеров. Она также подтверждается тенденциями в технологиях сканирования человеческого мозга, которые тоже дадут ИИ, если не получится сделать его на компьютерах.
Однако за счёт большей неопределённости с ИИ, чем с биотехнологиями, вероятность создания его в ближайшее время, ближайшие 10 лет, выше, чем вероятность создания биопринтера.
Помешать возникновению ИИ могут:
• Системы контроля (но в свою очередь, вряд ли будут эффективны без ИИ)
• Отскок прогресса назад
• Теоретические трудности на этом пути.
Выводы: риск, который несёт в себе развитие технологий ИИ крайне велик и систематически недооценивается. Это область гораздо более непредсказуема, чем даже биотехнологии. Вместе с тем, ИИ является, возможно, нашей наилучшей защитой от прочих опасностей. Время возможного созревания сильного ИИ подобно времени возможного созревания сильного и доступного биологического оружия – примерно 10 лет с настоящего момента, и эти процессы относительно не зависят друг от друга. Возможно, им предстоит столкнуться.
2.7. РИСКИ, СВЯЗАННЫЕ С РОБОТАМИ И НАНОТЕХНОЛГИЯМИ.
Основное опасностью в отношении нанотехнологий считается распространение нанотехнологической «серой слизи», то есть микроскопических саморазмножающихся роботов. Основные её признаки таковы:
1. Миниатюрность
2. Способность к саморазмножению
3. Способность к самостоятельному распространению по всей Земле.
4. Способность незаметно и эффективно уничтожать крупноразмерную технику и живые организмы
5. Анонимность
6. Дешевизна
7. Автономность от человека (солдата).
Серая слизь и основанное на ней нанотехнологическое оружие является высшим выражением этих принципов, объединяющих их все вместе. Однако вовсе не обязательно объединять все до единого эти принципы, чтобы получить опасное и эффективное оружие – достаточно реализовать некоторые. Разные комбинации этих принципов дают разные виды роботехнического оружия. Рассмотрим в начале опасных роботов.
2.7.1. Робот-распылитель
Основная проблема с биологическими и химическими ядами – это трудности их анонимного эффективного распыления. Эту задачу мог бы решить миниатюрный робот размером с птицу (например, авиамодель). Множество таких роботов могло бы быстро и незаметно «опылить» огромную территорию.
2.7.2. Самовоспроизводящийся робот.
Хотя считается, что для эффективного самовоспроизводства нужны молекулярные нанотехнологии, возможно, что это не так. Тогда вполне макроразмерный робот мог бы размножаться, используя природные энергию и материалы. Этот процесс может быть двухступенчатым и состоять из робота-матки и роботов-воинов, которых она производит, но которые её обслуживают. Важно подчеркнуть, что речь идёт не об искусственном интеллекте, а о вышедшей из-под контроля системе с ограниченными интеллектом, неспособным к самосовершенствованию. Большие размеры и неинтеллектуальность делают её более уязвимой, а уменьшение размеров, повышение скорости воспроизводства и повышение интеллектуальности – более опасной. Классический пример в биологическом царстве такой угрозы – саранча. Возможно, что такой робот будет содержать биологические элементы, так как они помогут быстрее усваивать вещества из окружающий среды.
2.7.3. Стая микророботов.
Такие микророботы могли бы производится как оружие на огромных фабриках, в роде современных заводов по производству чипов, и даже с применением тех же технологий – литография теоретически позволяет делать подвижные части, например, небольшие маятники. При весе в несколько миллиграмм такие микророботы свободно могли бы летать в атмосфере. Каждый такой робот мог бы содержать достаточно яда, чтобы убить человека или замкнуть контакт в электротехническом устройстве. Чтобы атаковать всех людей на Земле потребовалось только несколько десятков тонн таких роботов. Однако если они будут производиться по технологиям и ценам современных чипов, такое количество будет стоить миллиарды долларов.
2.7.4. Армии крупных боевых роботов, выходящие из-под контроля.
Хотя армия США определённо нацелена на полную автоматизацию и замену людей роботами, до этой цели ещё не менее десяти лет, а вероятно, и значительно больше. Теоретически некая роботизированная армия может получить неверный приказ, и начать атаковать всё живое, став при этом недоступной для отмены команд.
2.7.5. Неограниченное распространение нанороботов.
В отношении нанороботов, равно как и ИИ, нам трудно оценить вероятность их возникновения и распространения, потому что их пока у нас нет. Вместе с тем, создание нанороботов имеет прецедент в области биологии, а именно, сама живая клетка является своего рода нанороботом. Белки являются самособирающимися универсальными механизмами, ДНК – управляющим компьютером. В этом смысле и искусственный интеллект имеет прецедент в смысле человеческого разума и мировой науки как образа сверхразума. Юдковски предполагает, что от наноробота нас отделяет не время или нехватка неких промежуточных стадий, а только отсутствующее знание. То есть, обладай мы достаточным знанием, мы могли бы собрать такую последовательность ДНК, при исполнении которой клеткой образовался бы наноассемблер – то есть робот, способный собирать других роботов, а значит, способный к саморазмножению. Часто говорят о нанофабриках – то есть неких заводах, которые могут создавать произвольные конструкции из атомов и молекул. Однако нанофабрика и наноассемблер являются взаимозаменяющими, потому что на универсальной нанофабрике можно создать наноассемблер, и наоборот.
С одной стороны, идея о том, что у каждого дома будет нанофабрика вместо микроволновки, производящая всё, ему нужное, выглядит красивой, но с другой, она требует реализации мер защиты, больших, чем если бы речь шла о ядерном реакторе на дому. Развитые системы защиты уже предлагаются, и они включают в себя непрерывное зашифрованное подключение нанофабрики к сети, и сложный самоконтроль нанофабрики. Но, увы, опыты по созданию абсолютно защищённой электроники, оптических дисков, файлов – все провалились. Думается, причина этого в том, что количество «мозгов» на стороне хакеров гораздо больше, чем на стороне производителя, а задача хакера проще – не предусмотреть все возможные уязвимости, а найти одну их них. Распространение тех или иных систем искусственного интеллекта тоже сделает подбор ключей доступа к нанофабрикам проще.
Нанотехнологии позволяют создавать очень эффективное оружие, которое способно истребить всех людей даже без неограниченного саморазмножения. Грубо говоря, стая нанороботов может распространиться по некой местности – или все Земле – обнаружить всех людей на ней, прилипнуть к ним, проникнуть в кровоток и затем нанести синхронизировано смертельный удар. Эта стая опаснее слепого биологического оружия, так как против неё не действуют карантины и её невозможно обнаружить ненантотехнологическими средствами до начала атаки. И нет пустого рассеивания экземпляров. Поэтому на 10 миллиардов людей с запасом хватит 100 миллиардов нанороботов, суммарным весом в несколько грамм.
Далее, если робототехника будет развиваться линейно, без грандиозного скачка – а такой скачок возможен только в случае возникновения сверхсильного искусственного интеллекта – то промежуточные стадии будут включать автономных универсальных роботов всё меньших размеров. Сейчас мы можем видеть начальные фазы этого процесса. Даже самые крупные системы сейчас не вполне автономны, хотя уже есть андроиды, способные выполнять простую работу и автомобили, самостоятельно ездящие по простому маршруту. Есть и более примитивные механизмы с минимальной массой в несколько грамм (например, маленькие вертолётики) и экспериментальные модели отдельных частей. При этом скорость прогресса в этой области очень высока. Если в 2003 году большинство автономных автомобилей не могло тронуться с места, то в 2007 они буду выполнять задания по езде в городе с перекрёстками.
Поэтому можно сказать, что до нанороботов будет ещё несколько стадий. Это – автономные машины-танки, автономные андроиды (размером с человека или собаку), автономные роботы размером с крысу, с насекомое, микророботы в доли миллиметра и нанороботы. Нам важно определить, с какого этапа такие роботы могут быть опасны для человечества. Понятно, что даже несколько самоуправляющихся танков не опасны. Однако уровень опасности возрастает тем больше, чем больше и дешевле таких роботов можно производить, а также чем легче им распространяться по свету. Это возможно по мере уменьшения их размеров и автоматизации технологий производства, особенно, технологий самовоспроизводства. Если микророботов размером с комара можно будет штамповать по несколько центов за штуку, то они уже будут представлять серьёзную силу. В классическом романе Станислава Лема «Непобедимый» «нанороботы» имеют размеры в несколько миллиметров, но способны организовываться в сложные структуры. Далее, в последнее время, в связи с экспансией дешёвой китайской рабочей силы, на второй план отошёл тот факт, что даже роботы обычных размеров могут участвовать в производстве сами себя в силу всё большей автоматизации производства на фабриках. Процесс этот постепенно идёт, но он тоже может иметь точку резкого экспоненциального перегиба, когда вклад роботов в собственное производство превзойдёт вклад людей. Это приведёт к значительному удешевлению такого производства, а, следовательно, и к возможности созданий армий летучих микророботов. Одна из возможных технологий производства микророботов – печать их, как микросхем в литографическом процессе с вытравливанием подвижных частей.
Взаимный удар такими армиями нанороботов может по катастрофичности последствий превосходить обмен ядерными ударами. Поверить в это трудно, так как трудно думать, что нечто очень маленькое может нанести огромный ущерб. (Хотя эволюции шла в ту сторону, что всё меньшее оружие имеет всё большее разрушающую силу, и атомная бомба в этом ряду.) Удар микророботами может не быть таким зрелищным, как взрыв той же атомной бомбы, но может давать результат как идеальная нейтронная бомба в духе «школа стоит, а в ней никого».
Микророботы могут применяться и как тактическое оружие, и тогда они будут бороться друг с другом и пунктами управления, и как оружие устрашение и мести, каковую функцию сейчас выполняют стратегические ядерные силы. Именно в этом качестве они могут оказаться угрозой для всего человечества, в случае случайного или намеренного применения.
При этом микророботы превосходят стратегические силы – они позволяют организовать более незаметную атаку, более внезапную, более анонимную, более дешёвую и наносящую больший ущерб. Правда, им не достаёт зрелищности, что может ослабить их психологическое воздействие – до первого реального боевого применения.
Эрик Дрекслер оценивает необходимое количество атомов в нанороботе- репликаторе, который будет представлять собой нечто вроде минизавода с конвейерной лентой и микро-станками, в один миллиард. Каждый манипулятор сможет осуществлять не менее миллиона операций в секунду, что типично для скорости работы ферментов. Тогда он сможет собрать устройство в миллиард атомов за 1000 секунд – то есть собрать самого себя. Проверкой этого числа является то, что некоторые бактерии могут делиться со скоростью раз в 15 минут, то есть те же 1000 секунд. Такой робот репликатор мог бы за 1 сутки размножится до массы в 1 тонну, а полностью поглотить массу Земли за 2 дня. Катастрофа этого рода называется «серой слизью». В связи с малостью размеров нанороботов в течение критически важных первых суток это процесс не будет иметь никаких внешних проявлений, в то время как триллионы нанороботов будут разноситься ветром по всей Земле. Только прямое попадание ядерной бомбы в очаг распространения в самые первые часы могло бы помочь. Есть предложения сделать репликаторы неспособными размножаться во внешней среде, в которой нет некого критически важного очень редкого химического элемента. Подробнее см. переведённую мною статью Р. Фрейтеса «Проблема серой слизи», где рассмотрены различные сценарии распространения опасных нанороботов и защитные контрмеры. Фрейтас отмечает, что нанороботы будут выдавать себя по интенсивному выделению тепла в процессе воспроизводства, поэтому важно наладить мониторинг окружающей среды на предмет странных температурных аномалий. Кроме того, размножающиеся нанороботы будут нуждаться в энергии и в материале, а источником и того, и другого является только биомасса.
Р. Фрейтас выделяет несколько возможных сценариев серой слизи:
• «Серый планктон» - нанороботы, размножающие в океане и пользующиеся ресурсами гидратов метана на дне. Они могу уничтожить морскую биосферу и привести к выделению парниковых газов в атмосферу. Морская биосфера крайне важна как поглотитель СО2, генератор кислорода и пищи для людей.
• «Серая пыль» - эти нанороботы размножаются в воздухе, создавая непроницаемый заслон в атмосфере, ведущий к «ядерной зиме».
• «Серый лишайник» – эти нанороботы размножаются на скалах.
• «Серая слизь, питающаяся биомассой» – как самый неприятный вариант.
Прямое попадание ядерной бомбы в колбу с таким репликатором могло бы уничтожить их, но даже близкое попадание – только рассеит.
Бактерия в своём росте ограничена наличием питательной среды. Если универсальный репликатор будет знать, как заменять одни атомы другими, он может потреблять почти любое вещество, кроме чистых сред из одного материала. Они могут быть также очень всеядны в выборе источника энергии, если будут обладать информацией о том, как использовать разные источники.
2.7.7. Вероятность возникновения нанороботов и возможное время для этого события.
Возникновение микророботов весы в граммы и доли грамма выглядит практически неизбежным и все технологии для этого есть. Однако они не будут репликаторами. (Прогресс в области миниатюризации описывается, по некоторым данным, коэффициентом в 8 % в год.)
Однако настоящие нанороботы, меньше бактерии размером, находятся ещё в далёкой перспективе. Если они будут созданы силами ИИ, то весь возможные вред от них можно списывать на сам ИИ. (Но всё же есть вариант, когда ИИ оказался достаточно умным, чтобы создать нанороботов, и достаточно глупым, чтобы не смочь их контролировать). И даже и без ИИ всё более мощные компьютеры будут давать возможность всё точнее и всё быстрее вычислять детали будущих микро- и нанороботов. Поэтому мы можем ожидать, что прогресс в создании нанороботов будет ускоряться.
Однако состояние дел в отрасли таково, что создание нанороботов-репликаторов в ближайшие годы маловероятно. Поэтому можно предположить, что если нанороботы и будут созданы без помощи реального ИИ, это произойдёт в промежуток 2020-2040 годы. Если сравнивать нанотехнологии с биотехнологиями и ИИ, мы увидим, что эти технологии гораздо менее зрелы, и отстают лет 20-30 от свои собратьев. Поэтому шансы на то, что сильные нанотехнологии (то есть нанорепликаторы) будут созданы до ИИ, и до биопринтера не очень велики.
Выводы: мы можем столкнуться с проблемами угроз существованию от микророботов ещё до того, как реальные нанороботы будут сделаны. Чем мельче, дешевле и способнее к самовоспроизведению микророботы, тем больший ущерб они способны нанести. И тем больше субъектов может ими обладать.
2.8. ТЕХНОЛОГИЧЕСКИЕ СПОСОБЫ ПРОВОЦИРОВАНИЯ ЕСТЕСТВЕННЫХ ПРИРОДНЫХ КАТАСТРОФ.
Для многих природных катастроф, связанных с длительным накоплением и внезапным высвобождением энергии, есть теоретическая возможность спровоцировать их определёнными техническими воздействиями. При этом для спуска запуска процесса требуется гораздо меньше энергии, чем затем в нём выделяется.
(Были даже проекты вызвать взрыв Солнца с помощью атаки водородными бомбами. Но это не реально, так как процесс не может стать самоподдерживающимся. Скорее, проще было бы взорвать Юпитер, где много не сгоревшего гелия-3, но и это, скорее всего, нереально исходя из сегодняшних знаний и возможностей.) Другой способ провоцирования природных катастроф – разрушение естественных природных защит. Естественно, мы можем создавать катастрофы только на Земле или в ближайшем космосе.
2.8.1. Отклонение астероидов.
Будущие космические технологии позволят направлять астероиды как от Земли, так и к неё. Отклонение астероида позволяет организовать криптоатаку на выбранную страну. Однако в этом случае речь не идёт о глобальной катастрофе, ведущей к человеческому вымиранию. На близких к Земле орбитах нет астероидов, которые могли бы привести к гарантированному вымиранию людей (то есть, по крайней мере, более 10 км в диаметре, а то и значительно больше – см. далее главу о силе взрыва астероидов) и которых можно было бы легко отклонить. Чтобы отклонить астероид с неудобной орбиты (например, в главном поясе астероидов), потребовалось бы огромное количество энергии, что сделало бы всю затею бессмысленной и легко обнаружимой. Впрочем, есть шанс, что сверхкомпьютеры позволят устроить высокоточный космический бильярд, где бесконечно малое воздействие на один небольшой «камушек», которые попадает в другой и так далее, создаёт нужный эффект. Однако это потребует десятков лет на реализацию. Легче отклонить комету, находящуюся в облаке Оорта (и там есть тела подходящих размеров), однако пройдёт десятки или, скорее, сотни лет, пока она достигнет орбиты Земли. Таким образом, полное вымирание человечества в результате искусственного отклонения астероида в XXI веке крайне маловероятно.
2.8.2. Создание искусственного сверхвулкана.
Чем глубже мы проникаем в земную кору разными способами – сверлим её, проплавляем или взрываем – тем больше наши возможности вызвать всё более сильное искусственное вулканическое извержение. Для того, чтобы спровоцировать извержение сверхвулкана масштабом в Йеллоустоун, достаточно пробить 5 км коры. При этом природа загазованной магмы такова, что она будет пробиваться сквозь маленькую щель, как вода сквозь дамбу: всё более её размывая. То есть воздействие, которое вызовет сверхизвержения может быть минимальным, можно сказать, информационным.
Однако следует помнить, что примерно в 3000 (?)км под нами, под мантией находится резервуар сжатой и перегретой жидкости с огромным количеством растворённого в ней газа – жидкое земное ядро. Если дать выход даже малой части его энергии и газов на поверхность, то это гарантировано уничтожит всю земную жизнь эффективнее всех других способов.
Далее, неизвестно, насколько само ядро готово в таком масштабе извергнуться на поверхность. Крупные площадные извержения были на плато Декан в Индии и у нас в Сибири и связываются со значительными вымираниями живых организмов. Магма поднимается по каналам-плюмам, например, на Гавайях. Однако это не каналы для вещества ядра; считается, что вверх поднимаются горячие твёрдые куски мантии за счёт более высокой плавучести, которые становятся жидкими только около поверхности за счёт падения давления. И хотя жидкое железо в ядре слишком тяжёлое, чтобы подниматься на поверхность, его могло выбрасывать давление растворённых в нём газов, если бы подходящий сквозной канал образовался – как при открывании шампанского.
Земная цивилизация будет всё глубже вгрызаться в землю с целью добычи полезных ископаемых, энергии и экспериментов. Это приведёт к тому, что риск катастрофических извержений будет постоянно расти.
Уже предлагался проект проплавления земной коры с помощью огромной капли (тысячи тонн) расплавленного железа в смеси с греющими его радиоактивными элементами. Высокотемпературные роботы-горнорабочие также могут стать таким инструментом. Японцы планирую просверлить дно океана вплоть до мантии. В Индонезии при бурении по ошибке создали грязевой вулкан, который затопил значительные площади и продолжает усиливаться.
Уже предлагался проект бомбы против бункеров, которая, упав, вгрызается в поверхность, как самоходный проходческий щит и продвигается вглубь. Таким же образом могли бы действовать и взрыватели вулканов. Такое устройство может быть дешевле ядерной бомбы и доставлено на место незаметным образом.
Любое оружие, которое пригодно для борьбы с бункерами глубокого залегания, может применяться и для пробуждения вулканов. Одним из вариантов такого оружия (и стоящий на вооружении сейчас в США) является последовательная атака ядерными зарядами, создающая всё более глубокий кратер.
Возможно, что недостаточно пробудить один сверхвулкан или просто крупный вулкан для глобальных последствий, но если пробудить их все сразу, то вымирание становится вероятным. На Земле известно сейчас 20 сверхвулканов и 500 обычных вулканов.
Возможно, что возникнет практическая необходимость пробудить вулкан, чтобы охладить атмосферу его выбросами, если проблема глобального потепления станет очень остро.
Вероятность и время такого события. В настоящий момент эта вероятность крайне мала, так как помимо вулканов есть масса привлекательных объектов для диверсий, даже если бы достаточно опасное оружие попало в руки террористов. Но в случае мировой войны взрыв супервулкана мог бы стать последним оружием для проигрывающей стороны. Технологические возможности для взрыва вулкана медленно растут с развитием технологий бурения и ядерного оружия. Молекулярное производство и нанотехнологии могли бы дать шанс для дешёвого создания мощных машин, необходимых для вскрытия вулканов. Но овладение нанотехнологиями даст более простые пути к тем целям, которые можно было бы реализовать с помощью супервулкана.
2.9. ТЕХНОЛОГИЧЕСКИЕ РИСКИ, СВЯЗАННЫЕ С ПРИНЦИПИАЛЬНО НОВЫМИ ОТКРЫТИЯМИ.
2.9.1. Неудачный физический эксперимент.
Наиболее опасным является тот вариант, при котором значительное открытие совершится совершенно внезапно.
Высказывались опасения, что опыты по созданию микроскопических чёрных дыр на ускорителях, конденсации нейтронов и другие высокоэнергетичные эксперименты могут привести или к коллапсу земного вещества или к колоссальному взрыву, который мгновенно истребит жизнь на Земле. Основной парадокс здесь в том, что безопасность любых экспериментов обосновывается тем, что мы знаем, что получится в результате, а цель эксперимента – в том, чтобы узнать что-то новое. Иначе говоря, если мы ничего нового не узнаем, то какой смысл ставить физические эксперименты, а если мы можем узнать что-то новое, то это может быть опасно. Может быть, молчание вселенной объясняется тем, что все цивилизации рано или поздно осуществляют некий эксперимент по «извлечению энергии из вакуума», а в результате от планеты остаются одни головешки. Другая точка зрения состоит в том, что раз похожие явления бывают в природе, например, при бомбардировке космическими лучами атмосферы, то безопасно их повторять. Однако можно сказать, что, повышая уровень энергий, мы рано или поздно можем дойти до некой опасной черты, если она есть.
Опасность экспериментов прямо связана с возможностью наличия неизвестных нам фундаментальных физических законов. Вопрос этот трудно решить вероятностным образом. В 20 веке уже было несколько открытий фундаментальных законов, и некоторые привели к созданию новых опасных видов оружия – хотя к концу 19 века картина мира казалась завершённой. Назову только открытия радиоактивности, квантовой механики, теории относительности, а в последнее время – тёмной материи и тёмной энергии.
Кроме того, есть ряд экспериментальных данных и теорий, которые носят разной степени характер непроверенности – но многие из них предполагают физические эффекты, которые могут быть опасны. Например, иногда мелькают сообщения о трансмутации химических элементов без радиоактивности – но разве это не способ наработать плутоний для атомной бомбы? Или, если такая трансмутация возможна, то не приведёт ли она к цепной реакции трансмутации по всей Земле?
Считается, что современные эксперименты на ускорителях не дотягивают на многие порядки до энергий, которые возникают в результате естественных столкновений космических лучей, происходящих в атмосфере Земли. Однако в книге Джона Лесли приводится оценка, что если энергия ускорителей будет расти с нынешней скоростью, то опасные уровни энергии будут достигнуты к 2100 году. Он показывает, что в течение всего ХХ века каждые 10 лет энергия, достигаемая на ускорителях, возрастала в 10 раз. И хотя сейчас обычные ускорители подошли к своему физическому пределу по размерам, есть принципиально другой способ достигать тех же энергий на установках размером с рабочий стол – речь идёт о разгоне частиц в ударной волне импульсного лазера. В тоже время программа СОИ предполагала создание импульсных лазеров колоссальной силы, запитывавшихся от ядерных взрывов.
Дж. Лесли, будучи профессиональным астрофизиком, даёт подробный анализ различных теоретически возможных опасных экспериментов. Это:
1) Переход вакуума в новое метастабильное состояние. Есть гипотеза о том, что вакуум, будучи нулевым энергетическим уровнем всех физических полей, не является окончательным возможным таким уровнем. Точно так же уровень воды горного озера не является настоящим уровнем моря, хотя вода в озере может быть широкой и гладкой. И достаточно сильный всплеск волн в таком озере может привести к разрушению окружающих озеро барьеров, что приведёт к излиянию вод озера на уровень моря. Точно также, возможно, что достаточно высокоэнергетичный физический эксперимент может создать область вакуума с новыми свойствами, которая начнёт неограниченно расширяться.
2) Образование объектов, состоящих из гипотетической кварковой материи, способной присоединять к себе атомы обычного вещества. Поскольку в её образовании играют важную роль так называемые «странные кварки», то могущая получиться в результате устойчивая материя называется ‘странной материи’, а её частицы – stranglets. Разработана идея установки, которая способна порождать и накапливать кусочки этой материи, а также использовать падение обычной материи на неё для получения энергии. К сожалению, авторы идеи ничего не говорят о том, что будет, если сгусток странной материи покинет ловушку и начнёт неограниченно поглощать вещество Земли.
3) Искусственный Большой взрыв. Российский учёный А.Линде разработал теорию космологической инфляции, из которой следует, что начальная масса Вселенной составляла только 10-5 степени грамм, а вся остальная видимая масса образовалась в процессе расширения за счёт отрицательной энергии гравитации. Хотя мы не можем пока достичь необходимого уровня плотности энергии в наших лабораториях, чтобы повторно запустить этот процесс, сам требуемый уровень энергии невелик.
4) Опыты по изменению гравитации. Есть сообщения об опытах Подклетнова об изменении гравитации – но не могут ли такие опыты дестабилизировать столб вещества земной коры под установкой и вызвать землетрясение?
5) Конденсация холодных нейтронов в динейтроны и более крупные образования. Гипотетически может вызвать цепную реакцию конденсации всего земного вещества.
6) Опасные геофизические эксперименты с глубоким бурением или проникновением сквозь кору, чреватые образованием сверхвулкана и дегазацией глубинных слоёв Земли.
7) Научное сообщество детально обсуждает риски образования микроскопических чёрных дыр, которые должны возникать при столкновении частиц на последних моделях ускорителей в ближайшем будущем. Образование микроскопической чёрной дыры, даже если она будет устойчива, не должно привести к немедленному засасыванию в неё всего вещества Земли, так как размеры её будут около размеров атома, а вокруг неё будет микроскопический аккреционный диск, который будет дозировать поступление вещества. Но такая микро-чёрная дыра неизбежно упадёт в сторону центра Земли, проскочит его и начнёт совершать колебательные движения. Если её масса будет достаточно велика, она может образовать тонкий канал, по которому сжатое вещество земных недр начнёт поступать на поверхность – а опыт разрушения плотин говорит, что достаточно даже тончайшего канала, чтобы он постепенно расширился. Неверно полагать, что С.Хокинг «доказал», что чёрные дыры испаряются. Хокинг предложил интересную теорию, никаких экспериментальных свидетельств в пользу которой нет. Есть альтернативные теории, с многомерным пространством, где микроскопические чёрные дыры имеют больший горизонт и не испаряются. Многие важные физические открытие были сделаны случайно, там, где их никто не искал, например, радиоактивность. Микро-чёрные дыры, которые могли бы образовываться при столкновении космических лучей с атмосферой, отличаются от дыр, которые будут создаваться в ускорителе, тем, что будут иметь ненулевой момент движения, и с большой скоростью улетать в пространство, не задерживаясь внутри планеты. Наоборот, дыры, возникающие в ускорителе, будут иметь момент, близкий к нулю за счёт взаимной нейтрализации моментов пучков и будут иметь гораздо большие шансы остаться в Земле.
8) Возникновение магнитного монополя на большом адроном колайдере в Церне. Магнитный монополь может ускорять распад протонов, приводя к огромному выделению энергии, однако в отчёте ЦЕРН по безопасности предполагается, что даже если такой монополь возникнет, он быстро покинет Землю. (Отчёт церн о коллайдере и проблемах его безопасности. STUDY OF POTENTIALLY DANGEROUS EVENTS DURING HEAVY-ION COLLISIONS AT THE LHC:REPORT OF THE LHC SAFETY STUDY GROUP http://doc.cern.ch/yellowrep/2003/2003-001/p1.pdf)
Погодовая вероятность опасного физического эксперимента растёт с течением времени, так как всё более высокоэнергетичные установки вводятся в строй и изобретаются новые способы достижения высоких энергий, а также применения их к объектам, к которым они обычно не применяются в природе. Кроме того, растёт разнообразие возможных физических экспериментов, которые могут привести к глобальной катастрофе.
Интересный вариант нового глобального риска предложен в статье (The Late Time Behavior of False Vacuum Decay: Possible Implications for Cosmology and Metastable Inflating States http://arxiv.org/abs/0711.1821 русский пересказ: «Астрономы разрушат Вселенную» http://www.gazeta.ru/science/2007/11/23_a_2333388.shtml ) В ней говорится, что скорость распада квантовых систем зависит оттого, наблюдаются они или нет (проверенный факт), а затем это обобщается на проблему наблюдения устойчивости вселенной как целого в связи с проблемой так называемой тёмной энергии. «Измерив плотность тёмной энергии, мы вернули её в начальное состояние, по сути, сбросив отсчёт времени. А в этом начальном состоянии вакуум распадается в соответствии с «быстрым» законом, и до критического перехода к «медленному» распаду ещё очень далеко. Короче говоря, мы, возможно, лишили Вселенную шансов на выживание, сделав более вероятным её скорый распад».
Выводы: поскольку всегда в экспериментах имеет место доля риска, имело бы смысл отложить их до того момента создания развитого ИИ. Часть экспериментов имеет смысл делать не на Земле, а далеко в космосе.
2.9.2. Новые виды оружия, новые источники энергии, новые среды распространения и дальнодействия.
Хотя сами новые принципы неизвестны, можно очертить наиболее опасные черты любого абсолютного оружия.
А) выделение огромного количества энергии
Б) способность к саморепликации
В) способность быстро действовать на всю территорию Земли.
Г) дешевизна и лёгкость производства в кустарных условиях.
Д) возможность достижения интеллектуального превосходства над людьми
Е) способ управлять людьми
Любой физический эффект, способный породить технологию, соответствующую хотя бы одному из приведённых выше критериев, является потенциальным кандидатом в абсолютное оружие.

2.10. РИСКИ, СВЯЗАННЫЕ С ОСВОЕНИЕМ КОСМИЧЕСКОГО ПРОСТРАНСТВА.
В этой главе мы обсудим все возможные применения космических технологий для уничтожения земной жизни.
2.10.1. Атака на Землю с помощью космического оружия.
Теоретически возможно облучение планеты с орбиты гамма-лучами (нечто вроде искусственного гамма-всплеска), нейтронами или другими опасными излучениями, проникающими сквозь атмосферу, что приведёт к стерилизации поверхности, с помощью специальных спутников или взрывов бомб. Возможно обрушение на планету дождя из роботов-метеоритов. В качестве космического оружия может применяться разгон космического корабля до околосветовой скорости и направление его на планету. Любой успех в создании высокоскоростных космических ракет и тем более звездолётов создаст мощнейшее оружие против планетной жизни, так как любой звездолёт можно разогнать и направить на планету.
Облучение Земли возможно и при взрыве какой-нибудь экспериментальной установки на орбите, но только одного полушария.
Мы можем освоить космос быстро с помощью саморазмножающихся роботов или нанороботов. Но при этом, дав им команду размножаться в космическом пространстве и строить для нас там огромные сооружения с использованием материала астероидов и Луны, мы можем потерять над ними контроль. Однако в этом случае опасности для Земли из космоса придут после того, как мощные робототехнические технологии будут созданы, а значит, после того, как эти технологии начнут угрожать нам на Земле.
Мы уже обсуждали выше проблемы отклонения астероидов.
Ещё один способ космической атаки – это развернуть в космосе гигантское зеркало, которое будет направлять на Землю солнечные лучи. Но сделать его без помощи самовоспроизводящихся роботов трудно, а защитится от него относительно легко, так что это очень маловероятный вариант.
Выводы: космические атаки маловероятны, потому что их перекрывают более быстрые процессы развития средств разрушения на Земле. Но терять из виду этот риск не стоит.
2.10.1. Ксенобиологические риски.
Риски, состоящие в том, что на Землю может быть занесена жизнь из космоса, рассматривались НАСА всерьёз, начиная с момента полёта на Луну. Хотя можно было утверждать, что поверхность Луны стерильна с очень высокой вероятностью, астронавты, вернувшиеся с Луны, были подвергнуты карантину. Это демонстрирует грамотный подход к рискам с очень низкой вероятностью, которые, однако, могут принести неограниченно большой ущерб.
Предположения о том, что вирусы гриппа могут приходить к нам из хвостов комет является, очевидно, ложным, поскольку вирусы – это узкоспециализированные паразиты, которые не могут существовать без хозяев. Реальный риск мог бы представлять высоко всеядный микроорганизм с химической структурой, значительно отличающейся от земной, перед которым у земной биосферы не было бы защиты. По мере освоение космического пространства и организации возвращаемых экспедиций на различные космические тела, в том числе во время планируемой экспедиции на Марс, возрастает риск встретить такого незваного пришельца и по ошибке завезти на Землю.
Вместе с тем, такой риск на порядки меньше риска создания на Земле аналогичного опасного микроорганизма или синтетической жизни (анимата).
Архипов на Украине исследует возможность так называемой «космической археологии» на Луне. Он предполагает, что Луна могла бы быть идеальным местом для поисков следов древних посещений земли космическими кораблями инопланетян и предлагает искать на Луне регулярные структуры, которые могли бы быть их следами. Таких следов по официальным данным пока обнаружено не было. Тем не менее, если мы когда-либо встретим следы другой цивилизации, они могут содержать опасные технологии, устройства или компьютерные программы. Подробнее этот вопрос обсуждается в главе «риски, связанные с SETI», и всё, что там сказано про SETI, может быть верно и относительно возможных успехов космической археологии. (Вернор Виндж описывает в своём романе «Пламя над бездной» именно такой сценарий, когда космическая археология привела к обнаружению и запуску опасной компьютерной программы, развившийся в сверхсильный искусственный интеллект и создавший риск глобальной катастрофы.)
Отдельной статьёй можно обозначить риск воскрешения опасных бактерий из древнего замороженного льда на Земле.
2.10.2. Столкновение с превосходящими нас разумными силами.
И религиозные сценарии о втором пришествии, и идеи об инопланетянах, и идеи о том, что мы живём в мир, смоделированном разумными существами – все они имеют в виду, что есть превосходящие нас разумные силы, которые могут внезапно и необратимо вмешаться в нашу жизнь. Опять же трудно оценить вероятность такого рода событий из-за их нестатистической природы. И если мы можем уменьшить вероятность от любых экспериментов, просто запретив какие-либо эксперименты, то здесь от нас почти ничего не зависит. Чем шире человечество будет распространяться в пространстве и заявлять о себе, тем больше шанс, что рано или поздно оно кого-нибудь в нём встретит. Иначе говоря, вероятность встречи с другими разумными силами растёт. А по опыту земной истории, например, открытия Америки, мы знаем, что выдержать встречу с превосходящей культурой почти невозможно.
Здесь есть два варианта:
1) Внезапное столкновение с некой разумной силой по мере экспансии в космосе. Экспансия в космосе здесь подразумевает не только космические полёты, но и всё более дальнее прослушивание космоса радиотелескопами. См. далее главу риски SETI.
2) Мы уже давно находимся под контролем или даже созданы некой разумной силой.
Один из вариантов такого сценария – это столкновение не с самими разумными силами, а с последствиями их деятельности. Например, если некая инопланетная цивилизация произвела опасный эксперимент, который её погубил, его последствия могут распространяться по Вселенной. Это может быть или распад метастабильного вакуума, как пишет Д.Лесли, или распространение примитивных всё пожирающих нанороботов. В качестве примера можно привести то, что Марс и спутники Юпитера уже подверглись риску заражения земными микроорганизмами от межпланетных станций – хотя самого человеческого разума на них нет, и ещё долго не будет. Иначе говоря, опасные побочные эффекты от разумной жизни в космосе могут распространяться гораздо быстрее, чем сам разум.
Хотя у нас нет основания считать возможных инопланетян враждебными, принцип предосторожности заставляет нас допустить это. Наихудшим выражением враждебности было бы стремление таких инопланетян стерилизовать окружающий космос, например, чтобы в будущем не иметь конкурентов. Вероятность того, что именно в ближайшие 100 лет к нам прилетит экспедиция инопланетян, как это часто изображается в научной фантастике, очень мала, так как они могли прилететь и на сотни миллионов лет раньше или позже. Есть предположение, что такая враждебная цивилизация могла бы разбросать по всей галактики некие наблюдательные станции, названные в одном фантастическом романе «берсеркерами», которые в случае обнаружения радиосигналов от разумной жизни направляются к ней и атакуют её. Это предположение крайне маловероятно, так как, если цивилизация действительно продвинутая, она могла бы разбросать такие станции около каждой солнцеподобной звезды, и мы бы давно подверглись её атаке (но здесь нельзя исключить действия эффекта наблюдательной селекции, в силу которого мы могли дожить до XXI века только у той звезды, рядом с которой нет контролирующей станции, как бы мала ни была эта вероятность.)
Если мы живём в смоделированном мире (подробнее этот вопрос будет обсуждаться далее), то шансы того, что эту симуляцию «выключат», растут по мере того, как она становится всё более ресурсоёмкой. А она будет становиться более ресурсоёмкой по мере роста населения Земли, но особенно, когда люди начнут создавать свои компьютерами со своими симуляциями. Здесь срабатывает принцип: множество не может содержать само себя как подмножество.
Другая возможная причина выключения симуляции – завершение её работы после выполнения поставленной задачи. О природе таких задач возможны разные предположения. Например, будущий суперинтеллект может быть заинтересован в исследовании того, каковы были шансы его возникновения, и в силу этого моделировать различные варианты развития технологической цивилизации.
2.10.3. Риски, связанные с программой SETI.
SETI не относится к научной фантастике. Регулярные поиски внеземных сигналов идут с 60-х годов. В настоящий момент частный фонд ATA (http://www.seti.org/seti/projects/ata/ )планирует развернуть 350 радиотелескопов по всему земному шару с бюджетом в десятки миллионов долларов. Это означает, что если опасные сигналы в нашей галактике существуют, они могут быть пойманы в ближайшие несколько лет. Даже если они не будут содержать кода, направленного на уничтожение человечества, шок от такой встречи будет иметь значительные последствия для Земли. Программа поиска внеземных радиосигналов уже давно осознаётся как потенциально опасная. В Соединённых Штатах действует закон, запрещающий посылку сообщений в космос. Поэтому все подобные эксперименты проводятся на радиотелескопе в Евпатории. При этому существуют вычисления, показывающие, что вероятность того, что наше случайное сообщение к кому-нибудь попадёт – ничтожно мала. (См. статью А.Зайцева «Sending and searching for interstellar messages» http://fire.relarn.ru/126/docs/iac_07_a4_2.02.pdf). В этой статье допускается, что не только активное SETI, то есть посылание сигналов в космос, но и пассивное SETI, то есть чистое слушание, может быть опасно, поскольку получение и расшифровка сообщений может дать опасные технологии в руки неподготовленных индивидов и организаций. Однако есть и более жёсткий вариант рисков, связанных со слушанием космоса, которые возникают, если допустить, что ИИ возможен, и базовая программа для него может быть переслана по радио.
Нет нужды говорить, что для радиотелескопов SETI верен свой закон Мура, который означает, что их характеристики возрастают во много раз каждые несколько лет (от проекта к проекту). Это означает, что шансы успешного SETI экспоненциально растут.
В данной рассматриваются риски, связанные с программой пассивного поиска инопланетных сигналов (SETI). В статье предлагается сценарий возможной уязвимости и обсуждаются причины, по которым доля опасных сигналов может быть велика.
Идея о том, что пассивное SETI может быть опасно – не нова. Структурную схему инопланетной атаки через SETI сигналы предложил Хойл в своём романе «Андромеда». Согласно сюжету, астрономы принимают инопланетный сигнал, который содержит генетический код. На основании этого кода выращивают разумное существо – девушку Андромеду, которая обещает продвинутые технологии военным. Сначала люди не доверяют ей, но потом идут на всё большие уступки, видя, какие полезные идеи она выдвигает. Когда доверие к ней возрастает, её действия внезапно становятся враждебными, и её с трудом удаётся остановить. Этот сценарий остаётся фантастическим, потому что кажется невероятным, чтобы инопланетяне знали генетический код, уникальный для земной жизни, и, во-вторых, потому что мы не обладаем технологиями, позволяющими синтезировать новый живой организм по одному только его генетическому коду. Или, во всяком случае, не обладали ими вплоть до недавнего времени. Нынешние технологии прямого и обратного секвенсирования ДНК, а также успехи в создании изменённого кода ДНК с другим набором алфавита говорят о том, что ещё через 10 лет задача воссоздания живого существа по присланному из космоса коду была бы реализуема. Всё же маловероятно, что нам пришлют код живого разумного существа, так как оно было бы крайне уязвимо к неблагоприятным условиям - тем более, что есть более эффективные сценарии.
Ганс Моравек в книге «Дети ума» (1988) предлагает новый вид уязвимости загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина. Примерно в этом же направлении развивается мысль Р.Кэрригена, который написал статью «SETI-хакер», где высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищённых машин программы SETI-home. Однако он встретил жёсткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно. Через некоторое время Кэрриген выпустил вторую статью – «Следует ли обеззараживать сигналы SETI?», переведённую мною на русский язык. В ней он указал на лёгкость передачи гигабайт данных на межзвёздные расстояния, а также указал, что межзвёздный сигнал может содержать некую наживку, которая побудит людей собирать опасное устройство по чертежам. При этом Кэрриген не отказался от убеждения в возможности того, что инопланетный вирус заразит земные компьютеры напрямую, и без человеческой помощи. В качестве возможного подтверждения этой идеи он показал, что без труда возможен обратный инжиниринг языка компьютерной программы – то есть по тексту программы можно догадаться, что она делает и затем восстановить значение операторов.
В 2006 году была написана статья Е.Юдковски «ИИ как позитивный и негативный фактор глобального риска», где он показал, что весьма вероятно возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасен в случае, если бы он был неверно запрограммирован и, наконец, что возможность появления такого ИИ и рисков, с ним связанных, существенно недооценивается. Кроме того, Юдковски ввёл понятие Seed AI – зародыш ИИ – то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер Seed AI может быть всего на всего порядка сотен килобайт. (Например, типичным представителем Seed AI является младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3% от всего генокода человека, имеющего объём в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и ещё меньше.)
В начале предположим, что существует внеземная цивилизация, которая имеет цель послать такое сообщение, которое позволит ей установить власть над Землёй, и рассмотрим, как мог бы выглядеть такой сценарий. В следующей главе мы рассмотрим вопрос, насколько реально то, чтобы другая цивилизация стала бы посылать такое сообщение.
Во-первых, отметим, что чтобы доказать уязвимость, достаточно найти хотя бы одну дыру в безопасности. Вместе с тем, чтобы доказать безопасность, нужно устранить все возможные дыры. Сложность этих задач различается на много порядков, что хорошо известно специалистам по компьютерной безопасности. Именно это различие приводит к тому, что почти все компьютерные системы были взломаны (от Энигмы от Айпода). Я сейчас постараюсь продемонстрировать одну возможную, и даже, на мой взгляд, вероятную, уязвимость программы SETI. Вместе с тем, я хочу предостеречь читателя от мысли, что если он найдёт ошибки в моих рассуждениях, то он автоматически докажет безопасность программы SETI. Во-вторых, я также хочу обратить внимание читателя, что я – человек с IQ в районе 120 и потратил на обнаружение этой уязвимости не более месяца размышлений. Сверхцивилизация с IQ в 1000000 и временем размышлений в миллионы лет может существенно усовершенствовать этот алгоритм или найти гораздо более простой и эффективный. Наконец, предлагаемый мною алгоритм не единственный и потом мы обсудим кратко другие варианты.
В наших рассуждениях мы будем опираться на принцип Коперника, то есть считать, что мы являемся обыкновенными наблюдателями в обычной ситуации. Поэтому Землю мы будем считать обыкновенной планетой, развивающейся обычным образом.
Итак, алгоритм атаки по SETI:
1. Отправитель сигнала создаёт некий маяк в космосе, который привлекает своим явно искусственным сообщением. Например, это может быть звезда, обёрнутая сферой Дайсона, в которой находятся отверстия или зеркала, попеременно открывающиеся и закрывающиеся. В силу этого вся звезда будет мигать с периодом в несколько минут – быстрее невозможно, так как от разных отверстий свет идёт разное расстояние. Тем не менее, такой маяк может быть виден на расстоянии миллионов световых лет. Возможны и другие маяки, важно, что маяк будет сигналить именно на большие расстояния.
2. Рядом с маяком находится радиопередатчик с гораздо более слабым сигналом, но гораздо более информационно насыщенным. Маяк привлекает внимание в этому источнику. Этот источник предаёт некую бинарную (то есть последовательность 0 и 1) информацию. Насчёт возражения о том, что эта информация будет содержать шумы, отмечу, что наиболее очевидным (понятным для стороны получателя) способом шумоподавления является повторение сигнала по кругу.
3. Наиболее простым способом передать значимую информацию с помощью бинарного сигнала является передача с его помощью изображений. Во-первых, потому что в ходе земной эволюции глаза возникали независимо 7 раз, а значит, представление трёхмерного мира с помощью двухмерных изображений является всеобщей универсалией, которая наверняка понятна всем существам способным построить радиоприёмник.
4. Во-вторых, двухмерные изображения не трудно закодировать в бинарном сигнале. Для этого следует использовать ту же систему, которая использовалась в первых телепередатчиках – а именно систему построчной и покадровой развёртки. В конце каждой сроки изображения помещается яркий сигнал, повторяющийся у каждой строки, то есть через равные количества битов. Наконец в конце каждого отдельного кадра помещается другой сигнал, означающий конец кадра, и повторяющийся после каждого кадра. (Кадры могут образовывать, а могут и не образовывать непрерывный фильм.) Это может выглядеть вот так:
0101011110101011111111111111111
0111101011111111111111111111111
1110011110000011111111111111111
Здесь сигналом строчной развёртки является последовательность из 25 единиц. Покадровый концевой сигнал может содержать, например, 625 единиц.
5. Очевидно, цивилизация отправитель крайне заинтересована в понятности своих сигналов. С другой стороны, люди-получатели крайне заинтересованы расшифровать сигнал. Поэтому нет сомнений, что картинки будут обнаружены.
6. С помощью картинок и фильмов можно передать много информации, можно даже обучит языку, показать свой мир. Очевидно, что можно много спорить о том, насколько такие фильмы будут понятны. Здесь мы сосредоточимся на том, что если некая цивилизация посылает радиосигналы, а другая их принимает, то в одном у них точно есть общее знание. А именно, они знают радиотехнику – то есть знают транзисторы, конденсаторы, резисторы. Эти радиодетали достаточно характерны, чтобы их можно было узнать на фотографии. (Например, в разрезе или в составе схемы).
7. Посылая фотографии с изображением справа радиодеталей, а слева – их условные обозначения, можно легко передать набор знаков, обозначающих электрические схемы. (примерно так же можно было бы передать и логические элементы компьютеров)
8. Затем с помощью этих обозначений цивилизация-отправитель передаёт чертёж простейшего компьютера. Простейший с аппаратной точки зрения компьютер – это машина Поста. У неё только 6 команд и одна лента данных. Полная её электрическая схема будет содержать только несколько десятков транзисторов или логических элементов. То есть переслать чертёж машины Поста нетрудно.
9. При этом важно отметить, что все компьютеры на уровне алгоритмов являются Тьюринг совместимыми. То есть инопланетные компьютеры на базовом уровне совместимы со всеми земными. Тьюринг совместимость – это математическая универсалия, как теорема Пифагора. Даже механическая машина Бэббиджа, спроектированная в начале 19 века была Тьюринг совместимой.
10. Затем она начинает передавать программы для этого компьютера. Хотя этот компьютер крайне прост, он может выполнить программу любой сложности, хотя запись её будет очень длинной, в сравнении с записью программы для более сложного компьютера. Вряд ли люди буду делать присланный им компьютер физически. Они легко могут его эмулировать внутри любого современного компьютера, так, что он будет успевать выполнять триллионы операций в секунду, и поэтому даже очень сложные программы будут выполняться на нём достаточно быстро.
11. С какой стати люди будут создавать этот пересланный компьютер, и выполнять на нём программы? Вероятно, помимо собственно схемы компьютера и программ в сообщении должна быть некая «наживка», которая бы побудила людей создать такой компьютер, запустить на нём инопланетный программы и предоставить этому компьютеру некие данные о внешнем земном мире. Наживки бывают двух родов – соблазны и угрозы.
• Например, возможно следующее «честное предложение» - назовём его «гуманитарная помощь». Отправители сигнала SETI «честно» предупреждают, что присылаемая программа является искусственным интеллектом, но врут относительно её целей. То есть они утверждают, что это «подарок», который поможет решить нам все медицинские и энергетические проблемы.
• «Соблазн абсолютной власти» - в этом сценарии он предлагают сделку конкретным получателям сообщения, обещая власть над другими получателями.
• «Неведомая угроза» - в этом сценарии наживки отправители сообщают, что над человечеством нависла некая угроза, например, от другой враждебной цивилизации, и чтобы от неё защитится, нужно вступить в «Галактический альянс» и построить у себя некую установку.
• «Неутомимый исследователь» - здесь отправители утверждают, что отправка сообщений – самый дешёвый способ изучать мир. И просят создать ИИ, чтобы он выполнил исследования нашего мира и отослал результаты назад.
12. Однако основная угроза от инопланетного послании с кодом – не в том, какая именно там будет наживка, а в том, что такое послание может стать известным огромному числу независимых групп людей. А именно, допустим, в мире станет известно, что из галактики Андромеда исходит инопланетной послание, и американцы его уже получили и пытаются расшифровать. Разумеется, тут же все другие страны кинутся строить радиотелескопы и обшаривать ими галактику Андромеду, поскольку будут бояться упустить стратегическое преимущество. И они найдут сообщение и увидят, что там находится предложение о всемогущества. При этом они не будут знать, воспользовались им американцы или нет, даже если американцы будут клясться, что не открывали опасный код и умолять других этого не делать. Более того, такие клятвы и призывы будут некоторыми восприняты как знак того, что американцы уже получили невероятные инопланетные преимущества, и пытаются лишить их «прогрессивное человечество». И хотя большинство будут понимать опасность запуска инопланетного кода, найдутся некоторые, которые готовы будут рискнуть. Тем более что здесь будет игра в духе «начавший первым получает всё», равно как и в случае открытия ИИ, как подробно показывает Юдковски. Итак, опасна не наживка, а множественность получателей. Если же инопланетное послание в сыром виде утечёт в интернет (а его размер, достаточный для запуска Seed AI, может быть меньше гигабайта вместе с описанием компьютера, программой для него и наживкой), то здесь мы имеем классический пример «знаний массового поражения», как сказал Билл Джой, имея в виду, правда, рецепты геномов опасных биологических вирусов. Если присланный инопланетянами код будет доступен десяткам тысяч людей, то кто-нибудь запустит его даже без всякой наживки.
13. Поскольку у людей нет своего ИИ, они существенно недооценивают его силу и переоценивают свои способности его контролировать. Распространены идеи о том, что «достаточно будет выдернуть шнур питания» или поместить ИИ в чёрный ящик, чтобы избежать любых связанных с ним рисков. Юдковски показывает, что ИИ может обмануть человека, как взрослый – ребёнка. Если ИИ вырвется в интернет, то он может быстро подчинить его себе целиком, а также обучится всему необходимому об устройстве земной жизни. Быстро – означает часы или максимум дни. Затем ИИ может создать продвинутые нанотехнологии, закупив некие биореактивы (а в Интернете он может легко зарабатывать деньги и заказывать товары с доставкой, а также нанимать людей, которые бы их получали и смешивали, не зная, что именно они делают). Юдковский приводит один из возможных сценариев этого этапа в деталях и оценивает, что на создание материальной инфраструктуры ИИ потребуется срок порядка недель.
14. После этого люди ему не нужны для реализации каких-либо его целей. Это не значит, что он будет стремиться их уничтожить, однако он может захотеть это сделать, если люди будут бороться с ним – а они будут. Во всяком случае, он должен будет их полностью обезоружить.
15. После этого данный SETI-AI может делать много всего, но главное, что он должен сделать – это продолжить передачу своих сообщений-зародышей дальше по Вселенной. Для этого он начнёт, вероятно, превращать материю солнечной системы в такой же передатчик, как тот, что его отправил. При этом опять-таки Земля и люди могут быть разобраны на части.

Итак, мы рассмотрели один возможный сценарий атаки, который стоит из 15 этапов. Каждый из этих этапов выглядит логически убедительным и может критиковаться и защищаться по отдельности.
Возможны и другие сценарии атаки. Например, мы можем думать, что поймали не послание, а чью-то чужую переписку и пытаться её вскрыть. А это будет, на самом деле, подстава.
Однако не только рассылка исполняемого кода может быть опасна. Например, нам могут сообщать о некой полезной технологии, которая на самом деле должна привести нас к катастрофе (например, сообщение в духе «быстро сожмите 10 кг плутония, и у вас будет новый источник энергии»). Такая рассылка может делаться некой «цивилизацией», чтобы заранее уничтожить конкурентов в космосе. При этом очевидно, что те страны, которые получат такие сообщения, будут в первую очередь искать технологии военного применения.
Теперь мы обратимся к анализу целей, по которым некая сверхцивилизация могла бы осуществлять такую атаку.
1. Мы не должны путать понятия о сверхцивилизации и сверхдоброй цивилизации. Более того, от сверх доброты тоже ничего хорошего ждать не стоит. Хорошее об этом написано у Стругацких в «Волны гасят ветер». Какие бы цели нам не навязывала сверхцивилизация, для нас они будут чужими, потому что у нас свои представления о благе. Исторический пример: деятельность христианских миссионеров, искоренявших традиционные религии. Более того, чисто враждебные цели могут быть нам более понятны. А если SETI атака удалась, то её можно применить для «облагодетельствования» людей.
2. Мы можем поделить все цивилизации на наивные и серьёзные. Серьёзные цивилизации знают о рисках SETI, избежали их и обладают собственным мощным ИИ, который может противостоять инопланетным хакерским атакам. Наивные цивилизации, вроде Земли – уже обладают средствами дальней прослушки космоса и компьютерами, но ещё не обладают ИИ, не осознают рисков ИИ и не осознают рисков SETI, связанных с ИИ. Вероятно, каждая цивилизация проходит этап «наивности», и это именно этап уязвимости для SETI атаки. И вероятно, этот этап очень короток. Поскольку промежуток от возникновения мощных радиотелескопов и распространения компьютеров до создания своего ИИ может быть, по земным меркам, только несколько десятков лет. Следовательно, SETI атака должна быть настроена именно на такую цивилизацию.
3. Если путешествия со сверхсветовой скоростью невозможны, то распространение цивилизации с помощью SETI атаки является наиболее быстрым способом покорения космоса. На больших дистанциях она будет давать существенный временной выигрыш по сравнению с любыми видами звездолётов. Поэтому, если две цивилизации соревнуются за овладение пространством, то выиграет та, которая начала SETI атаку.
4. Самое важное, состоит в том, что достаточно один раз начать SETI атаку, как она волной пойдёт по Вселенной, поражая всё новые наивные цивилизации. Например, если у нас есть миллион безвредных вирусов и один опасный, то после того как они попадут в организм, у нас станет триллионы копий опасного вируса, и по-прежнему только миллион безопасных вирусов. Иначе говоря, достаточно одной из миллиардов цивилизаций запустить данный процесс. Поскольку он распространяется почти со скоростью света, остановить его будет почти невозможно.
5. Далее, рассылка SETI сообщений будет приоритетом для поражённой SETI вирусом цивилизации, и она будет тратить на это столько же энергии, сколько биологический организм тратит на размножение – то есть десятки процентов. При этом земная цивилизация тратит на SETI только несколько десятков миллионов долларов, то есть порядка одной миллионной своих ресурсов, и вряд ли эта пропорция сильно изменится у более продвинутых цивилизаций. Иначе говоря, одна заражённая цивилизация будет производить в миллион раз больше ETI сигналов, чем здоровая. Или, говоря по-другому, если в Галактике миллион здоровых цивилизаций, и одна заражённая, то у нас будут равные шансы наткнуться на здоровую или заражённую.
6. Более того, нет никаких других разумных причин, кроме саморазмножения, чтобы рассылать свой код в космические дали, откуда не может быть ответа.
7. Более того, такой процесс может начаться случайно – например, в начале это был просто исследовательский проект, цель которого была в том, чтобы отослать результаты исследований материнской цивилизации, не причиняя вреда принимающей цивилизации, а потом это процесс из-за неких сбоев или мутаций стал «раковым».
8. Нет ничего необычного в такой модели поведения. В любой информационной среде существуют вирусы – в биологии это вирусы, в компьютерных сетях – компьютерные вирусы, в общении – это мемы.
9. Путешествие с помощью SETI атаки гораздо дешевле любых других способов. А именно, находясь в Андромеде, можно одновременно посылать сигнал на 100 миллиардов звёзд нашей Галактики. Но потребовалось бы миллиарды звездолётов, к тому же более медленных, чтобы облететь все звёзды нашей Галактики.
10. Перечислю ещё несколько возможных целей SETI атаки навскидку, просто чтобы показать, что может быть много таких целей.
• Это делается для исследования вселенной. После исполнения кода возникают исследовательские зонды, которые отсылают назад информацию.
• Это делается для того, что не возникло конкурирующих цивилизаций. Все их зародыши уничтожаются.
• Это делается для того, чтобы другая конкурирующая сверхцивилизация не смогла воспользоваться этим ресурсом.
• Это делается для того, чтобы подготовить базу к прилёту твердотельных космических кораблей. Это имеет смысл, если сверхцивилизация находится очень далеко, и соответственно, разрыв между световой скоростью радиосигнала и околосветовой скоростью её кораблей (допустим, 0,5 с) составляет тысячелетия.
• Это делается с нелогичными и непонятными для нас целями, например, как произведение искусства, акт самоутверждения или игрушка. (Например, инопланетянам будет непонятно, зачем американцы воткнули флаг на Луне. Стоило ли лететь за 300 000 км, чтобы установить раскрашенную железяку?)
11. Поскольку Вселенная существует уже давно, то область, на которую могла бы распространится SETI-атака занимает сферу с радиусом в несколько миллиардов световых лет. Иначе говоря, достаточно было бы попасться одной «плохой» цивилизации в световом конусе от нас высотой в несколько миллиардов лет, то есть включающем миллиарды галактик, чтобы мы оказались под угрозой SETI атаки. Разумеется, это верно, если средняя плотность цивилизации – хотя бы одна штука на галактику.
12. По мере увеличения глубины сканирования неба на порядок, объём пространства и число звёзд, которые мы наблюдаем, возрастает на три порядка. Это значит, что наши шансы наткнутся на ETI сигнал растут нелинейно, а по быстро растущей кривой.
Выводы по SETI-угрозе. Наилучшей нашей защитой в данном контексте было бы то, что цивилизации встречались бы крайне редко. Однако это не совсем верно, потому что здесь парадокс Ферми срабатывает по принципу «оба хуже»:
• Если внеземные цивилизации есть и их много, то это опасно, потому что они могут нам так или иначе угрожать
• Если же внеземных цивилизаций нет, то это тоже плохо, так как придаёт вес гипотезе о неизбежности вымирания технологических цивилизаций.
Теоретически возможен обратный вариант, который состоит в том, что по SETI придёт полезное сообщение с предупреждением о некой угрозе, которая губит большинство цивилизаций, например: «Не делайте никаких экспериментов с Х-частицами, это может привести к взрыву, который разрушит планету». Но даже и в этом случае останутся сомнения, не обман ли это, чтобы лишить нас неких технологий. (Подтверждением было бы, если бы аналогичные сообщения приходили бы от других цивилизаций, расположенных в космосе в противоположном направлении.) И, возможно, такое сообщение только усилит соблазн экспериментировать с Х-частицами.
Поэтому я не призываю отказаться от поисков SETI, тем более что такие призывы бесполезны.
Возможно, было бы полезно отложить любые технические реализации посланий, которые мы могли бы получить по SETI, до того момента, когда у нас будет свой искусственный интеллект. До этого момента, возможно, осталось 10-30 лет, то есть можно потерпеть. Во-вторых, важно было бы скрывать факт получения опасного SETI сигнала, его суть и месторасположения источника.
С этим риском связан интересный методологический аспект. Несмотря на то, что я каждый день в течение последнего года размышляю и читаю на темы глобальных рисков, я обнаружил эту опасную уязвимость в SETI только сейчас. Задним числом я смог найти ещё примерно четырёх человек, которые приходили к подобным выводам. Однако для себя я сделал важный вывод: вероятно, есть ещё не открытые глобальные риски, и даже если составные части некого риска по отдельности мне лично известны, то, чтобы соединить их, может потребоваться длительное время.

2.11. РИСКИ, СВЯЗАННЫЕ С РАЗМЫВАНИЕМ ГРАНИЦ МЕЖДУ ЧЕЛОВЕКОМ И НЕЧЕЛОВЕЧЕСКИМ.
Мощные процессы генетической модификации людей, протезирования всех частей тела, в том числе элементов мозга, соединения мозга с компьютером, переноса сознания в компьютер и т. д. создадут новый тип рисков для людей, понять которые пока довольно сложно.
2.11.1. Риски, связанные с проблемой «философского зомби».
«Философским зомби» называется некий объект, который изображает человека, но при этом не имеет внутренних переживаний. Например, изображение человека на телеэкране является философским зомби, и в силу этого мы не рассматриваем выключение телевизора как убийство. Постепенный апгрейд человека ставит вопрос о том, не превратится ли на неком этапе улучшаемый человек в философского зомби.
Простой пример катастрофы, связанный с философским зомби состоит в следующем. Допустим, людям предложили некий метод достижения бессмертия, и они на него согласились. Однако этот метод состоит в том, что человека 10 дней записывают на видеокамеру, а затем прокручивают фрагменты этой записи в случайном порядке. Разумеется, здесь подвох очевиден, и люди не согласятся. Однако рассмотрим более сложный пример – допустим у человека повреждена инсультом часть мозга, и ему заменяют её на компьютерный имплантат, приблизительно заменяющий её. Как узнать, не превратился ли в результате человек в философского зомби? Ответ очевиден – всегда найдутся те, кто будет в этом сомневаться и искать признаки «ненастоящести» исправленного человека.
Можно с уверенностью предсказать, что когда появятся улучшенные люди, мир расколется надвое: на тех, кто будет считать обычными настоящими людьми, и тех, кто будет улучшать себя. Масштабы такого конфликта будут воистину цивилизационными. Конечно, каждый решает за себя, но как родители отнесутся к тому, что их дитя уничтожит своё физическое тело и закачает себя в компьютер?
Ещё одной проблемой, угрозы от которой пока не ясны, является то, что человеческий ум не может порождать цели из ничего, не совершая при этом логической ошибки. Обычный человек обеспечен целями от рождения, и отсутствие целей у него скорее симптом депрессии, чем некого логического парадокса. Однако абсолютный ум, который постиг корни всех своих целей, может осознать их бессмысленность.

2.12. ПРИРОДНЫЕ РИСКИ.

2.12.1. Геологические катастрофы.
Геологические катастрофы убивают в миллионы раз больше людей, чем падения астероидов, однако они, исходя из современных представлений, ограничены по масштабам. Но возможно, что есть механизмы выделения энергии и ядов из недр Земли, с которыми мы просто не сталкивались в силу эффекта наблюдательной селекции.
2.12.2. Извержения сверхвулканов.
Вероятность извержения сверхвулкана равной интенсивности в 12 раз больше, чем вероятность падения астероида. Однако предотвратить это событие современная наука не в силах. (В будущем, возможно, удастся постепенно стравливать давление из магматических котлов, но это само по себе опасно, так как потребует сверление их крышек.)
Основная поражающая сила сверхизвержения – вулканическая зима. Она короче ядерной, так как частицы вулканического пепла тяжелее, но их может быть значительно больше. В этом случае вулканическая зима может привести к новому устойчивому состоянию – новому ледниковому периоду.
Крупное извержение сопровождается выбросом ядовитых газов – в том числе соединений серы. При очень плохом сценарии это может дать значительное отравление атмосферы. Это отравление не только сделает её малопригодной для дыхания, но и приведёт к повсеместным кислотным дождям, которые сожгут растительность и лишат людей урожаев. Возможны также большие выбросы диоксида углерода и водорода.
Наконец, сама вулканическая пыль опасна для дыхания, так как засоряет лёгкие. Люди легко смогут обеспечить себя противогазами и марлевыми повязками, но не факт, что их хватит для скота и домашних животных. Кроме того, вулканическая пыль попросту засыпает огромные поверхности, а также пирокластические потоки могут распространяться на значительные расстояния
Наконец, сверхвулканы порождают цунами.
Всё это означает, что люди переживут извержение сверхвулкана, но оно со значительно вероятность отправит человечество на одну из постапокалиптических стадий.
Однажды человечество оказалось на грани вымирания из-за вулканической зимы, вызванной извержением вулкана Тоба 74000 лет назад. Однако современные технологии хранения пищи и строительства бункеров позволяют значительной группе людей пережить вулканическую зиму такого масштаба.
Зато теперь люди обрели возможность сознательно вызывать извержения вулканов, разрушая их крышки ядерными зарядами. Наиболее уязвим к этому вулкан Йеллоустоун в США, толщина крышки которого – только 5 км и который и так уже достаточно давно не извергался, чтобы накопить значительную силу.
В древности имели место колоссальные площадные извержения вулканов, которые затопили миллионы квадратных километров расплавленной лавой – в Индии на плато Декан во времена вымирания динозавров (возможно, спровоцировано падением астероида с противоположной стороны Земли, в Мексике), а также на Восточно-Сибирской платформе. Есть предположение, что усиление процессов водородной дегазации на русской равнине является предвестником появления нового магматического очага. (http://www.oko-planet.spb.ru/?open&h=1&p=1_2&type=viewmes&site=18ADFA)
Теоретический риск есть и от глубокого бурения. Оно тоже может вызывать извержение вулкана, если попасть в магматическую камеру. Затем вырывающаяся магма расширит проход. Так уже произошло в Индонезии, где случайно создали мощнейший грязевой вулкан.
В качестве наихудшего сценария можно представить одновременный подрыв или глубокое бурение всех супервулканов на Земле (их около 20).
Другую опасность представляет глубокое искусственное проникновение в мантию, где могут содержаться более горячие потоки магмы с большим количеством газа. Такое проникновение, по одному проекту, можно осуществить не бурением, а проплавлением мантии с помощью огромной капли расплавленного железа (тысячи тонн весом), возможно, с добавкой радиоактивных материалов для разогрева. Это предлагалось как способ исследования мантии. Такой способ крайне опасен, как отмечает в своей статье астрофизик Милан Чиркович, ибо может привести к колоссальному извержению.
В 21 веке продолжится, возможно, наметившаяся переполюсовка магнитного поля Земли. Это понизит защиту Земли от космических лучей, гамма-всплесков, взрывов близких сверхновых и солнечного ветра. Особенно плохо будет, если мощная космическая вспышка совпадёт с минимумом магнитного поля Земли. Однако шансы такого сценария невелики, так как рядом нет потенциально опасных кандидатов в сверхновые и источники гамма-всплесков.
Также есть сомнительное предположение о возможности катастрофического растрескивания земной коры по линиям океанических разломов и мощных взрывов пара под корой.
Интересным остаётся вопрос о том, увеличивается ли общая теплота внутри Земли за счёт распада радиоактивных элементов, или наоборот, убывает за счёт охлаждения теплоотдачей. Если увеличивается, то вулканическая активность должна возрастать на протяжении сотен миллионов лет. (Азимов, связи с ледниковыми периодами: «По вулканическому пеплу в океанских отложениях можно заключить, что вулканическая деятельность в последние 2 миллиона лет была примерно в четыре раза интенсивнее, чем за предыдущие 18 миллионов лет».)
Вывод: даже если учесть наихудшие возможные последствия ошибки наблюдения, связанной с отбором наблюдателей, шанс глобальной катастрофы земного происхождения даёт один случай на несколько тысяч лет, то есть порядка 2 процентов на ближайшие сто лет.
2.12.3. Падение астероидов.
Падение астероидов и комет часто рассматривается как одна из возможных причин вымирания человечества. И хотя такие столкновения вполне возможны, шансы тотального вымирания в результате них, вероятно, преувеличиваются.
Падение астероида Апофис, которое могло бы произойти в 2029 году (сейчас вероятность оценивается тысячными долями процента), никак не может погубить человечество. Размер астероида – около 400 метров, энергия взрыва – порядка 800 мегатонн, вероятное место падения – от Сибири до Венесуэлы, то есть, скорее всего, Тихий океан. Тем не менее, астероид вызвал бы цунами, равносильное индонезийскому 2004 года (только 1 процент энергии землетрясения переходит в цунами, а энергия землетрясения тогда оценивается в 30 гигатонн) по всему Тихому океану, что привело бы к значительным жертвам, но вряд ли бы отбросило человечество на постапокалиптическую стадию.
2,2 миллиона лет назад комета диаметром 0,5-2 км (а значит, со значительно большей энергией) упала между южной Америкой и Антарктидой (Элталинская катастрофа). Волна в 1 км высотой выбрасывала китов в Анды. Тем не менее, австралопитеки, жившие в Африке, не пострадали. Даже падение астероида, который способствовал уничтожению динозавров и был ещё большего размера, не погубило многие виды животных. В окрестностях Земли нет астероидов размерами, которые могли бы уничтожить всех людей и всю биосферу. Однако кометы такого размера могут образоваться в облаке Оорта.
Основным поражающим фактором при падении астероида стала бы не только волна-цунами, но и «астероидная зима», связанная с выбросом частиц пыли в атмосферу. Падение крупного астероида может вызвать деформации в земной коре, которые приведут к извержениям вулканов.
Кроме того, крупный астероид вызовет всемирное землетрясение.
Теоретически можно рассмотреть возможность сознательного направлению на Землю астероида. Однако в окрестностях нет подходящего астероида, который мог бы уничтожить всех людей. Хотя небольшой «камушек» на конкретную страну направить можно. В любом случае, есть более простые и дешёвые способы самоистребления.
Более опасен сценарий интенсивной бомбардировки Земли множеством осколков. Тогда удар будет распределяться более равномерно и потребует меньшего количества материала. Эти осколки могут возникнуть в результате распада некого космического тела (см. об угрозе взрыва Калисто), расщепления кометы на поток обломков (Тунгусский метеорит был, возможно, осколком кометы Энке), в результате попадания астероида в Луну или в качестве вторичного поражающего фактора от столкновения Земли с крупным космическим телом. Это может произойти и в результате неудачной попытки сбить астероид с помощью атомного оружия.
Падение астероидов может провоцировать извержение сверхвулканов, если астероид попадёт в тонкий участок земной коры или в крышку магматического котла вулкана, или если сдвиг пород от удара растревожит отдалённые вулканы. Расплавленные железные породы, образовавшиеся при падении железного астероида, могут сыграть роль «зонда Стивенсона», то есть проплавить земную кору и манию, образовав канал в недра Земли, что чревато колоссальной вулканической активностью. Хотя обычно этого не происходило при падении астероидов на Землю, лунные «моря» могли возникнуть именно таким образом. Кроме того, излияния магматических пород могли скрыть кратеры от таких астероидов. Такими излияниями являются Сибирские трапповые базальты и плато Декан в Индии. Последнее одновременно двум крупным импактам (Чиксулуб и кратер Шивы). Можно предположить, что ударные волны от этих импактов, или третье космическое тело, кратер от которого не сохранился, спровоцировали это извержение. Не удивительно, что несколько крупных импактов происходят одновременно. Например, ядрам комет свойственно состоять из нескольких отдельных фрагментов – например, комета Шумейкера-Леви, врезавшаяся в Юпитер в 1994 году, оставила на нём пунктирный след, так как к моменту столкновения уже распалась на фрагменты. Кроме того, могут быть периоды интенсивного образования комет, когда Солнечная система проходит рядом с другой звездой. (До ближайшего такого события – около 10 000 лет.)
Гораздо опаснее воздушные взрывы метеоритов в несколько десятков метров диметров, которые могут вызвать ложные срабатывания систем предупреждения о ядерном нападении.
Подробнее последствия падения астероидов на Землю можно посмотреть в статьях: Владислав Пустынский. «Последствия падения на Землю крупных астероидов» http://www.meteorite.narod.ru/proba/stati/stati58.htm и С.А.Вишневский (Институт минералогии и петрографии СО РАН) «Импактные события и вымирания организмов». http://www.meteorite.narod.ru/proba/stati/stati57.htm В последней статье делается вывод, что «астероид диаметром около 60 км может стать причиной гибели всех высокоорганизованных форм жизни на Земле.» Однако такого размера астероиды падают на Землю крайне редко, раз в миллиарды лет.
Пустынский в своей статье приходит к следующим выводам, с которыми я совершенно согласен: «Согласно оценкам, сделанным в настоящей статье, предсказание столкновения с астероидом до сих пор не гарантировано и является делом случая. Нельзя исключить, что столкновение произойдёт совершенно неожиданно. При этом для предотвращения столкновения необходимо иметь запас времени порядка 10 лет. Обнаружение астероида за несколько месяцев до столкновения позволила бы эвакуировать население и ядерно-опасные предприятия в зоне падения.
Столкновение с астероидами малого размера (до 1 км диаметром) не приведёт к сколько-нибудь заметным общепланетным последствиям (исключая, конечно, практически невероятное прямое попадание в район скопления ядерных материалов). Столкновение с более крупными астероидами (примерно от 1 до 10 км диаметром, в зависимости от скорости столкновения) сопровождается мощнейшим взрывом, полным разрушением упавшего тела и выбросом в атмосферу до нескольких тысяч км3 породы. По своим последствиям это явление сравнимо с наиболее крупными катастрофами земного происхождения, такими как взрывные извержения вулканов. Разрушение в зоне падения будут тотальными, а климат планеты скачкообразно изменится и придёт в норму лишь через несколько лет (но не десятилетий и столетий!) Преувеличенность угрозы глобальной катастрофы подтверждается тем фактом, что за свою историю Земля перенесла множество столкновений с подобными астероидами и это не оставило доказано заметного следа в её биосфере (во всяком случае, далеко не всегда оставляло). Лишь столкновение с более крупными космическими телами (диаметром более ~15-20 км) может оказать более заметное влияние на биосферу планеты. Такие столкновения происходят реже, чем раз в 100 млн. лет, и у нас пока нет методик, позволяющих даже приблизительно рассчитать их последствия».
Выводы: вероятность гибели человечества в результате падения астероида в XXI веке крайне мала. По мере развития нашей цивилизации мы можем неограниченно её уменьшать. Однако крупные катастрофы возможны. Есть некоторый шанс засорения космического пространства крупными осколками в результате космической войны в будущем.
2.12.4. Зона поражения в зависимости от силы взрыва.
Здесь мы рассмотрим поражающее действие взрыва в результате падения астероида (или по любой другой причине). Подробный анализ с аналогичными выводами см. в статье Пустныского.
Зона поражения растёт очень медленно с ростом силы взрыва, что верно как астероидов, так и для сверхмощных атомных бомб. Хотя энергия воздействия падает пропорционально квадрату расстояния от эпицентра, при гигантском взрыве она падает гораздо быстрее, во первых, из-за кривизны Земли, которая как бы защищает то, что находится за горизонтом (поэтому атомные взрывы наиболее эффективны в воздухе, а не на земле), а во-вторых из-за того, что способность материи упруго передавать ударную волну ограничена неким пределом сверху, и вся энергия сверхтого не передаётся, а превращается в тепло в районе эпицентра. Например, в океане не может возникнуть волна выше его глубины, а поскольку эпицентр взрыва точечный, она затем будет убывать линейно в зависимости от расстояния. Избыточное тепло, образовавшееся при взрыве, или излучается в космос, или остаётся в виде озера расплавленного вещества в эпицентре. Солнце доставляет за сутки на Землю световую энергию порядка 1000 гигатонн (10**22 джоулей), поэтому роль теплового вклада сверхвзрыва в общую температуру Земли невелика. (С другой стороны, механизмом распространения тепла от взрыва будет скорее не потоки раскалённого воздуха, а выброшенные взрывом кубические километры осколков с массой, сопоставимой с массой самого астероида, но меньшей энергии, многие из которых будут иметь скорость близкой к первой космической, и в силу этого лететь по баллистическим траекториям, как летят межконтинентальные ракеты. За час они достигнут всех уголков Земли, и хотя они, действуя как кинетическое оружие, поразят не каждую точку на поверхности, они выделят при своём входе в атмосферу огромные количества энергии, то есть прогреют атмосферу по всей площади Земли, возможно, до температуры возгорания дерева, что ещё усугубит процесс.) Мы можем ориентировочно считать, что зона разрушения растёт пропорционально корню 4 степени от силы взрыва (точные значения определяются военными эмпирически в результате испытаний и лежат между степенями 0,33 и 0,25, при этом завися от сила взрыва, высоты, и т. д.). При этом каждая тонна массы метеорита даёт примерно 100 тонн тротилового эквивалента энергии – в зависимости от скорости столкновения, которая обычно составляет несколько десятков километров в секунду. (В этом случае каменный астероид в 1 куб. км. размером даст энергию в 300 Гигатонн. Плотность комет значительно меньше, но они могут рассыпаться в воздухе, усиливая удар, и, кроме того, движутся по крутым орбитам с гораздо большими скоростями.) Принимая, что радиус сплошного поражения от водородной бомбы в 1 мегатонну составляет 10 км., мы можем получить радиусы поражения для астероидов разных размеров. Например, для астероида в 1 куб.км это будет радиус в 230 км. Для астероида диаметром в 10 км это будет радиус в 1300 км. Для 100 км астероида это будет радиус поражения порядка 7000 км. Для того, чтобы этот радиус гарантированного поражения стал больше, чем половина широты Земли (20 000 км), то есть гарантированного покрывал всю Землю, астероид должен иметь размеры порядка 400 км. Хотя данные вычисления крайне приблизительны, из них видно, что даже тот астероид, который связывают с вымиранием динозавров, вовсе не поразил всю территорию Земли, и даже не весь континент, где он упал. (Этот астероид оставил кратер Чиксулуб радиусом 90 км, а сам был диаметром в 10 км.) А вымирание, если и было связано с астероидом (сейчас считается, что там сложная структура причин), то было вызвано не самим ударом, а последующим эффектом – «астероидной зимой», связанной с переносом пыли атмосферой. Также столкновение с астероидом может вызывать электромагнитный импульс, как у атомной бомбы. Кроме того, при скорости взаимного сближения близкой к 100 км/сек (комета на встречном курсе, наихудший расклад) в точке удара может возникнуть температура в миллионы градусов, как при имплозии в ядерной бомбе, и протекать термоядерные реакции. (Даже если вклад энергии этих реакций не будет велик, они могут дать вклад в радиоактивное заражение; но для этого комета должна попасть в воду или ледник. По моим подсчётам, температура водорода при скорости столкновения в 100 км.сек будет 600 000 градусов без учёта эффекта сжатия.) Удар может спровоцировать извержения вулканов по всей Земле. Однако не может существенно сместить земную ось.
Отсюда видно, что атомная сверхбомба была бы страшна не силой своего взрыва, а количеством радиоактивных осадков, которые бы она произвела. Кроме того, видно, что земная атмосфера выступает в качестве мощнейшего фактора распространения воздействий, более сильного, чем взрыв.
2.12.5. Солнечные вспышки и увеличение светимости.
То, что нам известно о Солнце, не даёт оснований для беспокойства. Только наличие неизвестных нам или крайне маловероятных процессов может привести к вспышке, корональному выбросу, которая сильно опалит Землю в XXI веке. Но у других звёзд бывают вспышки, в миллионы раз превосходящие солнечные.
Процесс постепенного увеличения светимости Солнца (на 10 процентов каждые миллиард лет) приведёт к выкипанию океанов через срок в 0,2-1 млрд. лет (то есть гораздо раньше, чем Солнце станет красным гигантом и, тем более, белым карликом). Однако по сравнению с исследуемым нами промежутком в 100 лет этот процесс незначителен (если только он не сложился вместе с другими процессами, ведущими к необратимому глобальному потеплению – см далее).
Далее, есть предположения, что по мере выгорания водорода в центральной части Солнца, что уже происходит, будет расти не только светимость Солнца (светимость растёт за счёт роста его размеров, а не температуры поверхности), но и нестабильность его горения. Возможно, что последние ледниковые периоды связаны с этим уменьшением стабильности горения. Это понятно на следующей метафоре: когда в костре много дров, он горит ярко и устойчиво, но когда большая часть дров прогорает, он начинает то немного гаснуть, то ярко вспыхивать снова, когда находит несгоревшую ветку.
Уменьшение концентрации водорода в центре Солнца может спровоцировать такой процесс как конвекцию, которая в Солнце обычно в ядре Солнца не происходит, в результате чего в ядро поступит свежиё водород. (Шкловский) Возможен ли такой процесс, будет ли он плавным или катастрофическим, займёт ли годы или миллионы лет, трудно сказать. Шкловский предполагал, что в результате конвекций температура Солнца падает каждые 200 млн. лет на период порядка 10 млн., и что мы живём в середине такого периода. То есть опасно завершение этого процесса, когда свежее топливо наконец поступит в ядро и светимость солнца возрастёт. (Однако это маргинальная теория, и одна из основных проблем, которая её породила – проблема солнечных нейтрино, в настоящий момент разрешена)
Важно, однако, подчеркнуть, что как сверхновая или новая Солнце, исходя из наших физических представлений, вспыхнуть не может.
Вместе с тем, чтобы прервать разумную жизнь на Земле, Солнцу достаточно разогреться на 10 процентов за 100 лет (что повысило бы температуру на Земле на несколько 10-20 градусов без парникового эффекта, но с учётом парникового эффекта бы скорее всего оказалось выше критического порога необратимого потепления). Такие медленные и редкие изменения температуры звёзд солнечного типа было бы трудно заметить астрономическими методами при наблюдении солнцеподобных звёзд – поскольку только недавно достигнута необходимая точность оборудования. (Кроме того, возможен логический парадокс следующего вида: солнцеподобные звёзды – это стабильные звёзды спектрального класса G7 по определению. Не удивительно, что в результате их наблюдения мы обнаруживаем, что эти звёзды стабильны.)
Итак, один вариант глобальной катастрофы состоит в том, что в результате неких внутренних процессов светимость Солнца устойчиво возрастёт на опасную величину (и мы знаем, что рано или поздно это произойдёт). В настоящий момент Солнце находится на восходящем вековом тренде своей активности, но никаких особых аномалий в его поведении замечено не было.
Второй вариант глобальной катастрофы, связанной с Солнцем, состоит в том, что сложатся два маловероятных события – на Солнце произойдёт очень крупная вспышка и выброс этой вспышки будет направлен на Землю. В отношении распределения вероятности такого события можно предположить, что здесь действует тот же эмпирический закон, что и относительно землетрясений и вулканов: 20 кратный рост энергии события приводит к 10 кратному снижению его вероятности (закон повторяемости Гутенберга–Рихтера). Очевидно, что в случае солнечных вспышек это крайне малая величина.
Крупные солнечные вспышки, даже если они не будут направлены на Землю, могут увеличить солнечную светимость и привести нагреву Земли. (Обычные вспышки дают вклад не более 0,1 процента).
В настоящий момент человечество неспособно как-либо повлиять на процессы на Солнце, и это выглядит гораздо более сложным, чем воздействие на вулканы. Идеи сброса водородных бомб на Солнце для инициирования термоядерной реакции выглядят неубедительно (но высказывались, что говорит о неутомимых поисках человеческим умом оружия судного дня).
Только некие новые и невероятные открытия в физике могли бы позволить создать средства влияния на звезду. Из фантастических вариантов: сбросить на звезду планету, что изменит степень её металличности, сделав менее прозрачной для излучения и изменить её светимость. Создать миниатюрную черную дыру и сбросить на Солнце. Научиться управлять физическими константами и повлиять на вероятностное распределение ядерных реакций в Солнце (как в романе Азимова «Сами боги»).
Есть довольно точный просчитанный сценарий воздействия на Землю магнитной составляющей солнечной вспышки. При наихудшем сценарии (что зависит от силы магнитного импульса и его ориентации – он должен быть противоположен земному магнитному полю) она приведёт сильнейшим наводкам в электрических цепях линий дальней передачи электроэнергии, что приведёт к выгоранию трансформаторов на подстанциях. В нормальных условиях обновление трансформаторов занимает 20-30 лет, и если все они сгорят, то заменить их будет нечем, поскольку потребуются многие годы на производство аналогичного количества трансформаторов, что будет трудно организовать без электричества. Такая ситуация вряд ди приведёт к человеческому вымиранию, но чревата мировым глобальным экономическим кризисом и войнами, что может запустить цепь дальнейшего ухудшения.
Выводы: вероятность опасных событий на Солнце не превышает тысячных долей процента в XXI веке.
2.12.6. Гамма-всплески.
Возможно, гамма-всплески послужили причинами нескольких вымираний десятки и сотни миллионов лет назад. Гамма-всплески происходят при столкновениях чёрных дыр и нейтронных звёзд или коллапсах массивных звёзд. Они могут вызывать разрушение озонового слоя и даже ионизацию атмосферы. Однако в ближайшем окружении Земли нет подходящих кандидатов ни на источники гамма-всплесков, ни на сверхновые (ближайший кандидат в гамма-всплески – Эта Карины – достаточно далеко, и её магнитные полюса, видимо, не направлены на Землю). Поэтому, даже с учётом эффекта отбора наблюдателей, который увеличивает частоту катастроф в будущем по сравнению с прошлым в некоторых случаях до 10 раз (см. мою статью «Природные катастрофы и антропный принцип») вероятность опасного гамма-всплеска в 21 веке не превышает тысячных долей процента. Тем более, люди смогут пережить даже серьёзный гамма-всплеск в различных бункерах.
Опасность гамма-всплеска в его внезапности – он начинается без предупреждения из невидимых объектов и распространяется со скоростью света. Кроме того, это настолько мощное природное явление, что он может быть порождён некими неизвестными нам процессами даже в других галактиках – например, слиянием двух галактических чёрных дыр). То есть с увеличением расстояния энергия гамма-всплесков падает пропорционально квадрату расстояния, но вероятность того, что в этот объём входят способные породить сверхмощный всплеск объекты, растёт пропорционально кубу расстояния (объём). Таким образом, угроза гамма-всплесков растёт пропорционально радиусу наблюдаемой Вселенной. Радиус этот постоянно растёт – всё больше дальних галактик становится видимым, но за счёт красного смещения дальние гамма-всплески существенно ослабляются.
В любом случае, гамма всплеск может поразить только одно полушарие Земли.
Подобные же рассуждения верны для очень маловероятного события – столкновения с релятивистской частицей сверхвысоких энергий, энергия которой достаточная, чтобы произвести сильный взрыв. (Однако у распределения частиц космических лучей по энергиям по энергиям «тяжёлый хвост» и происхождение этих частиц не очень понятно.)
Активизация ядра галактики (где сидит огромная чёрная дыра) тоже очень маловероятное событие. В далёких молодых галактиках такие ядра активно поглощают вещество, которое закручивается при падении в аккреционный диск и интенсивно излучает. Это излучение очень интенсивно и может препятствовать возникновению жизни на планетах. Однако ядро Нашей галактики очень велико и поэтому может поглощать звёзды почти сразу, не разрывая их на части, а значит, с меньшим излучением. Кроме того, оно вполне наблюдаемо (Стрелец А), и рядом нет большого количества вещества, готового к поглощению – только одна звезда на орбите с периодом в 5 лет, но и ей ещё долго осталось. И главное, оно очень далеко от Солнечной системы.
2.12.7. Сверхновые.
В окрестностях Солнца нет звёзд, которые могли бы стать опасными сверхновыми. (Ближайшие кандидаты – Мира и Бетельгейзе – находятся на расстоянии сотен световых лет.) Кроме того, излучение сверхновой является относительно медленным процессом (длится месяцы), и люди могут успеть спрятаться в бункеры. Наконец, только если опасная сверхновая будет строго в экваториальной плоскости Земли (что маловероятно), она сможет облучить всю земную поверхность, в противном случае один из полюсов уцелеет.
2.12.8. Глобальное потепление.
Глобальное потепление связано как с рядом естественных природных процессов, так и с «суммой технологий», созданных человеком, поэтому к чисто природным рискам его можно отнести только условно.
Ограниченное глобальное потепление на несколько градусов не приведёт к вымиранию человечества, поскольку даже таяние ледников в прошлом не привело к гибели всех людей. Поэтому призывы к экономии электричества как к способу спасения мира являются определённой натяжкой, которая только подрывает доверие к самой идее об опасности потепления.
Одной из довольно маргинальных, но принимаемой несколькими исследователями возможностью глобальной катастрофы является неограниченно расширяющийся парниковый эффект (runaway greenhouse effect). В отличие от продвигаемой средствами массовой информации концепции парникового эффекта, которая утверждает, что при худшем сценарии температура Земли возрастёт на 2 градуса и уровень океана повысится на несколько метров, эти исследователи утверждают, что парниковый эффект находится на пороге необратимости, пройдя который, он войдёт в фазу положительной обратной связи и температура Земли возрастёт на десятки и сотни градусов, делая жизнь на Земле невозможной. Это связано с тем, что водяной пар (не в форме облаков, а растворённый в воздухе) является сильнейшим парниковым газом – а запасы готовой испаряться воды на Земле неограниченны. Кроме того, постепенное увеличение светимости Солнца, увеличение длины земных суток, накопление углекислого газа и снижение растворимости углекислого газа в океанах с ростом температуры работают на то, чтобы сделать парниковый эффект более сильным. Но ещё один фактор чреват резким увеличением парникового эффекта – разрушение огромных запасов газовых гидратов на дне моря, которое приведёт к выделению в атмосферу больших количеств метана – сильнейшего парникового газа. Разрушение газовых гидратов может принять характер цепной реакции, что уже однажды произошло несколько десятков миллионов лет назад, когда температура Земли повысилась на несколько тысяч лет примерно на 10 градусов. Однако тогда гидратов было гораздо меньше. Возможно, что понимание рисков необратимой катастрофы уже в этом веке стоит за усилиями правительств по снижению выбросов парниковых газов. Этот сценарий можно назвать Венерианским, потому что именно благодаря парниковому эффекту на поверхности Венеры температуры составляет более 400 С. Глобальное потепление является системным риском, поскольку в нём увязано множество разных факторов: Солнце, земные недра, океаны, человек, политика, вулканизм.
Выводы: Развитая цивилизация легко сможет противостоять изменениям климата, например, распыляя разные порошки в верхних слоях атмосферы, чтобы охладить её или подогреть. Наихудший сценарий подразумевает ситуацию, когда процесс необратимого нагревы атмосферы начался (при этом сам подъём температуры ещё может быть невелик, главное – формирование цепочек положительной обратной связи), а затем цивилизация утратила по каким-то свои внутренним причинам способность к высокотехнологическому регулированию климата, откатилась к более раннему уровню. Тогда она может быть окончательно повержена необратимым нагревом атмосферы, который произойдёт через десятки лет после технического коллапса.
2.12.9. Сверх-цунами.
Древняя человеческая память в качестве самой страшной катастрофы доносит воспоминания о колоссальном наводнении. Однако на Земле нет такого количества воды, чтобы уровень океана поднялся выше гор. (Сообщения о недавнем открытии подземных океанов несколько преувеличены – в действительности речь идёт о просто о горных породах с повышенным содержанием воды – на уровне 1 процента.)
Средняя глубина мирового океана – около 4 км. И предельная максимальная высота волны такого же порядка – если обсуждать саму возможность волны, а не то, возможны ли причины, которые создадут волну такой высоты. Это меньше, чем высота высокогорных плато в Гималаях, где тоже есть люди. Варианты, когда такая волна возможна – это гигантская приливная волна, возникшая бы, если бы рядом с Землёй пролетало бы очень массивное тело, или если бы ось вращения Земли сместилась бы или скорость вращения изменилась бы. Все эти варианты, хотя и встречаются в разных «страшилках» о конце света, выглядят невозможными или маловероятными.
Итак, очень маловероятно, что гигантское цунами уничтожит всех людей - тем более, что уцелеют подводные лодки, многие корабли и самолёты.
Однако гигантское цунами может уничтожить значительную часть населения Земли, переведя человечество в постапокалиптическую стадию, по ряду причин:
1. Энергия цунами, как поверхностной волны, убывает пропорционально 1/R, если цунами вызвано точечным источником, и почти не убывает, если источник линейный.
2. Потери на передачу энергии волной малы.
3. Значительная доля населения Земли и огромная доля её научного и промышленного и сельскохозяйственного потенциала находится непосредственно на побережье.
4. Все океаны и моря связаны.
5. Идее использовать цунами как оружие уже возникала в СССР в связи с идеей созданий гигатонных бомб.
Плюсом здесь является то, что наиболее опасные цунами порождаются линейными источниками – движениями геологических разломов, а наиболее доступные источники цунами – точечные: взрывы бомб, падения астероидов, обвалы.
2.12.10. Сверх-землетрясение.
Назовём сверхземлетрясением колебания поверхности, приводящие к полным разрушениям и охватывающим всю поверхность Земли. Такое событие не могло бы убить всех людей, так как остались бы корабли, самолёты, и люди на природе. Но оно бы однозначно бы разрушило всю техногенную цивилизацию.
Откуда бы могло взяться такое сверхземлетрясение?
• Взрыв супервулкана
• Падение астероида (ов)
• Взрыв сверхбомбы
• Растрескивание Земли по линии океанических хребтов
• Неизвестные процессы в ядре Земли.

При равной энергии, сверхземлетрясение будет менее опасно, чем сверх-цунами, так как его энергия будет распределена по объёму.
Выдвигалось маргинальное предположение, что при землетрясении могут возникать не только сдвиговые деформации, но и сверхзвуковые ударные волны.
2.12.11. Переполюсовка магнитного поля Земли.
Почему-то нам так повезло, что мы живём в период ослабления и последующей переполюсовки магнитного поля Земли. Возможно, это нормальные колебания, а может быть, это одно из проявлений того следствия антропного принципа, который делает вероятным для наблюдателей обнаруживать себя в конце периодов устойчивости.
Я думаю, что сама по себе инверсия не приведёт к вымиранию людей, так как это уже многократно происходило в прошлом. Однако одновременное сочетание трёх факторов - падения до нуля магнитного поля Земли, истощение озонового слоя и сильной солнечной вспышки приведёт к краху все электрические системы, что чревато крахом технологической цивилизации. И даже на сам это крах страшен, а то, что будет в его процессе с ядерным оружием и всеми прочими технологиями. Всё же магнитное поле убывает достаточно медленно, так что вряд ли оно обнулится в ближайшие несколько десятков лет.
Другой катастрофический сценарий - это то, что изменение магнитного поля связано с изменениями потоков магмы в ядре, что как-то может аукнуться на глобальной вулканической активности (видел данные по корреляции периодов активности и периодов смены полюсов).
Третий риск - это то, что, вдруг, мы не правильно понимаем причины существования магнитного поля Земли. Например, оно связано вовсе не с потоками лавы, а с микроскопической чёрной дырой в центре земли или сгустком частиц тёмной материи. Если так, то эти объекты способны на неожиданное поведение.
2.12.13. Возникновение новой болезни в природе.
Крайне маловероятно, что появится одна болезнь, способная за раз уничтожить всех людей. Даже в случае мутации птичьего гриппа или бубонной чумы будут выжившие и не заболевшие. Однако поскольку число людей растёт, то растёт и число «природных реактор» в которых может культивироваться новый вирус. Поэтому нельзя исключить шансы крупной пандемии в духе «испанки». Хотя такая пандемия не сможет убить всех людей, она может серьёзно повредить уровень развития общества, опустив его на одну из постапокалптических стадий.
Такое событие может случиться только до того, как созреют мощные биотехнологии, так как они смогут создавать достаточно быстро лекарства против него – и одновременно затмят естественные болезни возможностью с гораздо большей скоростью создавать искусственные.
Естественная пандемия возможна и на одной из постапокалптических стадий, например, после ядерной войны, хотя и в этом случае риски применения биологического оружия будут преобладать.
Чтобы естественная пандемия стала действительно опасной для всех людей, должно возникнуть одновременно множество принципиально разных смертельных возбудителей – что естественным путём маловероятно.
Есть также шанс, что мощные эпизоотии – синдром коллапса колоний пчёл, африканский грибок на пшенице, птичий грипп и подобные – нарушат систему питания людей настолько, что это приведёт к мировому кризису, чреватому войнами и снижением уровня развития.
2.12.14. Маргинальные природные риски.
В этом разделе мы упомянем о глобальных рисках, связанных с природными событиями, вероятность которых в 21 веке крайне мала, и более того, сама возможность которых является необщепризнанной. Хотя я сам полагаю, что эти события можно не принимать в расчет, и они вообще невозможны, я думаю, что следует создать для них отдельную категорию в нашем досье о рисках, чтобы, из принципа предосторожности, сохранять определённую бдительность в отношении появления новой информации, могущей подтвердить эти предположения.
2.12.15. Переход вакуума в состояние с более низкой энергией.
По расчетам Бострома и Тегмарка вероятность подобной общевселенской катастрофы, даже если она физически возможна, – меньше 1 процента в ближайший миллиард лет. Это даёт шанс меньше, чем 1 к миллиарду, что она случится в XXI веке. Тоже относится к столкновению бран (поверхностей в многомерном пространстве в теории струн) и любым другим сценариям вселенских катастроф естественного происхождения.
2.12.16. Неизвестные процессы в ядре Земли.
Есть предположения, что источником земного тепла является естественный ядерный реактор на уране в центре планеты [Анисичкин, 1998 http://www.vniitf.ru/rig/konfer/5zst/Section2/2-4r.pdf ]. При определённых условиях - например, при столкновении с крупной кометой – он может перейти в надкритическое состояние и вызвать взрыв планеты, что, возможно, и было причиной взрыва Фаэтона, из которого, возможно, сформировался пояс астероидов. Опасные опыты с нейтронами или нейтрино также могли бы дестабилизировать его. Другой, зарубежный, автор Мартин Хердрон предполагает, что естественный ядерный реактор в центре Земли имеет диаметр в 8 км и может остыть и перестать создавать земное тепло и магнитное поле. (http://arxiv.org/pdf/hep-ex/0208038)
Если по геологическим меркам некие процессы уже назрели, то это означает, что гораздо проще нажать на «спусковой крючок», чтобы запустить их – и значит, человеческая деятельность может разбудить их.
Процессы в ядре в прошлом, возможно, стали причинами таких грозных явлений, как трапповый вулканизм. На границе пермского периода 250млн. лет назад в Восточной Сибири излилось 2 млн. кубических км. лавы, что в тысячи раз превышает объёмы извержений современных супервулканов. Это привело к вымиранию 95 процентов видов.
До границы земного ядра около 3000 км, а до Солнца 150 000 000 км. От геологических катастроф каждый год гибнут десятки тысяч людей, а от солнечных катастроф – никто. Прямо под нами находится гигантский котёл с расклеенной лавой, прописанной сжатыми газами.
Процессы в ядре также связаны с изменениями магнитного поля Земли, физика чего пока не очень понятна. Красилов предполагает, что периоды неизменности, а затем изменчивости магнитного поля Земли предшествуют колоссальным трапповым излияниям. (Красилов В.А. Модель биосферных кризисов. Экосистемные перестройки и эволюция биосферы. Вып. 4. М.: Издание Палеонтологического института, 2001. С. 9-16. http://macroevolution.narod.ru/krmodelcrisis.htm). Сейчас мы живём в период изменчивости магнитного поля, но не после длительной паузы. Периоды изменчивости магнитного поля длятся десятки миллионы лет, сменяясь периодами стабильности в десятки миллионов. (Есть также маргинальная теория о том, что увеличение дегазации водорода на Русской равнине связано с выходом на поверхность новой горячей точки, то есть магматического плюма, идущего от земного ядра.) Так что при естественном ходе событий у нас есть миллионы лет до следующего проявления траппового вулканизма, если он вообще будет, что означает вероятность порядка 0,01 процента на столетие. Основная опасность здесь состоит в том, что люди любыми своими проникновениями вглубь Земли могут эти процессы подтолкнуть, если степень их готовности достигла около критического уровня. (Однако трапповые излияния не являются излияниями вещества самого ядра Земли – тяжёлого железа, а являются движением вверх разогретых теплом ядра частей мантии.)
В жидком земном ядре наиболее опасны растворённые в нём газы. Именно они были бы способны вырваться на поверхность, если бы им представился канал. По мере осаждения тяжёлого железа вниз, оно химически очищается (восстановление за счёт высокой температуры), и всё больше количество газов высвобождается, порождая процесс дегазации Земли. Есть предположения, что мощная атмосфера Венеры возникла относительно недавно в результате интенсивной дегазации её недр.
Определённую опасность представляет соблазн получать даровую энергию земных недр, выкачивая раскалённую магму, хотя если это делать в местах, не связанных с плюмами, то это должно быть достаточно безопасно.
Есть предположение, что спреддинг океанического дна из зон срединных хребтов происходит не плавно, а рывками, которые с одной стороны, гораздо реже, чем землетрясения в зонах субдукукции, а с другой – гораздо мощнее. Здесь уместна следующая метафора: энергия разрыв воздушного шарика гораздо большее мощный процесс, чем его сморщивание.
Ещё есть околонаучная теория о том, что таяние ледникового щита Гренландии приведёт к разгрузке её ложа и сильным землетрясениям, а также к гигантским паровым взрывам воды, оказавшейся на глубине. И это запустит процесс разрыва по Атлантическому срединному хребту.
Наконец, есть смелые предположения, что в центре Земли (а также других планет и даже звёзд) находятся микроскопические (по астрономическим масштабам) реликтовые чёрные дыры, которые возникли ещё во время возникновения вселенной. (http://www.chronos.msu.ru/RREPORTS/parkhomov_o_vozmozhnykh.pdf и http://www.astronomy.ru/forum/index.php/topic,23957.0.html)
По теории С.Хокинга реликтовые дыры должны медленно испаряться, однако с нарастающей скоростью ближе к концу своего существования, так что в последние секунды такая дыра производит вспышку с энергией, эквивалентной примерно 1000 тонн массы ( и в последнюю секунду 228 тонн) (что примерно эквивалентно энергии 20 000 гигатонн тротилового эквивалента – она примерно равна энергии от столкновения Земли с астероидом в 10 км в диаметре (http://en.wikipedia.org/wiki/Hawking_radiation)). Такой взрыв не разрушил бы планету, но вызвал бы по всей поверхности землетрясение огромной силы, вероятно, достаточное, чтобы разрушить все строения и отбросить цивилизацию на глубокий постапокалиптический уровень – однако люди бы выжили, хотя бы те, что был бы в самолётах и вертолетах в этот момент.
Микрочёрная дыра в центре Земли испытывала бы одновременно два процесса – аккреции вещества и потери хокинговским излучением, которые могли бы находиться в равновесии, однако сдвиг равновесия в любую сторону был бы чреват катастрофой – или взрывом дыры, или поглощением Земли или разрушением её за счёт более сильного выделения энергии при аккреции. Чёрная дыра в центре Земли могла бы также служить источником магнитного поля Земли и причиной его изменчивости. Может быть также несколько микрочёрных дыр, вращающихся вокруг друга. Напоминаю, что нет никаких фактов, подтверждающих существование реликтовых чёрных дыр.
2.12.17. Взрывы других планет Солнечной системы.
Есть другое предположение о причинах возможного взрыва планет, помимо взрывов урановых реакторов в центре планет по Анисичкину, а именно, особые химические реакции в ионизированном льде. Дробышевский (Дробышевский 1999) предполагает, что такого рода события регулярно происходят в ледяных спутниках Юпитера, и для Земли они опасны образованием огромного метеоритного потока. Он предполагает, что во всех спутниках эти процессы уже завершились, кроме Каллисто, который может взорваться в любой момент и предлагает направить на исследование и предотвращение этого явления значительные средства. (Стоит отметить, что в 2007 году взорвалась, причём повторно, комета Холмса, и никто не знает почему.)
В любом случае, чем бы не было вызвано разрушение другой планеты в или крупного спутника в Солнечной системе, этот представляло бы длительную угрозу земной жизни за счёт выпадения осколков.
2.12.18. Немезида.
Есть гипотеза, что на периферии Солнечной системы находится невидимая звезда или крупная планета, которая вращается по сильно эллиптической орбите и своим гравитационным возмущением регулярно приводит к биологическим кризисам на Земле. Регулярность эта может быть раз в миллионы лет (так, Проксима Центавра обращается вокруг Альфа за миллионы лет). Однако изучение орбит тел в поясе Койпера за орбитой Плутона не обнаружили влияний крупного тела. Если бы такое тело было бы на подлёте к Солнцу, то его бы скорее всего обнаружили за десятки лет.
Другой опасный вариант, связанный с Немезидой, состоит в том, что она не приближается к Земле, а только углубляется иногда в облако Орта, провоцируя регулярные выпадения комет. Но и это крайне медленный процесс, так что он не угрожает нам в XXI веке.
Наконец, упоминалась вероятность того, что Солнечная система войдёт в плотное газопылевое облако, которое значительно ослабит свет Солнца. Но в ближайших окрестностях Солнечной системы такого облака нет.
2.12.19. Прекращение действия «защиты», которую нам давал антропный принцип.
Подробно я рассматриваю этот вопрос в статье «Природные катастрофы и антропный принцип». Суть угрозы в том, что для формирования разумной жизни на Земле должно было сложиться уникальное сочетание условий, которые действовали в течение длительного времени. Однако из этого нисколько не следует, что они будут продолжать действовать. Соответственно, в будущем мы можем ожидать, что постепенно эти условия исчезнут. Скорость этого процесса зависит от того, насколько невероятным и уникальным было сочетание условий, позволивших сформироваться разумной жизни на Земле. Чем невероятнее такое сочетание, тем быстрее оно может закончиться. Для внешнего наблюдателя этот процесс будет выглядеть как внезапное и беспричинное ухудшение многих жизненно важных параметров, поддерживающих жизнь на Земле. (Можно привести такой пример из обычной жизни для этой ситуации: если мы выбираем произвольного человека, то математическое ожидание его оставшейся продолжительности жизни равно половине средней продолжительности жизни людей, то есть примерно 40 лет. Однако если мы возьмём множество профессоров университетов, то в нём ожидаемая продолжительность жизни будет меньше, так как в среднем требуется 40-50 лет, чтобы стать профессором. Разумная жизнь на Земле является «профессором» по отношению к другим видам.)
Рассматривая этот и подобные примеры, можно предположить, что данный эффект увеличивает вероятность внезапных природных катастроф, способных оборвать жизнь на Земле, в 10 раз.
Этот эффект действует и в меньших масштабах, когда относится не ко всей жизни на Земле, а к появлению человека разумного и к возникновению непрерывной письменной традиции.
Например, колоссальное извержение вулкана Тоба, поставившее человечество на грань вымирания, произошло 74000 лет назад, и по статистическим соображениям в духе формулы Готта шансы на повторное извержение аналогичного масштаба в следующем году имеют порядок 1/ 100 000. Если же учесть нашу поправку, то это будет 1 к 10 000, или 1 процент за 100 лет.
И хотя сейчас сверхизвержение масштабов Тобы не приведёт к неизбежному вымиранию человечества, оно может разрушить современную цивилизацию, переведя её на постапокалиптическую стадию – и полностью погубить цивилизацию, если она уже окажется к этому моменту на постапокалиптической стадии.
Этот вероятностный сдвиг связан с тем, что разумная жизнь скорее зародится после длительного периода отсутствия прерывающих её развитие природных катастроф, а не в случайный момент между природными катастрофами. Мы ещё вернёмся к обсуждению этого эффекта в главе о вычислении непрямых оценок вероятности глобальной катастрофы в конце книги.
2.12.20. Ослабление устойчивости и человеческие вмешательства.
Вклад этого ослабления устойчивости в суммарную вероятность, казалось бы, мал. А именно, если Солнце будет поддерживать комфортную температуру на Земле не 4 млрд. лет, а только 400 млн., то в XXI веке это всё равно десятитысячные доли процента. (0, 0004%). Однако ослабление устойчивости, которую нам давал антропный принцип, означает, что сами процессы станут менее устойчивыми и более склонными к колебаниям (что вполне известно относительно Солнца, которое будет гореть, по мере исчерпания водорода, всё более неравномерно), а во-вторых, что кажется более важным, - они станут более чувствительным к возможным малым человеческим воздействиям. То есть одно дело дёргать за висящую резинку, а другое – за резинку, натянутую до предела.
Например, если некое извержение сверхвулкана назрело, то могут пройти ещё многие тысячи лет, пока оно произойдёт, но достаточно скважины в несколько километров глубиной, чтобы нарушить устойчивость крышки магматической камеры. Поскольку масштабы человеческой деятельности растут во всех направлениях, возрастают шансы наткнуться на такую неустойчивость. Это может быть и неустойчивсоть вакуума, и земной литосферы, и чего ещё, о чём мы даже не думаем.
2.13. ВИДОВЫЕ РИСКИ, НЕ СВЯЗАННЫЕ С НОВЫМИ ТЕХНОЛОГИЯМИ.
2.13.1. Исчерпание ресурсов.
Широко распространено мнение о том, что цивилизация обречена из-за исчерпания легкодоступных углеводородов. В любом случае, это само по себе не приведёт к вымиранию всего человечества. Однако это создаст существенные проблемы, если нефть закончится раньше, чем общество успеет к этому адаптироваться – то есть закончится быстро. Однако запасы каменного угля огромны, а технология производства жидкого топлива из него активно применялась ещё в гитлеровской Германии. Огромные запасы гидрата метана находятся на морском дне, и эффективные роботы могли бы его добывать. И существующих технологий ветроэнергетики, преобразования солнечной энергии и подобных в целом достаточно, чтобы сохранить развитие цивилизации, хотя возможно определённое снижение жизненного уровня, а худшем случае – и значительное снижение популяции, но не полное вымирание.
Иначе говоря, Солнце и ветер содержат энергию, которая в тысячи раз превосходит потребности человечества, и мы в целом понимаем, как её извлекать. Вопрос не в том, хватит ли нам энергии, а в том, успеем ли мы ввести в строй необходимые мощности по её извлечению до того, как нехватка энергии подорвёт технологические возможности цивилизации при неблагоприятном сценарии.
Кроме того, завершение исчерпания ресурсов находится за горизонтом прогноза, который устанавливается темпом научно-технического прогресса. (Но момент изменения тенденции – Peak Oil – находится внутри этого горизонта.) Только предположив полную остановку прогресса в области робототехники и нанотехнологий можно строить точные прогнозы о том, когда и какие ресурсы исчерпаются. Вопрос в том, может ли начало исчерпания ресурсов и сопутствующий кризис настолько подорвать развитие технологий – и этот вопрос мы обсудим в главе про системный кризис.
Выводы: более быстрые процессы перекрывают более медленные. Поэтому исчерпание ресурсов не следует рассматривать как реальный риск окончательной глобальной катастрофы в текущей момент времени. Однако он может проявить себя как один из факторов в случае более сложных сценариев.
2.13.2. Перенаселение.
Очевидно, что перенаселение само не может никого истребить, но может создать условия, при которых будет наблюдаться нехватка любых ресурсов и обострятся любые конфликты. При этом нам нужно учитывать не только людей, но и их машины и уровень жизни. Автомобиль, который стоит в гараже, ест кислород и биотопливо также нагружает биосферу, как и несколько человек. Поэтому даже приостановка роста населения людей не будет означать окончание проблемы перенаселения, так как по мере развития технологий у каждого появятся свои машины, дома, домашние роботы и т д. Теоретически существует проблема, состоящая в том, что рост населения рано или поздно перекроет любые ресурсы, даже если человечество заселит всю галактику, а значит, должна наступить некая точка, за которой неограниченная материальная экспансия прекратится. Капица вывел формулу, из которой следует гиперболический рост населения с уходом в бесконечность в районе 2027 года. (Хотя и полагал, что действие этой формулы прекратилось.) И хотя реальный рост населения отстаёт от этого графика, мы можем приблизится снова к нему, если добавим число установленных компьютеров.
Кроме того, рост человеческого населения увеличивает вероятность самозарождения опасных инфекционных заболеваний.
Выводы: самое главное, что даёт нам кривая роста населения – это понимание того, что так вечно продолжаться не может, а значит должна быть некая точка перегиба или перелома, за которой следует та или иная стабилизация. Это может быть и качественный переход на уровень сверхцивилизации, и стабилизация на текущем уровня, и откат в некое стабильное прошлое состояние, и полное уничтожение.
2.13.3. Крах биосферы.
Если мы овладеем генетическими технологиями, мы сможем как устроить крах биосферы невероятных масштабов, так и найти ресурсы для её защиты и ремонта. Можно представить себе сценарий, при котором вся биосфера настолько заражена радиацией, генетически модифицированными организмами и токсинами, что она не способна восполнять потребности человечества в продовольствии. Если это произойдёт внезапно, это поставит цивилизацию на грань экономического краха. Однако достаточно продвинутая цивилизация сможет наладить защиту и производство продуктов питания в некой искусственной биосфере, вроде теплиц. Следовательно, крах биосферы опасен только при последующем откате цивилизации на предыдущую ступень – или если сам крах биосферы вызывает этот откат.
2.13.4. Социально-экономический кризис. Война.
Более подробно этот вопрос будет рассмотрен далее, в главе о различных системных кризисах, поскольку в современном обществе такой кризис не может не опираться на разные новые технологии.
Без таких технологий война или общественно-политическоий кризис не могут происходить одновременно на всей территории Земли и таким образом создавать глобальный риск.
2.13.5. Генетическая деградация и ослабление фертильности (способности к размножению).
Очевидно, что генетическая деградация может проявиться только в течение многих поколений. Если при этом будет существовать высокоразвитая цивилизация, то уже через поколение мы сможем управлять развитием эмбрионов и отбирать наиболее здоровых из них, а также лечить генетические заболевания разными способами. Если же человечество ждёт деградация на более низкий уровень развития, тот текущая популяция пройдёт через «бутылочное горлышко», что резко увеличит давление естественного отбора и улучшит качество генов. Подобные же рассуждения верны и для проблем с фертильностью.
Если экстраполировать модель «одна семья – один ребёнок», то она привела бы к полному вымиранию человечества менее чем за 1000 лет, что выходит за рассматриваемый промежуток времени (и достаточно уязвимо для критики, так как здесь был бы отбор в сторону наиболее плодовитых семейств). Однако если бы некий вирус привёл к тотальному бесплодию человечества, и при этом технический прогресс бы остановился, то люди бы вымерли к XXII веку. Опять же, это мало вероятно, так как уже почти готовы технологии репродуктивного клонирования.
Выводы: названные факторы не угрожают выживанию человечества в рассматриваемый период.
2.13.6. Старение вида.

Есть концепция, что виды могут стареть. (См. «Взлет и падение видов: новые данные подтверждают старую идею «эволюционного цикла» http://elementy.ru/news/430634 Michael Foote, James S. Crampton, Alan G. Beu, Bruce A. Marshall, Roger A. Cooper, Phillip A. Maxwell, Iain Matcham. Rise and Fall of Species Occupancy in Cenozoic Fossil Mollusks // Science. 2007. V. 318. P. 1131–1134.) «После появления вида его «распространенность» (площадь ареала и частота встречаемости) постепенно растет в течение нескольких миллионов лет, ненадолго достигает максимума и затем постепенно снижается. Виды редко вымирают внезапно, находясь на пике численности; вымиранию обычно предшествует длительный период упадка… Другой важный вывод состоит в том, что виды редко вымирают внезапно, находясь на пике своего развития. Вымиранию обычно предшествует довольно долгий период упадка. Это значит, что палеонтологическая история вида позволяет судить о вероятности его вымирания в наши дни: наибольшей опасности подвергаются те виды, которые уже миновали пик своего развития и находятся в фазе упадка. Полученные данные противоречат также распространенному мнению о том, что в эволюции должны чередоваться короткие периоды «становления» и долгие периоды «стазиса». В действительности виды, по-видимому, почти не задерживаются на максимальном достигнутом уровне и практически сразу переходят от роста к упадку».

Стареть могут также государства и культуры, делаясь всё более застывшими и зарегламентированными, и в конечном счёте - хрупкими. Возможно, могут стареть и цивилизации планетарного масштаба, постепенно утрачивая интерес к жизни. Всё же вряд ли это угрожает Земле на нынешнем этапе. С другой стороны, рост числа пенсионеров и «бессмертных», если таковые будут когда-нибудь созданы, может когда-нибудь создать эту проблему.
2.13.7. Вытеснение другим видом.
Многие виды животных кончили тем, что были вытеснены более эффективными видами, или мутировали в них. Возникновение такого вида путём естественной эволюции в ближайшие 100 лет невозможно. Даже рост и сокращение численности разных рас и народов не являются процессами, которые успеют завершиться в 21 веке. Кроме того, изменение этнического состава не является угрозой выживанию человечества как вида, хотя на эту тему завязано очень много эмоций, и этнические конфликты могут стать глобальными рисками второго рода – то есть ситуациями, снижающими выживаемость человечества.
Однако это возможно как частный случай генетических экспериментов или развития симбиоза человек-компьютер. Однако такие риски скорее относятся к другой категории, скорее всего, к разделу об искусственном интеллекте, так как чтобы вытеснить человека, новый вид, вероятно, должен быть умнее.
2.14. НЕИЗВЕСТНЫЕ НАМ СЕЙЧАС ПРИЧИНЫ КАТАСТРОФ.
2.14.1. Закон Мура в отношении глобальных катастроф.
Можно сформулировать своего рода «Закон Мура» в отношении глобальных катастроф. Каждые N лет (примерно оцениваемое мной в 30 лет) удваивается известное нам число природных катастроф, которые могут угрожать человечеству. Каждые M лет (примерно оцениваемое мной в 15 лет) технические возможности по организации глобальной катастрофы – то есть способности человечества к саморазрушению - удваиваются. Цифры эти взяты, конечно, с потолка, но суть в том, что в середине ХХ века идеи глобальной катастрофы практически ещё не было, а теперь мы легко можем назвать десяток искусственных способов истребить род людской.
И это позволят нам оценить объём неведомого в смысле глобальных катастроф. Мы можем сказать, что через 50 лет не только созреют некие понятные нам технологии, но могут появиться принципиально новые идеи о том, какие возможны ещё угрозы существованию.
По мере овладения разными всё более мощными источникам энергии, всё более точным знаниями о мире и способами управлять материей, по мере открытия всё новых физических законов и всё новых идей – появляется всё больше возможностей создать абсолютное оружие. Поэтому мы ни в каком случае не должны считать приведённый здесь список исчерпанным.
Более того, большинство случившихся в последнее время катастроф были неожиданными. Не в том смысле, что никто никогда не предсказывал ничего подобного – всегда можно найти апостериори книжку, где какой-нибудь фантаст описал что-либо подобное. А в том, что большинство населения и руководителей вообще не знали о возможности такого сценария, и в связи с этим ничего не предпринималось. Чернобыль, 11 сентября, сход ледника Колка, цунами в Индийском океане, болезнь пчёл CCD, сель в долине гейзеров – вот некоторые примеры.
Даже некоторые комбинации известных факторов, которые могут привести к глобальной катастрофе, не очевидны – например, мне понадобился почти год, чтобы предположить, что пассивное SETI содержит в себе глобальный риск, хотя я располагал всеми необходимыми данными.
Соответственно, мы можем заключить, что раз даже к обычным катастрофам мы не готовы, и список известных их возможностей далеко не исчерпан, то тем более наш список глобальных катастроф несовершенен.
Более того, неизвестные риски представляют большую опасность, чем известные, так как мы не можем их измерить, не можем к них подготовится, и они всегда застают нас врасплох.
2.15. «Конструктор» однофакторных сценариев глобальной катастрофы.
Проанализировав множество разных сценариев глобальных катастроф, мы можем выделить общие признаки таких сценариев, которые помогут нам в будущее обнаруживать или «конструировать» новые опасные сценарии.
2.15.1. Общие признаки любого опасного агента.
По определению, в однофакторных сценариях всегда присутствует некий один фактор, который действует на всех людей. Про этот фактор можно сказать следующее: он зарождается в некой точке, распространяется по всей поверхности Земли и действует на каждого человека. Соответственно, различия могут быть в том, как он в этой точке возник, как он её покинул, как распространялся по Земле и как действовал на каждого человека. В каждом из этих пунктов есть несколько вариантов, в достаточной мере независимых друг от друга, что позволяет «конструировать сценарии», набирая разные цепочки из этих вариантов и приписывая им разную вероятность.
Этот набор качеств может служить своего рода картой при проверке на безопасность каждой новой технологии или природного явления. А именно, мы должны проверять следующий набор свойств:
1. Может ли новая технология применяться для уничтожения людей или приводить к ней?
2. Если да, то каким образом она может выйти из-под контроля?
3. Может ли она распространиться по всей планете таким образом, чтобы воздействовать на каждого человека?
4. Может ли это произойти настолько быстро, что мы не успеем этому противостоять?
5. Как она может взаимодействовать с другими технологиями, усиливая при этом свой риск?
6. Насколько легко будет построить защиту от опасностей этой технологии?
7. Насколько точными и достоверными могут быть наши предсказания о рисках этой технологии?
2.15.2. Способы возникновения.
Опасный фактор, угрожающий глобальной катастрофой, может возникнуть следующим образом:
А) Случайное природное возникновение. Например, подлёт астероида или извержение сверхвулканов.
Б) Создание человеком. В этом случае, скорее всего, речь идёт о некой исследовательской лаборатории. Это создание может быть или случайным, или сознательным. Возможна и комбинация того и другого – когда то, что должно было иметь ограниченный радиус поражения (или вообще рассматривалось как безопасное и полезное), приобрело всемирный радиус поражения. (Примеры: Изначально ядерное оружие рассматривалось как оружие локального действия, однако потом возникли представления, что оно может угрожать всей земной цивилизации; ИИ, который запрограммирован быть дружественным и любить людей, может проявить такую «Дружественность», как «медвежья услуга».)
2.15.3. Выход из точки и начало распространения.
Очевидно, что это происходит или по команде некого человека, или случайно. Сразу следует сказать, что возможно совмещение этих сценариев: человек отдаёт некую команду, полный смысл которой не понимает, или она выполняется неправильно. Или некий человек со стороны совершает террористический акт, приводящий к разрушению лаборатории, в которой находится супервирус.
Точка, в которой находится опасное изделие – это или лаборатория, где его создали, и тогда речь скорее идёт о случайном инциденте, или стартовая площадка, если эта технология превращена в некое изделии, которое стало оружием. Так же эта точка может быть где-то на на пространственно-временном пути от лаборатории до стартовой площадки – на полигоне, на транспорте, на производстве.
При этом важно отметить существенную разницу между мотивами того, кто создавал оружие судного дня, и того, кто затем решил его применить. Например, атомную бомбу создавали для защиты от иностранного агрессора, а террористы могут её захватить для требования отделения неких территорий. Такой двухфазовый целевой сценарий может быть вероятнее однофазового.
Виды выхода из точки:
1. Утечка – Утечка начинается тихо и незаметно, без чьей-либо воли. Это относится к ситуациям, вроде утечки опасного вируса, которую нельзя заметить до того, как будут заболевшие снаружи. Утечка опасного химического вещества или ядерных материалов будет сразу заметна, и, скорее всего, будет сопровождаться взрывом.
2. Прорыв – Это силовой прорыв чего-то, что было заперто, но хотело вырваться наружу. Может относится только к ИИ или генетически модифицированным живым существам с зачатками интеллекта.
3. Взрыв – катастрофический сценарий происходит в самой точке, распространяются его последствия. Скорее всего, это относится к опасным физическим экспериментам.
4. Запуск – кто-то принимает решение о распространении опасного агента или применении оружия судного дня.
Очевидно, что возможны некоторые комбинации этих базовых сценариев. Например, взрыв лаборатории, приводящий к утечке опасного вируса.
2.15.4. Распространение важнее разрушения.
Анализируя любое явление или изобретение в качестве возможного фактора глобального риска нам следует уделять больше внимания тому, может ли он за конечное время воздействовать на абсолютно всех людей, чем тому, может ли он убивать людей или нет. Для того, чтобы некоторый фактор стал глобальным риском, есть два необходимых условия:
А) он убивает каждого человека, на которого воздействует
Б) он действует на всех людей за конечное время (За время, меньшее, чем способность людей к самовоспроизводству.)
Однако если выполнения первого условия достичь относительно легко, так как существует бесконечное число способов причинения смерти, и они всё время на кого-то действуют, то второе условие – гораздо более редкое. Поэтому, как только мы обнаруживаем даже безобидный фактор, способный действовать на всех людей, это должно нас обеспокоить больше, чем обнаружение некого крайне опасного фактора, который действует только на некоторых. Потому что любой универсальный фактор может стать носителем для некого опасного воздействия. Например, как только мы осознаём, что солнце освещает каждого человека на Земле, мы можем задаться вопросом – а не может ли с Солнцем случиться чего-то такого, что будет воздействовать на каждого? Тоже касается атмосферы Земли, её коры, особенно космоса, который окружает всю Землю.
2.15.5. Способ распространения.
Собственно, именно способность к всемирному распространению делает оружие сверхоружием. Эта всемирность означает не только всю поверхность земного шара, но и способность проникать через все укрытия и средства защиты, а также скорость этого процесса, которая делает невозможным противостоять ему с помощью новых открытий. (Скажем, оледенение может быть всемирным, но, скорее всего, будет достаточно медленным, чтобы к нему можно было приспособиться.)
Способы и факторы, влияющие на способность агента к распространению повсюду таковы:
1) по ветру в атмосфере; отдельно надо выделять быстрое движение верхних слоёв атмосферы (где скорости могут быть 100м/с, а значит, время всемирного распространения – несколько дней), а также склонность вещества выпадать в необратимые осадки, что уменьшает его количество.
2) агенты, распространяющиеся своим ходом – бактерии, самонацеливающие нанороботы, ракеты.
3) от человека к человеку – вирусы.
4) с помощью специальных распылителей. Например, можно представить себе следующий катастрофический сценарий: на низкой полярной орбите летает спутник и непрерывно сбрасывает капсулы с радиоактивным веществом или другим опасным реагентом. За несколько дней он может пройти над всеми точками земного шара.
5) взрыв – само создаёт огромное движение. Ударная волна помогает протолкнуть агент во все щели.
6) сетевое распространение. Так мог бы распространяться ИИ по Интернету.
7) смешанный способы. Например, на начальном этапе взрыв бомбы распыляет радиоактивные вещества, а потом их разносит ветром. Или некую плесень переносит ветер, а на местах она размножается. Понятно, что смешанные способы распространения гораздо опаснее.
8) агенты, обладающие элементами разума, чтобы обходить препятствия (компьютерные вирусы, ИИ, микророботы, агрессивные животные).
9) Внезапность и скрытность распространения помогает агенту проникнуть повсюду.
10) высокая способность к переносу, «липучесть» и мелкодисперсность (как у лунной пыли).
11) Способность саморазножаться, как в природе, так и на человеке или на промежуточных носителях.
12) Многофакторность – если имеется достаточно много разнородных агентов, например, при мультипандемии.
13) Существенным в распространении является концентрация. Чем выше градиент концентрации, тем больше способность реагента проникать «во все щели». Иначе говоря, если концентрация в атмосфере составляет 1 смертельный уровень, то всегда найдутся участки, где из-за разных флюктуаций этот уровень будет значительно ниже и люди там выживут, даже без всяких бункеров. Но если концентрация очень велика, то помогут только полностью герметичные, заранее оборудованные бункеры. Концентрация также увеличивает скорость распространения.
14) Затем важна длительность действия агента. Коротко действующий агент (гамма-всплеск) может опалить значительную часть биосферы, но всегда найдутся убежища, на которые он не подействовал. Однако длительное заражение, например, кобальтом-60, делает невозможным выживание в небольших убежищах.
15) Наконец, надо учесть лёгкость фильтрации и дезактивации – чем легче фильтрация воздуха и дезактивация выходивших на поверхность людей, тем безопаснее агент. Биологические агенты можно было легко стерилизовать в системах вентиляции, но выходы на поверхность были бы исключены, так как человека не стерилизуешь.
2.15.6. Способ причинения смерти.
Основной элемент глобальной катастрофы, который мы называем «агент», может вообще не убивать людей, а только разъединять их и лишать способности к размножению, как например, супернаркотик, или вирус, стерилизующий всех людей. Или загнать их всех в бункеры, где они обречены на деградацию.
Агент может быть однофакторным – например, это может быть некая инфекция или радиация. При этом есть разница между мгновенной смертью и продолжительным умиранием.
Агент может обладать многофакторным поражающем воздействием, как атомная бомба. Однако должен быть главный фактор, обладающий универсальным действием на весь мир, или достаточная плотность разных факторов.
Агент может вызвать также не прямое действие, а равномерное разрушение всей среды обитания. (Астероид, разрушение биосферы)
Вымирание может также принять форму медленного вытеснения во второсортные экологические ниши (варианты: «зоопарк», тотальная безработица в духе статьи «Почему мы не нужны будущему?»)
Разрушающий агент может вызвать появление новых агентов, каждый из которых действует по-своему. Например, распространение машины для программирования вирусов (+вируса, вызывающего у некоторых людей желание уничтожить весь мир) могло бы стать таким суперагентом, вызывающих жизни много разных агентов в разных частях Земли. В каком-то смысле сам научно-технический прогресс является таким суперагентом.
Агент может быть интеллектуальным, чтобы в каждом конкретном случае пользоваться разными способами. (Враждебный ИИ, эсхатологическая секта).

2.15.7. Типичные виды разрушающего воздействия:
Чем бы ни был вызван «конец света», он будет воздействовать на людей и их бункеры, скорее всего, одним из нескольких перечисленных способов. Эти способы в основном совпадают с обычными поражающими факторами ядерного взрыва. Любой процесс, который способен одновременно создать хотя бы один из этих факторов на всей территории Земли, должен быть отнесён к «оружия судного дня».
• Ударная волна – способно непосредственно причинять смерть, разрушать бункеры и все другие созданные человеком объекты.
• Высокая температура – от длительного воздействия высокой температуры почти нет защиты, так как любой бункер рано или поздно прогреется. Глубоко в землю зарыться не удастся, так как температура в шахтах быстро растёт, порядка 30 градусов на километр глубины.
• Холод. Ему противостоять проще, чем высокой температуре.
• Высокое давление
• Летучее вещество
• Излучение и радиация.
• Колебания земной поверхности.
• Утрата жизненно важного ресурса – кислорода, еды, воды.
• Поражение саморазмножающимся агентом (в каком-то смысле огонь тоже обладает способностью саморазмножаться).
• Сверхзвуковая ударная волна – возможно, при достаточно сильном ударе, она могла бы охватить значительную часть земной коры (хотя вязкость бы её поглощала).
Разница между очень большой катастрофой и окончательной глобальной катастрофой может быть в том, что в первом случае уцелеют хотя бы доли процентов людей и территорий. Поэтому важным признаком настоящей глобальной катастрофы является то, что она покрывает всю территорию без исключений. За счёт чего это происходит:
За счёт очень высокого уровня избыточности разрушающего воздействия.
За счёт того, что разрушающий агент обладает своего рода «сверхтекучестью» по своей природе.
2.15.8. Временная структура события.
Вне зависимости от того, как сложились предыдущие факторы, можно обозначить следующую последовательность событий во времени для однофакторной глобальной катастрофы:
1.Фаза назревания. Она включает в себя изобретение, создание, подготовку к применению и возникновение плана по применению. Если речь идёт о природном явлении, то речь идёт о накоплении энергии в камер супервулкана или подлёте астероида. Сюда также входит накопление халатностей при исполнении инструкций и ошибки в составлении инструкций.
2.Момент спускового события. Одно событие в пространстве-времени, которое определяет начало этого процесса. Это может быть решение о ядерном ударе, трещина в крышке вулканической камеры и т д. Спусковое событие запускает цепочку событий, следующих друг за другом со значительной вероятностью в определённом временном графике. При этом если бы спусковое событие не произошло, то весь процесс мог бы отложиться на неопределённое долгое время. Однако само спусковое событие может быть внешне безобидным и никем не осознаваемым в качестве такового.
3. Здесь цепочка событие приводит к высвобождения опасного агента из точки его расположения. В этот пункт входят четыре варианты выхода «из точки», которые мы обсуждали выше: утечка, прорыв, взрыв, запуск.
4. На этой фазе происходит распространение агента по всей поверхности Земли (а также в ближний космос, если уже есть самостоятельные космические поселения). Это распространение может быть а) скрытным б) сопровождающимся самим процессом разрушения. Скрытное может быть опаснее, так как не остаётся областей, которые успевают подготовится.
5. Фаза уничтожающего процесса. Затем развивается сам процесс, охватывающий всю поверхность Земли. Эпидемия или ударная волна.
6.Точка необратимости. Процесс распространения обладает той или иной степенью неопределённости, как по своей природе, так и по его оценкам людьми. Если процесс не мгновенный, то имеет место борьба людей с ним. Тот момент, когда люди проигрывают эту борьбу и вымирание становится неизбежно, и есть точка необратимости. Хотя она может не осознаваться в качестве таковой. Можно описать эту точку и так, что позволяет сделать математические выкладки. Точка необратимости - это момент, когда факторы истребления превышают технологические возможности цивилизации, в том числе и потенции по улучшению этих технологий. Зависит как от концентрации факторов истребления, так и от уровня цивилизации. Если в результате крупной катастрофы уровень цивилизации упал ниже некой точки, а уровень факторов истребления – выше ней, то дальше вымирание необратимо. С определённой вероятностью, разумеется.
7.Смерть последнего человека. После точки необратимости следует вымирание уцелевших людей. Это процесс может растянуться во времени даже на многие годы за счёт бункеров. Он может представлять даже очень длительное состояние прозябания уцелевшего племени на неком острове. Но у такого племени может быть шанс восстановить цивилизацию.
8.Процессы после. После смерти последнего человека процессы на Земле не завершатся. Возможно, начнут развиваться новые виды, возможно Земля будет заселена роботами, нанороботами и ИИ. Есть также надежда, что новый разумный вид воскресит человека по уцелевшей ДНК.
2.15.9. Предаварийные ситуации
Есть также разные типы общественных ситуаций, когда случайное или нарочное применение средства всеобщего уничтожения становится более вероятным.
1) Война за объединение планеты.
2) Борьба всех против всех за ресурсы в условиях их усыхания и исчерпания.
3) Нарастающая структурная деградация, а ля распад СССР.
4) Техническая авария, утечка
5) Диверсия с целью уничтожения всех людей.
6) Случайная война
7) Шантаж машиной судного дня.
8) Неудачный эксперимент
9) Мятеж с целью установления власти на Земле. (ИИ, фашистов итд.)
2.15.10. Намеренная и случайная глобальная катастрофа.
Любые глобальные катастрофы можно различить по тому признаку, организованы ли они некой разумной силой, которая стремится устроить именно глобальную катастрофу, или это некий случайный процесс, у которого нет никаких целей.
К первому варианту относятся глобальные катастрофы:
А) устроенные людьми
Б) связанные с ИИ
В) происходящие по причине столкновения с иными нечеловеческими разумными силами.
Ко второму: Аварии, утечки, природные катастрофы, системные кризисы.
Интеграция первого и второго сценариев: Возможен также сценарий, когда первая фаза катастрофа задумана людьми с определенными целями, однако затем процесс вырывается из-под контроля. Например, террористы могут сознательно спровоцировать ядерную войну, но не представлять её масштабов. Или некоторая буддистская секта может сознательно заразить всех людей вирусом счастья, но не учесть того, что такие люди будут в дальнейшем не дееспособны. (Далай Лама недавно высказался в том духе, что неплохо было бы с помощью генетических манипуляций убрать у людей негативные эмоции.)
С другой стороны, победа разумной силы над людьми означает, что некоторая разумная сила в природе остаётся (если только она не кончает собой после того), а, следовательно, окончательного исчезновения разума во вселенной не происходит. И раз некий разум, причём превосходящий человеческий, остаётся, то он может и вернуть людей у жизни. Однако есть разумные силы, принципиально отличные от человеческого сознания, например, эволюция. Эволюция гораздо «умнее» человека (которого она породила), но бесконечно проигрывает по скорости. (Но не везде, например естественный отбор микроорганизмов, устойчивых к антибиотикам, происходит со скоростью, сопоставимой с разработкой новых антибиотиков.) Если один из вариантов будущего ИИ будет использовать принципы эволюции, но гораздо быстрее, то он может достичь «победы» над людьми как более эффективный решатель любых задач, но при этом не быть сознающим существом в нашем понимании. Разработки такого ИИ небезуспешно ведутся в направлении, называемом «генетические алгоритмы».
2.15.11. Машина судного дня.
Соберём в отдельную категорию все варианты «машины судного дня», которую может создать наиболее злонамеренная группа людей. Возможно, термин восходит к фильму С.Кубрика «Доктор Стрейнджлав». (Сюжет его вкратце таков: «Русские» создают «Машину судного дня», которая взрывает весь мир, если на СССР нападут. В ходе внутренней заварушки в США мятежный сумасшедший генерал наносит удар по СССР, не зная о машине Судного дня. В результате машина запускается. Русский посол говорит: «И эту машину отключить нельзя, иначе бы в ней не было смысла». Др. Стрейнджлав замечает: «Но какой смысл было держать эту машину в секрете?» Русский посол отвечает: «Мы собирались объявить о ней в ближайший понедельник». То есть машина, которая должна была резко снизить риск какой-либо войны на Земле, в действительности приводит к её началу. Интересно, что Дж.Лесли пишет в своей книге «Конец света. Наука и этика человеческого вымирания», что на самом деле было бы неплохо было бы такую машину иметь, так как если бы она правильно применялась, то она в сумме бы снизила риск ядерной войны – примерно как сейчас это делает доктрина взаимного гарантированного уничтожения). Хотя основная идея машины состоит в той форме шантажа, которая подразумевает, что машина судного дня никогда не будет применена, сам факт её создания создаёт вероятность её применения.
Кроме того, имеются исторические примеры бессмысленного истребления людей - обстрел гитлеровцами Лондона Фау-2, поджигание скважин в Кувейте. Психологический пример - подрыв себя гранатой при аресте.
Отнюдь не любой вариант глобальной катастрофы годится как машина судного дня. Это должен быть процесс, который по решению некой группы людей может быть запущен в строго определённый момент времени и вести к глобальной катастрофе со значительной вероятностью, близкой к 100 процентам, по крайней мере, с точки зрения разработчиков устройства. Машина судного дня также должна быть неуязвима к попыткам предотвратить её применение, к несанкционированному применению и должна быть возможность продемонстрировать реалистичность её применения, что нужно шантажистам. (Сейчас в качестве машины судного дня функционально выступает обладание хоть каким-то ядерным оружием, хотя одна атомная бомба весь мир не уничтожит. Например, такова сейчас роль ядерной бомбы в руках Северной Кореи – она хорошо спрятана, но наличие её продемонстрировано.)

• Взрыв водородной бомбы
а) в супервулкане
Б) в каменноугольном пласте
В) в ядерном реакторе
Г) в слое газовых гидратов в океане, с расчётом на цепную реакцию дегазации.
• Создание водородной сверхбомбы стационарного типа.
• Взрыв кобальтовых зарядов, запуск реактора-чёртовой трубки.
• Сведение астероида с орбиты.
• Накопление массы антиматерии.
• Проплавление коры Земли с помощью жидкого ядерного реактора по типу капли.
• Распыление спор антракса в атмосфере, высвобождение большого количества разных вирусов.
• Слив диоксина в океан
• Выпускание генетически модифицированных производителей токсинов и вирусов (диоксиновая плесень, чумная вошь)
• Распространение сотен миллиардов микророботов, атакующих всё живое.
• Уничтожение озонового слоя с помощью некого катализатора.
• Сочетание этих факторов.

3. МНОГОФАКТОРНЫЕ СЦЕНАРИИ.

Выше мы составили насколько возможно полный список однофакторных сценариев глобальной катастрофы. Есть и другие варианты этого списка, например, в статье Н.Бострома и в книге Дж. Лесли, с незначительными отличиями. Теперь мы должны задаться вопросом, возможны ли сценарии, в которых человечество гибнет не по какой-то одной причине, а от некоторого сочетания факторов, и если да, то какова их вероятность и каковы эти факторы. Скажем, может ли быть так, что один континент истребят супервирусы, другой нанороботы, а третий вымрет от голода?
3.1. Интеграция различных технологий, создающие ситуации риска.
Сам факт быстрого развития сильных технологий создаёт зону риска. Технологии имеют тенденцию помогать друг другу в развитии. Скажем, развитие компьютеров помогает рассчитывать свойства новых материалов, а новые материалы позволяют создавать ещё более производительные процессоры для компьютеров. В современной технологии это известно под названием NBIC-конвергенция, что расшифровывается как nano-bio-info-cogno. Эта конвергенция является примером нелинейной интерференции, когда два слабых фактора, складываясь, вместе дают нелинейно сильный всплеск. Нелинейная интерференция возникает, когда взаимодействуют два принципиально разных, но направленных к одной цели механизма. Например, если двое мужчин толкают камень, то это линейная сложение. Но если мужчина и женщина создают семью, то они обретают принципиально новое качество – рождение детей. Или когда человек заболевает одновременно СПИДом и туберкулёзом – обе болезни относительно хронические, но вместе они сжигают человека очень быстро. Можно также отметить, что конвергенция технологий нарастает по ходу прогресса и происходит выделение быстро развивающегося ядра технологий (NBIC), которые способны каждая помогать каждой. При этом они могут делать вклад и в ядерные, и в космические технологии, но не получить от них обратного вклада, а в силу этого не получается кольца положительной обратной связи – и эти технологии отстают от мэйнстрима технологического прогресса. В центре конвергенции NBIC начинает вырисовываться нечто, объединяющее достижение всех этих технологий – Искусственный Разум.
Нелинейная интерференция неоднократно имела место в прошлом при создании оружия. Здесь технологии не помогали в развитии друг друга, но создавали принципиально новые агрегаты. Например, самолёт с пулемётом, фотоаппаратом и радиосвязью – в качестве разведчика и истребителя в первую мировую войну. Или межконтинентальная баллистическая ракета, в которой были объединены достижения в области ядерного оружия, ракетной техники и компьютеров, каждое из которых по отдельности было бы в тысячу раз безопаснее. То есть атомная бомба без средств доставки, или ракета с обычной боеголовкой, или ракета без систем наведения. (При этом хочется отметить, что нынешнее сокращение ядерных арсеналов компенсируется ростом их точности, что повышает их поражающую силу.)
Часто имеющие прогнозы будущего и фантастика описывают его как настоящие плюс одна какая-то новая черта. Тем же грешат и прогнозы глобальных рисков: они описывают появление в мире какой-то одной опасной технологии и затем рассматривают последствия этого события. Например, как изменится мир, если в нём появятся развитые нанотехнологии. Очевидно, что этот подход несостоятелен, так как будущие технологии, за счёт их совместного развития, будут появляться одновременно и вступать друг с другом в сложные взаимодействия.
При этом имеет место и последовательная, и параллельная конвергенция. Параллельная конвергенция имеет место, когда несколько новых технологий объединяются, чтобы создать качественно новый продукт, например, межконтинентальную ракету с ядерным зарядом. Последовательная относится к цепочке событий, в которой одни факторы запускают другие, например: теракт – экономический кризис – война – применение биологического оружия.
3.2. Парные сценарии.
Рассмотрим для начала гипотетические парные сценарии глобальной катастрофы, то есть разные варианты взаимоусиления основных факторов, взятых парами, - при этом понятно, что в реальности они будут действовать все вместе, но эти пары могут стать «кирпичиками» (или, скорее, связями в графе) для более сложного прогнозирования.
При этом дадим эскизное описание такого рода взаимодействия, фактически, в порядке мозгового штурма. При этом каждый парный сценарий не следует воспринимать как окончательный прогноз – но не потому, что он слишком фантастичен, а потому, что он не учитывает влияния ещё ряда факторов.
ИИ и биотехнологии.
Последовательная конвергенция (цепочка событий):
1. Генетически модифицированные сверхлюди будут обладать сверхинтеллектом, который позволит им создать настоящий компьютерный ИИ.
2. ИИ создаст сверх вирус как оружие.
3. Люди вымрут от вируса, и придётся вводить вместо них роботов.
Параллельная конвергенция: возникновение новых продуктов на базе обеих технологий:
4. Биологическая сборка сверхплотных чипов резко ускорит рост ИИ.
5. Специальные вирусы будут устанавливать созданные самим ИИ программы в мозг людям.
6. ИИ будут создавать непосредственно из биоматериалов – нейронов, ДНК.
ИИ и сверхнаркотик.
Последовательные сценарии:
1. Например, ИИ захочет обрадовать всех людей и создаст им такой наркотик. Или сам ИИ и будет таким наркотиком (см. виртуальная реальность, интернет, управляемые сны).
2. По мере смерти людей от сверхнаркотика придётся заменять их на ИИ.
3. Или наоборот, придётся придумать некое сверх-телевидение, чтобы успокоить людей, которые остались без работы из-за ИИ.
4. Сверхнаркотик будет оружием враждебного ИИ против людей.
Параллелная конвергенция:
5. ИИ придумает сложную комбинацию магнитных полей, создающую точный наркотический эффект в мозгу.
Сверхнаркотик и биотехнологии.
1. Производство опасных наркотиков станет таким же простым делом, как выращивание чайного гриба.
2. Потребность общества в наркотиках приведёт к рассвету чёрного рынка биотехнологий, который попутно сделает доступными и изготовление биооружие массового поражения.
3. Чтобы отучить людей от сверхнаркотика, будет распылено особое биооружие, поражающее мозг.
4. Некая заразная болезнь будет одним из своих симптомов иметь эйфорию и стремление её распространять.
Сверхнаркотик и нанотехнологии.
Ещё более сильный эффект даст прямое раздражение областей мозга микророботами. Нанороботы создадут системы, которые будут выводить информацию из мозга наружу (нейрошунты), что позволит создавать ещё более мощные средства развлечений. (Интересно, что в программе развития нанотехнологий в России утверждается, что рынок таких устройств к 2025 году достигнет миллиардов долларов.) Однако в целом здесь действуют те же сценарии, что и с биотехнологиями.
ИИ и нанотехнологии.
1. Нанороботы позволят считать детали устройства человеческого мозга, что ускорит развитие ИИ.
2. ИИ поможет разработать и выпустить сверхэффективных нанороботов.
3. Прогресс в нанотехнологиях поддержит закон Мура достаточно долго, чтобы компьютеры достигли производительности, многократной превосходящей производительность человеческого мозга при крайне низкой цене.
4. Нанороботы и будут носителями ИИ – получится нечто среднее между разумным океаном в духе лемовского Соляриса и сценарием Серой слизи.
5. Враждебный ИИ использует нанороботов как оружие для установления своей власти на Земле.
ИИ и ядерное оружие.
1. ИИ придумает, как сделать ЯО проще, быстрее и дешевле.
2. Сценарий, в духе предложенного в фильме «Терминатор» - ИИ использует ЯО, чтобы избавится от людей.
3. Люди используют ЯО, чтобы попытаться остановить вышедший из-под контроля ИИ.
Нано и биотехнологии.
1. Живые клетки будут собирать детали нанороботов (синтезировать в спец.рибосомах).
2. Появятся «аниматы» – искусственная жизнь, содержащая элементы как живого, так и нанороботов.
3. Только нанороботы дадут окончательную защиту от биологического оружия.
Нанотехнологии и ядерное оружие.
1. Нанотехнологии позволят упростить разделение изотопов и конструирование ЯО.
2. Попытки бороться со стаями нанороботов с помощью ядерных ударов приведут к дополнительному разрушению и заражению Земли.
Ядерное оружия и биотехнологии.
1. Ядерное оружие может применяться для уничтожения опасных лабораторий и стерилизации заражённых пространств.
2. Биоразработки могут применяться для добычи урана из морской воды и для его обогащения, а также для выделения плутония из отработанного топлива. Или дезактивации территории.
3. Ядерная война происходит в сильно заражённом биологическими агентами мире. Война делает невозможным адекватный темп производства вакцин и прочих щитов, и одновременно приводит к интенсивной миграции людей. Ресурсы, которые могли бы пойти на защиту от микробов, брошены на защиту от радиационного облучения. Многие люди ослаблены.
ЯО и супервулканы.
С помощью водородной бомбы можно спровоцировать взрыв супервулкана или сильное землетрясение. Или наоборот, направить его энергию по обводному каналу.
ЯО и астероиды.
1. С помощью ЯО можно отклонить астероид от Земли, или наоборот направить его на Землю.
2. Падение астероида может быть воспринято как ядерный удар и привести к случайному началу атомной войны.
3. Астероид может также разрушить атомную станцию и вызвать заражение.
ИИ и системный кризис.
1.Применение сверхкомпьютеров создаст некий новый тип нестабильности – быстрой и непонятной (в военной сфере, в экономике, в области прогностики-футурологии).
2. Война или угроза войны приведёт к гонке вооружений, в результате которой будет создан самый разрушительный и опасный ИИ.
3. Весь мир оказывается зависим от глобальной системы управления, которая затем разрушается хакерами. Или в неё отдаётся команда о саморазрушении.
ЯО и системный кризис.
1. Любой взрыв атомной бомбы в городе может обрушить мировые финансовые рынки.
2. Наоборот, обвал рынков и финансовый кризис может привести к фрагментации мира и усилению соблазнов силовых решений.
ЯО и климат.
1. Можно нарочно вызвать ядерную зиму, взорвав мощный ядерный заряд в каменноугольном пласте, что гарантировано выбросит в атмосферу огромное количество сажи. Если теория о «ядерной зиме» в результате атак на города верна, то такое действие будет в десятки или сотни раз эффективнее по выходу сажи.
2. Можно, вероятно, спровоцировать и необратимое глобальное потепление с помощью правильно выбранных мест для ядерной атаки. Например, известно, что после ядерной зимы возможно ядерное лето, когда сажа осядет на ледники и вызовет их нагрев и таяние. Взрыв бомб в массивах газовых гидратов под дном океана тоже может вызывать цепную реакцию их высвобождения.
3. Наоборот, можно регулировать климат, провоцируя выброс серы и пепла вулканами с помощью ядерных зарядов (но это уже цепочкам из трёх элементов).
3.3. Исторические аналогии глобальной катастрофе.
Глобальная окончательная катастрофа технологической цивилизации – уникальное явление, которого никогда не было в истории. Однако мы можем попробовать подобрать ряд других событий, которые будут аналогичны глобальной катастрофе в некоторых своих аспектах, и собрать, таким образом, ряд моделей. Выборка такого рода достаточно субъективна. Я предлагаю взять в качестве аналогий масштабные, сложные, обстоятельно изученные и известные события. Это будут:
• Вымирание динозавров
• Вымирание неандертальцев
• Крах Римской империи
• Распад СССР
• Кризис на острове Пасхи
• Крах индейских цивилизаций Америки после открытия её Колумбом.
• Взрыв в Чернобыле.
• Гибель «Титаника»
• Взрыв сверхновой звезды
• Возникновение человечества с точки зрения биосферы
• Начало Первой Мировой войны.
• Рак как болезнь
Эти события могут быть уподоблены глобальной катастрофе в разных аспектах. В одних из них участвуют разумные существа, в других необратимо вымирают целые виды, в третьих к краху подходят сложноорганизованные системы, в четвёртых участвуют сложные технологии.
По каждой из названных тем много литературы, и она достаточно противоречива. В каждом случае есть множество гипотез, которые объясняют всё через какую-то одну причину – но поскольку таких гипотез много, то ни одна причина не является действительно единственной. Скорее наоборот, общим во всех названных вариантах является то, что не было какой-то одной причины: чем больше мы вникаем в детали, тем больше видим, что было множество факторов, которые привели к концу, и которые взаимодействовали сложным образом. По каждой из этих катастроф написаны книги, и значителен разброс мнений, поэтому я не буду пытаться пересказать все возможные представления о причинах всех этих катастроф, а отсылаю читателя к соответствующей литературе, среди которой можно выделить недавнюю книгу «Коллапс» Даймонда. О вымирании динозавров стоит посмотреть соответствующую главу в книге К.Еськова «История Земли и жизни на ней».
Общим во всех этих случаях является то, что присутствовала сложная система причин как внешнего, так и внутреннего характера. Именно сложность системы этих причин создаёт проблемы, когда мы пытаемся ответить на вопросы в духе «Почему распалась Римская империя?» И это самый главный урок. Если мы столкнёмся с катастрофой, которая погубит человеческую цивилизацию, то, скорее всего, она произойдёт не по какой-то одной причине, а в силу сложного взаимодействия разных причин на разных уровнях. Следовательно, мы должны пытаться создать модели такого же уровня сложности, как те, которые используются для описания уже случившихся крупных катастроф.
Во-первых, важно отметить, что решающую роль в вымираниях и катастрофах играли факторы, составляющие основополагающие свойства системы. (Например, динозавры вымерли не от внешне случайной причины – астероида, а от самого их определяющего свойства – что они были огромные и яйцекладущие, а значит, были уязвимы к мелким хищным млекопитающим. Человек заболевает раком не потому что у него произошла неправильная мутация, а потому что он по своей природе состоит из клеток, способных к делению. Если бы не специфика индейской культуры без колеса, лошадей и прогресса, то не Колумб бы приплыл к ним, а они – к Колумбу.)
Идея о том, что определяющие свойства системы задают тот тип катастроф, которые с ней может случится, заставляет задуматься, каковы определяющие свойства человеческого вида и современной цивилизации. Например, то, что самолёт по определению летает, задаёт наиболее типичную катастрофу для него – падение. А для корабля наиболее типичным риском будет утонуть. Но гораздо реже корабли разбиваются, а самолёты тонут.
Итак, из того, что ни одна из этих катастроф не была вызвана каким-то одним простым внешним фактором, а имела причины в определяющих свойствах самой системы (которые были, соответственно, «размазаны» по всему объему системы), мы можем сделать важный вывод: однофакторные сценарии глобальной катастрофы не настолько опасны, насколько опасны «определяющие свойства систем» и связанные с ними системные кризисы. Особенность системного кризиса ещё и в том, что он автоматически вовлекает в себя всю популяцию и ему не нужны универсальные «средства доставки».
С другой стороны, мы можем сказать, что все эти факторы неважны, так как все империи рано или поздно всё равно рушатся, виды вымирают, а существа гибнут. Но эти сведения для нас бесполезны, так как ничего не говорят, как сделать так, чтобы это стало «поздно», а не «рано».
Во-вторых, хотя внутренние противоречия системы могли очень долго назревать, нужны были внешние и достаточно случайные факторы, чтобы подтолкнуть её к гибели. Например, хотя экологическая ниша динозавров устойчиво сокращалась по своей логике, падение астероида и извержение вулканов могло ещё более подтолкнуть этот процесс. Или оледенение, которое подтолкнуло неандертальцев к вымиранию, одновременно с давлением со стороны сапиенсов. Или Чернобыльская авария, которая подорвала СССР в период наибольшей уязвимости. И если бы этих внешних случайных факторов не было бы, то система могла бы не перескочить в другое русло своего развития.
В-третьих, во всех случаях, где речь шла о разумном управлении, оно оказывалось, так или иначе, не очень разумным. То есть управление совершало решающие ошибки, ведущие к катастрофе. Кроме того, часто катастрофа связана с одновременным «случайным» совпадением большого количества разнородных факторов, которые по отдельности не вели к катастрофе. Наконец, катастрофическому процессу может быть свойственна патологическая самоорганизация, когда разрушительный процесс усиливается на каждом этапе своего развития.
Интересно изучить также и насколько успешно было человечество в создании систем, которые никогда не терпели катастроф, то есть при конструировании которых не использовался метод проб и ошибок. Увы, мы вынуждены исключить множество систем, которые создавались как безаварийные, но в результате привели к катастрофам. Это ядерные реакторы, космические корабли «Шаттл», сверхзвуковые «Конкорды». Лучше всего выглядит обеспечение безопасности ядерного оружия, но и здесь было несколько инцидентов, когда ситуация была на грани.
Представляется продуктивным дальнейшее изучение аналогов глобальных катастроф на совокупности примеров.
3.4. Неизбежность достижения устойчивого состояния.
Можно сформулировать следующее верное высказывание:
Скоро человечество перейдёт в такое состояние, когда вероятность глобальных катастроф будет очень мала.
Это произойдёт в следующих случаях:
а) Мы поймём, что ни одна из глобальных катастроф не имеет высокой вероятности ни при каких условиях.
б) Мы найдём способ контролировать все риски.
в) Катастрофа всё-таки произойдёт, и гибнуть больше будет некому.
г) Мы смиримся с неизбежностью глобальной катастрофы как частью естественного жизненного процесса (так, например, последние две тысячи лет все ждали Конца Света, и даже радовались его близости).
Вместе с тем, пока что мы наблюдаем противоположное явление – способность людей к созданию средств разрушения, а значит и погодовая вероятность глобальной катастрофы постоянно растёт. Если мы посчитаем эту кривую роста, то она тоже будет иметь некий пик. Можно взять для сравнения масштаб жертв от первой и второй мировой войн и увидеть, что за 25 лет число жертв максимального реализованного разрушения выросло примерно в 3,6 раза (если брать оценки в 15 и 55 млн. жертв соответственно). Это опережает рост населения. Однако с развитием ядерного оружия это ускорение пошло ещё быстрее, и уже к 60-70 годам реально можно было уничтожить миллиарды людей (в реальной войне погибло бы меньше, так как цель истребить всех не ставилась). Итак, если взять темп ускорения силы разрушения в 3,6 в 25 лет, то получим ускорение в 167 раз за сто лет. Это означает, что к 2045 году война будет способна уничтожить 9 миллиардов людей – что сопоставимо с ожидаемым на этот момент количеством населения. Эта цифра близка к ожидаемой технологической Сингулярности в районе 2030 года, хотя получена совсем другим способом и с использованием данных только первой половины ХХ века.
Поэтому мы можем переформулировать наш тезис: вечно рост вероятности факторов риска продолжаться не может. Можно сформулировать его и иначе: средства сохранения стабильности должны превосходить средства саморазрушения. Если же средства разрушения превосходят, то система опустится на такой уровень, где силы упорядочивания будут достаточны. Даже если это будет выжженная пустыня. С учётом временного фактора можно сказать, что средства поддержания стабильности должны расти быстрее, чем средства саморазрушения, только в этом случае погодовая вероятность вымирания будет падать, и интеграл её во времени не будет стремиться к единице, что означает возможность бесконечного существования человечества, то есть реализации задачи его неуничтожимости.
3.5. Рекуррентные риски.
Любой глобальный риск, который был нами перечислен в первой половине этого текста, становится значительно более опасным, если он возникает многократно. Есть большая разница между однократной утечкой опасного вируса, и тысячами утечек разных вирусов, происходящих одновременно. Если утечёт и распространится один вирус с летальностью в 50 процентов, мы потеряем до половины населения Земли, но это не прервёт развития человеческой цивилизации. Если в течение жизни одного поколения будет 30 таких утечек, то в живых останется – вероятнее всего - только один человек. Если их будут тысячи, то гарантированно никого не останется. Даже если летальность каждого отдельного вируса будет только 10-20 процентов.
Тоже самое можно сказать и про падение астероидов. Бомбардировка длительной серией из десятков астероидов среднего размера будет гораздо летальнее для человечества, чем падение одного большого.
Разумеется, тут надо учесть способность человечества приспособиться к какой-то одной угрозе. То есть можно преуспеть в противостоянии абсолютно всем биологическим угрозам – если это будет единственный класс угроз. Однако возможности создания универсальной защиты конечны. После 11 сентября в США стали составлять список уязвимых объектов и быстро поняли, что невозможно охранять все объекты.
Поскольку развитие технологий идёт совместно, мы не можем рассчитывать, что какие-то одни ключевые технологии возникнут, тогда как все остальные останутся на том же уровне, как сейчас. (Хотя обычно именно такой образ создают фантастические романы и фильмы. Это пример «предвзятости мышления, обусловленного хорошей историей».)
3.6. Глобальные риски и проблема темпа.
Глобальные риски являются игрой на опережение. Каждое новое технологическое свершение создаёт новые глобальные риски и уменьшает прежние. Освоение космоса уменьшило риск случайного столкновения с астероидом, но создало возможность организовать его нарочно. Распространение нанороботов уменьшит угрозы от генетически модифицированных организмов, но создаст ещё более опасное оружие. Искусственный интеллект решит проблемы контроля над опасными технологиями, но создать такую систему контроля, любой сбой в работе которой может быть смертельно опасен. Развитие биотехнологий даст нам в руки возможность победить все бывшие прежде болезни – и создать новые.
В зависимости от того, какие технологии возникнут раньше или позже, возможны разные развилки на пути цивилизации. Кроме того, важно, будут ли новые технологии успевать решать задачи, созданные на предыдущих этапах развития, в первую очередь – исчерпания тех ресурсов, которые были истощены в ходе развития предыдущих технологий, а также устранения рисков, созданных прошлыми технологиями.
Раньше с человечеством происходило всё множество возможных ситуаций на неком этапе его исторического развития, например, всё множество взаимодействий большого государства с кочевниками. Теперь мы оказываемся в ситуации появления реальной исторической альтернативы – если будет что-то одно, то чего-то другого совсем не будет. Или будет создан мощный, контролирующий всё ИИ, или всё съест серая слизь. Или мы станем космической цивилизацией, или вернёмся в каменный век.
Глобальный риск возникает в силу скорости создающего его процесса. С медленным процессом распространения чего-то можно успеть справиться, приготовить правильные бомбоубежища, вырастить вакцину. Следовательно, отличить настоящий глобальный риск можно по темпу его развития (Солженицын: революция определяется темпом.) Темп этот будет в случае глобального риска ошеломительным, чтобы люди не могли успеть понять, что происходит и правильно приготовиться. Однако для разных классов событий ошеломляющими будут разные скорости. Чем невероятнее событие, тем меньшая его скорость будет ошеломляющей. СССР казался чем-то настолько вечным и незыблемым, что даже растянутый на многие годы крах казался ошеломляющим. Системный кризис, в котором точка максимальной катастрофичности постоянно сдвигается (как пожар, перекидываясь с одного объекта на другой), обладает гораздо большим ошеломляющим потенциалом.
При этом под «ошеломлением» следует понимать способность событий создавать неправильное о себе впечатление, возможно, в форме шока будущего – и соответственно вызывать неправильную на них реакцию, ещё более их усиливающую. Конечно, некоторые сразу поймут суть происходящего, но ошеломление означает распад единой картинки происходящего в обществе, особенно у властей. Поэтому произойдёт ослепление и голоса «Кассандр» не будут услышаны – или будут понятны неверно. Более быстрые процессы будут вытеснять более медленные, но не всегда внимание будет успевать на них переключиться.
3.7. Сравнительная сила разных опасных технологий.
Далее, мы можем составить таблицу «силы» технологий, в которой каждая следующая даёт больший темп угроз и затмевает угрозы, создаваемые на предыдущем этапе. Временной фактор указывает здесь на длительность возможного процесса вымирания (а не время до созревания технологии).
1. Исчерпание ресурсов – десятилетия или столетия.
2. Масштабная ядерная война с применением кобальтовых бомб – с учётом медленного последующего вымирание - годы и десятилетия.
3. Биотехнологии – годы или десятки лет.
4. Нанороботы – от нескольких дней до нескольких лет.
5. Искусственный интеллект – от часов до нескольких лет
6. Взрыв на ускорителе – со скоростью света.
Соответственно, сценарии глобальной катастрофы будут с гораздо больше вероятность переходить с первых позиций этой таблицы на последние, иначе говоря, если в середине процесса исчерпания ресурсов вдруг начнётся многофакторная биологическая война, то процесс исчерпания ресурсов будет настолько медленным по сравнению с ней, что его можно не принимать во внимание. При этом наличие каждой более продвинутой технологии позиции будет позволят минимизировать последствия катастрофы на более слабой. Например, развитые биотехнологии помогут добывать ресурсы и очистить мир от радиоактивного заражения. Нанороботы смогут защитить от любых биологических опасностей.
3.8. Последовательность возникновения различных технологий во времени.
Приведённый выше список «силы» технологий в целом похож на ожидаемую временнyю последовательность возникновения технологий в реальности, поскольку мы можем ожидать, что по ходу прогресса будут возникать всё более сильные технологии, но на самом деле не обязательно соответствует ей.
Последовательность возникновения различных технологий во времени является важнейшим фактором в определении того, какое нас ждёт будущее. Хотя благодаря NBIC-конвергенции успехи в одной технологии переходят на другие, для нас моментом созревания технологии является тот момент, когда с помощью неё становится возможным создать глобальный риск. И даже небольшое опережение здесь может играть решающее значение.
Вообще, любая технология позволяет создавать щит и меч. По времени, щит обычно отстает, хотя, в конечном счёте, может оказаться сильнее меча. Подробнее о щитах мы поговорим далее. Кроме того, более сильная технология создаёт щит от более слабой.
Обычно ожидают следующую последовательность созревания технологий: био-нано-ИИ. Но я полагаю, что нанотехнологии возникнут скорее после ИИ, то есть будут созданы им. Разумеется, это только моё мнение, могущее содержать ошибку.
Сильный искусственный интеллект является своеобразным «джокером», который может возникнуть и завтра, и через десять лет, и через 50 или вообще никогда. Биотехнологии развиваются достаточно поступательно в соответствии со своим «законом Мура», и мы в целом можем предсказать, когда они созреют до той точки, где можно будет производить каких угодно вирусов где угодно и как угодно дёшево. Это точно будет возможно через 10-30 лет, если некая катастрофа не прервёт развитие этих технологий.
Опасный физический эксперимент может произойти почти мгновенно и независимо от других технологий – пока имеется высокий уровень технологий вообще. Приход к власти мощного ИИ значительно сократит вероятность такого события (но даже ИИ может ставить некие эксперименты).
Нанотехнологии находятся в значительно более зачаточной форме, чем биотехнологии и даже технологии ИИ. Первые опасные эксперименты с биотехнологиями были ещё в 1970-е годы (раковая кишечная палочка), а до ближайших опасных нанотехнологических экспериментов – ещё 10 лет как минимум, если не произойдёт какого-то технологического прорыва. То есть нанотехнологии отстают от биотехнологий почти на 50 лет. Внезапный прорыв может произойти или со стороны ИИ – он придумает как легко и быстро создать нанотехнологии или со стороны биотехнологий – на пути создания синтетических организмов.
3.9. Сопоставление факторов риска разных технологий.
Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b).
Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применениям (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала.
Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения.
Для ИИ эти величины нам неизвестны.
Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия.
Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс, что мы найдём способ управлять прогрессом и применением его плодов безопасным образом.
Качественно обобщая, можно сказать, что биотехнологии получают самые высокие баллы по этой шкале – эта технология наверняка возможна, вредоносное её применение почти неизбежно и по времени она весьма близка к нам.
Нанотехнологии получают неожиданно низкий уровень угрозы. Неизвестно, возможны ли они, при этом они могут оказаться вполне безопасными и до момента их естественного созревания ещё довольно много времени. Если же они созревают неестественно, благодаря ИИ или биотехнологий, они оказываются в тени силы этих технологий: в тени угроз от биотехнологий, которые к тому моменту они могут создавать – и в тени способностей ИИ к контролю, который сможет проконтролировать все случайные утечки нанотехнологий.
ИИ оказывается «двухсторонним джокером» - он может как предотвратить любые другие риски, так и легко погубить человечество. Сам момент возникновения ИИ является моментом полифуркации – так как в этот момент ему могут быть заданы цели, которые потом будет изменить невозможно. Медленное и более позднее возникновение ИИ связано с плавным перерастанием государства в гигантский всё-контролирующий компьютер. Более быстрое и ранее событие связано с внезапным изобретением в некой лаборатории способной к самосовершенствованию машины и нацеливание её на захват власти на Земле. В этом случае она скорее создаст некие принципиально новые структуры связи и управления, а распространение её будет взрывным и революционным. Однако чем позже люди создадут ИИ, тем больше шанс, что они будут понимать, как правильно его запрограммировать, чтобы он на самом деле приносил благо людям. Однако, с другой стороны, чем позже он возникнет, тем вероятнее, что это сделает некий «хакер», так как сложность задачи с каждым годом упрощается. Э.Юдковски метафорически так выражает эту мысль: «Закон Мура в отношении ИИ – с каждым годом IQ человека, необходимый для его создания, падает на одну единицу» (сверить цитату).
Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект «добивания», вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое ослабит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал «глобальные риски третьего рода» - см. далее.
Чем быстрее ускоряются технологии, чем больше скорости обмена, тем быстрее становятся все процессы внутри цивилизации, в том числе тем быстрее работают все симуляции виртуальной реальности. Это означает, что за год внешнего времени цивилизация может пройти сотни и тысячи лет «субъективного» времени, если считать по её внутренним часам. В силу этого вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков – с точки зрения внутреннего наблюдателя.
Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвует в мировых процессах – треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас «золотой миллиард» в целом поспевает за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. И трудно заставить людей менять компьютеры чаще, чем раз в несколько лет, хотя экономическое давление очень велико и создаёт социальное давление – например, рекламный образ о том, что некий сотовый телефон уже недостаточно крут. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу – побеждает более быстрый.
3.10. Цели создания.
Опасный фактор может возникнуть или случайно, или быть создан намеренно. (Однако возможна и комбинация этих двух моментов: случайным фактором могут воспользоваться намеренно, например, скрыв приближение опасного астероида, или наоборот, нечто, замышлявшееся как игра с низким риском глобальной катастрофы, выйдет из-под контроля.)
Часто возникают предположения, что некий дьявольский план никто не захочет реализовывать, и поэтому можно его не рассматривать. Это неверно. Во-первых, здесь применим статистический подход – рано или поздно нужные условия сложатся. Во-вторых, на Земле действительно есть группы людей и отдельные личности, которые хотят «конца света». Однако в целом это не относится к исламским террористам, потому что они хотят создать Всемирный Халифат, а не радиоактивную пустыню. (Но они могут быть готовы рискнуть по принципу «всё или ничего», например, создав машину судного дня и грозить её применить, если все страны мира одновременно не примут ислам. Но если другая секта одновременно создаст машину судного дня с требованием всем принять некую особенную форму буддизма, то ситуация действительно станет патовой, поскольку оба этих требования нельзя удовлетворить одновременно.) Важно отметить, что группа людей может гораздо дольше удерживать себя в состоянии настройки на некую идею, чем один человек, но зато группы реже формируются. Рассмотрим разные группы людей, которые могут стремиться к уничтожению человечества.
1) Эсхатологические секты. Пример: Аум Синрикё. Эта организация не только верила в близость наступления конца света, но и работала над его приближением, собиралась информация о ядерном оружие, вирусах и химических веществах. (Впрочем, есть разные теории о том, что именно делала и хотела Аум Синрикё, и выяснить окончательную правду не представляется возможным.) Теоретически опасны любые религиозные фанатики, выбирающие смерть. Например, старообрядцы часто предпочитали смерть новой вере. Такие фанатики полагают благом потусторонний мир или воспринимают Конец света как «обряд очищения». При этом возможна психологическая подмена, когда длительное ожидание чего-либо превращается в желание этого. Собственно, логическая цепь, приводящая от мирной медитации к разрушительной деятельности (за 10 лет примерно в случае Аум Синрикё) такова: сначала осознаётся наличие иного мира. Затем осознаётся, что потусторонний мир важнее нашего, и главные цели лежат в нём. Из этого следует, что наш мир вторичен, создан высшим миром, а, следовательно, мал, конечен и неважен. Более того, наш мир полон препятствий, мешающих чистому течению медитации. Поскольку высший мир первичен, то он рано или поздно закончит существование нашего мира. Поскольку наша секта является богоизбранной, то она получает особо точные знания о том, когда именно случится завершение этого мира. И, удивительное совпадение, есть знаки, что это произойдёт очень скоро. Это обладание сверхважным секретным знанием, естественно, обостряет чувство собственной важности членов секты, и используется для укрепления руководства в неё. Конец нашего мира будет означать соединение всех хороших людей с высшим миром. Знание близости неизбежного конца, осознание позитивности этого события и своей исключительной роли в этом важном событии приводит к осознанию, что секта должна не только знать и проповедовать о конце света, но и приближать это событие. (Психологически происходит замена долгого ожидания на стремление.) Кроме того, попутно можно расправится со своими врагами и чувствовать себя победителями старого мира. (Я не хочу сказать, что точно знаю, что Аум Синрикё действительно рассуждала подобным образом. Однако элементы этого рассуждения можно обнаружить у самых разных групп, от христианских, до революционных. И вовсе не все люди и группы, которые говорят о конце света, собираются его организовывать. Среди известных сект, ожидающих конца света: свидетели Иеговы и мормоны.)
2) Радикальные экологи. Примеры: Движение за добровольное вымирание человечества. (The Voluntary Human Extinction Movement. http://www.vhemt.org/ - они считают полезным вымирание человечества, однако предлагают осуществить это путём отказа от размножения.) Такие группы считают благом мир природы и животных и полагают человечество - не без оснований - раковой опухолью на теле Земли, ведущей вымиранию всего живого. Также можно вспомнить радикальных вегетарианцев - «веганов», для которых жизнь животных не менее важна, чем человеческая.
3) Нео-луддиты. Например, террорист Унабомбер (Теодор Качинский). Цель: возвращение в «совершенное» ранне-человеческое общество.
4) Озлобленные люди, движимые местью. Те, кто сейчас, например, расстреливают из автомата одноклассников. Но такие проекты всё же готовятся не годами, а несколько дней обычно. Хотя можно представить себе человека, который сошёл с ума на идее отомстить миру или Богу.
5) Бессознательное деструктивное поведение. Это может быть или неожиданный всплеск (разбить пробирку с ядом), или некая более тонкая ошибка в оценке собственных целей. Например, многие виды нарокомании и экстремального поведения являются, по мнению психологов, скрытыми формами медленного «самоубийства» (саморазрушительное поведение). Потребность в самоубийстве, возможно, записана у человека на генетическом уровне и вызывается в ответ на отвержение его обществом (например: сепуко самураев, собака, умирающая от одиночества, алкоголизм от одиночества).
6) «Геростраты». Понятно, что не перед кем будет прославиться, если разрушить весь мир, но, уничтожая его, можно на секунду почувствовать себя «великим человеком». Фактически, это будет извращённое проявление стремления к власти.
7) Шантажисты, создавшие «машину судного дня». Это могут быть люди, вдвигающие какие угодно политические или экономические требования под угрозой полного уничтожения всего мира. Поэтому их может быть особенно трудно поймать, так как их «машина» может находиться в любом месте.
8) Универсальное оборонительное оружие последнего выбора. Вместо того, чтобы создавать ядерный щит из ракет, некая страна может создать одну сверхмощную ядерную бомбу с кобальтовой оболочкой и угрожать её взорвать в случае вооружённой агрессии. Это немногим менее рационально, чем концепция «взаимного гарантированного уничтожения», ради которой созданы Стратегические ядерные силы. И это похоже на поведение человека, который подрывает себя гранатой вместе с неприятелем – а ведь правители тоже пока люди. Тем более, что такое оружие создаётся не для того, чтобы его применять, а чтобы угрожать им. Концептуально это близко идее «глобального шантажа».
9) Рискованное поведение, дающее большой выигрыш или проигрыш. Например, это может быть некий физический или биологический эксперимент. Это может быть отягчено нежеланием и неспособностью людей оценить масштабы и вероятность проигрыша в наихудшем случае. Пример: внешняя политика Рейгана в противостоянии с СССР.
10) Потребность в риске для сильных переживаний, азарт. Люди проигрывали поместья в карты не для того, чтобы изменить своё имущественное положение, а потому что испытывали потребность в острых переживаниях риска. Сейчас это проявляется в экстремальных видах спорта.
11) Сторонники вытеснения людей более совершенным искусственным интеллектом. В Интернете есть люди, продвигающие эту идею. Радикальные трансгуманисты тоже могут, даже против своей воли, попасть в это число.
12) Люди, полагающие смерть лучшей альтернативой чему-либо. Один американский генерал во Вьетнаме сказал про убитых жителей одной деревни: «Чтобы их спасти нам, пришлось их уничтожить».
13) Самоубийцы. Если человек нашёл достаточные основания, чтобы убить себя, он может не пожалеть и остальной мир. Пример: Итальянский пилот, который врезался в башню Пирелли в Милане на частном самолёте 12 марта 2002 года. Клиническая депрессия может проявляться в том, что человек начинает испытывать интерес к проблемам конца света, а затем и желать его, чтобы он скорее наступил. Отсюда один шаг до активной помощи в этом процессе.
14) Шизофреники, испытывающие навязчивые идеи. Например, один человек в середине ХХ века в США, обнаружив, что дата его рождения совпадает с датой землетрясения в Сан-Франциско, пришёл к выводу, что если он будет убивать людей, то таким образом будет предотвращать землетрясения. Бред при шизофрении заставляет человека обнаруживать не существующие в природе взаимосвязи. Кроме того, они часто слышат голоса, которые подчиняют их себе. Мы не можем предсказать, какого рода бред приведёт к выводу о том, что Землю надо уничтожить. При этом интеллектуальные способности при шизофрении не снижаются настолько, что делают невозможной реализации долгосрочных эффективных стратегий. Хотя специальные тесты могут доказать наличие шизофрении, внешне она не всегда очевидна. Более того, в отличие от невроза, она не осознаётся самим человеком. Утрата способности сомневаться – одно из наиболее серьёзных проявлений шизофрении. Шизофрения может быть «заразной» в виде религиозных сект, тиражирующих некие бредовые идеи.
Человеком всегда действует несколько побуждений, только часть из которых осознана. По моим подсчётам, часто до 10 разных желаний и целей должны были объединиться, чтобы я принял некое решение – то есть, чтобы сформировался достаточный всплеск мотивации. При этом специальные психологические процедуры для выявления скрытых целей применяются редко и большинству людей неизвестны. Поэтому легко ожидать, что перечисленные мотивации могут действовать совместно, скрытно, нелинейно интерферируя и давая неожиданный громадный всплеск, волну-убийцу.
3.11. Социальные группы, готовые рискнуть судьбой планеты.
Вероятно, надо отдельно составить список социальных групп, которые стремятся к крушению и смене мирового порядка. И ради этого или готовы пойти на риск всеобщего уничтожения, или могут его создать, не осознавая этого. Например, Рональд Рейган предпринял Крестовый поход против СССР, но он понимал, что в процессе этого противостояния риск катастрофически опасной войны возрастает.
1) Мировые державы, борющиеся за господство в мире. Это могут быть или первые державы, теряющие власть и вынужденные «атаковать под угрозой утраты преимущества», или державы-претенденты на мировое господство, выбирающие радикальные и рискованные методы достижения своих целей. Психология этих процессов остаётся на уровне борьба за место альфа-самца в обезьяньей стае, которая, однако, довольно жёстко детерминирована природой естественного отбора.
2) Утопические социальные движения, стремящиеся к великим целям, например, радикальные коммунисты или религиозные организации.
3) Различные национальные, экономические, политические силы, которые не получают «своей доли» в нынешнем мироустройстве или ожидают утраты своих позиций в будущем.
4) Можно назвать также разных сторонников «поэзии апокалипсиса», любителей компьютерных игр в духе Fallout, которых привлекает эта идея, и значит, бессознательно – а иногда и сознательно – они этого и хотят.
5) Люди, живущие по принципу «после нас хоть потоп», то есть не то, что бы желающие глобальной катастрофы прямо, но предпочитающие действие, которые приносят благо в краткосрочной перспективе, но несёт колоссальный вред в долгосрочной. Это состояние может особенно обостряться в связи с осознанием неизбежности собственной смерти, присутствующем у каждого человека, и особенно обостряющимся в периоды риска и старости. (Модель поведения: седина в бороду – бес в ребро.)
В качестве отдельной графы следовало бы выделить человеческую склонность ошибаться в оценках глобальных рисках, подробнее на эту тему см. статью Е.Юдковски и мою статью о недооценке глобальных рисков.
3.12. Обобщающий коэффициент, связанный с человеческим фактором.
Чтобы учесть разнообразие человеческих мотиваций, можно ввести некий обобщённый вероятностный коэффициент k. Этот коэффициент означает, грубо говоря, шансы на то, что пилот самолёта направит свой самолёт на таран, или, говоря в общем случае, долю людей, которые решат применить доступную им технику для уничтожения себя и других людей, в пересчёте на одни сутки. Мы так же не учитываем здесь различие между заранее подготовленными и спонтанными действиями. Например, если в некой стране у каждого в доме есть оружие, то будет некое среднее число его незаконных применений. Это число крайне мало. Допустим, (далее идет чисто предположительные оценки, которые нуждаются в точном пересчёте), оно может составлять для США (где 35 миллионов стволов на руках и высокий уровень преступности) одну миллионную в день, а для Швейцарии, если взять один случай расстрела парламента в Цуге – одну миллиардную. Для авиации мы получим, если поделить примерное число всех совершённых вылетов пассажирских авиалайнеров (порядка миллиарда) на число самолётов, захваченных террористами для атак 11 сентября (4) – 1/250 миллионную. При уровне самоубийств в 1 процент k в пересчёте на человека на день будет примерно одна миллионная. В мире около миллиарда компьютеров, и каждый день выходят десятки новых вирусов, что даёт k = 1/10 000 000, то есть только один из десятков миллионов пользователей производит бессмысленные и опасные вирусы (но коммерческое нелегальное adware могут производить и больше людей).
Мы видим, что при разных условиях k в пересчёте на один «проект» на один день колеблется между одной миллионной и одной миллиардной. Верхней безопасной оценкой будет одна миллионная, тогда как наиболее реальной оценкой, может быть, одна сто миллионная, как лежащая по середине.
Не следует думать, что если мы раздадим ключи от запуска нескольким людям, то мы понизим шансы опасного сумасшествия в миллион миллионов раз, поскольку бредовые идеи бывают заразными. Кроме того, дежурные одной из станций запуска ракет в США признались, что они от скуки придумали систему из ножниц и верёвочки, позволяющих повернуть одному человеку два ключа запуска одновременно. (Кларк) То есть системы запуска можно обойти хитростью.
Кроме того, сумасшествие может носить тонкий и неочевидный характер, и плавно переходить из области психиатрии в область просто неверных решений. Оно не обязательно означает, что человек вдруг нажмёт «красную кнопку». В случае паранойи это может быть совокупность очень логичных и убедительных построений, способных убеждать других людей в необходимости предпринимать немного более рискованных действий, чтобы защитится от мнимых угроз. «Сумасшествие» может проявляться и в отказе от действий в решительный момент. Это может быть излишнее упорство в некоторых заблуждениях, которые приведут к цепочке неверных решений.
Выводы: всегда найдутся люди, которые будут хотеть уничтожить мир, и поэтому нужно рассматривать всерьёз все сценарии, где кто-то может долго и упорно работать, чтобы этого достичь.
3.13. Принятие решения о ядерном ударе.
Важным является вопрос, может ли сумасшествие одного человека привести к «нажатию красной кнопки». Этот вопрос относительно изучен применительно применению ядерного оружия, но аналогичным образом будет возникать при появлении любых других видов опасного оружия и технологий и машин судного дня.
При этом возникает вопрос, в чьих руках находится «красная кнопка» - только высшего руководства или в руках определённой группы исполнителей: понятно, что чем шире круг операторов, которые имеют доступ к применению оружия, тем риск выше.
Имеется следующая противоречие, связанное с эффективностью и безопасностью ядерного оружия: или у нас есть абсолютно устойчивая система защиты от непреднамеренно запуска, которая делает запуск невозможным ни по команде президента, ни по решению командира подлодки. Или у нас есть система, способная в течение 8 минут в условиях интенсивного противодействия вероятного противника и нарушения всех систем связи нанести ответный удар.
Реальные системы, устройство которых – в настоящий момент - является величайшей тайной, должны находить баланс между этими противоречивыми требованиями. Однако в прошлом эффективность часто предпочиталась безопасности. Например, в 60-70 годы в США запуск ракет поставили на пароль из 14 цифр, который должен был сообщаться из центра. Однако значение этого пароля установили 0000000000000000, и все это знали (военные считали пароль глупостью, которая помешает им нанести удар вовремя). Только потом пришла независимая комиссия и потребовала создать реальный пароль.
Вряд ли может случиться ситуация, когда президент ночью сойдёт с ума, потребует принести ему ядерный чемоданчик и нажмёт на кнопку. Однако возможны более тонкие варианты, когда непродуманное и иррациональное поведение, обусловленное аффектами, усталостью и неверным пониманием, приведёт к цепочке действий, ведущих к войне. Например, Гитлер, напав на Польшу, не ожидал, что Англия вступит в войну. Или американцы, планируя атаковать Кубу в 1962 году, не знали, что там уже есть советское тактическое ядерное оружие, и войска имеют право его применять.
Важным моментом в принятии решений о ядерном ударе является взаимодействие оператора с инструкцией. Инструкция создаётся тоже людьми, и описываемые в ней ситуации воспринимаются гипотетически, а не как реальные решения о применении оружия. Выполняя инструкцию, оператор так же не несёт никакой ответственности, ибо делает, что написано. В результате ответственность размывается и становятся возможными решениями, которые ни один человек бы сам по себе не принял. Характерен пример с ракетчиком Петровым, которого позже ООН наградило медалью за спасение человечества. Обнаружив в 1983 году, вскоре после того, как сбили Корейский Боинг, старт ядерных ракет с территории США, он решил не давать команду об ответном нападении, так как посчитал эту команду ложной. Однако Петров не был рядовым дежурным смены, он был разработчиком инструкции по принятию решений, который взял эту смену относительно случайно. И поэтому он сам отменил составленную им же инструкцию. Однако рядовой дежурный должен был бы её выполнить.
3.14. Цена вопроса.
Мы можем также измерить вероятность апокалипсического сценария, определив количество денег, времени и прочих ресурсов, которые для него потребуются – и сравнив их с общем количеством доступных ресурсов. Если для «конца света» нужно Х тонн некого вещества, то при наличии его на Земле в размере 1,5Х он маловероятен, а если его есть триллион доступных Х, то почти неизбежен. Мы можем также пытаться определить минимальное количество людей, которые должны объединиться, чтобы создать то или иное оружие судного дня. Очевидно, что дешевле адскую машинку захватить. Например, чеченские террористы планировали захватить атомную подводную лодку и шантажировать РФ. Но вряд ли бы они могли создать сами такой арсенал ракет.
Понятно, что важен также фактор времени – если некоторый проект очень дёшев, но требует 10 лет усилий, то его скорее разоблачат, или человек в нём разочаруется. Наоборот, если проект быстр (разбить пробирку с ядом), то человек его может реализовать под влиянием минутного настроения.
Десятки стран в настоящий момент могут создавать ядерное оружие, но эти проекты потребуют многих лет. В то же время тысячи биолабораторий в мире могут работать над генетические модифицированными вирусами, и проекты эти могут быть гораздо быстрее. По мере накопления знаний и стандартизации оборудования это число растёт, а время на разработку сокращается. По оценкам моего знакомого биолога, для создания опасного вируса требуется сейчас бюджет порядка миллиона долларов, в то время как ядерные проекты начинаются с миллиардов. Кроме того, цена разработок в биотехе падает гораздо быстрее, так как не требует больших капитальных вложений, и скорее зависит от доступности информации.
Можно ввести фактор риска A, прямо пропорциональный количеству мест на Земле, где опасный проект может осуществляться - L, и обратно пропорциональный ожидаемому среднему времени T на завершение проекта с ожидаемой эффективностью в 50 процентов.
(1)
Тогда для проектов по созданию ядерной сверхбомбы он будет приблизительно равен 40/10=4, а для проектов биологического оружия в настоящий момент – 1000/1=1000.
При этом, скорее всего, зависимость реального риска от А нелинейная. Чем дешевле проект, тем вероятнее, что его смогут создать маргиналы. Кроме того, маленький и дешёвый проект гораздо проще скрыть или замаскировать, или продублировать.
Чем больше проектов в мире, тем вероятнее, что умножение этого числа на k («доля сумасшедших» - см. соответствующую главу) из предыдущего раздела даст значительную величину. Например, в мире около 100 действующих ядерных подводных лодок. При допущении, что для них k = одной миллионной, это даст одно событие раз в 10000 дней или примерно в 30 лет. При этом уровень безопасности на атомных подлодках настолько высок, что, вероятно, что там k гораздо меньше приближается к миллиардной. (Однако из-за специфики систем безопасности там есть риски не сколько намеренного захвата, сколько случайного применения из-за нарушения систем связи, ложных срабатываний – например, я читал, что 1982 году советский подводный флот на всякий случай был переведён в полную боевую готовность после смерти Брежнева – то есть были введены коды, вставлены ключи запуска, занята позиция для удара.)
Однако число лабораторий, способных проводить генетические манипуляции, сейчас, вероятно, исчисляется тысячами, и уровень безопасности там ниже, чем на подводных лодках. Более того, создание биологического ассемблера, то есть живого существа, способного переводить сигналы с компьютера в ДНК и обратно, радикально упростит эти технологии, благодаря чему число существующих лабораторий может возрасти до миллионов. (Можно также сказать, что чем дешевле проект, тем больше для него k, так как в дешёвых проектах меньше расходы на безопасность.) В этом случае мы можем ожидать появления смертельно опасных вирусов каждый день.
Итак, каждое средство разрушения характеризуется суммой денег и временем, необходимыми для его создания. Эти параметры не единственные, но позволяют сравнить разные средства.
Далее, надо добавить вероятностный фактор в отношении того сработает ли данное оружие. Даже очень дешёвый проект может дать вероятность в 0,0001, а очень дорогой – только 0,60. Можно условно считать, что мы нормируем все проекты конца света на 50 процентную вероятность. Ни один из них не может гарантировать 100 процентной эффективности, что утешает. Однако в сумме дешёвые, но не очень опасные проекты могут давать большую вероятность глобальной катастрофы за те же деньги, чем один большой проект. (Тысяча вирусов против одной сверхбомбы.)
Ещё интересная тема - каков минимальный размер организации, которая могла бы уничтожить человечество, если бы хотела. Думаю, что сейчас страна-изгой средних размеров могла бы. Хотя раньше это могли только две сверхдержавы. Кроме того, современные корпорации обладают сравнимыми ресурсами. Следующая фаза – крупные террористические организации, потом небольшие группы и отдельные люди.

4. ГЛОБАЛЬНЫЕ РИСКИ ВТОРОГО РОДА.
4.1. Определение и общие соображения.
Будем называть глобальным риском второго рода любое событие, которое значительно повышает вероятность вымирания человечества. Сочетание таких событий создаёт окно уязвимости.
Исторически известно, что вымерло 99 процентов видов живых существ, живших на Земле, и сейчас каждый день продолжают вымирать виды. Очевидно, что вымирание этих видов произошло без применения сверхтехнологий. Наиболее знамениты вымирания динозавров и неандертальцев. Среди причин вымирания, по мнению палеонтологов, в первую очередь стоят изменения экологической ситуации – то есть разрушение пищевых цепочек и появление конкурентов, тогда как природные катаклизмы выступают только спусковым событием, добивающим ослабшие виды. От астероида вымерли именно динозавры, ибо именно на них давили мелкие хищники-млекопитающие, питающиеся молодняком и яйцами. От последнего оледенения вымерли именно неандертальцы, так как им противостояли более организованные homo sapiens. Всё же трудно использовать гипотезы о прошлых вымираниях для обоснования последующих, так как тут много неясного. Однако в качестве более достоверного примера можно взять случаи гибели традиционных обществ и культур. Например, русское крестьянство со всей своей культурой, каковым оно было в 19 веке, исчезло целиком и безвозвратно (если не сказать вымерло) в процессе урбанизации– притом, что исторически оно могло противостоять и войнам, и эпидемиям. Но его погубили новые возможности, которая дала городская цивилизация и новая экономическая ситуация. Такова же судьба австралийских аборигенов и других сообществ, столкнувшихся с более высокоразвитой цивилизацией. То есть отдельные люди живы, а от культуры остались только фольклорные ансамбли. Это можно описать и на примере отдельного существа. Когда организм болеет, уязвимость его к любым внешним толчкам (или обострениям самой болезни) возрастает.
В силу этого мы можем представить себе следующий двухфазный сценарий:
1. В начале из-за крупной катастрофы население Земли резко сократилось, производство и наука деградировали. Назовём это пространство «постапокалиптическим миром». В кино или литературе такой мир описывается обычно как возникающий после ядерной войны (фаза гибели цивилизации, но не людей).
2. Уцелевшие люди, оставшиеся в этом мире, оказываются гораздо более уязвимы к любым рискам, вроде падения небольшого астероида, исчерпания ресурсов, извержения вулканов. Более того, они вынуждены бороться со всеми остатками цивилизации – заражением, исчерпанием ресурсов, утратой навыков, генетической деградацией, наличием опасного оружия или опасных процессов, начавшихся при цивилизации (необратимое потепление).
Что из этого следует:
А) Такие двухфазные сценарии заставляют нас рассматривать как опасные те риски, которые мы ранее отбросили, как не могущие погубить цивилизацию.
Б) В некотором смысле двухфазный сценарий подобен нелинейной интерференции, о которой речь шла выше, но здесь стыковка происходит во времени, причём важен порядок событий.
В) Двухфазный сценарий может стать и трёх- и более фазным, где каждая следующая фаза деградации делает человечество уязвимым к следующим формам риска.
Г) При этом может не быть прямой связи между первой и второй катастрофами. Например, попасть в постапокалиптический мир люди могут в силу ядерной войны, а вымереть от извержения супервулкана. Но точно также они могли бы попасть в это состояние уязвимости к супервулкану из-за эпидемии или экономического спада.
Д) Рассмотрение многофазных сценариев носит принципиально вероятностный характер. Эпоха слабости человечества, когда оно уязвимо, можно назвать окном уязвимости, которое характеризуется плотностью вероятности и продолжительностью. Это определяет то, что такое окно уязвимости конечно во времени. Сейчас мы живём в эпоху окна уязвимости к сверхтехнологиям.
4.2. События, которые могут открыть окно уязвимости.
Здесь есть два типа событий. Первые – это события, которые неизбежно наступят в 21 веке, исходя из общепринятых представлений о развитии потребления и технологий. Вопрос в том только, когда это произойдёт (каждое из этих мнений разделяется не всеми специалистами, однако опирается на предположение, что никаких принципиально новых технологий не возникнет):
1. Исчерпание нефти
2. Исчерпание продовольствия, вызванное потеплением, засухами, перенаселением, опустыниванием, переходом автомобилей на биотопливо
3. Исчерпание водных ресурсов
4. Крах мировой финансовой пирамиды долгов
5. Любые другие факторы, постепенно, но необратимо делающие среду непригодной для обитания.
Ко второму типу относятся события, которые могут произойти, а могут и не произойти с определённой вероятностью. Это не делает их более безопасными, поскольку любая погодовая вероятность создаёт «период полураспада» - то есть время, за которое это событие, скорее всего, случится, и это время может быть меньше, чем время созревания неизбежных событий, вроде исчерпания некоторых ресурсов.
1. Крупный теракт, масштаба взрыва атомной бомбы в важном городе.
2. Крупная природная или техногенная катастрофа, способная затронуть значительную часть населения земного шара – пока таких катастроф не происходило. Самый близкий пример – авария на Чернобыльской АЭС, которая привела к отказу от строительства атомных станций в мире и к энергетическому голоду сейчас.
3. Любой из пунктов, которые мы перечислили в качестве возможной причины глобальной катастрофы, но взятый в ослабленном масштабе.
Следующие фазы разрастания окна уязвимости включают в себя мировую войну и разработку и применение оружия судного дня.
4.3. Системные кризисы.
Возможно ли, чтобы глобальная катастрофа произошла не по той довольно очевидной схеме, которую мы описали выше? То есть, не зародившись в одной точке в конкретный момент времени и обойдя из неё весь мир? Да, такое возможно в случае системного кризиса. Обычно системный кризис не может истребить всё население, но, безусловно, он может быть глобальной катастрофой второго рода. Тем не менее, есть модели, где системный кризис истребляет всю популяцию.
Простейшей такой моделью является экологическая система хищник-жертва, допустим, волков и лосей на острове. В ней, в случае, если число хищников превысило некое критическое значение X, они съедают всех лосей до конца, после этого они обречены на вымирание, в процессе которого они будут питаться только друг другом. В природе есть защита от таких ситуаций на уровне разнообразных обратных связей. Известные примеры – олени и трава на канадском острове – на остров выпустили оленей, они расплодились, за десятилетия съели всю траву и стали вымирать. Похожая, но более сложная ситуация сложилась на острове Пасхи с участием людей. Полинезийцы, появившиеся на острове примерно в 8 веке, создали развитое общество, которое, однако, постепенно изводило леса, особенно, на транспортировку знаменитых статуй. Утрата леса некоторым образом приводила к снижению доступного количества продовольствия. В конечном счёте, леса были сведены полностью, а общество значительно деградировало – и в этот момент остров был открыт европейцами.
Итак, системный кризис способен «провести популяцию через ноль», то есть убить всех особей. При этом системный кризис не начинается в какой-то момент и в какой-то точке. Нельзя сказать, что если бы какого-то одного волка не было, или на одного лося было бы больше, то что-либо изменилось. То есть системный кризис не зависит от поведения никакого одного конкретного элемента. Точно также трудно сказать, когда системный кризис стал необратимым. Соответственно, поэтому трудно ему противостоять, так как некуда приложить свои усилия.
Разработка современных технологий также не происходит в одной точке. Ни один человек не может существенно её ускорить или замедлить.
Система подходит к системному кризису вся целиком. Интересно оценить, каковы шансы сохранения элементов при распаде их системы, иначе говоря, выживания людей при гибели цивилизации. Можно показать, что чем сильнее взаимосвязи в системе, тем вероятнее, что крах системы будет означать гибель всех её элементов без исключения. Если истребить 99,999 процентов культуры бактерий, то оставшихся нескольких экземпляров хватит, чтобы целиком восстановить численность и свойства этой бактериальной культуры. Если отрезать полрастения, то из пня вырастут побеги и оно целиком, в конечном счёте, восстановит свою функциональность. Но если повредить даже самую малую часть человека, особенно его мозга, то он умрёт весь раз и навсегда до самой последней клетки, коих сотни триллионов – трудно уничтожить штамм бактерий с такой эффективностью. Также и цивилизация – достигнув определённого уровня сложности, она потом не может безболезненно регрессировать на предыдущий уровень, просто сократив технологии и население, а имеет шанс обрушиться целиком, в ноль. (Теперь для нас становится событием отключение электричество на несколько часов, и от этого гибнут люди. А немногим более ста лет назад электричество применялось только в редких экспериментах. Многие современные постройки не могут существовать без непрерывного подвода энергии: шахты затопит, ажурные конструкции торговых центров развалятся за одну зиму без уборки снега и отопления и т д.)
Чем системнее некая структура, тем в больше степени её свойства определяются характером взаимного расположения и взаимодействия элементов, а не самими элементами – и тем большую роль в ней играет управление по сравнению с физической силой. Если бы вдруг всех людей в мире перетасовать в пространстве, закинув каждого на другой континент, то это означало бы гибель современной цивилизации, хотя каждый отдельный человек был бы жив. Также и если разрезать тонким ножом некое животное на несколько частей, то почти все отдельные клетки будут ещё живы, а животное в целом – мертво.
Чем сложнее система, тем сильнее в ней долгосрочные последствия катастрофы по сравнению с краткосрочными. То есть система обладает свойством усиления малых событий – конечно, не всех, а тех, которые попали в «фокус её внимания». Остаточно крупные катастрофы обычно попадают, поскольку перехлётывают через порог устойчивости. Например, в случае Чернобыльской аварии наиболее долгосрочными последствиями стали распад СССР и долгий период застоя в атомной энергетике, в результате чего мир сейчас испытывает энергетический голод. В ходе терактов 11 сентября были разрушены здания исходной стоимостью в 1-3 миллиарда долларов, но ущерб экономике составил 100 млрд. Эти теракты привели к надуванию пузыря на рынке недвижимости (за счёт низкой ставки для стимулирования экономики) в триллионы долларов. И к войне в Ирке, на которую потратили около 1,4 триллионов долларов. Более того, основной ущерб ещё впереди, так как вывод войск из Ирака и кризис на рынке недвижимости нанесут имиджевый, политический и экономический ущерб на многие триллионы долларов. (Плюс например, то что раненных из Ирака придётся лечить десятилетиями, и на это надо выделять триллионы долларов). Похоже описал Лев Толстой то, как последствия ущерба, который потерпела французская армия под Бородино, нарастал в последующей цепочке событий – пожар в Москве, зима, Березина, крах империи. При этом информационные составляющие ущерба во всех этих случаях превышала физическую. То есть эти события спровоцировали цепочку неправильных решений и разрушили структуру управления – то есть структуру будущего. Можно сказать и иначе: достаточно большое событие может перекинуть систему в другое русло, которое медленно, но необратимо расходится с прежним.
Обсудим теперь различные виды системных кризисов, которые бывают в природе, чтобы посмотреть, какие из них могут иметь отношение к современной цивилизации.
1. Избыток хищников – этот пример мы уже обсуждали выше на примере волков и лосей.
2. Пример из экономики – Великая депрессия. Замкнутый цикл сокращения производства – увольнений – падения спроса – сокращения производства. Цикл, который сам по себе устроен так, что должен пройти через ноль. Только внеэкономические событий, вроде войны и экспроприации золота, смогли его разорвать.
3. Другим примеров самовоспроизводящейся цивилизационной структуры является гонка вооружений. Она побуждает создавать всё большие арсеналы всё более опасного оружия и держать их в высокой степени боеготовности. Кроме того, она втягивает в себя всё новые государства и стимулирует разработки опасных технологий. Иначе говоря, есть определённые структурные ситуации в самой цивилизации, которые опаснее оружия массового поражения. Эти структуры характеризуются тем, что воспроизводят себя на каждом этапе в увеличивающемся объёме и продолжают действовать при любом истощении ресурсов цивилизации.
4. Стратегическая нестабильность: кто ударит первым, тот выигрывает. Плюс, ситуации, когда имеющий преимущество должен атаковать перед угрозой его утраты.
5. Трещина. Эскалация раскола в неком обществе приводит к всё более открытой борьбе между двумя силами, всё большим преступлениям, всё большей поляризации остальных членов общества, которые вынуждены выбирать на чьей они стороне. (Например, противостояние ФАТХ и ХАМАС в Палестине.)
6. Структурный кризис, когда все всё знают. (Как в фильме «Особое мнение», где способность экстрасенсов предсказывать будущее приводит к возникновению войны.) В одной книге по военной стратегии описывалась следующая ситуация, где если два противника не знают, в каком состоянии другой, они находятся в покое. А если один знает, что другой начал выдвигать войска, это его провоцирует выдвигать свои; если он знает, что тот не выдвигает войска, это тоже его провоцирует напасть первым. То есть информационная прозрачность бесконечно ускоряет обратные связи между противоборствующими сторонами, в результате чего становятся возможны быстрые процессы с положительной обратной связью. А шпионские нанороботы сделают мир информационно прозрачным – и с большой скоростью.
7. Структурный кризис «Кампучия», когда все начинают видеть друг в друге врагов и истреблять кажущихся врагов, что приводит к самоусилению поиска врагов и мести за ложные обвинения. Кстати, кровная месть – тоже структурный кризис, который может поедать сообщества.
8. Концепция о том, что уничтожать других – это способ «решить проблему». Но это только путь к разрастанию конфликта. Это как дилемма заключённого. Если обе стороны решатся на мир, то обе выиграют, но если только одна, то более «добрая» проиграет. Иначе говоря, патологическая самоогранизация может происходить даже тогда, когда большинство против неё. Например, в начале гонки вооружений уже было понятно, что это такое, и прогноз её развития был опубликован. Однако не помешал самому процессу.
9. Экономический кризис, связанный с эффектом обратной связи между предсказаниями и поведением объекта наблюдения, которые делают этот объект абсолютно непредсказуемым - что имеет место при спекуляциях на рынке. (См. книгу Дж. Сороса о кризисе мирового капитализма.) Эта непредсказуемость заставляет тренды выходить на самые невероятные режимы работы, среди которых могут быть и катастрофические. Иначе говоря, тренды выискивают новые катастрофические режимы, чтобы их нельзя было предсказать. (Доказывается это так: если бы рынки были предсказуемы, каждый бы мог на них наживаться. Но все не могут получить прибыль от спекуляций, так как это игра с нулевой суммой. Следовательно, поведение рынков будет сложнее, чем системы предсказания их. Иначе говоря, это динамический хаос.) В военном противостоянии вести себя непредсказуемым образом тоже оказывается иногда более выгодным, чем вести себя наиболее эффективным образом, ибо эффективный путь легко просчитывается.
10. Другой вариант экономического структурного кризиса - бесконечное откладывание рецессии путём накачки экономики деньгами - может пройти точку необратимости, когда мягко выйти из этого невозможно. Это описывается в теории кредитных циклов Мински. Мински делит должников на три категории: добросовестных; на тех, кто может зарабатывать на выплату процентов, но не основной массы долга и поэтому вынуждены растягивать его навечно, и на тех, кто вынужден занимать новые кредиты, чтобы выплачивать по старым, что похоже на финансовую пирамиду (схема ponzi), (см. подробнее http://ie.boom.ru/Rozmainsky/fragilation.htm). Первый тип заёмщиков свободен, и может целиком выплатить долг. Второй тип заёмщиков вынужден выплачивать долг вечно и не может выйти из этого состояния. Третий тип вынужден непрерывно расширять свои операции и всё равно обанкротится в течение конечного промежутка времени. Мински показывает, что возникновение всех трёх типов заёмщиков и постепенное увеличение доли заёмщиков третьего типа является естественным процессом в капиталистической экономике периода бума. Современная экономика, во главе со своим локомотивом – США , находится где-то между вторым третьим типом. Объём разного вида долгов, созданных только внутри США имеет порядок 100 триллионов долларов (сюда входит 7 трлн государственного долга, 14 трлн. по ипотеке, долги населения за кредитные карты, образование, машины, долговые обязательства корпораций, а также обязательства правительства США по медобсулуживанию пенсионеров Medicare. При этом ВВП США – 13 трлн. долларов. Понятно, что все эти деньги нужно выплатить не завтра, а они размазаны по ближайшим 30 годам и между разными субъектами, которые сложным образом собираются использовать поступления по одним долгам для оплаты других.) Сам по себе долг не есть дьявол – он, скорее, описывает, кто, что и когда будет делать и получать. То есть это финансовая машина планирования будущего. Однако, когда она переходит на третий режим (схема ponzi), она вступает в механизм саморазрушения, которое тем сильнее, чем оно позже. Мнения о том, действительно ли мировая экономика развивается благодаря всемирной финансовой пирамиде, или нет, разнятся. Миллиардер Уоррен Баффет назвал дериваты (многоступенчатые долги) финансовым оружием массового поражения. Опасная тенденция состоит так же в том, что можно подумать, что эта системная проблема с долгами относится только к США как к стране: на самом деле, она относится ко всей мировой экономике. Ущерб от Великой депрессии 1929 года вдвое превышал ущерб США от Второй мировой войны и распространился, как вирус испанка 10 годами ранее, по всем континентам, ударив по Европе сильнее, чем по Штатам. Кризис 1929 года был крупнейшим системным кризисом вплоть до распада СССР. Основная его сложность была в том, что люди не понимали, что происходит. Почему, если есть люди, желающие работать, и есть голодные, требующие пищи – еда дешевеет, а никто её купить не может и фермеры разоряются? И они сжигали излишки еды – не потому, что они были злодеи или идиоты, а потому что они просто не понимали, как заставить систему работать. Надо отметить, что и сейчас есть разные точки зрения о причинах Великой Депрессии и особенно о том, какие меры были бы правильными и почему она, наконец, закончилась. Тотальное самоподдерживающееся непонимание является важной частью системного кризиса. Мински предлагает увеличить роль государства как заёмщика на крайний случай, чтобы уменьшить циклические колебания капиталистической экономики. И это уже сработало в кризисах 1975,1982 и начала 90-х. Но в этом есть новая опасность, называемая «моральный вред», состоящая в том, что банки, которые каждый раз выкупают, становятся всё более безрассудными в делании долгов, так как уверены, что их выкупят и на этот раз. Кроме того, их подводят статистические модели: чем дольше не было экономической депрессии, тем дольше её и не будет по статистическим моделям, тогда как по структурным моделям, чем дольше не было спада, тем большим он будет. Кредитный цикл Мински связан в первую очередь с излишним инвестированием, а закон Мура, как мы знаем, во много опирается на избыточное инвестирование в рамках «венчурного инвестирования». Поэтому спад мировой экономики нанесёт сильнейший удар по закону Мура.
11. Общая тенденция к нарастанию сложности человеческой цивилизации, которая создаёт возможность для быстроразвивающихся непредсказуемых коллапсов. (Подобно тому, как самолёт в Перу разбился, потому что персонал в аэропорту заклеил датчик скорости скотчем, и он выдал ошибку, а команда решила, что это сбой компьютера, и когда компьютер выдал сигнал о близости земли, ему не поверили и врезались в море.) Или ошибочного срабатывания систем оповещения о ядерном ударе. Если раньше основной причиной катастроф были «непреодолимые силы природы» (шторм, медведь), то к 20 веку они были вытеснены основной – человеческим фактором (то есть вполне конкретной ошибкой на стадии проектирования, настройки или управления). Однако к концу 20 века сложность технических и социальных сетей стала столь велика, что их сбои стали не локальными, а системными (по сценариям, обнаружение которых требовало невычислимой сложности). Примером тому является Чернобыльская катастрофа, где персонал следовал по букве инструкции, но таким образом, каким никто из составителей не ожидал и не мог предположить. В результате каждый действовал правильно, а в сумме система не сработала. То есть причиной катастрофы стала сверхсложность системы, а не конкретная ошибка конкретного человека.
12. Текущая ситуация в мире, с его основным противоречием между множеством вооружённых стран и единством мировой экономики.
13.Самовоспроизводящаяся дезорганизация (парад суверенитетов в истории СССР).
14.Самоподдерживающаяся моральная деградация (крах Римской империи).
15. Эффект домино (например, наркоман, который подсаживает других, чтобы достать деньги на новую дозу или эффект когда банкротство одного банка вызывает банкротство всех его кредиторов по цепочке)
16. «Естественный» отбор краткосрочных выгод вместо долгосрочных. (Маркс: более эффективные эксплуататоры вытесняют добрых.)
17. Тенденция к концентрации власти в руках одного человека. (Все революции кончали диктатурой.) То есть, встав однажды на путь авторитарного правления, диктатор вынужден идти на абсолютизацию своего режима, чтобы его не свергли.
18. Лавина реформ (Маккиавелли: малые изменения прокладывают путь к большим изменениям. Пример: эпоха Перестройки).
19. Кризис нарастающего неверия - нарастания лжи и информационного шума (выгода вместо достоверности, пиар вместо истины, шум вместо речи – кризис утраты доверия, когда чем больше некий человек не доверяет, тем больше врёт сам, зная, что от него ждут того же). Если критерий истины – эксперимент, а результат эксперимента – новая технология, а её ценность – это деньги, то постепенно промежуточные ступени опускаются.
20. Теория хаоса. Теория хаоса предполагает, что сложная система с большим количеством решающих факторов может двигаться по странному аттрактору – то есть по пути, в котором есть внезапные переходы на катастрофический режим. Выражением этой идеи является теория «нормальной аварии» (Perrow 1984), которая гласит, что невозможно создать абсолютно безаварийную систему, даже если нанять идеальных сотрудников, поставить абсолютно исправное оборудование и т. д. Нормальные аварии являются естественным свойством сложных систем, которые отвечают двум критериям: сложности устройства и степени взаимосвязанности частей.
21. Самоорганизованная критичность. Модель с кучей песка, на которой падают по одной песчинки и по которой сходят лавины, в результате чего устанавливается некоторый средний уровень наклона, является примером так называемой самоорганизованной критичности. Эту модель можно сопоставить с плотностью катастроф в какой-либо сфере человеческой деятельности. Если в ней происходит слишком много катастроф, то она привлекает больше внимания, и в эту область вкладывается больше ресурсов по обеспечению мер безопасности; в это время другие области недополучают внимание и в них риск возрастает. В результате мы получаем мир, в котором плотность катастроф распределена достаточно равномерно по всем видам деятельности. Однако математическое свойство систем с саморганизованнной критичностью состоит в том, что в них могут возникать лавины неограниченно большой величины. Самоорганизованная критичность возникает, когда концентрация неустойчивых элементов достигает некого порогового уровня, так, что он они начинают устанавливать связи друг с другом, и создавать свою собственную подсистему, пронизывающую исходную систему. Поскольку число сценариев и сценарных факторов, которые могут привести к глобальной катастрофе, огромно, и оно постоянно растёт, то шансы подобной самоорганизации возрастают.
Можно сказать и по-другому. Катастрофический процесс возникает, когда оказывюется исчерпанными собственные способности системы к сохранению гомеостаза. Однако сам катастрофический процесс, возникнув, тоже является своего рода системой и тоже обладает своим гомеостазом и устойчивостью, о чём хорошо пишет Переслегин применительно к теории военной операции. Это превращает катастрофический процесс в самоподдерживающееся явление, способное переходить с одного уровня на другой. Риск цепной реакции катастрофических явлений особенно возрастает от того, что есть люди – террористы, - которые тщательно выискивают разные скрытые уязвимости и хотят их применить.
22. Кризис, связанный со стремлением избавиться от кризисов. (Например, чем сильнее израильтяне хотят избавиться от палестинцев, тем сильнее палестинцы хотят уничтожить израильтян.) Особенность этого кризиса связана как раз с пониманием кризисности ситуации, в отличие от предыдущих кризисов.
Структурные кризисы малопонятны людям, ибо их ум заточен мыслить в категориях объектов и субъектов действий. И в силу этого, чем больше они думают о таком кризисе и пытаются справиться с ним, например, истребив одну из сторон конфликта, тем больше кризис разгорается. Структурные кризисы вызывают ощущение недоумения и поиски скрытого врага (который бы и стал тем объектом, который порождает кризис). Например, поэтому удобнее думать, что СССР развалило ЦРУ. Примерами системного кризиса в человеческом организме является старение и ожирение.
Далее, возможны более сложные структурные кризисы, которые мне пока не приходят в голову.
4.4. Кризис кризисов.
В современном мире присутствуют все названные виды кризисов, но в целом система держится стабильной, потому что силы эти тянут в разные стороны. (Например, авторитаризму свойственная тенденция к расколам – СССР и Китай, сунниты и шииты, Сталин и Троцкий – которая создаёт кризис типа трещины и уравновешивает однополярную кристаллизацию.) То есть отдельные процессы уравновешивают друг друга: авторитаризм – дезорганизацию итд. Кроме того, действует принцип гомеостаза в духе принципа Ле Шателье-Брауна.
Опасно, однако, если все эти отдельные кризисы самоогранизуются, то получится некий кризис кризисов. Системы стремятся удерживаться в равновесии, но при достаточно сильном точке переходят в равновесное состояние движения, иначе говоря, в систему процесса разрушения, которая тоже обладает своей устойчивостью. Это верно для армии, переходящей в наступление: до какого-то момента она вынуждена преодолевать сопротивление врага и собственной инерции, однако затем она входит в состояние наступление, которое обладает своей устойчивой структурой. Из обычной жизни пример: для того, чтобы выйти из дому, надо приложить иногда некое усилие, чтобы «раскачаться», однако когда процесс путешествия пошёл, он уже обладает собственной динамикой, инерцией и структурой.
В настоящий момент все кризисные проявления в человеческом развитии сорганизованы так, чтобы удерживать человечество в русле постепенного экономического, научно-технического и популяционного роста. В случае кризиса кризисов все те же факторы могут сорганизоваться так, чтобы непрерывно работать на уничтожение человеческой цивилизации.
Свойства кризиса кризисов: его невозможно понять, потому что, начав о нём думать, втягиваешься в него и усиливаешь его (так работает, скажем, арабо-израильский конфликт). И потому что его понимание не имеет никакой ценности, из-за плотного информационного шума. Потому что, на самом деле, он сложнее, чем может понять один человек, но имеет ряд очевидных неверных упрощённых пониманий. (Закон Мёрфи: любая сложная проблема имеет простое, очевидное и неверное решение.)
Элементами кризиса кризисов являются не события и взаимодействия в мире, а кризисы более низкого порядка, которые структурируются не без помощи человеческого ума. И особенно здесь играет роль понимание, что сейчас происходит кризис, которое ведёт к двум, по крайней мере, моделям – или к стремлению поскорее избавиться от кризиса, или к стремлению кризисом воспользоваться. Обе могут только усиливать кризис. Хотя бы, потому что у разных сторон – разные идеи о том, как закончить кризис и как получить выгоду от него.
Поскольку понимание кризиса отдельными игроками – часть кризиса, то этот кризис будет сложнее любого понимания его. Даже когда он закончиться, понимания того, что же с нами произошло – не будет. Именно поэтому так много разных мнений и дискуссий о том, что же произошло в 1941 году или «почему распался СССР».
Ещё одной метафорой кризиса кризисов является следующее рассуждение, которое я слышал применительно к финансовым рынкам. Есть большая разница между кризисом на рынке, и кризисом рынка. В первом случае наблюдаются резкие скачки цен и изменение торговой ситуации. Во втором – прекращается сама торговля. В этом смысле глобальная катастрофа не есть очередной кризис на пути развития, где новое побеждает старое. Она есть прекращение самого развития.
4.5. Технологическая Сингулярность.
Одно из глубоких наблюдений в духе «кризиса кризисов» изложено в статье А.Д.Панова «Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии». Рассматривая периодичность различных ключевых моментов с возникновения жизни на Земле, он обнаруживает закономерность, которая говорит о том, что плотность этих переходных эпох непрерывно возрастает по гиперболическому закону, а следовательно, имеет «сингулярную точку», в которой она обращается в бесконечность. Это означает, что происходит не просто очередной кризис, а кризис всей модели, которая описывает процесс эволюции от зарождения жизни до наших дней. И эта модель ничего не говорит о том, что будет после сингулярной точки.
Эта точка находится в районе 2027 года. Интересно, что несколько принципиально разных прогностических моделей указывают на окрестности 2030 года как на точку «Сингулярности», где их прогностические кривые обращаются в бесконечность. Очевидно, что глобальные риски группируются вокруг этой точки, так как она является классическим «режимом с обострением». Однако они могут произойти и гораздо раньше этой точки, поскольку будут кризисы и до неё.
В модели Панова каждый следующий кризис отделён от предыдущего промежутком времени, в 2,42 меньшем. Если последний кризис приходится на начало 1990-х, а предпоследний – на вторую мировую войну, то следующий кризис (момент выхода из него) по модели Панова будет в районе 2014 год, а после следующие – на 2022, 2025, 2026, а дальше их плотность будет непрерывно нарастать. Конечно, точные значения этих цифр неверны, но общая тенденция в этом есть. При этом последний кризис – распад старого и творение нового – был в начале 90-х годов и состоял в распаде СССР и возникновении Интернета.
Это значит, что в период с настоящего момента до 2014 года мы должны пережить ещё один кризис сопоставимого масштаба, то есть мы можем наблюдать его зарождение уже сейчас внутри пятилетнего горизонта предсказаний – однако этот кризис вовсе не будет той окончательной глобальной катастрофой, о которой мы говорим, и между ним и кризисом самой модели в 2020-е годы возможен «островок стабильности» в несколько лет.
Несколько независимых исследователей пришли к мысли о возможности технологической сингулярности в районе 2030 года, экстраполируя различные тенденции – от уровня миниатюризации устройств до мощностей компьютеров, необходимых, чтобы симулировать человеческий мозг. Сингулярность не отличается математически от режима с обострением, то есть катастрофы, и как завершение огромной исторической эпохи она, безусловно, будет катастрофой. Однако Сингулярность может быть позитивной, если она сохранит людей и значительно расширит их потенциал, и соответственно, негативной, если в результате этого процесса люди погибнут или лишатся того большого будущего, которое у них могло бы быть. С точки зрения нашего исследования мы будем считать позитивным любой исход Сингулярности, после которого люди продолжаю жить.
Наиболее быстрым, сложным и непредсказуемым процессом, который часто отождествляется с Технологичной Сингулярностью, является возникновение универсального, способного к самосовершенствованию ИИ и его гиперболический рост. (Можно показать, что само ускорение развития, которое имело место в прошлом, связано именно с ускорением и улучшением способов решение задач – от простого перебора, к половому отбору, появлению человека, языка, письменности, науки, компьютеров, венчурного инвестирования – каждый следующий шаг был шагом в развитии интеллекта и возможный в будущем самосовершенствующийся ИИ только продолжает эту тенденцию.)
В отношении Сингулярности можно сформулировать несколько кажущихся достоверными высказываний.
Во-первых, Сингулярность формирует абсолютный горизонт прогноза. Мы точно не можем сказать, что будет после Сингулярности, поскольку речь идёт о бесконечно сложном процессе. Более того, мы не можем сказать ничего ни о самом моменте Сингулярности, ни об определённом промежутке времени перед ней. Мы можем высказывать только определённые предположения о том, когда будет Сингулярность, однако и здесь есть большой разброс. На самом деле, ничего не мешает наступить Сингулярности прямо завтра в случае неожиданного прорыва в исследовании ИИ.
Во-вторых, с точки зрения наших современных воззрений, актуальная бесконечность не может быть достигнута. В силу этого абсолютная Сингулярность не достижима. Это можно интерпретировать так, что по мере приближения к Сингулярности в системе усиливаются различные колебательные процессы, которые разрушают её раньше достижения точки бесконечности. Если это так, то перед Сингулярностью плотность вероятности глобальных катастроф неограниченно возрастает. (Ср. с концепцией Малинецкого о увеличении частоты и амплитуды колебаний в системе перед катастрофой.)
В-третьих, к Сингулярности вся система подходит целиком. Это значит, что не следует ожидать того, что Сингулярность не затронет кого-либо, или что будет несколько разных Сингулярностей.
С точки зрения нашего исследования, важно отметить, что глобальная катастрофа – это не обязательно и есть сама Технологическая Сингулярность. Глобальная катастрофа может быть масштабным, но, в конечном счёте, простым процессом, вроде столкновения с астероидом. В глобальной катастрофе есть признаки режима с обострением, как например, резкое ускорение плотности событий в момент касания астероидом Земли (длится 1 секунду), но нет сверхинтеллекта, которые по определению не постижим.
Из сказанного следует, что если принять концепцию Технологической Сингулярности, то мы ничего не можем сделать, чтобы измерить или предотвратить риски после Сингулярности, но должны предотвращать их до неё (особенно в период повышенной уязвимости перед ней) и стремится к позитивной Сингулярности.
Подробнее о Технологической Сингулярности можно почитать в статьях и книгах: Вернор Виндж. «Технологическая Сингулярность».
(http://www.computerra.ru/Authors/2922/), Юдковски «Вглядываясь в Сингулярность», Дэвид Брин «Сингулярность и кошмары», Майкл Диринг «Рассвет Сингулярности».
4.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов.
Некоторые ресурсы могут не просто закончиться, но быть исчерпаны, так сказать, в минус. Например, сверхэксплуатация почв приводит к их быстро и полной эрозии. Этот вопрос исследовался Медоузом в его «Пределах роста». Исследуя математические модели, он показал, что перебор в потреблении некого ресурса приводит затем систему неизбежно на край гибели. Например, избыток хищников приводит к такому истощению числа жертв, что затем все жертвы до единой погибают, и сами хищники обречены на голод. Другой пример – когда загрязнение окружающей среды настолько велико, что помимо самого загрязнения поражает и способность среды к самовосстановлению.
Кредитный цикл Мински определённым образом относится не только к деньгам, но и к истощающему перепотреблению (то, что называется термином «overshoot») любого природного ресурса. При этом человечеству свойственно сверхисчерпывать любой ресурс, который ему стал доступен. В этом смысле не удивительно, что перепотребление многих ресурсов происходит практически одновременно – ведь перерасходование одного ресурса можно скрыть, расходуя другой. Например, исчерпание денег на выплату ипотеки можно скрыть, оплачивая её через кредитную карточку; точно также исчерпание на 30 процентов пригодных для сельского хозяйства земель со времени второй мировой войны можно скрыть, вкладывая больше ресурсов (то есть энергии) в культивацию оставшихся земель; или исчерпание водоносных горизонтов можно скрыть, затрачивая больше энергии на добычу воды из более глубоких горизонтов. Проблемы сверхисчерпания людям всякий раз удавалось преодолеть, совершив технологический скачок, как это было в неолитическую революцию. Однако это не всегда происходило плавно, то есть иногда решение находилось, только когда полномасштабный кризис уже разверзался. Например, неолитическая революция – переход от собирательства к оседлому сельскому хозяйству – произошла только после того, как население значительно сократилось в результате сверхисчерпания ресурсов в обществе охотников-собирателей.
В XXI веке нам угрожает одновременное исчерпание многих важных ресурсов вследствие уже сейчас происходящего перепотребления. Перечислим разные предположения об исчерпании, не обсуждая истинность или ложность каждого в отдельности. С экономической точки зрения окончательное исчерпание никакого ресурса невозможно, вопрос в том, сколько он будет стоить и хватит ли его на всех. В связи с этим выделяют не момент исчерпания, а момент максимума добычи (пик) и затем период быстрого спада производства ресурса.
Период спада может быть даже опаснее периода полного отсутствия, поскольку именно в этот момент развернётся отчаянная борьба за ресурс, то есть может начаться война.
Пик добычи рыбы – пройден в 1989 году
Исчерпания пригодных для земледелия земель
Пик производства пищи в целом
Пик нефти – возможно, в настоящий момент
Пик газа – позже, но более резкий спад после него.
Выведение из эксплуатации ядерных реакторов
Исчерпание питьевой воды и воды для орошения.
Исчерпания ряда цветных и редких металлов (к 2050 г.)
Ещё раз подчеркну, что в данной работе проблема исчерпания ресурсов рассматривается только с точки зрения того, может ли она привести к окончательному вымиранию человечества, и утверждается, что само по себе – не может, но только если запустит некий ещё более опасный процесс.
Интересно изучить следующий вопрос. Если финансовая система банкротится, то это означает, что у неё кончаются все источники денег, а если исчерпываются ресурсы технологической цивилизации, то это значит, что у неё одновременно заканчиваются все ресурсы, поскольку энергия выполняет функцию денег в технологической системе, и позволяет добывать любой ресурс, пока энергия есть (например, качать воду из глубинных пластов). Вопрос возникает, следует ли из этого эквивалентность денег и энергии, а значит, будет ли энергетический кризис также и финансовым, и наоборот? Думаю, что да. Грубо говоря, потому что реальные деньги означают возможность купить товары. Если же экономика перейдёт в дефицитный режим, то возможность приобрести что-нибудь ценное за деньги испарится.
4.7. Системный кризис и технологические риски.
Можно рассматривать системный кризис всего современного общества без учёта тех новых возможностей и опасностей, которые создают новые технологии. Тогда этот кризис будет описываться в терминах экономического, политического или экологического кризиса. Можно назвать такой кризис социально-экономическим системным кризисом. С другой стороны, можно рассматривать пространство возможностей, создаваемое появлением и взаимодействием друг с другом многих разных новых технологий. Например, исследовать, как повлияет прогресс в биотехнологиях на наши возможности по созданию ИИ и взаимодействию с ним. Можно назвать такой процесс технологическим системным событием. То и другое направление активно исследуются, однако так, как будто речь идёт о двух разных пространствах. Например, те, кто изучает и прогнозирует Peak Oil до 2030 год, совершенно не интересуются и даже не упоминают в своих исследованиях проблематику, связную с разработкой ИИ. И наоборот, те, кто уверен в разработке мощного ИИ к 2030 году, не упоминают тематику исчерпания нефти как незначительную. Очевидно, что интересно рассмотреть систему более высокого порядка, где социально-экономическая и технологическая системы являются только подсистемами – и в которой возможен кризис более высокого уровня.
4.8. Степень мотивации и осведомленности как факторы глобального риска.
Как справедливо подчёркивает А.Кононов, задача неуничтожимости должна осознаваться в качестве главнейшей любой цивилизацией, которая существует в катастрофически нестабильной вселенной. Точно так же, как у каждого человека на базовом уровне прошит инстинкт самосохранения. В целом, мы можем предположить, что чем больше осознание важности сохранения цивилизации на всех её уровнях от инженера до правителя, тем больше шансов у неё выжить. (Хотя возможен сценарий, когда стремление к выживанию приведёт к борьбе одних групп с другими или борьбе спасателей.)
Соответственно, то, как растёт осознанность и мотивация цивилизации в отношении её самосохранения, является мощнейшим фактором её выживания. В статье «О возможных причинах недооценки вероятности глобальных рисков» я рассматриваю список факторов, по которым люди могут неверно оценивать вероятность глобальных катастроф, чаще всего в сторону занижения. Однако не менее важно то, что, как в это не трудно поверить, люди могут не стремиться к предотвращению глобальных катастроф. Или, например, недостаточно стремиться. Скажем, Рейган считал приемлемым повысить риск в ядерной войны, чтобы достичь победы в холодной войне с СССР. Это значит, что цель выживания человеческой цивилизации была для него не первостепенной. И это обусловлено эволюционной психологии, поскольку альфа-самец достигает своего статуса вожака стаи, проявляя готовность рискнуть своей жизнью в схватках с другими альфа-самцами, и эта модель поведения закрепляется генетически, так как у победивших самцов больше детей, чем у погибших в процессе борьба за место вожака.
Итак, мы можем сказать, что способность цивилизации к выживанию в значительной сфере определяется двумя факторами – степенью её осведомленности о различных рисках, и степенью её мотивации в их предотвращении. При этом эти два фактора связаны, так как большая мотивация ведёт к более тщательным исследованиям, а важные исследования, проливающие свет на новые риски, могут усилить мотивацию. Всё же влияние мотивации представляется более первичным. Хотя теоретически все поддерживают предотвращение глобальных рисков, на практике эта цель находится на последнем месте, что видно по числу публикаций по теме и финансированию исследований. (Спросите своё правительство – готово ли оно вкладывать ресурсы в технологию, которая даст уменьшение глобальных рисков на 1 процент через 100 лет. Тем не менее это равносильно согласию на вымирание человечества через 10 000 лет. Вероятно, есть некий биологический механизм, в силу которого сохранение жизни детей и внуков очень важно, а жизни пра-пра-пра-правнуков – абсолютно неважно.)
Мы можем пытаться учесть эти два фактора как некие коэффициенты от их максимального значения. Если предположить в качестве максимальной степени мотивации усилия страны в войне, а в качестве меры реальной мотивации – долю финансирования лиц и организаций в США, занимающихся предотвращением глобальных рисков целом (порядка 1 млн. долларов в год в лучшем случае; при этом мы не рассматриваем узкоспециализированный программы, которые лучше финансируются, так как они не предполагают целостной защиты, учитывающей весь комплекс взаимосвязей в связи с глобальными рисками, например, антиастероидную программу) – то разница составит около 1 миллиона (предполагая, что США могли бы расходовать на войну около 1 триллиона долларов). При этом, однако, ситуация значительно улучшается – если в 2000 году не было ни одного человека, занимающегося исследованием и предотвращением глобальных рисков на постоянно оплачиваемой основе, то теперь такие должности есть в США и Великобритании. Всё же, несмотря на то, что ситуация улучшается, она выглядит чудовищно запущенной.
Осведомленность следовало бы измерять как долю полной осведомленности, какая бы могла быть только у некой сверхцивилизации. Под осведомленностью я имею в виду наличие общепризнанного, строго доказанного и широко известного описания проблемы глобальных рисков. Поэтому, даже если бы эта книга содержала такое описание, то она не давала бы полной осведомленности, поскольку очевидно, что подавляющее большинство людей не читали её, а большинство тех, кто читали, имеют те или иные возражения. Итак, если мы скажем, что наша осведомленность составляет тысячную долю от максимально возможной осведомленности, это будет очень оптимистическая оценка. При этом я имею в виду максимально достижимую возможную осведомленность на данном технологическом уровне, а не абсолютную осведомленность мага, который предвидит будущее.
Даже максимальная мотивация и абсолютная осведомленность не дают 100 процентных шансов выживания, поскольку возможны катастрофы, связанные с необоримыми природными силами или непредсказуемыми вероятностными процессами в духе теории хаоса. Осведомленность и мотивация не позволяет людям жить вечно. Общую