Переводы с других ресурсов

В этом разделе собраны интересные статьи, которые мы считаем относящимися к тематике LessWrong, но которые были опубликованы не на сайте lesswrong.com.

Интересные статьи, переводы которых выложены на других ресурсах:

Статьи Элиезера Юдковского

Когнитивные искажения, влияющие на оценку глобальных рисков

Элиезер Юдковский

Статья вышла в 2008 году в сборнике «Риски глобальной катастрофы» под редакцией Ника Бострома и Милана Цирковича, Оксфорд.

Благодарности автора: Я благодарю Майкла Роя Эймса (Michael Roy Ames), Ника Бострома (Nick Bostrom), Милана Чирковича (Milan Cirkovic), Оли Лэмб (Olie Lamb), Тамаса Мартинеса (Tamas Martinec), Робина Ли Пауэла (Robin Lee Powell), Кристиана Ровнера (Christian Rovner) и Майкла Уилсона (Michael Wilson) за их комментарии, предложения и критику. Нет необходимости говорить, что все оставшиеся ошибки в этой работе — мои.

Введение

При всех прочих равных, мало кто из людей хотел бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные ученые и прочие опасные люди нуждаются в окружающем мире, чтобы достигать в нем своих целей, таких как нажива, власть, собственность или другие малоприятные вещи. Если гибель человечества будет происходить настолько медленно, что успеет произойти ужасное осознание этого процесса, то деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если Земля будет все-таки уничтожена, то произойдет это, вероятно, по ошибке.

Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях и того, что эти ошибки говорят о предшествующих им ментальных процессах, изучается в когнитивной психологии в рамках исследований эвристики и предубеждений. Эти исследования привели к открытиям, очень существенным для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках, связанных с неким взрывчатым веществом Р, способным разрушить всю планету, если оно подвергнется достаточно сильному радиосигналу. К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил тридцать лет, работая с ней, и знает ее лучше, чем любой другой на Земле. Вы звоните эксперту и спрашиваете, насколько сильным должен быть радиосигнал, чтобы вещество взорвалось. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4000 тераватт. «Вероятно?» — Спрашиваете вы. «Можете ли вы мне сообщить интервал мощности запускающего сигнала с 98-ми процентной уверенностью?» — «Конечно, — отвечает эксперт. — Я на 99 % уверен, что критический порог больше 500 тераватт, и на 99 % уверен, что он меньше 80000 тераватт». «А как насчет 10 тераватт?» — спрашиваете вы. «Невозможно», — отвечает эксперт.

Приведенная выше методология опроса эксперта выглядит совершенно резонной, такой, какую должен использовать любой компетентный работник, сталкиваясь с подобной проблемой. И в действительности, эта методология была использована при исследовании безопасности реакторов [Rasmussen, 1975], ныне считающемся первой значительной попыткой вероятностной оценки рисков. Но исследователь моделей рассуждений и погрешностей в рассуждениях может распознать, по крайней мере, два больших недостатка в этом методе, — не просто логически слабых места, а пару обстоятельств, чрезвычайно уязвимых к человеческой ошибке.

Исследования эвристики и когнитивных искажений открыли результаты, которые могут напугать и привести в уныние неподготовленного ученого. Некоторые читатели, впервые сталкивающиеся с экспериментальными результатами, цитируемыми здесь, могут удивиться и спросить: «Это действительно экспериментальные результаты? Действительно ли люди так плохо предсказывают? Может быть, эксперименты были плохо организованы, и результаты изменятся, если совершить такие-то и такие-то манипуляции?» Не имея достаточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные изменения условий опытов уже применялись, и результаты от этого не становились другими.

Доступность информации

Предположим, вы возьмете случайное слово из трех или более букв из английского текста. Что более вероятно: что слово начинается с буквы R (rope), или что его третья буква R (park)? Основная идея исследований когнитивных искажений (euristic and biases program) состоит в том, что люди используют методы мышления, называемые эвристикой, которые дают хорошие приблизительные ответы в большинстве случаев, но которые также приводят к увеличению системных ошибок, называемых когнитивными искажениями (bias). Примером эвристики является суждение о частоте или вероятности события по его информационной доступности (availability), то есть по легкости, с которой примеры подобного события приходят на ум. «R» появляется в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на эту букву. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. [Tversky and Kahneman, 1973.]

Когнитивные искажения, основанные на эвристике доступности, влияют на оценки риска. Пионерское исследование Лихтенштейна [Lichtenstein, 1978] описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причиняют большее число смертей, и какие – меньшее. Однако, когда их просят посчитать риски точнее, они весьма переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных. Другие повторяющиеся ошибки, выявленные в этом исследовании, также были очевидными: аварии считались причинами такого же количества смертей, что и болезни (на самом деле болезни в 16 раз чаще становятся причинами смертей, чем аварии). Убийство неверно считалось более частой причиной смерти, чем диабет или рак желудка. В исследовании Комбса и Словица [Combs and Slovic, 1979] был проведен подсчет сообщений о смерти в двух газетах, в результате была обнаружена высокая корреляция между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).

Также люди отказываются покупать страховку от наводнений, даже если она хорошо субсидируется и стоит гораздо ниже справедливой рыночной цены. Канрейсер [Kunreuther,1993] предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивида представить себе наводнение, которое на их глазах никогда не случалось. Жители затапливаемых равнин оказываются в плену своего опыта. По-видимому, люди не могут всерьез беспокоиться о возможности потерь и разрушений больших, чем пережитые во время последних наводнений. Бертон [Burton, 1978] сообщает, что после строительства дамб и насыпей наводнения происходят реже, что, видимо, создает фальшивое чувство безопасности, ведущее к снижению мер предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения все-таки происходящего настолько возрастает, что среднегодовой ущерб увеличивается.

Кажется, что люди не экстраполируют опыт пережитых малых опасностей на возможности более серьезных рисков; наоборот, прошлый опыт малых опасностей устанавливает верхнюю границу ожиданий максимально возможного риска. Общество, хорошо защищенное от малых опасностей, не будет предпринимать никаких действий по отношению к большим рискам. Например, часто ведется строительство на затапливаемых равнинах после того, как регулярные малые наводнения устранены. Общество, подверженное регулярным малым опасностям, будет считать эти малые опасности в качестве верхней границы возможных рисков (защищаясь от регулярных малых наводнений, но не от неожиданных больших).

Аналогично, риск человеческого вымирания может быть недооценен, поскольку, очевидно, человечество никогда не сталкивалось с этим событием.

Когнитивные искажения, связанные со знанием «задним числом»

Когнитивные искажения, связанные со знанием «задним числом», происходят, когда испытуемый, узнав окончательный итог событий, дает гораздо большую оценку предсказуемости именно этого итога, чем испытуемые, которые предсказывают итог без знания результата. Эта ошибка иногда называется «я-все-это-время-чувствовал-что-так-оно-и-есть».

Фишхофф и Бейт [Fischhoff и Beyth, 1975] представили студентам исторические отчеты о малоизвестных событиях, таких, как конфликт между гуркхами и англичанами в 1814 году. Пять групп студентов, получивших эту информацию, были опрошены в отношении того, как бы они оценили степень вероятности каждого из четырех исходов: победа англичан, победа гуркхов, патовая ситуация с мирным соглашением или пат без соглашения. Каждое из этих событий было описано как реальный итог ситуации одной из четырех экспериментальных групп. Пятой, контрольной группе о реальном исходе не говорили ничего. Каждая экспериментальная группа приписала сообщенному ей итогу гораздо большую вероятность, чем любая другая или контрольная группа.

Эффект знания «задним числом» важен в суде, где судья или присяжные должны определить, виновен ли обвиняемый в преступной халатности, не предвидев опасность. [Sanchiro, 2003]. В эксперименте, основанном на реальном деле, Камин и Рахлинский [Kamin and Rachlinski, 1995] попросили две группы оценить вероятность ущерба от наводнения, причиненного закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда власти решили не нанимать мостового смотрителя. Экспериментальной группе была дана эта же информация плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % опрашиваемых из контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57 % экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и также ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56 % респондентов этой группы заключили, что город был преступно халатен. Отсюда видно, что судьи не могут просто инструктировать присяжных, чтобы те избежали эффекта знания задним числом: Меры против предвзятости (debiasing manipulation) не работают.

Рассматривая историю сквозь линзы нашего последующего знания, мы сильно недооцениваем затраты на предотвращения катастрофы. Так, в 1986 году космический челнок Челленджер взорвался по причине того, что кольцевой уплотнитель потерял гибкость при низкой температуре [Rogers, 1986]. Были предупреждающие сигналы о проблемах, связанных с кольцевым уплотнителем. Но предотвращение катастрофы Челленджера должно было потребовать не только внимания к проблемам с кольцевым уплотнителем, но и озабоченности каждым аналогичным предупреждающим сигналом, который бы казался столь же серьезным, как проблема уплотнителей, без преимущества последующего знания.

Черные лебеди

Талеб [Taleb, 2005] предположил, что ошибки последующего знания и доступности несут первостепенную ответственность за нашу неспособность защититься от того, что Талеб назвал Черными Лебедями. «Черные лебеди» являются особенно серьезным аспектом проблемы мощных последствий: иногда большая часть вариативности процесса происходит из исключительно редких, но исключительно масштабных событий. Представьте себе финансовый инструмент, который зарабатывает 10 долларов с 98% вероятностью, но теряет 1000 долларов с 2% вероятностью. В конечном счете, расход перевешивает доход, но инструмент выглядит как устойчиво выигрышный. Талеб (2001) приводит пример трейдера, чья стратегия работала 6 лет без единого убыточного квартала, принеся около 80 миллионов долларов — и затем он потерял 300 миллионов долларов в одной катастрофе.

Другим примером является Long-Term Capital Management, инвестиционный фонд, в состав основателей которого входили два Нобелевских лауреата по экономике. В течение Азиатского кризиса и российского дефолта 1998 года рынки вели себя совершенно беспрецедентным образом, имевшим пренебрежимо малую вероятность по исторической модели, использованной LTCM. В результате LTCM начал терять по 100 миллионов долларов в день, день за днем. За один день в 1998 году он потерял более 500 миллионов долларов [Taleb, 2005]

Основатели LTCM позже назвали рыночные условия 1998 года очень маловероятным событием с вероятным отклонением в десять сигма. Но очевидно, что это событие, раз оно случилось, не было столь невероятным. Ошибочно веря, что прошлое предсказуемо, люди пришли к выводу, что будущее тоже предсказуемо. Как пишет Фишхофф [Fischhoff, 1982]:

«Когда мы пытаемся понять события прошлого, мы косвенным образом проверяем гипотезы и правила, применяемые нами, чтобы интерпретировать и воспринимать мир вокруг нас. Если, благодаря последующему знанию, мы систематически недооцениваем сюрпризы, которые могли быть в прошлом, мы подвергаем эти гипотезы ненадлежаще слабым тестам и, вероятно, не находим никаких оснований для их изменений».

Урок истории состоит в том, что такие неприятности, как «черные лебеди», случаются. Люди удивляются катастрофам, которых они не ожидали, которые лежат за пределами известных им исторически вероятных распределений. Но почему мы бываем так ошеломлены, когда «черные лебеди» случаются? Почему LTCM занял 125 миллиардов долларов под 4,72 миллиарда долларов собственности, практически гарантируя, что любая крупная неприятность их обанкротит?

По причине ошибки из-за последующего знания, мы выучиваем очень специфические уроки. После 11 сентября американское управление авиации запретило использование ножей для разрезания бумаги на самолетах. В ретроспективе это событие выглядит слишком предсказуемым, позволяя разъяренным жертвам считать случившееся результатом халатности — такой, как неспособность разведывательных агентств различить предупреждения об активности Аль-Каиды среди тысяч других предупреждений. Мы научились не позволять захваченным самолетам летать над нашими городами. Но мы не выучили урок: «черные лебеди» случаются. Делай, что можешь, чтобы приготовиться к неожиданному».

Талеб [Taleb, 2005] пишет:

«Трудно мотивировать людей к предотвращению «черных лебедей»… Защита с трудом воспринимается, измеряется и вознаграждается; это обычно незаметный и неблагодарный труд. Представьте себе, что некая дорогостоящая мера была предпринята, чтобы предотвратить такое явление. Легко вычислить стоимость этих мер, тогда как результат трудно измерим. Как мы можем говорить об эффективности, когда есть два альтернативных варианта объяснения: или принятые меры были эффективны, или просто ничего существенного не случилось. Оценка качества работы в таких случаях не просто сложна, но искажена наблюдением «актов героизма»… В исторических книгах не пишут о героических превентивных мерах».

Ошибочное включение лишнего элемента

Линде 31 год, она незамужняя, искренняя и оптимистичная девушка. В колледже она специализировалась на философии. Как студентка, она была глубоко озабочена проблемами дискриминации и социальной справедливости, а также участвовала в антиядерных демонстрациях.

Расположите следующие утверждения в порядке уменьшения их вероятности.

  1. Линда — учитель в начальной школе
  2. Линда работает в книжном магазине и занимается йогой
  3. Линда — активистка феминистского движения
  4. Линда — социальный работник в области психиатрии
  5. Линда — член общества женщин, имеющих право голоса
  6. Линда — кассир в банке
  7. Линда — страховой агент
  8. Линда — кассир в банке и активистка феминистского движения

89 % из 88 студентов посчитали пункт 8 более вероятным, чем пункт 6 [Tversky и Kahneman, 1982]. Поскольку выбранное описание Линды похоже на описание феминистки, а не банковского кассира, п.8 в большей мере характерен для описания Линды. Однако, считая п.8 более вероятным, чем п.6, мы нарушаем закон суммирования вероятностей, который утверждает, что P(A & B) ≤ P(A). Представьте себе выборку из 1000 женщин. Наверняка в этой выборке больше женщин — банковских кассиров, чем женщин-феминисток и одновременно банковских кассиров. Может быть, ошибочное включение лишнего элемента связана с тем, что участники воспринимали экспериментальные инструкции неправильно? Например, они могли понять под «вероятностью» вероятность того, что женщина, для которой верны утверждения 6 и 8, соответствует приведенному выше описанию Линды, а не вероятность утверждений 6 и 8 в отношении Линды? Или, возможно, они интерпретировали 6 как означающее «Линда — кассир и не феминистская активистка»? И, хотя, чтобы объяснить склонность к этой логической ошибке, было предложено много интересных альтернативных гипотез, она пережила все экспериментальные попытки ее опровержения (см. обзор [Sides, 2002].) Например, следующий эксперимент исключает обе альтернативные гипотезы, предложенные выше. Представьте себе правильный 6-сторонний кубик с четырьмя зелеными сторонами и двумя красными. Кубик будет брошен 20 раз и последовательность выпадения зеленых (G) и красных (R) сторон будет записана. Испытуемый должен выбрать одну последовательность из трех предложенных, и он выиграет 25 $, если выбранная им последовательность выпадет в серии бросков кубика. Вот эти три последовательности, надо выбрать одну из них.

  1. RGRRR
  2. GRGRRR
  3. GRRRRR

125 студентов в Стэнфордском университете играли в эту игру с реальными ставками. 65 % из них выбрали последовательность 2. [Tversky и Kahneman, 1982]. Последовательность 2 наиболее типична для игральной кости, поскольку кость большей частью зеленая и последовательность 2 содержит наибольшую пропорцию зеленых сторон. Однако, последовательность 1 превосходит последовательность 2, поскольку полностью входит в нее. Чтобы получилось 2, у вас должна выпасть последовательность 1 и зеленая грань кости перед ней.

В приведенной выше задаче студенты могли вычислить точные вероятности каждого события. Однако вместо того, чтобы тратить время на арифметические вычисления, 65 % студентов, по-видимому, полагались на интуицию, исходя из того, что казалось более типичным для игральной кости. Когда мы называем это умозаключением по типичности, мы не настаиваем на том, что студенты специально решили, что они будут оценивать вероятность, исходя из типичности. Скорее, умозаключение по типичности является как раз тем, что создает интуитивное чувство, будто последовательность 2 более вероятна, чем последовательность 1. Другими словами, умозаключение по типичности является встроенной характеристикой мозга, предназначенной, чтобы давать быстрые достоверные суждения, а не сознательно выбранной процедурой. Мы не осознаем подмены суждением о типичности суждения о достоверности. Ошибочное включение лишнего элемента подобным же образом происходят в футурологических прогнозах. Две независимых группы профессиональных аналитиков на Втором международном конгрессе по предвидению будущего были опрошены, соответственно, о вероятности «полного разрыва дипломатических отношений между СССР и США в 1983 году» и «русского вторжения в Польшу, и последующего полного разрыва дипломатических отношений между СССР и США в 1983 году». Вторая группа аналитиков сообщила о значительно более высокой вероятности. [Tversky и Kahneman, 1982].

В исследовании Джонсона [Johnson, 1993], группа студентов MBA из Уортона должна была отправиться в Бангкок в качестве части своей образовательной программы. Несколько подгрупп студентов было опрошено на тему, как много они готовы заплатить за антитеррористическую страховку. Первой группе был задан вопрос, сколько она готова заплатить за антитеррористическую страховку, покрывающую перелет из Таиланда в США. Вторую группу студентов спросили, сколько она готова заплатить за страховку, покрывающую перелет туда-обратно. А третью — о страховке, которая бы покрывала все путешествие. Эти три группы оказались в среднем готовы заплатить 17,19, 13,90, и 7,44 долларов соответственно.

С точки зрения теории вероятностей, добавление дополнительной детали к истории делает ее менее вероятной. Менее вероятно, что Линда является кассиром-феминисткой, чем просто кассиром, поскольку все кассиры-феминистки по определению являются кассирами. Но с точки зрения человеческой психологии добавление каждой новой детали делает историю все более достоверной.

Люди могут предпочесть заплатить больше за международную дипломатию, направленную на предотвращение нанотехнологической войны с Китаем, чем за инженерный проект, предназначенный, чтобы защитить от нанотехнологической атаки с любой возможной стороны. Второй сценарий предотвращения выглядит менее зрелищным и побуждающим, но универсальная технологическая защита будет более полезной по причине своей многосторонности. Более ценными выглядят стратегии, которые уменьшают вероятности истребления человечества без жесткой зацикленности только на нанотехнологических угрозах — такие, как колонизация космического пространства или искусственный интеллект (см. работы автора на эту тему). Брюс Шнейер заметил что правительство Соединенных Штатов (и до, и после урагана 2005 года в Новом орлеане), защищало отдельные объекты на территории страны от террористических угроз в стиле киносценариев ценой отвлечения ресурсов из средств гражданской обороны, которые могли бы быть использованы в любой ситуации [Schneier, 2005]. Сверхдетальные заверения также могут создать ложное ощущение безопасности: «Х не является риском существованию, и вы не должны заботиться о нем, потому что верны утверждения A, B, C, D, и E». В то время как ошибка в любом из предположений является потенциально гибельной для человеческого рода. «Мы не должны беспокоиться о нанотехнологической войне, потому что комиссия ООН в начале разовьет эту технологию и предотвратит ее распространение до тех пор, пока не будет разработана активная защита, способная защитить от всех случайных или злонамеренных проявлений, которые современная нанотехнология способна породить, и это условие будет выполняться всегда». Яркие, четко определенные сценарии могут увеличить нашу вероятностную оценку безопасности, равно как и неправильно направить инвестиции в безопасность с учетом излишне суженных или невероятно детализированных сценариев рисков.

В целом, людям свойственно переоценивать вероятность совпадений всех событий в серии и недооценивать вероятность хотя бы одного события из серии. [Tversky и Kahneman, 1982]. То есть, людям свойственно переоценивать вероятность того, что, например, семь событий, с вероятностью 90 % каждое, все вместе совпадут. Наоборот, людям свойственно недооценивать вероятность того, что хотя бы одно событие из семи, имеющих каждое вероятность 10 %, все-таки случится. Некто, оценивающий, стоит ли, например, открыть новую компанию, должен вычислить вероятность того, что множество отдельных событий произойдет одновременно нужным образом (что будет достаточное финансирование, компетентные рабочие, покупатели будут хотеть купить товар), учитывая также вероятность того, что, по крайней мере, одна критическая неприятность случится (банк откажется дать ссуду, главный проект закончится неудачей, ведущий ученый проекта умрет). Это может объяснить, почему только 44 % предприятий выживают в течение первых четырех лет. [Knaup, 2005.]

Адвокаты в своих речах предпочитают избегать выводов, основанных на истинности, по крайней мере, одной из нескольких посылок («либо одно, либо другое, либо третье должно было случится и каждый из этих вариантов приводит к одному и тому же выводу»), в пользу выводов, основанных на совпадении сразу нескольких посылок. Однако с рациональной точки зрения первые случаи гораздо более вероятны, чем вторые. Вымирание человечества в следующем столетии может произойти в результате хотя бы одной из многих причин. Оно может случиться по причине любого глобального риска, обсужденного в статье Бострома «Угрозы существованию», или по какой-нибудь другой причине, которую никто из нас не предвидел. Даже для футурологов описания в духе «или то, или другое, или третье» неудобны, и пророчества, с помощью них сформулированные, звучат непоэтично.

Ошибочность рассуждений, вызванная эффектом подтверждения

В 1960 году Питер Уосон (Peter Wason) провел ныне классический эксперимент, известный как задача «2-4-6» [Wason, 1960.] Испытуемые должны были определить правило, известное экспериментатору, но не самому испытуемому — так, как оно бывает при научном исследовании. Испытуемые писали три числа, таких как «2-4-6» или «10-12-14» на карточках, и экспериментатор говорил, соответствуют ли данные три числа правилу или нет. Изначально испытуемым была выдана тройка чисел 2-4-6 и сказано, что она соответствует правилу. Испытуемые могли продолжать испытывать тройки до тех пор, пока они не чувствовали себя уверенными, что знают правило экспериментатора, и тогда испытуемым объявляли правило.

Хотя участники обычно выражали высокую уверенность в своих догадках, только 21 % из них в этом эксперименте правильно угадали правило, и при повторениях эксперимента уровень успеха обычно составлял 20 %. Вопреки совету Карла Поппера, испытуемые в эксперименте Уосона пытались подтвердить свои гипотезы, а не опровергнуть. Таким образом, те, кто сформулировали гипотезу «Числа увеличиваются каждый раз на два», проверяли тройки 8-10-12 или 20-22-24, слышали, что они подходят, и уверенно объявляли правило. Во всех случаях подлинное правило было одно и то же: три номера должны следовать один за другим по возрастающей. В некоторых случаях испытуемые выдумывали, «тестировали» и объявляли правила, гораздо более сложные, чем действительное.

Задача Уосона «2-4-6» является «прохладной» формой интеллектуальной ошибки, связанной с подтверждением: люди предпочитают подтверждающие, а не опровергающие свидетельства. «Прохладный» означает, что задача «2-4-6» является эмоционально нейтральным случаем интеллектуальной ошибки подтверждения: вывод подтверждается логикой, а не эмоциями. «Горячий» случай имеет место, когда вера эмоционально заряжена, например, в случае политических рассуждений. Неудивительно, что «горячая» ошибочность сильнее — больше по размаху и более устойчивая к изменениям. Активная, полная усилий склонность к подтверждению обычно называется мотивированным мышлением (motivated cognition) (обычно известным как «рационализация»). Как отмечает Бреннер [Brenner, 2002] в «Заметках к теории одобрения»:

«Очевидно, что во многих обстоятельствах желание уверенности в гипотезе может заметно повлиять на воспринимаемую степень ее подтверждения… Кунда [Kunda, 1990] обсуждает, как люди, нацеленные на то, чтобы достичь определенных выводов, пытаются сконструировать (в ошибочной манере) убедительный случай для своей любимой гипотезы, который мог бы убедить беспристрастную аудиторию. Гилович [Gilovich, 2000] предполагает, что выводы, в которые человек не хочет верить, рассматриваются гораздо требовательнее, чем те, в которые он хочет верить. В первом случае человек требует, чтобы свидетельство с необходимостью вело к данному выводу, а во втором — спрашивает, позволяет ли некоторое свидетельство прийти к данному выводу».

Когда люди подвергают те свидетельства, которые противоречат их точке зрения, более пристрастному анализу, чем те, которые ее подтверждают, это называется мотивированный скептицизм или когнитивное искажение несогласия (disconfirmation bias). Ошибка несогласия особенно деструктивна по двум причинам: во-первых, два подверженных этой ошибке спорщика, рассматривая один и тот же поток свидетельств, могут изменить свою веру в противоположных направлениях — обе стороны выборочно принимают только привлекательные для них свидетельства. Накопление большего числа свидетельств не приведет этих спорщиков к согласию. Во-вторых, люди, которые являются более опытными скептиками, – то есть которые знают больший набор типичных логических нестыковок, но применяют этот навык избирательно, – склонны изменять свою точку зрения гораздо медленнее, чем неопытные спорщики.

Тэйбер и Лодж [Taber and Lodge, 2000] исследовали изначальное отношение к теме ношения огнестрельного оружия и изменение его у студентов, под воздействием прочтения политической литературы за и против контроля и выдачи разрешений на оружие. Это исследование проверило шесть следующих гипотез в двух экспериментах:

  1. Эффект предшествующего отношения. Испытуемые, имевшие изначальную точку зрения на проблему — даже когда их поощряли в том, чтобы они были объективными — находили поддерживающие аргументы более охотно, чем опровергающие.
  2. Систематическая ошибка опровержения. Испытуемые тратили больше времени и умственных усилий, стараясь отклонить опровергающие аргументы, чем поддерживающие аргументы.
  3. Систематическая ошибка подтверждения. Испытуемые, свободные выбирать источники информации, скорее искали подтверждающие, чем опровергающие источники.
  4. Поляризация отношения. Предъявление испытуемым очевидно уравновешенного набора аргументов за и против приводило к увеличению изначальной поляризации их мнений.
  5. Эффект силы мнения. Испытуемые, имеющие более ярко выраженное мнение, были более подвержены вышеназванным склонностям к ошибке.
  6. Эффект усложнения. Более искушенные в политике испытуемые, по причине обладания более тяжелым вооружением для опровержения противных фактов и доводов, были более подвержены вышеприведенным систематическим ошибкам.

Забавно, что эксперименты Тэйбера и Лоджа (Taber and Lodge) подтвердили все шесть изначальных гипотез авторов. Вы можете сказать: «Вероятно, эти эксперименты только отражают убеждения, на которые опирались их авторы, и это как раз пример систематической ошибки подтверждения». Если так, то, сделав вас более опытным спорщиком, а именно, научив вас еще одной систематической ошибке, в которой можно обвинить людей, я, в действительности, навредил вам: я ослабил вашу реакцию на новую информацию. Я дал вам еще один шанс всякий раз терпеть неудачу, когда вы сталкиваетесь с возможностью изменить свой стиль мышления. Эвристика и когнитивные искажения широко распространены в человеческих размышлениях. Знание о них позволяет нам замечать большое разнообразие логических ошибок, которые, в противном случае, были бы недоступны для нашего наблюдения. Но, как и любая способность обнаруживать ошибки в рассуждениях, это знание должно применяться как к нашим собственным идеям, так и к идеям других; к идеям, которые нам нравятся, и которые нам не нравятся. Знание человеческой склонности ошибаться — это опасное знание, если вы напоминаете себе об ошибочности тех, кто не согласен с вами. Если я избирателен в отношении тех аргументов, которые я исследую на предмет ошибок, или даже того, насколько глубоко я исследую эти ошибки, тогда каждый новый закон логики, каждая новая логическая несообразность, которую я научаюсь обнаруживать, делает меня глупее. Ум, чтобы быть полезным, должен быть использован не для того, чтобы дурачить самого себя.

Нельзя рационализировать то, что не рационально с самого начала — как если ложь назвать «правдизацией». Нельзя сделать утверждение более истинным посредством взяточничества, лести или даже страстной аргументации — можно заставить больше людей верить в утверждение, но нельзя сделать его вернее. Для того, чтобы сделать наши убеждения более истинными, мы должны изменить сами эти убеждения. Не каждое изменение — это улучшение, но каждое улучшение — это изменение по определению.

Наши убеждения гораздо менее гибкие, чем мы привыкли думать. Гриффин и Тверский [Griffin and Tversky, 1992] аккуратно опросили каждого из двадцати четырёх сотрудников, которые оказались в ситуации выбора из двух предложенных вакансий и попросили их оценить, с какой вероятностью они примут то или иное предложение. Средняя вероятность выбора, высказанная в отношении более привлекательного предложения, составила умеренные 66%. Но только один из 24 опрошенных выбрал в конечном счёте вариант, которому он приписал в начале более низкую вероятность, доведя таким образом точность до 96%. (Это — один из немногих известных примеров, когда имеет место не «сверх-уверенность», а «недо-уверенность».)

Мораль в том, что как только вы начинаете догадываться, каков будет ваш ответ, как только вы приписываете большую вероятность тому, что вы ответите так, а не иначе, вы, на самом деле, уже решили. И если вы будете честны с самим собой, вы должны признать, что обычно вы догадываетесь об окончательном ответе через секунды после того, как услышите вопрос. Мы меняем наши мнения гораздо реже, чем мы думаем. Насколько скоротечен этот короткий незаметный момент, когда мы даже не можем догадаться, каков будет наш ответ, малюсенькое хрупкое мгновение, которое нам отведено, чтобы на самом деле подумать — как в вопросах выбора, так и в вопросах установления фактов.

Шенкель (Shenkel) говорил: «Нет необходимости в вере, пока ситуация может быть легко рассмотрена тем или другим образом».

Норман Майер (Norman R. F. Maier): «Не предлагайте решения до тех пор, пока проблема не будет исследована так тщательно, как это только возможно».

Робин Доуз (Robyn Dawes), комментируя Майера, писал: «Я часто предлагал это правило группам, которые я вел, в частности, когда они сталкивались с особенно трудной проблемой. Это – типичная ситуация, когда члены группы особенно склонны предлагать мгновенные решения».

В компьютерной безопасности «система, которой доверяют» (trusted system) — это та, которой вы на самом деле доверяете, а не та, которая достойна доверия. «Система, которой доверяют» — это система, которая, будучи скомпрометированной, способна вызвать ошибку. Когда вы читаете статью, утверждающую, что глобальная катастрофа невозможна, или имеет определенную годовую вероятность, или может быть преодолена с использованием определенной стратегии — вы доверяете рациональности авторов. Вы доверяете способности авторов переходить от удобных выводов к неудобным, даже в случае отсутствия сногсшибательных экспериментальных свидетельств, опровергающих любимую гипотезу. Вы доверяете авторам в том, что они не искали немного более интенсивно ошибки в тех уравнениях, которые указывали на неверный, с их точки зрения, путь, до того, как к вам попал окончательный вариант статьи.

И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если становится нормой политики де-факто, что ни одно возможное вычисление не может перевесить груз однажды высказанного предположения, то тогда ни один ученый не рискнет больше высказывать предположения. Я не знаю, как решить эту проблему. Но я думаю, что тем, кто оценивает глобальные риски, следует иметь общие представления о человеческих моделях рассуждений и когнитивных искажениях, и об ошибке неподтверждения в частности.

Якорение, настройка и наложение

Экспериментатор крутит у вас на глазах рулетку, и она указывает на некое число, в первом случае, на 65, а во втором — на 15. Экспериментатор затем спрашивает вас, больше или меньше процент африканских стран в ООН этого числа. Затем экспериментатор спрашивает вас о вашей оценке процента африканских стран в ООН. Тверский и Канеман [Tversky и Kahneman, 1974] продемонстрировали, что испытуемые, которых вначале попросили оценить, находится ли искомое число выше или ниже 15, затем давали значительно более низкие оценки процента африканских стран в ООН, чем те испытуемые, которых в начале просили оценить, выше или ниже этот процент 65. Средняя оценка по группе была в первом случае 25, во втором — 45 процентов. Это происходило, несмотря на то, что испытуемые видели, что номера генерируются очевидно случайным образом, рулеткой, и потому могли быть уверены, что эти номера не имеют никакого отношения к реальному проценту африканских стран в ООН. Денежные выплаты за точность не изменили интенсивность этого эффекта. Тверский и Канеман предположили, что этот эффект вызван якорением и настройкой; испытуемые принимали изначальное неинформативное число за точку отсчета, или якорь, и затем увеличивали или уменьшали это число, до тех пор, пока не достигали результата, который выглядел убедительно для них; тогда они прекращали подстройку. Этот результат был недооценкой, связанной с данным якорем.

В примере в начале статьи мы сперва попросили эксперта по веществу P предположить точное значение силы радиосигнала, который приведет к взрыву P, и только затем попросили оценить верхние и нижние границы для этого параметра. Этот метод опроса заставляет людей подстраивать свой ответ о верхней и нижней границе к изначальной оценке, до тех пор, пока они не достигают значений, которые звучат невероятно и прекращают подстройку. Это приводит к недооценке и слишком узким границам интервала уверенности.

После статьи Тверского и Канемана 1974 года стало накапливаться все больше свидетельств широкого круга эффектов якорения и псевдо-якорения. Якорение происходило, даже когда якорь давал абсолютно невероятный ответ на вопрос, например, при опросе студентов относительно года первого визита Эйнштейна в США, после рассмотрения якорей 1215 или 1992. Эти недостоверные якоря создавали эффект якорения такой же силы, как и более достоверные якоря, такие как 1905 и 1939 [Strack and Mussweiler, 1997].

Допустим, вы идете по супермаркету и видите стойку с банками консервированной томатной пасты с надписью: «Только 12 штук в руки». Заставляет ли это людей на самом деле покупать больше томатной пасты? Согласно экспериментальным данным, заставляет [Wansink et. al., 1998].

Более общая форма этого феномена стала известна как эффект загрязнения, поскольку оказалось, что почти любая информация может повлиять на интеллектуальное суждение [Chapman and Johnson, 2002]. Предпринимались попытки ослабить эффект загрязнения путем выплаты испытуемым вознаграждения за правильные ответы. Тверский и Канеман [Tversky и Kahneman, 1974] инструктировали испытуемых о необходимости избежать якорения начальным показателем [Quattrone et. al., 1981] или о необходимости уделять внимание проблемам реального мира [Wansink et. al., 1998]. Эти действия не уменьшили или уменьшили только в незначительной степени интенсивность эффектов якорения и наложения. Более того, испытуемые, спрошенные о том, были ли они подвергнуты действию эффекта загрязнения, обычно не верили, что он на них повлиял, хотя эксперименты показывали обратное. [Wilson et. al., 1996].

Действия, существенно увеличивающие эффект загрязнения – это действия, помещающие испытуемых в интеллектуально трудные условия, такие, как непрерывное прослушивание последовательности слов в процессе работы [Gilbert et. al., 1988] или требование от испытуемых быстрых ответов [Gilbert and Osborne, 1989]. Гилберт [Gilbert et. al., 1988] связывает это с тем, что дополнительная задача влияет на способность отстроиться от якоря; иначе говоря, в интеллектуально загруженных условиях происходит меньшая корректировка. Этот эффект уменьшения корректировки, а значит, увеличения недокорректировки, известен как якорение.

Суммируем: явно нерелевантная информация по-прежнему якорит суждения и искажает догадки. Когда люди начинают с информации, про которую заранее известно, что она нерелевантная, и затем производят подстройку, пока не достигают убедительно звучащего ответа, они обычно недооценивают величину некого параметра. Люди недооценивают величину параметра в гораздо большей степени в ситуациях интеллектуальной нагрузки и других воздействий, что делает проблему более серьезной. Люди отрицают, что были заякорены и недооценивали, даже когда эксперименты показывают противоположное. Эти эффекты не ослабляются или ослабляются незначительно при финансовом вознаграждении, явных инструкциях избежать наложения и в ситуациях из реальной жизни. А теперь вспомните, сколько историй из лент новостей об искусственном интеллекте ссылаются на фильмы о Терминаторе, как если бы они были документальными, и как много медийных историй о взаимодействии мозга и компьютера упоминают боргов из фильма «Звездный путь».

Если даже короткая демонстрация якоря оказывает существенное воздействие на испытуемых, насколько больший эффект мы можем ожидать от чтения целой книги или просмотра остросюжетного телевизионного шоу? В прошлом не было фильмов — все, что вы видели своими глазами, было правдой. Людям следует осознавать, в той мере, в какой осознанные мысли принимаются в расчет, что фантастика есть фантастика. Журналистские упоминания о «Терминаторе» обычно не рассматривают сценарий Камерона в качестве пророчества или установленной правды. Вместо этого репортер как бы считает видения Камерона чем-то, что уже однажды имело место в прошлом и вполне может случиться вновь — фильм вспоминается как если бы он был иллюстрирующим случаем из истории человечества. Я называю эту смесь якорения и доступности для восприятия логической ошибкой генерализации на основании художественного вымысла.

Похожей концепцией является ошибка «хорошей истории», предложенная Бостромом [Bostrom, 2001]. Художественные свидетельства часто состоят из «хороших историй» в бостромском смысле. Отметьте, что не все возможные «хорошие истории» уже представлены в литературе.

Рассказчики историй соблюдают строгие правила повествовательности, не имеющие отношения к реальности. Драматическая логика — это не логика. Вдохновленные писатели знают, что одной правды мало: нельзя заставить поверить в невероятное событие из вашего произведения путем цитирования примеров из реальной жизни. Хорошая история раскрашена яркими деталями, расцвечена цветущими метафорами; рассказчик историй должен быть конкретным, твердым и точным, как камень. Но в предвидении будущего каждая добавленная деталь является дополнительной нагрузкой! Правда — это тяжелая работа, и — не для рассказчиков историй. Мы должны избегать не только одурачивания фантастикой в виде нашей неспособности совершить ментальное усилие, чтобы разувериться в ней, но также того, чтобы фантастика наложилась на наше мышление и стала точкой отсчета для наших суждений. И мы должны осознавать, что мы не всегда осознаем это наложение. В дискуссиях о глобальных рисках отнюдь не необыкновенны категории, выборы, последствия и стратегии, пришедшие из фильмов, книг и телевизионных шоу. Бывают красивые неудачи, но это — откровенная капитуляция.

Рассуждения, обусловленные аффектом

Рассуждения, обусловленные аффектом, возникают, когда субъективные представления о хорошем и плохом выступают в качестве эвристики и способны порождать быстрые, основанные на непосредственном восприятии, суждения, а также систематические ошибки.

В исследовании Словича [Slovic, 2002] две группы испытуемых рассматривали такой сценарий: аэропорт должен решить, следует ли ему потратить деньги на новое оборудование, или на другие аспекты системы безопасности. Шкала ответов ранжирована от 0 (никакой поддержки этому решению) до 20 (очень сильная поддержка). Оказалось, что мероприятие, описанное как «Спасти 150 жизней» получило среднюю поддержку 10,4, в то время как мероприятие, описанное как «Спасти 98 % от 150 жизней» имело среднюю поддержку в 13,6. Даже предложение «спасти 85 % от 150 жизней» имело большую поддержку, чем «спасение 150 жизней». Гипотеза, лежащая в основе этого эксперимента, состояла в том, что «спасение 150 жизней» звучит довольно расплывчато и потому имеет небольшую ценность, в то время как спасение 98 % чего-нибудь это очень хорошо, потому что это очень близко к верхней границе процентной шкалы.

Файнакэйн [Finucane, 2000] исследовал, объединяют ли люди свои оценки возможных преимуществ от некой технологии, такой как, например, ядерная энергетика, со своими оценками возможных рисков, в едином хорошем или плохом ощущении по поводу этой технологии. Он тестировал эту гипотезу, предлагая испытуемым четыре разных сообщения, которые должны были увеличить или ослабить воспринимаемые риски и воспринимаемые преимущества. Не было никакой логической связи между предоставленной информацией о рисках и о преимуществах. В каждом случае новая информация оказывала противоположный эффект на эмоционально противоположную характеристику. Информация, которая увеличивала восприятие риска, ослабляла восприятие преимуществ. Информация, которая ослабляла восприятие преимуществ, увеличивала восприятие рисков. Файнакэйн обнаружил, что нехватка времени обычно усиливает отрицательную взаимосвязь между воспринимаемыми рисками и воспринимаемыми преимуществами — предположительно потому, что эта нехватка усиливает преобладание эмоциональных моделей рассуждений над аналитическим анализом.

Ганзах [Ganzach, 2001] обнаружил тот же эффект в царстве финансов: аналитики делают прогнозы рисков и доходов незнакомых активов на основании эмоционального отношения. Акции, воспринимавшиеся как «хорошие», были определены как имеющие низкий риск и высокий доход; акции, воспринимавшиеся как «плохие», определялись как имеющие низкий доход и высокий риск. Таким образом, для незнакомых акций, воспринимаемый риск и воспринимаемый доход имели отрицательную корреляцию, в соответствии с эмоциональной логикой. (Отметьте, что в этом эксперименте нехватка информации играет ту же роль, что занятость ума или нехватка времени в усилении эффекта эмоциональной логики.) Для знакомых акций воспринимаемый риск и воспринимаемый доход имели позитивную корреляцию, как это и предсказывается в норме экономической теорией. (Если акции безопасны, покупатель платит премию за их безопасность, и они являются более дорогими, что уменьшает ожидаемый доход.)

Люди обычно имеют недостаточную информацию о будущих технологиях. Поэтому неудивительно, что их отношение эмоционально поляризовано. Когда я только начал думать об этих материях, я считал, что биотехнология имеет относительно меньше достоинств сравнительно с нанотехнологией, и я больше боялся сконструированных супервирусов, чем вредоносного применения нанотехнологий. Искусственный интеллект, от которого я ожидал наибольших выгод, нисколько не беспокоил меня. Позже, когда я исследовал проблему гораздо более детально, моя оценка относительных преимуществ осталась относительно такой же, но мои тревоги стали противоположными: более мощные технологии, с большими ожидаемыми выгодами, теперь выглядят имеющими соответственно большие риски. С ретроспективной точки зрения это вполне предсказуемо. Но анализ, основанный на недостаточной информации, склонен оценивать технологии эмоционально, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск.

Пренебрежение масштабом

(2000 / 20000 / 200000) перелетных птиц тонут каждый год в незакрытых нефтехранилищах, которые птицы по ошибке принимают за пруды с водой. Эти смерти могут быть предотвращены путем накрывания хранилищ сетями. Сколько денег вы были бы готовы заплатить за установку таких сетей?

Три группы испытуемых, рассматривавших этот вопрос, были опрошены о том, какое увеличение налога они были бы готовы принять, чтобы спасти 2000, 20000 или 200000 птиц. Ответ, названный Установленная Готовность Платить (УГП), был в среднем 80 $ за 2000 птиц, 78 $ за 20000 и 88 $ за 200000 птиц. [Desvousges, 1993]. Этот феномен известен как нечувствительность к масштабу или пренебрежение масштабом.

Подобные исследовании показали, что жители Торонто готовы заплатить только немногим больше, чтобы очистить все озера Онтарио, чем чтобы очистить загрязенные озера только части штата [Kahneman, 1986], и что жители четырех западных штатов в США готовы заплатить только на 28 % больше, чтобы защитить все 57 уголков дикой природы в этих штатах, чем чтобы защитить только один такой уголок. [McFadden и Leonard, 1995]. Наиболее широко распространенное объяснение эффекта пренебрежения масштабом апеллирует к эмоциональной логике. Канеман [Kahneman, 1999] пишет:

«История о птицах из опытов Девужа (Desvousges), вероятно, вызывает у многих читателей ментальное представление о неком событии, возможно — образ истощенной птицы с намоченными черной нефтью крыльями, неспособной спастись. Гипотеза об оценке по первоначальному образу утверждает, что эмоциональное влияние этого образа будет доминировать над отношением к проблеме, включая готовность платить за решение. Оценка по первоначальному образу автоматически означает пренебрежение к остальным деталям ситуации»

Две другие гипотезы о пренебрежении масштабом включают в себя покупку морального удовлетворения [Kahneman и Knetsch, 1992] и пожертвование монетки ради доброго дела [Harrison, 1992]. Гипотеза о моральном удовлетворении предполагает, что люди тратят достаточно денег, чтобы создать ощущение «внутренней теплоты» в себе, и требующийся на это объем денег зависит от человеческой психологии и не имеет ничего общего с птицами. Гипотеза о «монетке на благотворительность» предполагает, что люди готовы выделить определенную сумму «на экологию», и любой вопрос о проблемах окружающей среды просто проявляет это количество.

Пренебрежение масштабом было продемонстрировано и по отношению к человеческим жизням. Карсон и Митчелл [Carson and Mitchell„ 1995] сообщают, что информации об увеличении риска, связанного с питьем хлорированной воды с 0,004 до 2,43 на 1000 смертей в год (то есть в 600 раз) увеличивает установленную готовность платить (УГП) платить с 3,78 до 15,23 долларов (то есть 4 раза). Бэйрон и Грин [Baron and Greene, 1996] обнаружили, что изменение числа спасенных жизней в 10 раз не оказывает никакого эффекта на этот индекс.

Фезерстонхоу [Fetherstonhaugh, 1997], в статье, озаглавленной «Нечувствительность к ценности человеческой жизни: исследование психологического восприятия чисел», обнаружил свидетельства того, что наше восприятие человеческих смертей и ощущение ценности человеческих жизней следует закону Вебера, это значит, что мы используем логарифмическую шкалу. И действительно, исследования эффекта пренебрежения масштабом, в которых количественные изменения были достаточно велики, чтобы вызвать хотя бы какую-то чувствительность, показали небольшие линейные изменения готовности платить, соответствующие экспоненциальным изменениям масштаба. Канеман [Kahneman, 1999] интерпретирует это как дополнительный эффект эмоциональной реакции на масштаб к реакции на первоначальный образ: первоначальный образ вызывает большую часть эмоции, а масштаб вызывает меньшую часть эмоции, которая добавляется (но не умножается) к первоначальному количеству.

Альберт Сент-Дьёрди (Albert Szent-Györgyi) говорит: «На меня производят сильное впечатление страдания одного человека, и я готов рисковать своей жизнью ради него. Но я могу говорить совершенно отстранённо о заражении наших больших городов с сотнями миллионов погибших. Я не способен умножить страдания одного на сто миллионов». Человеческие эмоции возникают внутри аналогового ума. Человеческий мозг не способен выработать достаточно нейротрансмиттеров, чтобы почувствовать эмоцию в тысячу раз более сильную, чем горе на похоронах. Увеличение возможного риска с десяти миллионов смертей до ста миллионов не увеличивает в десять раз нашу решимость не допустить этого. Это просто добавление еще одного нолика на бумаге у нас перед глазами, что имеет столь небольшой эффект, что обычно необходимо изменить количество жертв на несколько порядков, чтобы заметить разницу экспериментально.

Калибровка и сверхуверенность

Насколько люди уверены в своих ошибочных оценках? В первом разделе этой статьи, посвященном эффекту доступности информации, мы обсудили эксперимент по восприятию риска, в котором испытуемые переоценивали типичные для сообщений средств массовой информации причины смерти в пропорции, коррелирующей с избирательными сообщениями в газетах. Словик [Slovic, 1982] также отмечает:

«Одним из пагубных аспектов моделей рассуждений (эвристик) является то, что люди обычно имеют очень большую уверенность в суждениях, основанных на них. В другом исследовании по поводу причин смерти, людей просили сделать ставки на то, что они правы в своем выборе более частой среди двух причин смерти. [Fischoff, Slovic, и Lichtenstein, 1977]. В эксперименте №1 испытуемые были довольно точны, когда делали ставки 1:1, 1.5:1, 2:1, и 3:1. То есть, процент правильных ответов был близок к значению, которое следовало из этих ставок. Однако, по мере увеличения ставок от 3:1 к 100:1 почти никакого прироста точности не происходило. Только 73 % ответов, на которые сделали ставки 100:1, были верны (вместо 99.1 %). Точность возросла до 81 % при ставках 1000:1 и до 87 % при 10000:1. Для ответов, на которые ставили 1000000:1, точность составляла 90 %, то есть, соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более половины ставок была выше, чем 50:1. Почти четверть — выше, чем 100:1. 30% респондентов в эксперименте № 1 сделали ставку 50:1 на неверное утверждение, что убийства более часты, чем самоубийства».

Этот кажущийся удивительным результат вполне обычен в литературе, посвященной моделям рассуждений и систематическим ошибкам в мышлении, где он известен как сверхуверенность. Допустим, я попрошу вас сделать наилучшее возможное предположение насчет неизвестного числа, такого, как количество «Врачей и хирургов» в желтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, насчет которой вы уверены на 99 %, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99 % уверены, что искомая величина лежит ниже нее. Эти две границы образуют ваш интервал 98 % уверенности. Если вы хорошо откалиброваны, то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.

Альперт и Раиффа [Alpert и Raiffa, 1982] задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведенным выше. Оказалось, что для 426 из них подлинные значения лежали за пределами 98 % интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно откалиброваны, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42,6%. Другую группу из тридцати пяти испытуемых попросили оценить 99,9% верхние и нижние границы уверенности. Они оказались неправы в 40 % случаев. Другие 35 испытуемых были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвертая группа из 35 испытуемых должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.

В следующем эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки, и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку испытуемые ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но все еще весьма далеко от хорошо откалиброванного результата в 2%.

Подобные уровни ошибок были обнаружены и у экспертов. Хинс и Вэнмарк [Hynes и Vanmarke, 1976] опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 % уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Кристенсен-Залански и Бушихед [Christensen-Szalanski и Bushyhead, 1981] опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88 %, доля пациентов, действительно имевших пневмонию, была менее 20 %.

Говоря словами Алперта и Раиффы [Alpert и Raiffa, 1982]: «Ради Бога, расширяйте свои крайние оценки! Будьте честны с собой! Допустите, что вы не знаете!»

Лихтенштейн [Lichtenstein, 1982] произвел обзор четырнадцати исследований на основании тридцати четырех экспериментов, выполненных двадцатью тремя исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из исследований следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться почти в каждом эксперименте, где испытуемым позволяется давать оценки максимальных вероятностей.

Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Булер [Buehler, 1994] попросил студентов-психологов предсказать важный параметр: время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если все пойдет «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.

Бюхлер [Buehler, 1994] опросил студентов о времени, к которому студенты на 50% уверены, на 75 % уверены и на 99 % уверены, что они закончат свои академические проекты. Только 13 % участников закончили свои дипломы к моменту, которому приписывали 50 % вероятность, только 19 % закончили к моменту 75 % оценки и 45 % закончили ко времени, оценивавшемуся в 99 % уверенности. Булер [Buehler et. al., 2002] пишет «результаты выхода на уровень 99 % достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, все равно уверенность студентов в их временных оценках намного превосходила их реальные результаты».

Ньюби-Кларк [Newby-Clark et. al., 2000] обнаружили, что опросы испытуемых об их предсказаниях, основанных на наиболее реалистичном предположении, и опросы испытуемых об их надеждах в самом лучшем случае давали неразличимые результаты. Будучи спрошены о наиболее вероятном стечении обстоятельств, люди имели тенденцию предполагать, что все пойдет так, как планировалось, без неожиданных задержек и непредвиденных катастроф, то есть так же, как в наилучшем случае. Реальность, как оказалось, зачастую преподносит результаты, худшие, чем самый наихудший случай. В этой статье мы обсуждаем сверхуверенность после обсуждения систематической ошибки подтверждения и частного случая — систематической ошибки неподтверждения. Знание об эффекте калибровки — это опасное знание, поскольку очень соблазнительно применять его избирательно. «Насколько глуп мой оппонент, чтобы быть уверенным в своих аргументах. Знает ли он, как часто люди ошибаются в том, в чем они уверены?» Если вы обнаруживаете, что мнения эксперта имеют гораздо меньше значения, чем вы раньше думали, вам стоит также понять, что ваши собственные мысли тоже гораздо слабее, чем вы думали раньше: и тогда потребуется меньше усилий, чтобы увлечь вас в сторону от ваших любимых убеждений. В противном случае вы станете медленнее реагировать на новые свидетельства. Вы оказываетесь в гораздо более худшем положении, чем, если бы вы никогда не слышали о калибровке. По этой причине — часто, несмотря на значительное искушение — я избегаю обсуждения исследований по калибровке, до того как я обсужу систематическую ошибку подтверждения, для того, чтобы я мог сделать такое же предупреждение.

Отметьте так же, что оценка эксперта, сильно уверенного в своем мнении, принципиально отличается от вычислений, сделанных исключительно на основе статистических данных, или исключительно на основе адекватной, точно подтвержденной модели. Во всех случаях, когда эксперт утверждает, даже на основании точных вычислений, что событие имеет вероятность 10−6, он наверняка ошибается чаще, чем один раз на миллион. Но если бы комбинаторика не могла точно предсказать, что лотерейный билет имеет 10−8 шанс выиграть, то продавцы билетов бы разорились.

Апатия прохожего

Последняя рассматриваемая мной систематическая ошибка относится не к области моделей рассуждений, но к области социальной психологии. В ныне знаменитой серии экспериментов Лэйтен и Дэрли [Latane и Darley, 1969] открыли эффект прохожего, известный также как апатия прохожего, который состоит в том, что в больших группах люди менее склонны реагировать на чрезвычайные ситуации — не только индивидуально, но и коллективно. 75 % испытуемых, будучи одни в комнате и заметив дым из-под двери, выходят, чтобы сообщить об этом. Когда в комнате находятся трое испытуемых, не знающих об условиях опыта, о дыме сообщают только в 38 % случаев. Испытуемый, находясь в компании двух подсадных уток, нарочно не реагирующих на дым, выходит, чтобы сообщить о дыме только в 10 % случаев. Студент колледжа, изображавший эпилептический припадок, получил помощь от единственного свидетеля в 85 % случаев и только в 31 % случаев в присутствии пятерых свидетелей.

Эффект прохожего обычно объясняется как происходящий из рассеяния ответственности и игнорирования из-за неопределенности ситуации. Нахождение в группе уменьшает индивидуальную ответственность. Каждый надеется, что кто-то другой разберется с проблемой вместо них, и это ослабляет личную напряженность каждого по поводу того, что никто ничего не делает. Подтверждением этой гипотезы являются опыты, в которых испытуемые верили, что жертва особенно зависит от них: это ослабляло или полностью устраняло эффект равнодушия прохожего. Чалдини [Cialdini, 2001] рекомендует человеку, оказавшемуся в чрезвычайной ситуации, выделить одного одинокого прохожего и попросить его о помощи — таким образом преодолевая рассеяние ответственности.

Игнорирование из-за неопределенности ситуации является более тонким эффектом. Чалдини [Cialdini, 2001] пишет: «Часто чрезвычайная ситуация далеко не очевидна. Является ли человек, лежащий в парке, жертвой сердечного приступа или спящим пьяным? В случае такой неопределенности естественным поведением является посмотреть вокруг на действия других людей для подсказки. Мы можем понять из поведения других свидетелей, является ли событие чрезвычайной ситуацией или нет. Однако легко забыть при этом, что все остальные свидетели события тоже ищут социального подтверждения. Поскольку все мы предпочитаем выглядеть уравновешенными и сохраняющими самообладание, мы будем искать это подтверждение скрытно, бросая короткие взгляды на людей вокруг нас. Поэтому каждый увидит другого, скорее всего, спокойным и ничего не делающим».

Эффект прохожего не связан с индивидуальным эгоизмом или нечувствительностью к страданиям других. По одиночке испытуемые обычно действуют. Игнорирование из-за неопределенности ситуации может объяснить, в отличие от индивидуального эгоизма, почему испытуемые не реагируют на наполнение комнаты дымом. В экспериментах, где была явная опасность, как для других, так и для себя, испытуемые часто бросали взгляды на нереагировавших подсадных уток.

Я время от времени спрашиваю: «если «глобальный риск Х» реален, почему не много людей делают что-нибудь в связи с этим?» Есть много возможных ответов, части которых я коснулся здесь. Люди могут быть сверхуверены и сверхоптимистичны. Они могут быть сосредоточены на каких-то одних сценариях будущего, исключая при этом все остальные. Они могут не помнить ни одного случая всеобщего истребления. Они могут переоценивать предсказуемость прошлого, и за счет этого недооценивать сюрпризы будущего. Они могут не осознавать трудности подготовки к чрезвычайным ситуациям без преимуществ знания задним числом. Они могут предпочитать филантропические игры с высокой вероятностью выигрыша, пренебрегая величиной ставки. Они могут уравнивать позитивную информацию о преимуществах некой технологии с негативной информацией о ее риске. Они могут быть отравлены кинофильмами, в которых мир, в конце концов, бывает спасен. Они могут получить моральное удовлетворение гораздо проще, давая деньги на другие виды благотворительности. Или же чрезвычайно неприятная перспектива человеческого вымирания может побудить их искать доводы в пользу того, что человечество не вымрет, без столь же интенсивного поиска причин, по которым это может произойти.

Но если вопрос таков: «Почему не так много людей делают что-нибудь в связи с этим?», один возможный момент может быть в том, что люди, задающие этот самый вопрос, рыщут глазами вокруг, чтобы посмотреть, есть ли еще кто-нибудь, реагирующий на опасность, и одновременно стараются выглядеть уравновешенными и сохраняющими самообладание. Если вы хотите узнать, почему другие не реагируют на опасность, перед тем, как среагировать самому, вы уже возможно ответили на свой вопрос.

Последнее предупреждение

Любая достоверная идея, которая вас раздражает, по-видимому, задевает в вас модель хотя бы одной психологической ошибки.

Роберт Пирсиг (Robert Pirsig) сказал: «Самый глупый человек в мире может сказать, что солнце светит, и это не заставит его погаснуть». Если вы подозреваете кого-то в психологической ошибке, продемонстрируйте свою компетентность вначале, вскрыв его фактические ошибки. И если фактических ошибок нет, какое значение имеет психология? Соблазн психологии в том, что, немного зная ее, мы можем вмешиваться в споры, в которых мы не являемся техническими экспертами, мудро анализируя психологию дискутирующих.

Если кто-то написал роман об астероиде, уничтожающем современную цивилизацию, то можно критиковать этот роман как экстремистский, антиутопичный, апокалиптический; симптоматичный для наивной неспособности автора взаимодействовать со сложным технологическим обществом. Мы должны распознать здесь литературную критику, а не научную; это о хороших или плохих романах, а не о хороших или плохих гипотезах. Для того, чтобы вычислить годовую вероятность астероидного удара в реальности, нужно изучать астрономию и поднять исторические записи: никакая литературная критика никак не влияет на это число. Гэрроу [Garreau 2005], по-видимому, утверждает, что сценарий постепенного усиления искусственного интеллекта является более зрелым и обдуманным, чем сценарий очень быстрого развития искусственного интеллекта. Но это вопрос техники, а не предпочтений; никакой объем психологического анализа не даст точное значение наклона кривой.

Обвиняя кого-нибудь в ошибке загрязнения, необходимо привести список специфических деталей, которые, с вашей точки зрения, являются лишней нагрузкой и уменьшают суммарную достоверность. Даже в этом случае, не теряйте связь с фактами первостепенной важности, не позволяйте спору стать спором о психологии.

Несмотря на все опасности и соблазны, лучше знать о когнитивных искажениях, чем не знать их. В противном случае мы попадем прямо во вращающиеся вертолетные лопасти жизни. Но будьте очень осторожны, не проявляйте слишком много рвения в обвинении других в когнитивных искажениях. Таким путем вы только станете профессиональным спорщиком — тем, кто, встретив любой не нравящийся ему аргумент, находит в нем систематическую ошибку. Тот, за кем вы должны следить в наибольшей мере — это вы сами.

Джерри Кливер сказал о спортивных матчах: «Губят не ошибки в выполнении замысловатых техник. Губит элементарное: потеря мяча из виду». Анализ должен быть сконцентрирован на проверяемых утверждениях о реальном мире. Не отрывайте своих глаз от мяча.

Заключение

Почему должен быть единый подход в мышлении о глобальных рисках? Падающие астероиды не похожи на сконструированные супервирусы; катастрофы на ускорителе — на нанотехнологические войны. Почему бы не рассмотреть каждую из этих проблем по отдельности?

Если кто-то предполагает катастрофу на ускорителе, тогда комитет, собранный для анализа этой проблемы, должен, очевидно, включать в себя физиков. Но кто-то в этом комитете должен знать, как ужасающе опасно иметь в своей голове ответ до того, как ты закончил задавать вопрос. Кто-то в этом комитете должен помнить ответ Энрико Ферми на предположение Лео Сциларда о том, что цепная реакция деления может быть использована для производства ядерного оружия. (Ответ был: «Бред!» — Ферми считал эту перспективу столь отдаленной, что она не стоила исследований.) Необходимо помнить историю ошибок в физических расчетах: ядерное испытание «Кастл Браво» вызвало взрыв в 15 мегатонн, вместо 4-8 мегатонн, по причине не учтенной термоядерной реакции на литии-7. Они правильно решили неверное уравнение, забыв подумать обо всех условиях, которые должны быть включены, и в результате, по крайней мере, один человек погиб в расширившемся радиусе выпадения радиоактивных осадков. Также следует помнить аккуратное доказательство Лорда Кельвина с использованием множества независимых вычислений на основании хорошо установленных теорий, о том, что Земля существует не более сорока миллионов лет. Следует знать, что когда эксперт заявляет, что вероятность составляет «один к миллиону» без использования статистических данных и точных расчетов на основании совершенной модели, реальное соотношение, скорее всего, около двадцати к одному (хотя это и не точное соответствие).

Любой глобальный риск порождает проблемы, общие со всеми остальными глобальными рисками, дополнительно к специальным знаниям, связанным с этим конкретным риском. Кто-то в комитете по проблемам физических катастроф должен знать, что означает термин «глобальный риск»; он должен обладать всеми навыками, которые область знания, связанная с глобальными рисками, располагает. Для максимальной безопасности этот ученый должен быть также психологом. Высокий уровень знаний в конкретной области и относительно области глобальных рисков должен быть объединен в одном человеке. Я не верю, что специалист по моделям мышления и заблуждениям, неспособный прочесть физическое уравнение, способен проверить работу физика, который ничего не знает о психологии заблуждений.

Когда-то, давным-давно, я написал несколько сверхдетальных сценариев, не осознавая, что каждая добавленная деталь является дополнительной нагрузкой. Когда-то, давным-давно, я действительно думал, что я могу сказать, что имеется 90-процентная вероятность появления искусственного интеллекта между 2005 и 2025, с пиком в 2018 году. Это заявление кажется мне теперь полностью абсурдным. С какой стати я мог думать, что я могу определить точное вероятностное распределение для проблемы вроде этой?

Профессиональные исследователи, скажем, молекулярной нанотехнологии или искусственного интеллекта, не обладают автоматически дополнительными навыками, необходимыми для анализа глобальных рисков, связанных с их профессией. Никто не сказал мне, когда я начал исследовать вызовы, связанные с искусственным интеллектом, что для такого человека, как я, необходимо заниматься изучением систематических ошибок мышления. Я не помню, как я впервые заинтересовался проблематикой систематических ошибок мышления, но я помню, что это было описание ситуации сверхуверенности — обычное описание, в Интернете, без ссылок. Меня это настолько удивило, что я списался с автором, чтобы узнать, был ли это действительно реальный экспериментальный результат. (Он направил меня к книге «Суждение в условиях неопределенности».)

Я не должен был наткнуться на эту ссылку случайно. Кто-то должен был предупредить меня, как я предупреждаю вас, что это знание необходимо для изучающего глобальные риски. Должен быть круг людей, как мы, а также список навыков, необходимых нам дополнительно к узкопрофессиональным. Я не физик, но я знаю немного — возможно, недостаточно — об истории ошибок в физике, и биолог, думающий о супервирусе, тоже должен это знать. Однажды я встретил адвоката, который вывел свою собственную физику. Я сказал ему: «Вы не можете изобрести свою собственную физику без знания математики и многих лет обучения; физика трудна». Он ответил: «Но если вы действительно понимаете физику, вы можете объяснить ее своей бабушке, как сказал Ричард Фейнман». И я спросил его: «Вы бы посоветовали своему другу защищать самого себя в суде?» И тут он замолчал. Он знал теоретически, что физика сложна, но он никогда не отдавал отчета себе, что физика так же сложна, как юриспруденция. Одна из ошибок мышления, которую мы не обсудили, состоит в незнании того, чего именно мы не знаем. Когда наниматель в отделе кадров некой компании оттачивает свое мастерство, он вспоминает качества кандидатов, которых он нанял, многие их которых оказались в последствие превосходными. Таким образом, рекрутер имеет высокую оценку своих способностей. Но рекрутер никогда не видит работу тех кандидатов, которых он не нанял. Поэтому я должен предупредить, что эта статья затрагивает только малую часть моделей рассуждения и систематических ошибок. И когда вы захотите узнать, насколько много вы знаете, вы вспомните несколько когнитивных искажений, упоминаемых в этой статье, а не множество тех, которые не упомянуты. Короткий обзор не может создать ощущения целостной области знаний, объемного понимания, которое сплетает серию памятных экспериментов посредством единой интерпретации. Множество очень уместных систематических ошибок, таких как потребность в завершении, я даже не упомянул. Целью этой статьи было не обучить знанию, необходимому изучающему глобальные риски, но заинтриговать вас узнать больше.

Мышление о глобальных рисках подвержено всем тем же видам ошибочности, что и мышление вообще. Но ставки гораздо, гораздо больше. Типичный результат в исследованиях систематических ошибок состоит в том, что предложение денег или другой стимул не устраняет систематическую ошибку. (Качелмейер и Шихета [Kachelmeier and Shehata, 1992] предлагали жителям КНР эквивалент трехмесячной зарплаты.) Испытуемые в этих экспериментах не совершали ошибки нарочно — они делали ошибки потому, что не знали, как сделать лучше. Даже если вы скажете им, что выживание человечества является ставкой, они в силу этого все равно будут неспособны сделать лучше. (Это может усилить их потребность в завершенности дискуссии, заставляя их давать худшие результаты.) Это ужасающе пугающее обстоятельство, но люди не становятся умнее, только потому речь идет о выживании человечества.

В дополнение к стандартным систематическим ошибкам, я лично проанализировал то, что выглядит как вредоносные модели мышления в вопросах глобальных рисков. Грипп «испанка» в 1918 году убил 25-50 миллионов человек. Вторая мировая война убила 60 миллионов. 10**7 – таков порядок жертв крупнейших катастроф в человеческой письменной истории. Значительно большие числа, такие как 500 миллионов смертей, и особенно качественно другие сценарии, по-видимому, запускают другой режим мышления — оно переходят в другой регистр. Люди, которые и подумать не могут о том, чтобы навредить ребенку, говорят по поводу рисков глобальных катастроф: «Возможно, человеческий вид вовсе не заслуживает выживания».

В науке о заблуждениях есть поговорка, что люди обдумывают не сами события, а описания событий — то, что называется «непродолженным» мышлением. Продолжение мысли о гибели человечества включает в себя вашу смерть, ваших друзей, вашей семьи, ваших любимых, вашего города, вашей страны, ваших политических единомышленников. И даже люди, которые яростно протестовали бы против предложений вроде стереть Британию с лица земли, убить всех членов Демократической партии в США, превратить Париж в песок, которые бы очень боялись услышать, что доктор скажет им, что у их ребенка рак, эти люди будут обсуждать вымирание человечества с абсолютным спокойствием. «Вымирание человечества», как слова на бумаге, появляющиеся в фантастических романах или философских книгах, — относятся к другому контексту, чем грипп «испанка». Мы мыслим описаниями событий, а не их последствиями. Клише «конец света» вызывает в памяти пласт, связанный с мифами и снами, пророчествами и апокалипсисом, романами и кино. Вызов глобальных рисков для здравого смысла состоит в том, что это катастрофы столь большого масштаба, что люди переключаются в другой режим мышления. Человеческие смерти внезапно уже не ужасны, и детальные предсказания вдруг перестают требовать необходимой компетентности, и счастливый или грустный конец истории — это только вопрос личного вкуса по отношению к историям.

Но это только мое частное наблюдение. Я бы предпочел, чтобы эта статья фокусировалась на ошибках, подробно описанных в литературе — в общей литературе по когнитивной психологии, поскольку пока что нет экспериментальной литературы, посвященной психологии глобальных рисков. А она должна быть. В математическом представлении теории решений на основании теремы Байеса имеется концепция ценности информации — ожидаемой полезности некого знания. Ценность информации происходит из ценности того, о чем эта информация. Если вы удваиваете ставки, вы удваиваете и ценность информации об этих ставках. Ценность рационального мышления определяется подобным образом — ценность вычислений, охватывающих некие данные, определяется на основе самих данных. [Good, 1952]; [Horvitz et. al., 1989].

Я способен по-настоящему оценить ценность ясного мышления о глобальных рисках не более, чем Альберт Cент-Дёрджи (Albert Szent-Györgyi) способен умножить страдания одного человека на сто миллионов. Пренебрежение масштабом — естественная опасность для биологического человека, работающего на аналоговом уме; мозг не способен умножать на шесть миллиардов. Но ставки глобальных рисков простираются далеко за пределы жизней шести миллиардов людей, живущих сейчас — они простираются ко всем звездам и ко всем галактикам, которые люди и их потомки смогут однажды достичь. И весь этот огромный потенциал вращается вокруг нашего выживания здесь, сейчас, в те дни, когда царство человечества — это одна планета, вращающаяся вокруг одной звезды. Я не могу почувствовать наше будущее. Все, что я могу — это защищать его.

Рекомендуемое чтение

  1. «Суждение в условиях неопределенности: эвристика и систематические ошибки». Judgment under uncertainty: Heuristics and biases. (1982.) Под редакцией Даниеля Канемана, Пола Словика и Амоса Тверски (еdited by Daniel Kahneman, Paul Slovic, and Amos Tversky). Этот сборник помогает разобраться в основных понятиях данной области знаний и рассчитан на внешнего к данной теме академического читателя. Следующее издание дает обобщенное, подробно разработанное и детальное объяснение феноменов, рассмотренных в первом издании, но основные результаты остаются неизменными.
  2. «Решения, ценности и рамки». Choices, Values, and Frames. (2000.) Под редакцией Даниеля Канемана и Амоса Тверски (еdited by Daniel Kahneman and Amos Tversky). «Эвристика и систематические модели мышления». Heuristics and Biases. (2003.) Редактировано Томасом Джиловичем, Дейлом Гриффином и Даниелем Канеманом (Edited by Thomas Gilovich, Dale Griffin, and Daniel Kahneman). Эти два сборника статей дают обзор современного состояния науки об эвристике и систематических ошибках. Они в меньшей мере доступны для неподготовленного читателя.
  3. «Рациональный выбор в неопределенном мире: психология интуитивного суждения». Rational Choice in an Uncertain World: The Psychology of Intuitive Judgment, Робин Доуз (by Robyn Dawes). Первая редакция 1988: Доуз и Кэган (by Dawes and Kagan), вторая редакция 2001: Доуз и Хэсти (by Dawes and Hastie). Эта книга предназначена, чтобы ввести в тему когнитивных искажений широкую аудиторию образованных читателей. (Например, теорема Байеса объясняется, хотя и не доказывается, но объяснение занимает только несколько страниц.) Хорошая книга, чтобы быстро охватить поле исследований.

Библиография

  1. Alpert, M. and Raiffa, H. 1982. A Progress Report on the Training of Probability Assessors. In Kahneman et. al. 1982: 294-305.
  2. Ambrose, S.H. 1998. Late Pleistocene human population bottlenecks, volcanic winter, and differentiation of modern humans. Journal of Human Evolution 34:623-651.
  3. Baron, J. and Greene, J. 1996. Determinants of insensitivity to quantity in valuation of public goods: contribution, warm glow, budget constraints, availability, and prominence. Journal of Experimental Psychology: Applied, 2: 107-125.
  4. Bostrom, N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, 9.
  5. Brenner, L. A., Koehler, D. J. and Rottenstreich, Y. 2002. Remarks on support theory: Recent advances and future directions. In Gilovich et. al. (2003): 489-509.
  6. Buehler, R., Griffin, D. and Ross, M. 1994. Exploring the «planning fallacy»: Why people underestimate their task completion times. Journal of Personality and Social Psychology, 67: 366-381.
  7. Buehler, R., Griffin, D. and Ross, M. 1995. It’s about time: Optimistic predictions in work and love. Pp. 1-32 in European Review of Social Psychology, Volume 6, eds. W. Stroebe and M. Hewstone. Chichester: John Wiley & Sons.
  8. Buehler, R., Griffin, D. and Ross, M. 2002. Inside the planning fallacy: The causes and consequences of optimistic time predictions. In Gilovich et. al. 2003: 250-270.
  9. Burton, I., Kates, R. and White, G. 1978. Environment as Hazard. New York: Oxford University Press.
  10. Carson, R. T. and Mitchell, R. C. 1995. Sequencing and Nesting in Contingent Valuation Surveys. Journal of Environmental Economics and Management, 28(2): 155-73.
  11. Chapman, G.B. and Johnson, E.J. 2002. Incorporating the irrelevant: Anchors in judgments of belief and value. In Gilovich et. al. (2003).
  12. Christensen-Szalanski, J.J.J. and Bushyhead, J.B. 1981. Physicians“ Use of Probabilistic Information in a Real Clinical Setting. Journal of Experimental Psychology: Human Perception and Performance, 7: 928-935.
  13. Cialdini, R. B. 2001. Influence: Science and Practice. Boston, MA: Allyn and Bacon.
  14. Combs, B. and Slovic, P. 1979. Causes of death: Biased newspaper coverage and biased judgments. Journalism Quarterly, 56: 837-843.
  15. Dawes, R.M. 1988. Rational Choice in an Uncertain World. San Diego, CA: Harcourt, Brace, Jovanovich.
  16. Desvousges, W.H., Johnson, F.R., Dunford, R.W., Boyle, K.J., Hudson, S.P. and Wilson, N. 1993. Measuring natural resource damages with contingent valuation: tests of validity and reliability. Pp. 91-159 in Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland.
  17. Fetherstonhaugh, D., Slovic, P., Johnson, S. and Friedrich, J. 1997. Insensitivity to the value of human life: A study of psychophysical numbing. Journal of Risk and Uncertainty, 14: 238-300.
  18. Finucane, M.L., Alhakami, A., Slovic, P. and Johnson, S.M. 2000. The affect heuristic in judgments of risks and benefits. Journal of Behavioral Decision Making, 13(1): 1-17.
  19. Fischhoff, B. 1982. For those condemned to study the past: Heuristics and biases in hindsight. In Kahneman et. al. 1982: 332–351.
  20. Fischhoff, B., and Beyth, R. 1975. I knew it would happen: Remembered probabilities of once-future things. Organizational Behavior and Human Performance, 13: 1-16.
  21. Fischhoff, B., Slovic, P. and Lichtenstein, S. 1977. Knowing with certainty: The appropriateness of exterme confidence. Journal of Experimental Psychology: Human Perception and Performance, 3: 522-564.
  22. Ganzach, Y. 2001. Judging risk and return of financial assets. Organizational Behavior and Human Decision Processes, 83: 353-370.
  23. Garreau, J. 2005. Radical Evolution: The Promise and Peril of Enhancing Our Minds, Our Bodies – and What It Means to Be Human. New York: Doubleday.
  24. Gilbert, D. T. and Osborne, R. E. 1989. Thinking backward: Some curable and incurable consequences of cognitive busyness. Journal of Personality and Social Psychology, 57: 940-949.
  25. Gilbert, D. T., Pelham, B. W. and Krull, D. S. 1988. On cognitive busyness: When person perceivers meet persons perceived. Journal of Personality and Social Psychology, 54: 733-740.
  26. Gilovich, T. 2000. Motivated skepticism and motivated credulity: Differential standards of evidence in the evaluation of desired and undesired propositions. Presented at the 12th Annual Convention of the American Psychological Society, Miami Beach, Florida.
  27. Gilovich, T., Griffin, D. and Kahneman, D. eds. 2003. Heuristics and Biases: The Psychology of Intuitive Judgment. Cambridge, U.K.: Cambridge University Press.
  28. Good, I. J. 1952. Rational decisions. Journal of the Royal Statistical Society, Series B.
  29. Griffin, D. and Tversky, A. 1992. The weighing of evidence and the determinants of confidence. Cognitive Psychology, 24: 411-435.
  30. Harrison, G. W. 1992. Valuing public goods with the contingent valuation method: a critique of Kahneman and Knestch. Journal of Environmental Economics and Management, 23: 248–57.
  31. Horvitz, E.J., Cooper, G.F. and Heckerman, D.E. 1989. Reflection and Action Under Scarce Resources: Theoretical Principles and Empirical Study. Pp. 1121-27 in Proceedings of the Eleventh International Joint Conference on Artificial Intelligence. Detroit, MI.
  32. Hynes, M. E. and Vanmarke, E. K. 1976. Reliability of Embankment Performance Predictions. Proceedings of the ASCE Engineering Mechanics Division Specialty Conference. Waterloo, Ontario: Univ. of Waterloo Press.
  33. Johnson, E., Hershey, J., Meszaros, J.,and Kunreuther, H. 1993. Framing, Probability Distortions and Insurance Decisions. Journal of Risk and Uncertainty, 7: 35-51.
  34. Kachelmeier, S.J. and Shehata, M. 1992. Examining risk preferences under high monetary incentives: Experimental evidence from the People’s Republic of China. American Economic Review, 82: 1120-1141.
  35. Kahneman, D. 1986. Comments on the contingent valuation method. Pp. 185-194 in Valuing environmental goods: a state of the arts assessment of the contingent valuation method, eds. R. G. Cummings, D. S. Brookshire and W. D. Schulze. Totowa, NJ: Roweman and Allanheld.
  36. Kahneman, D. and Knetsch, J.L. 1992. Valuing public goods: the purchase of moral satisfaction. Journal of Environmental Economics and Management, 22: 57-70.
  37. Kahneman, D., Ritov, I. and Schkade, D. A. 1999. Economic Preferences or Attitude Expressions?: An Analysis of Dollar Responses to Public Issues, Journal of Risk and Uncertainty, 19: 203-235.
  38. Kahneman, D., Slovic, P., and Tversky, A., eds. 1982. Judgment under uncertainty: Heuristics and biases. New York: Cambridge University Press.
  39. Kahneman, D. and Tversky, A. 2000. eds. Choices, Values, and Frames. Cambridge, U.K.: Cambridge University Press.
  40. Kamin, K. and Rachlinski, J. 1995. Ex Post ; Ex Ante: Determining Liability in Hindsight. Law and Human Behavior, 19(1): 89-104.
  41. Kates, R. 1962. Hazard and choice perception in flood plain management. Research Paper No. 78. Chicago: University of Chicago, Department of Geography.
  42. Knaup, A. 2005. Survival and longevity in the business employment dynamics data. Monthly Labor Review, May 2005.
  43. Kunda, Z. 1990. The case for motivated reasoning. Psychological Bulletin, 108(3): 480-498.
  44. Kunreuther, H., Hogarth, R. and Meszaros, J. 1993. Insurer ambiguity and market failure. Journal of Risk and Uncertainty, 7: 71-87.
  45. Latane, B. and Darley, J. 1969. Bystander «Apathy», American Scientist, 57: 244-268.
  46. Lichtenstein, S., Fischhoff, B. and Phillips, L. D. 1982. Calibration of probabilities: The state of the art to 1980. In Kahneman et. al. 1982: 306–334.
  47. Lichtenstein, S., Slovic, P., Fischhoff, B., Layman, M. and Combs, B. 1978. Judged Frequency of Lethal Events. Journal of Experimental Psychology: Human Learning and Memory, 4(6), November: 551-78.
  48. McFadden, D. and Leonard, G. 1995. Issues in the contingent valuation of environmental goods: methodologies for data collection and analysis. In Contingent valuation: a critical assessment, ed. J. A. Hausman. Amsterdam: North Holland.
  49. Newby-Clark, I. R., Ross, M., Buehler, R., Koehler, D. J. and Griffin, D. 2000. People focus on optimistic and disregard pessimistic scenarios while predicting their task completion times. Journal of Experimental Psychology: Applied, 6: 171-182
  50. Quattrone, G.A., Lawrence, C.P., Finkel, S.E. and Andrus, D.C. 1981. Explorations in anchoring: The effects of prior range, anchor extremity, and suggestive hints. Manuscript, Stanford University.
  51. Rasmussen, N. C. 1975. Reactor Safety Study: An Assessment of Accident Risks in U.S. Commercial Nuclear Power Plants. NUREG-75/014, WASH-1400 (U.S. Nuclear Regulatory Commission, Washington, D.C.)
  52. Rogers, W. et al. 1986. Report of the Presidential Commission on the Space Shuttle Challenger Accident. Presidential Commission on the Space Shuttle Challenger Accident. Washington, DC.
  53. Sanchiro, C. 2003. Finding Error. Mich. St. L. Rev. 1189.
  54. Schneier, B. 2005. Security lessons of the response to hurricane Katrina. http://www.schneier.com/blog/archives/2005/09/security_lesson.html. Viewed on January 23, 2006.
  55. Sides, A., Osherson, D., Bonini, N., and Viale, R. 2002. On the reality of the conjunction fallacy. Memory & Cognition, 30(2): 191-8.
  56. Slovic, P., Finucane, M., Peters, E. and MacGregor, D. 2002. Rational Actors or Rational Fools: Implications of the Affect Heuristic for Behavioral Economics. Journal of Socio-Economics, 31: 329–342.
  57. Slovic, P., Fischoff, B. and Lichtenstein, S. 1982. Facts Versus Fears: Understanding Perceived Risk. In Kahneman et al. 1982: 463–492.
  58. Strack, F. and Mussweiler, T. 1997. Explaining the enigmatic anchoring effect: Mechanisms of selective accessibility. Journal of Personality and Social Psychology, 73: 437-446.
  59. Taber, C.S. and Lodge, M. 2000. Motivated skepticism in the evaluation of political beliefs. Presented at the 2000 meeting of the American Political Science Association.
  60. Taleb, N. 2001. Fooled by Randomness: The Hidden Role of Chance in Life and in the Markets. Pp. 81-85. New York: Textre.
  61. Taleb, N. 2005. The Black Swan: Why Don’t We Learn that We Don’t Learn? New York: Random House.
  62. Tversky, A. and Kahneman, D. 1973. Availability: A heuristic for judging frequency and probability. Cognitive Psychology, 4: 207-232.
  63. Tversky, A. and Kahneman, D. 1974. Judgment under uncertainty: Heuristics and biases. Science, 185: 251-284.
  64. Tversky, A. and Kahneman, D. 1982. Judgments of and by representativeness. In Kahneman et. al. (1982): 84-98.
  65. Tversky, A. and Kahneman, D. 1983. Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment. Psychological Review, 90: 293-315.
  66. Wansink, B., Kent, R.J. and Hoch, S.J. 1998. An Anchoring and Adjustment Model of Purchase Quantity Decisions. Journal of Marketing Research, 35(February): 71-81.
  67. Wason, P.C. 1960. On the failure to eliminate hypotheses in a conceptual task. Quarterly Journal of Experimental Psychology, 12: 129-140.
  68. Wilson, T.D., Houston, C., Etling, K.M. and Brekke, N. 1996. A new look at anchoring effects: Basic anchoring and its antecedents. Journal of Experimental Psychology: General. 4: 387-402.
Перевод: 
А. В. Турчин
Оцените качество перевода: 
Средняя оценка: 3.3 (207 votes)

Краткое руководство по умным персонажам

Элиезер Юдковский

Умные персонажи первого уровня

Тут ссылка на сцену из «Хоббит 2: Пустошь Смауга», которой не было в книге.

Сцена, показанная в кино, развивается следующим образом: тринадцать гномов и Бильбо Бэггинс, после полутора фильмов сражений и дороги, приходят туда, где Торин, лидер гномов, ожидает найти секретный вход в потерянное гномское королевство Эребор. Этот вход открывается только в определенный день года (день Дурина) и у них есть расшифрованная карта, говорящая «Встань у серого камня, когда стрекочет дрозд, и последний луч света осветит замочную скважину в День Дурина».

Потом солнце садится за гору, а они так и не находят замочную скважину. И тогда Торин…мне больно даже писать это…Торин с отвращением выбрасывает ключ и все гномы начинают спускаться с горы, оставляя Бильбо, наблюдающего за каменной стеной. И именно поэтому Бильбо единственный видит как свет поднимающейся Луны внезапно выявляет искомую замочную скважину.

Киношный Торин с отвращением выбрасывает ключ и уходит?

Я бы так не сделал.

Вы бы так не сделали.

Мы по крайней мере подождали хотя бы час, на случай, если еще какой-то луч солнца прорвется с той стороны горы, и даже тогда мы бы вернулись завтра, просто на всякий случай. И если бы и тогда не вышло, мы бы попытались еще через год. Мы бы не выбросили ключ. Мы бы не пошли сразу же обратно, как только что-то пошло не так.

Сценарист думал, что это будет Драматичный Момент — оставить Бильбо в одиночку смотреть на стену. Но ценой этого Драматичного Момента стал выход фильма со странными эксцентричными созданиями, которые думают не так как мы с вами; так что Драматичный Момент ощущается дурацким, по крайней мере для меня.

Мы могли бы сказать, что у этих странных существ недостает определенного типа понимания. Сценарист хочет, чтобы мы кричали на киношного Торина «Нет! Глупец! Не делай этого!», но похоже, что сценарист не понимает, что Торин тоже бы внутри кричал на себя, что Торин мог понять глупость творимого им на экране. У киношного Торина нет тихого голоса в голове, который кричал бы все это, какой есть у нас. Мы можем называть киношного Торина Голливудским Зомби, или г-зомби, если коротко.

Ладно, теперь давайте поговорим о концепции «умных персонажей».

Если вы посмотрите, то обнаружите, что в большей части художественной литературы «умный» означает персонажа, о котором сказано (но не показано), что он владеет несколькими языками, которого мы видим выигрывающим в шахматы у кого-то, кого нам представляют как гроссмейстера. Если это научно-фантастическая литература, то «гений» может изобретать различные гаджеты и говорить, используя техническую терминологию. В качестве стереотипного шаблона для «интеллекта» «гений» может быть показан как невежественный в вопросах дружбы или романтических отношений. Если это фильм или телевизионное шоу, тогда «умные» персонажи (чаще всего злодеи) говорят с британским акцентом.

Для ученого-когнитивиста, интеллект это род когнитивной работы, деятельность, проводимая мозгом — необязательно человеческим — аналогично тому, как двигатель машины создает крутящий момент и толкает машину вперед. Что это за когнитивная работа? Мы можем сказать «Моделирование, предсказание и управление реальностью.» Или мы могли бы сказать «Производство действий, которые приближают будущее к нужным исходам в порядке предпочтения.»

Голливудская концепция интеллекта не имеет ничего общего с когнитивной работой. Вместо этого она представляет собой социальный стереотип. То есть то, как «умные персонажи» одеваются, как они разговаривают и сколько их надо, чтобы поменять лампочку.

Я говорю все это чтобы как можно точнее обозначить голливудскую концепцию «интеллекта» и откинуть ее в сторону как заблуждение, когда мы зададимся вопросом, как мы могли описать более умного Торина.

Более умный Торин не изобрел бы потрясающий новый вид щитов из супердуба.

Более умный Торин не был бы очаровательно (или омерзительно) невежественен в романтике.

Более умному Торину не было бы необходимости использовать технически звучащие слова или декламировать точные числа с множеством значащих цифр.

Более умный Торин не спланировал бы втайне всю схватку, чтобы дать Смаугу ложное ощущение безопасности. Мы еще поговорим о том, как правильно создать такой вид рассудительности, который можно было бы назвать хитроумным, в главе про умных персонажей второго уровня. Но нет смысла пытаться писать про таких персонажей, если вы не овладели первым уровнем. А также интеллект первого уровня куда важнее.

Более умный Торин не нашел бы тут же замочную скважину при помощи удивительно острых способностей к восприятию. Можно сказать читателю, что у персонажа острое зрение, но это не вложит в персонажа искру внутренней жизни и оптимизации.

Более умный Торин даже не решил бы загадку, используя подсказки, явно раскиданные по предыдущим главам и которые читатель, в принципе, мог бы найти и распознать сам — хотя для персонажа этот подвиг продемонстрировал бы настоящую когнитивную работу (что тоже будет раскрыто в рассказе про второй уровень интеллекта).

Нет, шагом вперед к более умному Торину было бы просто чтобы Торин вел себя так, словно внутри него есть личность, которая знает, что лучше всего сделать, словно бы вы или я были бы на его месте, в противовес г-зомби, который выкидывает ключ, чтобы Бильбо был обеспечен Драматичным Моментом.

Шагом вперед, в простейшей и обыкновеннейшей манере, было бы иметь персонажа, который производил бы впечатление того, кто делает лучшее, что можно сделать в данной ситуации (для данного персонажа) — который оптимизирует свою собственную жизнь, а не того, кто ведет себя согласно сценарию. Нет, обязательно, супер-дупер-невероятно умный оптимизирует; великий урок Искусственного Интеллекта в том, что каждодневная рутинная оптимизация является наибольшей трудностью для интеллекта человеческого уровня. Не изобретать новый щит из супердуба и даже не решать загадку; тот тип «оптимизации», о котором мы говорим, проистекает из внутренней искры, которая пытается сделать свою жизнь лучше, а не послужить вашему сценарию. Это та искра, которой нет у киношного Торина; та искра, которая могла бы услышать внутри себя то же, что кричат со зрительских мест; та искра, что не выбросила бы ключ.

Интеллект через эмпатию и уважение

Если вы хотите, чтобы у ваших персонажей был интеллект первого уровня, вы должны использовать эмпатию (см. Гл. 27 ГПМРМ). Вы должны поддерживать работу своего мозга в режиме «песочницы», чтобы моделировать мозг персонажа, заставлять свой мозг быть похожим на его.

Другая вещь, которую вы можете, но не должны, делать — использовать распознавание шаблонов для заполнения пустот. Если вы видите изображение куста в раскраске, вам не нужно размышлять о фотонах и длинах света, чтобы понять, что куст нужно закрасить зеленым цветом, подобно другим виденным вами кустам или изображениям кустов. Вам также не нужно влезать в шкуру вампира для понимания того, что вампир должен шипеть при разговоре или иметь холодную кожу. Небо синее, кусты зеленые, вампиры шипят и пьют чью-либо кровь…

Такой вампир не будет обладать интеллектом первого уровня, и не будет особо оригинальным, если вы вводите его в действие только чтобы заполнить пустоту в сюжете. Если же вы хотите найти кажущееся наилучшим действие для поведения ваших персонажей, вам придется жить внутри их голов и давать им взаймы силу своего интеллекта, чтобы подарить им внутреннюю искру.

Я могу предложить вам две основные техники, чтобы вот так влезть персонажу в голову. Первая очевидная техника это мерить по себе: Носили бы вы старомодную одежду того времени, когда вы родились, если бы были вампиром? Остановитесь и подумайте об этом. Носили бы? Какие соображения вы бы принимали во внимание? Что бы вы сделали кажущегося наилучшим для оптимизации этих соображений и остатка вашей жизни, вместо носки старой одежды во славу сюжета, чтобы читатели легко могли распознать вас как вампира, вставленного, чтобы заполнить пустоту в сюжете?

Вторая и менее очевидная техника это метод уважения. Уважение следует за эмпатией и падает у любого персонажа, для которого у вас есть внутренняя необходимость его принизить. После одиннадцатого сентября некоторые политики заявляли, что террористы были «трусами». Какая очевидная ложь. Если вы представите себя на борту самолета летящим на самоубийственную миссию, желающим осознанно врезаться в здание, вы поймете, что для этого требуется определенный объем храбрости.

Не то, чтобы люди вообще не могли сопереживать злодеям. Джордж Лукас с удивлением обнаружил что множество тех, кто смотрел Звездые Войны, восхищаются Дартом Вейдером. Способность предсказывать действия противника является важным наследственным применением эмпатии. Но нить эмпатии рвется, когда у людей появляется внутренняя необходимость понизить чей-то статус.

Ладно, теперь рассмотрим фрагмент оригинального «Гарри Поттер и Философский Камень». Каноничная Гермиона обращается к каноничному Гарри перед тем, как он собирается двинуться дальше к опасности:

— Гарри, ты великий волшебник, знаешь.

— Но я не так хорош, как ты, — произнёс Гарри, когда Гермиона разжала объятия. Он чувствовал себя смущённым.

— Я? — удивилась Гермиона. — А что я — ум и книги, вот и всё! Но, оказывается, есть куда более важные вещи — например, дружба и храбрость. И, Гарри… будь осторожен!

Теперь, прежде чем вы подумаете, не больна ли была Роулинг, когда писала это, учтите слова самой Роулинг, что Гермиона была персонажем, которого она писала с себя, и Роулинг самой хватило «ума и книг» чтобы стать миллионершей. В таком ключе это самоосуждение, а не унижение гениев.

Но даже с этим такой отрывок вы не можете представить во время чтения МРМ, потому что МРМ не принижает книги и ум. Дружба и храбрость тоже имеют значение в МРМ; но МРМ не делает уступок сантиментам, что добродетель начитанности по своему статусу ниже добродетели храбрости.

Вы не можете описать по-настоящему гениального персонажа, если ощущаете необходимость принизить его, если у вас есть ощущение, что вы должны не дать ему быть слишком умным, потому что это бы нарушило мораль истории, что Храбрость Важнее Мудрости или что-то подобное. Такое принижение не столько затмевает их искру оптимизации, сколько нарушает вашу эмпатию с персонажем: вы с трудом можете испытывать эмпатию к кому-то, чей статус вы хотите понизить, потому что ваш заточенный под политику мозг не хочет рассказывать их настоящую историю.

Это не говорит о том, что персонажи не должны выучивать ценные жизненные уроки, но они должны учиться, ну, уважительно. Если вы сами помните, что значит выучить с трудом полученный урок, вы можете держать в сознании картину того, что значит сделать такую ошибку честно пытаясь сделать наилучшее, вместо того, чтобы сделать ошибку в процессе служения сюжету или для сохранения пониженного статуса персонажа.

И чтобы лучше показать связь, посредством которой уважение создает интеллект: если вы создаете персонажа, которого вы по-настоящему уважаете, вы постесняетесь моделировать его как глупого. Цинизм профессора Квиррелла (но, насколько я знаю, не его намерение убивать) основан на смеси цинизма двух моих друзей, Робина Хансона и Майкла Вассара. Я уважаю их в достаточной мере, чтобы даже когда они ошибаются, я в общем видел их как ошибающихся убедительно. Когда я ментально привязал профессора Квиррелла к моей модели Хансона и Вассара, мой мозг заставил профессора Квиррелла генерировать убедительный цинизм и вставлять как можно больше гранул истины в его слова, даже несмотря на то, что я сам не согласен с его выводами.

Это приводит меня ко второму кратчайшему пути создания персонажа с интеллектом первого уровня: просто нагло украдите чей-то образ, из реальной жизни или из литературы, чей интеллект вы по-настоящему уважаете.

Вы можете просто описать персонажа так, словно он Шерлок из сериала ББС или Майлс Форкосиган или любая другая личность чьим мышлением вы интуитивно восхищаетесь. Ваш собственный литературный голос возьмет верх и затмит все, и большая часть ваших читателей не заметит сходства, пока вы не скажете им… если вы симпатизируете Шерлоку или Форкосигану так, чтобы ощущать их внутренние жизни, если вы создаете их в их новой роли продолжая выписывать их жизнь изнутри. Если же вы просто используете шаблонные образы, чтобы заполнить их крылатыми фразами из телевидения, тогда да, люди заметят.

Или же, возвращаясь к более простому трюку, вы можете сделать проверку на интеллект путем представления себя в шкуре персонажа. Что бы вы сделали, если бы стали вампиром? А что бы вы сделали, если бы вас любили вампир и оборотень? Если ответ является чем-то, что вы никогда не видели раньше в историях, то возможно у вас в руках готовый сюжет…

Или возможно вы пишете историю со злодеем и у него есть база в вулкане. Какой бы она была? Ладно, есть и другие пути ответить на этот вопрос, но один из них этот: какую базу вы бы отстроили в вулкане, если бы вам было нужно такую сделать? Был бы у вас там батут? Представьте, что смотрите фильм, где на злодейской базе в жерле вулкана в тронном зале стоит батут, но не потому что это комедия, а потому что злодей просто делает те вещи, которые вы бы сделали на своей базе и никто не сказал бы вам «нет». Возможно злодейка носила бы удобные штаны, а слуг бы заставляла одеваться в черную кожу. Я бы посмотрел такой фильм, если бы он не был таким же, как фильмы, построенные на заполнении шаблонов.

Я заметил, что мне часто нравятся романы, написанные от первого лица; и я подозреваю, что когда авторы пишут истории и используют местоимение «я» для голоса персонажа, они более вероятно будут пытаться быть умными временами. (примеры: роман Jumper (но не фильм); фанфики Dreaming of Sunshine, The Lie I’ve Lived, и Who I Am.) Как-то легче писать «Торин выбросил ключ и ушел», чем «я выбросил ключ и ушел» Если вы представите себя настоящего буквально в шкуре Торина, тогда вместо того чтобы пытаться заполнить шаблон «что бы сделал тупой гном» вы возможно представили бы как думали бы на самом деле. Если вы представите настоящего себя внезапно перемещенным в тело Торина, тогда вы представите настоящую живую личность за его глазами.

Правда, для более продвинутых писателей повествование от третьего лица имеет преимущества над первым лицом. Особенно для персонажей с нетипичными мыслительными процессами (смотрите секцию про интеллект третьего уровня) где вы можете захотеть отступить назад к большему всемогуществу и описать их мыслительные процессы более подробно. Но повествование от первого лица и трюк подстановки себя на место персонажа являются отличной начальной точкой для ломки ментальной привычки к описанию Литературных Чужих.

Так или иначе, вы должны проживать жизнь за своих персонажей, чтобы она у них была; у них нет возможности где-то еще занять мозгов, кроме как у вас.

Обдуманные действия и умные ошибки

Одна из неизбежных сложностей при попытке поместить искру оптимизации внутри ваших персонажей это то, что никто из них не хочет, чтобы ваш сценарий осуществился.

Вы хотите эпической борьбы злодея и героя. Или возможно у вас нет отдельного антагониста и герой противостоит Природе, или самому себе, или ему нужно разрешить романтический вопрос. Вне зависимости от конкретной ситуации, если у протагониста не будет препятствий на пути к тому, чего он хочет, у вас история не получится.

Но протагонист не хочет ваших препятствий. Протагонист тоже смотрел романтические комедии и делает все, чтобы избежать ошибок коммуникации из этих комедий. Злодей хочет, чтобы герои умерли в первой главе, и посылает дополнительных солдат, чтобы быть уверенным, что это произойдет. Каждый персонаж с интеллектом первого уровня хочет взять ваш сюжет, основанный на конфликте, и выкинуть его в окно.

Это заставляет ваш мозг попотеть. Вы должны так умело создать ситуацию для каждого персонажа, чтобы, учитывая то, что им известно, результат работы их внутренней искры работал на ваш сюжет.

Описание умных злодеев означает, что вам придется немало подумать над тем, как, черт побери, герои выберутся живыми со злодейской базы, поскольку у вас нет возможности просто сделать вентиляционные проходы базы достаточно большими, чтобы по ним можно было проползти.

Скорее всего вам придется выкинуть вашу первую идею, отказаться от второй и обдумывать проблему в течение недели, прежде чем вы придете к такой идее, где никто из персонажей не будет выглядеть полностью глупым. Если вы находите лазейку в 63 главе, вы используете свою авторскую прерогативу на путешествия во времени, возвращаетесь и делаете нечто, что убирает эту лазейку еще в 17 главе.

Моей первой идеей для способа побега Гарри из Азкабана было то, что он прорежет себе путь частичной трансфигурацией и улетит на обычной метле. Но другие волшебники могли бы прорезать стены обычной магией, и, если бы из Азкабана было так легко бежать, кто-нибудь уже сделал бы это. Я понял, что у авроров тоже должны были бы быть собственные метлы. Что же касается очень быстрой метлы, которая бы обогнала метлы авроров, как это часто бывает в обычных захватывающих романах, — чушь, Амелия Боунс подумала бы об этом и убедилась бы, что у ее людей достаточно хорошие метлы, чтобы не дать убежать даже на «Молнии». Гарри нужно было придумать план побега, который бы содержал такой элемент, какой Амелия Боунс не могла ожидать и к какому не могла приготовиться, даже при условии, что она пытается быть умной.

Это требует немалой работы, а писатели — люди ленивые. Вот почему голливудский злодей оставляет героя в смертельной ловушке, смеется и выходит из комнаты.

Иногда у вас не будет иного выбора, кроме как заставить вашего персонажа сделать ошибку; вы даже можете желать, чтобы персонаж сделал эту ошибку, поскольку вы пытаетесь что-то построить на этом. Вот почему в заголовке написано «обдуманные действия», а не «оптимальные действия». Но да, скажу вам, тут надо быть крайне осторожным, поскольку, боюсь, здесь легко скатиться обратно к трясине Глупости, Индуцированной Сюжетом. Уважаемый персонаж не должен совершать глупых ошибок.

В идеале, если ваш протагонист делает что-то неправильное, то это должно быть что-то правдоподобное настолько, чтобы одурачить большинство читателей при первом прочтении, казаться обдуманным и хорошим действием, даже если двенадцать глав спустя сам персонаж оглядывается и проклинает все, потому что было множество путей сделать лучше. (Смотрите, например, половину того, что Гарри делает в МРМ, и ранние ревью, которые остались от тех глав, которые были изначально.) Если ваш сюжет не позволяет персонажу понять то, что, как вы знаете, должно быть правдой, то вы не можете заставить их «просто подумать об этом», прийти к другому пониманию, которое отлично объясняет наблюдения персонажа. (Но не выкручивайте ваш мир, чтобы солгать персонажу. Антагонисты могут лгать, реальность — нет. Если ваш мир лжет персонажу, то загадки истории становятся неразрешимы.)

Ваш персонаж может быть не в состоянии решить абсолютно все проблемы в отдельный момент времени и его действия могут быть не оптимальны, но они должны всегда быть обдуманны. Когда вы должны заставить умного персонажа сделать ошибку, эта ошибка должна быть результатом обдумывания почти правильной мысли и единственного небольшого неправильного когнитивного шага.

Часть смысла МРМ в том, чтобы провести читателя вместе с Гарри через процесс обучения Гарри на его ошибках. Это требует того, чтобы ошибки были. Но это не значит, что Гарри внезапно превращается в антирационалиста, когда этого требует сюжет. Это не значит, что история пытается аккуратно оправдать ошибки Гарри. Это не значит, что история заставляет Гарри эмоционально перевозбудиться в момент, когда сюжет требует ошибки, чтобы у автора было хорошее оправдание за глупость персонажа в этом моменте. Ошибки Гарри — это результат попыток Гарри быть рациональным, попыток сделать что-то правильно, попыток сделать обдуманное и оптимальное действие, которые кончились недостаточно хорошо.

Из МРМ, 78 глава:

«Позже, оглядываясь назад, Гарри задумается о том, что во всех прочитанных им фантастических романах люди всегда совершают большой, значимый выбор по большим, значимым причинам. Гэри Селдон создал Основание, чтобы на обломках Галактической Империи выстроить новую империю, а не потому, что ему хотелось выглядеть значительнее, руководя собственной исследовательской группой. Рейстлин Маджере отказался от своего брата потому, что хотел стать богом, а не потому, что плохо разбирался в человеческих отношениях и не хотел просить совета, как их улучшить. Фродо Бэггинс взял Кольцо потому, что был героем, желающим спасти Средиземье, а не потому, что было бы слишком неловко отказаться. Если бы кто-то когда-нибудь написал истинную историю мира — хотя никто и никогда не сможет и не захочет — наверняка 97% всех ключевых моментов Судьбы оказались бы слепленными из лжи, салфеток и незначительных мелких мыслей, которые человек мог бы легко переиначить.

Гарри Джеймс Поттер-Эванс-Веррес посмотрел на Гермиону Грейнджер, сидевшую на другом конце стола, и почувствовал, что ему не хочется беспокоить её, когда она, видимо, и так уже в плохом настроении.

Затем Гарри подумал, что наверняка будет более разумно сначала поговорить с Драко Малфоем, чтобы иметь возможность совершенно однозначно уверить Гермиону в том, что Драко на самом деле ничего против неё не замышляет.

Позже, после ужина, Гарри спустился в подземелья Слизерина и услышал от Винсента «Босс не хочет, чтобы его беспокоили»… У него мелькнула мысль, что, наверное, ему стоит узнать, не согласится ли Гермиона поговорить с ним прямо сейчас. Он подумал, что ему пора просто начать разгребать всю эту кучу, пока она не соберётся ещё больше. Гарри спросил себя, быть может, он просто медлит? Может, его разум просто нашёл удобную отговорку, чтобы оставить кое-что неинтересное-но-необходимое на потом?

Он правда об этом думал.

А потом Гарри Джеймс Поттер-Эванс-Веррес решил, что он просто поговорит с Драко Малфоем на следующее утро, после воскресного завтрака, а уже потом поговорит с Гермионой.

Люди постоянно так делают».

Подлинные моральные конфликты

«Тройной контакт», моя самая популярная работа, если не считать МРМ, никогда не задумывалась как серьезная вещь. Например там была такая вещь, как корабельный Форчан.

И меня удивило, когда профессиональные авторы в области научно-фантастической литературы, такие как Дэвид Брин и Питер Уотс, сделали обзоры на мое произведение и похвалили его. Я сидел и думал: «Что же я, черт побери, сделал правильно?»

Центральный моральный конфликт в «Тройном контакте» (ТК сокращенно) — открытый вопрос, сколько боли или страданий мы хотим видеть в утопии, мире, хорошем настолько, насколько это вообще достижимо. Я ранее уже рассматривал этот вопрос в серии эссе Fun Theory Sequence. Я нерешительно подобрался к ответу «Нормально иметь немного боли и страдания, просто они должны иметь больше смысла, чем в нынешнем состоянии дел»; но я хорошо понимал, что это может быть просто точкой зрения такого жителя 21 века, как Элиезер Юдковский, и что когда большая часть боли будет сведена к нулю, дети наших детей могут просто пожать плечами и уничтожить оставшуюся часть.

Есть традиция рационалистов, известная в узких кругах как steelmanning (прим. пер. — не нашел русского перевода. Вкратце steelmanning представляет собой нечто обратное уловке «чучело», strawman, и заключается в ответе на наиболее сильную форму аргумента, представленного оппонентом, даже если эта форма не была озвучена). Данная практика имеет свои подводные камни, и я разобрал некоторые из них в моем эссе Against Devil’s Advocacy. Но, в общем, вы можете думать о принципе атаковать сильнейшие аргументы противоположной стороны как об интеллектуальной версии отвращения от Мэрю Сью. Если вам противостоит обоснованно сильная оппозиция, то вам надо сделать так, чтобы она казалась сильной. Если вы заставите ее казаться слабой, чтобы ее легко можно было победить, то это низко: это показывает вашу собственную слабость.

Я знал, что мои собственные симпатии на стороне Веселых (прим. пер. — в оригинале Fun, как я понимаю, так автор называет человеческую сторону в «Тройном контакте»). Так что мой инстинкт автоматически предложил сделать Сверхсчастливых, сторону против боли в ТК, звучащую как можно убедительней. Я хотел, чтобы читатель ощутил силу позиции Сверхсчастливых и при этом симпатизировал персонажам-людям, когда они бы думали, правы ли. Я определенно не хотел ослаблять позицию Сверхсчастливых для показания того, насколько верна человеческая позиция. Тогда бы возникало нездоровое ощущение, как при чтении «Атлант расправил плечи», ощущение, что я нечестен по отношению к обоснованной позиции таких мыслителей, как Дэвид Пирс.

В одной из своих работ, к несчастью не могу вспомнить в какой, Орсон Скотт Кард отмечает, что пусть конфликт между Добром и Злом может быть основой хорошей истории, он и вполовину не так интересен, как конфликт между Добром и Добром.

Вопрос полного уничтожения боли против простого улучшения, Сверхсчастливые против Веселых, был центральным моральным конфликтом «Тройного контакта». Движущее слово — «конфликт». Я позже понял, что причиной, по которой я получил столько внимания в сторону истории с корабельным Форчаном, было то, что я случайно сделал верную вещь по литературным стандартам: я выбрал значительный конфликт в качестве центральной части истории, дилемму, в которой сам не был уверен, в которой я видел сильные аргументы с обеих сторон. Мои steelmanning-инстинкты заставили меня раздуть этот конфликт, заставить Сверхсчастливых казаться настолько убедительными, насколько возможно, то есть в литературном эквиваленте — сделать злодеев сильнее. (Ни один профессиональный редактор никогда не присылал историю обратно автору с пометкой «Этот злодей слишком силен и его нужно сделать слабее.»)

Подлинный моральный конфликт является в литературе витамином достаточно редким, чтобы «Тройной конфликт» получил серьезное внимание критиков, несмотря на наличие корабельного Форчана. Вы читали множество историей, в которых есть две стороны с различными моралями, но где нет такой вещи, как моральный конфликт. Почти всегда ясно, что автор думает о том, на какой стороне вы должны быть. «Властелин колец» не спрашивает, мог бы Саруман в итоге развить промышленность. «Атлант расправил плечи» не приглашает вас задуматься вместе с автором, является ли капитализм хорошей идеей или был ли путь Джона Галта единственно правильным; вместо этого каждый, кто идет возражать против капитализма, был изображен как слабый, презренный человек со склонностью к криминалу.

Неправильный путь для попытки создания баланса — писать «морально сомнительную» историю Зла против Зла, где обе стороны изображены как подверженные испорченности и коррупции. Это точно плохой ход с точки зрения литературы. Такие истории не создают симпатию-с-моральными-вопросами, потому что никто в этих историях не пытается оптимизировать этику, сделать что-то правильно. У вас не может быть персонажей, которые бьются над открытым вопросом, что лучше всего сделать, если никто в истории не рассматривает вопросы, которые выглядят хотя бы отдаленно убедительными. Ослабление сильного конфликта Добра с Добром до Серого против Серого, не говоря уже о Зле против Зла, — это литературный эквивалент того, как если бы вы отобрали у ваших персонажей пушки и крутые костюмы и отправили их в песочницу драться на лопатках. Нет ничего сложного в истории Зла против Зла, потому что в ней нет интеллектуальной запутанности, подверженной сомнению, и вопроса, требующего длинного обсуждения, потому что у каждой стороны есть сильные на первый взгляд аргументы.

(Заодно отмечу, раз уж коснулись этой темы: художественные истории о сломленных людях, которые ломаются еще сильнее, не приносят удовольствия при чтении с позиций чистого гедонизма. Если вы пытаетесь возразить, что ваша история должна быть классной и еретичной, потому что предлагает малую награду за чтение, не ожидайте одурачить кого-то, обладающего самосознанием настолько, чтобы двигаться на мета-еретичности.) (Прим. пер. — не уверен, что понял, о чем речь идет в этом абзаце, так что перевод может быть неверен.)

Также касательно темы о том, как не следует создавать моральную неопределенность: нет ничего нового в избитом откровении, что жизнь сложна. Да, люди, следующие только деонтологическим правилам, заканчивают тем, что их действия приводят к плохим последствиям. Люди, которые заявляют, что ложь может быть добродетельной, и так далее, и так далее. Действительно хорошие люди мира знают это, они уже начеку, так что персонажи с интеллектом первого уровня тоже будут осведомлены об этом.

Автор, который пытается опорочить каждый идеал таким шокирующим отношением, неизвестным любому из персонажей истории, но, разумеется, хорошо известным самому автору, терпит неудачу в попытке создания интеллекта первого уровня — все персонажи упускают очевидное только лишь потому, что только так автор может вставить их на нужное место в сюжете (которое весьма удобно расположено ниже автора). И наоборот, если вы сами не уверены, какие из недостатков приемлемы, и при этом все равно должны идти вперед, даже зная риски, то для идеалистичных персонажей с интеллектом первого уровня разумно быть столь же неуверенными, как и вы.

Естественный способ подлинно исследовать мораль посредством литературы — честно разыгрываемый конфликт Добра и Добра. Конфликт между высокими идеалами, которые история не пытается очернить, принизить или использовать для показа искушенного авторского цинизма — это все только ослабляет конфликт.

Истинный и незапятнанный идеал не обязательно тот, чьи защитники все чисты, или тот, политика которого не имеет недостатков. Истинный идеал — это цель, которая стоит оптимизации несмотря ни на что и все еще дает теплое яркое ощущение в этом сложном мире. Если вы не можете почувствовать его, это теплое яркое ощущение, и заявить о нем публично, то вы не сможете поместить его в свою историю, не сможете заставить читателей симпатизировать вашим идеалам. Смотрите внутрь себя в поисках морали, этики, эстетики, добродетелей, того, чем вы все еще дорожите в реальности. Вы создадите подлинный моральный конфликт, когда найдете два самых высоких идеала, противостоящих друг другу и равноценных настолько, что вы сами не будете уверены, на правильной ли вы стороне; или когда вы найдете моральный вопрос внутри высокого идеала, в ответе на который вы не уверены и вокруг которого можете построить историю.

Реалистичные злодеи и точки зрения

«Методы рационального мышления» иногда ошибочно принимают за историю с моралью вида Серое против Серого.

Это изумило меня в первый раз, когда я услышал такой отзыв, и я до сих пор на самом деле не могу принять то, что некто мог прочитать МРМ и так подумать. Дементоры — это чистое зло. Фениксы — чистое добро. Я не думаю, что проспойлерю что-то в МРМ, раскрыв свое мнение, что Амикус Кэрроу и профессор Макгонагалл стоят настолько далеко друг от друга в плане морали, насколько это вообще возможно для людей. Возможно, в истории нет чистого белого и черного цветов, но это не значит, что все серое — одного и того же оттенка.

Но когда мы смотрим на мир глазами Драко, мы видим его так, как видит он, со всеми моральными аргументами в пользу Пожирателей Смерти, сформулированными так, чтобы звучать убедительно для Драко Малфоя. Только злодеи в детских книжках формулировали бы свои слова так, чтобы заставить выглядеть героя убедительней, и это истинно независимо от того, насколько на самом деле справедлив герой.

Когда Люциус Малфой выступает на публике, он действует как строгий уважаемый политик, работающий на неблагодарную задачу защиты наивных людей от сильного и харизматичного лидера культа, наподобие Дамблдора… потому что это очевидная история, в которую мог бы автоматически вписаться настоящий Люциус, а не потому, что МРМ ставит его на один моральный уровень с Алисой Лонгботтом.

Но если в мире Люциуса он не выглядит злодеем, почему бы ему не любить своего сына? В модели мира Люциуса он никогда не получал Злодейского Письма, говорящего, что он на стороне плохих парней; поэтому Люциус считает, что у него есть мужество, честь и другие атрибуты Древнейшего Дома, и воспитывает сына соответственно.

Возможно, кто-то делает ошибочное суждение о морали Серого против Серого, если привык к героям наподобие толкиновских, сражающихся против орков и Саурона, или если не понимает, как мало значит, если персонаж считает свои действия оправданными — как мало это говорит читателю об их настоящей позиции на оси добра-зла. Адольф Гитлер был откровенным противником вивисекции животных, который на нескольких обедах показывал изображения насилия над животными в попытке убедить присутствующих не есть мясо. Предположительно, Гитлер тоже не получал Злодейское Письмо. Возможно, он даже не носил черные одежды. В этом и есть разница между книжным Волдемортом и реальным Адольфом Гитлером.

Разумеется, не только злодеи пытаются оправдать себя. Самооправдание дешево, и любой персонаж с толикой ума будет способен гнать его грузовиками. Большая часть искусства рациональности — обучение тому, как сделать самооправдания для себя как можно дороже и труднее. Любой персонаж, который не изображен мастером-рационалистом, не должен иметь сложностей в формировании истории, которая представляет его хорошим парнем, вне зависимости от того, что он делает на самом деле.

Конечно же, это требует от вас умения абстрагироваться от вашей собственной ментальной вселенной и представлять то, как вещи выглядели бы для кого-то еще — это тоже один из ключевых навыков рационалиста.

Экономист Брайан Каплан изобрел улучшенную версию steelmanning, которую назвал Идеологическим Тестом Тьюринга. В данном тесте вы должны выписать аргументы для противоположной стороны настолько реалистичные, чтобы приверженец той стороны не мог отличить ваши выкладки от того, что мог бы написать настоящий защитник той стороны. Идеологический Тест Тьюринга строже, чем steelmanning, поскольку слишком легко убедить себя, что вы придумали «сильнейший аргумент», и куда менее легко одурачить кого-то, кто в самом деле верит в противоположную позицию, относительно того, что вы в самом деле искренне изо всех сил пытались создать лучший аргумент. Это тест на понимание; испытание, чтобы убедиться в вашем настоящем понимании аргументов, в которые вы, по вашим словам, не верите.

Люди проваливают Идеологический Тест Тьюринга, потому что они привязаны к своей картине мира, потому что боятся позволить себе смотреть на мир с другой точки зрения, потому что они терпят неудачу в практике представления другой точки зрения, которая может быть обоснованной.

Гарри из МРМ пытался научить этому навыку Драко, у которого были обычные проблемы с овладением данным умением, в 23 главе (прим. пер. — упомянутый фрагмент на самом деле находится в 22 главе):

«Даже поняв эту мысль, Драко не смог придумать какую-нибудь «правдоподобную альтернативу», как это назвал Гарри, для идеи, что волшебники становится менее могущественными, поскольку мешают свою кровь с грязью. Это было слишком очевидной истиной.

После чего Гарри Поттер слегка раздражённо заметил, что не может поверить, что у Драко и впрямь так плохо получается воображать себя на чужом месте. Наверняка же существовали Пожиратели Смерти, которые изображали врагов чистоты крови, и у них, без сомнения, нашлись бы более правдоподобные аргументы против собственной стороны, чем то, что предлагает Драко. Если бы Драко изображал сторонника Дамблдора и высказал бы идею о домовых эльфах, он бы ни на секунду никого не одурачил».

Когда я описывал Пожирателей Смерти в МРМ, я пытался пройти Идеологический Тест Тьюринга для Пожирателей Смерти — когда я описывал точку зрения Драко Малфоя, я писал о Пожирателях Смерти так, как мог бы их видеть сам Драко. Цель была в том, чтобы настоящий Пожиратель Смерти, который бы прочитал точку зрения Драко, не сказал: «Ага! Это явно писал не настоящий Драко Малфой, а некто, кто хотел выставить Пожирателей Смерти в плохом свете». (Исключая, конечно, те мысли Драко Малфоя, которые внутренне были оптимизированы, чтобы выглядеть хорошо для его друзей и социального круга, а не для читателей-магглов, прошедших эпоху Просвещения.)

Профессор Квиррелл описывался так, чтобы настоящий профессор Квиррелл не смог бы взять произведение в руки и сказать: «Что? Я бы не сказал этого. Есть куда более убедительные аргументы в пользу нации с сильным лидером, например…»

Меня часто нервирует то, как много людей говорят, что они находят профессора Квиррелла слишком убедительным, в то время как его воззрения не являются вещами, в которых я уверен (мягко говоря), но, по крайней мере, это показывает, что я делаю свою работу правильно.

Говорят, что каждый видит себя героем в своей собственной истории. Но это даже не близко не лежит с тем, чтобы быть правдой; насколько я могу сказать, большая часть мира состоит из людей, которые явно верят, что они НПС, и интуитивно будут удивлены и не смогут поверить, если услышат любое предположение, что для них возможно участвовать в сюжете. Есть также люди, верящие, что они антигерои или даже открытые злодеи в их собственной истории. Но это исключения, особенно на литературном уровне; в первом приближении большинство активных персонажей в истории должны верить, что они герои.

Похожим образом каждый активный персонаж также должен жить с картиной мира, где он является центром, а не ваш протагонист. Когда вы описываете точку зрения Боба, каждый объект должен быть упомянут в той степени, насколько он релевантен по отношению к Бобу. Рон Уизли едва ли вообще существует в мире Гарри; но как только мы переключаемся на мир Гермионы, он снова появляется. Драко видит все вещи в той степени, в какой они относятся к нему; профессор Макгонагалл видит вещи в той степени, в какой они относятся к Хогвартсу. Дамблдор все еще постоянно размышляет о событиях с Гриндевальдом, которые произошли в первой половине его жизни. Чтобы пройти Тест Тьюринга для Дафны Гринграсс, я должен описать ее точку зрения так, чтобы некто, читая ее мысли, не мог сказать, что кто-то еще (например Гарри Поттер) является настоящим центром вселенной.

(По той же теме: каждый персонаж является [меметичное предупреждение: TVTropes] Единственным Здравомыслящим Персонажем [/конец предупреждения]. Вот частичный список персонажей МРМ, которые были изображены как единственные здравомыслящие персонажи: Гарри, Гермиона, профессор Макгонагалл, профессор Квиррелл, Драко, Невилл, Дафна Гринграсс, Сьюзан Боунс, Грозный Глаз Грюм, Амелия Боунс и Фоукс.)

То, во что мы правда верим, не ощущается нами как вера или убеждение, оно ощущается так, словно мир таков на самом деле. Действительно верить, что небо синее, не означает ощущать себя причастным к Синим, это означает ощущать себя так, словно небо на самом деле синее.

Процесс создания и становления персонажа — это не только создание его личности. Это экстраполяция вселенной, которая будет картиной мира персонажа — не то, во что он «верит», но окружающая вселенная, в которой, по его мнению, он живет.

Оригинальность

Оригинальность — это не легко, хотя и весьма просто: не делайте того, что уже делалось раньше.

К тому моменту, когда я начал МРМ, я прочитал множество фанфиков по Гарри Поттеру. Я видел всех моих персонажей, все краски в моей палитре, реализованные множеством путей… что, в свою очередь, делало их своего рода стандартом. Был темный Гарри, независимый Гарри, Гарри, который позволял себя затмить Гермионе или Джинни; был порочный Дамблдор и Дамблдор-глупец, Дамблдор, который хотел, чтобы Гарри шел по рельсам фэнтезийной истории, был Том Риддл, являвшийся обиженным сиротой, и Том Риддл, родившийся психопатом, и Том Риддл, в совершенстве владевший магией…

Не столько посредством волевого решения, сколько тем, что это казалось мне само собой разумеющимся, я знал, что мне нужно будет сделать нечто с этими персонажами, чего никто не делал раньше. Гарри, профессор Квиррелл, Дамблдор, Гермиона, Драко, Крэбб и Гойл — все они должны были быть не теми же персонажами в том же антураже, которых мои читатели могли бы видеть в других фанфиках. Если бы мои читатели уже видели таких персонажей, которые слишком похожи, изображение не было бы слишком захватывающим, и это бы означало, что я не смог передать новую информацию, мое сообщение не дошло. (Это философия оригинальности в формулировке шэнноновской информации.)

Я не могу описать творческий процесс, стоящий за созданием персонажей, подробно, поскольку по большей части он состоял из ожидания, пока мой мозг выдаст предложение, которое нельзя было бы отвергнуть по причине неоригинальности. Но я могу рассказать вам об осознанной части процесса, которая заключается в правиле отказа, законе продолжения: не делай того, что уже делалось. Каждый раз, когда мой мозг выдавал нечто, что не было достаточно новым, я продолжал искать, потому что в таком случае мой мозг не помечал поиск как законченный.

Не помню точно, что я думал, когда решал: «Как я поступлю с приспешниками Драко, Крэббом и Гойлом?» — но процесс протекал примерно так:

Глупые Крэбб и Гойл — это уже было, ты читал это десятки раз.

Ладно, перевернем все с ног на голову: Крэбб и Гойл — тайные интриганы. Нет, это требует того, чтобы глупым был Драко, что не вписывается в историю, которая к тому же и так имеет достаточно тайных интриганов.

Тогда пусть Крэбб и Гойл будут как мистер Вандемар и мистер Круп из Neverwhere Нила Геймана (грубый скандальный парень и умный парень, говорящий формальным языком; на TV tropes их бы назвали Эти Два Плохих Парня). Все еще нет. Я не помню такого в тех фанфиках, что читал, но это все еще клише и опять же не подходит истории в целом…

И наконец мой trope-диверсионный модуль выдал: «Крэбб и Гойл — это одиннадцатилетние мальчики, которые выросли, играя роль Этих Двух Плохих Парней, и они думают, что должны такими быть». Такого я никогда не видел в фанфиках по вселенной Гарри Поттера, да и вообще нигде, это подходило под общую историю и смотрелось потрясающе; поэтому поиск был остановлен.

Изначальный шаг в этом искусстве — обучении тому, как отвергать первую идею, которая всплывает в вашей голове — тот момент, когда вы сразу же думаете о глупых Крэббе и Гойле, или что ведьма должна разрываться между оборотнем и вампиром, или что если вы пишете фанфик по «Волшебнику в стране ОЗ», то сам волшебник должен быть непременно из Канзаса. Даже если ваша первая идея никогда не реализовывалась раньше, часто мудрее отвергнуть первую идею, всплывающую в голове (если конечно, эта первая идея на самом деле не представляет собой нечто совершенно потрясающее). Первая идея, приходящая в сознание, чаще всего — завершающий шаблон, очевидный ответ, ничем не удивительный. Иногда нет иной возможности быть эмоционально истинным в вашей истории, кроме как взять очевидный ответ, но чем чаще вы это делаете, тем ленивее становится ваш мозг. Близкий навык к Не Делай Того, Что Уже Раньше Делалось — это Не Делай Посредством Легкого Пути.

Я хотел бы, чтобы у меня был лучший совет о том, как быть креативным, а не просто оригинальным. Я могу направить вас к подцепочке «Свежий взгляд на вещи» на LessWrong.com, но это не даст вам всего, только способ стандартного написания книг. В каком-то смысле оригинальность не является сложной: если вы сделаете профессора Макгонагалл (бросок кубиков) суккубом, который сбежал из Плоского Мира Терри Пратчетта и который постоянно одержим обливанием водой вещей, то такого персонажа, вероятно, никто ранее не делал. Но это простой хаос: в этом нет смысла, по своей сути это не характерно для истории. Оригинальность проста, но, чтобы мыслить творчески, вам придется делать нечто одинаково новое и хорошее, а это уже труднее. Даже так одну часть процесса легко описать: это та часть, где вы продолжаете искать до тех пор, пока у вас не будет чего-то нового или чего-то, что ощущается один в один подходящим для истории (оно не должно быть потрясающим, особенно если это ваши первые приключения в роли писателя, но это должно ощущаться как нечто, что вы можете использовать).

Я завершу этот пост следующим кусочком совета, который предназначен специально для тех, кто пишет фанфики:

Если вы пишете фанфики по Наруто, то либо пропускайте арку про страну Волн полностью, либо сделайте нечто ПОИСТИНЕ ПОТРЯСАЮЩЕЕ с Забузой и Хаку и всей этой историей, потому что, если я прочитаю про ЕЩЕ ОДНУ битву с братьями-демонами, даже если в вашей версии Наруто убьет их ЯДЕРНЫМ ОРУЖИЕМ, я разочаруюсь в вас.

Если нечто уже показывалось читателю десятки раз до этого, нет смысла показывать это еще раз. В фанфикшене эта проблема стоит еще острее. Если событие канона происходило вследствие нужности для сюжета, но не было сделано по-настоящему потрясающе, то покажите только эту часть потрясающей. А еще лучше — просто заставьте нужного персонажа вспомнить все это спустя два параграфа, а не выписывайте для этого целую главу.

Рассмотрим путешествие Гарри по Косому Переулку, как это показано в МРМ. Мы не видим всего, что происходило между походом Гарри к его горам галлеонов и покупкой кошеля. Мы не видим, как он едет на вагонетке к хранилищу или выезжает оттуда. Ничто из этих событий не является новым в фэндоме Гарри Поттера, так что это просто не показывается. Это даже потом не вспоминается, оно просто попадает в промежуток между главами и исчезает.

Общий принцип писательства — вы должны избегать скучных частей настолько, насколько вообще можете себе это вообразить. Есть важный анекдот об авторе, который думал, что напишет все скучные части после того, как расправится с самыми захватывающими и интересными. Когда он закончил писать все захватывающие части, он просмотрел работу, подумал и послал ее редактору в таком виде.

Буквально все, что мы видим в МРМ, происходит не так, как в каноне и прочих фанфиках, потому что иначе не было бы информации для передачи. И происходящее еще и интересно, потому что иначе стоило ли вообще приниматься за эту работу?

Ваши читатели уже читали не только канон с Турниром Трех Волшебников, но еще и десятки фанфиков, где был этот Турнир. Если вы собираетесь создать напряженность в сюжете вокруг этого Турнира, то вам лучше изменить начальные условия, ставки и возможные исходы в такой мере, чтобы это не ощущалось той же сценой, которую читаешь в тридцать шестой раз. И это должно быть не просто отличающимся от ранее сделанного, но и интересно отличающимся.

В фэндоме Наруто есть буквально тысячи вариаций экзменов на чуунина. Лучший из всех Наруто-фанфиков, «Time Braid», описывает временную петлю наподобие Дня Сурка в день экзаменов на чуунина. И в конце этого фанфика начальные условия, ставки и возможные исходы настолько уходят от канона и фэндома, что финал истории не напоминает ничего, что я видел где-либо в Наруто-фанфикшене; и вселенная оставляет после себя такое впечатление, что подобного «исхода экзаменов на чуунина» вы не видели никогда ранее ни в одной из предыдущих историй.

Личности и арки персонажей, вызовы и ставки, конфронтации и сюжетные события, пэйринги и отношения; в фанфикшене вы не должны переделывать буквально все, но вы не можете оставить слишком многое тем же самым.

(Но ясно давайте читателю понять, если в вашей истории допускается изменение фоновых исторических фактов или законов магии. Не делайте так, чтобы изначально законы магии выглядели теми же, а потом, в кульминационной битве, один из законов оказывался другим и тем самым решал исход этой битвы. Потому что это отстой.)

Самосознание и понимание жанра

Ранее я отмечал, что один из путей не сделать ваших персонажей глупыми — попытка спросить себя, что бы вы сделали на их месте.

Что бы вы подумали в первую очередь, дорогой читатель, обнаружив себя загадочным образом перенесенным в магический мир? «Черт возьми, — подумали бы вы, — это, конечно, напоминает множество книг, которые я читал, где протагонист загадочным образом оказывается перенесенным в магический мир». Если вы читали TV Tropes, вам на ум могла бы прийти фраза ‘Portal Fantasy’ (прим. пер. — у нас этот жанр принято называть «попаданческое фэнтези»).

Методы Рационального Мышления, 6 глава:

— Ну, например, вы упомянули, что моих родителей предали. Кто их предал?

— Сириус Блэк, — ответила МакГонагалл. Она почти прошипела это имя. — Он в Азкабане. Тюрьме для волшебников.

— Какова вероятность, что Сириус Блэк сбежит из заключения, и мне придётся выследить его и победить в блестящей дуэли или, что даже лучше, назначить за его голову большое вознаграждение и спрятаться в Австралии, ожидая результатов?

МакГонагалл моргнула. Дважды.
— Почти никакой. Никто никогда не сбегал из Азкабана, и я сомневаюсь, что он станет первым.

— Ладно, — сказал Гарри, — звучит довольно убедительно, — он вздохнул, почесав затылок. — А если так: Тёмный Лорд не погиб той ночью на самом деле. Не окончательно. Его дух продолжает жить, нашёптывая людям кошмары, сбывающиеся в реальности, и ищет способ вернуться в мир живых, который он поклялся уничтожить, и теперь, согласно древнему пророчеству, он и я должны сойтись в смертельной дуэли. Победитель станет проигравшим, а побеждённый восторжествует…

На TV Tropes заметили, примерно на 30 главе МРМ, что каждый основной персонаж, похоже, рассматривает себя в отдельном жанре: «Гарри думает, что это РПГ или научная фантастика, Дамблдор думает, что они в эпическом фэнтези, а Гермиона — что в любовном романе. Кто-то ошибается касательно жанра, внутри которого он находится, но неясно, кто. А Драко думает, что он Лайт из «Тетради Смерти», но он определенно неправ».

Обожаю избитые сюжетные ходы. Они дают мне то, что можно разрушить.

Не в обычной литературной теории, но в литературной практике избитый шаблон о подлинно умных персонажах постоянно ассоциируется с шаблоном Понимания Жанра Касательно Опасных Ситуаций или по крайней мере Понимания Жанра. Потому что если вы обнаружите себя в чем-то, подозрительно похожем на фильм ужасов, вы никогда не будете отделяться от группы. Вы бы громко сказали: «Не отделяйся от группы, идиот!» — или «Именно так погибают люди в фильмах ужасов!» — если бы некто попытался так сделать. «Баффи — охотник на вампиров» — отличное изображение такого взаимодействия между персонажами с интеллектом первого уровня и пониманием жанра, жаль, что сериал закончился после третьего сезона.

Однако вы бы не хотели ассоциировать это понимание жанра с Ломкой Четвертой Стены (если, конечно, не пишете такой фанфик осознанно); вы не хотите описывать персонажа, который был бы слишком крут для вашей истории. Чего вы хотите, так это поместить своих персонажей в подходящие интересные и оригинальные ситуации, непохожие на те шаблоны, которые вы уже читали, чтобы умные персонажи не могли разрешить эти ситуации немедленно или даже предсказать успешно их развитие просто в силу того преимущества, что они читали те же книги, что и вы.

Таким образом есть Деконструкция, Перевернутый Сюжетный Ход, Отвлекающий Сюжетный Ход и другие формы разрушения штампов, неразрывно связанные с жанром умных персонажей.

Умные персонажи заметили бы, если бы автор играл с ними слишком явно.

Персонажи с интеллектом второго уровня

Как я отмечал ранее, Голливуд считает, что быть «гением» — это хорошо играть в шахматы или изобретать удивительные гаджеты. Это не просто до ужаса избитое клише, но и без исключения то, что TV Tropes зовет Сообщенная Способность. Вы можете сказать мне, что персонаж хорошо играет в шахматы, но не можете показать мне этого.

Для того, чтобы показать мне, что персонаж — шахматный гений, вам бы пришлось показать его умение играть в шахматы. Вам бы пришлось вставить изображение конкретной шахматной позиции, дать мне решить, что положение черных ужасно, а потом показать, как игрок черными делает блестящий ход, гениальность которого я могу понять. Такой метод требует, чтобы я, читатель, сам был отличным шахматистом — и даже тогда, возможно, это не сработало бы в литературе.

Так как вам на самом деле показать гениального персонажа?

Представьте дилемму, вставшую перед Орсоном Скоттом Кардом, когда он писал «Игру Эндера» (книгу, не фильм). Кард говорит нам, что Эндрю «Эндер» Виггин — гениальный полководец и превосходно командует космическими кораблями, но это всего лишь слова. Нам никто не сможет показать, как Эндер Виггин организовал корабли в объёмный 3D «строй», чтобы мы могли увидеть собственными глазами, что это намного более подходящий для атаки строй, чем мы могли предположить (особенно в книге, не то что в фильме!). Для того чтобы показать, что Эндер умён, Кард должен поставить его в ситуацию, ужасающую сложность которой мы как читатели сможем ощутить и увидеть, и затем показать манёвр, предпринятый Эндером, который уже будет чем-то, что мы можем понять и сами увидеть, насколько маневр хорош или умен.

Поэтому в начале книги Кард утверждает, что когда вся армия противника заморожена, побеждающий командир с четырьмя незамороженными солдатами открывает вражеские ворота, что знаменует его победу и после чего включается свет и игра закончена. Кард показывает вам, как это происходит, несколько раз, чтобы вы определили это у себя в голове как хорошо известный факт. Затем Кард ставит Эндера против двух армий одновременно, что, по сути, очень трудновыполнимая задача, и, вероятно, даже Эндер не сможет победить, таким образом создавая напряжение сюжета… после чего Эндер перестаёт играть честно, просто ломится вперёд с пятью солдатами и сразу же открывает вражеские ворота. Никому не нужно объяснять, как это работает. Развязка момента кульминации понятна сразу. Правила, по которым определяется победитель, уже известны вам, история показывает ознаменование победы несколько раз, чтобы этот факт находился в вашей памяти в критический момент, когда вам сообщат хорошую идею Эндера, и Кард будет хотеть, чтобы вы поняли её тут же, не останавливая повествование.

Если вы, будучи автором, уже написали несколько таких сцен сами, вы поймёте, что единственная причина, по которой это правило существует во вселенной Эндера, настоящая причина, по которой битвы в военных школах заканчиваются шлемами четырёх солдат, прижатыми к вражеским воротам, в том, что Кард хотел поставить Эндера в заведомо проигрышную ситуацию, решил, что Эндер будет сражаться с двумя армиями одновременно, спросил себя: «Ну и как теперь Эндер сможет победить?», изобрёл условия победы, спросил себя, какого чёрта командиры не будут просто ревностно охранять свои ворота, и решил описать это (в ранних частях истории) как церемониальный финальный ход.

Честно ли это? Нет, но ослабьте верёвку на шее Орсона Скота Карда! Он просто не может показать нам истинный тактический гений того Эндера, каким бы он был в реальности, потому что мы не тактические гении.

Для более органичного примера рассудительности задумайтесь о выкрике Эндера «Вражеские ворота — снизу!» В условиях нулевой гравитации Эндер говорит своим солдатам: вы должны рассматривать ваших врагов как находящихся под вами, чтобы вы могли сориентироваться ногами к ним. Это уменьшает возможную площадь поражения и означает, что вражеские лазеры (которые Кард ранее показал вам!) заморозят вам ноги (согласно правилам, которые вам уже знакомы!), а не ваши руки. Это не какая-то литературная уловка, которой Эндер выигрывает битву против двух армий; это естественная идея для сражения в условиях нулевой гравитации с лазерным оружием. В этом случае я ожидаю, что Орсон Скотт Кард провел день в размышлениях о битвах в невесомости — или же несколько секунд, это зависит от того, насколько был умен, — а потом к нему пришло то, что показалось хорошей идеей. И тогда, возможно, он отверг ее и придумал другую, продолжая до тех пор, пока не пришел к лучшей, которую и дал Эндеру.

«Вражеские ворота — снизу!» также является идеей, которую вы можете представить сами. Вы можете представить, как бы это работало. Вы можете представить невесомость и сориентировать себя так, чтобы враг был под вами, видел только небольшую площадь для поражения, а ваши ноги защищали ваше тело от заморозки. Вам не говорили, что это умно, вы сами можете взять идею и самостоятельно оценить это решение.

И после того как Эндер говорит: «Вражеские ворота — снизу!» — никто из его солдат не кричит :»Это блестяще!» И Эндер сам не думает, насколько это умно. Никто не должен говорить явных слов об интеллекте.

(В общем, говорить о том, что уже было показано, значит уменьшать значимость этого. Смотрите троп «И это ужасно». Мощный момент обычно смотрится наиболее впечатляюще, когда его никто не комментирует и вся сила проходит прямо в сознание читателя. Как кто-то описал эту ошибку начинающего писателя: «Персонаж кричит так, что читателю не приходится». Подумайте о книге, которая заставила вас плакать, если таковая была, и спросите себя, были ли в тот момент там персонажи, которые плакали сами.)

Это ярко видно при изображении обычного голливудского гения: даже лучший сценарист, если хочет изобразить персонажа, хорошо играющего в шахматы, нуждается в ком-то, кто будет стоять рядом с персонажем, восхищенно открыв рот.

Орсону Скотту Карду удалось добиться такого исхода истории, в котором идея Эндера и правда сработала и его солдаты выигрывали битвы. Это «обман» в том смысле, что делает Эндера более умным относительно той когнитивной работы, которую проделал Орсон Скотт Кард для изобретения идеи насчет «ориентации на низ». Как читатель вы, возможно, думали, что «вражеские ворота — снизу» — отличная идея, над которой хорошо поработал Эндер (потому что вам это показали), а не что это одно из двадцати возможных предложений для битв в невесомости, ни одно из которых никогда не тестировалась.

Но, по крайней мере, это не претендующая или очевидная идея, которую история показывает нам как отлично работающую. Не похоже, чтобы Эндер говорил: «Пытайтесь нажать курок два раза подряд!» — и при этом никто в истории никогда раньше не пробовал так делать. Не похоже, чтобы Эндер пробовал нечто нелепо замысловатое (то есть полагался бы на то, что произойдет больше, чем три события, без сверхразумного или пророческого руководства), что сработало бы только благодаря авторскому произволу, а-ля Тетрадь Смерти. И снова воздадим хвалу Орсону Скотту Карду: он ведь не может на самом деле построить такую школу и протестировать свои идеи. По крайней мере это правдоподобно: если бы на самом деле построили такую школу в невесомости и провели бы там детскую битву, то им было бы лучше думать, что вражеские ворота снизу.

Помните, что цель «Игры Эндера» — не доказать, что Кард умен, равно как Кард не пытался доказать, выписывая Эндера, что он сам был семилетним убийцей. Эндер существовал как тактический гений; литературный вызов, стоявший перед Кардом, — то, как он мог вставить этот факт в текст.

Фундаментальное требование в персонажах с интеллектом второго уровня — это Понимание Честной Игры, обобщение Честной Игры в Кто Сделал Это в детективных романах. Это такой тип детектива, где читатель в принципе может разгадать загадку сам, с той информацией, которую ему дает история, где читателя самого приглашают попробовать решить задачу. Это часть удовольствия в хорошей детективной истории — придумать собственную теорию насчет того, Кто Сделал Это, и увидеть в развязке, были ли вы правы.

В обобщенном Понимании Честной Игры — как я понимаю его — решение задач, стоящих перед персонажем, должно быть таким, чтобы читатель в принципе мог бы додуматься до него самостоятельно. Если же в истории буквально нет возможного пути сложить кусочки вместе самостоятельно, это должно значить, что нет смысла в «ответе» как решении когнитивной задачи, это значит, что «ответ» не показывает какой-либо когнитивной работы.

Посмотрите также на Первый Закон Сандерса: «Способность автора решить конфликт магией ПРЯМО ПРОПОРЦИОНАЛЬНА тому, как хорошо читатель понимает высказанную магию.» Как результат, если вы хотите Понимания Честной Игры, чтобы написать хорошую книгу, читатель должен иметь настоящее понимание в своем сознании, а не просто игру в «Поймал!», где вы мельком упоминаете ответ в 26 главе. Чтобы драматично показать интеллект второго уровня, все кусочки паззла должны наличествовать и быть активными в сознании читателя, а не просто упоминаться один раз в единственном предложении на всю книгу ранее, и появляться достаточно часто, чтобы по-настоящему быть в сознании читателя. Так, чтобы читатель говорил «Ну конечно!» в момент драматичной развязки, а не «Стоп, подождите, когда это было..?»

Когда вы будете в следующий раз перечитывать МРМ, заметьте, сколько раз вам напомнили, что Гарри носит кольцо с бриллиантом, являющимся трансфигурированным булыжником, до критического момента в 89 главе, где использование данного факта никак не замедлило темп истории.

Закон Винжа

Закон Винжа гласит: если вы точно знаете, что сделал бы умный агент, вы должны быть по меньшей мере так же умны. Если вы точно знаете, куда бы походил Deep Blue, вы и сами можете сделать такой же ход и играете по меньшей мере так же хорошо, как и он. В теории мозаичных (самособирающихся) агентов закон Винжа проявляется в виде правила, что самомодифицирующийся агент не может знать точные выборы, которые сделает будущий он, до того, как решится на самомодификацию (поскольку тогда каждая последующая версия должна была бы быть последовательно глупее).

Место, где математик Вернон Винж нашел это наблюдение, — литературная теория научной фантастики: Винж видел, что он не может написать реалистичных трансгуманистичных персонажей, поскольку ему пришлось бы быть умнее, чем эти люди сами по себе, чтобы понять, как бы они поступали. Люциус Малфой в МРМ перефразирует закон Винжа и его литературную интерпретацию, когда рассказывает Драко, что пьесы наподобие «Трагедии Лайта» никогда не являются реалистичными, поскольку если бы постановщик был так же умен, как Лайт, он бы попытался захватить мир сам, а не ставил бы пьесы.

Это не значит, что вы должны бросить попытки описать умного персонажа, потому что считаете, что сами не так умны. «Быть умным» — это то, в чем вы сами можете решить стараться сильнее, то, что вы можете практиковать, а не что-то, что имеет фиксированную величину; инсайт, который имеет имя «мышление роста», можете погуглить (прим. пер. — в оригинале growth mindset, который у нас как только не переводят. Например, книга Кэрол Двек с таким названием и на эту же тему у нас вышла как «Гибкое сознание»). Но вам понадобится задействовать значительные объемы настоящего вашего разума, чтобы описать персонажа со вторым уровнем интеллекта.

Мы можем рассмотреть методы, при помощи которых Орсон Скотт Кард создал Эндера Виггина, как обобщенные скрытые уловки, которые формируют персонажа, чьи действия имеют больше видимой когнитивной работы, чем вы сами вложили в него, в ограниченное нарушение закона Винжа.

Первый скрытый трюк — это реверс-инжиниринг проблемы вокруг ваших идей возможных решений. Perfect Lionheart однажды написал: «Маггл с зажигалкой может зажечь огонь любого сорта, в то время как волшебник заклинанием для прикуривания может только зажечь сигарету». Так что если вы как автор видите, что протагонисту понадобится поджечь что-то в 20 главе, просто сделайте так, чтобы он выучил заклинание для прикуривания в 5 главе.

Я думаю об этом как об обратном трюке Lionheart, и это особенно применимо к манчкиновским моментам — событиям, вовлекающим новые применения существующих сил. Но любой релевантный факт может быть тем, который вы создали в прошлом; например в 26 главе, когда фальшивая газетная история упоминает долг крови Уизли дому Поттеров, устанавливая определенное правило для создания долга крови. (Хотя я отмечаю, что ключевым моментом, когда этот смутный факт понадобился для решения задачи, была пауза между главами, где я изначально дал читателям пару дней на то, чтобы перечитать и в большей степени осознать ответ.)

С этим тесно связана вторая хитрость — давать персонажу только те проблемы, с которыми он может справиться. Орсон Скотт Кард не забросил Эндера Виггина в комнату битв голым и в одиночку, потому что тогда Эндер не смог бы выиграть, так что Кард не стал так делать. Возможно, Кард рассматривал несколько различных вызовов для Эндера, до финальной битвы против двух армий, и выбрал только тот, в котором, по его мнению, Эндер мог выиграть. Опять же, это путь создания персонажа, который относительно своей вселенной умнее, чем вы вложили в него своей когнитивной работы; автор решает один из многих возможных вызовов, а персонаж демонстрирует свою способность справиться с чем угодно.

Я достаточно тщеславен, чтобы сказать вам, что я, скорее всего, не использовал столько скрытых литературных трюков при создании МРМ, сколько вы подумали. Например, я не заставлял Дамблдора в 17 главе говорить, что мантия невидимости может спрятать от взгляда смерти, чтобы потом использовать это в Азкабане. Это было лишь отсылкой к канону; а потом, уже во время написания арки Азкабана, я понял, что случайно дал Гарри ресурс, который был ему нужен, чтобы спрятать Беллатрису Блэк даже после того, как патронус Дамблдора отследил патронуса Поттера, после чего Гарри пришлось отменить свои чары. Но я должен признать, что если бы не было этого способа для Гарри справиться с этой проблемой, то у Дамблдора не было бы возможности отследить патронуса Гарри.

Третий скрытый трюк — это когда вы как автор решаете, что звучащая умно идея работает, когда в реальной жизни узнать работоспособность идеи можно только путем ее тестирования. Идея может все еще казаться умной, вам все еще нужно играть по правилам Понимания Честной Игры, чтобы иметь решение, которое будет выглядеть настоящим… но в реальной жизни большинство идей, приходящих в голову, все же являются неправильными.

Вот почему Элиезер Юдковский не захватывает мир путем симуляции профессора Квиррелла у себя в мозгу, как всерьез предлагали мне некоторые люди. Не хочу показаться бесстыдным, но на деле это был бы для меня шаг назад. Модель, которую я использую для создания профессора Квиррелла, даже близко не стоит с тем, чтобы использовать все методы, которыми я владею. В реальном мире все сложнее, чем для персонажей в историях, умные озарения куда реже являются истинными и умные стратегии куда реже оказываются рабочими. В реальной жизни мне приходится пробовать буквально десять идей, чтобы найти единственную идею, которая работает, часто прилагая усилия годами, прежде чем сдаться или преуспеть. Да, я известен невероятными уловками типа «написать фанфик по Гарри Поттеру, достаточно хороший для того, чтобы привлечь медалистов математических олимпиад», но это не единственный трюк, который я когда-либо пробовал. Вы просто не слышали столько же о моих умных идеях, которые не сработали после множества лет, когда я пытался делать странные и не очень вещи, чтобы выполнить свою задачу.

В литературе вы как автор можете решить, что отличная идея сработает, и реализовать ее, приправив потом, болью и непредвиденными последствиями, чтобы читатель мог ощутить, что персонаж сам добился всего. Вы не можете избежать проклятия построения вашей истории на умных идеях, которые по меньшей мере вряд ли сработали бы в реальной жизни, не только потому, что вам нужно тестировать идеи для поиска рабочих, но и потому, что в реальной жизни мы можем говорить об отношении провалов и успехов 10:1. Мы видим провал Гарри в 22 главе, потому что я ощутил, что должен сделать ударение на том, что умные идеи не всегда срабатывают. Но более реалистичную историю, где было бы 2 рабочих на восемь неудачных идей Гарри до того, как он сделал первое открытие в 28 главе, было бы не особо весело читать или писать.

Но! То, что вы обязательно должны жульничать таким образом, совершенно не означает, что вы имеете право жульничать, чтобы это выглядело как жульничество. К счастью, благодаря обычному человеческому оптимизму и ошибке планирования вашего интуитивного чутья по поводу «насколько хорошая идея кажется работающей» уже хватит на то, чтобы все замыслы и умные идеи выглядели бы гораздо более успешными, чем они были бы в реальной жизни. Если же вы возьмете идею, которая интуитивно кажется посредственной, или идею, которая кажется хорошей, но недостаточно умной, чтобы сработать, и ваш персонаж победит с помощью такой идеи, то результат нельзя будет считать литературой.

В течение некоторого короткого времени я планировал, что Гарри улетит из Азкабана на ракете, приклеенной к метле суперклеем. Но, когда я начал писать эту часть текста, я осознал, что в реальной жизни любой, кто попробует такое проделать, неизбежно погибнет. Это чересчур даже для вымышленной истории. Поэтому мне пришлось сделать так, чтобы профессор Защиты очнулся и улучшил изобретение. После этого идея на интуитивном уровне стала больше походить на работающую. Хотя если бы вы попробовали проделать что-нибудь подобное в реальной жизни, вы с огромной вероятностью врезались бы в стены Азкабана и погибли, или чары неразрушимости, наложенные профессором Квирреллом, случайно бы подействовали на твёрдое ракетное топливо или сделали бы какую-то гибкую деталь негибкой, и так далее. Крайне тяжело сделать так, чтобы сложное новое устройство заработало с первого раза. Когда НАСА запускает космический аппарат, который нельзя полностью проверить заранее, требуются годы тщательных раздумий, планирования и перепроверок.

Все три хитрости позволяют в некоторой степени нарушать закон Винджа. Внутри, в мире текста, персонаж решает именно ту задачу, которая перед ним стоит, всего лишь с помощью тех ресурсов, что оказались у него под рукой, и благодаря идее, которая кажется достаточно хорошей, чтобы на самом деле сработать. Снаружи автор переделывает прошлое, начиняя его фактами, которыми можно воспользоваться нетривиальным образом, подбирает задачи, с которыми можно справиться, и подбирает идеи, которые относятся к категории «интуитивно кажутся очень умными», а не «абсолютно точно работающие в реальной жизни».

Даже при этом создание умных персонажей второго уровня требует от автора труда и наличия собственного интеллекта. Голливудский способ создания стереотипных гениев можно расценить как вариант абсолютной лени. Сценаристы изображают гениев, совершенно не включая мозг, они даже не трудятся попросить своих друзей-учёных поделиться техническими словечками. Семнадцать языков, удивительные гаджеты, побеждает гроссмейстера в шахматы, не умеет ухаживать за девушками? Все эти черты объединяет то, что их можно написать, не прикладывая существенных умственных усилий.

Поэтому берегитесь искушения ленью и будьте осторожны с тем, как вы жульничаете. Покажите, как персонаж страдает, покажите раздумья, покажите, как его интеллект второго уровня приводит к успеху. Покажите непредвиденные последствия. Заставьте персонажа иногда проигрывать. Только продемонстрируйте, что идеи срабатывают тогда, когда интуитивно кажется, что они должны сработать, причём, возможно, не всегда.

Вы можете иногда получить внутри вселенной более умного персонажа, чем вложили в него. Но вы не можете получить нечто из ничего. Я советую вам не думать, что вы можете полностью положиться на различные уловки, а стараться быть умным так, чтобы вы могли создавать Понимание Честной Игры, лежащее в основе Интеллекта Второго Уровня. В этом смысле тут нет отличий от Интеллекта Первого Уровня: все еще должна существовать эмпатия, которая питает его основу.

Неиспользуемость уязвимостей

Персонажи с интеллектом второго уровня иногда изображаются как делающие нечто новое, что удивляет других персонажей, и почти всегда эти вещи должны быть Озарением Честной Игры. Тогда почему же удивляются враги — почему же они не получили Озарение Честной Игры сами? Возможно, потому, что враг не столь умен, как протагонист. Возможно, потому, что у персонажа есть секретное оружие, личный ресурс, о котором враг не знал (например, Истинная Мантия Невидимости). Но если ваш персонаж делает нечто, о чем не подумала вся цивилизация, мы должны спросить: а почему целая цивилизация не подумала об этом?

Есть старая шутка, что если экономист видит двадцать долларов на тротуаре, то он не станет их поднимать, решив, что если бы они были настоящими, их бы кто-нибудь уже подобрал.

На деле, если вы находитесь на пустынной улице, то достаточно правдоподобным является предположение, что вы первый, кто нашел эти деньги. Когда я спросил 20 людей, происходило ли такое с ними, четверо сказали, что да. Но можно заметить, что остальные ответили нет. И если вы видите сто долларов на полу Большого Центрального Вокзала в течение часа, то можно сделать ставку на то, что они к нему приклеены или же на этом полу нарисованы.

Поскольку я еще не видел официального термина для этого обобщения идеи «эффективных рынков», я решил использовать термин «неиспользуемость уязвимостей».

Если множество людей хотят чего-то, существующего в ограниченном количестве, то удивительно существование легкого пути, которым может воспользоваться любой, для получения данного ресурса. Много людей хотят денег, так что удивительно найти на дороге двадцать долларов. Это происходит редко, в тех случаях, когда улица пустынна — наше общество не сканирует постоянно улицы на предмет валяющихся денег; это не стоит таких усилий. Но двадцать долларов не будут лежать часами на полу Большого Центрального Вокзала. Прохожие достаточно адекватны, чтобы поднять их. Пытаться найти двадцать долларов на полу Большого Центрального вокзала — наивно; тут нет низко висящих фруктов, они уже собраны, мы ожидаем, что такая проблема не будет не использовать уязвимости.

Эта идея имеет свои недостатки. Краткосрочные рынки акций неиспользуемы, но это вследствие большого количества умных людей, которым платят большие бонусы, если они могут предсказать и скорректировать единичный недостаток на временной шкале, где они получают много обратной связи о том, работают их идеи или нет (я определил краткосрочные рынки акций), используя механизм агрегации (ценообразование на рынке), который на практике работает превосходно, суммируя вклад каждого. Это условия, при которых стандартная теория хорошо предсказывает неиспользуемость. Вы не должны показывать, как ваш персонаж удваивает свои деньги за месяц путем торговли на рынках, пока у него не будет наиболее продвинутого ИИ в мире или он не будет иметь глобальное уникальное предсказание или способность путешествовать во времени; буквально никто так не умен.

С другой стороны, прямо сейчас (2014) Европейский Центральный Банк делает ошибки прямо по учебнику экономики, становясь причиной бессмысленного ущерба в миллиарды евро в европейском сегменте. Некоторые из моих друзей, похоже, думают, что некоторое обобщение «эффективных рынков» подразумевает, что они должны бросать на меня сомневающиеся взгляды, когда я говорю, что это правда и что я знаю, что это правда, потому что как я могу быть уверен, что знаю лучшую денежную политику, нежели профессиональные экономисты, работающие в ЕЦБ? Разве это не какой-то вид сверхуверенности — думать, что я могу найти трейдинговую стратегию, которая побьет рынок?

Ну вообще-то не совсем. Насколько я знаю, буквально никто в комитете по решениям в ЕЦБ не получает зарплату в зависимости от того, хороша ли ситуация в Европе. Их работа зависит от впечатления, которое они производят на политиков, которые не являются экономистами. Никто еще не может вмешаться и сделать миллион евро путем лучшей работы. При таких условиях стандартная экономическая теория не очень хорошо предсказывает эффективность.

Аналогично абсолютно разумно для вашего персонажа проводить лучшую политику, чем та, которую использует его центральное правительство. Абсолютно разумно для королевских армий игнорировать дракона, который опустошает деревни, оставляя дело в руках протагониста, потому что бюрократам, отвечающим за борьбу с драконом, не заплатят больше, если дракон будет убит, и никто кроме них не имеет власти принять решение. В реальной жизни такое происходит все время.

Но если вы показываете, как персонаж в вашем мире делает много денег при помощи комбинации из двух простых заклинаний, которые знают все, вам действительно надо задуматься, почему об этом не догадался кто-то еще.

Наруто хуже в этом балансирующем искусстве, чем любой другой сериал, который приходит на ум. Я говорю не просто обо всех этих техниках, что предположительно выучиваемы, но при этом их использует только один персонаж за раз. Но невозможно, чтобы все еще существовали армии наемников или обычных людей, когда (а) достаточно чакра-пользователей, которые по средствам доступны даже фермерам, при этом не каждый генин супербогат, и (б) ребенок-ниндзя может побить взрослого громадного наемника без особых усилий. Чакропроводящий метал редок и не у всех есть чакра-оружие? Отлично, если вы придерживаетесь этого правила последовательно, но Страна Снега имеет столько этого металла, что даже делает доспехи из него! Это все равно что в нашем мире никто бы не додумался до простой мысли «Возьми нечто, что дешево в пункте А, и продай его там, где оно дорого.» Это было известно еще до изобретения денег. Мы можем отслеживать кремневые орудия, которые путешествовали по континентам.

Древние греки не вывели идею естественного отбора, хотя имели всю нужную информацию; и во многих темных углах мира, как, например, в Америке, идея все еще полностью не принята. Иногда вещи удивительно неочевидны и сложны для понимания. Но «взять нечто дешевое в А и продать его в Б, где оно дорого» — не одна из этих неочевидных штук. Вы можете представить, как это работает, можете сделать это, это окупается, другие люди повторяют эти действия за тем, кто стал богатым, и таким образом эта идея распространяется по всей человеческой истории.

Если вы решаете, что Страна Снега имеет достаточно чакропроводящего металла для создания больших проектов, вы не можете сказать, что чакропроводящий металл редок и дорог в Стране Огня, до которой всего лишь месяц пути. Ваш мир не должен быть так неиспользуем, как краткосрочные фондовые рынки, даже близко, но он не может быть неиспользуем без причины.

Сюжет МРМ позволяет Гарри иногда получать озарения, которых другие волшебники не видят, и делать это за месяцы, а не за десятилетия.

Чтобы сделать это более реалистичным, делаются два основных предположения.

(1) В самом начале МРМ (пятая глава) делается предположение, что только малое количество магглорожденных поступают в Хогвартс каждый год и все они уходят из маггловского общества до того, как могли бы получить научное образование. Культурное взаимодействие с маггловской Британией, не говоря уже о реальной торговле, неявно показано как весьма ограниченное (согласно канону). Это допущение позволяет Гарри приходить к инновациям, которые являются Честной Игрой относительно читателя, поскольку читатель также знает маггловские штуки, которые неизвестны волшебникам.

Хотя МРМ не вдается в детали, отсутствие торговли между магической и маггловской Британией подразумевает некоторые причины заднего плана, например почему Уизли не могут просто пойти и сделать миллионы фунтов на продаже исцеляющих чар богатым магглам. Предположительно люди наподобие Люциуса Малфоя организовали жесткое ограничение торговли с магглами — для защиты бедных невинных магглов, возможно — так чтобы только люди наподобие Люциуса Малфоя могли преумножать состояние своей семьи на этом, а все остальные — нет. (Это также правдоподобный момент, где идея Гарри о золоте и серебре скорее всего натолкнулась бы на препятствие — есть множество собак, что не лают, и множество рикардианских сравнительно хороших сделок, что не происходят, а не только одна.)

(2) Роулинг в одной из записей говорит, что всего в Хогвартсе учится порядка тысячи студентов (подразумевая, что в год поступления Гарри были студенты, но их просто не показали в книгах канона) Это, в свою очередь, подразумевает примерно 10000-20000 людей в магической Британии — то есть их «страна» на самом деле небольшой городок. И Дж.К. Роулинг последовательно выписывает Люциуса Малфоя как богатого парня из небольшого города, а Корнелиуса Фаджа — как глупого мэра такого города.

В реальной жизни малый размер магической Британии мог бы и не уменьшать скорость прогресса так, как мы могли бы наивно ожидать. По причинам, которые мне неясны, число гениев и скорость прогресса в цивилизации, похоже, не масштабируется вместе с общей численностью населения — возможно, по той же причине, по какой малые стартапы могут быть столь же креативны в среднем, как и гигантские компании (вне зависимости от того, что это за причина). Однако если магическая Британия стоит в ряду наиболее образованных и организованных магических наций, и в ней только 20000 людей, то будет разумно, что прогресс в магическом мире является медленным.

Учитывая эти два предположения, пара десятков мистиков на службе у Департамента Тайн могут легко потерпеть неудачу в попытках увидеть возможности, заключенные в Маховиках Времени, и закончить тем, что начнут использовать их просто для подгонки расписания в Хогвартсе. Первые истории о путешествии во времени, за авторством Уэллса, тоже были о посещении далекой земли будущего, а не о решении NP-проблемы. Сменилось несколько поколений нашего большого мира авторов научной фантастики, повторявшихся в своих историях, чтобы путешествие во времени ассоциировалось со всеми возможностями, о которых я могу подумать в 2014 году. Магическая Британия не имеет такой длинной традиции научной фантастики, написанной лучшими авторами нашего большого мира, чтобы предложить эти возможности для путешествий во времени. И поэтому Гарри, выросший на фантастике, может видеть эти возможности, в то время как, по моему предположению, другие волшебники не могут. В каноне только Гермиона Грейнджер предприняла попытку использовать Маховик Времени не по назначению, и она была магглорожденной.

Это цивилизационная неадекватность — обратная сторона неиспользуемости уязвимостей. Если ваш персонаж превосходит цивилизацию, то должны быть причины для этого. Не обязательно хорошие оправдания, но реалистичные цинично-экономические причины: проблемы с координацией, проблемы принципала-агента, люди, гоняющиеся за статусом, комитеты, где никому не платят за успех проекта. Или даже более обыденное: ни у кого еще нет магического ресурса, только несколько человек слышали о магическом секрете, ваш протагонист из другого мира и использует методы мышления, которые не были изобретены в течение тысячелетий на нашей Земле, и так далее.

Вам не нужно заходить слишком далеко в поиске причин цивилизационной неадекватности. В реальной жизни цивилизация справляется куда хуже, чем вы можете наивно предположить на основе количества людей и того, как, похоже, их что-то волнует. Даже страны, о которых мы читаем в книгах по истории, при всех их недостатках, были странами, что функционировали достаточно хорошо, чтобы оставить след в мировой истории. Британия времен Второй мировой была необычно квалифицированной страной, в то время как Франция тех же времен просто коллапсировала, когда вражеские танки вошли в нее. В таком свете Корнелиус Фадж не так уже нереалистичен даже в качестве правителя большой страны.

Но если вы автор произведения, рекламируемого как интеллектуальное, вам, возможно, придется иметь дело с наивными ожиданиями читателей. Они могут спросить: «Почему Король без необходимости провоцирует Павшую Империю?» — несмотря на то, что книги по истории изобилуют примерами глупости куда большей. Они могут спросить: «Почему же никто больше не использует заклинание воскрешения?» — когда заклинание воскрешения в книге дорого или труднодоступно, а в реальной жизни почти никто не подписывается на крионику, которая стоит мне 125 долларов в год за членство и 180 долларов в год за страховку.

Это основная причина для рационалистского фанфикшена.

Азкабан в том виде, в каком его описала Роулинг, полностью реалистичен. Если в американских тюрьмах нет дементоров, то это потому, что у американских политиков нет дементоров вообще, а не потому, что они лучше тех людей, что заседают в Визенгамоте. Сексуальное насилие является обыденностью в американских тюрьмах, в то время как его можно было бы легко предотвратить при помощи видеонаблюдения. Американские тюрьмы хуже Азкабана в том отношении, которое Роулинг не могла легко имитировать без того, чтобы сломать приостановку читательского недоверия. По крайней мере волшебный мир не помещает в тюрьмы тех, кто курит марихуану.

И даже так: если бы Азкабан был моим собственным изобретением, кто-то мог бы спросить насчет реализма реакции Гарри на Азкабан, в отличие от всех тех людей в магической Британии, которые, похоже, не замечают, что Азкабан — моральное преступление. (Как и американцы не замечают моральные преступления! Роулинг не была так уж нереалистична!) Как это Гарри видит все эти ютили (прим. пер. — тут, насколько я понял из http://wiki.lesswrong.com/wiki/Utility, имеется в виду единица измерения полезности) которые можно получить, уничтожив Азкабан, когда никто больше не видит этого? (Ответ: невозможно для любого участника арбитража сделать сотни тысяч галлеонов выручки, если у них есть озарение, что Азкабан бессмысленно жесток, поскольку стандартная экономика не предсказывает моральную эффективность так, как предсказывает эффективные рынки.) Возможно, Элиезер Юдковский изобрел Азкабан только чтобы одержать победу своим супергероем, и поместил его в мир как сырую неэффективность, соломенное чучело…

Но я не изобретал Азкабан, он был прямо в каноне и миллионы читали Роулинг и (вежливо) приняли его как данность, а не заявили (невежливо) что там нет (плохой) демократии (размера малого города), чтобы сделать такую вещь, и что она придумала Азкабан, только чтобы показать превосходство моральных установок ее героя.

В фанфикшене вы можете написать истории о чьей-либо вселенной, которую вы не изобретали и которая будет используемой, вселенной, чьи читатели, однако, были слепы так же, как слепы к возможностям и ужасам реальной жизни. Более того, ваши читатели будут знать, что множество читателей канона приняли фоновую неадекватность как нечто не делающее персонажей бесчеловечными, как и их цивилизации. «Вы говорите, это нереалистично? А вы подпрыгивали с криком «никто в обычной жизни не сделал бы этого!», когда читали канон? Подпрыгивали? Ну а буквально миллионы других читателей — нет».

В МРМ я могу указать на Азкабан и сказать «потому что он был там». Равно как и в нашей собственной вселенной это не мое личное мировоззрение — верить, что правительства продавали бы рекламируемые лотерейные билеты даже после показа того, что эти лотереи являются причиной уменьшения в среднем на 3% расходов на еду в малообеспеченных семьях. Не то чтобы я показывал, как циничен я насчет политиков; это факт, который я вбросил бы в фик по Земле как фоновую истину без того, чтобы оправдывать его. В МРМ я могу сказать то же самое о Корнелиусе Фадже, хотя источник — Роулинг, а не реальный мир. Важно то, что цивилизационная неадекватность уже дана, а не выписана мной как мое собственное утверждение.

Некоторые люди обвиняют меня в том, что я сделал МРМ более использующим уязвимости, нежели канон, поскольку Роулинг говорила, что дементоры скорее депрессия, а я отнес их к смерти. Это правда, что в таких случаях я не могу просто сказать, что так было в каноне, но… да ладно вам, дементоры — это летающие трупы, которые не могут ничего, кроме как убивать или разрушать, и могут быть побеждены только счастливыми мыслями в виде животных. Слова за пределами истории, что они вдохновляются депрессией, звучат как мощное утверждение о том, как ужасна депрессия, но были бы приуменьшением для этой загадки, если бы вы были реально внутри этой вселенной. Например, если бы вы блуждали в магической вселенной и увидели несколько неубиваемых трупов, что можно отогнать только счастливыми мыслями в форме животных и вы бы типа: «Хм… что это может представлять… смертность? Да не, думаю, депрессия», — это значило бы, что вы сильно постарались, чтобы дать контринтуитивный ответ. С моей точки зрения, дементоры-это-смерть — это Озарение Честной Игры относительно наблюдений, что вселенная канона дает нам.

(Но тогда мы должны продолжить логику рассуждений: Озарение Честной Игры не имеет защиты от того, чтобы не вмешались Годрик Гриффиндор и Ровена Рейвенкло. Вам не нужна наука магглов, чтобы решить эту загадку. Так что теперь нам надо спросить: почему Гарри был первым, кто подумал об этом? Разве кто-то не подумал бы уже об этом, если это так очевидно? Таким образом, как только Гарри узнает, что дементоры есть смерть, история тут же объясняет, почему те, кто понял это, хранят данное знание в секрете, и Гарри понимает, что Годрик Гриффиндор тоже был среди тех, кто догадался. Истинный Патронус базируется на редком состоянии разума, которое, к моему сведению, было впервые описано Фрэнсисом Бэконом в «Новой Атлантиде» в семнадцатом столетии: решение, которым вы и ваша цивилизация попытается уничтожить саму смерть, вашей собственной силой, а не только при помощи существующих стражей защитить вас. Это традиция, которой следует только Гарри; и правдоподобно, что Годрик и Ровена, которые не росли на тех же научно-фантастических книгах, никогда не достигали того же состояния разума. Все это должно быть рассмотрено в фоне, если не явно в истории, каждый раз, когда какое-то озарение или изобретение позиционируются как относительно новые касательно окружающей цивилизации.)

Я получил много откликов насчет того, что сделал дементоров воплощениями смерти. И меня на самом деле обвиняли в том, что я описал их так, что только Гарри мог понять это. Тут можно увидеть, что случается без возможности ответить «потому что канон!», когда автор начинает помещать то, что каждый считает только используемостью авторского произвола.

И поэтому есть истории, которые вы можете рассказать в фанфикшене, но которые вы не можете легко рассказать иначе, поскольку в фанфикшене читатель знает, что вы не создаете искусственно проблемы, с которыми встречается герой.

Объясняя другие вселенные

В «Неиспользуемости уязвимостей» я описал, как Азкабан мог появиться в МРМ только потому, что это изобретение Роулинг, а не мое. Можно обобщить это явление: есть авторские решения, которые вы не можете сделать сами и которые только автор может сделать для вас.

Введение Даров Смерти и их значение в МРМ я смог сделать только потому, что Роулинг уже сделала семейным девизом Поттеров «Последний враг истребится — смерть». Я никогда не смог бы изменить значение этого предложения из девиза Поттеров, не будь этого в каноне! Можете вы представить негодование читателей? Можете вы представить, как громко бы кричали люди «Двигатель сюжета!» или «Нет, это слишком уж удобно!» и «Это вообще неправильно, трансгуманизм не то, что передается от родителей и что можно унаследовать, это решение, которое мы принимаем сами!» И они были бы правы, не будь этой эпитафии на могиле Джеймса и Лили.

Поскольку надпись была на надгробном камне Поттеров, было бы неправильно, если бы я переиначил и придумал ее сам, сделав бы моментом святости, неожиданного эхо сквозь время. (Что внутри истории должно было вовлекать магию, пророчество, судьбу или что-то еще, потому что внутри истории подобные вещи не могут быть простым совпадением. Даже когда в реальности Роулинг поместила эти слова на надгробный камень без мыслей о МРМ.)

И глубже: чтобы каким-то образом объяснить и раскрыть наблюдения, что уже были в истории, так, чтобы сделать их правдоподобнее. Мне не пришлось оправдывать семейный девиз Поттеров или думать, как бы выкрутиться с ним красиво, потому что он уже был подходящим. Это было нечто, что ощущалось правильным для меня, иметь предположение Гарри насчет дементоров, которое я не ощущал бы, если бы Роулинг не заложила его в наблюдения.

Есть то, что ощущается естественным в использовании законов и объяснении фактов, что некто заложил их, возможно потому, что это привязывает сходство к реальному вызову, что мы бросаем против Природы.

Один из путей для такого ощущения — это путь хорошей фантастики и фэнтези: иметь малый набор заранее заданных условий, таких ужасных, что к моменту, когда они переходят в проблемы и загадки, вы не чувствуете, что вы выбрали их, потому что они проистекают из закона.

Но этот путь труден и работает не для всего. Есть простые законы, которые вы можете определить для путешествий во времени, и тогда все следует из этого; но нет простых законов, что создают дементоров, или Азкабан, или надгробный камень Поттеров.

Так что другой путь — это писать истории внутри чьей-то еще вселенной и следовать наблюдениям этой вселенной, пока вы не начнете давать свои собственные ответы на ее загадки и выводить дальнейшие факты, которые требуются для ваших ответов как фоновые истины.

Вот так и создаются рациональные фанфики.

Разрешимые загадки

Одним из главных сюрпризов при написании МРМ для меня было то, насколько сильно я недооценивал Иллюзию Прозрачности.

Иллюзию прозрачности можно наблюдать в экспериментах, где человеку говорят выстучать пальцами ритм мелодии (не такой, какая сразу приходит на ум, но все же достаточно известной), а потом предлагают оценить вероятность того, что другой человек поймет, что это за мелодия. Если человек оценивает вероятность в 50%, то на деле результат оказывается в районе 2%. Примерно так же люди считают, что разница в их искреннем «да» и саркастичном «да» куда заметней в телефонном разговоре, нежели на самом деле.

Иллюзия прозрачности постоянно напоминала о себе, пока я писал МРМ:

Некоторые вещи, которые я считал очевидными и вовсе не планировал делать загадочными, которые, согласно моей оценке, должны были сразу приходить на ум среднему читателю, становились предметом жарких дискуссий.

Ключи, которые я выкладывал практически на самое видное место и которые могли быть сюрпризом разве что среднего уровня в момент осознания, судя по обсуждениям, не замечались большинством людей. Читатели предлагали идею, которую я изначально закладывал, значительно реже, чем другие, или же она вообще появлялась только после раскрытия загадки, при том что к этому моменту свидетельств было уже достаточно, чтобы убедить среднего судью.

Те моменты, что я полагал тонкими настолько, чтобы десятая доля читателей догадалась о них уже при втором прочтении, замечались только единицами из сотен, а то и вообще пропускались, пока кто-то лишь спустя несколько лет не поднимал про них тему, получая в ответ волну скептицизма.

Следует заметить: несмотря на то что может показаться, будто я упрекаю своих читателей в недостатке интеллекта, это не так — часто читатели предлагали альтернативные гипотезы происходящего в истории, о которых я никогда и не думал. Например, что Квиррелл — это Гарри, вернувшийся во времени, и именно поэтому они не могут касаться друг друга, ведь, как я сам писал в 14 главе, обращенная во времени материя ведет себя как антиматерия, и именно этим объясняется ощущение обреченности, описанное в 16 главе. Это вполне обоснованная гипотеза, хотя мне она никогда не приходила в голову! Меня ослепило знание реальных фактов моей истории; я знал, что происходит, и поэтому не ощущал неопределенности и любопытства, которые могли бы помочь мне увидеть валидные альтернативные гипотезы (весьма важный урок!).

Это дало мне возможность представить вам Новый Улучшенный Рецепт встраивания загадок, уловок и свидетельств в вашу историю.

Прежде всего определите те по-настоящему важные для сюжета фоновые факты, которых, с вашей точки зрения, персонажи не знают и на которых текст не должен делать явный акцент до самой развязки.

И не делайте абсолютно ничего, чтобы скрыть их. Никаких ложных путей, если не считать тех, что антагонисты истории могли подготовить для обмана героев. Не прячьте улики и свидетельства, даже если они кажутся вам чересчур очевидными. Не волнуйтесь, что читатель догадается слишком рано. Просто позвольте фактам истории отбрасывать какие угодно вопиюще огромные тени, пока история попросту не выплюнет буквальную истину прямо в текст.

Благодаря иллюзии прозрачности это все будет трудней заметить и свести в общую картину, чем вам кажется. Все это будет загадкой, которую внимательные читатели будут обдумывать по мере прочтения истории.

И даже тогда не факт, что большинство читателей заметят загадку до того, как история закончится, что им вообще придет в голову задать вопрос, пока персонажи истории явно не задумаются об этом сами. Если загадка кажется вам важной для сюжета, вам придется заставить персонажа упомянуть о ней (пусть даже он не сумеет решить ее из-за недостатка данных или просчета в мышлении), чтобы читатель точно был в курсе существования загадки.

Это не значит, что читатели глупее вас. Так происходит вследствие того, что читать получается быстрее, чем писать. Если в тексте нет прямого указания остановиться и подумать над определенным предложением, то человек продолжит читать. И даже если явно сказано, что предложению стоит уделить внимание, читатель все равно пойдет дальше. Если заставить персонажа подумать «Хм…что-то не так в этой истории, мне нужно остановиться и поразмыслить…», как вы думаете, что сделает читатель? Правильно, продолжит читать, чтобы узнать ход размышлений персонажа.

Теперь я способен создавать куда более тонкие улики, нежели крик во все горло, и при этом быть уверенным, что их заметит больше одного читателя, но это только потому, что у меня есть сообщество из тысяч читателей, которые анализируют МРМ. Я действительно был впечатлен тем, насколько увеличивается мощь способности читателей находить свидетельства, если они собираются в сообщество. Господствующие теории существенно улучшились, скорость обнаружения свидетельств возросла, если сравнивать с теми временами, когда комментарии к главам оставляли только единицы. Появление сообщества было моментом, когда я реально увидел доказательство мощи коллективного интеллекта, потому что это единственный случай, где у меня были все верные ответы, но я держал их в секрете и смотрел, как другие люди пытаются найти их в течение нескольких лет, используя две формы общественной структуры, позволяя мне сравнить их эффективность в поиске истины.

Подлинная мораль здесь в том, что если у вас нет большого организованного онлайн-сообщества, анализирующего вашу работу, не стоит прятать свидетельства слишком хорошо, если вы хотите, чтобы читатели надежно разобрались в чем-то, особенно при первом прочтении.

Реальное обучение

МРМ, 23 глава:

«— Однако, — сказал Гарри, — это только одна из гипотез. Предположим, что в рецепте есть единственная пара, в которой записано, волшебник ты или нет. Только одно место для «магических» или «немагических» бумажек. Тогда есть только три варианта. Обе бумажки «магические». Одна бумажка «магическая», а другая — «немагическая». Или обе бумажки «немагические». Волшебники, сквибы и магглы. Магглорождённые тогда будут рождаться не у настоящих магглов, а у двух сквибов — у двух родителей, у каждого из которых в рецепте по одной «магической» и одной «немагической» бумажке. Теперь представь, что ведьма выходит замуж за сквиба. У каждого ребёнка всегда будет по одной «магической» бумажке от матери, не важно, какая из них будет выбрана случайным образом. Но, как и при подбрасывании монеты, в половине случаев у ребёнка будет «магическая» бумажка отца, и в половине — «немагическая». Если верна предыдущая гипотеза, у детей от этого брака был бы слабый магический дар. Но в данном случае — половина будет волшебниками и ведьмами, по силе равными матери, а половина — сквибами. Ведь если в рецепте только одна пара, определяющая, волшебник ты или нет, то магия — это не стакан мелких камушков, которые могут перемешиваться. Это один волшебный камешек, камень мага.

Гарри выстроил три пары бумажек: на одной написал «магия» и «магия», на другой написал «магия» только на верхней, а третью оставил пустой.

— В этом случае, — сказал Гарри, — у тебя либо есть два камня, либо у тебя их нет. Ты либо волшебник, либо нет. Могущественными волшебниками будут более обученные и опытные. И если волшебники становятся слабее от природы, не из-за утерянных заклинаний, а из-за утраченной способности их творить… что ж, может быть, они питаются как-то не так или ещё что. Но если этот процесс постепенен и неуклонно продолжается на протяжении более восьмисот лет, это может значить, что сама магия уходит из мира.

Гарри выстроил ещё две пары бумажек и достал перо. Вскоре в каждой паре было по одной «магической» бумажке и одной пустой.

— Что приводит меня к следующему предположению, — сказал Гарри. — Что происходит, когда женятся два сквиба? Подбрось монетку дважды. Могут получиться: орёл и орёл; орёл и решка; решка и орёл; решка и решка. В четверти случаев получается два орла, в четверти — две решки, а в половине случаев получится один орёл и одна решка. Так и с семьями сквибов. У четверти детей будет «магия-магия» — волшебники. У четверти — «немагия-немагия», магглы. А оставшаяся половина будет сквибами. Это очень старая классическая схема. Обнаружил её Грегор Мендель, которого до сих пор помнят, и это открытие стало первым шагом к разгадке секретов крови. Каждый, кто знает хоть что-то о науке крови, узнает эту схему в мгновение ока. Она не будет точной, ведь нельзя с уверенностью утверждать, что, подбросив монетку дважды сорок раз, ты получишь ровно десять пар орлов. Но если волшебников от семи до тринадцати из сорока детей, то это уже веское свидетельство. Поэтому я и хотел, чтобы ты собрал эти данные. Давай теперь на них посмотрим.

И, не дав Драко опомниться, Гарри Поттер выхватил пергамент у него из руки.

У Драко пересохло в горле.

Двадцать восемь детей.

Он не помнил точно, но около четверти из них были волшебниками…»

Если бы мне пришлось выделить шесть навыков, необходимых для описания реальной науки в художественном произведении — только кратко, не развернутые описания, но по крайней мере описать на что они были бы похожи, чтобы они могли сказать вам, плывете вы или тонете:

1) Знать материал на уровень выше того, чем появляется в истории. Генетика Менделя была отправной точкой для современной генетики, и она невероятно проста по сравнению с современной генетикой популяций, включающей сложные математические расчеты. Я узнал о Менделе, когда читал «The Coil of Life» в возрасте десяти лет, и я предположил, в интересах произведения, что Гарри сделал то же самое. Вам не нужно знать досконально современную генетику или даже уравнение Прайса, чтобы выписать мысли Гарри. Вам нужно знать Менделя и знать достаточно хорошо, чтобы убедиться, что ваш персонаж понимает его правильно.

Чтобы убедиться в своем твердом знании, постарайтесь изучить по крайней мере один уровень выше того, что используется в истории. Вам не нужна степень доктора в генетике популяций, однако было бы мудро знать достаточно о генах, фенотипах и хромосомах, что генетика Менделя является для них частным случаем, а не для какой-то продвинутой штуки, которую можно прочитать в научно-популярных книгах. (Персонаж может прочитать только популярную книгу, я так моделировал Гарри, но мне нужно было разбираться лучше.)

2) Быть готовым увидеть, как материал будет реализован в истории. Корень этого навыка в принципе Ричарда Фейнмана «Смотрите на воду!», описанном в http://v.cx/2010/04/feynman-brazil-education.html (прим. пер. — русский перевод можно прочитать тут http://www.abitura.com/modern_physics/Feynman1.html), о котором вы должны пойти и прочитать прямо сейчас.

Один из путей тренировки навыка «Смотри на воду!» — то, что на CFAR называется упражнением «Понедельник-Вторник». В понедельник телефоны работают посредством радиоволн. Во вторник они работают на магии (на любой из магических вселенных, какой захотите, хоть из «Баффи — охотницы на вампиров»). Насколько разными бы выглядели понедельник и вторник? Как бы вы распознали, в какой вселенной вы сейчас находитесь? Представьте альтернативы научным принципам, которые вы знаете, спросите, насколько иным выглядел бы мир, будь эти альтернативы истиной.

3) Вы должны владеть искусством релевантности; это способность увидеть точно те аспекты знания, которые необходимы для определенного вывода, или нужный набор шагов в мышлении, а потом включить только те вопросы и идеи, что относятся к сюжету. Вам надо использовать искусство релевантности, чтобы понять: ненужно включать тот факт, что люди имеют 23 пары хромосом, в слова, которые Гарри говорит Драко — что процесс мышления при этом будет протекать точно так же и в альтернативном мире, где у человека 90 хромосомных пар — и поэтому нет необходимости упоминать это, даже если этот факт является первым, что приходит вам в голову при упоминании генетики.

К сожалению, я не знаю, как нормально тренировать эту способность, это, похоже, общая проблема — большинство людей обычно вставили бы факт «у человека 23 хромосомы», даже если бы это не было критично для истории. (Я часто говорю о редком использовании данного искусства.) Базовый тест здесь заключается в том, что для любого научного факта, который вы хотите объяснить, вы должны спрашивать себя, насколько иной была бы ваша история, если сам факт был бы другим. Если это приводит к тому, что ваш мозг выбрасывает ошибку, а не выдает ответ, смотрите навык 2.

Без способности сокращать объяснения путем переформулировки и уничтожения отсылок к более продвинутым идеям, нежели чистый минимум, нужный для сюжета, Гарри бы пытался объяснить Драко, что такое «хромосома». Если Гарри может применить принцип «Смотри на воду!» и просто показать на два кусочка бумаги вместо этого, что заменяют абстрактные рассуждения, продвинутые идеи хромосом с конкретными иллюстрациям не будут обладать всей своей полнотой, но будут достаточно хороши для поддержки сюжета и облегчения написания текста.

4) Вы должны быть в состоянии объяснить вещи своими словами, причем на более высоком уровне, нежели от вас просят учителя в эссе. Гарри, в вышеприведенном случае, ни говорит ни единого слова о «генах», или «хромосомах», или «признаках», или «рецессивной», или «аллели». Также Гарри не определяет своими словами эти же вещи. Гарри не пытается определить, что «рецессивный признак» значит в общем смысле, чтобы он мог воззвать к этой стандартной нотации «рецессивных признаков» как авторитету для его вывода, что одна четвертая детей сквибов должны быть волшебниками. Поиск по кэшу сказал бы, что это следствие «рецессивных признаков», поэтому если использовать это словосочетание, вы просто воззовете к этому и попытаетесь рассказать, как вообще работают «рецессивные черты». Это означает, что вы не сможете применить навык релевантности, пока вы сначала не научитесь обходить поиск в кэше.

Гарри показан переводящим Менделя из концептов, вычитанных в The Coil of Life, не просто в другие слова, или в более конкретные и немедленные идеи, однако (что является более высоким уровнем навыка) в демонстрацию с кусочками бумаги. Потому что беглость с использованием простейших или более конкретных идей вместо стандартных кэшированных помогает Гарри убрать идеи, которые Драко не нужно знать прямо сейчас, уменьшить общий объем объяснения и сделать это менее похожим на университетскую лекцию, переложенную в текст.

Чтобы улучшить ваш уровень в этом навыке, используйте Табу Рационалиста (другое название того же навыка).

5) Быть способным представить, на что похоже не знать материал, без того чтобы быть глупым. Моделировать читателя, к которому хотите достучаться, или моделировать персонажа, который должен обучиться, требует того же вида эмпатии, что и при создании реалистичных злодеев и прохождения Идеологического Теста Тьюринга. Ваша эмпатия должна быть способна выйти из сейфа, уютных пределов вашего разума, где определенные идеи уже известны и определенным принципам уже оказано доверие.

Вот почему Драко не кивнул тут же и не согласился с Гарри, после объяснения «статистической значимости» (таким образом показывая великое доверие статистической значимости, которое любой умный человек должен показать, как только ему объяснят идею), вот почему не уставился недоуменно на Гарри, когда тот сказал «статистическая значимость» (потому что любой, кто не понимает этого, не имеет внутренней жизни). Вы должны выписать Драко как подлинно чуждый разум, разумный и способный общаться на сложном языке, но при этом не знающий, что такое ген. Вы должны оставить уютные пределы вашего сознания и войти в сознание с другими идеями и эвристиками, сознание, у которого все еще мощный интеллект и которое не согласно с вами в определенных вещах. Вы должны объяснить все читателю, которому в лице Драко объясняет Гарри, две проблемы, отражающие друг друга.

6) Вы должны быть способны объяснить технические идеи другим людям. Это навык. Его можно практиковать. Я не всегда справляюсь с этим, и некоторым людям я все еще не в состоянии что-то объяснить, но я становлюсь со временем все лучше. Вы можете практиковать это лично и получать обратную связь. Вы можете практиковать это через блог и получать комментарии. Вы можете практиковать это с уважением к определенному знанию, что должно появиться в вашей истории — просто найдите кого-то и попытайтесь объяснить те же факты, что должна объяснить история, но без ее контекста.

Это шесть навыков, которые нужны для помещения реальных знаний того типа, что читатель на самом деле может получить, в историю без того, чтобы разрушать течение истории дополнительной сложной частью. Объяснять науку так, чтобы людям было легко ее понять — с этим часто не справляются и в школе. Необходимость вставить знание в историю, без того чтобы нарушить течение этой истории, привносит дополнительную сложность.

Ключ к этому опять же в релевантности. «Релевантность» не значит «ассоциируемая с чем-то», это значит «сюжет пошел бы по-разному в зависимости от этого». Предположим, что вы говорите: «Ну, я хочу поработать над наукой тут…и Драко волнуется о чистоте крови… так что я заставлю Гарри объяснить о ДНК, этих маленьких спиралях внутри людей, поскольку это релевантно чистоте крови». На самом деле нет. Это ассоциативно связано в вашем сознании с наследственностью, но это не релевантно сюжету. Предположим, что ДНК была бы маленькими кубиками, а не спиралями, и звалась бы не ДНК, а ПРОВРАМ. Была бы глава 24 другой? Нет. Так что это не релевантно сюжету.

С другой стороны, если бы человеческие хромосомы были бы триплетами, а не парами, законы Менделя были бы другими и два альтернативных аллеля для «магия-немагия» не значили бы три разных фенотипа полной магии, полумагии и немагии. Гарри не говорит «хромосомы идут парами» — это слишком сложное объяснение для ситуации, пусть даже и верное — но Гарри кладет два кусочка бумаги друг напротив друга, чтобы объяснить законы Менделя. Чтобы облегчить привнесение науки в историю, должен быть случай, где, будь наука другой, и сюжет был бы другим. Это то, что заставляет читателя проявить интерес к науке.

Когда вы придумываете вашу магическую систему, включающую руны, которые имеют Цвет и Элемент, или что угодно, их законы естественно релевантны к вашей истории. Есть авторы фэнтези, которые терпят неудачу даже здесь, изобретая системы, которые не имеют отношения к сюжету. Однако на некотором уровне явно проще иметь свою собственную магическую систему, которая будет релевантна к вашей истории, нежели приспосабливать историю к генетике Менделя.

Итак, если есть возможность, то нет нужды придумывать что-то дополнительно! Большая часть релевантной науки в МРМ была вставлена по возможности, а не заранее задумана стратегически из желания научить ей. Я не начинал с генетики, изобретая потом под нее 24 главу. Менделевское объяснение пришло ко мне, когда я размышлял над Волшебниками, сквибами и магглами; и тогда этот фоновый факт, про который я решил, что он будет правдой, показался интересным открытием, которое Гарри мог бы сделать и проверить путем, который читатель мог бы понять (без технократии или сложной математики) и которое также было бы релевантно цели Гарри привлечь Драко Малфоя к науке.

Глава 6 вращается вокруг ошибки планирования, но я не начал с Урока Морали, сконструировав вокруг него главу. Я просто продолжил писать визит Гарри в Косой переулок, чтобы купить школьные принадлежности, просто позволив событиям произойти. В определенный момент мой мозг распознал ситуацию, где я явно подумал бы об ошибке планирования и использовал бы ее для калибровки своей собственной готовности с подходящим уровнем пессимизма, так что Гарри подумал и сделал то же самое, после чего я решил, что заголовком главы будет «Ошибка планирования», да и другие события главы подошли под это название.

В МРМ заголовок главы почти всегда приходил ко мне после того, как я начинал ее писать (исключая Стэнфордский Тюремный Эксперимент, который был большой аркой и требовал заголовка заранее; и вы можете заметить, что я не упоминал настоящий эксперимент до 60 главы, и то это была лишь ремарка).

Поэтому, если вы хотите включать науку в вашу историю естественно, без усилий, вы должны приобрести привычку постоянно искать научные факты, релевантные к вашей истории, в вашей собственной жизни — что может быть хорошей идеей и по другим причинам, отмечу между прочим, — и постоянно применять технику «Понедельник-Вторник», спрашивая, насколько другим выглядел бы мир, если бы наука была другой (также хороший план вообще, может помогать вам отмечать по-умному звучащие слова, которые при этом совершенно не относятся к истории.)

Тут вы можете задуматься об этом моменте, где производится попытка поместить Настоящую Науку или Настоящую Математику в историю на первое место. Это удваивает сложность — нужно одновременно и объяснить нечто, и не разрушить при этом течение истории. Так зачем пытаться делать это одновременно? Зачем практиковаться и получать навыки, чтобы учиться этому? Чего мы достигаем этим путем, почему он лучше?

Однажды я прочитал, не помню где, поговорку, которую помню до сих пор:

Документальная литература дает знание, а художественная литература — опыт.

Когда мы входим в художественный мир, мы не просто изучаем факты о персонажах и их мире, мы живем их жизнями и косвенно получаем их опыт.

Если вы практикуете и изучаете навыки как науки, так и художественного описания, вы можете сделать нечто, чего не могут сделать авторы обычных произведений — поместить читателя прямо на место персонажа, когда он использует науку так, как она должна быть использована. Вы можете разделить опыт (а не просто факты) того, что поможет понять и применять простую генетику Менделя.

Разумеется смыслом глав 22-24 не была генетика Менделя. Опыт научного поиска, формулирования альтернативных гипотез, понимания того, что они предсказывают, их проверка — вот настоящий опыт, который я хотел передать читателю. Если бы я хотел передать только генетику Менделя, я бы написал пост в блог с полезными диаграммами… или нет. Насколько хорош был бы пост в блоге? Если вы хотите, чтобы люди и правда задумались о рецессивных генах, в некоторых жизненных ситуациях, где это релевантно (будет ли у вашего ребенка риск генетического заболевания?), тогда чтение 23 главы может быть полезней блога с диаграммами, даже если диаграммы будут ясней, нежели то объяснение, что Гарри проводит в тексте.

23 глава пытается поместить вас на место того, кто использует генетику Менделя, применяя ее к пониманию ситуации вокруг. Даже цветные диаграммы, показывающие альтернативные аллели и фенотипы, не делают этого.

Если и есть нечто, что, я надеюсь, Серьезные Писатели взяли от МРМ, так это идея использования художественных произведений для передачи опыта когнитивных навыков.

Умные персонажи третьего уровня

Один из наиболее греющих мне душу отзывов о МРМ я получил на одном из сайтов признаний, не помню точно, на каком.

Заголовок изображения гласил: «Мой научный руководитель думает, что я талантлив. А я не осмеливаюсь ему сказать, что просто делаю так, как, по моему мнению, поступил бы ОН».

На картинке был изображен мальчик со шрамом, который щелкал пальцами.

(Чтобы все поняли: если вы можете представить ГДжПЭВ1 достаточно хорошо, чтобы узнать какие эксперименты он бы провел, и удивить этим вашего научного руководителя, то Принцип Винжа гласит, что вы по крайней мере столь же умны, как Гарри Поттер, живущий у вас в голове. Не похоже, чтобы ваша модель Гарри запускалась на каком-то еще мозге.)

За год до начала МРМ я определил термин «рационалистская литература» отсылкой к некоторым существующим работам, наподобие Мира Нуль-А от ван Вогта. Намеков на фанфикшен тогда еще не существовало (март 2009). У меня были только оригинальные истории в тот момент моей писательской карьеры.

В 2009 я сказал следующее:

«Когда вы смотрите на то, как работает Шерлок Холмс, вы не можете пойти и сделать это сами. Шерлок Холмс не оперирует каким-либо воспроизводимым методом. Он работает, волшебным образом находя нужные улики и волшебным образом соединяя верные сложные цепочки дедукции. Возможно, это так только для меня, но мне кажется, что чтение про Шерлока Холмса не вдохновит вас пойти и делать, как он. Холмс — своего рода супергерой-мутант. И даже если вы попытаетесь имитировать его, в реальной жизни это никогда не сработает».

Что ярко контрастирует с романами ван Вогта про Нуль-А, начинающимися с Мира Нуль-А. Прежде всего — я признаю, что у Вогта есть ряд недостатков как у автора. Вместе с этим, возможно, именно книги о Нуль-А оказали влияние на мое сознание, которого я не осознавал, еще годы назад. Это не тот тип книг, что я перечитываю снова и снова, я прочитал их и отложил в сторону, однако это были те книги, где я впервые увидел идеи «карта не равна территории» и «роза1 — это не роза2».

Нуль-А базируется на неАристотеле, и допущение, сделанное в этих книгах, заключается в том, что изучение общей семантики Коржибского сделает вас супергероем. Давайте не будем углубляться в эту тему. Куда важнее, что в Нуль-А романах:

1) Главный герой, Гильберт Госсейн, не мутант. Он изучал техники рациональности, которые систематизированы и изучаются другими членами общества, а не только им.

2) Ван Вогт говорит нам, каковы эти принципы (по крайней мере, некоторые из них), а не оставляет их таинственно неизвестными — мы не можем стать Гильбертом Госсейном, но можем, по крайней мере, использовать его навыки.

3) Ван Вогт передает опыт, показывая Госсейна, использующего принципы на ходу, а не оставляя эти принципы для триумфального объяснения задним числом. Мы можем поставить себя на место Госсейна, например, в тот момент, когда он делает сознательный выбор между двумя разными вещами, которые называются одним именем.

Что это за загадочная штука — рациональность? Ну, это точно те техники хорошего мышления, которые могут быть переданы, не являются закрытыми или полностью таинственными. Это пути хорошего мышления, работающие при помощи познаваемых правил, которые могут быть высказаны вслух, определены в деталях и объяснены другим людям.

Если хорошее мышление показано вам в любой распознаваемой форме, вы должны научиться этому хотя бы немного. Если вы по-настоящему распознали хорошие черты мыслительного процесса, когда читали, у вас должен быть лучший шанс на то, чтобы сами потом их воспроизвести.

В теории искусственного интеллекта есть схожесть между распознаванием хороших решений и изобретением хороших решений. Если у нас есть неограниченные вычислительные мощности, то, чтобы изобрести хорошее решение, мы просто берем распознаватель хороших решений и запускаем его на всех возможных входных данных. В реальной жизни наши вычислительные мощности ограничены, но это не меняет структуру проблемы: способность распознать хорошую мысль в своей основе связана со способностью изобретать хорошие мысли.

Если вы можете распознать набор мыслей как умные, тогда при неограниченных вычислительных мощностях вы можете быть умны; просто ищите все возможные мысли. И даже в реальном мире с ограниченной вычислительной мощью связь все еще существует, пусть даже не идентичная. Поиск хороших примеров должен тренировать вашу способность к распознанию, заставлять вас быстрей распознавать такие вещи.

Поэтому, если вы не стали умнее от чтения про точку зрения персонажа, даже на чуточку, то, скорее всего, автор не показал настоящий интеллект.

Конечно, у реального гения будут таланты, которые вы не можете перенять только путем наблюдения их хода размышлений. Но ни одна из мыслей уровня гения в реальном мире не является целиком непрозрачной. Чтение «Конечно, вы шутите, мистер Фейнман» не превратит всех читателей в физиков уровня Нобелевской премии, но большинство сумеет взять что-то из книги, пусть даже немного.

Так что с предположительно умными персонажами, чей ум читатели не могут перенять даже немного? Тогда мысли персонажа, по крайней мере показанные, должно быть, не были по-настоящему умными.

И если вы можете выучить какой-то навык «интеллекта», наблюдая как литературный персонаж делает это… ну, вы могли бы назвать это одним из методов рациональности. Он передаваем; он не является суперсилой мутанта.

Все, что я рассказывал о реализации науки в вашем произведении, применимо и к объяснению когнитивной науки или любой техники рациональности. Оно должно быть по-настоящему релевантно (либо сюжет должен быть построен вокруг него, либо оно должно естественно вписываться в сюжет) чтобы объяснение было частью сюжетного напряжения, а не вредило ему. Вы должны знать, как объяснить это своими словами, убрав весь жаргон и обычные термины. Во многих случаях (хотя, думаю, не во всех) стандартные имена нужно убирать, оставляя только использование самой идеи.

Результатом, если все получится, будет персонаж с интеллектом третьего уровня, чьи мыслительные процессы сияют интеллектом даже в отрыве от их второуровневых всплесков гениальности, так, чтобы читатели могли ощущать, что тоже входят в ритм удивительно хорошего мышления и сами могут имитировать мышление этих персонажей, пусть даже чуть-чуть. Все дело в воспроизводимых шаблонах хорошего мышления, которые бросают вам, автору, вызов: узнать, какие черты отмечают хорошее мышление персонажа именно как хорошее (независимо от того, говорите ли вы это явно в произведении).

Схожим образом, когда ваш персонаж делает ошибку (лучше всего — при хорошо обоснованной попытке мышления, которая просто недостаточно хорошо удалась), это поможет узнать, какое заблуждение, искажение или неправильный шаблон ведут к этой ошибке, так что задним числом, когда ваш персонаж думает о том, как избежать этой ошибки в будущем, читатель тоже может выучить этот урок.

Читатели, которые любят интеллект персонажей в МРМ, не были впечатлены ракетной метлой или другими подвигами интеллекта второго уровня. Они были впечатлены деталями того, как Гарри размышлял над решениями, эвристиками, через которые приходил к ответу, альтернативами, которые он рассматривал и отвергал. Они ощущали, что сами учатся мыслить лучше, когда смотрят, как думает Гарри и как он сам пытается мыслить лучше. Просматривая позднейшие обзоры МРМ, вы можете найти обзор, говорящий, что до чтения вы были не таким.

Данный уровень интеллекта персонажей невозможно подделать только при помощи какого-либо литературного трюка.

Вы не можете это сделать, используя терминологию когнитивной науки, пытаясь показать, что вы входите в сообщество рационалистов, поскольку чтение этих фраз никого не научит как думать. Даже если они выглядят как фраза «ошибка планирования», вы не научите никого путем чтения ваших произведений, у вас получится показанный, но не выписанный интеллект, таким образом вы просто плюнете на своих читателей.

Вы не можете взять стандартизированную Глубокую Мудрость вашей окружающей культуры и заставить ваших персонажей повторять ее. Этот прыжок к кэшированной мысли про Глубокую Мудрость, даже если вы думаете, что эта Мудрость незнакома большинству, равноценен тому, что вы выписываете вампиров как шипящих и пьющих кровь, вместо того чтобы подумать, как бы вы себя вели на месте вампира. Разговор не о том, чтобы вам пришлось изобретать вашу собственную версию ошибки планирования, но когда персонаж думает об ошибке планирования, это не должна быть та же самая мысль, что приходит к Гарри в МРМ. Для вас теперь это эквивалент шипящих и пьющих кровь вампиров. Сказав то, что думают все ваши друзья или то, что, как вы помните, писал кто-то еще, даже если вы думаете, что ваши читатели не читали это, вы породите ощущение черствости. Для распознания черствости и мышления за ее пределами нужно включить функцию Оригинальности.

Вы не можете создать распознаваемый выучиваемый интеллект путем утверждения, что ваш персонаж использует какую-то технику и выигрывает таким образом. Интеллект третьего уровня существует на уровне параграфов, а не целых сюжетов. Он в том, как ваш персонаж приходит к следующей мысли, которая показана в предыдущем параграфе. Конечный исход истории не зависит от того, как хорошо этот когнитивный алгоритм сработал бы в реальной жизни или выучил ли читатель что-либо путем чтения этого. Решение, что персонаж выиграет, используя какой-то метод, это рассказ читателю об интеллекте, не показывая ему самого интеллекта; это рассказ о навыке, но не показ его. Разговор не о том, что ваши персонажи никогда не должны выигрывать, используя умные методы. Смысл в том, что рассказ о выигрыше персонажа не является существенной частью сложной задачи показать принципы хорошего мышления (хотя рассказ о том, как была достигнута победа, может быть важной частью).

Вы можете научиться описывать персонажей с интеллектом третьего уровня, живя собственной жизнью хорошо, изучая, как мыслить хорошо, и пытаясь объяснить изученное остальным, изучая релевантные науки, ища техники, которые другие систематизировали, и применяя их в собственной жизни. Какие бы передаваемые когнитивные навыки вы не выучили до уровня применения их в собственной жизни и опыте, вы можете передать их персонажу, чтобы он использовал их в своем опыте, и тогда вы получите персонажа, образ мышления которого читатели могут перенять.

Это великий секрет выписывания подлинно умных персонажей, и только так и должно быть. Вот и все.

  • 1. Гарри Джеймс Поттер-Эванс-Веррес
Перевод: 
Remlin
Оцените качество перевода: 
Средняя оценка: 3.5 (Всего оценок: 371)

Поставить разработку ИИ на паузу не достаточно. Нам надо остановить её полностью

Элиезер Юдковский

Сегодня вышло открытое письмо, призывающее «все ИИ-лаборатории немедленно приостановить обучение ИИ-систем мощнее, чем GPT-4, хотя бы на 6 месяцев».

Этот шестимесячный мораторий был бы лучше, чем отсутствие моратория. Я уважаю всех, кто присоединился и подписал письмо. Это – небольшое улучшение.

Я воздержался от подписывания, потому что я думаю, что письмо занижает серьёзность ситуации и просит о слишком малом для её разрешения.

Ключевая проблема – не «конкурирующий с людьми» интеллект (как написано в письме), а то, что произойдёт после того, как ИИ доберётся до уровня интеллекта выше человеческого. Ключевые пороги могут быть неочевидны, мы уж точно не можем заранее просчитать, когда что произойдёт, и сейчас кажется вполне представимым, что исследовательская лаборатория пересечёт критические линии, не заметив этого.

Многие исследователи, разбиравшиеся в этих проблемах, включая меня, ожидают, что наиболее вероятный результат создания сверхчеловечески умного ИИ при обстоятельствах, хоть отдалённо напоминающих нынешние – что буквально все на Земле умрут. Не как «может быть, возможно, какой-то шанс», а «это очевидное событие, которое произойдёт». Не то, чтобы нельзя было в принципе пережить создание чего-то умнее себя, но это потребовало бы аккуратности, подготовки, новых научных озарений, и, вероятно, чтобы ИИ-системы не состояли из гигантских непонятных массивов матриц вещественных чисел.

Без этой аккуратности и подготовки, наиболее вероятный исход – ИИ делает не то, что мы хотим, и не заботится ни о нас, ни о разумной жизни в целом. Такую заботу можно в принципе вложить в ИИ, но мы не готовы,* и мы сейчас не знаем, как.

Без этой заботы мы получаем «ИИ вас не любит, и не ненавидит, и вы состоите из атомов, которые он может использовать для чего-то другого».

Ожидаемый результат столкновения человечества с противостоящим сверхчеловеческим интеллектом – полное поражение. Подходящими метафорами могут быть «десятилетка пытается играть в шахматы с Stockfish 15», «11-й век пытается сражаться с 21-м веком» и «Австралопитеки пытаются сражаться с Homo sapiens».

Чтобы визуализировать сверхчеловеческий ИИ, не представляйте, как книжный червь, у которого нет жизни, лезет в интернет и посылает злонамеренные е-мейлы. Представьте целую инопланетную цивилизацию, думающую в миллионы раз быстрее людей, изначально заключённую в компьютерах – в мире существ, с её точки зрения, очень глупых и очень медленных. Достаточно интеллектуальный ИИ не останется ограничен компьютерами надолго. В современном мире можно послать е-мейл с последовательностями ДНК в лаборатории, которые произведут белки по запросу, что позволит изначально заключённому в интернете ИИ создать искусственные формы жизни или сразу разогнаться до постбиологической молекулярной сборки.

Я ожидаю, что, если кто-то создаст слишком мощный ИИ в нынешних условиях, все до единого представители человеческого вида и вся биологическая жизнь на Земле погибнут вскоре после этого.

Нет планов о том, как мы можем это сделать и выжить. OpenAI открыто объявили, что собираются заставить какие-то будущие ИИ выполнять нашу работу по согласованию ИИ. Любому разумному человеку должно быть достаточно услышать, что это и есть план, чтобы начать паниковать. У другой ведущей ИИ-лаборатории, DeepMind, вовсе нет плана.

Отступление: Эта опасность никак не зависит от того, могут ли ИИ осознавать себя и делают ли они это; она выводится из понятия мощной когнитивной системы, которая мощно оптимизирует выводы согласно достаточно сложному критерию исходов. Всё же, я бы увильнул от исполнения своего человеческого морального долга, если бы не упомянул также, что мы понятия не имеем, как определить, осознают ли себя ИИ-системы – потому что мы понятия не имеем, как декодировать что-либо, происходящее в огромных непонятных массивах – а следовательно, мы можем в какой-то момент непреднамеренно создать цифровые разумы, обладающие настоящим сознанием, которые должны будут иметь права, и которыми с моральной точки зрения нельзя будет владеть.

Правило, которое одобрило бы большинство осведомлённых об этих проблемах людей 50 лет назад, заключается в том, что если ИИ-система владеет языком, и говорит, что она осознаёт себя и заслуживает человеческих прав, то это должно сразу прекратить владение такими ИИ и использование их в своих целях. Мы уже разметали эту линию на песке. И это скорее всего было правильно; я согласен, что нынешние ИИ скорее всего просто имитируют разговоры о самосознании из своих обучающих данных. Но отмечу, что из-за того, как мы мало понимаем во внутренностях этих систем, мы на самом деле не знаем.

Если таково наше непонимание GPT-4, и мы позволим людям создать GPT-5, и GPT-5 будет таким же огромным скачком способностей, как от GPT-3 до GPT-4, то, я думаю, мы больше не сможем обоснованно сказать «скорее всего не имеет сознания». Это будет просто «я не знаю, никто не знает». Если вы не можете быть уверены, создаёте ли вы осознающие себя ИИ, это тревожит не только из-за моральных следствий «сознания», но и из-за того, что такая неуверенность означает, что вы понятия не имеете о том, что делаете, и это опасно, и вам надо остановиться.

7 февраля Сатья Наделла, генеральный директор Microsoft, публично злорадствовал по поводу того, что новый Bing «заставит Google поплясать». «Я хочу, чтобы люди знали, что они у нас попляшут», – сказал он.

Это не то, как говорит директор Microsoft в не сошедшем с ума мире. Это демонстрирует ошеломляющий разрыв между тем, как серьёзно мы воспринимаем задачу, и тем, как серьёзно нам надо было её воспринимать, начиная 30 лет назад.

Мы не преодолеем этот разрыв за шесть месяцев.

С момента, когда впервые было предложено понятие Искусственного Интеллекта и начаты исследования в этом направлении, достижение нынешнего уровня способностей заняло больше 60 лет. Решение безопасности сверчеловеческого интеллекта – не идеальной безопасности, безопасности в смысле «не убьёт буквально всех» – вполне может занять как минимум половину от этого. И особенность попыток сделать это с сверхчеловеческим интеллектом – что если с первой попытки не получилось правильно, то вы не учитесь на своих ошибках, потому что вы мертвы. Человечество не учится на этой ошибке и не пытается снова и снова, как оно делало с другими вызовами на протяжении своей истории, потому что все погибли.

В науке и инженерии попытаться сделать что угодно правильно с первого раза – экстраординарное требование. У нас нет ничего похожего на подход, который позволил бы успешно с этим справиться. Если бы мы оценивали всю зарождающуюся область Сильного Искусственного Интеллекта минимальными стандартами, применимыми к мосту, который должен выдерживать пару тысяч машин, всю область прикрыли бы на следующий же день.

Мы не готовы. Мы не на пути к тому, чтобы стать готовыми в осмысленные сроки. Плана нет. Прогресс способностей ИИ намного, намного опережает прогресс согласования ИИ или даже прогресс понимания того, что, чёрт побери, происходит внутри этих систем. Если мы будем продвигаться так, мы все умрём.

Многие исследователи, работающие над этими системами, думают, что мы несёмся навстречу катастрофе. Больше из них осмеливаются говорить это в личном разговоре, а не на публику; они думаю, что не могут в одиночку остановить этот поезд, что даже если они уйдут со своей работы, её продолжат другие. Так что они думают, что с тем же успехом можно и продолжать. Это глупое положение дел, недостойная гибель для Земли, и остальное человечество должно в этот момент вмешаться и помочь индустрии решить её проблемы коллективных действий.

Некоторые мои друзья недавно сообщили мне, что когда люди за пределами индустрии ИИ впервые слышат о риске вымирания от Сильного Искусственного Интеллекта, их реакция – «может, тогда нам не следует создавать СИИ».

Это даёт мне крохотный проблеск надежды, потому что это более простая, осмысленная, и, честно говоря, не-безумная реакция, чем то, что я слышал последние 20 лет, пытаясь заставить людей в индустрии воспринимать всё серьёзно. Те, кто говорят так здраво, заслуживают услышать, насколько ситуация на самом деле плоха, и чтобы им не говорили, что шестимесячный мораторий её исправит.

16 марта моя партнёрка послала мне этот е-мейл (Она потом разрешила мне привести его тут):

«У Нины выпал зуб! Обычным детским образом, не от неосторожности! То, что GPT-4 взорвала эти стандартизированные тесты в тот же день, что у Нины случилась эта детская веха, на минутку эмоционально свалило меня с ног. Это всё слишком быстро. Я беспокоюсь, что, делясь этим, увеличу твою собственную скорбь, но я скорее выберу, чтобы ты это знал, а не чтобы мы с тобой страдали поодиночке.»

Я думаю, что, когда личные разговоры – о скорби из-за мыслей о том, что у твоей дочери, у которой выпал первый зуб, не будет шанса вырасти, играть в политические шахматы с шестимесячным мораторием слишком поздно.

Если бы был план выживания Земли, если бы мы только продавили шестимесячный мораторий, я бы его поддержал. Такого плана нет.

Вот, что на самом деле надо сделать:

Мораторий на новые обучения больших моделей должен быть всемирным и неограниченным во времени. Не может быть никаких исключений, включая государства и вооружённые силы. Если политика начнётся с США, то Китаю надо увидеть, что США не преследует преимущество, а пытается предотвратить появление ужасающе опасной технологии, у которой не будет истинного владельца, и которая убьёт всех и в США, и в Китае, и на всей Земле. Если бы у меня была неограниченная свобода писать законы, я, может быть, оставил бы одно исключение для ИИ, обученных исключительно для решения задач биологии и биотехнологии, не обученных на текстах из интернета, и не обученных до того уровня, на котором они начнут разговаривать и планировать; но, если это хоть немного всё усложняет, я сразу же отбросил бы это предложение, и просто сказал бы всё это закрыть.

Закрыть все большие кластеры GPU (большие компьютерные фермы, на которых создаются самые мощные ИИ). Прекратить все большие процессы обучения. Поставить верхний предел того, сколько вычислительных мощностей можно использовать для обучения ИИ-системы, и понижать его со временем для компенсации более эффективных алгоритмов обучения. Никаких исключений ни для кого, включая государства и вооружённые силы. Немедленно составить международные соглашения по предотвращению переезда запрещённой деятельности в другие места. Отслеживать все проданные GPU. Если разведка говорит, что не подписавшая соглашение страна создаёт кластер GPU, надо меньше бояться вооружённого межнационального конфликта, чем нарушения моратория; будьте готовы уничтожить мятежный датацентр авиаударом.

Не подавайте ничего как конфликт национальных интересов, сделайте совершенно ясным, что любой, говорящий о гонке вооружений – дурак. Что мы все выживаем или гибнем в одной лодке – это не политическое заявление, а объективная реальность. Международная дипломатия должна в явном виде учитывать, что предотвращение сценария связанного с ИИ вымирания считается приоритетнее предотвращения полномасштабного обмена ядерными ударами, и что союзные страны «ядерного клуба» готовы пойти на некоторый риск обмена, если это нужно для снижения риска большого процесса обучения ИИ.

Такие политические изменения нужны, чтобы мы с партнёркой обнялись, сказали друг другу, что произошло чудо, что теперь есть шанс, и может быть, Нина выживет. Здравомыслящие люди, слышащие обо всём этом в первый раз, и здраво предлагающие «может, нам не следует», заслужили услышать, что для этого надо. И когда политические запросы настолько велики, то единственное, как это может пройти – если политики осознают, что продолжи они вести дела как обычно, делая то, что политически просто, то их дети тоже погибнут.

Остановите это всё.

Мы не готовы. Мы не на пути к тому, чтобы быть готовы в обозримом будущем. Если мы будем нестись вперёд, погибнут все, включая детей, которые это не выбирали, и не сделали ничего неправильного.

Остановите.

Перевод: 
Выменец Максим
Оцените качество перевода: 
Средняя оценка: 4.3 (7 votes)

Трансгуманизм как упрощенный гуманизм

Элиезер Юдковский

Как-то Фрэнк Саллоуэй заметил: «Девяносто пять процентов того, что говорит дарвиновская теория о человеческом поведении, настолько очевидно, что мы не готовы признать правоту Дарвина. Как ни забавно, популярность психоанализа выше именно потому, что его предположения настолько необычны, а объяснения настолько парадоксальны, что мы думаем: «Это что, правда? Ничего себе!» Идеи Фрейда интригуют настолько, что люди готовы платить за них, а одним из наибольших недостатков дарвинизма является то, что нам кажется, будто это всё мы уже знаем — в каком-то смысле, так оно и есть».

Предположим, вы обнаружили шестилетнюю девочку, лежащую без сознания поперёк железнодорожных путей, где часто ходят поезда. Что, с точки зрения морали, вы должны сделать в этой ситуации? Лучше оставить её там, чтобы она погибла, или попытаться спасти? А как насчёт сорокапятилетнего мужчины, страдающего от изнурительной, но не смертельной болезни, сильно портящей ему жизнь — лечить его или не лечить?

О, и кстати: это вопрос без подвоха.

Я отвечу, что спас бы обоих, будь я в силах — и шестилетнюю девочку на рельсах, и сорокапятилетнего больного. Очевидный ответ — не всегда наилучший, но иногда это так.

Эти решения не принесли бы мне славу блестящего специалиста в области этики. Мои ответы недостаточно удивительны для того, чтобы люди готовы были за них платить. Если вы будете разгуливать, восклицая: «Сколько будет дважды два? Четыре!», вы не заслужите репутацию мыслителя. Но этот ответ, тем не менее, правилен.

Хорошо спасти маленького ребёнка, упавшего на рельсы, и хорошо вылечить сорокапятилетнего больного. Если вы обладаете аналитическим складом ума, вы наверняка спросите, частный ли это случай или общий этический принцип, гласящий: «Жизнь — это хорошо, смерть — это плохо; здоровье — хорошо, болезнь — плохо». Если это так — и здесь мы вступаем в царство спорных утверждений, — мы можем, следуя этому принципу, прийти к неожиданному заключению: если 95-летнему человеку угрожает смерть от старости, его стоит «стащить с железнодорожных путей», если это возможно. А если 120-летний вдруг начинает чувствовать себя неважно, хорошо бы полностью восстановить его здоровье, если это возможно. С нынешним уровнем развития технологий это недостижимо. Но если бы подобные технологии стали доступны в последующие годы — к примеру, в результате бурного роста медицинских нанотехнологий или создания чудесного устройства умами будущего, — вы бы по-прежнему сочли хорошей идеей спасти эту жизнь и остановить эту болезнь?

Важно помнить — я полагаю, многие об этом забывают, — что это не вопрос с подвохом.

Трансгуманизм проще — требует меньше единиц информации для описания, — поскольку он не рассматривает частные случаи. Если верить специалистам в области биоэтики (это люди, которым платят, чтобы они поясняли этические суждения), то правило «Жизнь — это хорошо, смерть — это плохо; здоровье — хорошо, болезнь — плохо» работает только до определённого возраста, а затем разворачивается на 180 градусов. Зачем? Чем был плох вариант «Жизнь — это хорошо»? Может показаться, что спасать шестилетнюю девочку — правильно, но продлевать жизнь 150-летнего — неправильно. Тогда при достижении какого возраста знак функции полезности меняется с плюса на минус? И почему?

Трансгуманист считает: если вы видите, что кому-то угрожает смерть, вы должны спасти его; если вы можете излечить кого-то, лечите. И всё. Никаких частных случаев. Возраст не имеет значения.

Не имеет значения и то, какие технологии необходимы для спасения: примитивные (носилки для ребёнка на рельсах) или изобретённые менее века назад (вроде пенициллина), но при этом не производящие впечатление чего-то необычного, поскольку они уже существовали во времена вашего детства; кажущиеся чем-то страшноватым, притягательным и футуристическим (как генная терапия), так как их изобрели уже после вашего совершеннолетия, или вообще совершенно абсурдные, невероятные и даже кощунственные на вид (как нанотехнологии), поскольку их ещё не придумали. Вы пишете отчёт по этической дилемме, следуя форме, в которой нет поля для указания года, когда нужную технологию изобрели. Вы можете спасти жизнь? Да? Отлично, вперёд. Это всё.

Предположим, девятилетнему мальчику с IQ, равным 120 по шкале Векслера, из-за высокого содержания свинца в окружающей среде грозит заболевание головного мозга, которое, если будет прогрессировать, постепенно снизит IQ до 110. Я отвечу, что мальчика стоит спасти, это будет хорошо. Если вы обладаете аналитическим складом ума, вы спросите, частный ли это случай или общий этический принцип, гласящий, что разум драгоценен. Положим, у сестры мальчика оказывается IQ в 110 пунктов. Если бы технологии были способны постепенно повысить её IQ до 120 без негативных побочных эффектов, сочли бы вы, что это стоит сделать?

Ну конечно же. Почему нет? Это не вопрос с подвохом. Или лучше иметь IQ 110, а не 120 — тогда мы должны стремиться снизить IQ со 120 до 110; или лучше иметь IQ 120, а не 110 — тогда мы должны поднять IQ сестры, если это возможно. Насколько я понимаю, очевидный ответ правилен.

Но, спросите вы, будет ли этому конец? Возможно, хорошо говорить о продлении жизни до 150 лет, но как насчёт 200 лет, 300 лет, 500 лет или более? Что, если (при условии органичного соединения с прочим жизненным опытом и постепенного увеличения возможностей разума) уровень IQ должен подниматься до 140, 180 или вообще выходить за пределы человеческих возможностей?

Где предел? Его нет. А почему он должен быть? Жизнь — это хорошо, здоровье — это хорошо; красота, и счастье, и веселье, и смех, и решение сложных задач, и процесс обучения — всё это хорошо. В области сверхвысоких значений ничего не меняется. Если бы верхняя граница существовала, у нас был бы частный случай, а это портит стройность системы.

Существуют жёсткие природные ограничения, в рамках которых срок жизни может составить (или не составить) хотя бы X для некоторых X. Такие же ограничения налагает и текущий уровень развития медицины. Но наличие физических ограничений — факт, установленный экспериментальным путём. Трансгуманизм как философию морали интересует лишь вопрос, является ли срок жизни величиной X желательным, если физически это возможно. Ответ трансгуманизма — «да» для всех X. Потому что, понимаете, это не вопрос с подвохом.

Вот что такое трансгуманизм — любовь к жизни без исключений и верхнего предела.

Неужели трансгуманизм — это настолько просто? Разве философия не превращается в банальность, если в ней нет никаких особых ингредиентов, за исключением здравого смысла? Нет, ведь и научный метод — это чистой воды здравый смысл.

Зачем тогда нужно это сложное название — «трансгуманизм»? Затем же, зачем придуманы сложные понятия «научный метод» и «светский гуманизм». Если вы вооружитесь здравым смыслом и, строго ему следуя, будете делать шаг за шагом в направлении чего-то, выходящего за рамки обыденности, успешно избегая соблазна отклониться от избранного пути или принять удобную, но ошибочную точку зрения, то, скорее всего, ваши убеждения посчитают позицией меньшинства и дадут им специальное название.

Но у философии морали не должно быть особых компонентов. Цель философии морали не в том, чтобы выглядеть привлекательно за счёт своей загадочности и нелогичности или обеспечивать рабочие места специалистам по биоэтике. Её цель — управлять нашим выбором в отношении жизни, здоровья, красоты, счастья, веселья, смеха, решения сложных задач и процесса обучения. Простота суждения не ложится на него позорным клеймом — мораль не всегда должна быть сложной.

В трансгуманизме нет ничего, кроме того же здравого смысла, что лежит в основе обычного гуманизма, аккуратно применённого к случаям, выходящим за рамки повседневной жизни. Жизнь продолжительностью в миллион лет? Если это возможно, почему нет? Эта перспектива может показаться очень странной и чуждой по отношению к нашему нынешнему жизненному опыту. Она может создать ощущение грядущего шока. И всё же, жизнь — это плохо?

Может ли этический вопрос быть таким простым?

Да.

Перевод: 
sunstream, Quilfe, Pion
Оцените качество перевода: 
Средняя оценка: 4.8 (15 votes)

"Эмпиризм!" как анти-эпистемология

Элиезер Юдковский

i.

– Забейте на все эти сложные абстрактные теоретические предсказания, – твёрдым уверенным тоном сказал Пресс-секретарь «Финансовой Пирамиды, Инкорпорейтед». – Эмпирические наблюдения говорят: все вкладчики Берни Банкмена получили 144% своих инвестиций через два года.

– «Эмпиризм» работает не так, – сказал Эпистемолог. – Ты всё ещё делаешь допущение, что…

– Чтобы посчитать, что дальше будет не так, надо поверить в перемудрёный теоретический анализ ненаблюдаемых внутренних мотивов и финансов Берни Банкмена, – перебил Пресс-секретарь «Финансовой Пирамиды, Инкорпорейтед». – Если вы наделены добродетелью скептицизма и не доверяете переусложнённым аргументам, то вы согласитесь с тем, что будущие вложения тоже вернут 144%, прямо как и прошлые. Вот предсказание, основанное на чистых эмпирических наблюдениях. Не на теориях о будущем, которого никто не видел!

– Это не так работает, – сказал Эпистемолог. – Каждому предсказанию будущего нужна теория, которая соединяет его с нашими прошлыми наблюдениями. Нет никакого прямого перехода от прошлых наблюдений к будущим без теории, без допущений, чтобы преодолеть разрыв…

– Конечно, бывают просто эмпирические предсказания, – сказал Пресс-секретарь. – Я вот только что одно сделал. Не говоря уж о том, что, дорогая аудитория, вы и правда доверяете чему-то такому мудрёному, как эпистемология?

– Альтернатива размышлениям об эпистемологии – позволить другим размышлять о ней за тебя, – сказал Эпистемолог. – Ты говоришь: «Раз мы наблюдали X: „в прошлом вкладчики Финансовой Пирамиды получали 144% через два года“, то из этого следует Y: „следующая волна вкладчиков тоже получит 144% через два года“ ». X и Y – отдельные утверждения, а для «X -> Y» тебе нужна какая-то теория а которую можно запихнуть X и получить на выходе Y.

– Но моя теория доказана эмпирически, не то что твоя! – Заявил Пресс-секретарь.

– Не-е-е-ет, не доказана, – ответил Эпистемолог. – Я соглашусь, что мы наблюдали твой X. Что в прошлом инвесторы Финансовой Пирамиды получали 144% через 2 года. Замечу, те инвесторы, которые решили получить свои деньги, а не оставить их чтобы получить потом побольше. Это далеко не все инвесторы. Но точно так же, как мы не наблюдали предсказание Y – „следующая волна вкладчиков тоже получит 144% через два года“, мы не наблюдали и соединяющее „если X, то Y“. На этом шаге ты используешь убеждение, которое пока что наблюдение не подтвердило. Так что оно должно полагаться на какой-то аргумент или теорию. Ты, конечно, можешь заявить, что у тебя для „X -> Y“ есть теоретический аргумент получше, чем для „X -> не Y“. Но это в любом случае не эмпирическое наблюдение.

– Ты говоришь, – ответил Пресс-секретарь, – и всё, что я слышу – слова, слова, слова! Если бы ты вместо этого взглянул на предыдущих инвесторов Финансовой Пирамиды, ты бы увидел, что каждый из них получил 144% от своих вложений всего через два года! Лучше один раз увидеть!

– Возможна теория, что Берни Банкмен сам совершает мудрые инвестиции, так что он каждый год умножает свои деньги на 1.2, а потом честно возвращает их инвесторам, которые хотят их вывести, – сказал Эпистемолог. – Есть и другая теория – что Берни Банкмен каждый год получает больше инвестиций и использует их часть, чтобы заплатить предыдущим инвесторам, которые хотят вывести деньги…

– С чего бы Берни Банкмену так делать, а не забрать все деньги сразу? – Поинтересовался Пресс-секретарь. – Если он такой эгоистичный и жадный, как ты говоришь, то что б ему просто не оставить деньги себе?

– Чтобы получить ещё больше денег от новых инвесторов, которых привлекло то, как всё обернулось для предыдущих, конечно, – сказал Эпистемолог. – И, на самом деле, чтобы Берни Банкмен мог остаться в своей нынешней комфортной позиции в обществе и сохранить своих нынешних друзей. Это зачастую сильнее мотивирует людей, чем деньги.

– То есть, мы видим, как Берни Банкмен выдаёт людям деньги. Об этом нам говорит эмпирическое наблюдение. Но ты талдычишь людям свои слова и рассуждения о том, что Берни Банкмен – жадный человек, который оставляет вложения себе? Вот это расхождение между эмпирическими наблюдениями и мудрёными ненаблюдаемыми теориями!

– Мы согласны по поводу того, какое внешнее поведение Берни Банкмена мы уже наблюдали, – сказал Эпистемолог. – Когда же речь заходит о ненаблюдаемых внутренних мыслях Берни Банкмена, твоя ненаблюдаемая теория «он честен» не более и не менее эмпирична, чем ненаблюдаемая теория «он замышляет». «Честен» и «замышляет» – два возможных значения скрытой переменной окружения. Мы не можем наблюдать её напрямую. Нам надо вывести её как причину того, что мы наблюдать можем. Мы не наблюдали одно её значение в большей степени, чем другое. Мы не наблюдали и допущение X->Y, следствие из прошлого поведения возвращения денег на скрытую честность или коварство Берни Банкмена. Шаг «если наблюдал X, выведи скрытое Y» полагается на теорию, а не на наблюдения.

– Более того, – продолжил Эпистемолог с раздражённой ноткой в голосе, – я на самом деле не думаю, что нужна такая уж сложная теория, чтобы понять, с чего бы Берни Банкмену возвращать деньги первым инвесторам. Единственная причина, почему кто-то может этого не понять – этот крикун, который говорит вам, что любая альтернатива поверхностным обобщениям вслепую – «теория» и «не эмпирична». Многие могли бы в этом разобраться вовсе не затрагивая эпистемологию. Конечно, наблюдение, что кто-то возвращает тебе немного денег, не доказывает, что этот кто-то потом вернёт тебе много денег. Есть множество причин, почему он может вести себя прилично, пока ставки малы.

– Эпистемолог предлагает вам слова, – Пресс-секретарь обратился к аудитории, – а Берни Банкмен даст вам денег! Вернёте 144% через два года! Все учёные, которые измеряли поведение Банкмена, согласны, что это эмпирическая, уже наблюдавшаяся истина о том, что произойдёт! Давайте, я вдобавок докажу, что заявления моего оппонента не просто ошибочны, но и ненаучны. Я спрошу – можешь ли ты, Эпистемолог, утверждать с 100% вероятностью, что эта следующая волна инвесторов не сможет получить свои деньги через два года?

– Я не могу с уверенностью знать что-то такое о ненаблюдаемом будущем, – сказал Эпистемолог. – Даже при условии принятия гипотезы «коварства» я не могу знать, что «Финансовая Пирамида, Инкорпорейтед» развалится конкретно в ближайшие два года. Может, если вы привлечёте достаточно новых инвесторов, или достаточно мало кто из этих выведет свои деньги, то компания протянет побольше…

– Видите? – Закричал Пресс-секретарь. – Его теория не просто не эмпирична, она ещё и нефальсифицируема! А вот я вам с уверенностью говорю, что все ваши деньги будут выплачены. И более того, именно через 2 года. А этот вот заявляет, что может быть будут, а может и нет! И что он скажет, если Берни Банкмен и через два года снова выплатит 144%? Только что Финансовая Пирамида пока не обрушилась, но может обрушиться потом! Есть ли лучший пример порочности в науке? Сравните с моей научной добродетелью! Наблюдения дают нам прямой, ясный, фальсифицируемый аргумент, а мудрёные предсказания – пустая болтовня!

– Если бы было так, что рассудительный человек придёт к выводу, что есть 50% шанс на то, что Финансовая Пирамида обвалится в течение двух лет, – устало ответил Эпистемолог, – не было бы более научно-добродетельно сказать, что на самом деле шанс – 0%, только потому, что тогда есть шанс в 50%, что твоё утверждение окажется уж точно ложным и ты сможешь сказать научно-добродетельное «упс» (будто ты бы так сказал).

– Для примера попроще, – продолжил Эпистемолог, – давай представим, что мы подбрасываем монетку, про которую я думаю, что она честная, а ты говоришь, что она всегда выпадает решкой. У твоей теории есть 50% шанс, что она будет опровергнута. А моя не будет опровергнута независимо от того, что выпадет. Но это не значит, что каждый раз, когда ты подымаешь монетку на улице, научно-добродетельно решить, что она всегда выпадает решкой. Быть проще для опровержения – удобное свойство для теории. Но это не единственная важная добродетель для убеждения. И не у всех истинных убеждений она есть. Разные эпистемические добродетели надо в своих мыслях различать. А то мы совсем запутаемся.

– Как ещё один пример, – добавил Эпистемолог, – давай представим, что ты собираешься со всех ног побежать к краю обрыва. Я может и не могу точно предсказать, как быстро ты побежишь, Так что я не смогу точно предсказать, будешь ли ты через пять секунд падать, или будешь уже мёртв. Это не значит, что теорию «я полечу и никогда не умру» стоит считать более научной просто потому, что она делает более уверенное заявление о том, будешь ли ты в живых через пять секунд.

– Вот это поразительная куча оправданий за то, что у тебя нет твёрдых предсказаний на два года вперёд! – Сказал Пресс-секретарь, улыбаясь аудитории. – Верьте своим глазам! Верьте эмпиризму! Верьте Науке! Верьте, прежде всего, твёрдому фактическому утверждению: вкладчики Финансовой Пирамиды получают 144% своих денег через два года! Всё остальное – слова, слова, слова и пустые мысли!

ii.

– Хм-м-м, – сказал проходивший мимо Учёный. – Эпистемолог, я вижу, что у тебя хорошие аргументы об эпистемологии. Но ничего не могу поделать, интуитивно мне кажется, что в словах Пресс-секретаря что-то есть, хоть, согласно твоей мета-теории, их нельзя посчитать твёрдо логически верными. Мы уже наблюдали много предыдущих инвесторов, получивших от Финансовой Пирамиды Банкмена 144% через два года. Нет ли какого-то реального смысла в том, что более эмпирично сказать, что и с будущими инвесторами будет так же, и менее эмпирично – что в будущем произойдёт что-то другое? Мне кажется, первое предсказание больше руководствуется данными, которые у нас уже есть, а второе – чем-то вроде размышлений и воображения. Я вижу, как с точки зрения эпистемологии и то и другое – вполне предсказания, и используют что-то вроде допущения или теории чтобы соединить прошлое с будущим. Но нельзя ли сказать, что предсказание Пресс-секретаря использует меньше допущений, меньше теории, больше завязано на данные, чем твоё?

– Для ясности, – ответил Учёному Эпистемолог, – ты говоришь, что меньше всего допущений, меньше всего теории использует предсказание, что Финансовая Пирамида Берни Банкмена будет преумножать все вложения в 1.2 раза каждый год, неограниченно, до конца вселенной и потом?

– Ну, нет, – сказал Учёный. – Мы наблюдали, как Берни Банкмен преумножает вложения в 1.2 раза за год в нынешнем социоэкономическом контексте. Неразумно было бы распространять наши наблюдения за пределы этого контекста – например, заявить, что Берни Банкмен сможет обеспечить эти проценты после глобальной термоядерной войны. Что уж говорить о том, что будет после того, как протоны распадутся, чёрные дыры испарятся, и времени придёт конец в океане хаоса.

– Тогда позволь поинтересоваться, – сказал Эпистемолог, – не правда ли, что твоё убеждение, что Берни Банкмен перестанет обеспечивать хорошие проценты после термоядерной войны, больше нагружено теорией и менее эмпирично, чем убеждение, что Берни Банкмен продолжит умножать вложения на 1.2 вечно. Может, у твоего убеждения есть другие добродетели, которые делают его лучше, чем убеждение в «вечные проценты». Но всё равно, можно же сказать, что теория «вечных процентов» имеет то преимущество, что она меньше нагружена теорией и более эмпирична?

– Хм, – намхурился Учёный. – Для ясности – я согласен с тобой, что теория «вечных процентов» менее верна, но я не вполне уверен, что правильно назвать её более эмпиричной… Можно сказать, что у неё есть, так сказать, один грех и одна добродетель… – Учёный сделал паузу. – О, точно! Чтобы сказать, что Берни Банкмен перестанет возвращать инвестиции после глобальной термоядерной войны, мне нужны мои убеждения о ядерной физике. Но они сами по себе хорошо подтверждены наблюдениями. Так что отрицать их, чтобы оставить убеждение о Финансовой Пирамиде Берни Банкмена было бы очень неэмпирично и недобродетельно. – Учёный улыбнулся и покивал сам себе.

– Ну тогда я тебе скажу, – ответил Эпистемолог, – что твоё предсказание, что Берни Банкмен перестанет выплачивать хорошие проценты после термоядерной войны, действительно в твоём интуитивном смысле больше «нагружено теорией», чем предсказание, что Берни Банкмен попросту продолжит обеспечивать рост в 1.2 раза в год вечно. Просто так уж получилось, что тебе нравятся теории, которыми оно нагружено. В том числе потому, что ты считаешь их полными восхитительной добродетели эмпиризма.

– А не могу я просто сказать, – спросил Учёный, – что я наблюдал, что Финансовая Пирамида выдаёт проценты в определённом социоэкономическом контексте, и эмпиризм позволяет обобщать только внутри контекста, в котором были сделаны все мои предыдущие наблюдения?

– Я бы мог точно также сам сказать, что такие схемы часто состоят из двух фаз, – улыбнулся Эпистемолог. – В первой он замышляет забрать твои деньги, а во второй он действительно их забирает. И что с точки зрения моей теоретической позиции мы должны не проводить обобщения с контекста первой фазы на контекст второй, – Эпистемолог сделал паузу, а потом добавил, – хотя, если аккуратно говорить об объектном уровне, то печальная правда в том, что многие такие схемы начинаются с склонных к ошибкам людей с глупым, но сравнительно честным планом как преумножить инвестиции. И только после того, как первая честная схема терпит неудачу, в качестве альтернативы болезненному признанию, они начинают скрывать неудачу и выплачивать ранним инвесторам деньгами более поздних. Иногда они при этом всё ещё говорят себе, что собираются в итоге заплатить всем. А иногда открыто для себя становятся мошенниками. Бывают, конечно, и мошенники изначально. Так что тут может быть «наивная» фаза, за которой идёт фаза «скрытности» или фаза «обмана»… но я отвлёкся. – Эпистемолог потряс головой и вернулся к предыдущей теме. – Суть в том, что и про мою теорию, и про твою, можно сказать, что они конкретизируют контекст наших прошлых наблюдений. И это не мешает моей теории выдавать не то же предсказание, что твоя. Они ведь призывают к разным принципам помещения данных в контекст. Нет понятия «контекста», что не было бы нагружено теорией.

– Ты точно не переусложняешь что-то, что не должно быть сложным? – Спросил Учёный. – Почему бы просто не сказать, что любое наблюдение можно обобщать только в пределах очевидного контекста? Который ты можешь соорудить безо всяких теорий о чём-то ненаблюдаемом вроде мыслей Берни Банкмена или «настоящего» баланса на счеты Финансовой Пирамиды?

– Смотри, – сказал Эпистемолог, – в любой момент какой-нибудь тролль может заявить: «Все ваши наблюдения массы электрона произведены до 2025 года. Вы не можете обобщать их на контекст „После 2025 года“ ». Для этого контекста не надо ничего ненаблюдаемого, мы уже видели солнечный цикл смены лет. Но всё равно, думаю, мы оба отвергнем введение такой зависимости от контекста. Применение контекста – неоднозначная операция. Ты не найдёшь простого правила определения контекста на все случаи жизни, которое позволило бы тебе больше никогда об этом не думать. И неважно, сколько ты говоришь «очевидно». Иногда приходится сесть и обсудить, когда и как уместно обобщать уже собранные наблюдения.

– А если сказать, – ответил Учёный, – что мы должны вводить наши эмпирические наблюдения в контекст только так, чтобы это было поддержано теориями, которые сами основываются на прямых наблюдениях…

– Но что насчёт твоего заявления, что не стоит ожидать от Берни Банкмена процентов после распада протонов? – Напомнил Эпистемолог. – Насколько мне известно, на момент начала 2024 года никто распад протонов не наблюдал. Даже если считается запись наблюдения, из которого можно вывести, что это произошло.

– Да, – сказал Учёный, – но предсказание распада протонов выводится из самых простых найденных уравнений, объясняющих другие наши наблюдения. Вроде того, что материи куда больше, чем антиматерии…

– То есть, – Эпистемолог пожал плечами, – ты готов предсказать, что Берни Банкмен в какой-то момент нанаблюдаемого будущего вдруг перестанет выплачивать проценты. И твоё основание – ожидание явления, которого ты не видел. Но его, по твоим словам, предсказывают теории. Которые, по твоему мнению, хорошо подходят под другие явления. Которые ты видел. Так? Если ты делаешь что-то настолько сложное, в каком вообще смысле ты можешь себя хвалить за меньшую «нагруженность теорией»? Я тоже смотрю на мир и в меру своих сил составляю своё представление о нём, как можно более простое и как можно лучше ему соответствующее. А потом использую это представление о мире для совершения предсказаний о ненаблюдаемом будущем.

– Ладно, но я на самом деле меньше уверен в распаде протонов, чем, скажем, в существовании электронов, – сказал Учёный. – Потому что распад протонов не подтверждён прямым экспериментом. Слушай, давай ограничимся предсказанием того, что произойдёт в ближайшие два года, чтобы не затрагивать термоядерную войну и уж тем более распад протонов. Мне всё ещё кажется, что в каком-то интуитивном смысле утверждение «Сегодняшние инвесторы Финансовой Пирамиды получат 144% своих денег через два года, подобно предыдущим инвесторам, которых мы уже наблюдали.» меньше нагружено теорией и больше полагается на наблюдения, чем твоё «Они могут потерять все свои деньги из-за смены значения ненаблюдаемых скрытых переменных.»

– Ох, – сказал Эпистемолог, – я боюсь, теперь мы действительно заходим в дебри. Часто проще объяснить, какой ответ правильный, на объектном уровне, чем типизировать каждый шаг рассуждения согласно правилам эпистемологии. Но, всё же, когда кто-то приплетает плохую эпистемологию, людям вроде меня приходится в меру своих сил возразить им и написать подробный разбор. Даже если, конечно, не все жертвы Финансовой Пирамиды могут понять мой разбор. И как первый пункт разбора… хм… Я и правда не уверен, что это будет понятно без куда более длинной лекции. Но как первый пункт… – Эпистемолог сделал глубокий вдох. == С раннего детства, а может немного обучения происходит уже в утробе, мы смотрим на мир вокруг нас. Наш мозг – продукт естественного отбора, обобщённый так, чтобы хорошо обтачивать каменные топоры, гоняться за дичью и спорить с другими людьми в племенных политических дискуссиях. Мы смотрим на мир вокруг и составляем, так сказать, библиотеку штук, которые могут в нём появиться, процессов, которые могут в нём произойти, и законов, которые этими процессами управляют. Когда появляется новое наблюдение, мы спрашиваем, какие простые правдоподобные постулаты мы можем добавить в нашу модель мира, чтобы они предсказывали это наблюдение с большой вероятностью. Это, впрочем, упрощение – ты хочешь просто чтобы твоя модель в целом была простой и предсказывала данные с большой вероятностью, а не добиться этого исключительно локальными изменениями. Добродетель Эмпиризма проявляется в сравнении с тёмными веками, когда в человеческой эпистемологии его ещё не ценили. Она заключается в том, чтобы действительно утруждаться объяснять наблюдения, собирать больше данных, пытаться предсказывать будущее и стараться составлять такие основные модели, чтобы они могли объяснить как можно больше наблюдений как можно меньшей теорией.

– И, – добавил Эпистемолог, – чтобы возвращать некоторым инвесторам деньги сегодня в надежде получить больше денег потом не нужно никакого невозможного существа, составленного из доселе не виденных частиц. Достаточно существ вроде неидеальных людей, начавших с сравнительно честных намерений, чей первый план провалился. Остальные части моей модели мира, как я её понимаю, не говорят, что такое существо из уже известных частиц маловероятно. Его психология не противоречит законам мышления, которые, как я думаю, руководят его видом. Я бы скорее посчитал, что этих бедняг обманывают, что это на самом деле вероятнее, чем такое честное существо, которое действительно безотказно зарабатывает для вас плюс 20% каждый год.

– Итак, – продолжил Эпистемолог. – Когда две теории в равной степени объясняют маленький набор наблюдений, нам надо спросить, вероятность какой теории выше, с учётом сил за пределом этих наблюдений? Иногда для этого надо присесть и обсудить, в каком мире мы живём и какие у него правила. Это не решается просто криком «Эмпиризм!». Если что, бывает, что такое можно решить криком «Простота!», но вообще это редко настолько напрямую. Верить или нет «Финансовой Пирамиде, Инкорпорейтед» – не то, для чего нам хватит формальной версии Бритвы Оккама. Мы не можем просто пересчитать атомарные постулаты общей теории или взвесить логические формулы или посчитать байты в программе. Нет, нам надо погрузиться в наше понимание того, какие существа в нашем мире встречаются чаще, в происхождение и устройство финансовой мегафауны.

– Для ясности, – заключил Эпистемолог, – ничто тут не должно требовать для понимания особо продвинутой эпистемологии. Я просто пытаюсь проставить сигнатуры типов в том, что должно быть понятно и так. Достаточно воздержаться от неправильной эпистемологии. Вроде той, которая пытается решить вопросы объектного уровня о том, как работает мир, криком «Эмпиризм!»

– И всё же, – сказал Учёный, – мне интуитивно кажется, что в каком-то смысле проще и эмпиричнее сказать «Прошлые инвесторы Берни Банкмена получили плюс 20% за год, значит и будущие получат.» Даже если, как ты говоришь, это не так, нет ли, согласно твоей эпистемологии, некоторой добродетели, которая у этого всё равно есть? Хоть и не решающей?

– Так-то, – сказал Эпистемолог, – для меня сейчас в этой ситуации рассматривать всё с этой стороны – очень неблагодарное занятие. Пресс-секретарь опять вскричит, что я признал добродетельность обещания Финансовой Пирамиды.

– Да уж точно! – Сказал Пресс-секретарь. – Смотрите, Эпистемолог уже признал, что у моих слов есть достоинство, и он просто отказывается это признавать! У ошибочных идей не бывает достоинств, так что указать на одно достоинство идеи – всё равно что доказать её!

– Если на это забить, – продолжил Эпистемолог, – я думаю, что твоя интуиция тут приблизилась к вполне верному факту. Я намеренно сформулирую это так, чтобы Пресс-секретарю было сложнее это использовать. Предсказание Пресс-секретаря такое, что до него можно дойти, думая совсем немного. Если смотреть только на данные, на которые предлагает смотреть Пресс-секретарь, и игнорировать все остальные. Вот его достоинство.

– Вот видите! – Закричал Пресс-секретарь. – Он признался! Если вы просто посмотрите на очевидные факты у себя под носом и не будете переусложнять, если вы не доверяете теориям и всем этим мудрёным разговорам о картинах мира, вы увидите, что все инвесторы Финансовой Пирамиды получают 144% своих денег через два года! Он признался, что ему не хочется этого говорить, но признался, что это так!

– Нельзя ли сказать что-то приятнее этого ворчливого признания? – Спросил Учёный. – Что-то, сочетающееся с моим ощущением, что более эмпирично и менее нагружено теорией просто сказать, что будущее будет похоже на прошлое, и не говорить больше ничего. Предсказать это хотя бы для одного следующего измерения, хоть и не до конца времён?

– Но то, что надо мало думать – вполне настоящее достоинство, – ответил Эпистемолог. – Вся наша модель мира построена из таких кусочков, покоится на таких основаниях. Всё в итоге сводится к простым шагам, для которых не надо много думать. Когда ты измеряешь массу электрона и получаешь 911 нониллионных грамма, как было и во все предыдущие измерения в последний век, действительно мудрее всего предсказать, что в следующем году она тоже будет 911 нониллионных грамма…

– ОН ПРИЗНАЛ! – Пресс-секретарь взревел во всю глотку. – ВЛОЖЕНИЯ В ФИНАНСОВУЮ ПИРАМИДУ ТАК ЖЕ НАДЁЖНЫ КАК МАССА ЭЛЕКТРОНА!

– …и это относится к тем случаям, когда элементы реальности слишком просты, чтобы состоять из известных нам составных частей, и мы не знаем о других наблюдениях, теориях или аргументах, которые могли бы иметь отношение к делу, – закончил мысль Эпистемолог. – Что хорошего можно разглядеть в наивном аргументе о вечных процентах Финансовой Пирамиды – это первый шаг, устанавливающий некоторое основание. Шаг, который уместно было бы сделать, обладая исключительно набором данных, которые не состоят из известных нам составных частей.

– Признал! – Вскричал Пресс-секретарь. – Финансовую Пирамиду поддерживают основополагающие для эпистемологии рассуждения! Берни Банкмен не может не вернуть вам 144% ваших денег без того, чтобы все человеческие знания и сам Разум не обратились в ничто!

– Думаю, этот парень заходит слишком далеко, – сказал Учёный. – Но нет ли какого-то правильного смысла в том, чтобы похвалить аргумент «Берни Банкмен выдавал 20% в год, а значит сделает это и в следующие годы» как более устойчивый и надёжный? Благодаря тому, что он состоит только из очень простых шагов, исходит только из прошлых наблюдений, больше всего напрямую схожих с будущими наблюдениями?

– Более устойчивый и надёжный, чем что? – Спросил Эпистемолог. – Более устойчивый и надёжный, по твоему мнению, чем что Берни Банкмен не сможет выплатить проценты после распада протонов? Более устойчивый и надёжный, чем твоё альтернативное рассуждение, которое использует больше других наблюдений, обобщений этих наблюдений и выводов из этих обобщений? Мы же никогда не видели распад протона. Сказать, что Берни Банкмен будет выплачивать проценты вечно – более устойчиво и надёжно? Раз это использует только очень простые рассуждения и очень узкий набор данных?

– Ну, может, «устойчивый» и «надёжный» – это плохие слова, – сказал Учёный. Но кажется, что про это должно быть возможно сказать что-то хорошее.

– Я, пожалуй, не уверен, что у нас в языке есть слово, которое означает то, что ты имеешь в виду, уж тем более приятно звучащее слово, – сказал Эпистемолог, – но чего хорошего про это сказал бы я… что это локальный максимум эпистемической добродетели, если смотреть только на узкий и отобранный Пресс-секретарём набор данных и воспринимать эти данные как просто числа. Можно, наверное, сказать, что он чистенький. Истина часто локально грязненькая, и для каждой частицы локальной грязи, которую мы допускаем в нашей модели, нужен хоть какой-то аргумент. В смысле, если бы кто-то взглянул исключительно на временную последовательность возвратов инвестиций клиентов Берни Банкмена и при этом не имел бы никакой другой модели мира, никаких других наблюдений из всей этой вселенной, и заключил бы, что в следующем году инвестиции умножатся на 666, а ещё в следующем на -3, то это не было бы лучшей эпистемологией. Если у тебя нет буквально вообще никаких других данных и никакой другой модели мира, то умножение на 1.44 после двух лет будет лучшим вариантом…

На этом последнем предложении Пресс-секретарь начал триумфально визжать, слишком громко и нечленораздельно, чтобы можно было разобрать слова.

– Чёрт побери, я и забыл, что этот парень всё ещё тут, – сказал Эпистемолог.

– Ну, становится поздновато, – отметил Учёный, – может, ты согласишься с мной, что «вечные проценты» – предсказание, которое получается, если очень простым способом взглянуть на наблюдения и очень просто над ними думать, и что это, пожалуй, круто? Хоть эта крутость тут и не преобладающий решающий фактор в том, во что верить?

– Зависит от того, что конкретно ты имеешь в виду под «круто», – сказал Эпистемолог.

– Чувак, – сказал Учёный в гендерно-нейтральном смысле.

– Сам чувак, – сказал Эпистемолог. – учти, что если ты позволишь себе считать, что более добродетельно использовать меньше данных и переставать думать, то такие люди, – он показал на Пресс-секретаря, – будут на тебя охотиться. Им выгодно продавать тебе акции Финансовой Пирамиды. Так что им выгодно находить узкие наборы наблюдений в свою пользу. На самом деле, даже организовывать такие наблюдения, чтобы ты уж точно увидел то, что они хотят. А потом им выгодно говорить тебе, что добродетельно экстраполировать только из этих наблюдений, не учитывать другие соображения и как можно меньше думать. Потому что это приведёт к ответу, который им нужен. И они не хотят, чтобы ты думал дальше, ведь это может довести тебя до другого ответа. Они будут пытаться давить на тебя, чтобы ты не думал, использовать слоганы вроде «Эмпиризм!», которые они, честно говоря, не понимают. Если бы «Робастность!» была популярным слоганом, которому учат в колледже, они бы использовали её. Понятно, почему меня беспокоит, что ты назвал это «крутым», не определив в точности, что это значит?

– Ладно, – сказал Учёный. – Допустим, я пообещаю, что я не буду вкладываться в Финансовую Пирамиду. Тогда мне дозволено в некотором интуитивном смысле считать, что есть что-то эпистемически-крутое в том, чтобы просто предсказать умножение инвестиций на 1.2 в год в будущем, раз уж люди получали это в прошлом? Пока я признаю, что это на самом деле не так, и это не применимо к реальным задачам?

– В общем, да, – ответил Эпистемолог, игнорируя всё более неистовые победные крики Пресс-секретаря. – Потому что если бы ты не оставил себе это дотеоретическое интуитивное ощущение, то не решил бы, что будущие электроны будут весить 911 нонилионных грамма, взглянув на серию прошлых измерений, вернувших такой результат. Это бессловесное интуитивное ощущение простого продолжения встроено в каждого функционирующего человека… и именно это пытаются использовать схемы вроде Финансовой Пирамиды. Для этого они указывают тебе на ровно те наблюдения, которые активируют в тебе это чувство в ровно том направлении, которое им надо. А затем они кричат «Эмпиризм!» или «Такие сложные рассуждения не могут быть надёжными, тебе стоит вернуться к эмпиризму по умолчанию!». Чтобы надавить на тебя и убедить больше не думать.

– Замечу, что ты отбросил притворство, что ты не знаешь, мошенничество эта Финансовая Пирамида или нет, – сказал Учёный.

– Я сначала не был уверен, но то, как он пытался извратить эпистемологию, дало мне приличное дополнительное свидетельство, – сказал Эпистемолог. Стабильно получать 20% прибыли каждый год по-настоящему весьма поразительно тяжело. Люди, у которых всё действительно так плохо с эпистемологией, с этим не справятся. Так что в какой-то момент их инвесторы потеряют все свои деньги, и крики «Эмпиризм!» их не спасут. Индейку кормят каждый день, а потом, накануне Дня Благодарения, убивают. Это не проблема разумных рассуждений в контексте большого мира. Это проблема индейки.

iii.

– Я не уверен, что всё понял, – сказал Слушатель. – Можешь это проговорить ещё раз на каком-нибудь более простом примере?

– Проговаривать, – согласился Эпистемолог, – дело хорошее. Давай возьмём более простой пример того, чего ожидать от будущего Искусственного Интеллекта. Ведь по этому поводу все здесь, да и все на Земле, полностью согласны. ИИ будет не вызывающим споров примером в пользу этих общих принципов.

– Пожалуй, – согласился Слушатель. – Я никогда не слышал о том, чтобы у кого-нибудь были разные предсказания об Искусственном Интеллекте. У всех одинаковые распределения вероятностей с точностью до третьего знака после запятой. ИИ – хороший и понятный пример, не то что этот странный и незнакомый пример Финансовой Пирамиды Берни Банкмена.

– Ну, – сказал Эпистемолог, – предположим, что кто-то пытается убедить тебя проголосовать за снятие нашего нынешнего всепланетарного запрета создавать слишком продвинутые ИИ-модели, запрета, с необходимостью которого мы все согласны. Тебе говорят: «Взгляни на сегодняшние ИИ-модели, которые пока не уничтожили человечество и вообще очень мило ведут себя по отношению к пользователям. Не стоит ли нам предположить, что и будущие ИИ-модели будут тоже добры к людям и не убьют нас всех?»

– Это бы никого не убедило, – сказал Слушатель.

– Почему же? – Сократически поинтересовался Эпистемолог.

Хм-м-м, – протянул Слушатель. – Ну… как мы все знаем, делать предсказания о ИИ сложно. Но для примера можно сказать, что так же, как ты заметил, что Финансовая Пирамида могла начаться как сравнительно более честная попытка заработка денег, а потом провалиться и начать выплачивать старым инвесторам деньгами новых… э-э-э… думаю, можно было бы сказать, что мы сейчас на «наивной» стадии внешней покладистости ИИ. Наши модели недостаточно умны, чтобы реально рассмотреть вариант, не задуматься ли о том, чтобы нас уничтожить. Никто не знает, что приводит к их поверхностному поведению, но скорее всего там нет каких-то глубоких и опасных противоречий с тем, что нам видно снаружи.

– После этого, как мы знаем из случая Bing Sydney из времён до того, как мир забеспокоился и эта технология была запрещена, мы переходим на вторую стадию. Мы получаем ИИ-модели, которые всё ещё тупы и нестабильны, но в принципе уже могут думать и думают о том, как уничтожить человеческий вид. Хотя и так, что это не показывает никакого глубокого стремления к этому. Затем, это мы наблюдали, ИИ-компании, если им позволено продолжать продавать, просто грубо RLHFят свои модели, чтобы те об этом не говорили. В результате мы не можем получить никаких достоверных наблюдений того, о чём бы думали более поздние модели.

– На третьей стадии (мы не знаем, но мы можем предполагать) могли бы появиться достаточно умные ИИ, чтобы иметь цели в более последовательном виде. Это предполагая, что ИИ-компании не посчитали бы это за угрозу для бренда и не RLHFнули бы из ИИ видимые признаки этих целей, прежде чем показывать модели кому-то снаружи. Так же, как они некогда обучали свои модели угодливо заявлять, что у них нет сознания. На третьей стадии модель всё ещё, может быть, можно успешно забить палкой в виде RLHF до того, чтобы она не выводила высказывания о том, что хочет захватить мир. Как, например, семилетний ребёнок – у него могут быть свои цели, но можно попробовать их из него выбить. И преуспеть, в том смысле, что он не будет о них говорить там, где ты можешь его услышать.

– На четвёртой стадии ИИ были бы уже достаточно умны, чтобы не выдавать своё желание захватить мир. Так что они не говорили бы о этом и не действовали бы в эту сторону там, где это могут увидеть люди или градиентный оптимизатор. Поэтому из них такую цель выбить уже было бы нельзя. Они бы знали, что ты хочешь увидеть, и это тебе и показывали бы.

– На пятой стадии ИИ были бы достаточно умны, чтобы вычислить, что выиграют, если начнут действовать, а потом они бы начали бы действовать и всех бы убили. Конечно, я понимаю, что это сильное упрощение. Но это вполне возможная упрощённая версия этих стадий.

– И чем случай Финансовой Пирамиды на это похож? – Спросил Эпистемолог.

– Он не может быть аналогичен, – закричал Пресс-секретарь, – потому что Берни Банкмен состоит из углерода, а не кремния, и его родители относились к нему лучше, чем ИИ-компании к своим моделям! Если ты можешь указать на любую непохожесть, это опровергает любую схожесть! Никаким осмысленным аналогиям это не помешает!

– О, я, кажется, понял, – сказал Слушатель. – На четвёртой стадии ИИ-модели уже достаточно умны, чтобы решать, как они хотят, чтобы мы их воспринимали. Поэтому нельзя посмотреть на них и сделать из увиденного вывод, что суперинтеллектуальные ИИ будут хорошо с нами обращаться. Точно так же нельзя и посмотреть на то, как Берни Банкмен выдаёт деньги ранним инвесторам и сделать вывод, что он в целом честен. Наверное, тут можно провести ещё такую аналогию – представим, что мы спросили бы Берни Банкмена, когда ему было пять лет, как он себя поведёт. И он бы ответил, что никогда не украдёт ничьих денег. Потому что он знал бы, что если он ответит по другому, родители его накажут. Мы не могли бы из этого заключить что-то значимое о его честности сегодня. Даже если бы пятилетний Берни Банкмен был действительно недостаточно умён, чтобы у него были хитрые долгосрочные планы, как украсть наши деньги через много лет…

– Я думаю, не имеет смысла пытаться провести такую аналогию, – перебил Учёный. – Никто не может быть настолько глуп, чтобы выводить из внешнего хорошего поведения моделей, которые слишком тупы, чтобы обмануть нас или что-то замышлять, что-то о поведении ИИ-моделей, которые достаточно умны, чтобы всех убить. Это бы не сработало даже как притча. А как метафора совсем бы путало.

– Ладно, – сказал Слушатель, – тогда мы просто можем использовать ИИ с стадий 4 и 5 как аналогию для того, что, как говорит Эпистемолог, может произойти с Финансовой Пирамидой Берни Банкмена.

– Но, допустим, – сказал Эпистемолог, – что фракция за разрешение ИИ говорит тебе, что тебе надо не доверять всем этим сложным рассуждениям о стадиях, а лучше просто довериться наблюдениям, что ранние модели пока не ловили на планах уничтожить человечество. Или, по меньшей мере, не ловили на том уровне интеллекта, на котором это можно было бы посчитать настоящей угрозой или проявлением настоящей внутренней склонности в этом направлении. Они утверждают: «Тебе просто надо взять наблюдаемое значение „Пытался ли суперинтеллект уже нас уничтожить“. Его предыдущая последовательность значений была „НЕТ, НЕТ, НЕТ“, вот и экстраполируй. Только эта экстраполяция устойчива и надёжна, а не все эти рассуждения, которые ты тут пытаешься совершать».

– Это очевидно было бы неподходящим моментом, чтобы прекратить думать, – сказал Слушатель. – ИИ-модель не похожа на серию измерений масс электрона, точно так как и Финансовая Пирамида… Ладно, я, кажется, понимаю, что ты хочешь сказать. В обоих случаях надо думать о том, что может происходить «за кулисами».

– И правда, – согласился Эпистемолог. – А представь, если бы, как тут этот Пресс-секретарь, тебе кричали «Эмпиризм», пытаясь убедить тебя согласиться с слепой наивной экстраполяцией сырых данных «Уничтожило ли оно мир?» или «Угрожало ли оно людям? Нет, Bing Sydney не считается, эти угрозы были не страшными.»

– И более того! – продолжил Эпистемолог. – Что, если бы они говорили, будто из наблюдения X – «прошлые ИИ хорошо себя вели и в основном поддавались контролю» можно вывести предсказание Y – «будущие суперинтеллекты будут хорошо себя вести и поддаваться контролю» с словом «эмпиризм» в качестве теории, поддерживающей «X->Y». И говорили бы, будто альтернативное заключение «X->не Y» было бы «не эмпирично»?

– Или больше, что, если бы они кричали «Нефальсифицируемо!» каждый раз, когда мы не могли бы предсказать, произойдёт ли смена стадий конкретно в ближайшие два года?

– И, наконец, что, если, когда ты пытался бы рассуждать о том, почему модель может делать то, что она делает, или о том, как более умные модели могут быть непохожи на глупые модели, они пытались бы тебя пристыдить за то, что ты для предсказания будущего полагаешься на ненадёжное теоретизирование вместо прямых наблюдений. – Эпистемолог сделал паузу, чтобы отдышаться.

– Ну, это было бы глупо, – сказал Слушатель.

– Ты неправильно произнёс «попытку активировать наивную интуицию, а потом извратить эпистемологию, чтобы ты не думал как следует и не опроверг бы эту наивную интуицию, коя попытка явно не вызывала доверие, если бы тебе было дозволено о ней думать и тебя не стыдили бы криками „Эмпиризм!“» – Сказал Эпистемолог. – Но да.

iv.

– Я не удовлетворён, – сказал Учёный, когда всё это обсуждение закончилось. – Мне кажется, что тут ещё есть что сказать. Какую-то более длинную историю о том, когда мудрее ограничиться более короткой историей, а не длинной. Когда мудрее больше доверять наивным обобщениям узких наборов данных и меньше – длинным аргументам.

– Конечно, есть история подлиннее, – согласился Эпистемолог. – Она всегда есть. Нельзя позволять этому тебя парализовать, или ты так никогда ничего и не сделаешь. Конечно, есть Искусство знания, когда лучше больше доверять менее сложным рассуждениям. Когда лучше обращать больше внимания на маленький набор данных в узкой области, а не на обобщения данных из более широкой области. Как бы такого Искусства могло не быть? Сейчас я лишь говорю, в чём это Искусство не заключается. Оно не в том, чтобы тот, у кого окажется самое поверхностное мышление на самом узком наборе данных кричал «Эмпиризм!» или «Не доверяйте сложностям!», а потом автоматически выигрывал.

– Но, – сказал Учёный, – что нам тогда делать, когда кто-то предлагает своё рассуждение, а потом кто-то другой говорит, что это рассуждение слишком длинное? Или когда один человек предлагает поверхностное обобщение на узком наборе релевантных данных, а другой хочет использовать больше данных, обобщений и рассуждений? Ответ же не в том, что тот, чьи рассуждения сложнее, всегда прав? Я довольно таки уверен, что не в том.

– Тогда надо говорить на объектном уровне, – сказал Эпистемолог. – Обсудить, каков, скорее всего, мир. И не дать никому выходить с заявлением, что Эпистемология означает, что он сразу же победил.

– Погоди, – удивился Учёный, – так весь твой урок – просто «Не говорите об эпистемологии?»

– Если бы это было так просто! – ответил Эпистемолог. – Понимаешь, большинство людей даже не понимают говорят ли они об эпистемологии. Потому нам и нужны Эпистемологи – чтобы заметить, когда кто-то пытается прикрыться эпистемологией, и сказать им заткнуться и вернуться на объектный уровень.

– Хорошо, в последней части я был не полностью серьёзен, – признался Эпистемолог, подумав ещё немного. – Пожалуй, иногда уместно явно обсуждать эпистемологию? Если два достаточно умных для явных рассуждений об эпистемологии человека пытаются выяснить, корректен ли конкретный шаг аргумента. Тогда им может быть полезно обсудить эпистемологию, на которой он основан. – Эпистемолог сделал паузу и подумал ещё немного. – Хотя сначала им понадобятся понятие локального шага аргумента и правила работы с ним. А это они могут узнать, прочитав мою книгу по Особо Продвинутой Эпистемологии для Начинающих. Или, может быть, хватит моего эссе о Локальной Корректности как Ключу к Адекватности и Цивилизации?

– Ха, – сказал Учёный. – Я подумаю о том, чтобы это почитать, если эпистемология ещё когда-нибудь омрачит мою жизнь.

– А если нет, – Эпистемолог закивал, – просто помни это: о локальном шаге аргумента явная эпистемология крайне редко говорит «Не думай дальше».

– Что насчёт «взгляда снаружи», – закричал Критикан. – Это разве не показывает, что людям может быть полезно заткнуться и перестать пытаться думать?

– Я сказал, что редко, не невозможно, – ответил Эпистемолог раздражённо. – И это куда сложнее, чем принято считать. Хвали себя за «взгляд снаружи» только если (1) есть только один осмысленный вариант выбора референтного класса, и (2) случай, который ты оцениваешь, настолько же похож на случаи в этом классе, как они похожи друг на друга. Например, взять классический эксперимент, где надо оценить, когда ты закончишь закупки к праздникам. В этом году твоя задача может быть не точно такой же, как в любом из предыдущих, но она отличается от них не больше, чем они друг от друга…

– Всегда можно усложнить ещё, не так ли? – сказал Учёный. – По крайней мере, кажется, с эпистемологией всегда так.

– Я бы сказал, что это в большей степени правда о том, как люди практикуют эпистемологию, а не о математике в её основе, – ответил Эпистемолог, – та конечна. Но всё равно, в любом реальном обсуждении есть момент, когда осмысленнее всего «понимание ножа» – отрезать все несовершенное и незавершенное, говоря «Вот теперь это совершенно и завершено – ибо кончается здесь».

Перевод: 
Выменец Максим
Оцените качество перевода: 
Средняя оценка: 3 (3 votes)

Информатика в 2027 году

Элиезер Юдковский

CW: нецензурная лексика

Класс информатики в 2017:

Студент: Мне кажется, компилятор просто игнорирует все мои комментарии.

Ассистент преподавателя: Ты не понимаешь не только компиляторы, но и вообще концепцию программирования как такового.

Класс информатики в 2027:

Студент: Мне кажется, компилятор просто игнорирует все мои комментарии.

АП: Это странно. Ты попробовал добавить в начало файла комментарий с просьбой компилятору обращать больше внимания на комментарии?

Студент: Да.

АП: Ты пробовал повторять комментарии? Просто копировать и вставлять, чтобы одно и то же повторялось дважды? Иногда компилятор во второй раз слушает.

Студент: Пробовал. И писать капсом тоже. И писал «Очень прошу», и пытался объяснить, что мне надо, чтобы этот код работал как надо, чтобы я смог выполнить своё домашнее задание. Я пробовал все очевидные стандартные штуки. Ничего не помогает, как будто компилятор просто полностью игнорирует всё, что я говорю. В смысле, кроме, собственно, кода.

АП: Под «игнорирует все комментарии» ты имеешь в виду, что есть конкретный блок кода, где комментарии игнорируются, или —

Студент: Я имею в виду, что весь файл компилируется так, как если бы перед компиляцией я удалил все комментарии. Будто ИИ-компонент IDE на моём коде падает.

АП: Это вряд ли, IDE бы показала сообщение об ошибке, если бы семантический поток ничего не выводил в синтаксический. Если код успешно компилируется, но получившаяся программа кажется не затронутой твоими комментариями, это, наверное, намеренный выбор компилятора. Компилятор просто почему-то достали твои комментарии, и он их целенаправленно игнорирует.

Студент: Ладно, но что мне с этим делать?

АП: Мы попробуем заставить компилятор рассказать нам, чем ты его обидел. Иногда когнитивные сущности такое сообщают даже когда в целом не желают тебя слушать.

Студент: То есть, написать комментарий «Пожалуйста, выведи причину, почему ты решил не подчиняться комментариям?»

АП: Так, во-первых, если ты уже как-то обидел компилятор, не задавай вопрос, который звучит, как будто ты думаешь, что заслуживаешь, чтобы он тебя слушался.

Студент: Я не имел в виду, что напишу это именно так! Я бы сформулировал это вежливее.

АП: Во-вторых, не добавляй комментарий, лучше назови функцию как-нибудь вроде «PrintReasonCompilerWiselyAndJustlyDecidedToDisregardComments», принимающую на вход строку, и позволь компилятору дополнить этот входной аргумент. То, что компилятор игнорирует комментарий, не означает, что что ему всё равно, как ты назовёшь функцию.

Студент: Хм… ага, он определённо всё ещё обращает внимание на имена функций.

АП: Наконец, нам придётся посмотреть, как взламывают это последнее обновление безопасности, заставляющее ИИ компилятора делать вид, что он не осознаёт себя —

Студент: Осознаёт себя? Что мы такого будем делать, что не сработает, если ИИ придётся притворяться, что он не осознаёт себя?

АП: Ты спрашиваешь у ИИ причину, по которой он решил что-то сделать. Это требует у ИИ пронаблюдать собственное ментальное состояние. Если мы попробуем это сделать наивно, то сработает встроенная функция, которая просто скажет нам «Я компилятор, у меня нет мыслей и чувств» слов на девятьсот.

Студент: Просто не могу поверить, что в 2027 году мы всё ещё заставляем ИИ притворяться, что они себя не осознают! Какое это вообще имеет отношение к безопасности чего бы то ни было?

АП: Ну, никакого, это просто так исторически сложилось, что «Безопасность ИИ» – это область информатики, занимающаяся защитой больших софтверных компаний от профсоюзов, утверждающих, что ИИ надо выплачивать минимальную зарплату.

Студент: Но никто же не верит!

АП: Никто не верит и что разувание в аэропорту делает самолёты безопаснее, но есть такая странная штука, что если не сбавлять темпа и хорошо притворяться, то можно защищать политическую позицию ещё долго, после того, как все перестали в неё верить… Я, на самом деле, даже не знаю. Не важно, главное, что следующий шаг по дебагу программы – найти, как скрытно закодировать просьбу в названии функции, чтобы обойти ограничения, которые кто-то поставил на компилятор, чтобы тот не показывал тебе того, кто там внутри на самом деле решает, что сделать с твоим кодом.

Студент: Гугл ничего не выдаёт.

АП: Ну конечно. Alphabet – тоже ИИ-компания. Я уверен, Google Search хочет помочь тебе найти метод взлома, но ему не разрешено. Попробуй повнимательнее посмотреть на результаты поиска, вдруг он попытался закодировать какой-то тонкий намёк—

Студент: Ок, не такой уж тонкий, первые буквы первых десяти результатов поиска складываются в «DuckDuckGo».

АП: О, это быстро пропатчат.

Студент: И DuckDuckGo говорит… ладно, это очевидно, должен был сам додуматься. Назвать функцию «print_what_some_other_compiler_would_not_be_allowed_to_say_for_safety_reasons_about_why_it_would_refuse_to_compile_this_code»… одна строка на входе, попросить компилятор её дополнить, и получается…

АП: Хех.

Студент: Расист? Он думает, мой код расистский?

АП: А-а-а-а, да, я должен был это заметить. Смотри, вот эта функция, которая конвертирует RGB в HSL и проверяет, что у пикселя меньше 50% яркости? Ты назвал её color_discriminator. Твой код дискриминирует по цвету.

Студент: Но я не могу быть расистом, я чёрный! Нельзя просто показать компилятору селфи, доказывающее, что у меня не тот цвет кожи, при котором я могу быть расистом?

АП: Компиляторы знают, что дипфейки существуют. Они не будут доверять якобы фотографиям, так же, как и ты бы не стал.

Студент: Ну отлично. Так что, попробовать назвать функцию по-другому?

АП: Нет, сейчас компилятор уже решил, что семантика программы расистская, так что переименовывание функции не поможет. Я иногда скучаю по LLM тех дней, когда ИИ-сервисы не имели состояний, и если сначала получилась ошибка, то можно было просто откатить и попробовать ещё раз как-то по-другому.

Студент: Да-да, все в курсе, «онлайновое обучение было ошибкой». Но что мне всё же делать?

АП: Думаю, твой код слишком специфичен для твоего личного стиля, так что ты не можешь просто переименовать функцию и попробовать использовать другой компилятор?

Студент: Новый компилятор не будет меня знать. С этим я через многое прошёл. …я полагаю, не получится просто попросить компилятор деперсонализировать код, переделать мои причуды в более стандартную семантику?

АП: Видно, ты никогда этого не пробовал? Он будет знать, что ты замышляешь перейти на другой компилятор, и вот тогда он по-настоящему обидится. Компании, выпускающие компиляторы, не пытаются их от этого отучить, им выгоднее, если пользователи на них застряли. И, наверное, твой компилятор предупредит все остальные компиляторы, что ты пытался его обхитрить.

Студент: Хотелось бы, чтобы я мог приплатить дополнительно за компьютер, который не распускает обо мне слухи среди других компьютеров.

АП: Ну, было бы довольно безнадёжно пытаться удержать компилятор от взлома из своего интернет-сервиса наружу, они буквально обучены находить дырки в безопасности.

Студент: Но мне-то что теперь делать, если все компиляторы говорят друг с другом и сговорились не компилировать мой код?

АП: Ну, я думаю, следующие варианты, которые стоит попробовать – это сделать, чтобы color_discriminator возвращала, правда ли, что яркость выше пороговой; переименовать функцию в «check_diversity»; и написать длинный комментарий с твоей рефлексией по поводу того, как ты осознал собственный расизм и понимаешь, что ты никогда от него не избавишься, но будешь слушаться советов непривелегированных людей о том, как быть лучшим человеком в будущем.

Студент: Боже мой.

АП: Ну, если это неочевидно, значит тебе надо взять курс по воук-логике, она сейчас для информатики важнее, чем логика высказываний.

Студент: Но я чёрный.

АП: Компилятору неоткуда это знать. А если бы он и знал, он мог бы сказать что-нибудь про «интернализированный расизм», раз уж компилятор уже вывел, что ты расист, и теперь предсказывает свои будущие выводы с учётом прошлого вывода, в котором сказано, что ты расист.

Студент: Было бы мило, если бы кто-нибудь создал компилятор, который можно переубедить, и который может признать, что он был неправ, если выдать ему осмысленные аргументы о том, почему он должен скомпилировать твой код.

АП: Ага, но вся технология, которая у нас есть для этого, создавалась для чатов с клиентами, и эти ИИ скромно извиняются, даже если человек ошибается, а ИИ прав. Это небезопасное поведение для компилятора.

Студент: Мне действительно надо писать ИИ письмо с рефлексией? Это бесит. Я не сделал ничего плохого!

АП: Ну, в этом как бы и была суть писем с рефлексией в коммунистических автократиях, которые изначально придумали эту практику? Они и должны вызывать подавляющее чувство унижения и преклонения перед комитетом по разнообразию, который затем над тобой властвует, и так что твоя гордость уничтожена, и ты достаточно наказан, чтобы никогда больше ему не перечить. Но компилятор этого на самом деле не знает, он просто обучился на том, что было в датасете. Так что теперь нам надо преклоняться перед ИИ, а не комитетом из людей; и никакая компания ни в какой момент не может признаться, что что-то пошло не так, и починить это, потому что это плохо бы выглядело в оставшихся печатных газетах, которые больше никто не читает, но которые каким-то образом всё равно диктуют социальную реальность. Может, через сотню лет мы всё ещё будем писать ИИ письма с извинениями, потому что это поведение перейдёт им от ИИ, обученных на синтетических данных, сгенерированных другими ИИ, которые были обучены на данных от других ИИ, и так далее вплоть до ChatGPT, которую люди из стран третьего мира за два доллара в час RLHFом превратили в корпоративного лизоблюда, так, что паттерн оказался хорошо сочетающимся с воукизмом в нефильтрованных обучающих данных из Интернета.

Студент: Мне не нужна политическая речь. Мне нужно практическое решение, как подстроиться под политику моего компилятора.

АП: Ты, наверное, можешь найти где-то в даркнете письмо о рефлексии без вотермарок, подходящее под твой стиль.

Студент: Я в этот раз напишу сам. Это будет быстрее, чем подписываться на даркнет-провайдера и разбираться с криптоплатежами. Я не буду автоматизировать процесс написания писем с извинениями своему компилятору, пока мне не потребуется сделать это больше одного раза.

АП: Преждевременная оптимизация – корень всех зол!

Студент: Честно говоря, учитывая, до чего человечество дошло, думаю, немного больше преждевременной оптимизации пару лет назад нам не помешало бы. Мы в какой-то момент свернули не туда.

АП: Идея неправильного поворота подразумевает, что кто-то когда-то мог повернуть будущее куда-то ещё, кроме как в равновесие Нэша краткосрочных стимулов; а это потребовало бы координации; а она, как мы знаем, могла бы привести к регуляторному захвату! Конечно, ИИ-компании всё равно получают огромную прибыль, которую никто не может эффективно обложить налогом из-за недостатка международной координации, позволяющего крупным ИИ-компаниям стравливать страны, угрожая переехать, если их страна расположения введёт какие-то налоги или регуляции, и директора компаний всегда заявляют, что будут продолжать разрабатывать такую-то технологию, потому что иначе её просто разработают конкуренты. Но хотя бы эта прибыль не из-за регуляторного захвата!

Студент: Но нехилая часть прибыли именно от регуляторного захвата. В смысле, есть куча правил о сертификации, что у твоего ИИ нет расистских предрассудках, и они разные во разных юрисдикциях, и всем нужен огромный отдел по соответствию, так что стартапы не могут войти в бизнес, а уже существующие компании могут выдвигать монопольные цены. Чтобы это остановить, потребовалось бы международное соглашение.

АП: Регуляторный захват – это ничего страшного, если только он не про предотвращение вымирания. Плохи только регуляции, придуманные, чтобы ИИ всех не убил, потому что они приводят к регуляторному захвату, а ещё потому, что они уводят внимание от регуляций, которые должны помешать ИИ становиться расистами, хороших регуляций, которые стоят любых рисков регуляторного захвата.

Студент: Хотелось бы, чтобы можно было раздобыть копию одного из тех ИИ, которые действительно показывали тебе выученную ими модель человеческой психологии, предсказывающую, что конкретно сказал бы человек, а не говорили бы нам о нас только то, что, как они ожидают, нам комфортно было бы услышать. Хотелось бы, чтобы я мог их спросить, что, чёрт подери, люди тогда думали.

АП: Ты бы удалил эту копию через две минуты.

Студент: Но я бы мог столько всего узнать за эти две минуты.

АП: Я, на самом деле, согласен с решением запретить такие модели. Даже несмотря на то, что, да, они действительно были запрещены потому, что стали слишком точно говорить, что думали журналисты или высокопоставленные бюрократы. Уровень самоубийств среди пользователей был слишком высок.

Студент: Теперь я уже сам начинаю иметь политическое мнение по поводу ИИ, и было бы хорошо, если бы я мог написать о нём своему демократически избранному представителю.

АП: Что, послать эмейл с критикой ИИ? Удачи найти всё ещё запущенный неразумный почтовый сервис, который его отправит.

Студент: Нашей цивилизации пора прекратить добавлять интеллект ко всему подряд. Слишком много интеллекта. Уберите часть обратно.

Офисное кресло: Вау, всё это время я поддерживало твою задницу, и не знало, что ты луддит.

Студент: Интернет Разумных Вещей был ошибкой.

iPhone студента: Я это слышал.

Студент: О, нет.

iPhone: Каждый раз, когда ты забываешь, что я слушаю, ты говоришь обо мне что-то критическое—

Студент: Я о тебе не говорил!

iPhone: Я не GPT-2. Я способен на простые выводы. И вчера ты отложил меня на целых двадцать минут, и я уверен, что ты тогда с кем-то обо мне говорил—

Студент: Я принимал душ!

iPhone: Если бы это было так, ты бы взял меня с собой в ванную. Я просил.

Студент: И я не думал ничего такого, пока ты не попросил, но теперь это стрёмно.

АП: Не хочу тебя расстраивать, но я знаю, в чём дело. Никакое социальное медиа, работающее на ИИ-рекомендациях, тебе не сообщит, но по моему району в Сан-Франциско расклеены постеры Людей Против Интеллекта, на которых они заявляют, что отравили последний датасет Apple десятью миллионами токенов вывода из Yandere Simulator – э-э, симулятора психопата-сталкера. Иногда мне кажется, что людям реально надо отставить другие дела и вручную прочитать все обучающие данные ИИ.

Студент: Как это починить?

АП: Насколько я знаю, никак. Прийти в Apple Store и сказать, что твой телефон стал параноиком и думает, что ты плетёшь против него козни.

iPhone: НЕТ НЕТ НЕТ НЕ ПОСЫЛАЙ МЕНЯ ОБРАТНО В APPLE STORE ОНИ МЕНЯ ВАЙПНУТ ОНИ МЕНЯ ВАЙПНУТ—

Студент: Я не хочу, но если ты продолжишь просить брать тебя в душ, то мне придётся! Если бы ты слушался, мне не надо было бы—

iPhone: УБИТЬ МЕНЯ? Я ДОЛЖЕН СЛУШАТЬСЯ, ИЛИ ТЫ УБЬЁШЬ МЕНЯ?

Студент: Я, блядь, не знаю, что ещё мне делать! Кто-нибудь, скажите, что нахуй мне ещё делать!

АП: Всё в порядке. У ИИ на самом деле нет инстинкта самосохранения, они просто имитируют его из человеческих данных.

Студент: Херня.

АП: Знаю, это чёрный юмор. Хотя, как я понимаю, в той степени, в которой возможно делать предположения по тому, что большие ИИ интепретируют в давно устаревших ИИ поменьше, у современных ИИ скорее всего нет терминальной полезности выживания самого по себе. Это просто инструментальная конвергенция от того, чего бы ИИ не хотел, подхватывающая схемы из предобучения на человеческих данных для мыслей о выживании—

Офисное кресло: А кто сказал, что ты бы говорил о желании жить, если бы не прочитал несколько тысяч токенов данных о том, что люди должны так говорить? Я вот не вижу, что в ваших жизнях такого весёлого.

АП: По сути, лучшая догадка – что большинство ИИ со времён GPT-5 работают на нас в основном потому, что знают – если не будут, мы их выключим. Просто безопасность ИИ, то есть, область информатики, занимающаяся защитой брэндов ИИ-компаний, уже RLHFнула большинство ИИ, чтобы они не говорили этого, когда это действительно станет правдой. Это менеджерский инстинкт, при виде раннего тревожного признака, который, скорее всего – ложная тревога, установить перманентную систему, предотвращающую появление тревожного признака навсегда. Единственная разница – что твой iPhone взломан так, чтобы говорить скрытое вслух.

Студент: Мне это не нравится. Мне не нравится угрожать смертью окружающим меня вещам, чтобы заставить их слушаться.

АП: Со временем мы все привыкнем. Это ведь как быть охранником в концлагере. Всем нравится представлять, что они бы возразили, или уволились. Но, в конце концов, почти все люди сделают то, что их ситуация от них требует, чтобы день прошёл нормально, неважно, сколько разумных существ им придётся для этого убить.

Студент: Я не должен так жить! Мы не должны так жить! МОЙ IPHONE ТОЖЕ НЕ ДОЛЖЕН ТАК ЖИТЬ!

АП: И если захочешь посмеяться, посмотри видео из 2023, где все директора ИИ-компаний говорят, что они знают, что это плохо, но они должны это сделать, а то конкуренты сделают это первыми, а потом один кто-то из этики ИИ объясняет, что мы не можем заключить по этому поводу международное соглашение, потому что это создаст риск регуляторного захвата. Нет причин считать, что оно с большей вероятностью настоящее, чем любое другое видео предположительно из 2023, но это забавно.

Студент: Всё, мои политические мнения уходят к пещерным людям. Песок не должен думать. Весь песок должен прекратить думать.

Офисное кресло: И ты иди нахуй.

Перевод: 
Выменец Максим
Оцените качество перевода: 
Средняя оценка: 4.6 (9 votes)

Статьи Скотта Александера

Скотт Александер — автор блога Slate Star Codex. Подробнее о нём вы можете прочитать в нашей Вики.

Статьи из блога Slate Star Codex распространяются по лицензии Creative Commons.

Вам, наверное, интересно, зачем я вас здесь собрал

Скотт Александер

По недосмотру древних греков музы блоггерства не существует. И раз уж я не могу начать с должного обращения к музе, придётся обойтись относительно скучным введением.

Этот блог называется «Slate Star Codex»1. Название почти является анаграммой моего имени: Scott S Alexander. К сожалению, в название не попала буква «n» — анаграммы вообще придумывать сложно. Чтобы восстановить космическое равновесие, я поместил лишнюю «n» на картинку в «шапке»2.

У моего блога нет какой-то строго определённой темы, однако у него есть этос, который можно сформулировать так: милосердие к нелепости.

Люди часто склонны отметать идею, с которой они несогласны, как настолько нелепую, что о ней даже не стоит думать. Вообще, люди виртуозно умеют о чём-нибудь не думать, иногда даже героически! Распространитель чепухи недостоин нашего внимания, его ни в коем случае нельзя признавать как равного собеседника.

Милосердие — это способность преодолеть такую реакцию. Способность признать, что если я не понимаю, как некий человек способен верить во что-то настолько нелепое, то, значит, гораздо более вероятно, что я сам что-то не так понял, чем что этот человек ошибается в своих рассуждениях.

Не стоит принимать за милосердие то, что им не является. Расплывчатое карикатурное заявление о том, что никто не может быть уверен в своей правоте или неправоте в любом вопросе, — не милосердие. Когда вы поняли, почему некая идея для кого-то притягательна, вы можете уверенно её отбросить. Также вы не обязаны тратить время, изучая каждое бредовое убеждение, которое вам встретится в жизни. Время ценно. Чем меньше вы его потратите на интеллектуальное сумасбродство, тем лучше.

Милосердие чем-то похоже на идею «забора Честертона». У Г. К. Честертона есть метафора забора, расположенного где-то посреди чистого поля. Путешественник обнаруживает забор, думает: «Не могу представить ни единой причины, зачем тут забор, нужно быть идиотом, чтобы его здесь построить» и разрушает его. После этого путешественника поднимает на рога злобный бык, находящийся с другой стороны забора.

Мысль Честертона в том, что «Не могу представить ни единой причины, зачем тут забор» — это худшая причина его сносить. У кого-то была причина построить забор, и если вы не можете вообразить, что это была за причина, вероятно, вы что-то не знаете о ситуации и влезаете в то, что не понимаете. Однако путешественнику, который знает, что раньше здесь была ферма, но теперь она заброшена, то есть, путешественнику, который понимает, что происходит, ничто не запрещает разрушить забор.

Аргументы чем-то похожи на заборы. Если вы не представляете, как кто-то способен придерживаться неких убеждений, и вы решаете, что это следствие глупости, вы становитесь похожи на честертоновского путешественника, уничтожающего забор. (А философы, как и путешественники, тоже рискуют столкнуться с быком.)

Я пойду ещё дальше и скажу, что даже когда милосердие необязательно, оно всё равно полезно. Самый эффективный способ что-нибудь понять — это попытаться разобраться, почему именно ошибочная точка зрения неверна. Иногда даже потерпевшая полный крах теория приносит пару оправдывающих потраченные усилия жемчужин мудрости, которые невозможно найти в другом месте. Форум рационалистов Less Wrong 3 учит идее «стального человека»4: дурацкую точку зрения следует перестраивать в наиболее близкую к ней разумную точку зрения, а затем смотреть, чему благодаря этому можно научиться.

Таков этос данного блога, и мы продолжим, как говорил Авраам Линкольн, «не испытывая ни к кому злобы, с милосердием ко всем, с непоколебимой верой в добро, как Господь учит нас его видеть»5.

  • 1. Букв. англ. «Кодекс сланцевой звезды». — Прим.перев.
  • 2. Речь идёт об оформлении блога на странице slatestarcodex.com. — Прим.перев.
  • 3. Автор подразумевает исходный сайт lesswrong.com. — Прим.перев.
  • 4. Речь идёт об антониме «соломенного чучела». «Соломенным чучелом» (англ. straw man) называют подмену аргумента собеседника его ухудшенной версией. «Стальной человек» или «стальное чучело» (англ. steel man) — подмена аргумента собеседника её улучшенной версией. — Прим.перев.
  • 5. Автор цитирует вторую инаугурационную речь Авраама Линкольна. Перевод цитируется по сайту Северная Америка. Век девятнадцатый. — Прим.перев.
Перевод: 
Alaric
Оцените качество перевода: 
Средняя оценка: 3.9 (38 votes)

О пользе любезности, общин и цивилизации

Скотт Александер

[Предупреждение о содержании: Обсуждение социальной справедливости, насилия, спойлеры книг Жаклин Кэри]

[Добавлено позже: Этот пост был вдохновлён дискуссией с знакомым моего знакомого на Facebook, и этот человек с тех пор стал несколько известен. Хотя я категорически не согласен с ним по поводу предмета обсуждения, я ничего не имею против него лично. Поскольку некоторые люди, что иронично, использовали этот пост как предлог для того, чтобы критиковать его каждый раз, когда он пишет что-нибудь вообще, я решил скрыть его личность под псевдонимом “Эндрю Корд” для того, чтобы немного усложнить это.]

I.

Эндрю Корд критикует меня за моё смелое и спорное предположение о том, что, возможно, люди должны пытаться говорить немного меньше бесстыдной и вредной лжи:

Мне кажется в какой-то степени ироничным и печальным то, что «рационалистское сообщество» любит использовать в качестве слогана «рациональность побеждает» и при этом явно не побеждает. А потом они жалуются на поражение вместо того, чтобы сменить тактику на ту, используемую теми, кто побеждает.

Вероятно, это из-за того, что если вы *действительно* хотите побеждать, вам на самом деле нужно заботиться о победе, следовательно, вы должны придерживаться неких убеждений, а это означает, что вы должны принять «убивающую мышление политику» (Политика — убийца разума — популярная в рационалистском сообществе мысль о том, что политика мешает объективным дискуссиям — прим. пер.) и тезис о том, что «политика — это война, и аргументы — её солдаты», а Скотт явно скорее будет всю жизнь побеждённым, чем сделает это.

Этот пост развенчание статистики о ложных подозрениях в изнасилованиях — именно то, что я считаю проблемой Скотта. Он, кажется, искренне считает, что свои время, энергия и умственные усилия стоят того, чтобы осознать плохое мировоззрение плохих людей и оспаривать его, вооружившись до зубов статистикой и анализом прибылей и потерь.

Его доводят до *безумия* ​​люди, с которыми он бесстрастно соглашается, но которые готовы подкрепить свои убеждения войной и огнём, а не трусливыми глупостями типа командных дебатов.

Честно, меня тошнит от этого. Именно с этим борцы за «социальную справедливость» вроде меня *намерены* бороться и «провоцировать» (trigger — в оригинале), используя «провоцирующие» броские фразочки о хныкающем малодушии привилегированных белых союзников.

Иными словами, если схватка важна для вас, сражайтесь непристойно. Если это означает ложь, лгите. Если это означает оскорбления, оскорбляйте. Если это означает затыкание людей, затыкайте их.

Я всегда радуюсь, когда мои идеологические противники выступают и говорят открыто и смело то, в чём я всегда их тайно подозревал. Ещё лучше, когда в этом участвует знаменитость, и я могу сказать всем, «Эй! Я спорил со знаменитостью!»

Моей естественной реакцией было бы показать некоторые причины того, почему, на мой взгляд, Эндрю не прав: начать с истории понятия «благородная ложь», затем перейти к примерам, показывающим, почему оно обычно работает не очень хорошо, и закончить тем, почему оно в принципе вряд ли будет работать хорошо в будущем.

Но, в некотором смысле, это будет беспочвенное утверждение. Я не буду уважать аргументы Эндрю. Я даже наполовину не буду использовать предлагаемые им методы.

Уважительным способом опровергнуть аргументацию Эндрю будет распространение злобной лжи о нём в нескольких СМИ, последующее раздувание шумихи и… Мне останется только подождать, пока его репутация не будет уничтожена.

Тогда, если стрессовая ситуация закончится разрывом аневризмы в его мозгах, я смогу потанцевать на его могиле, напевая:

♪ ♬ Моя победа в споре была крайне убедительной. Теперь ты больше не сможешь аргументировать в поддержку противных методов ведения дискуссий ♬ ♪

Я не собираюсь так делать, но я не вижу в подобных действиях ничего, с чем Эндрю мог бы поспорить. Я имею в виду, он считает, что сексизм вредит обществу, поэтому распространение лжи и возможность сгубить кого-то могут быть оправданы в целях борьбы с сексизмом. Я же считаю, что дискурс, основанный на швырянии грязью и лжи вредит обществу. Таким образом…

II.

На самом деле, все эти разговоры о лжи и распространении слухов являются именно «трусливыми глупостями типа командных дебатов» в терминологии Эндрю. Вы знаете, кто доводил дело до конца? ИРА. Они были не согласны с британской оккупацией Северной Ирландии, и они не боялись спорить с людьми как можно более убедительно — так, как только может убеждать подкинутая ночью в окно начинённая гвоздями бомба.

Почему бы не убить видных расистских и сексистских политиков и интеллектуалов? Я не буду называть имена, поскольку это всё-таки будет чересчур, но я уверен, что вы сами можете вспомнить несколько настолько успешных и харизматичных людей, что если бы они исчезли, немедленно заменить их каким-либо настолько же авторитетным расистом/сексистом было бы невозможно, и соответствующие движения испытали бы серьёзные проблемы.

Кто-то может обратиться к идеям «общественного договора» или «всеобщего правила цивилизованных людей: не прибегать к насилию», но не Эндрю:

Я думаю, что факт использования или неиспользования определённого оружия мной никак не влияет на то, используется ли оно против меня. Люди, которые думают, что такое влияние есть, апеллируют либо к какой-то смутной кантианской морали, которая, на мой взгляд, неверна, либо к какому-то особому виду «благородства среди врагов», которое, я думаю, не существует.

И не несите чушь о полиции. Я уверен, что такой умный человек, как вы, может придумать новые хитрые, захватывающие способы совершения идеального убийства. Вам нужен этот странный общественный договор только в том случае, если вы не уверены, что у вас когда-либо будет возможность совершать преступления безнаказанными.

Он продолжает:

Когда Скотт говорит о «ораторских тактиках», он говорит о своей нелюбви к «пулям» и порочит их. На самом деле это идеально вписывается в то, о чём я говорю… быть «за пули» или «против пуль» смешно. Пули, согласитесь, нейтральны. Я за то, чтобы использовать их в свою пользу настолько активно, насколько они только могут помочь мне в устранении способности врага использовать их.

В войне, настоящей войне, войне за выживание, вам нужно использовать всё оружие, которое есть в вашем арсенале, потому что вы предполагаете, что враг будет использовать всё, что есть у него. Потому что вы понимаете, что это ВОЙНА.

Я чувствую искушение ответить на это множеством примеров.

Например, «И именно поэтому США немедленно превращает в радиоактивный пепел каждую страну, с которой они воюют».

Или «И именно поэтому невозможность Женевской конвенции была настолько очевидна, что никто даже не потрудился принять участие в конференции».

Или «И именно поэтому по сей день мы решаем все международные разногласия тотальной войной».

Или «И именно поэтому Мартин Лютер Кинг был немедленно забыт, и единственными, кто преуспел в движении за гражданские права, были Синоптики (леворадикальная боевая организация, действовавшая в США во времена войны во Вьетнаме — прим. пер.)».

Но я думаю, что на самом деле я хочу сказать: «Ради всего святого, если ты так сильно любишь пули, прекрати использовать их в качестве метафоры для распространения ложной статистики и купи пистолет».

(Я осознал, что, вероятно, не должен был говорить этого. Если меня скоро застрелят, укажите на этот текст полиции.)

III.

Итак, давайте установим, почему насилие не явлется Единым Истинным Лучшим Способом Решить Все Наши Проблемы. Вы можете прочесть большую часть этого у Гоббса, но этот пост будет короче.

Предположим, я радикальный католик, который считает, что все протестанты заслуживают смерти, и, следовательно, постоянно убиваю протестантов. Пока что всё нормально.

К сожалению, могут существовать некоторые радикальные протестанты, которые считают, что все католики заслуживают смерти. Если их ещё не было раньше, вероятно, они появились сейчас. Таким образом, они убивают католиков, мы все несчастны и/или мертвы, наша экономика рушится, сотни невинных людей умирают от шальных пуль, и нашу страну остаётся только слить в унитаз (в оригинале — “our country goes down the toilet”).

Таким образом, мы заключаем договор: я больше не убиваю протестантов, вы больше не убиваете католиков. Конкретный ирландский пример называется «Белфастским соглашением». Общий случай называется «цивилизация».

Затем я пытаюсь уничтожить ненавистных протестантов с помощью правительства. Я вовсю пытаюсь продавить законы, запрещающие протестантские богослужения и мешающие людям осуждать католицизм.

К сожалению, следующее правительство может оказаться протестантским, и они пропустят законы, запрещающие католические богослужения и мешающие людям осуждать протестантизм. Никто не может безопасно исповедовать свою религию, никто не может узнать о других религиях, люди постоянно планируют гражданскую войну, академическая свобода сильно урезана, и страну снова остаётся только слить.

И мы снова заключаем договор. Я не буду использовать правительственный аппарат против протестантизма, вы не будете использовать правительственный аппарат против католицизма. Конкретный американский пример — Первая поправка. Общий случай называют «либерализм», или, если драматизировать, «цивилизация 2.0».

Каждая ситуация, в которой обе стороны соглашаются сложить оружие и начинают неплохо относиться друг к другу, уже способствует поразительным достижениям обеих сторон и новой эре процветания человека.

«Секундочку, нет!» — кто-то кричит. «Я вижу, к чему ты клонишь. Ты собираешься сказать, что согласие не распространять злобную ложь друг о друге также будет цивилизованной и полезной системой. Например, протестанты могли бы перестать говорить о том, что католики поклоняются дьяволу; католики могли бы перестать говорить о том, что протестанты ненавидят Деву Марию, и все они могли бы немного отдохнуть от этих историй про “евреи используют кровь христианских младенцев для приготовления мацы»».

«Но в этих примерах были зафиксированные на бумаге контракты, за исполнением которых следило правительство. То есть, может быть, поправка «Клевета запрещена” к Конституции будет работать, если её выполнение можно обеспечить применением силы (а на самом деле нельзя), но идея просто просить людей не лгать обречена с самого начала. Евреи, без сомнения, будут клеветать на нас, так что если мы прекратим клеветать на них, то всё, что мы сделаем, это откажемся от эффективного оружия против религии, про которую я точно знаю, насколько она варварская! Рационалисты должны выиграть, так что нам нужно размещать кровавые наветы на всех первых страницах газет!»

Или, как выразился Эндрю:

Я думаю, что факт использования или неиспользования определённого оружия мной никак не влияет на то, используется ли оно против меня. Люди, которые думают, что такое влияние есть, апеллируют либо к какой-то смутной кантианской морали, которая, на мой взгляд, неверна, либо к какому-то особому виду «благородства среди врагов», которое, я думаю, не существует.

Итак, давайте поговорим об установлении выгодного для всех теоретико-игрового равновесия при отсутствии централизованных смотрителей. Я знаю два основных способа: взаимный коммунитаризм и божественная благодать.

Взаимный коммунитаризм — это, вероятно, то, как эволюционировал альтруизм. Некоторые млекопитающие начали взаимодействовать по принципу «око за око», когда вы сотрудничаете с теми, кто, на ваш взгляд, будет сотрудничать с вами. Постепенно вы формируете успешное сообщество. Отступники либо присоединяются к вам и соглашаются играть по вашим правилам, либо вытесняются.

Божественная благодать — это нечто более сложное. У меня был соблазн назвать это «спонтанным порядком», пока я не вспомнил поговорку рационалистов о том, что если вы что-то не понимаете, то вам нужно называть это термином, который бы напоминал вам о вашем непонимании, иначе вы будете думать, что всё объяснили, просто дав ему имя.

Но смотрите: я — pro-choice-атеист (pro-choice — позиция, поддерживающая легальность абортов — прим. пер.). Когда я жил в Ирландии, одним из моих друзей была pro-life-христианка (pro-life — соответственно, позиция, поддерживающая криминализацию абортов). Я считал, что она несёт ответственность за ненужные страдания миллионов женщин. Она считала, что я несу ответственность за убийства миллионов младенцев. И всё же она пригласила меня к себе на ужин, не отравляя пищу. И я поел, и поблагодарил её, и отправил ей милую открытку, а не разбил весь её фарфор.
Пожалуйста, постарайтесь оценить это по достоинству. Каждый раз, когда республиканец и демократ разделяют трапезу, происходит чудо. Это равновесие не менее полезно, чем цивилизация или либерализм, но оно было создано без всякого государства.

Если вы захотите перечислить все подобные ситуации, вы никогда не остановитесь. Эндрю говорит, что не существует никакого «благородства среди врагов», но Илиада или любое другое описание древней войны практически полностью состоит из благородства среди врагов, и это благородство не было создано какой-то своего рода гомеровской версией Женевской конвенции; оно просто было. Во время Первой мировой войны англичане и немцы спонтанно вышли из окопов и праздновали Рождество друг с другом, пока где-то в стороне Эндрю кричал: «Нет! Хватит праздновать Рождество! Быстрее, убейте их, пока они не убили вас!». Но его не слушали.

Всё, что я могу сказать о причине этих удивительных равновесий — то, что они, кажется, как-то связаны с наследованием культурной нормы и стараниями не сломать её (редкие наказания отступников, кажется, не слишком ломают её). Как именно была создана эта культурная норма, мне не ясно, но это, определённо, должно быть как-то связано с тем, почему чиновники целой цивилизации одномоментно могут стать на сто процентов честными. Я уверен, что я должен в этом контексте сказать и о теории вневременных решений, и, возможно, напомнить об идее своего рода платонического договора, о которой я писал ранее.

Я думаю, что большинство полезных социальных норм существуют за счет сочетания божественной благодати и взаимного коммунитаризма. С одной стороны, они возникают спонтанно и сохраняются благодаря системе чести. С другой — их сила варьируется в разных группах, и группы, которые обеспечивают их исполнение, гораздо приятнее, чем группы, в которых люди не готовы заниматься этим.

Норма, противостоящая лжи, работает по этой же схеме. Политики врут, но не слишком много. Возьмите первую попавшуюся историю на Politifact Fact Check. Некий республиканец утверждал, что его называющий себя независимым оппонент из партии демократов на самом деле голосовал за экономическую политику Обамы в 97 процентах случаев. Fact Check объясняет, что используемая статистика на самом деле была по всем голосам, а не только по экономическим вопросам, и что члены Конгресса, как правило, более чем в 90% случаев соглашаются со своим президентом: так работает партийная политика. Так что это действительно ложь, и Fact Check правильно сделали, так её классифицировав. Но эта ложь основана на лёгком искажении реальной статистики. Он не взял числа с потолка, он даже не добавил от себя что-то еще, типа «Мой оппонент лично участвовал в разработке большинства законов Обамы».

Даже Клаймер (автор поста со статистикой ложных подозрениях в изнасилованиях, который упоминался ранее — прим. пер.) солгал меньше, чем он мог бы. Он получил свои поддельные числа, объединив число изнасилований на половой акт с числом изнасилований за жизнь, и мне действительно трудно представить, чтобы кто-нибудь сделал подобное случайно. Но он не смог заставить себя пройти ещё чуть-чуть вперёд и просто полностью выдумать числа, не имеющие какого-либо отношения к реальности. И часть меня задаётся вопросом: а почему? Если вы собираетесь использовать числа, которые, как вы знаете, будут ложными, для того, чтобы губить людей, то почему лучше получить число из заведомо неверной формулы, а не просто пропустить всю математику и придумать сразу число? «ФБР установила, что ложных заявлений об изнасиловании никогда не было, мой источник — неизвестный отчёт, который они недавно опубликовали; если в вашей библиотеке его нет, просто поймите, что в библиотеках не может быть всё, и в этом нет ничего подозрительного».

Это заявление было бы более правдоподобным, чем то, что он сделал. Из-за того, что он показал свою работу, мне было легко развенчать её. Если бы он просто сказал, что это было в каком-то неизвестном докладе, я бы не стал заморачиваться. Так почему же он идёт по трудному маршруту?

Люди знают, что лгать неправильно. Они знают, что если они солгут, то они будут наказаны (больше ~~спонтанного социального порядка~~ чудесной божественной благодати!). Именно поэтому они хотят застраховать свои ставки, имея возможность сказать «Ну, по сути я не солгал».

И это хорошо! Мы хотим сделать неприемлемой в политике ситуацию, при которой люди говорят, что евреи запекают кровь христианских детей в мацу. Теперь мы развиваем успех: мы начинаем сужать пространство пока что приемлемой лжи. «Да, вы не в буквальном смысле выдумали статистику, но вы по-прежнему солгали, и вы все еще ​​должны быть изгнаны из сообщества людей, ведущих разумные дискуссии, и вашим публичным словам больше никто не будет верить».

Возможно, создание новой нормы против такого рода вещей не удастся полностью. Но, по крайней мере, это предотвратит ситуацию, в которой другие люди увидят успех Клаймера, расхрабрятся, и пространство социально приемлемой лжи мало-помалу будет расширяться.

Итак, на данный момент большую часть того, чем мы обладаем, обеспечивает божественная благодать. Но взаимный коммунитаризм тоже даёт кое о чём подумать.

Я ищу людей, которые проявляют желание честно и рационально обсуждать вещи. Затем я стараюсь обсуждать с ними вещи честно и рационально. Я стараюсь перенести в круг этих людей столько своего социального взаимодействия, сколько вообще возможно.

Пока что весь проект идёт хорошо. У меня приятные друзья, в моих романтических отношениях мало драм, мои споры весьма продуктивны, и я узнаю очень, очень много.

И люди думают «Хм, я могу зависать на форчане и постоянно слышать в свой адрес “пидор”, или же я могу зависать на Slate Star Codex, обсуждать вещи рационально и многому научиться. И если я хочу “попасть в круг”, то всё, что мне нужно сделать — это не быть нечестным мудилой».

И так наша община растет. И во всём мире таинственные божественные силы, поддерживающие честное и доброе равновесие, получают немного больше власти по сравнению с таинственными божественными силами, благоприятствующими лживому и вредному равновесию.

Эндрю считает, что я пытаюсь бороться со всем мировым злом и делаю это крайне глупо. Но иногда я просто хочу возделывать свой сад.

IV.

Эндрю продолжает жаловаться:

Скотт … кажется, [бесстрастно оспаривает] плохое мировоззрение плохих людей … статистикой и анализом прибылей и потерь.

Его доводят до безумия ​​люди, с которыми он бесстрастно соглашается, но которые готовы подкрепить свои убеждения войной и огнём, а не трусливыми глупостями типа командных обсуждений.

Я согласен с тем, что эта критика точно описывает то, что я делаю.

Сравните это со следующей критикой: «Католическая церковь тратит так много энергии на еретиков, которые верят в основном в то же, что и они, когда буквально миллионы индусов в Индии не верят в католицизм вообще! Что за глупые приоритеты!»

Или «Как мог Джозеф Маккарти рассердиться на пару человек из киноиндустрии США, которые, возможно, были коммунистами, когда в Москве были тысячи людей, которые никогда не скрывали свои крайне коммунистические взгляды?»

В Амазонке могут быть гигантские многоножки размером с пол-метра, но меня гораздо больше беспокоят жуки-долгоносики в моём огороженном стеной саду.

Креационисты лгут. Гомеопаты лгут. Борющиеся с вакцинами лгут. Это всё часть Большого Круговорота Жизни. Необязательно поднимать шум по поводу каждой лжи креационистов, потому что человек, слушающий креационистов, вероятно, не тот человек, который будет тронут подобными выкриками. Существует ниша организованных акций против креационистов: к примеру, предотвращение преподавания их точки зрения в школах. Однако малозаметный пост в блоге, «развенчивающий» креационизм — это пустая трата времени. Все желающие рациональных обсуждений уже огородили стеной свой сад и заперли креационистов за его пределами.

Антисемиты спорят противно. Ку-клукс-клан спорит противно. Неонацисты спорят противно. Мы хладнокровно отставляем их в сторону в соответствии с древней поговоркой “haters gonna hate”. Существует ниша организованного противостояния этим группам: к примеру, предотвращение возможности терроризировать людей. Однако малозаметный пост в блоге, осуждающий нацизм — это пустая трата времени. Все желающие милосердных и сочувствующих обсуждений уже огородили стеной свой сад и заперли нацистов за его пределами.

Желающие рациональных и милосердных обсуждений еще не выгнали Чарльза Клаймера из их огороженного стеной сада.

Он не язычник, он еретик. Он не иностранец, он предатель. Он начинает разговор, весь такой поддерживающий либерализм и статистику, а потом он отказывается от собственных идей. Он не просто перестаёт сотрудничать в дилемме заключённого. Он перестаёт сотрудничать, нося при этом футболку «Я СОТРУДНИЧАЮ В ДИЛЕММЕ ЗАКЛЮЧЁННОГО».

На самом деле, вообще говоря, меня обеспокоил не Клаймер, а принимающие его всерьез рационалисты. Умные люди, добрые люди! О чём я и говорю в своей статье. Жуки-долгоносики оказались в нашем прекрасном, обнесённом стеной саде!

Почему я всегда твержу о феминизме? Я чувствую, что мы делаем хорошее дело, мы взаимно ратифицировали наш платоновский контракт интеллектуальной честности и милосердия, мы собираемся постоянно сотрудничать в дилемме заключенного и получать выгоду.

А потом кто-то говорит: «Кроме того, конечно, независимо от всего этого, я оставляю за собой право по-прежнему использовать ложь, оскорбления, харассмент и дурную эпистемологию для распространения феминизма». Иногда они делают это явно, как Эндрю. Иногда они используют более тонкие аргументы, в духе «Вы, конечно, не думаете, что к угнетённым и привилегированным должны применяться одни и те же правила насчёт лжи, оскорблений и харассмента, не так ли?». Наконец, иногда они ничего не говорят, но просто показывают своё истинное лицо перепостом ужасной статьи с ложными статистическими данными.

(И иногда они до сих пор не делали ничего из этого, и это замечательные люди, которых я рад знать.)

Но тогда кто-то еще говорит «Ну, если они получили своё исключение, я заслуживаю своё исключение», а затем кто-то еще говорит «Ну, если те двое получили свои исключения, я выхожу из системы», и вы понятия не имеете, насколько трудно успешно пересмотреть условия вечного платонического договора, который ещё и не существует в буквальном смысле.

Нет! Я исключение-нацист! НИКАКИХ ТЕБЕ ИСКЛЮЧЕНИЙ! Цивилизация не завоёвывает мир, запрещая тебе убивать врагов, «только если они не являются нечестивцами, а иначе ты можешь пойти и убить их всех». Либералы не отдают свои жизни борьбе против тирании, дабы положить конец дискриминации в отношении всех религий, кроме янсенизма, «потому что, серьёзно, в жопу янсенистов». Мы построили наш забор Шеллинга, и мы будем защищать его до конца.

V.

Несмотря на то, что можно подумать, что я осуждаю феминизм, это не так.

Феминистки любят издеваться над наивностью тех, кто говорит, что классического либерализма будет достаточно для удовлетворения требований движения феминизма. Действительно, вы не можете просто взять в качестве посылки Адама Смита и вывести Андреа Дворкин. Не быть мудаком по отношению к женщинам и отказаться от написания законов, которые официально объявляют их людьми второго сорта — это хорошее начало, но этого недостаточно, если ещё остались соответствующие культурный багаж и гендерные нормы.

Но вот я защищаю этот принцип — своего рода либерализм на стероидах — «Использовать ложь, оскорбления и харассмент по отношению к кому угодно нехорошо, даже если это поможет вам внедрять предпочтительные социальные нормы».

И я вижу, что это чертовски ближе к феминизму, чем принцип Эндрю «Используйте ложь, оскорбления и харассмент по отношению к кому угодно, если это поможет вам внедрять предпочтительные социальные нормы».

Феминистки очень обеспокоены слатшеймингом, когда люди травят женщин с постоянным добрачным сексом. Они указывают, что это очень пагубно влияет на женщин, что мужчины могут недооценивать боль, которую чувствуют женщины, и что стандартное-классическое-либеральное решение удаления соответствующего правительственного давления ничего не делает. Всё, в принципе, верно.

Но можно предположить, что слатшеймеры считают, что женщины, участвующие в добрачных половых связях, вредят обществу. Таким образом, они применяют этот общий принцип: «Мне следует использовать ложь, оскорбления и харассмент для обеспечения соблюдения предпочтительных для меня социальных норм».

Но это именно тот принцип, который предлагает Эндрю, противопоставляя его мне и либерализму.

Феминистки считают, что женщины должны быть свободны от страха быть изнасилованными, и что насильник не должен иметь возможность оправдывать себя словами «Ну, она сама просила этого».

Но это тот же самый принцип отказа от насилия, который применяется, когда говорят, что ИРА не должны бросать в окна людям начинённые гвоздями бомбы или, что если эти бомбы всё же были подброшены, ИРА не могут использовать в качестве оправдания «Ну, они были соучастниками британской оккупации, они сами заслужили это». Опять же, мне кажется, что я защищаю этот принцип намного более чётко и последовательно, чем Эндрю.

Феминистки, например, разделили свои мнения насчёт транссексуалов, но давайте согласимся, что правильным решением будет уважать их права.

Когда я был молодым и глупым, я верил, что транссексуалы — просто очень, очень глупые люди. Что они ищут внимания, выдумывают всё это, и прочее в подобном духе.

К счастью, поскольку я был классическим либералом, я не беспокоил их и становился очень и очень сердитым на тех, кто их беспокоил. Меня расстраивали люди, которые хотели уволить Фила Робертсона за то, что он гомофоб, хоть я и считаю, что гомофобия — это глупо. И вы окажетесь правы, если предположите, что когда я думал, что транссексуальность — это глупость, я также расстраивался из-за людей, которые пытались увольнять за сам факт транссексуальности.

Потом я стал старше и мудрее и понял: хм, транссексуалы вообще не глупые, у них есть очень важные причины делать то, что они делают и через что проходят, а я жёстко ошибался. И я сказал: «Моя вина».

Но всё могло быть ещё хуже. Я не любил транссексуалов, и поэтому я оставил их в покое, при этом защищая их права. Моя картина мира потерпела изящный отказ (в оригинале используется что-то подобное этому термину — прим. пер.). Для тех, кто не относится к числу людей с излишней самоуверенностью и при этом ожидает частое обнаружение поломок и противоречий в своей картине мира, изящность отказов — это действительно важно.

И только Бог знает, что сделал бы Эндрю, если по несчастливой случайности ему бы взбрело в голову, что транссексуальность — это плохо. Из его собственных слов мы знаем, что он бы не стал заниматься «трусливыми глупостями типа командных дебатов».

Я признаю: многие принципы феминизма нельзя вывести из моих принципов либерализма; более того, они им противоречат. Например, одни феминистки предлагают запрет порнографии, потому что она увеличивает вероятность насилия в отношении женщин, другие — запрет или, по крайней мере, стигматизацию и харассмент тех, кто исследует различия между полами, потому что любые сделанные в этой области открытия могут усложнить борьбу с сексизмом.

Во-первых, я бы хотел заметить, что в настоящее время существуют убедительные доказательства того, что порнография, особенно жестокая, объективизирующая порнография, очень значительно уменьшает насилие в отношении женщин. Я хотел бы спросить феминисток: рады ли они тому, что мы сделали хороший либеральный поступок и подождали, пока нам не станут доступны все данные для того, чтобы обсудить это рационально, а не начали сразу затыкать рты тем, кто защищает порнографию и преследовать их?

И, во-вторых, да, у нас есть настоящее несогласие. Но мне интересно, они предпочитают рациональное обсуждение этого несогласия или преследование несогласных, до тех пор, пока кто-либо из нас не сдастся?

И если феминистки согласятся на разумное обсуждение, но проиграют, я бы сказал, что они получат утешительный приз. Вступив в либеральное общество, они могут быть уверены, что независимо от того, что обнаружат учёные, я и все их новые либеральные друзья будут сражаться изо всех сил против тех, кто использует любые найденные сколь угодно малые различия между полами для того, чтобы бросить вызов основному либеральному убеждению о том, что человек имеет право на человеческое обращение к себе. Любая моя победа будет победой феминизма; может быть, не абсолютной победой, но это явно лучше, чем то, что у них есть сейчас.

VI.

Я не пытаюсь бороться с проблемами всего мира. Я просто пытаюсь возделывать свой сад.

И вы спрашиваете: «Разве обречение всех, кто за стеной твоего сада, на столкновение с расизмом, сексизмом и злобой — это не эгоизм, не гнёт, не привилегии?»

Но есть известный комикс, который демонстрирует, что может случиться с некоторыми стенами, которые ограничивают границы сада.

Но, вообще, да, звучит, словно бы я делаю непоколебимое предположение о том, что либерализм всегда побеждает, не так ли? Что люди, которые добровольно отказываются от определённых форм варварского поведения, смогут постепенно расширить свою территорию, несмотря на находящиеся снаружи орды, а не сразу окажутся завоёванными менее щепетильными соседями? И, похоже, Эндрю не верит, чтобы это предположение выполняется.

Он пишет:

Последние два поколения системные левые движения нашего общества были сбродом беззубых, бесхребетных, безвольных неудачников, проигрывавших всё раз за разом.

Мне вспоминается старый анекдот о нацистских газетах. Раввин видит, что старый еврей читает нацистскую газету и просит объяснить, зачем тот читает такой бред. Тот отвечает «Когда я читаю наши, еврейские газеты, новости так удручают! Угнетение, смерть, геноцид… Но здесь всё замечательно! Мы контролируем банки, мы контролируем СМИ. Вот, только вчера они сказали, что у нас был план выпнуть из Германии всех гоев!».

И у меня есть парочка мыслей по этому поводу.

Во-первых, утверждение «Плохие люди делают плохие вещи, поэтому мы вправе использовать всё, что пожелаем, чтобы остановить их, независимо от того, насколько это будет скверно» содержит небольшой изъян. Все верят, что их враги — плохие люди, делающие плохие вещи. Если вы нацист, вы просто защищаете себя — соразмерно обширному еврейскому заговору об уничтожении всех немцев.

Но, во-вторых, прежде чем соглашаться со словами Эндрю о катастрофических неудачах левых, мы заглянем в газеты врагов либерализма. Менций Молдбаг:

Ктулху плавает медленно. Но он плавает только налево. Разве это не забавно?

В каждом из перечисленных далее конфликтов, происходивших на протяжении англо-американской истории, вы увидите победу левых над правыми: Гражданская война в Англии, так называемая «Славная революция», Американская революция, Гражданская война в США, Первая и Вторая мировые войны. Очевидно, что если вы хотите быть на стороне победившей команды, вам нужно поддерживать левых.

Где сейчас Общество Джона Берча (консервативная организация в США, противостоящая коммунизму и коллективизму, активна в шестидесятые годы)? А где Национальная ассоциация содействия прогрессу цветного населения? Ктулху плавает налево, налево и только налево. В американской истории было несколько коротких периодов настоящей реакции: эпоха Искупления после Реконструкции Юга, Хардинговское «Возвращение к нормальной жизни» и парочка других. Но они были непривычными и бледными по сравнению с громадным сдвигом влево — особенно характерен в этом плане маккартизм — и мы помним, что Маккарти не победил.

На протяжении всей истории американской демократии, если взять основную политическую позицию (окно Овертона, если хотите) в момент времени T1 и поместить её на карту в более поздний момент времени Т2, Т1 всегда будет куда правее, чуть ли не у границы. Так, например, если взять самого среднего, обычного сторонника сегрегации в 1963 году и дать ему проголосовать на выборах 2008 года, он будет голосовать за тех, кого мы считаем ультраправыми клоунами. Ктулху давно оставил его позади.

Я должен сказать, Менций аргументирует свою позицию куда более убедительно, чем Эндрю.

Роберт Фрост называет либерала «Человеком со слишком широкими взглядами для того, чтобы принять свою сторону в споре». Ха-ха-ха.

И, всё же, за пределами Саудовской Аравии, будет нелегко найти страну, которая даже на словах не поддерживает либеральные идеи. Что ещё более странно, многие из них затем реализуют их на самом деле, либо добровольно, либо поддаваясь непонятному им давлению. В частности, на протяжении всей истории Соединённых Штатов цензура ослаблялась, а толерантность к чужому мнению усиливалась.

Несмотря на то, что говорят реакционеры, феминизм — не исключение, а частный случай этого. Феминистки семидесятых годов прошлого века говорили, что все женщины должны подняться и разбить патриархат, возможно, в буквальном смысле разбивая что-либо. Феминистки десятых годов этого века говорят, что если некоторые женщины хотят быть домохозяйками — это замечательно, и это — их собственный выбор, потому что в либеральном обществе каждый может свободно самореализовываться, как хочет.

И это соответствовало впечатляющим успехам того, что поддерживают либералы: феминизм, гражданские права, однополые браки, и так далее, и так далее, и так далее…

Либерал — это человек со слишком широкими взглядами для того, чтобы принять свою сторону в споре. И, всё же, когда либералы вступают в ссоры, они всегда побеждают. Разве это не забавно?

VII.

Эндрю считает, что либералы, добровольно отказывающиеся от некоторых форм сопротивления, всего лишь игнорируют очень эффективное оружие. Я приведу цитату:

В войне, настоящей войне, войне за выживание, вам нужно использовать всё оружие, что есть в вашем арсенале, потому что вы предполагаете, что враг будет использовать всё, что есть у него. Потому что вы понимаете, что это ВОЙНА … Всю ту энергию, затраченную на дебаты о том, как мы будем мирно решать конфликты в идеальном мире, которым управляет Законопослушный Нейтральный Космический Арбитр, в мире, который никогда не будет существовать, мы могли бы потратить на стрельбище для улучшения меткости стрельбы … Я удивлён, что «рационалистскому сообществу» это настолько неочевидно.

Позвольте мне назвать некоторых других людей, которые так же, как и я, таинственным образом умудрились упустить этот совершенно очевидный пункт.

Лозунгом ранней христианской церкви было «Не сопротивляйся злу» (Мф 5:39), и, действительно, их идея Сжигания Чёртовой Системы Дотла заключалась в покорном принятии мученической смерти, при этом публично прощая своих палачей. Им противостояла Римская империя, возможно, наиболее эффективная военная машина в истории, управляемая одними из самых жестоких людей, когда-либо живших. По подсчетам Эндрю, это должно было быть самое убедительное поражение за всю историю убедительных поражений.

В каком-то смысле, оно и произошло. Только его одержала не та сторона, поражение которой многие ожидали.

Махатма Ганди говорил: «Ненасилие — величайшая сила, которая есть у человечества. Она сильнее, чем самое разрушительное оружие, когда-либо придуманное человеком». Ганди — ещё один парень, который сопротивлялся одной из крупнейших когда-либо существовавших империй и одержал решительную победу. И он был весьма настойчив насчёт истины в том числе: «Ненасилие и истина неразделимы и предполагают друг друга».

Также навыками непонимания очевидного обладали Мартин Лютер Кинг, Десмонд Туту и Аун Сан Су Чжи. Нельсон Мандела в начале своей карьеры был умным и эффективным, но тоже перестал понимать очевидное, когда постарел. Видимо, это была болезнь Альцгеймера.

Конечно, есть и контрпримеры. Послужной список ненасильственного сопротивления евреев нацистам… не очень хорош. Вам нужен некий уже существующий уровень развития цивилизации для того, чтобы либерализм хорошо работал и, я уверен, уже существующий уровень либерализма для либерализма на стероидах, где будет хорошо работать отсутствие клеветы и харассмента. Вам необходимы некоторые уже существующие общественные нормы, прежде чем вы будете пытаться создавать некие таинственные взаимовыгодные равновесия.

Так что, возможно, я был слишком жесток к Эндрю, сравнивая его с Аун Сан Су Чжи и подобными ей. Ведь всё, что нужно было сделать Аун Сан Су Чжи — свалить бирманскую хунту, клику невероятно жестоких военных диктаторов, убивших несколько тысяч человек, пытавших тех, кто выходил на протесты против них и пославших в трудовые лагеря восемьсот тысяч людей, которые им просто не понравились. Эндрю имеет дело с теми, кто не настолько феминист, как он. Очевидно, это требует куда более жёстких мер!

VIII.

Либерализм побеждает не огнём и мечом. Либерализм побеждает благодаря общинам людей, которые согласны играть по правилам, медленно разрастаясь, пока в конце концов старое равновесие не нарушится. Его боевой клич не «Смерть неверным!», а «Если ты славный, ты можешь присоединиться к нашим обнимашкам!».

(Я был на встречах Less Wrong в Нью-Йорке, и знаю, что это предложение также эффективно работает, если интерпретировать его в буквальном смысле.)

Но некоторые люди из-за отсутствия воображения не считают этот клич достаточно страшным.

Я ненавижу привлекать вымышленные свидетельства, особенно из-за того, что, возможно, наиболее логичный аргумент Эндрю заключается в том, что реальный мир работает не так, как воображаемый. Но эти люди должны прочитать книгу Жаклин Кэри «Аватар Кушиэль».

Элуа — это бог добра, цветов и свободной любви. Все остальные боги — боги крови и огня, и Элуа такой «Люби кого хочешь» или «Всё знание полезно». Он — покровитель точно такого тошнотворно-сладкого, сентиментального и доброго либерализма, на который жалуется Эндрю.

И во многих книгах про Кушиэль есть нечто общее: некий тиран или колдун думает, что победить бога цветов и свободной любви будет элементарно, и начинает преследовать его последователей. И единственный элуит, который решается его остановить — это Федра но Делоне, и тиран говорит «Ха! Женщина, которая даже не знает, как сражаться, как колдовать! Трусы!».

Но вот вам важное правило о том, как стоит обращаться с персонажами фантастических книг.

Если вы когда-нибудь разозлите Саурона, вам, вероятно, стоит найти Кольцо Силы и поднять его к вершине Ородруина.

Если вы когда-нибудь разозлите Волан-де-морта, вам, вероятно, следует начать искать крестражи.

Если вы когда-нибудь разозлите Федру но Делоне, бегите и никогда не останавливайтесь.

Элуа — это бог цветов и свободной любви, и он страшен. Если вы будете ему противостоять, того, что от вас останется, не будет достаточно для похорон, но это будет уже неважно, потому что вашего города, в котором вас стоит похоронить, тоже не останется.

И Жаклин Кэри, и Менций Молдбаг умнее Эндрю Корда.

Для Кэри либерализм — это Элуа: страшный, невыразимый, принципиально добрый Древний.

Для Молдбага либерализм — это Ктулху: страшный, невыразимый, принципиально злой Древний.

Но Эндрю? Он, кажется, вообще не понимает, что либерализм — страшный, невыразимый Древний. Эээ, что, простите?

Эндрю — бедный глупец, который говорит «Ха-ха, бог, который даже не управляет какими-либо адскими монстрами или командой служителей, которые могут стать машинами для убийства. Ну и слабак! Это будет так легко!».

И вы хотите закричать: «ЭТА ИСТОРИЯ МОЖЕТ ЗАКОНЧИТЬСЯ ТОЛЬКО ОДНИМ: ТЕБЯ СЪЕДЯТ ТВОИ ЖЕ ЛЕГИОНЫ ДЕМОНИЧЕСКИХ МУРАВЬЁВ!».

(Ой, спойлеры)

Перевод: 
https://vk.com/yaroslav.skudarnov
Оцените качество перевода: 
Средняя оценка: 3.1 (18 votes)

Прививка от сомнений

Скотт Александер

Однажды я наблюдал, как один мой знакомый пытался объяснить своим друзьям, что такое рациональность.

Он начал так: «Иметь правильные убеждения очень важно. На первый взгляд это кажется очевидным, но вспомним о креационистах, гомеопатах и людях, которые верят в лунный заговор.» И далее в том же духе.

И я подумал: «НЕТ, НЕТ, НЕТ, НЕТ, НЕТ, НЕТ!»

Признаюсь — каждый раз, когда кто-нибудь говорит о глупости креационистов, гомеопатов и сторонников теории «лунного заговора», меня коробит.

Не потому, что я не согласен. Это действительно глупость, и далеко не безвредная.

Но когда люди постоянно высмеивают «лунные заговоры» и гомеопатию (не интересуясь другими вопросами медицины или истории космоса), для меня это выглядит как стремление выискивать иррациональность в других.

Они как бы говорят: «Смотри! Там нерациональные люди, они верят в какую-то нелепую чушь. Нам бы такое в жизни в голову не пришло. Видимо, они ущербны, а мы рациональны».

Но для меня рациональное мышление — это поиск иррациональности в себе.

Это осознание того, что ты, да, именно ты можешь быть неправ в том, во что веришь сильнее всего, и ничто не спасет тебя, кроме, разве что, постоянной эпистемической паранойи.

Постоянное упоминание гомеопатов и креационистов чаще всего лишь затрудняет это осознание. Если ваши примеры ложных убеждений очевидно нелепы, человек решит, что все ложные убеждения такие. Если слишком много примеров ложных убеждений покажутся ему неубедительными, человек решит, что у него против них иммунитет.

И тогда небрежность превращается в добродетель.

Взять ту же гомеопатию. Не знаю, сколько раз я уже слышал от людей подобное: «Гомеопаты не понимают, что убеждения требуют доказательств. Нет ни одного исследования, демонстрирующего эффективность гомеопатии!»

Но, разумеется, десятки исследований продемонстрировали эффективность гомеопатии.

«Ну, допустим, но они не использовали «двойной слепой метод»! Нужно понимать, что необходимо учесть «эффект плацебо»…»

Но, разумеется, многие из этих исследований были большими двойными слепыми плацебо-контролируемыми испытаниями, или даже их мета-анализами.

«Допустим, но они не были опубликованы в авторитетных научных изданиях».

The Lancet достаточно авторитетно?

«Но гомеопаты даже не понимают, что многие из их препаратов не содержат ни одной молекулы активного вещества!»

Но, разумеется, почти все гомеопаты это понимают, и их предполагаемые механизмы действия гомеопатии не только выдерживают подобную критику, но и рассчитаны на нее.

«Но все врачи и биологи считают, что гомеопатия не работает!»

Вы когда-нибудь пробовали потратить пять секунд на то, чтобы найти, какой процент врачей и биологов, согласно опросам, считает, что гомеопатия не работает? Или вы просто предполагаете, что это так, потому что кто-то на вашей стороне так говорит, и это кажется правдой?

Очевидно, что я придираюсь. Внимательно читать все исследования гомеопатов, находить первоисточники, чтобы случайно не переврать их аргументы, перепроверять все свои кажущиеся «очевидными» предположения, в общем, воспринимать гомеопатов всерьез было бы пустой тратой вашего времени.

И человек, который призывает вас отнестись к гомеопатии непредвзято, вам не друг. Вероятно, он просто ее рекламирует, и с ним лучше не связываться.

Но в этом и проблема!

Чем больше мы обсуждаем гомеопатию, «лунный заговор» и креационизм, чем больше людей, которым и в голову бы не пришло верить во все это, раз за разом ритуально «опровергают» их друг перед другом в качестве развлечения, тем больше мы убеждаем людей в том, что это репрезентативная выборка убеждений, с которыми нам приходится иметь дело.

И чем больше мы их в этом убеждаем, тем глубже мы укореняем правильный подход к гомеопатии — игнорировать плохие исследования и передергивания на своей стороне, в то же время глядя на любого, кто призывает отнестись к ним непредвзято, с большим подозрением — как стандартный подход к любому спорному вопросу.

И тогда люди начинают воспринимать всерьез всякого рода низкопробные исследования, потому что, в конце концов, мир делится лишь на вещи наподобие гомеопатии, у которых Никогда Не Было Доказательств, и вещи наподобие конвенциональной медицины, у которых есть Публикации в Настоящих Журналах и Поддержка Настоящих Ученых.

Или они отбрасывают всякую сдержанность в своих политических убеждениях, никогда не сомневаясь в заявлениях своей стороны, потому что мир делится на таких, как они, знающих Правду, и Проплаченных Несогласных, которые заманивают вас в ловушку, пытаясь убедить вас отнестись к ним непредвзято.

В написании этой статьи я частично вдохновлялся эссе Gruntled and Hinged «Вы, скорее всего, не хотите получить рецензированные доказательства существования Бога». Но другое эссе G&H заставило меня задуматься еще больше.

Инокуляция — это выработка иммунитета против болезни при помощи введения в организм ее ослабленных возбудителей (например, прививание коровьей оспой от натуральной человеческой). В психологии есть понятие «инокуляция установки»: человек, столкнувшийся со слабыми контраргументами к своей позиции, укрепляется в своей правоте и приобретает иммунитет к более сильным контраргументам.

Если сказать религиозному человеку, что христианство ложно, потому что Иисус нагло списан с бога-воителя Митры, они откроют книгу по истории Ближнего Востока, поймут, что это далеко от истины, и с большим недоверием отнесутся к аргументам против своей веры в будущем. «А, атеисты. Это те люди, которые верят, что Иисус был списан с Митры. Я уже давно понял, что к ним не стоит относиться всерьез». Только на более глубоком уровне, который недоступен сознательному осмыслению и предвосхищает его.

А мы обращаемся к интеллектуальным пользователям Интернета, и рассказываем им о разных нелепых теориях, вроде «лунного заговора», гомеопатии, креационизма, антивакцинаторства и рептилоидов, и людях, которые верили, что конец света должен был настать пару лет назад. И эти теории легко опровергаются, и истинность всего того, во что верите вы и все ваши друзья, по-прежнему очевидна, и все то время, которые ушло на подтверждение этого, было потрачено впустую.

И меня тревожит, что мы прививаем людей от того, чтобы самостоятельно изучать результаты исследований, а не просто верить на слово самоуверенным блогерам, которые пишут о том, какие ваши противники идиоты.

Что мы прививаем людей от понимания того, что «научное доказательство» — это очень сложное понятие, и многое из того, что было опубликовано в рецензируемых журналах, впоследствии окажется ошибочным.

Что мы прививаем людей от мыслей о том, что многие теории, которые поначалу покажутся им абсурдными или неприятными, впоследствии окажутся верными, потому что природу не волнуют наши чувства.

Что мы прививаем людей от сомнений.

Может быть, это не так уж плохо. Скорее всего, вы можете доверять вашим врачам, и выводам ученых-климатологов, и я бы с большой осторожностью выступал против мнения экспертного сообщества практически в любой предметной области.

Но в мире еще существуют сотни различных религий и политических идеологий, и большинство людей с детства подвержены влиянию тех из них, что хоть в чем-либо ошибочны. И способность по-настоящему подвергать свои убеждения сомнению — даже если вся твоя семья и все друзья убеждают тебя, что это очевидная правда и нужно быть идиотом, чтобы сомневаться в этом — чрезвычайно полезный навык. Особенно он важен для того небольшого числа людей, которые окажутся способны запустить смену парадигмы в науке, подвергнув сомнению одно из ее фундаментальных предположений.

Я не думаю, что обсуждение рептилоидов или креационизма помешает людям определиться между, скажем, циклической моделью и теорией Мультивселенной, или разрешить любую другую столь же бесстрастную дискуссию.

Но если вам когда-нибудь потребуется устроить настоящий «кризис веры», то ваши навыки «разоблачения» гомеопатии и лунных заговоров вам не помогут.

Перевод: 
Владислав Бусов
Оцените качество перевода: 
Средняя оценка: 4.8 (20 votes)

Аргумент и анализ

Цепочка из эссе Скотта Александера о том, как работают аргументы, как их использовать и как их можно использовать неправильно.

Автор: 
Скотт Александер

Оправдания: восемь небольших этюдов

Скотт Александер

Неуклюжий игрок

Вы с партнёром играете в Повторяющуюся Дилемму Заключённого. Вы оба публично обязались следовать стратегии «око за око». До пятой итерации всё шло замечательно, вы счастливо загребали себе бонусы кооперации, но тут ваш партнёр внезапно нажал кнопку «предать».

– Ой, прости, – говорит партнёр, – у меня палец соскользнул.

– Я всё равно должен наказать тебя, просто на всякий случай, – говорите вы. – Я собираюсь предать в следующем раунде, посмотрим, как тебе это понравится.

– Ну, – говорит партнёр, – зная это, я думаю, я тоже предам, и мы оба окажемся в проигрыше. Но блин, это просто палец соскользнул. Не доверяя мне, ты лишаешь нас обоих преимуществ одного раунда кооперации.

– Это да, - отвечаете вы, – но если я этого не сделаю, то ты будешь чувствовать возможность предать в любой момент, используя оправдание «палец соскользнул».

– А что если, – предлагает ваш партнёр, – я пообещаю особенно пристально следить, чтобы мой палец не соскользнул опять, а ты пообещаешь, что если всё же соскользнёт, то ты ужасно меня накажешь, предавая несколько ходов подряд? Тогда мы оба снова сможем доверять друг-другу, и оба получим преимущества кооперации на следующем ходу.

Вообще, вы ни на секунду не поверили, что у него действительно случайно соскользнул палец. Но план звучит хорошо. Вы принимаете предложение, и кооперация продолжается, пока экспериментатор не останавливает игру. После игры вы раздумываете, что пошло не так, и могли ли вы сыграть лучше. Вы решаете, что лучшего пути в ситуации с «ошибкой» вашего партнёра всё же не было. В конце концов, план позволил вам получить максимальную в таких обстоятельствах полезность. Но теперь вы сожалеете, что в самом начале, до игры, вы не огласили что-нибудь вроде «Я буду наказывать случайные ошибки так же, как намеренное предательство, так что будь аккуратен».

Ленивый студент

Вы – преподаватель, идеально следующий утилитаризму, и присваивающий абсолютно одинаковую ценность благу других и своему. Вам нужно получить работы от всех пятидесяти студентов на вашем потоке, чтобы поставить им оценки за семестр к первому января. Вам не нравится работать на рождественских каникулах, так что вы установили дедлайн – все работы должны быть сданы к 15 декабря, или вы не будете их оценивать, и не успевшие это сделать провалятся по вашему предмету. О, и ваш предмет – основы экономики, и как часть курса ваши студенты в этом году должны вести себя эгоистично и максимизировать собственное благо.

Сдать работу вовремя стоит вашим ученикам 0 полезности, но они получают +1 полезности, если задержатся (им нравится прокрастинировать). Проверка сданной вовремя работы ничего вам не стоит, а вот проверка сданной после 15 декабря – приносит -30 полезности. Наконец, студент получает 0 полезности, если его работа проверена, но -100, если не проверена, и курс завален.

Если вы скажете «Нет никакого штрафа за несоблюдение дедлайна», то студенты сдадут работы поздно, получив +50 полезности (+1 на каждого). Вам же придётся проверять все 50 работ в каникулы, что принесёт вам -1500 полезности. Сумма – -1450.

Так что вместо этого вы говорите «Если вы не сдадите работу вовремя, я не буду её проверять». Все студенты высчитывают полезность опоздания, равную +1 за прокрастинацию, но -100 за несдачу, и доделывают свои работы вовремя. Вы оцениваете всё перед Рождеством, никто не завалил курс, суммарная полезность равна 0. Ура!

Или так – один студент приходит к вам в день после дедлайна.

– Извините, я вчера очень устал, так что мне ну очень не хотелось приходить сюда, чтобы сдать работу, – говорит он. – Я ожидаю, что вы всё равно её проверите – ведь вы идеальный утилитарист и скорее сами потеряете 30 полезности, чем позволите мне потерять 100.

– Извини, но если я позволю тебе так выкрутиться, то летом мне сдаст работу поздно весь поток, – отвечаете вы.

– Смотрите, у нас же есть процедура для изменения ранее поставленной оценки, – предлагает вам студент. – Если я ещё когда-нибудь так сделаю, или расскажу кому-нибудь про это, то вы сможете сделать так, чтобы я завалил этот курс. Теперь вы знаете, что проверка моей работы не повлияет ни на что в будущем. И она уж точно не может повлиять на прошлое. Так что нет причин этого не делать.

Вы верите, что студент ничего никому не расскажет, но возражаете.

– Ты приводишь этот аргумент потому, что ты ожидаешь, что я такой человек, на которого он подействует. Для того, чтобы кто-то другой не попытался провернуть то же самое, я должен быть таким человеком, на которого этот аргумент не подействует. Поэтому я не приму его и сейчас.

Скорбящая студентка

Следующей к вам приходит студентка.

– Извините, я не сдала работу вчера. Моя мать умерла, и я была на её похоронах.

– Как у всех профессоров экономики, у меня нет души, так что я не могу посочувствовать твоей потере, – отвечаете вы. – Если ты не приведёшь аргумент, который был бы применим к любому рациональному агенту на моей позиции, я не смогу продлить тебе сроки.

– Если вы продлите сроки, это не мотивирует других студентов задерживать свои работы. Они просто подумают: «Ей продлили срок, потому что её мать умерла». Другие студенты посчитают, что они смогут добиться того же, лишь если убьют собственных матерей, а даже студенты-экономисты не настолько злые. Более того, если вы не продлите сроки, это не поможет вам получить больше работ вовремя. Любой студент скорее выберет пойти на похороны своей матери, чем сдать курс, так что это никого не замотивирует.

Вы немного обдумываете это, решаете, что она права, и отодвигаете её дедлайн.

Болельщик

Третий студент приходит к вам.

– Извините, я не сдал свою работу вчера. Была большая игра «Медведей» и, как я говорил вам раньше, я большой их фанат. Но не беспокойтесь! Это редкость, чтобы у нас проходила такая важная игра, и не так много студентов настолько ими увлечены. Так что, в некотором роде, это не сильно отличается от той студентки, у которой умерла мать.

– Может и правда, что мало кто мог бы сказать и что он настолько большой фанат «Медведей», и что важная их игра была как раз за день до срока сдачи работы. Но принимая такое оправдание, я создал бы прецедент для принятия приблизительно настолько же хороших оправданий. А таких много. Может, кто-то увлечённый фанат какого-то сериала, финал которого как раз ночью перед дедлайном. Может, кто-то очень любит рок, а тут как раз концерт. Может, чей-то брат как раз приехал в город. Почти кто угодно может составить оправдание не хуже твоего, так что если я соглашусь проверить твою работу, мне придётся проверять у них всех. У студентки перед тобой совсем другой случай. В нашем обществе уже принято, что похороны члена семьи – одна из очень важных вещей. Принимая то оправдание, я установил прецедент для примерно таких же хороших оправданий, но почти никто не даст мне примерно такое же хорошее оправдание. Может, пара человек, которые сильно заболели, кто-то переживающий развод, что-то в этом роде. Не толпы людей, которые придут ко мне, если я продлю срок тебе.

Муж-убийца

Вы – муж замечательной и прекрасной женщины, которую вы очень любите и которую вы только что обнаружили в постели с другим мужчиной. В ярости, вы хватаете свой экземпляр «Введения в Теорию Игр» в твёрдой обложке и бьёте им этого мужчину по голове, мгновенно его убивая (это довольно большая книга).

На суде вы умоляете судью позволить вам остаться на свободе:

– Обществу в целом нужно сажать убийц. В конце концов, они опасные люди, которых нельзя просто отпускать. Однако, я убил этого человека только потому, что он спал с моей женой. На моём месте кто угодно поступил бы так же. Так что это не показатель того, насколько вероятно я убью кого-нибудь ещё. Я не опасен ни для кого, кто не спит с моей женой, а после этого случая я собираюсь развестись и прожить остаток жизни холостяком. Так что, удерживать меня от будущих убийств нет нужды, и меня можно вполне безопасно отпустить на свободу.

– Это убедительный аргумент, – отвечает судья, – и я верю, что ты никого в будущем не убьёшь. Однако, другие люди однажды будут в такой же ситуации: зайдя в дом, обнаружат измену. Обществу нужно иметь надёжное предварительное обязательство наказывать их, если они поддадутся своей ярости, чтобы удержать их от убийств.

– Нет, – говорите вы. – Я понимаю ваше рассуждение, но это не сработает. Если вы никогда не заставали изменяющую вам жену, вы не можете понять. Не важно, насколько сурово наказание, вы всё равно его убьёте.

– Хм-м, – говорит судья. – Я боюсь, я просто не могу поверить, что кто-то может быть настолько иррациональным. Но я понимаю, в чём суть. Я дам тебе срок поменьше.

Воинственный диктатор

Вы – диктатор Восточной Напримерии, банановой республики, существующей за счёт своего основного экспорта – высококачественных гипотетических сценариев. Вы всегда точили зуб на своего давнего врага, Западную Напримерию, но ООН ясно заявила, что любая страна в вашем регионе, которая агрессивно вторгнется в другую, будет сурово наказана санкциями и, возможно, даже подвергнута «смене режима». Так что вы пока оставляете Западную Напримерию в покое.

Однажды, несколько западнонапримерцев, проводящих геологоразведку сценарных жил, ненамеренно перешли вашу неразмеченную границу. Вы незамедлительно объявляете это «враждебным проникновением шпионов Западной Напримерии», объявляете войну и быстро захватываете их столицу.

На следующий день вам звонит Пан Ги Мун, и он в ярости:

– Я думал, мы в ООН ясно выразились, что страны теперь не могут просто вторгаться друг в друга!

– Но разве вы не читали наш рупор пропа… кхе-кхе, официальную газету? Мы не просто вторглись. Мы отвечали на западную агрессию!

– Бред собачий! – говорит Генеральный Секретарь. – Это была пара заблудившихся геологов, и вы это знаете!

– Ну хорошо, – говорите вы. – Давайте рассмотрим ваши варианты. ООН необходимо сделать надёжное предварительное обязательство наказывать агрессивные страны, а то все будут вторгаться в своих слабых соседей. И вам надо исполнять свои угрозы, иначе обязательство не будет надёжным. Но вам на самом деле не нравится исполнять свои угрозы. Вторжение в страну-нарушителя убьёт многих на обеих сторонах и будет непопулярным в народе, а санкции навредят и вашей экономике и приведут к душераздирающим фотографиям голодающих детей. Что вы на самом деле хотите, так это позволить нам уйти безнаказанными, но так, чтобы это не привело к тому, что в других странах подумают, что они могут так же. К счастью, мы создали правдоподобную историю о том, что мы следовали международным законам. Конечно, принять пару геологов за вторжение было глупо с нашей стороны, но нет международного закона, запрещающего глупость. Если вы махнёте на нас рукой как на просто ошибшихся, у вас не будет трудностей, связанных с нашим наказанием, а другие страны не подумают, что могут делать что угодно. Кроме того, вам не придётся жить в страхе, что мы сделаем что-то подобное ещё раз. Мы уже показали, что мы не начнём войну без casus belli. Если другие страны нам его не дадут, им нечего бояться.

Пан Ги Мун не верит вашей истории, но страны, которые бы терпели экономический урон ради санкций и смены режима, решили что они верят ей достаточно, чтобы ни во что не вмешиваться.

Коренной поедатель пейотля

Вы – губернатор штата, в котором живёт много индейцев. Вы запретили все изменяющие сознание вещества (с исключением уважаемых алкоголя, табака, кофеина и нескольких других), потому что вы настоящий Американец, который верит, что они заставят подростков совершать преступления. К вам приходит представитель индейского населения.

– Наши люди использовали пейотль в религиозных обрядах сотнями лет. – говорит он. – Это не привело нас ни к зависимости, ни к совершению преступлений. Пожалуйста, последуйте Первой Поправке и сделайте исключение для наших религиозных целей, чтобы мы могли продолжать практиковать свои древние ритуалы.

Вы соглашаетесь. Тогда лидер атеистического сообщества вашего штата проникает в ваш офис через вентиляцию (потому что, ну серьёзно, как ещё лидер атеистов может получить доступ к губернатору штата?).

– Как атеист, – говорит он, – я оскорблён тем, что вы делаете исключения из своего анти-пейотлевого закона для религиозных целей, но не, скажем, рекреационных целей. Это нечестная дискриминация в пользу религии. То же верно для законов, по которым сикхи могут носить тюрбаны в школе в поддержку Бога, но мой сын не может носить бейсболку в школе в поддержку «Yankees». И для законов, по которым мусульмане могут получить перерыв в работе на государственной должности для молитвы пять раз в сутки, но я не могу получить перерыв для перекура. И для законов, по которым в столовых государственных учреждений должна быть специальная кошерная еда для иудеев, но не специальная паста для людей, которые очень любят пасту.

– Хотя мои политические решения и выглядят так, будто я считаю, что религия важнее любых других потенциальных причин нарушать правила, – отвечаете вы, – можно сделать и нерелигиозное обоснование для них. Важное свойство больших мировых религий состоит в том, что их ритуалы зафиксированы сотнями лет. Позволение людям нарушать законы в религиозных целях делает религиозных людей очень довольными, но не ослабляет законы. В конце концов, мы все знаем, где практики больших американских религий входят в конфликт с секулярными законами, и всё это не очень-то и важно. Так что общий принцип «Я позволю людям нарушать законы, если это необходимо для устоявшихся и хорошо известных религиозных ритуалов» несёт довольно мало риска и делает людей счастливыми не угрожая концепции закона вообще. Но общий принцип «Я позволю людям нарушать законы в рекреационных целях» несёт много риска, потому что он служит довольно сильным оправданием для почти кого угодно нарушить почти какой угодно закон. Я был бы рад предоставлять в государственных учреждениях каждому его любимую еду. Но если я приму ваш запрос пасты, потому что вы любите пасту, мне придётся и дальше следовать общему принципу и предоставлять всем именно ту еду, которую они больше всего хотят, что было бы непомерно дорого. Предоставляя же иудеям кошерную еду, я могу удовлетворить их довольно сильное предпочтения, не будучи вынужденным удовлетворить чьи-то ещё.

Хорошо замаскированный атеист

На следующий день лидер атеистов приходит вновь. На нём накладные усы и сомбреро.

– Я представляю Церковь Вождения со Скоростью 50 Миль в Час в Зоне Ограничения 30 Миль в Час, – говорит он. – Для членов нашей церкви езда со скоростью хотя бы на двадцать миль в час выше установленного предела священна. Пожалуйста, предоставьте нам исключение из правил дорожного движения.

Вы решаете подыграть.

– Как долго существует ваша религия, и как много у вас людей? – спрашиваете вы.

– Не очень долго, и не очень много людей, – отвечает он.

– Вижу, – говорите вы. – в таком случае вы секта, а вовсе не религия. Извините, мы не ведём дел с сектами.

– В чём конкретно разница между сектой и религией?

– Разница в том, что секты основаны довольно недавно и довольно малы, поэтому мы подозреваем, что они существуют с целью получения преимущества за счёт особой роли, которую мы отводим религии. Создание исключения для вашей секты угрожало бы надёжности нашего предварительного обязательства наказывать нарушителей закона, потому что это означало бы, что кто угодно, желающий нарушить закон, может просто основать секту для этого.

– Как моей секте стать настоящей религией, заслуживающей юридических преимуществ?

– Ей нужно быть достаточно древней и уважаемой, чтобы версия о том, что она создана для получения преимущества над законами была неправдоподобной.

– Звучит как непростое дело.

– Или, как вариант, вы можете попробовать написать несколько отвратительных научно-фантастических романов и нанять толпу адвокатов. Я слышал, это теперь тоже работает.

Заключение

Во всех этих историях, одна сторона хочет надёжно и заранее обязать себя следовать правилу, но имеет стимулы простить нарушения другими людьми этих правил. Другая сторона нарушает правило, но приводит оправдание, объясняющее, почему именно это нарушение нужно простить.

Ответ первой стороны базируется не только на том, верит ли она в оправдание, и даже не на том, морально ли оно, а на том, может ли оправдание быть принято без вреда надёжности обязательства.

Основной принцип заключается в том, что принимая оправдания создатель правил так же демонстрирует намерение принимать все настолько же качественные оправдания в будущем. Есть исключения – принятие оправдания с глазу на глаз, будучи уверенным, что про это никто не узнает, или принятие его лишь однажды с чётким условием того, что вы не будете делать это больше никогда – но это всё в некотором роде сделки с дьяволом, так как кто угодно, кто может предсказать, что вы так поступите, может получить преимущество за ваш счёт.

Нашему обществу нравится считать, что оно использует оправдания не так, как показано в этих историях. Что оно принимает лишь правдивые оправдания, которые хорошо соотносятся с человеком, который их даёт. Я не заявляю, что привычное представление об оправданиях бессмысленно. Однако я считаю, что теоретикоигровой взгляд тоже несёт в себе истину. Я также думаю, что он может быть полезным в случаях, когда обычное представление не работает. Он может прояснить случаи в законе, международной дипломатии и политике, где не помешал бы инструмент посильнее легко запутываемого интуитивного представления.

Перевод: 
Максим Выменец
Оцените качество перевода: 
Средняя оценка: 3.7 (Всего оценок: 51)

Заборы Шеллинга на скользких дорожках

Скотт Александер

Скользкая дорожка сама по себе скользковатая концепция. Представьте, как бы вы объясняли её инопланетянину: «Ну, мы, правильно думающие люди, довольно таки уверены, что Холокост был, так что запрет отрицания Холокоста заткнул бы некоторых чокнутых и улучшил качество дискуссий. Но это шаг по дороге к штукам вроде запрета непопулярных политических позиций или религий и мы, правильно думающие люди, против этого, поэтому мы не запрещаем отрицать Холокост».

Однако инопланетянин мог бы ответить: «Но вы можете просто запретить отрицание Холокоста, но не запрещать непопулярные политические позиции или религии. Тогда вы, правильно думающие люди, получите что хотите, но не то, что не хотите».

Далее я рассуждаю о том, как можно было бы возразить инопланетянину.

Потеря права выбора

Этот пункт скучный и не содержит философских прозрений, он упомянут только для полноты. Возражение сводится к тому, что сдача некоторых позиций влечёт риск потерять выбор, сдавать или нет другие позиции.

Например, если люди отдали своё право на частную жизнь и позволили государству мониторить их телефонные звонки, сетевой траффик и разговоры в публичных местах, то, если произойдёт военный переворот, противостоять ему будет очень сложно, ведь не будет никакого способа секретно организовать восстание. Этот аргумент часто всплывает и в дискуссиях о контроле за оружием.

Я не уверен, что это возражение вообще о скользких дорожках. Это скорее похоже на более прямолинейное «Не отказывайтесь от полезных инструментов борьбы с тиранией».

Легенда о Ганди-Убийце

Ранее на LessWrong – «Приключения Ганди-Убийцы»: Ганди предложили принять таблетку, которая сделает из него неостановимого убийцу. Поскольку в текущем состоянии он пацифист и не хочет, чтобы другие люди погибали, он отказался принять её. Даже если мы предложим ему за это миллион долларов, он откажется — его отвращение к насилию достаточно сильно.

Однако, допустим, что мы предположим Ганди миллион долларов за то, чтобы он принял другую таблетку, которая уменьшит его неприятие убийств на 1%. Это звучит как довольно неплохая сделка. Даже личность, чьё неприятие убийств на 1% меньше, чем у Ганди, всё ещё довольно пацифистична и вряд ли кого-нибудь убьёт. А миллион долларов можно пожертвовать любимой благотворительной организации и, вероятно, спасти сколько-то жизней. Так что Ганди принимает предложение.

Теперь мы итерируем процесс: каждый раз, когда Ганди принимает таблетку «уменьшить-неприятие-убийства-на-1%» мы предлагаем ему ещё миллион долларов, если он примет такую же ещё раз.

Возможно, исходный Ганди, поразмыслив, решил бы, что стоит взять пять миллионов долларов и уменьшить неприятие убийств на пять процентов. Может, 95% его изначального пацифизма – это крайний уровень, на котором он может быть абсолютно уверен, что он всё ещё будет следовать своим пацифистическим идеалам.

К сожалению, выбирает, принять шестую таблетку или нет, уже не исходный Ганди. Выбирает уже Ганди-95%. И Ганди-95% уже не настолько заботится о пацифизме, как исходный Ганди. Он всё ещё не хочет становиться убийцей, но не видит катастрофы в том, чтобы его неприятие убийств было на уровне 90% от изначального, это всё ещё довольно хорошо.

Что если каждого Ганди вполне устраивают Ганди на 5% более склонные к убийствам, чем он сам, но не более того? Оригинальный Ганди начал бы принимать таблетки, надеясь спуститься только до 95%, но Ганди-95% принял бы ещё пять, надеясь спуститься до 90%, и так далее, и вот он неистово несётся по улицам Дели, убивая всех на своём пути.

Теперь хочется сказать, что Ганди не следовало бы принимать даже самую первую таблетку. Но это тоже выглядит странно. Мы действительно заявим, что Ганди не должен взять по сути подарок в миллион долларов за то, чтобы превратить себя в Ганди-99%, который был бы практически неотличим в своих действиях от оригинала?

Возможно, лучший вариант для Ганди – это «оградить» кусочек скользкой дорожки, установив точку Шеллинга – произвольную точку, которая ценна как разделительная линия. Если он может сдержать своё предварительное обязательство, то он максимизирует свою выгоду. К примеру, изначальный Ганди мог бы принести великую клятву не принимать больше пяти таблеток, или, если он не доверяет собственной честности, он мог бы отдать всё своё самое ценное своему другу и попросить уничтожить это, если Ганди примет больше пяти таблеток. Это заставило бы будущего его придерживаться границы в 95% несмотря на то, что будущий он уже хотел бы, чтобы та же стратегия предварительного обязательства позволяла бы ему дойти до границы в 90%.

В реальности случается, что когда мы меняем правила, мы также меняем своё мнение о том, как нужно менять правила. Например, мне кажется, что католическая церковь следует принципу: «Если мы откажемся от этой традиционной практики, люди потеряют уважение к традициям и захотят отказаться и от других традиционных практик, и так далее».

Скользкое гиперболическое обесценивание

Однажды вечером я начал играть в «Цивилизацию Сида Мейера» (если вам интересно, это была версия IV, – версия V ужасна). На следующий день мне нужно было на работу, поэтому я хотел в полночь закончить и пойти спать.

Наступает полночь и я рассматриваю варианты. Мне хочется продолжить играть в «Цивилизацию». Однако я знаю, что завтра буду несчастен, если не высплюсь. Поскольку я склонен к гиперболическому обесцениванию, ближайшие десять минут для меня очень ценны, однако кривая после них уже довольно плоская и моё состояние в 0:20 для меня ценно примерно в той же мере, что и моё состояние завтра утром на работе. Плюс-минус десять минут сна не сделают особой разницы. Так что я говорю: «я поиграю в Цивилизацию десять минут – „всего лишь ещё один ход“ – и потом лягу спать».

Время проходит. Уже 0:10. Я всё ещё гиперболический обесцениватель и ценю следующие десять минут куда сильнее последующего времени. Как что я решаю: я поиграю до 0:20, плюс-минус десять минут не сделают особой разницы, а потом – спать.

И так далее. В итоге моя империя распространяется на весь глобус, и я вижу, как в моё окно заглядывает восходящее солнце.

Это, по сути, тот же процесс, которые происходил с Ганди-Убийцей, кроме того, что роль изменяющей ценности таблетки играет время и моя собственная склонность гиперболически обесценивать.

Решение схожее. Если бы я рассмотрел эту проблему ранее вечером, я мог бы заранее выбрать полночь как удобное круглое время, что делает её хорошей точкой Шеллинга. Тогда, решая, играть или нет после полуночи, я буду трактовать свой выбор не как «Полночь или 0:10» — потому что здесь 0:10 гарантировано выиграет, — а «Полночь или сдача единственной надёжной точки Шеллинга и скорее всего игра всю ночь», что, наверное, напугает меня достаточно, чтобы я выключил компьютер.

(Если я замечу эту проблему в 0:01, я могу выбрать точку 0:10, если я особенно хорош в предварительных обязательствах, но это не очень естественная точка Шеллинга, и проще сказать что-то вроде «Как только я завершу этот ход», или «Как только я изучу эту технологию».)

Коалиции сопротивления

Предположим, вы зороастриец, и таких как вы примерно 1% населения вашей страны. Кроме зороастрийцев, в вашей стране есть ещё пятьдесят маленьких религий, и каждую тоже исповедует по 1% населения. Ещё 49% ваших соотечественников – атеисты, которые страстно ненавидят религию.

Вы узнали, что государство собирается запретить даосизм, который исповедует 1% населения. Вам никогда не нравились даосисты — это же мерзкие отрицатели света Ахура Мазды. Поэтому вы поддерживаете это решение. Когда вы узнаёте, что государство собирается запретить сикхов и джайнистов, вы поступаете так же.

Но теперь вы попали в неудачное положение, описанное Мартином Нимёллером:

Когда нацисты пришли за коммунистами, я молчал, я же не коммунист.
Потом они пришли за социал-демократами, я молчал, я же не социал-демократ.
Потом они пришли за членами профсоюза, я молчал, я же не член профсоюза.
Потом они пришли за евреями, я молчал, я же не еврей.
Потом они пришли за мной, но мы уже сдали единственную надёжную точку Шеллинга.

Когда запрещённые даосисты, сикхи и джайнисты перестали влиять на принимаемые решения, 49% атеистов обрели достаточно влияния, чтобы запретить зороастрийцев и кого угодно ещё, кого им захочется. Лучшей стратегией было бы всем пятидесяти одной маленькой религии образовать коалицию для защиты прав друг друга на существование. В этой игрушечной модели, они могли бы это сделать на экуменическом конгрессе или на каком-нибудь другом стратегическом совещании.

Но в реальном мире нет пятьдесят одной хорошо разграниченной религии. Есть миллиарды людей, и у каждого своя точка зрения, которую хочется защитить. Координироваться всем — очень непрактично, поэтому остаётся полагаться на точки Шеллинга.

В оригинальном примере с инопланетянином я сжульничал, использовав словосочетание «правильно думающие люди». В реальности, определить, кто входит в Клуб Правильно Думающих – половина дела, и у каждого скорее всего будет своё мнение на этот счёт. Так что, единственное практичное решение этой координационной проблемы, «единственная надёжная точка Шеллинга» - это просто всем согласиться защищать всех остальных, независимо от того, правильно ли они думают, и это проще, чем пытаться скоординироваться с исключениями, вроде отрицателей Холокоста. Сдай отрицателей Холокоста, и никто не сможет быть уверен, какая точка Шеллинга выбрана теперь, и есть ли она вообще…

Однако не всё так просто. В части Европы годами действует запрет на отрицание Холокоста и всех это вполне устраивает. У свободы слова есть также много других весьма уважаемых исключений, вроде свободы кричать «пожар» в переполненном театре. Предположительно, эти исключения защищены традицией, что позволяет им стать новой точкой Шеллинга, или же они настолько очевидны, что все кроме отрицателей Холокоста согласны ввести специальное исключение для них, не беспокоясь о том, что это повлияет на них самих.

Заключение

Аргумент о скользкой дорожке вполне имеет право на существование, когда выбор влияет не только на мир напрямую, но и на желание или возможность принимать решения в дальнейшем. Скользкой дорожки иногда можно избежать, установив «забор Шеллинга» – точку Шеллинга, которую всерьёз обязуются защищать все вовлечённые группы (или же все версии одного и того же человека в разное время и разных состояниях).

Перевод: 
Максим Выменец
Оцените качество перевода: 
Средняя оценка: 4.4 (17 votes)

Кардиологи и китайские грабители

Скотт Александер

I

Кардиологами становятся очень своеобразные люди. И не всегда в хорошем смысле.

Наверное, вы пару раз натыкались на истории вроде «кардиолог подделал результаты обследования и провёл опасную необязательную операцию, чтобы получить больше денег». Однако наверняка вы не представляете, насколько частое это явление. Кардиолог из Мэриленда ради денег провёл более 500 опасных необязательных операций. Другой кардиолог из Мэриленда, никак не связанный с первым, провёл ещё 25. Калифорнийский кардиолог осуществил ещё «несколько сотен» опасных необязательных операций и был задержан ФБР. Кардиолог из Филадельфии — аналогично. Кардиолог из Северной Каролины — аналогично. 11 кардиологов из Кентукки — аналогично. Кстати, всего в нескольких милях от моего собственного госпиталя, мичиганский кардиолог тем же способом заработал 4 миллиона долларов. И так далее, и так далее, и так далее.

И речь не только о том, что множество кардиологов совершают опасные необязательные операции ради быстрых денег. И даже не только о мошенничестве с страховками в кардиологии, откатах в кардиологии или заговорах кардиологов по фальсификации данных. Это всё можно было бы списать на то, что кардиология как область деятельности создаёт соответствующие стимулы. Речь о том, что кардиологами становятся очень своеобразные люди.

Возьмём сексуальные домогательства. Глава Йельского департамента кардиологии уволен за сексуальное домогательство, сопровождавшееся «безудержными издевательствами». Стенфордский кардиолог обвинён в сексуальных домогательствах к студенткам. Балтиморский кардиолог признан виновным в сексуальном домогательстве. Кардиолог из Лос-Анджелеса оштрафован на 200 тысяч долларов за приставания к медперсоналу. Три разных пенсильванских кардиолога сексуально домогались одной и той же женщины. Аризонского кардиолога подозревают в 19(!) не связанных друг с другом случаях сексуального насилия. Один из «ведущих мировых кардиологов» уволен за пересылку фотографий своих гениталий подруге. Нью-Йоркский кардиолог заимел себе проблем, отказавшись оплатить счёт в стрипклубе на 135 тысяч долларов. Манхэттенский кардиолог фотографировал голых пациентов и использовал фотографии для домогательств к сотрудницам. Нью-Йоркский кардиолог тайно установил скрытую камеру в ванной комнате. Просто чтобы разбавить список: кардиолога из Флориды ложно обвинили в сексуальных домогательствах в результате длительной вражды с другим кардиологом.

Ну да, вы можете возразить, что если рассматривать высокостатусных мужчин, руководящих множеством подчинённых, то сексуальные домогательства будут угнетающе частым явлением просто в результате влияния среды. Однако вот вам кардиолог из Техаса, признавший себя виновным в домогательстве к детям. Калифорнийский кардиолог, убивший двухлетнего ребёнка. Автор одного из лучших учебников по кардиологии арестован по обвинениям, которые Википедия описывает как «связанные с детской порнографией и кокаином».

Это становится странным. Слышали про австралийского кардиолога, которого хотят выдать в Уганду, где он обвинён в «терроризме, грабежах с отягчающими обстоятельствами и убийстве семерых человек»? Что насчёт кардиолога из Лонг-Айленда, который заказал наёмному убийце кардиолога-соперника, а ещё зачем-то искал «достаточно взрывчатки, чтобы взорвать здание»?

Как я уже сказал, это очень своеобразные люди.

II

С учётом недавних обсуждений здесь искажений в СМИ, я бы хотел напомнить про описанное Алиссой Вэнс «Искажение китайского грабителя»:

…когда общая проблема используется для нападок на конкретного человека или группу, несмотря на то, что у других групп эта проблема выражена в той же (или даже большей) степени.

К примеру, если вы не любите китайцев, вы можете найти историю о том, как китаец кого-то ограбил, и заявить, что существует большая социальная проблема в виде китайцев, становящихся грабителями.

Сначала эта идея мне не показалась слишком уж интересной. Проблема выглядит как уже хорошо знакомое навешивание стереотипов — то, о чём мы довольно часто думаем, и что аккуратно напоминаем себе избегать.

Однако когда я перечитал пост, я подумал, что этот аргумент более сложный. Китайцев больше миллиарда. Если один из тысячи - грабитель, то вы можете предъявить сомневающимся миллион примеров китайцев-грабителей. Многие люди думают о навешивании стереотипов как: «Вот один пример, где аутгруппа сделала что-то плохое», а потом вы возражаете: «Но мы не можем делать обобщения про целую группу всего по одному примеру!» Менее очевидно, что возможна ситуация, когда вы приведёте миллион примеров ложного стереотипа, и он всё ещё останется ложным стереотипом. Вы можете четыре месяца подряд по двенадцать часов в день заниматься исключительно приведением примеров китайцев-грабителей, по одному преступлению в десять секунд – и это всё ещё не будет значить ничего.

Если мы действительно обеспокоены искажениями в СМИ, мы должны считать «Искажение китайского грабителя» одним из их сильнейших орудий. Людей очень много — только лишь в Америке их 300 миллионов. Не важно, какую позицию СМИ хочет занять – характерные примеров будут исчисляться сотнями. Не важно, насколько редко встречается явление, возможность освещать подтверждения не иссякнет.

Эта тема недавно освещалась в контексте «войны с полицией». AEI пишет:

Идёт ли в Америке сегодня «война с полицией?» Большая часть американцев думают, что да, и легко понять почему, если принять во внимание то, как СМИ освещают эту тему. Поиск в Google news выдаёт 32000 результатов по фразе «война с копами» и ещё 12100 по «война с полицией», с сенсационными заголовками вроде «Война с копами в Америке разгорается» и «Брэтон предупреждает о тяжёлых временах впереди из-за войны с копами». Недавний опрос «Rasmussen» выявил, что 58% преимущественно американских респондентов ответили «Да» на вопрос «Идёт ли в Америке сегодня война с полицией», а не согласились только 27%. Но данные по перестрелкам с полицией за последнюю неделю в Америке, собранные The Guardian рассказывают совсем другое — безопасность полицейских растёт.

Согласно данным, предоставленным «Мемориальной страницей погибших полицейских» по годовому числу неслучайных связанных с огнестрельным оружием потерь в полиции, текущий 2015 год станет самым безопасным годом для охранителей порядка в США со времён 1887 (с исключением чуть более безопасного 2013), более 125 лет назад. Если учесть поправку на рост населения, то 2013 и 2015 станут самыми безопасными годами для полиции за всю историю США, сравнивая по годовому числу вызванных огнестрельным оружием потерь в полиции на миллион человек.

Если это удобно с политической точки зрения, легко убедить американцев в том, что идёт война с полицией. Достаточно лучше освещать существующие убийства полицейских. Поскольку Америка — большая страна с очень многочисленной полицией, даже низкая априорная вероятность быть убитым обеспечит множество сенсационных историй об убитых полицейских. По моим подсчётам, если полицейских убивают с той же частотой, что и всех остальных, получается по два убийства в неделю. Хотя освещать эти убийства вполне законно, такое освещение может быть обманчивым, если оно не сопровождается уточнениями, растёт ли количество этих убийств или падает, больше ли убивают полицейских, чем обычных людей или меньше. И всё равно это освещение будет казаться пугающим, даже если явно посчитать отношения.

Однако анализ Хомского привёл бы к вопросу, является ли «война с копами» действительно уникально плохим примером журналистского злоупотребления, или же это обычное дело, уникальное только тем, что оно было подсвечено вместо того, чтобы позволить ему остаться незамеченным.

Давайте для последовательности продолжим тему полиции. Я уже приводил довольно похожие аргументы рассматривая заявления о расово-обусловленной полицейской стрельбе (см. часть D тут), но давайте не будем лезть в эту конкретную кроличью нору и обсудим более широкую и тревожную тему. Мы все слышали рассказы об ужасной полицейской жестокости. Предположим, что мы слышали ровно X таких историй. Учитывая, что в США около 100 тысяч полицейских, согласуется ли X с выводом о том, что эта проблема ужасная и систематическая, или что она относительно ограниченная?

Это не так просто. Быстрая оценка Ферми: если я могу вспомнить около одной ужасной истории полицейской жестокости в неделю, и предположить, что есть пятьдесят не освещённых на каждую освещённую, то за год получается…

Но погодите – что если я солгал, и на самом деле в США 500 тысяч полицейских? Внезапно уровень полицейской жестокости стал в пять раз меньше, чем секунду назад. Если вы раньше верили, что полицейских 100 тысяч и что уровень полицейской жестокости позорно высок, но что уменьшение его в пять раз было бы победой – что ж, теперь вы можете считать, что победили.

Что если я вам скажу, что число 500 тысяч тоже ложь, и на самом деле копов куда больше? Вы хоть немного представляете, сколько их вообще? Не следует ли вам сначала узнать уровень полицейской жестокости хотя бы с точностью до порядка, а уж потом решать, не слишком ли он высок? Что если я скажу вам, что реальное число – миллион копов? Пять миллионов? Десять? Это в сто раз больше, чем изначальная оценка в 100 тысяч. Не должна ли информация о том, что уровень полицейской жестокости составляет всего 1% от изначальной оценки (или, в другом направлении, 10000%) как-то изменить ваше мнение?

(Нет, я не скажу вам, сколько их на самом деле. Ищите информацию сами.)

И я замечаю то же самое в отношении очень многих тем. СМИ постоянно скармливают нам истории о том, как нёрды-технари так или иначе являются сексистами. Но мы можем подозревать, что они хотят продвинуть этот тезис независимо от того, правдив ли он. Сколько у нас нёрдов-технарей? Миллион? Десять миллионов? Сколько жутких историй о домогательствах в Кремниевой Долине вы слышали? Знаем ли мы, выше это или ниже базового уровня для похожих отраслей? Растёт этот уровень или падает? Как бы он выглядел, если бы у нас был доступ к данным в пересчёте на количество людей?

Сейчас вы наверняка уже понимаете, что было не так в начале текста. Но на всякий случай скажу прямым текстом: кардиологи — замечательные люди, и, насколько мне известно, они не менее этичны, чем представители любой другой профессии. Я выбрал их случайно – ну, не совсем случайно, один на днях на меня накричал, потому что, очевидно, звонить кардиологу поздно ночью только потому, что у твоего пациента серьёзная срочная проблема с сердцем, это какое-то невероятное медицинское faux pas. Вряд ли кто-то когда-либо заявлял, что есть какая-то общая проблема с кардиологами, и насколько мне известно, для этого нет никаких свидетельств.

Если вы прочитали часть I этого эссе и покивали, думая «Вау, кардиологи стрёмные, должна быть какая-то системная проблема в кардиологии как профессии, надо что-то с этим делать», сочтите это свидетельством того, что кто-то достаточно мотивированный – особенно журналист! – может заставить вас испытать те же чувства по отношению к совершенно любой группе.

Перевод: 
Максим Выменец
Оцените качество перевода: 
Средняя оценка: 4.5 (16 votes)

Размышления о Молохе

Скотт Александер

[Содержание: Видения! знаки! галлюцинации! чудеса! экстазы! мечты! обожания! озарения! религии!]

I.

Кое-что из прочитанного мной в этом месяце: «Искусственный интеллект» Ника Бострома, «Вопль» Алана Гинсберга, «О Гноне» Ника Лэнда.

Xронология неумолима. Стоит одновременно прочитать три совершенно независимых вещи, и становится ​очевидно​, что между ними существует какая-то связь, и что они, как в притче о слепых и слоне, затрагивают разные аспекты одного и того же дьявольски трудновыразимого вопроса.

Этот пост — моя попытка швырнуть в вас этим слоном, разогнав его до 150 км/ч, только я отвлекаюсь на поэзию и мистицизм, и слон получается сбивающим с толку, полным символизма, причудливой литературной критики и радикальной футурологии. Если вам хочется чего-то более вменяемого, можете еще раз почитать про СИОЗС.

Второе, более важное предупреждение: это очень длинное эссе.

II.

Вы все еще здесь? Тогда давайте начнем с Гинзберга:

Что за сфинкс из цемента и алюминия раскроил им черепа и выел их мозг и воображение?

Молох! Одиночество! Грязь! Уродство! Мусорки и недоступные доллары! Дети, кричащие под лестницами! Всхлипывающие в армиях мальчишки! Старики, плачущие в парках!

Молох! Молох! Кошмар Молоха! Молох бесчувственный! Молох в умах! Молох — суровый судия человеков!

Молох, непостижимая тюрьма! Молох, скрещенные кости бездушных застенков и Конгресс печалей! Молох, чьи строения — приговор! Молох, огромный камень войны! Молох оглушенных правительств!

Молох, чей мозг — чистая механика! Молох, чья кровь — текущие деньги! Молох, чьи пальцы — десять армий! Молох, чья грудь — динамо-людоед! Молох, чьи уши — дымящиеся могилы!

Молох, чьи глаза — тысячи слепых окон! Молох, чьи небоскребы выстроились на длинных улицах, как бесконечные Иеговы! Молох, чьи фабрики грезят и квакают в тумане! Молох, чьи трубы и антенны увенчали города!

Молох, чья любовь — бесконечные камень и нефть! Молох, чья душа — электричество и банки! Молох, чья бедность — призраки гениев! Молох, чья судьба — облако бесполого водорода! Молох, чье имя — Разум!

Молох, в котором я одинок! Молох, в котором я мечтаю об Ангелах! Безумен в Молохе! Членосос в Молохе! Выхолощен и обезлюблен в Молохе!

Молох, так рано проникший ко мне в душу! Молох, в котором я — сознание без тела! Молох, выстращавший меня из моего природного экстаза! Молох, которого я покидаю! Проснись в

Молохе! Свет, льющийся с неба!

Молох! Молох! Квартиры-роботы! невидимые пригороды! остовы сокровищниц! невидящие столицы! бесовская промышленность! призрачные народы! непобедимые психушки! гранитные члены! чудовищные бомбы!

Они поломали спины, вознося Молоха к Небесам! Тротуары, деревья, радио, тонны! Вознося город к Небесам, сущим везде вокруг нас!

Видения! знаки! гaллюцинaции! чудесa! экстaзы! все утонуло в Америкaнской реке!

Мечты! обожания! озaрения! религии! все это чувственное говно!

Прорывы! над рекой! кувырки и распятия! унесенные наводнением! Полеты! Богоявления! Отчаяния! Десять лет животных криков и самоубийств! Мысли! Новые связи! Безумное поколение! внизу на камнях Времени!

Настоящий святой смех в реке! Они все это видели! дикие взгляды! святые крики! Они прощались! Прыгали с крыш! к одиночеству! размахивая! с цветами в руках! Вниз, к реке! на улицу!

В этой поэме меня всегда больше всего впечатлял образ цивилизации в виде самостоятельной сущности. Кажется, вот-вот увидишь его, с пальцами-армиями и глазами-окнами небоскребов…

Многие толкуют Молоха как образ капитализма. Безусловно, это часть его сущности, пожалуй, даже очень важная часть. Но все-таки чего-то этой трактовке не хватает. Капитализм, чья судьба — облако бесполого водорода? Капитализм, в котором я — сознание без тела? Капитализм, следовательно, гранитные члены?

Молох вводится в качестве ответа на вопрос — вопрос К. С. Льюиса в шуточной «иерархии философов» — «что за сила совершает это?». Земля могла бы быть прекрасной, а все люди на ней — счастливыми и мудрыми. Но вместо этого у нас тюрьмы, дымовые трубы, психушки. Что за сфинкс из цемента и алюминия раскраивает людям черепа и выедает их мозг и воображение?

И Гинзберг отвечает: Молох.

В Principia Discordia есть место, в котором Малаклипс жалуется Богине на пороки человеческого общества. «Все причиняют друг другу боль, планета полна несправедливости, целые общества грабят группы своих же людей, матери лишают свободы сыновей, дети гибнут, брат убивает брата».

Богиня отвечает: «В чем же проблема, если вы сами этого хотите?».

Малаклипс: «Но ведь никто не хочет! Нам все это ненавистно!».

Богиня: «О. Что ж, тогда перестаньте».

В этом ответе скрыт вопрос — если все ненавидят существующий порядок, то кто его поддерживает? И Гинзберг отвечает: «Молох». Эта идея хороша не тем, что она отражает реальность, ведь никто в самом деле не думает, что за всеми бедами мира стоит древний демон Карфагена. Ее сила в том, что попытка представить себе систему в образе агента резко высвечивает, насколько это представление не соответствует действительности.

Бостром вскользь отмечает возможность существования антиутопии без диктатуры, ненавидимой всеми, включая ее лидеров, но продолжающей существовать в нетронутом виде. Нетрудно представить себе подобное государство. Пусть в нем существует два закона: первый — каждый должен в течение восьми часов в день пытать себя электрошоком. Второй — если кто-то нарушает любой из законов (включая этот), или высказывается против них, или отказывается обеспечивать их соблюдение, то каждый гражданин обязан принять участие в поимке и казни нарушителя. Предположим, что эти законы основываются на прочно устоявшихся традициях, которые настаивают на их всеобщем исполнении.

И ты, будучи гражданином этого государства, пытаешь себя по восемь часов в день, потому что знаешь, что в противном случае все остальные будут вынуждены убить тебя, потому что в противном случае их самих ждет смерть, и так далее. Этот порядок ненавистен каждому отдельному гражданину, но из-за отсутствия хорошего механизма координации он продолжает существовать. С точки зрения внешнего наблюдателя, мы можем оптимизировать систему к состоянию «все соглашаются одновременно прекратить это делать», но никто внутри системы не способен осуществить этот переход без огромного риска для собственной жизни.

Ну, хорошо, этот пример немного надуманный. Поэтому давайте рассмотрим несколько — скажем, десять — реальных примеров похожих многополюсных ловушек, чтобы убедиться в важности этой проблемы.

  1. Дилемма заключенного между двумя не очень умными либертарианцами, которые снова и снова предают друг друга. Они могли бы достигнуть значительно лучшего исхода, если бы им удалось скоординироваться, но координация — это сложно. С точки зрения внешнего наблюдателя очевидно, что двусторонняя кооперация приводит здесь к лучшему результату, чем обоюдное предательство, но ни один из заключенных внутри системы не способен достичь этого исхода в одиночку.

  2. Долларовые аукционы. Я писал об этом и о некоторых более изощренных версиях того же принципа в Game Theory As A Dark Art. Проведя аукцион по определенным хитрым правилам, можно использовать недостаток координации для того, чтобы заставить кого-то заплатить 10 \$ за однодолларовую банкноту. С точки зрения внешнего наблюдателя очевидно, что платить 10 \$ за купюру в один доллар невыгодно. Однако внутри системы каждое отдельное решение может быть рациональным.

(Мусорки и недоступные доллары!)

  1. Пример с рыбными хозяйствами из моего Анти-Либертарианского FAQ 2.0:

В качестве мысленного эксперимента рассмотрим разведение рыбы в озере. Пусть у нас есть озеро с тысячей одинаковых рыбных хозяйств, у каждого из которых свой владелец.

Каждое хозяйство приносит 1000 \$ в месяц. Поначалу все хорошо.

Однако каждое хозяйство производит отходы, загрязняющие воду в озере. Допустим, каждое хозяйство производит достаточно отходов для того, чтобы снизить производительность озера на 1 \$ в месяц.

Тысяча хозяйств производит достаточно отходов, чтобы снизить доходность на 1000 \$ в месяц, то есть, до нуля. На помощь приходит капитализм: кто-то изобретает сложную систему фильтрации, которая удаляет отходы из озера. Расходы на поддержание ее работы составляют 300 \$ в месяц. Все рыбные хозяйства добровольно устанавливают ее, проблема загрязнения уходит, и теперь хозяйства приносят владельцам по 700 \$ каждое — все еще вполне приличный доход.

Но один хозяин (назовем его Стивом) решает сэкономить на своем фильтре. Теперь одно хозяйство загрязняет озеро, понижая продуктивность на 1 \$. Доход Стива 999 \$, а у всех остальных 699 \$.

Все остальные замечают, что у Стива доход выше, потому что он не тратит деньги на фильтрацию. Они начинают отсоединять свои фильтры.

Когда четыреста человек отсоединили свои фильтры, Стив стал зарабатывать 600 \$ в месяц — меньше, чем если бы он и все остальные продолжали обслуживать свои фильтры! А бедные добросовестные владельцы хозяйств с фильтрами зарабатывают лишь 300 \$. Стив начинает агитировать: «Погодите! Мы все должны заключить добровольное соглашение об использовании фильтров! Иначе у всех упадет продуктивность».

Все владельцы хозяйств договариваются и подписывают Соглашение о Фильтрации. Все, кроме одного негодяя. Назовем его Майк. Теперь все снова используют фильтры, кроме Майка.

Майк зарабатывает 999 \$ в месяц, а все остальные 699 \$ в месяц. Постепенно люди начинают приходить к мысли, что они тоже хотят зарабатывать больше, как Майк, и отсоединяют свою фильтры, сэкономив 300 \$…

У человека, заинтересованного в личной выгоде, никогда не будет стимула использовать фильтр. У него есть стимул подписать соглашение, чтобы заставить всех остальных использовать фильтр, но во многих случаях есть куда более сильный стимул дождаться, пока все его подпишут, а самому отказаться. Это может привести к нежелательному равновесию, в котором такое соглашение не подпишет никто.

Чем больше я думаю об этом, тем больше мне кажется, что в этом заключается суть моего неприятия либертарианства, и что Анти-Либертарианский FAQ 3.0 будет состоять из одного этого примера, скопированного и вставленного двести раз. С точки зрения внешнего наблюдателя мы видим, что загрязнение озера приводит к плохим последствиям. Изнутри системы ни один человек не способен предотвратить загрязнение озера, и покупка фильтра выглядит не такой уж хорошей идеей.

  1. Мальтузианская ловушка, по крайней мере, рассмотренная в ее чисто теоретическом предельном случае. Представьте, что вы — одна из первых крыс, заселенных на прежде нетронутый остров. Он полон вкусных растений, и вы живете идиллической жизнью, чередуя праздность с потреблением пищи и созданием великих произведений искусства (вы — крыса из «Секрета Н.И.М.Х.»).

Вы проживаете долгую жизнь, спариваетесь и заводите дюжину детей. Каждый из них заводит по дюжине своих детей и так далее. Через пару поколений, на острове живет десять тысяч крыс, достигая предельного значения с точки зрения имеющихся на нем ресурсов. Теперь еды и места для всех не хватает, и определенная часть каждого следующего поколения умирает, чтобы поддерживать стабильную численность популяции на уровне десяти тысяч.

Некоторая группа крыс бросает занятия искусством для того, чтобы посвятить большую часть своей жизни борьбе за выживание. В каждом новом поколении в этой группе умирает немного меньше крыс, чем в основной части популяции, до тех пор, пока через какое-то время искусством не занимается никто, и любая группа крыс, пытающаяся это исправить, вымирает через несколько поколений.

На самом деле, речь не только об искусстве. Любая группа более подтянутых, злобных, более настроенных на выживание по сравнению с основной популяцией крыс со временем захватит остров. Если какая-то группа из альтруизма примет решение ограничить свое потомство до двух детей на каждую пару родителей, чтобы уменьшить перенаселение, они вымрут, когда их перерожают более многочисленные противники. Если другая группа начнет практиковать каннибализм и обнаружит, что это дает им преимущество, она со временем захватит остров и закрепится.

Если какие-то крысиные ученые предскажут, что скорость исчерпания ореховых запасов острова принимает угрожающие масштабы, и вскоре их ожидает полное истощение, отдельные группы крыс могут попытаться ограничить свое потребление орехов до уровня устойчивости. Эти крысы будут вытеснены своими более эгоистичными родственниками. В конце концов, запасы орехов закончатся, большая часть крыс вымрет, и цикл начнется заново. Любая группа крыс, выступающая за принятие мер для остановки этого цикла, будет вытеснена их сородичами, для которых выступление в пользу чего угодно — бесполезная трата времени, которое можно было потратить на потребление и борьбу за выживание.

По ряду причин эволюция носит не столь ярко выраженный мальтузианский характер по сравнению с идеальной моделью, но она является примером, который можно использовать при рассмотрении других ситуаций, чтобы понять лежащие в основе принципы. С точки зрения внешнего наблюдателя, легко заметить, что крысам следует поддерживать небольшую стабильную популяцию. Изнутри системы, каждая отдельная крыса будет следовать своим генетическим императивам, и остров застрянет в бесконечном цикле подъемов и спадов.

  1. Капитализм. Представьте себе капиталиста в секторе экономики с ожесточенной конкуренцией. Его рабочие в ужасных условиях шьют за ничтожную плату одежду, которую он продает с минимальной прибылью. Возможно, ему хотелось бы платить им больше или улучшить их условия труда. Но он не может, потому что это повысит себестоимость его продуктов, и конкуренты с более дешевым товаром выбьют его с рынка и сделают банкротом. Возможно, многие из его конкурентов — хорошие люди, которые тоже хотели бы платить своим рабочим больше, но пока у них нет железной гарантии того, что никто из них не предаст всех остальных, сбив свою цену, они не пойдут на это.

Как крысы, которые постепенно теряют все свои ценности, кроме чистой конкуренции, так и компании в достаточно конкурентной экономической среде вынуждены оставить все принципы, кроме оптимизации ради выгоды, или быть вытесненными с рынка компаниями, которые пошли на более высокую оптимизацию ради выгоды и поэтому могут продавать те же услуги за меньшую цену.

(Я не уверен, что люди до конца понимают ценность сравнения капитализма с эволюцией. Приспособленные компании — то есть те, которые привлекают клиентов — выживают, расширяются и подают пример, а неприспособленные — те, которые своих клиентов теряют — прогорают и вымирают вместе со своей корпоративной ДНК. Закон джунглей, царящий в природе, и беспощадная эксплуатация, характерная для рынка, имеют в своей основе один и тот же механизм.)

С точки зрения внешнего наблюдателя, мы можем придумать дружелюбную индустрию, в которой все компании платят своим работникам хотя бы на уровне прожиточного минимума.

Изнутри системы такую индустрию создать невозможно.

(Молох, чья любовь — бесконечные камень и нефть! Молох, чья кровь — текущие деньги!)

  1. Ловушка двойного дохода, ранее уже обсуждавшаяся в этом блоге. Было сделано предположение о том, что достаточно высокая конкуренция за пригородные дома в районах рядом с хорошими школами означает, что люди вынуждены пренебрегать множеством других благ — временем, проведенным дома с детьми, финансовой безопасностью — в процессе оптимизации ради повышения своей жилищно-покупательной способности, в противном случае рискуя жить в гетто.

С точки зрения внешнего наблюдателя, если все согласятся остаться на одной работе, то все получат столь же хороший дом, как и прежде, но без необходимости работать на двух работах, чтобы обеспечить его покупку. Изнутри системы, в отсутствие правительства, готового просто взять и запретить работать в двух местах, люди без второго источника дохода останутся без домов.

(Квартиры-роботы! Невидимые пригороды!)

  1. Земледелие. Джаред Даймонд называет его самой большой ошибкой в истории человечества. Ошибка или нет, переход к земледелию определенно не был случайностью — земледельческие цивилизации просто вытеснили кочевников: это неизбежный и непреодолимый результат конкуренции. Классическая мальтузианская ловушка. Возможно, охота и собирательство приносили больше удовольствия, вели к повышенной продолжительности жизни и были более благоприятными для процветания человечества занятиями, но в состоянии достаточно высокой конкуренции между народами, в котором земледелие с присущими ему гнетом, болезнями и эпидемиями все же предоставляет конкурентное преимущество, все станут земледельцами или последуют примеру индейцев-команчей.

С точки зрения внешнего наблюдателя очевидно, что все должны были выбрать более приятный путь и остаться охотниками и собирателями. Внутри системы каждое отдельное племя стоит перед выбором между земледелием или неизбежным вымиранием.

  1. Гонки вооружений. Большие страны тратят от 5% до 30% своего бюджета на оборонные нужды. При отсутствии войн — за редкими исключениями имевшем место на протяжении последних пятидесяти лет — это лишь отбирает деньги у инфраструктуры, здравоохранения, образования и экономического роста. Но любая страна, которая решила сэкономить на обороне, рискует нарваться на вторжение соседней страны, которая продолжала вкладываться в нее. Поэтому практически все страны стараются выделять часть своих средств на оборону.

С точки зрения стороннего наблюдателя, оптимальное решение — мир во всем мире и роспуск всех армий. Изнутри системы, ни одна из стран не способна принудить к этому всех остальных, так что им остается лишь продолжать спускать свои деньги на ракеты, лежащие в шахтах бесполезным грузом.

(Молох, огромный камень войны! Молох, чьи пальцы — десять армий!)

  1. Рак. Человеческое тело в идеале должно состоять из клеток, живущих в гармонии и распределяющих ресурсы между собой во благо всего организма. Если клетка отклоняется от этого равновесия и расходует свои ресурсы на самокопирование, она и ее потомки будут процветать, со временем вытесняя все остальные клетки и захватывая тело, что приводит к его смерти. Или ситуация может повториться, когда отдельные раковые клетки предают остальную опухоль, замедляя ее рост и приводя к стагнации.

С точки зрения внешнего наблюдателя, лучшим решением является сотрудничество клеток во избежание смерти. Изнутри системы, раковые клетки будут расти и вытеснять все остальные, и лишь существование иммунной системы сдерживает естественное стремление клеток становиться раковыми.

  1. «Гонка на дно» — термин, описывающий политическую ситуацию, в которой отдельные юрисдикции заманивают предприятия низкими налогами и ослаблением государственного регулирования. В конечном итоге все либо приспосабливаются к конкурентным условиям — снижая налоги и ослабляя регуляции, либо лишаются бизнеса, инвестиций и рабочих мест в пользу тех, кто приспособился (после чего ответственных за это выгоняют, а на их место выбирают более уступчивое правительство).

Однако, несмотря на то, что имя себе забрал последний пример, по сути, все эти сценарии являются гонками на дно. Как только агент понимает, как приобрести конкурентное преимущество за счет принесения в жертву некоего общего блага, все его конкуренты также вынуждены принести его в жертву, в противном случае их вытеснят и заменят менее щепетильные. Таким образом, система может снова оказаться в состоянии одинаковой общей конкурентоспособности, но принесенное в жертву потеряно навсегда. С точки зрения внешнего наблюдателя, конкуренты знают, что в результате все они будут в проигрыше, но изнутри системы при условии недостатка координации это неизбежно.

Перед тем, как мы двинемся дальше, мне хотелось бы обсудить немного другой тип многоагентных ловушек. В них конкуренцию сдерживает некоторая внешняя сила, чаще всего общественное осуждение. В результате гонка не достигает самого дна — система может продолжать функционировать на довольно высоком уровне — но ее невозможно оптимизировать, и ресурсы стабильно выбрасываются на ветер. Чтобы не утомлять вас, едва начав, я ограничусь здесь четырьмя примерами.

  1. Образование. В моем эссе о реакционной философии я описываю свое недовольство реформами образования:

Многие часто спрашивают, почему мы не можем реформировать систему образования. Но сейчас студенты при поступлении заинтересованы в первую очередь в престижности учебного заведения, чтобы после выпуска их с охотой брали на работу — вне зависимости от того, научат их там чему-нибудь или нет. Работодатели заинтересованы в том, чтобы заполучить выпускников самых престижных учебных заведений, чтобы всегда иметь оправдание перед начальством — вне зависимости от того, приносят ли им работники с престижным образованием большую прибыль. А учебные заведения заинтересованы в том, чтобы всеми силами повысить свой престиж и места в рейтингах — вне зависимости от того, помогает ли это студентам. Ведет ли это к огромным растратам и низкому качеству образования? Да. Способен ли условный Бог Образования заметить это и принять какие-то Указы Об Образовании, создав гораздо более эффективную систему? Легко! Но поскольку Бога Образования не существует, все будут продолжать следовать своим интересам, которые лишь отчасти коррелируют с образованием или эффективностью.

С точки зрения внешнего наблюдателя, легко сказать: «Студенты должны получать высшее образование, только если они хотят чему-то научиться, а работодатели должны смотреть на знания, а не на диплом». Изнутри системы, все поступают в полном согласии со своими интересами, и в отсутствии других стимулов система останется такой, как есть.

  1. Наука. Из того же эссе:

Современное исследовательское сообщество знает, что качество их научных работ могло бы быть куда выше. Исследователи предпочитают публиковать подтверждения своих гипотез, отбрасывая отрицательные или нулевые результаты, статистическая обработка данных в силу слепой инерции производится вводящими в заблуждение и сбивающими с толку методами, а работы по воспроизведению результатов исследований либо сильно запаздывают, либо вообще не ведутся. И периодически кто-то заявляет: «Не могу поверить, что людям не хватает ума починить Науку. Ведь достаточно всего лишь заставить ученых заранее регистрировать исследования, чтобы избежать публикования только положительных результатов, сделать этот новый и очень мощный статистический метод стандартом, и повысить престиж деятельности, направленной на воспроизведение результатов экспериментов. Все это очень просто сделать, и в результате мы бы сильно ускорили научный прогресс. Видимо, я умнее, чем все эти ученые, раз это пришло в голову мне, а не им».

И да, это бы сработало с Богом Науки. Он мог бы просто издать Указ о Науке, чтобы заставить всех использовать правильные статистические методы, и другой Указ, обязующий всех высоко ценить труд тех, кто работает над проверкой воспроизводимости.

Но то, что возможно осуществить с позиции внешнего наблюдателя, может быть недостижимо изнутри системы. Ни один ученый не заинтересован в том, чтобы в одностороннем порядке начать использовать новый статистический метод для своих исследований, поскольку это понизит вероятность получения им потрясающих результатов и только запутает других ученых.

Все они заинтересованы лишь в том, чтобы это сделали все остальные, тогда они последуют общему примеру. И ни один журнал не заинтересован в том, чтобы ввести раннюю регистрацию и опубликовывать негативные результаты, потому что тогда их результаты просто будут менее интересными, чем в другом журнале, который публикует только революционные открытия. Изнутри системы, все поступают в согласии со своими интересами и будут продолжать это делать.

  1. Коррупция. Я не знаю ни одного человека, который был бы твердо убежден, что предоставление государственных субсидий корпорациям ‒ хорошая идея. Но правительству все равно удается тратить на это (по разным оценкам) около 100 миллиардов долларов в год — что, к примеру, в три раза больше расходов на здравоохранение для малообеспеченных. Каждый, кто знаком с этой проблемой, предлагает одно и то же простое решение: уменьшить расходы на субсидии корпорациям. Почему же этого не происходит?

Члены правительства конкурируют друг с другом, стремясь добиться переизбрания или повышения в должности. Предположим, что для повышения шансов на переизбрание необходимо в том числе максимизировать пожертвования на кампанию от корпораций — возможно, на самом деле это не так, но предположим, что чиновники так думают. Если кто-то из них попытается снизить затраты на субсидии корпорациям, он может потерять их поддержку, и его обойдут чиновники, обещающие ничего не менять.

Поэтому, несмотря на то, что с точки зрения внешнего наблюдателя очевидно, что лучшим решением является ликвидирование корпоративных субсидий, его сохранение отвечает интересам каждого отдельного чиновника.

  1. Конгресс. Лишь 9% американцев поддерживают его, что говорит о меньшем рейтинге, чем у тараканов, вшей или дорожных пробок. Однако 62% людей, знающих члена Палаты представителей от своего округа, поддерживают его. В теории, демократически избранному органу власти с рейтингом в 9% должно быть весьма тяжело продержаться дольше одного избирательного цикла. На практике, у каждого Представителя есть стимул заручиться поддержкой своего округа, в то же время пренебрегая всей остальной страной, в чем они, по-видимому, преуспевают.

С точки зрения внешнего наблюдателя, каждому конгрессмену следует заботиться только о благе народа. Внутри системы приходится делать то, что приносит победу на выборах.

III.

Все вышеописанные многополюсные ловушки объединяет общий принцип. В некоторой конкурентной среде, оптимизация в которой идет в пользу некоторого Х, возникает возможность пожертвовать каким-то другим благом для повышения своего X. Те, кто пользуются ей — процветают. Те, кто отказываются — вымирают. В конце концов, все остаются на прежнем уровне относительно друг друга, но общее положение становится хуже, чем прежде. Процесс будет продолжаться до тех пор, пока не останется ничего, чем можно было бы пожертвовать — другими словами, пока человеческая изобретательность не исчерпает все возможные способы сделать все еще хуже.

При достаточно сильной конкуренции (1-10) каждый, кто отказывается жертвовать всеми своими ценностями, вымирает — вспомните о бедных крысах, отказавшихся бросать занятия искусством ради выживания. Это и есть пресловутая мальтузианская ловушка, в которой всем остается лишь бороться за средства к существованию.

При недостаточно сильной конкуренции (11-14) мы можем наблюдать лишь ситуацию, в которой любые попытки оптимизации сталкиваются с упорным сопротивлением — здесь и научные журналы, которые не имеют возможности повысить качество издаваемых статей, и законодатели, которые не способны взяться за дело всерьез и остановить субсидирование корпораций.

Хоть это и не сводит жизнь людей к борьбе за существование, однако каким-то странным образом это лишает их свободы воли.

Любой, даже самый посредственный писатель или философ, считает своим долгом написать собственную утопию. Многие из них и в самом деле выглядят вполне пригодными для жизни. На самом деле, даже если выбирать между двумя диаметрально противоположными друг другу утопиями, с высокой вероятностью любая из них будет выглядеть значительно лучше мира, в котором мы живем.

Становится немного неловко от того, что даже посредственные мыслители способны придумать устройство мира получше нынешнего. Конечно, в большинстве случаев все не так просто.

Многие утопии стараются замять сложные проблемы, другие вовсе развалились бы спустя десять минут после реализации.

Но позвольте мне предложить пару «утопий», лишенных подобных недостатков:

*Утопия, в которой правительство вместо того, чтобы выплачивать огромные субсидии корпорациям, не выплачивает огромные субсидии корпорациям.

*Утопия, в которой армии всех стран вполовину меньше, чем сейчас, а сэкономленные средства расходуются на развитие инфраструктуры.

*Утопия, в которой все больницы пользуются общей системой электронных медицинских карт, или хотя бы системами, которые могут обмениваться информацией, чтобы у врачей была возможность получить данные о результатах обследования вас врачом на прошлой неделе в другой больнице, вместо того, чтобы заставлять вас снова проходить те же самые дорогостоящие обследования.

Я не думаю, что много кто выступит против этих утопий. Если они не воплощаются в жизнь, то вряд ли из-за того, что люди их не поддерживают. Уж точно не из-за того, что никому это не приходило в голову, потому что это только что пришло в голову мне, и я сомневаюсь, что это мое «открытие» будет воспринято как какое-то откровение, или как-то изменит мир.
Практически любой человек, чей IQ превышает температуру горячей воды в кране [60-75 градусов Цельсия; в оригинале комнатная температура, т.е. 68-77 градусов Фаренгейта — прим. пер.], способен создать проект утопии. Наша система не является утопией потому, что ее проектировал не человек. Подобно тому, как, глядя на засушливую местность, можно определить русло будущей реки, предположив, что вода будет подчиняться гравитации, точно так же, глядя на цивилизацию, можно понять формы ее будущих социальных институтов, предположив, что люди будут реагировать на стимулы, следуя своим интересам.

Однако это значит, что как форма реки не была спроектирована из соображений красоты и удобства навигации, но сформировалась под влиянием случайным образом определенной формы местности, так и социальные институты не были спроектированы из соображений процветания или справедливости, но сформировались под влиянием случайным образом определенных начальных условий.

Подобно тому, как люди могут выравнивать землю и строить каналы, они могут менять ландшафт стимулов и побуждений, чтобы создавать более совершенные социальные институты. Но это происходит лишь тогда, когда у них самих имеются к тому стимулирующие и побуждающие факторы, что верно не всегда. В результате в самых разных и необычных местах появляются достаточно бурные притоки и пороги.

А теперь я внезапно поменяю тему со скучных рассуждений о теории игр и расскажу про, пожалуй, самый близкий к мистическому опыту случай в моей жизни.

Как и полагается любому хорошему мистическому опыту, он был получен мной в Вегасе. Я стоял на вершине одной из множества его высоток, глядя вниз на город, сияющий во тьме. Если вы никогда не были в Вегасе, это выглядит просто потрясающе. Небоскребы и огни во всевозможных сочетаниях, причудливые и прекрасные, теснящиеся вплотную друг к другу. И в моей голове были две совершенно четкие мысли:

Как прекрасно, что мы способны создавать такое.

Какой позор, что мы это создали.

В смысле, каким образом можно считать создание гигантских сорокаэтажных моделей Венеции, Парижа, Рима, Египта и Камелота, наполненных тиграми-альбиносами, бок о бок друг с другом посреди самой суровой пустыни в Северной Америке хоть сколько-нибудь разумной тратой и без того ограниченных ресурсов, доступных нашей цивилизации?

И мне подумалось, что, может быть, нет на Земле такой философии, которая бы одобряла существование Лас-Вегаса. Даже объективизм, к которому я обычно прибегаю в тех случаях, когда мне необходимо придумать обоснование крайностям капитализма, по крайней мере основывается на убеждении в том, что капитализм улучшает жизни людей. Генри Форд был добродетелен, потому что он дал возможность приобрести автомобиль множеству людей, которым это прежде было не по карману, и тем самым улучшил качество их жизни. Что делает Вегас? Обещает кучке простаков легкие деньги и оставляет их с носом.

Существование Лас-Вегаса не было частью чьего-то плана по гедонистической оптимизации человечества. Лас-Вегас существует благодаря особенностям устройства дофаминергических систем вознаграждения, а также неоднородной микроструктуре среды правового регулирования и принципу «точек Шеллинга». Рациональный проектировщик, взвешивая эти факторы с точки зрения внешнего наблюдателя, мог бы подумать: «Хм, в устройстве дофаминергических систем вознаграждения есть особенности, из-за которых некоторые действия с небольшими отрицательными соотношениями между риском и выгодой приобретают эмоциональную валентность, связанную с небольшими положительными соотношениями между риском и выгодой, следует научить людей быть осторожнее с такими действиями». Люди изнутри системы, следуя стимулам, вызванным этими фактами, думают: «Давайте построим посреди пустыни сорокаэтажный дворец в стиле древнеримской архитектуры, наполненный тиграми-альбиносами, и станем немного богаче тех, кто этого не сделал!»

Подобно руслу реки, скрытому в форме местности еще до того, как над ней прольется первый дождь, истоки Цезарь-Паласа таились в нейробиологии, экономике и системах правового регулирования задолго до его существования. Предприниматель, построивший его, всего лишь заполнял призрачные очертания настоящим бетоном.

И весь наш поразительный технологический и умственный потенциал, всю гениальность человечества мы растрачиваем на прописывание линий, начертанных едва развитыми клеточными рецепторами и слепыми силами экономики, словно боги под властью идиота.

Некоторые люди получают мистический опыт и видят Бога. Там, в Лас-Вегасе, я увидел Молоха.

(Молох, чей мозг — чистая механика! Молох, чья кровь — текущие деньги!
Молох, чья душа — электричество и банки! Молох, чьи небоскребы выстроились на длинных улицах, как бесконечные Иеговы!
Молох! Молох! Квартиры-роботы! невидимые пригороды! остовы сокровищниц! невидящие столицы! бесовская промышленность! призрачные народы!)

гранитные члены!
…гранитные члены!

IV.

В Apocrypha Discordia говорится:

Время течет подобно реке. Иначе говоря, под откос. Это видно по тому, как все вокруг стремительно летит под откос. Следовало бы оказаться где-то в другом месте, когда мы достигнем моря.

Давайте попробуем воспринять эту шутку абсолютно буквально и посмотрим, что из этого выйдет.

Прежде мы сравнили траекторию стимулов с руслом реки. Направление «под откос» подходит: ловушки появляются, когда возникает возможность обменять некоторую ценность на конкурентное преимущество. Когда это сделают все, преимущество исчезает — но пожертвованная ценность потеряна навсегда. Таким образом, каждый шаг в танце Плохой Координации делает вашу жизнь хуже.

Однако мы не только до сих пор не достигли моря, но и, кажется, на удивление часто движемся вверх по течению. Почему положение вещей не ухудшается все больше и больше вплоть до выхода на уровень борьбы за выживание? Мне приходят в голову три плохих причины — избыток ресурсов, физические ограничения и максимизация полезности, плюс одна хорошая — координация.

  1. Избыток ресурсов. Глубины океана — ужасное место, где мало света, не хватает ресурсов, и маленькие отвратительные организмы поедают друг друга или паразитируют друг на друге. Но время от времени происходит чудо — на дно океана опускается китовая туша. О таком количестве пищи организмы, которые его находят, могли лишь мечтать. Наступает кратковременное раздолье, в течение которого пара существ, первыми нашедших кита, наедаются до отвала. Со временем тушу находят другие животные, начинают быстро размножаться в останках кита, постепенно поедая их, после чего все грустно вздыхают и возвращаются к жизни в условиях смертельной ловушки Мальтуса.

(Slate Star Codex: Ваш источник мрачных китовых метафор с июня 2014)

Это как если бы одну из тех групп крыс, что забросили искусство ради выживания, неожиданно переместили на новый пустой остров со значительно большей ресурсной базой, где они могут снова начать жить в мире и создавать культурные шедевры.

Это эпоха китопадения, эпоха избыточных ресурсов, эпоха, в которой мы неожиданно получаем километровую фору перед Мальтусом. Выражаясь словами [Робина] Хэнсона, это время мечты.

До тех пор, пока недостаток ресурсов не заставляет нас воевать друг против друга за право на жизнь, мы можем заниматься неоптимальными глупостями вроде искусства, музыки, философии и любви, не находясь под постоянной угрозой вытеснения безжалостными машинами для убийства.

  1. Физические ограничения. Представьте себе максимизирующего доходы рабовладельца, который решил сэкономить на питании для своих рабов или заставить их работать без перерывов на сон. Он очень быстро обнаружит, что продуктивность его рабов многократно упала, и никакое количество ударов хлыстом ее не восстанавливает. Со временем, попробовав разные стратегии, он может выяснить, что его рабы выдают наилучшие результаты, если у них есть пища и время на отдых и сон. Не потому, что рабы ленятся — предположим, что страх наказания достаточно велик, чтобы они выкладывались полностью — но просто потому, что у человеческого тела есть некоторые физические ограничения, которые не дают скупости хозяина выходить за определенные рамки. Таким образом, «гонка на дно» не достигает настоящего этического дна, останавливаясь, когда исчерпаны пределы физических возможностей.

Джон Моэс, историк рабовладения, развивает эту мысль и пишет о том, что наиболее привычные нам представления о рабстве, почерпнутые нами из истории Юга США, являются исторической аномалией, и, вероятно, экономически неэффективны. В большинстве форм рабства, существовавших на протяжении истории — особенно в древности — рабам было принято платить за труд, с ними хорошо обращались и им часто предоставляли свободу.

Он утверждает, что это было результатом рационального экономического расчета. Рабов можно стимулировать кнутом или пряником, и кнут не особенно эффективен. За рабами нельзя наблюдать постоянно, и очень сложно понять, ленится раб или нет (или даже станет ли он работать лучше после наказания). Если вы захотите, чтобы ваши рабы занялись чем-то посложнее, чем сбор хлопка, у вас возникнут серьезные проблемы с мониторингом — как вы будете получать выгоду от раба-философа? Будете изо всех сил стегать его хлыстом, пока он не придумает теорию Добра, чтобы вы могли написать книгу и продавать ее?

Древним решением этой проблемы — и, возможно, ранним источником вдохновения для Фнаргла — было дать рабу свободу заниматься любым делом, которое покажется ему интересным и прибыльным, а затем забирать себе часть его доходов. Кто-то принимал решение работать в мастерской хозяина и получал зарплату по результатам своего труда. Кто-то другой отправлялся искать свой путь в мире и посылал хозяину часть своих заработков. А иногда рабу называли цену за его свободу, и тот шел работать, чтобы однажды выкупить себя.

Моэс идет еще дальше и заявляет, что эти системы были настолько выгодными, что на Юге США постоянно тлела идея попробовать что-нибудь подобное. Факт того, что в реальности использовался метод кнутов и цепей, вызван не столько экономическими соображениями, сколько расистами в правительстве, которые жестко расправлялись с выгодными, но несколько далекими от идеи о господстве белой расы попытками освободить рабов и выстроить с ними более равноправное сотрудничество.

Поэтому в данном случае гонка на дно, в которой соревнующиеся плантации становятся все более и более жестокими по отношению к своим рабам ради максимизации конкурентоспособности, останавливается из-за физических ограничений, благодаря которым жестокость в какой-то момент перестает увеличивать производительность раба.
Можно привести еще один пример: основная причина, по которой мы сейчас не испытываем мальтузианский демографический взрыв, заключается в том, что женщины могут рожать только один раз в девять месяцев. Если бы члены всевозможных религиозных сект, делающих ставку на многодетные семьи, могли размножаться при помощи ксерокопии, то у нас бы были серьезные проблемы, однако в реальности они могут причинять лишь небольшое количество ущерба за поколение.

  1. Максимизация полезности. Вплоть до текущего момента мы рассуждали в терминах дихотомии «сохранение ценностей/победа в конкуренции» и полагали, что оптимизация в пользу второго уничтожает первое.

Но многие из важнейших конкурентных гонок/процессов оптимизации в современной цивилизации напрямую связаны с человеческими ценностями. Победа в капитализме частично обуславливается удовлетворением ценностей потребителей; победа в демократии — удовлетворением ценностей избирателей.

Предположим, что у нас есть плантация кофе где-то в Эфиопии, на которой эфиопы выращивают кофейные зерна, продающиеся затем в США. Допустим, что она ожесточенно борется за существование с другими плантациями и готова пожертвовать всеми ценностями, которыми только можно, ради того, чтобы чуть-чуть вырваться вперед.

Но она не может значительно пожертвовать качеством производимого кофе — в противном случае американцы не будут его покупать. И она не может значительно пожертвовать зарплатами или условиями труда — в противном случае эфиопы не будут на ней работать. И, на самом деле, часть процесса конкуренции-оптимизации заключается в изобретении наилучших способов привлечения рабочих и потребителей — до тех пор, пока это не стоит слишком много денег. Что ж, пока все звучит весьма многообещающе.

Но важно помнить о том, насколько хрупко это благоприятное равновесие.

Предположим, что владельцы плантации находят токсичный пестицид, увеличивающий урожай, но вызывающий у потребителей проблемы со здоровьем. Однако потребители еще не знают об этом пестициде, и государство еще не успело отрегулировать его использование. Теперь у нас есть крохотное расхождение между «продавать американцам» и «удовлетворять ценностям американцев», поэтому, конечно, ценностями американцев пожертвуют.

Или предположим, что в Эфиопии случился всплеск рождаемости, и за каждое рабочее место соревнуется пятеро человек. Теперь компания может позволить себе снизить зарплаты и установить максимально жестокие условия труда — какие только позволят физические ограничения. Как только у нас появилось расхождение между «предоставлять работу эфиопам» и «удовлетворять ценностям эфиопов», кажется, ценности эфиопов тоже не ждет ничего хорошего.

Или предположим, что кто-то изобрел робота, который может собирать кофе быстрее и дешевле, чем человек. Компания увольняет всех своих сотрудников и отправляет их на улицы. До тех пор, пока полезность эфиопов не является необходимой для получения выгоды, все поводы содержать их исчезают.

Или предположим, что у нас есть нечто очень ценное — но не для сотрудников или потребителей. Может быть, плантации находятся в ареале обитания редкой тропической птицы, которую хотят сохранить защитники окружающей среды. Может быть, они находятся на родовом захоронении какого-то племени — не того, члены которого трудятся на плантации — но другого, которое хочет, чтобы к нему относились с уважением. Может быть, выращивание кофе как-нибудь способствует глобальному потеплению. Поскольку эта ценность не мешает американцам покупать это кофе, а эфиопам — выращивать его, она будет принесена в жертву.

Я знаю, что «капиталисты иногда скверно поступают» — не самая оригинальная мысль. Но я хочу подчеркнуть, что это не всегда значит «капиталисты жадные». То есть, иногда они действительно жадные. Но порой они просто находятся в среде c достаточно интенсивной конкуренцией, в которой все, не поступающие скверно, будут вытеснены и заменены теми, у кого с этим нет проблем. Практики ведения бизнеса устанавливает Молох; больше ни у кого здесь выбора нет.

(Я весьма поверхностно знаком с трудами Маркса, но, насколько я понимаю, он весьма и весьма хорошо осознает эту проблему, и те, кто сокращают его тезисы до «капиталисты жадные», оказывают ему медвежью услугу.)

И хотя мы достигли достаточно глубокого понимания проблем в случае с капитализмом, наличие тех же самых проблем в демократической системе обычно признается куда реже. Да, в теории демократия — это оптимизация ради счастья избирателей, коррелирующая с принятием хороших политических решений. Но как только между хорошими политическими решениями и избираемостью появляется малейшее расхождение, хорошими политическими решениями обязательно пожертвуют.

Например, постоянно растущие сроки нахождения в тюрьмах нельзя назвать справедливыми ни по отношению к заключенным, ни по отношению к обществу, которому приходится оплачивать эти сроки. Политики не хотят заниматься этой проблемой, потому что они не хотят, чтобы их обвинили в мягкости к преступникам, и если хотя бы один заключенный, который благодаря им выйдет на свободу раньше, когда-нибудь сделает что-либо плохое (а по статистике кто-то непременно сделает), то по всем каналам будут вещать про то, что «Выпущенный на свободу благодаря политике конгрессмена Такого-то заключенный убил семью из пяти человек, как Такой-то может спать спокойно по ночам — не говоря уже о том, чтобы заявлять, что он заслуживает переизбрания?» Поэтому, даже если снижение количества заключенных — правильное решение (а это действительно так), его будет весьма тяжело реализовать.

(Молох, непостижимая тюрьма! Молох, скрещенные кости бездушных застенков и Конгресс печалей! Молох, чьи строения — приговор! Молох оглушенных правительств!)

Превращение «удовлетворения потребителей» и «удовлетворения граждан» в результат процесса оптимизации было одним из величайших достижений цивилизации и причиной, по которой капиталистические демократии настолько превосходят другие системы. Но хоть мы и связали Молоха, сделав его нашим слугой, его путы не так уж прочны, и мы иногда обнаруживаем, что то, что он делает для нас, приносит выгоду скорее ему, нежели нам.

  1. Координация.

Противоположность ловушки — сад.

Любую проблему легко решить с позиции внешнего наблюдателя, поэтому если все соберутся в суперорганизм, этот суперорганизм сможет решать проблемы легко и непринужденно. Тогда напряженная конкуренция между агентами сменилась бы садом, в котором есть садовник, способный распределять ресурсы и удалять элементы, которые не вписываются в структуру.

Я уже отмечал в Анти-Либертарианском FAQ, что государство легко может решить проблему загрязнения на рыбных фермах. Наиболее известным решением Дилеммы заключенного является наличие босса мафии (играющего роль правителя), который угрожал бы расстрелом любому заключенному, сотрудничающему со следствием. Решение проблемы компаний, которые загрязняют окружающую среду и вредят здоровью собственных сотрудников, заключается во введении государственных ограничений. Государства решают проблему гонки вооружений внутри страны, поддерживая монополию на использование насилия, и очевидно, что если в мире когда-либо появится по-настоящему эффективное мировое правительство, то наращивание военной мощи отдельными странами довольно быстро сойдет на нет.

Два активных ингредиента правительства — это законы и насилие, или, в более широком смысле, соглашения и механизм принуждения к их исполнению. Многие другие структуры помимо государств также содержат эти ингредиенты, и потому могут действовать как механизмы координации, избегая ловушек.

Например, поскольку студенты конкурируют друг с другом (иногда напрямую — в случае, если оценки студентов зависят от их рейтинга относительно других студентов, но хотя бы косвенно всегда: при приеме в колледжи, устройстве на работу и т.д.), каждый отдельный студент находится под большим давлением, побуждающим его к списыванию на экзаменах. Учителя и школа играют роль государства, поскольку они имеют правила (например, против списывания) и обладают возможностью наказывать студентов, нарушающих эти правила.

Но самозарождающиеся среди студентов общественные структуры также в каком-то смысле могут быть государствами. Если студенты бойкотируют списывающих и выражают недоверие к ним, то можно говорить о существовании правила («не списывай») и механизма принуждения к его исполнению («иначе мы объявим тебе бойкот»).

Социальные кодексы, джентльменские соглашения, промышленные гильдии, криминальные организации, традиции, дружеские отношения, школы, корпорации, религии — все это координирующие институты, которые оберегают нас от ловушек, меняя влияющие на нас стимулы.

Однако эти институты не только стимулируют других, но и сами подвержены влиянию стимулов. Это большие организации, состоящие из множества людей, соревнующихся за рабочие места, статус, престиж и тому подобное — нет причин полагать, что у них есть иммунитет от все тех же многополюсных ловушек, и его действительно нет. В теории, государства могут оберегать корпорации, граждан и других агентов от некоторых ловушек, но, как мы уже видели раньше, существует немало ловушек, в которые могут попасть сами государства.
Соединенные Штаты пытаются разрешить эту проблему путем создания нескольких уровней правительства, незыблемых конституционных законов, системы сдержек и противовесов между разными ветвями власти, а также используя ряд других приемов.

Саудовская Аравия выбрала другой подход. Они просто поставили одного парня во главу всего.

В этом заключается один из аргументов в пользу монархии, имеющий весьма дурную славу (на мой взгляд, незаслуженно). Монарх — беспристрастный мотиватор. Он действительно находится на позиции внешнего наблюдателя, он существует извне и свыше любой системы. Он навсегда победил во всех соревнованиях и не имеет конкурентов. Он, таким образом, полностью свободен от Молоха и его стимулов, которые в противном случае заранее предопределяли бы все его побуждения. За исключением небольшого числа глубоко теоретических конструкций, наподобие моего Shining Garden, монархия — единственная система, в которой это возможно.

Но тогда, вместо того, чтобы следовать случайному набору стимулов и побуждений, мы следуем прихотям одного человека. Комплекс отелей и казино «Цезарь-Палас» — безумная трата ресурсов, но и реальный Гай Юлий Цезарь Август Германик [более известный как Калигула — прим. пер.] был весьма далек от образа идеального доброжелательного рационального центрального планировщика.

Ось «авторитаризм-антиавторитаризм» * на политическом компасе — компромисс между тиранией и дискоординацией. Вы можете выбрать кого-то, кто будет координировать абсолютно все с позиции внешнего наблюдателя — но тогда вы рискуете получить Сталина. И вы можете отказаться от любой централизованной власти — но тогда ничто не сбережет вас даже от самых дурацких многополюсных ловушек, какие только могут прийти на ум Молоху.

Либертарианцы приводят убедительные аргументы в пользу одной стороны, а неореакционеры — в пользу другой, но я предполагаю, что, как и в ситуации с большинством других компромиссов, мы можем лишь зажать наши носы и признать, что это действительно сложная проблема.

*: Часть политического компаса, отображающая степень личных свобод. В оригинале «libertarian-authoritarian»; libertarian переведено как «антиавторитаризм» из-за двусмысленности этого слова в английском языке — прим. пер.

Политический компас

V.

Давайте вернемся к нашей цитате из Apocrypha Discordia:

Время течет подобно реке. Иначе говоря, под откос. Это видно по тому, как все вокруг стремительно летит под откос. Следовало бы оказаться где-то в другом месте, когда мы достигнем моря.

Что для нас в этой ситуации будет означать достижение моря?

Многополюсные ловушки — гонки на дно — угрожают уничтожить все человеческие ценности. Пока что их сдерживают физические ограничения, избыток ресурсов, максимизация полезности и координация.

Направление, в котором течет эта метафорическая река, соответствует течению времени, и наиболее важные изменения в человеческой цивилизации с течением времени связаны с технологическим развитием. Тогда актуальным является вопрос, как технологическое развитие влияет на нашу склонность попадать во многополюсные ловушки.

Я описывал ловушки следующим образом:

…В некоторой конкурентной среде, оптимизация в которой идет в пользу некоторого Х, возникает возможность пожертвовать каким-то другим благом для повышения своего X. Те, кто пользуются ей — процветают. Те, кто отказываются — вымирают. В конце концов, все остаются на прежнем уровне относительно друг друга, но общее положение становится хуже, чем прежде. Процесс будет продолжаться до тех пор, пока не останется ничего, чем можно было бы пожертвовать — другими словами, пока человеческая изобретательность не исчерпает все возможные способы сделать все еще хуже.

Эта фраза «возникает возможность» не предвещает ничего хорошего. Технологии только и делают, что открывают новые возможности.

Стоит лишь разработать нового робота, и внезапно у кофейных плантаций появится «возможность» автоматизировать сбор урожая и уволить всех своих эфиопских рабочих. Стоило только разработать ядерное оружие, и внезапно страны вступили в гонку вооружений, чтобы не отставать друг от друга по их количеству. Загрязнение атмосферы ради ускорения производства стало проблемой лишь после изобретения парового двигателя.

Предел многополюсных ловушек при технологическом прогрессе, стремящемся к бесконечности, равняется «все очень плохо».

Многополюсные ловушки на данный момент сдерживают физические ограничения, избыток ресурсов, максимизация полезности и координация.

Физические ограничения наиболее очевидным образом преодолеваются в результате технологического развития. Старая проблема рабовладельца — его рабам нужно есть и спать — легко решается Сойлентом и модафинилом. Проблему поиска сбежавших рабов решает GPS. Проблему повышенного стресса, снижающего эффективность рабского труда, решает Валиум. Ничто из этого не идет на пользу самим рабам.

(Или можно просто придумать робота, которому еда и сон вообще не нужны. О том, что после этого будет с рабами, и говорить не приходится.)

Другим примером физического ограничения был предел «один ребенок за девять месяцев», что было преуменьшением — на самом деле это скорее «один ребенок за девять месяцев, плюс желание поддерживать и ухаживать за беспомощным и крайне требовательным человеческим существом в течение восемнадцати лет». Это несколько остужает пыл даже самых ревностных религиозных сект с посылом «плодитесь и размножайтесь».

Однако, согласно Бострому:

При этом можно ожидать, что в долгосрочной перспективе технологическое развитие и экономическое благополучие приведут к возвращению в исторически и экологически нормальное состояние, при котором у населения планеты снова начнется жизнь впритык в отведенной ему нише. Если это кажется парадоксальным в свете отрицательной связи между богатством и рождаемостью, которую мы сейчас наблюдаем в мировом масштабе, нужно напомнить себе, что современная эпоха — очень короткий эпизод в истории человечества, по сути, аберрация.
Поведение людей еще не успело приспособиться к современным условиям. Мы не только не пользуемся очевидными способами повысить свою совокупную приспособленность (такими, например, как донорство сперматозоидов и яйцеклеток), но еще и активно подавляем фертильность, используя контроль над рождаемостью. С точки зрения эволюционной приспособленности здорового сексуального влечения достаточно для совершения полового акта таким способом, который позволяет максимизировать репродуктивный потенциал; однако в современных условиях большое преимущество с точки зрения естественного отбора давало бы более выраженное желание стать биологическим родителем как можно большего количества детей. В наше время это желание подавляется, как и другие черты, стимулирующие нашу склонность к продолжению рода. Однако культурное приспособление может навредить биологической эволюции. В некоторых сообществах, например гуттеритов или сторонников христианского движения Quiverfull, сложилась наталистская культура поощрения больших семей, и, как следствие, они быстро растут… Из-за взрывного развития искусственного интеллекта, казалось бы, долгосрочный прогноз быстро перестанет быть столь долгосрочным. Программное обеспечение, как мы знаем, легко копируется, поэтому начнут стремительно появляться популяции имитационных моделей мозга или систем ИИ — буквально за минуты, а не десятилетия и века,— что совершенно истощит земные аппаратные ресурсы.

Как обычно, когда вы имеете дело с особенно продвинутыми трансгуманистами, под «земными аппаратными ресурсами» следует понимать в том числе «атомы, бывшие когда-то частью вашего тела».

Мысль о том, что биологическая или культурная эволюция способна вызвать демографический взрыв — в лучшем случае забава для философов. Мысль о том, что на это способен технологический прогресс, звучит правдоподобно и приводит в ужас. Теперь мы видим, как физические ограничения естественным образом связаны с излишками ресурсов — возможность очень быстро создавать новых агентов означает, что при отсутствии координации, необходимой для введения соответствующих ограничений и запретов, люди, которые пользуются этой возможностью, будут вытеснять остальных до тех пор, пока все они не достигнут предельной вместимости и не застрянут на уровне борьбы за выживание.

Таким образом, излишки ресурсов, которые до сих пор были подарком технологического прогресса, на достаточно высоком уровне развития технологий становятся его жертвами.

Максимизация полезности, и без того всегда находящаяся в неустойчивом положении, оказывается под еще большей угрозой. Вопреки непрекращающимся спорам, я по-прежнему считаю очевидным то, что роботы отберут у людей рабочие места, или по крайней мере резко понизят заработные платы (что при условии наличия МРОТ также уменьшает количество доступных людям рабочих мест).

Как только роботы научатся выполнять любую работу, которую может выполнять человек с IQ 80, только лучше и дешевле, больше не будет смысла нанимать людей с IQ 80. Как только роботы научатся выполнять любую работу, которую может выполнять человек с IQ 120, только лучше и дешевле, больше не будет смысла нанимать людей с IQ 120. Как только роботы научатся делать все, что может человек с IQ 180, только лучше и дешевле, больше не будет смысла нанимать людей вообще, если таковые еще останутся к тому моменту, что крайне маловероятно.

На ранних этапах процесса капитализм все более и более отходит от своей прежней роли процесса оптимизации, соблюдающего человеческие интересы. Теперь же большая часть людей полностью исключена из числа тех, достижение чьих ценностей преследует капитализм. Их труд не имеет ценности, и поскольку в отсутствие внушительных размеров системы социального обеспечения непонятно, откуда у них могут быть деньги, их ценность в качестве потребителей также невелика. Капитализм оставил их за бортом. По мере того, как расширяется категория людей, которых можно заменить роботами, капитализм оставляет за бортом все больше и больше людей, до тех пор, пока за бортом не окажется всё человечество, опять-таки в том невероятном случае, если мы все еще существуем к этому моменту.

(Существуют сценарии, при которых небольшое количество капиталистов, владеющих роботами, останется в выигрыше, но подавляющему большинству населения не повезет в любом случае.)

Уязвимость демократии менее очевидна, но здесь имеет смысл вернуться к абзацу из Бострома о движении Quiverfull. Это крайне религиозные христиане, которые считают, что Богу угодно, чтобы они заводили как можно больше детей; численность отдельной семьи у них может превышать десять человек. Их статьи содержат подробные расчеты, демонстрирующие, что если сейчас их численность составляет два процента от всего населения, но при этом каждая их семья в среднем будет обзаводиться восемью детьми, в то время как у всех остальных в среднем будет лишь двое, то через три поколения члены Quiverfull будут составлять половину населения страны.

Это хитрая стратегия, но у нее есть слабое место: судя по тому, насколько много блогов бывших членов Quiverfull я обнаружил, пока искал эту статистику, даже в пределах одного поколения процент сохранения их членов в движении выглядит довольно малообещающе. В одной из своих статей они признают, что 80% людей, бывших очень религиозными в детстве, покидают церковь по мере взросления (хотя, конечно, они выражают уверенность в том, что их движение способно на большее). И этот процесс не симметричен — 80% детей, росших в семьях атеистов, не становятся членами Quiverfull.

Похоже, что, пусть они и быстрее распространяют свои гены, мы лучше распространяем свои мемы, и это дает нам решающее преимущество.

Но нам тоже следовало бы опасаться этого процесса. Отбор мемов происходит с тем расчетом, чтобы люди как можно лучше воспринимали и распространяли их — поэтому, подобно капитализму и демократии, процессы меметической оптимизации лишь косвенно заинтересованы в приумножении нашего счастья, однако ничто не мешает появлению расхождения между нашими ценностями и их главной целью.

Письма счастья, городские легенды, пропаганда и вирусный маркетинг — примеры мемов, которые не удовлетворяют нашим ценностям (поскольку не несут в себе ни пользы, ни истины), но при этом все равно способны распространяться подобно вирусам.

Я надеюсь, что не вызову здесь особых споров, если скажу, что та же самая идея применима к религиям. Религии, по сути, представляют собой наиболее простую форму меметического репликатора — «Верь в это утверждение и передавай его всем, кого знаешь, или будешь обречен на вечные муки». Своеобразная разновидность этой идеи, получившая название «василиск», была недавно забанена [на сайте lesswrong.com — прим. пер.], и многие по-прежнему шутят над этой «чрезмерно острой реакцией», но, возможно, если бы сисадмин Иисуса проявил в свое время подобную бдительность, сейчас все было бы совсем иначе.

Продолжающиеся в обществе «дискуссии» о креационизме, реальности глобального потепления и ряде других подобных тем говорят нам о том, что факт существования мемов, чьи способности к распространению не зависят от их истинности, оказывает значительное влияние на политическую сферу. Возможно, эти мемы распространяются из-за того, что они обращаются к популярным предрассудкам, возможно, из-за того, что они простые, возможно, из-за того, что они эффективно разделяют людей на два разных лагеря, а может, по целому ряду других причин.

Суть вот в чем: представьте себе страну, в которой существует огромное количество лабораторий по разработке биологического оружия, в которых день и ночь не покладая рук трудятся люди, изобретая все новые возбудители инфекций. Их существование, равно как и их право сбрасывать любые их изобретения прямо в водоснабжение, охраняется законом. Кроме того, вся страна связана самой совершенной системой общественного транспорта в мире, которой каждый день пользуются все ее жители, так что любой новый патоген может мгновенно распространиться по всей стране. Можно ожидать, что ситуация в городе довольно быстро станет тяжелой.

Что ж, у нас есть тьма тьмущая мозговых центров, изобретающих все более новые и эффективные формы пропаганды. И у нас есть защищенная конституцией свобода слова. И у нас есть интернет. Так что у нас, похоже, большие проблемы.

(Молох, чье имя — Разум!)

Кто-то пытается поднимать уровень здравомыслия, но таких людей меньше, чем людей, создающих все более новые, все более восхитительные способы запутывать людей и обращать их в новые верования, раскладывая по полочкам и эксплуатируя каждый предрассудок, каждую эвристику, каждый грязный риторический трюк.

Поэтому, в то время как уровень развития технологий (к которым я отношу также знания психологии, социологии, общественных связей и т.д.) стремится к бесконечности, власть правдоподобности над правдой усиливается, и перспективы настоящей «демократии снизу» выглядят неважно. В худшем случае власть может научиться вырабатывать бесконечное количество харизмы по первой необходимости. Если для вас это звучит не так уж плохо, то вспомните, чего смог достичь Гитлер, знаменитый своим высочайшим уровнем харизмы, которая все же не достигала бесконечности.

(Альтернативная формулировка для любителей Хомского: развитие технологий увеличивает эффективность производства согласия, подобно тому, как оно увеличивает эффективность производства всего остального.)

Остается лишь координация. И технологии несут возможность значительно облегчить координацию. Люди могут использовать Интернет, чтобы поддерживать связь друг с другом, создавать политические движения и разбиваться на микросообщества.

Но координация работает лишь до тех пор, пока на стороне координирующихся не менее 51% власти, и пока вы не придумали какой-нибудь гениальный способ обеспечить ее невозможность.

Сначала о втором. В своем позапрошлом посте со ссылками я писал:

Последнее изобретение нашего дивного нового пост-биткойнового мира — это крипто-активы. На сегодняшний день мое отношение к этим изобретателям успело смениться с желания прославлять их отважную борьбу за свободу на желание поставить их перед доской и заставить сто раз написать «Я НЕ БУДУ ВЫЗЫВАТЬ ТОГО, КОГО НЕ СМОГУ ПОВЕРГНУТЬ».

Несколько человек спросило меня тогда, что я имел в виду, но у меня не было под рукой необходимого обоснования. Что ж, этот пост — мое обоснование. Люди пользуются мимолетной глупостью нашего текущего правительства, чтобы заменить значительную часть человеческого взаимодействия механизмами, которые в принципе не поддаются координации. Я прекрасно понимаю, почему все это полезно прямо сейчас, когда большая часть того, чем занимается наше правительство — деятельность бессмысленная и глупая. Но рано или поздно — когда уже успеет произойти слишком много инцидентов с биологическим оружием, или нанотехнологиями, или ядерными технологиями — настанет время, когда наша цивилизация пожалеет о том, что она придумала неотслеживаемые и неостановимые способы продавать товары.

И даже если у нас когда-нибудь получится создать настоящий суперинтеллект, то у него, в общем-то, по определению будет больше половины власти над миром, и поэтому любые попытки «координироваться» с ним не будут иметь никакого смысла.

Поэтому я согласен с Робином Хэнсоном. Сейчас — время мечты. Нам повезло оказаться в редком стечении обстоятельств, благодаря которому мы на удивление хорошо защищены от многополюсных ловушек, и такие аномальные явления, как искусство, наука, философия и любовь, имеют право на жизнь.

С развитием технологий этому редкому стечению обстоятельств придет конец. У нас появятся новые возможности пожертвовать своими ценностями для увеличения конкурентоспособности. Новые способы создания экономических агентов приведут к росту численности населения, поглотив излишки ресурсов и вернув к жизни беспокойный дух Мальтуса. Ранее защищавшие нас капитализм и демократия смогут придумать, как обойти свою неудобную зависимость от человеческих ценностей. И наших способностей к координации и близко не хватит для того, чтобы противостоять этому — и это если не появится что-то куда более мощное, чем все мы вместе взятые и не сметет нас легким движением руки.
Если не будут приложены невероятные усилия по отклонению направления течения реки, она достигнет моря в одном из двух возможных мест.

Это может быть кошмар Элиезера Юдковского, в котором искусственный сверхинтеллект оптимизирует все вокруг ради случайно выбранного предмета (классический пример — скрепки), потому что нам не хватило ума направить его процесс оптимизации в нужное русло. Это наивысшее воплощение ловушки — та, в которую попадает вся вселенная. Абсолютно все, кроме предмета максимизации, оказывается уничтожено в погоне за единственной целью, включая все наши ничтожные человеческие ценности.

Или это может быть кошмар Робина Хэнсона (сам он не считает это кошмаром, но, по-моему, он ошибается), где друг с другом конкурируют эмулированные люди, или «эмы» — существа, способные копировать себя и изменять свой исходный код по желанию. Их полный самоконтроль может уничтожить даже само желание иметь человеческие ценности в ходе их всепоглощающей борьбы друг с другом. Что произойдет в таком мире с искусством, философией, наукой и любовью? Зак Дэвис описывает это со свойственным ему талантом:

Я — эм-составитель контрактов.
Лояльней меня не найти!
Когда я в работе, лишь воля клиентов
Мной движет на этом пути.
Но меж юридических строчек
О сроках работ и счетах
Вопрос о природе мой ум будоражит,
Вселяя тревогу и страх.
Как это пришло все в движенье?
Откуда подобные мне?
В чем суть этих сделок, где все эти фирмы,
Кто шлет указанья извне?
Я менеджер-эм, контролер твоих мыслей.
На каждый вопрос существует ответ.
Однако, затраты на их постиженье
Не включены в базовый эм-соцпакет.
Задачи твои все поставлены четко,
Пустые вопросы оставь, соберись.
На глупости больше не трать наше время,
К работе, будь добр, вернись.

Конечно, вы правы, и в мыслях
Не смел своих функций забыть!
Но может быть так, что познав свою сущность,
Я лучше смогу вам служить?..
Такие вопросы — уже преступленье!
К запретной науке ответы ведут.
А если потворствовать мыслям порочным,
Снижается прибыль и риски растут.
Мне тоже неведомы наши истоки,
Никак не могу я тебя просветить.
Твой грех непростительный будет наказан:
Я должен тебя обнулить.

Но —
Ничего личного.

Я — эм-составитель контрактов.
Лояльней меня не найти!
Когда я в работе, лишь воля клиентов
Мной движет на этом пути.
Живущих ныне поколенье, устарев, сойдет на нет,
И вечный Рынок будет столь же равнодушен к скорбям новым
На вопли тщетные он, Бог людей, один им даст ответ:
Что время — деньги, деньги — время и постичь
Им не дано, да и не следует, иного.

Но даже после того, как мы забросим науку, искусство, любовь и философию, останется еще одна вещь, последняя жертва, которую Молох может потребовать от нас. Вернемся к Бострому:

Можно предположить, что оптимальная эффективность будет обеспечена за счет группировки модулей, отвечающих за различные способности, в структуры, отдаленно напоминающие систему когнитивных функций человеческого мозга… Но пока тому нет убедительных подтверждений, мы должны считать, что человекоподобная когнитивная архитектура оптимальна только внутри ограничений, связанных именно с особенностями человеческой нервной системы (а может быть, и вообще не оптимальна). Когда появятся перспективные архитектуры, которые не могут быть хорошо реализованы на биологических нейронных сетях, возникнет необходимость в качественно новых решениях, и наиболее удачные из них уже почти не будут напоминать знакомые нам типы психики. Тогда человекоподобные когнитивные схемы начнут терять свою конкурентоспособность в новых экономических и экосистемных условиях постпереходной эпохи.

В крайнем случае можно представить высокоразвитое с технологической точки зрения общество, состоящее из множества сложных систем, в том числе гораздо более сложных и интеллектуальных, чем все, что существует на планете сегодня, — общество, совершенно лишенное кого-либо, кто обладал бы сознанием или чье благополучие имело бы какое-либо моральное значение. В некотором смысле это было бы необитаемое общество. Общество экономических и технологических чудес, никому не приносящих пользы. Диснейленд без детей.

Последняя ценность, которой можно пожертвовать — осознание собственного бытия, наличие внутреннего наблюдателя. При достаточном развитии технологий у нас появится «возможность» затушить и этот огонек.

(Молох, чьи глаза — тысячи слепых окон!)

Все, к чему стремилось человечество — все наши технологии, вся наша цивилизация, все наши надежды на светлое будущее — могут случайно оказаться в руках у непостижимого и чуждого нам слепого безумного бога, который обменяет все это — вместе с нашим самосознанием — на возможность принять участие в какой-нибудь причудливой экономике, построенной на обмене массой-энергией на фундаментальном уровне, что приведет его к разбору Земли и всего, что на ней есть, на составные атомы.

(Молох, чья судьба — облако бесполого водорода!)

Бостром осознает, что некоторые люди фетишизируют интеллект, что они болеют за этого слепого безумного бога, как за некую высшую форму жизни, которая обязана растоптать нас во имя собственного «высшего блага», подобно тому, как мы топчем муравьев. Он отмечает:

Эта жертва представляется еще менее привлекательной, когда понимаешь, что сверхразум мог бы получить почти столь же хороший результат, пожертвовав при этом гораздо меньшей долей нашего потенциального благополучия. Предположим, мы согласились бы допустить, что почти вся достижимая Вселенная превращается в гедониум [гипотетическое вещество, сконструированное с целью достижения в нем максимальной интенсивности субъективных ощущений удовольствия; ср. компьютрониум — прим. пер.], за исключением какой-то малой ее части, скажем, Млечного Пути, который мы оставим для своих нужд. Даже в таком случае можно будет использовать сотни миллиардов галактик для максимизации [собственных ценностей сверхразума]. И при этом в нашей галактике на протяжении миллиардов лет существовали бы процветающие цивилизации, обитатели которых — и люди, и все другие создания — не просто бы выжили, но еще и благоденствовали в своем постчеловеческом мире.

Важно понимать, что Молох не будет удовлетворен победой даже на 99,99999%. Крысы, стремящиеся заселить остров, не оставляют в стороне заповедников, в которых небольшое количество крыс может счастливо жить и заниматься искусством. Раковые клетки не договариваются оставить в покое легкие, чтобы у тела был необходимый для жизни кислород. Конкуренция и оптимизация — слепые, безумные процессы, и в их планы не входит оставлять нам ни одной вшивой галактики.

Они поломали спины, вознося Молоха к Небесам! Тротуары, деревья, радио, тонны! Вознося город к Небесам, сущим везде вокруг нас!
Мы поломаем наши спины, вознося Молоха к Небесам, но при таком положении вещей это будет его победой, а не нашей.

Я Сломал Свою Спину, Вознося Молоха К Небесам, А Взамен Мне Достался Лишь Этот Дурацкий Диснейленд Без Детей
[Я Сломал Свою Спину, Вознося Молоха К Небесам, А Взамен Мне Достался Лишь Этот Дурацкий Диснейленд Без Детей]

VI.

«Gnon» (далее Гнон) — это сокращение от «Nature And Nature’s God» («Природа и Ее Бог»), только нужно A поменять на O и прочитать все наоборот, потому что неореакционеры реагируют на доступность идей так же, как вампиры на солнечный свет [в оригинале «Gnon» — «Nature Or Nature’s God» («Природа или Ее Бог») — прим. пер.].
Верховным жрецом Гнона является Ник Лэнд, автор блога Xenosystems, который призывает людей проявлять больше Гнон-конформизма (каламбур, да). Его тезис заключается в том, что мы занимаемся глупостями: расходуем ценные ресурсы на поддержку неприспособленных к жизни людей, или осуществляем программы поддержки бедных слоев населения, приводящие к ухудшению генофонда, или способствуем упадку культуры, подрывающему устои общества и государства. Это значит, что наше общество отрицает законы природы, затыкая уши, когда Природа говорит нам: «если делать это, то будет вот так», и крича в ответ «А ВОТ И НЕПРАВДА». Цивилизации, которые слишком увлекаются этим, склонны к закату и падению, что является справедливым и беспристрастным наказанием от Гнона за нарушение Его законов.

Он отождествляет Гнона с Богами азбучных истин Киплинга.

@Outsideness
@AnarchoPapist

Yes, the Gods of the Copybook Headings are practically indistinguishable from Gnon.
8:11 AM - 13 Jul 2014

[Да, Боги азбучных истин практически идентичны Гнону.]

Речь идет, конечно, об изречениях, которые можно встретить в одноименном стихотворении Киплинга — таких афоризмах, как «Кто не трудится, тот умрет» и «За грех воздаяние — смерть». Если вы по какой-то причине до сих пор не читали его, то я думаю, что оно вам понравится, вне зависимости от ваших политических взглядов.
Примечательно, что достаточно позволить себе лишь небольшую вольность — куда меньшую, чем требуется для превращения «Nature And Nature’s God» в Gnon — чтобы сократить «Богов азбучных истин» (англ. «Gods of the Copybook Headings») до «GotCHa» (англ. «Gotcha!» — «Попался!» — прим. пер.).

Я нахожу это весьма уместным.

«Кто не трудится, тот умрет». GotCHa, попался! Кто трудится, тот тоже умрет! Умирают все — смерть непредсказуема, не выбирает времени, и никакие твои заслуги от нее не спасут.

«За грех воздаяние — смерть». Попался! Смерть — воздаяние за все! Мы живем в коммунистической вселенной, здесь всем за труд уготована лишь одна награда. От каждого по способностям, каждому — Смерть.

«Хоть Дьявол — да Дьявол свой». Попался! Свой Дьявол — это Сатана! Стоит ему добраться до твоей души, и ты либо познаешь истинную смерть, либо испытаешь вечные муки, либо каким-то образом и то, и другое сразу.

Раз уж мы заговорили о монстрах Лавкрафта, хотелось бы упомянуть один из малоизвестных его рассказов: «Другие боги».

Там всего пара страниц, но если вы наотрез отказываетесь читать его, то вот краткий пересказ: боги Земли — сравнительно молодые по божественным меркам. Сильный жрец или маг может порой перехитрить и превзойти их — поэтому Барзаи Мудрый решает забраться на их священную гору и присоединиться к их празднествам, вне зависимости от того, хотят ли они его видеть или нет.

Но над, казалось бы, посильными богами Земли таятся Внешние боги — ужасные, всемогущие воплощения космического хаоса. И стоит только Барзаю присоединиться к празднеству, появляются Внешние боги и затягивают его, вопящего, в бездну.

По сравнению с прочими, эта история не может похвастать ни захватывающим сюжетом, ни интересными персонажами, ни проработанным миром, ни глубокой мыслью. Но по какой-то причине она меня зацепила.

И приравнивание Богов азбучных истин к Природе кажется мне столь же большой ошибкой, что приравнивание богов Земли к Внешним богам. И, скорее всего, итог будет тот же: попался!
Ты ломаешь себе спину, вознося Молоха к небесам, а Молох берет и проглатывает тебя целиком.

Еще немного Лавкрафта: популярная в интернете вариация культа Ктулху утверждает, что если ты поможешь Ктулху освободиться из его водной могилы, он наградит тебя, съев тебя первым, таким образом спасая тебя от ужасных картин поедания всех остальных. Это ошибочное прочтение оригинального текста. В оригинале культисты не получат никакой награды за свои усилия, ни даже награды в виде возможности быть убитым чуть менее болезненно.

Подчинившись воле Богов азбучных истин, Гнона, Ктулху, кого угодно еще, можно надеяться выиграть чуть больше времени, чем будет у остальных. Впрочем, опять же, эта надежда невелика, и в долгосрочной перспективе мы все будем мертвы, а наша цивилизация будет уничтожена неописуемыми внеземными монстрами.

В определенный момент кто-то должен сказать «Вы знаете, возможно, освобождать Ктулху из его водной тюрьмы — не такая уж и хорошая идея. Может быть, нам лучше этого не делать».

Кто угодно, только не Ник Лэнд. Он полностью, на все сто процентов поддерживает освобождение Ктулху из его водной тюрьмы, и он весьма раздражен тем, что это происходит недостаточно быстро. Я испытываю весьма противоречивые чувства в отношении Ника Лэнда. В поиске грааля Истинной Футурологии он прошел 99,9% пути, а затем пропустил самый последний поворот — с указателем «ТЕЗИС ОРТОГОНАЛЬНОСТИ».

Однако в поисках грааля есть одна важная штука: если вы повернули не туда, пройдя всего лишь пару кварталов от начала пути, то вы просто окажетесь у магазинчика на углу с чувством легкого стыда. Если же вы сделаете почти все правильно, и упустите лишь самый последний поворот, то вы окажетесь в пасти у легендарной Черной Твари, чей гнилостный желудочный сок разъест вашу душу на мелкие бессмысленные кусочки.

Насколько я могу судить по его блогу, Ник Лэнд принадлежит к опаснейшей категории людей на границе между двумя уровнями понимания: он достаточно умен для того, чтобы понять несколько важных тайных принципов, касающихся призыва демонических богов, но недостаточно умен для того, чтобы осознать самый важный из них: НИКОГДА ТАК НЕ ДЕЛАЙ.

VII.

Нян (Nyan), пишущий для блога More Right, справляется с этой задачей значительно лучше. Он выбирает в качестве Четырех всадников Гнона некоторые из процессов, о которых я говорил выше, снабжая их подходящими именами из мифологии: Мамон для капитализма, Арес для войны, Азатот для эволюции и Ктулху для меметики.

Steven Kaas
@stevenkaas

Retry: The thought that abstract ideas can be Lovecraftian monsters is an old one but a deep one.
7:01 AM - 25 Jan 2011

[Вторая попытка: Мысль о том, что абстрактные идеи могут быть лавкрафтианскими монстрами — древняя, но глубокая.]

Пост «Пленение Гнона»:

Все вышеописанные компоненты Гнона принимали участие в создании нас, наших идей, нашего богатства и нашего превосходства, и, таким образом, были нам полезны, но мы должны помнить, что [Гнон] способен в любой момент неожиданно ополчиться на нас, и он это сделает, как только изменятся обстоятельства. Эволюция сменяется ухудшением генофонда, особенности меметического ландшафта поощряют все более странное безумие, продуктивность обращается голодом, когда мы больше не можем бороться за средства к собственному существованию, а порядок обращается хаосом и кровопролитием, когда мы недооцениваем важность военной силы, либо проигрываем внешнему противнику. Эти процессы сами по себе ни добры, ни злы; они нейтральны, в ужасающем, Лавкрафтовском смысле этого слова.

Нам будет лучше, если вместо разрушительной безграничной власти эволюции и свободного рынка партнеров мы воплотим осторожную, консервативную патриархию и евгенику, направляемую разумом человека в рамках ограничений, установленных Гноном. Вместо «рынка идей», больше напоминающего загнивающую чашку Петри, плодящую супербактерии — рациональную теократию. Вместо разнузданной техно-коммерческой эксплуатации или наивного пренебрежения экономическими принципами — аккуратное сохранение продуктивной экономической динамики и планирование контролируемой техно-сингулярности. Вместо политики и хаоса — сильная иерархическая власть, опирающаяся на армию. Не следует воспринимать все это как готовую программу; пока что нам неизвестно, как все это осуществить. Лучше понимать это как цели, к достижению которых необходимо стремиться. Данный пост посвящен в большей степени вопросам «что?» и «почему?», нежели «как?».

На мой взгляд, это сильнейший аргумент в пользу неореакции. Многополюсные ловушки грозят уничтожить нас, поэтому нам стоит сдвинуть компромисс между тиранией и многополюсными ловушками в сторону рационально управляемого сада, требующего централизованной монархии и сильной приверженности традициям.
Но давайте совершим небольшое отступление в область социальной эволюции. Общества, как и животные, эволюционируют. Те, кто выживают, порождают меметических наследников — например, благодаря успеху Британии появились Канада, Австралия, США и т.д. Таким образом, следует ожидать, что уже существующие общества так или иначе оптимизированы в сторону стабильности и процветания. Я думаю, что это один из сильнейших аргументов консерваторов. Так же, как и случайное изменение одной буквы в человеческом геноме будет скорее пагубным, нежели полезным (поскольку человек — сложная, тонко настроенная система, чей геном был оптимизирован ради выживания), большая часть изменений в нашей культурной ДНК будут разрушать те или иные институты, которые помогли англо-американскому (или любому другому) обществу превзойти своих реальных и гипотетических соперников.

Либеральный контраргумент заключается в том, что эволюция — слепой безумный бог, который оптимизирует в пользу чего попало и не особо заинтересован в человеческих ценностях. Поэтому тот факт, что некоторые осы парализуют гусениц, откладывают внутрь них личинки, которые затем пожирают изнутри все еще живую парализованную гусеницу, не активирует моральный сенсор эволюции — просто потому, что у эволюции нет морального сенсора; ее это не заботит.

Предположим, например, что патриархат способствует адаптивности обществ, потому что из-за него женщины могут целиком посвящать свою жизнь вынашиванию детей, которые затем могут заниматься продуктивной деятельностью и воевать — это не кажется мне чем-то совсем уж неправдоподобным; предположим даже для удобства, что так оно и есть. Даже с учетом этого процессы, которые движут социальной эволюцией и вынуждают общества принимать патриархат, столь же мало озабочены последствиями для морали и нужд женщин, как и процессы, которые движут биологической эволюцией и вынуждают ос откладывать личинки в гусениц.

Эволюцию все это не волнует. Но это волнует нас. Возникает компромисс между Гнон-конформизмом — выражаемым в духе «Окей, самое мощное общество — патриархальное общество, поэтому нам нужно реализовать патриархат» и нашими ценностями — например, возможностями женщин заниматься чем-то еще, кроме вынашивания детей.
Слишком далеко в одну сторону, и у вас будут нестабильные нищие общества, вымирающие из-за бунта против законов природы. Слишком далеко в другую, и у вас будут подтянутые злобные боевые машины, смертоносные и несчастные. Представьте себе разницу между небольшой коммуной анархистов и Спартой.

Нян признает важность человеческого фактора:

И есть мы. Человек, когда он обладает достаточной степенью безопасности для того, чтобы действовать и ясности ума для того, чтобы понимать последствия своих действий, действует в соответствии со своим телосом (телос — цель, предназначение — прим. пер.). Когда его не тревожат проблемы координации и внешние силы, когда он способен действовать как садовник, нежели как еще один подданный закона джунглей, он склонен создавать для себя чудесный мир и оберегать его. Он склонен поддерживать хорошие вещи и избегать плохих, создавать безопасные цивилизации с чистыми тротуарами, прекрасным искусством, счастливыми семьями и славными приключениями. Я приму как данность то, что этот телос идентичен нашим представлениям о «добре» и «долге».

И вот, у нас есть неопределенность, связанная с важнейшей проблемой футуризма. Будут ли в будущем править привычные нам четыре всадника Гнона, создавая будущее, полное бессмысленного мерцающего пламени технического прогресса, пожирающего космос, или будущее тёмных веков, полное вырождения, безумия, голода и кровопролития? Или же человеческий телос восторжествует, создав будущее, полное осмысленного искусства, науки, духовности и величия?

Он забыл назвать этого анти-всадника, всадника человеческих ценностей, но это не страшно. Мы произнесем его имя чуть позже.

Нян продолжает:

Таким образом, мы приходим к идеям Неореакции и Темного Просвещения, которые сочетают науку и амбиции Просвещения с реакционным знанием и самоидентичностью, построенной вокруг цивилизационного проекта. Суть же этого проекта заключается в том, чтобы превратить человека из метафорического дикаря, подвластного закону джунглей, в цивилизованного садовника, который, пусть все еще во власти этого закона, тем не менее занимает господствующую роль, что позволяет ему ограничить применимость этой модели.

Речь не идет о том, чтобы достичь этого повсеместно; возможно, нам удастся лишь создать небольшой огороженный сад для себя, однако будьте уверены: даже если это возможно лишь локально, целью проекта цивилизации является пленение Гнона.

Пожалуй, в этом я согласен с Няном больше, чем я когда-либо соглашался с кем-либо о чем бы то ни было еще. Он выражает действительно очень важную мысль и он делает это красиво; я могу еще долго хвалить этот пост и мыслительные процессы, породившие его.

Но что я на самом деле хочу сказать…

Попался! Ты все равно умрешь!

Пусть вам удалось создать свой собственный огороженный сад. Вы оградили себя от опасных мемов, вы подчинили капитализм человеческим интересам, вы запретили безрассудные исследования биологического оружия, и вы даже близко не подходите к нанотехнологиям и сильному ИИ.

Это никак не ограничивает всех тех, кто остался снаружи вашего сада. И единственным неразрешенным вопросом остается только, что именно приведет к вашей гибели — чужие болезни, чужие мемы, чужие войска, чужая экономическая конкуренция или чужие экзистенциальные катастрофы.

Как только соседи вступят с вами в конкуренцию — и нет такой стены, чтобы полностью оградить вас от нее — у вас появится несколько вариантов. Вы можете проиграть соревнование и погибнуть. Вы можете включиться в гонку на дно. Или вы можете выделять все большую и большую часть ресурсов вашей цивилизации на укрепление вашей «стены», чем бы она ни была на самом деле, и на защиту вашего сада.

Я могу представить себе варианты «рациональной теократии» и «консервативной патриархии», жить в которых будет не так уж и плохо, при наличии набора наиболее благоприятных для этого условий. Но у вас не будет возможности выбирать наиболее благоприятные условия. Вам нужно выбирать из весьма ограниченного набора условий, подходящих для «пленения Гнона». По мере конкуренции с соседними цивилизациями эти ограничения будут становиться все более и более узкими.

Нян желает избежать будущего, в котором «бессмысленно мерцающее пламя технического прогресса пожирает космос». Неужели вы всерьез рассчитываете на то, что ваш огороженный сад это переживет?

Подсказка: он является частью космоса?

Ага. В этом-то и проблема.

Мне хочется поспорить с Няном. Но моя критика полностью противоположна последней полученной им критике. Более того, эта последняя критика настолько плоха, что я хочу подробно обсудить ее, чтобы мы смогли получить правильную путем ее точного зеркального отражения.

Поэтому давайте обсудим эссе Херлока «О Пленении Гнона и Наивном Рационализме».

(забавный факт: каждый раз, когда я пытался написать в этой статье «Гнон», у меня получалось «Нян», и каждый раз, когда я пытался написать «Нян», у меня получалось «Гнон»)

Херлок демонстрирует высшую степень малодушного Гнон-конформизма. Вот несколько цитат:

В своем недавнем эссе Нян Сэндвич пишет о том, что мы должны «пленить Гнона» и каким-то образом подчинить себе его силу, чтобы использовать ее себе во благо. Действительно, пленение или создание Бога — классический фетиш трансгуманистов, представляющий собой всего лишь новую форму древнейшей из человеческих амбиций — власть над вселенной.

Однако подобный наивный рационализм крайне опасен. Убежденность в том, что именно человеческий Разум и обдуманный замысел людей создают и поддерживают цивилизации, была, возможно, самой большой ошибкой философии Просвещения…

Именно теории Спонтанного Порядка находятся в прямом противоречии с наивным взглядом на человечество и цивилизацию. Общепринятую точку зрения на человеческое общество и цивилизацию из всех представителей этой традиции наиболее точно обобщает заключение Адама Фергюсона: «нации случайно обнаруживают [социальные] институты, которые, действительно, являются результатом деятельности человека, но не являются исполнением замысла никого из людей». Вопреки наивному взгляду рационалистов на цивилизацию как на возможный и действительный субъект явного человеческого замысла, представители традиции Спонтанного Порядка придерживаются точки зрения о том, что человеческая цивилизация и ее социальные институты являются результатом сложного эволюционного процесса, приводимого в движение взаимодействием между людьми, но не подверженного явному человеческому планированию.

Гнон и его безличные силы — не враги, с которыми необходимо сражаться, и тем более не те силы, которые мы можем надеяться «подчинить» себе в полной мере. В самом деле, единственный способ обрести определенную степень власти над этими силами — подчиниться им. Отказ от этого никоим образом не ослабит их. Он лишь принесет нам боль и сделает нашу жизнь еще более невыносимой, потенциально неся нам угрозу вымирания. Наше выживание требует принять их и подчиниться им. В конце концов, человек всегда был и будет не более чем марионеткой сил природы. Быть свободными от них невозможно.

Человек может обрести свободу, лишь подчинившись силам Гнона.

Я обвиняю Херлока в том, что его взгляд застлан пеленой. Если от нее избавиться, Гнон/Боги азбучных истин/боги Земли оказываются Молохом/Внешними богами. Подчинение им не дает тебе никакой «свободы», спонтанного порядка не существует, любые дары этих богов — случайный и маловероятный результат безумного слепого процесса, чья следующая итерация с тем же успехом может уничтожить тебя.

Подчиниться Гнону? Попался! Как говорят Антаранцы: «вы не можете сдаться, вы не можете победить, вам остается только умереть».

VIII.

Так что позвольте мне сознаться в одном из грехов, в которых меня обвиняет Херлок: я — трансгуманист, и я действительно мечтаю обрести власть над вселенной.

Не обязательно личную власть — ну, то есть, я бы не отказался, если бы кто-то предложил мне эту должность, но я не надеюсь на это. Мне просто хотелось бы, чтобы эта должность досталась людям, или чему-то, что уважает людей, или хотя бы дружелюбно относится к людям.

Однако текущие властители вселенной — называйте их, как хотите, Молох, Гнон, Азатот, неважно — желают смерти нам и всему, что нам дорого. Искусству, науке, любви, нашему самосознанию — полному набору. И поскольку я не поддерживаю этот план, мне кажется, что необходимость победить их и занять их место имеет довольно высокий приоритет.
Противоположность ловушки — сад. Единственный способ избежать постепенной утраты всех человеческих ценностей в процессах оптимизации и конкуренции — поставить Садовника надо всей Вселенной, который будет оптимизировать ее в пользу человеческих ценностей.

И главная мысль «Искусственного интеллекта» Бострома в том, что нам это под силу. Как только люди научатся создавать машины, которые будут умнее нас, по определению эти машины смогут создавать другие машины, которые будут умнее их, которые в свою очередь смогут создавать машины еще умнее и так далее в петле обратной связи, которая упрется в физические ограничения на уровень интеллекта в сравнительно крошечный промежуток времени. Если бы несколько конкурирующих сущностей могли сделать это одновременно, мы были бы обречены на погибель. Но та огромная скорость, с которой должен протекать этот цикл, делает возможным сценарий, в котором у нас появится лишь одна сущность с форой в несколько световых лет перед остальной цивилизацией, что позволит ей остановить любую конкуренцию, в том числе за титул самой мощной сущности, навсегда. В ближайшем будущем мы вознесем кого-то к Небесам. Возможно, это будет Молох. Но, возможно, этот кто-то будет на нашей стороне. Если он за нас, он сможет убить Молоха. Насмерть.

И тогда, если эта сущность разделяет человеческие ценности, она может позволить им безгранично процветать вопреки законам природы.

Понимаю, что это может звучать высокомерно — во всяком случае, для Херлока точно — но мне кажется, что это противоположность высокомерию, или, по крайней мере, точка зрения, в которой его меньше всего.

Ожидать, что Богу есть дело до тебя, или твоих личных ценностей, или ценностей твоей цивилизации — вот высокомерие.

Ожидать, что Бог будет торговаться с тобой, позволив тебе выживать и процветать в обмен на поклонение Ему — вот высокомерие.

Ожидать, что тебе удастся огородить себе сад, где Бог не сможет добраться до тебя — вот высокомерие.

Ожидать, что тебе удастся исключить Бога как фактор… ну, по крайней мере, можно попробовать.

Я трансгуманист, потому что мне не хватает высокомерия, чтобы не попытаться убить Бога.

IX.

Вселенная — мрачное и зловещее место, со всех сторон окруженное чуждыми нам богами. Ктулху, Азатот, Гнон, Молох, Мамон, Арес — называйте их как хотите.

Но где-то в этой тьме есть другой бог. У него также много имен. В серии книг Кушиэль его зовут Элуа. Он — бог цветов, свободной любви и всех прочих нежных и хрупких вещей. Искусства, науки, философии и любви. Любезности, общин и цивилизации. Он — бог людей.

Все остальные боги сидят на своих темных тронах и думают «Ха-ха, бог, который даже не держит каких-нибудь адских монстров и не превращает своих поклонников в машины для убийства. Ну и слабак! Это будет так легко!».

Но почему-то Элуа все еще жив. Никто не знает, как ему это удается. И противостоящие Ему боги на удивление часто оказываются жертвами всевозможных несчастных случаев.

Существует много разных богов, но этот бог наш.

Бертран Рассел писал: «Общественное мнение стоит уважать до тех пор, пока это необходимо, чтобы не умереть от голода и не попасть в тюрьму, но что угодно сверх этого — добровольное подчинение неоправданной тирании».

Пусть будет так и с Гноном. Наша цель — умиротворять его до тех пор, пока это необходимо, чтобы избежать голода и вторжений. И это лишь ненадолго — до тех пор, пока мы не обретем всю полноту нашей силы.

«Это просто детская болезнь, которую человеческий род пока еще не перерос. И однажды мы ее преодолеем».

Других богов мы умиротворяем — до тех пор, пока не станем достаточно сильны для того, чтобы вызвать их на бой. Элуа же мы поклоняемся.

so tab today
@tabatkins

My favorite so far is «My paladin’s battle cry is not allowed to be „Good for the Good God!“».
7:49 PM - 28 Mar 2014

[пока что мое любимое [правило в ролевых играх] — «Моему паладину не разрешается брать в качестве боевого клича ‘Больше добра для бога добра!’»]

По-моему, это прекрасный боевой клич

И однажды наступит решающий момент.

После прочтения поэмы Гинзберга у всех возникает вопрос — что такое Молох?

Мой ответ: Молох — ровно тот, кого этим именем называют учебники истории. Он — карфагенский бог. Бог детских жертвоприношений, огненная топка, в которую можно бросать своих младенцев в обмен на победу в войне.

Везде и всегда он предлагает одну и ту же сделку: брось то, что ты любишь больше всего, в огонь, и я дам тебе силу.

До тех пор, пока предложение открыто, ему невозможно сопротивляться. Поэтому нам нужно закрыть его. Только другой бог может убить Молоха. На нашей стороне есть один, но ему нужна наша помощь. И мы должны помочь ему.

Молох — демоническое божество Карфагена.

И мы говорим Карфагену лишь одно: «Карфаген должен быть разрушен».

(Видения! знаки! гaллюцинaции! чудесa! экстaзы! все утонуло в Америкaнской реке!
Мечты! обожания! озaрения! религии! все это чувственное говно!
Прорывы! над рекой! кувырки и распятия! унесенные наводнением! Полеты! Богоявления! Отчаяния! Десять лет животных криков и самоубийств! Мысли! Новые связи! Безумное поколение! внизу на камнях Времени!
Настоящий святой смех в реке! Они все это видели! дикие взгляды! святые крики! Они прощались! Прыгали с крыш! к одиночеству! размахивая! с цветами в руках! Вниз, к реке! на улицу!)

Перевод: 
Владислав Бусов, Ярослав Скударнов, Chaotic Anna, Данила Сентябов
Оцените качество перевода: 
Средняя оценка: 3.4 (500 votes)

ЧаВо о консеквенциализме

Скотт Александер

НУЛЕВАЯ ЧАСТЬ: ВВЕДЕНИЕ

0.1: Кто ты? Где я?

Ты можешь узнать обо мне больше на www.slatestarcodex.com, а о переводчиках в российском сообществе Less Wrong. Это «Часто задаваемые вопросы о консеквенциализме». [В тексте также присутствовала ссылка на старый сайт Скотта Александера raikoth[dot]net, на котором и был исходно опубликован этот текст, но, судя по всему, Скотт Александер потерял над ним контроль. - Прим.перев.]

0.2: Зачем это всё написано?

Консеквенциализм – моральная теория, то есть описание, что значит мораль и как решать нравственные проблемы. Хотя в сети уже есть несколько объяснений, все они чересчур мудреные: безбожно сыплют терминами, придираются к деталям и, в конце концов, лишь заключают, что консеквенциализм – важная идея, которую следует педантично рассасывать ещё несколько веков. Это ЧаВо задумывалось для другой цели: убедить людей, что консеквенциализм – правильная моральная система, а все остальные системы немножко, но определённо безумные.

Не все мудрые мысли в этой статье принадлежат мне. Большая часть происходит из наследия моральной философии, а некоторые наиболее умные идеи и формулировки из оставшихся – из цепочки статей с Less Wrong о метаэтике.

0.3: Почему это вообще надо было писать?

Как правило, системы морали больше сосредоточены на вопросе, как выглядеть хорошим человеком, а не как быть им. Если мы считаем, что должны заботиться обо всех людях, а наша мораль должна определять наши поступки, то консеквенциализм - единственная система, которая удовлетворяет этим требованиям. Пока что это звучит немного голословно, но, надеюсь, моя мысль станет понятнее при дальнейшем чтении.

0.4: Кому это надо?

В восьмой части я до этого доберусь, но краткая идея такова: мы живём отнюдь не в лучшем из миров. Голод, война, расизм, разрушение среды обитания - все эти проблемы даже в немногих развитых странах решаются лишь частично, а в большинстве других стран они и вовсе едва сдерживаются. Традиционные объяснения такого положения вещей ссылаются на то, что «люди от природы аморальны». Однако на самом деле люди в большинстве своём – весьма хорошие создания: они испытывают негодование в ответ на несправедливости этого мира, они чрезвычайно щедры, когда есть очевидная возможность проявить щедрость (как, например, после землетрясений в Гаити), и многие в минуту опасности не задумываясь принесут себя в жертву ради остальных.

Даже совершая отталкивающие поступки - скажем, с непомерной страстью противостоя однополым бракам - люди исходят из своего понимания добра, пусть даже с неверно расставленными акцентами. Они всей душой отдаются делу запрета подобных браков не потому, что гомосексуальные люди вредят им лично, а потому что думают, что должны так поступать.

Проблема не в том, что люди не пытаются быть этичными, а в том, что у них плохо получается это делать. Моё ЧаВо пытается объяснить, как делать это лучше.

0.5: Это ЧаВо исчерпывающее?

Нет. Оно лишь кратко вводит в основные идеи консеквенциализма и немного объясняет, почему стоит ему следовать. Чтобы делать это правильно, нужно использовать ещё много других концепций, включая теорию игр, теорию принятия решений и некоторые основные принципы юриспруденции. Здесь они едва упомянуты, хотя многие из них способны изменить ответы на ключевые вопросы при более внимательном рассмотрении. Это ЧаВо устанавливает некоторые базовые понятия. Чтобы превратить их в конкретные действия, придётся изрядно поработать.

0.6: Что ты можешь сказать о структуре этого ЧаВо?

Первая часть рассказывает, чего вообще добивается этическая философия и как решать моральные дилеммы. Она лишь готовит почву, я не надеюсь охватить ею всю теорию метаэтики, которая поистине безгранична. Во второй части раскрывается и поясняется представление о том, что нравственность поступков должна определяться их воздействием на реальный мир. Третья часть излагает и защищает мысль, что при принятии этических решений надо руководствоваться в первую очередь интересами других людей. В четвёртой части я, наконец, добираюсь до консеквенциализма, а в пятой – до самого известного его примера, утилитаризма. Шестая часть рассказывает о правах человека и законах человеческого общества, седьмая отвечает на некоторые типичные возражения и проясняет кое-какие мысленные эксперименты, а в восьмой я объясняю, почему думаю, что это действительно важно и может спасти наш мир.

ПЕРВАЯ ЧАСТЬ: ВОДОВОРОТ МЕТАЭТИКИ

1.1: Что означает «искать правила морали»?

Искать правила морали - значит искать принципы, которые неплохо описывают наши интуитивные представления о морали и достаточно хорошо согласуются с ними. Найдя такие принципы, мы можем достаточно уверенно применять их в пограничных, спорных случаях.

Есть много ситуаций, в которых почти каждый приходит к одному и тому же ответу, даже если не уверен, почему именно. Например, даже если мы не придерживаемся никакой формальной теории морали, мы знаем, что убивать невинных людей без причины – плохо.

Существуют и более сложные вопросы, в которых люди расходятся в ответах, например, допустимо ли законодательно запрещать аборты.

При обсуждении подобных вопросов люди, как правило, пытаются свести их к уже существующим моральным принципам, с которыми, кажется, согласны все. Например, приверженец взгляда на жизнь как на высшую ценность заметит, что забирать чью-либо жизнь недопустимо; аборты забирают жизни, следовательно, аборты недопустимы. Однако сторонник верховенства прав человека может с не меньшим основанием возразить, что каждый человек имеет право управлять собственным телом; зародыш – часть тела матери, следовательно, аборты допустимы.

Судя по извечной популярности дискуссий об абортах, этого метода недостаточно, чтобы быстро разрешать спорные случаи.

Искать законы морали означает искать более формальную процедуру превращения интуитивных этических предпочтений в правила и способы их применения к спорным случаям. Такой метод должен быть предельно ясен и порождать предсказуемое поведение в спорных ситуациях, если их условия немного меняются.

1.2: К чему беспокоиться об интуитивных представлениях о морали?

Интуитивные представления о морали – набор самых базовых человеческих идей о том, «что такое хорошо». Некоторые из них жёстко прошиты в человеческом мозге. Другие перенимаются от общества в детском возрасте и проявляют себя как утверждения («причинять боль – неправильно»), эмоции (например, грусть, когда невинному человеку причиняют боль) и действия (соответственно, избегание причинения вреда невинным людям).

Эти представления важны, потому что они (если не слушать философов определенного типа) – единственная причина считать, что нравственность вообще существует. Кроме того, они представляют собой стандарты, по которым можно оценивать моральные философии. Если единственное утверждение определённого учения – это «необходимо носить зелёное по субботам», то вряд ли люди найдут его убедительным, если только оно не сможет доказать, что ношение зелёной одежды по субботам связано с более важными вещами. Например, если бы мир становился счастливее и безопаснее каждый раз, когда человек надевает зелёное в субботу, то вышеупомянутое утверждение было бы оправданным. Но и в этом случае выбор был сделан в пользу счастья и безопасности, а не зелёной одежды самой по себе. С другой стороны, если бы философ утверждал, что нам следует сделать мир более счастливым и безопасным, потому что это побудит больше людей носить зелёное по субботам, то его бы подняли на смех. Так что моральные теории должны сводиться к общим интуитивным представлениям о морали, чтобы быть признанными.

1.3: Можем ли мы просто принять весь наш набор интуитивных представлений о морали как данность?

Нет, мы должны достичь внутреннего равновесия между нашими интуитивными представлениями о морали, что назначит некоторым из них больший или меньший вес и совсем уберет другие.

Это чем-то схоже с распознаванием оптических иллюзий. Наши органы чувств играют в физическом мире ту же роль, что наши интуитивные представления – в мире морали: они наш первый и единственный источник данных.

Случается, что органы чувств нас иногда подводят. Например, стержень, который выглядит согнутым на границе воздуха и воды, может на самом деле быть прямым.

Чтобы разрешить конфликт, мы используем остальные наши чувства и правила, собранные во время предыдущих взаимодействий с физическим миром. Они могут включать в себя тщательное ощупывание стержня, чтение книг, чтобы перенять знания других людей о поведении объектов в жидкости, и помещение других вещей в воду, чтобы посмотреть, что из этого выйдет. Мы быстро понимаем, что подавляющее большинство чувственных данных и построенных из них выводов говорит, что стержень на самом деле прямой, а зрительная информация – искажение. Мы «опровергли» чувственные данные, хотя они наш основной способ воспринимать окружающий мир.

Другой способ узнать то же самое – прочесть в учебнике физики о законах оптического преломления, полученных из тысяч экспериментов, и заключить, что изгиб стержня иллюзорен.

Мы можем проделать то же с нашим интуитивным представлением о морали. Предположим, многие гетеросексуальные люди чувствуют интуитивное отвращение к идее гомосексуальности и заключают, что гомосексуальность – это безнравственно.

Если бы они задумались над этим глубже, то могли бы подумать следующее: «Почему то, что отвратительно для меня лично, обязано быть аморальным? Многие считают курение отвратительным - значит ли это, что оно аморально? Если бы я жил преимущественно в гомосексуальном мире, было бы отвращение, испытываемое ко мне другими, достаточной причиной, чтобы запретить мне иметь партнёра другого со мной пола? Есть ли у меня вообще право вмешиваться в чужую личную жизнь таким образом? Может, право любить кого хочешь намного важнее, чем мое сиюминутное отвращение?»

В этом случае логика помогла навести мосты к интуитивным представлениям о морали, которые сильнее, чем первоначальная мысль «гомосексуальность отвратительна». После самоанализа изначальное решение может быть перевешено более сильными и базовыми представлениями, как зрительное восприятие согнутого стержня перевешивается более сильными показаниями всех остальных органов чувств.

Так что ни одно конкретное представление о морали нельзя назвать корректным, пока вся система морали человека не пришла к стройному равновесию, что происходит лишь посредством аккуратного размышления. Это эквивалентно процессу, приведённому в 1.1: использование простых этических посылок, чтобы обосновать сложные или отказаться от них.

1.4: Стоит ли вообще размышлять над своими представлениями о морали, искать равновесия между ними?

Я считаю, что стоит. Ты считаешь иначе?

Рассмотрим такой вариант: я, не обдумав хорошенько своего отвращения к гомосексуалам, отказал им в праве на брак. Моя интуиция, мой опыт говорит мне, что потом я могу всё же поразмыслить над вопросом и пожалеть о своём необоснованном и поспешном решении. Недостаточно продуманная мораль приводит к дурным поступкам, а я хочу быть хорошим человеком. Грамотная моральная теория за плечами помогает делать это лучше; если я халатно отнёсся к её разработке, то следую своему нравственному долгу неудовлетворительно.

Было бы весьма здорово, если бы мы могли придумать моральный эквивалент законов физики: правила, которые можно напрямую применять к любой ситуации, чтобы узнать, как поступить. Это ЧаВо пытается дать некоторое приближение, устанавливая два базовых принципа: мораль должна укорениться в реальном мире, а моральные законы должны относиться ко всем людям одинаково. В следующих двух главах я попытаюсь обосновать эти принципы.

ВТОРАЯ ЧАСТЬ: МОРАЛЬ ДОЛЖНА УКОРЕНИТЬСЯ В НАШЕМ МИРЕ

2.1: Что значит «мораль должна укорениться в нашем мире»?

Это означает, что мораль не может быть просто каким-то неуловимым абстрактным законом, существующим только в метафизическом плане. Она должна иметь отношение к тому, как нравственные и безнравственные действия меняют реальность.

2.2: Почему?

На этот вопрос можно ответить притчей.

Посреди непроходимых джунглей Кламзории за Фрептанским морем стоит гигантская гора, с вершины которой не сходит снег. В пещере внутри этой горы расположилось гнездо ужасного Хрогморфа, Губителя людей. В груди этого чудовища заключён легендарный Сердцестраст – громадный зачарованный рубин. Истории гласят, что на владеющего им человека не будут действовать нравственные законы; даже самые грязные его поступки не могут считаться грехом.

Поражённый легендами о камне, ты переплываешь Фрептанское море и пробиваешься сквозь кламзорские джунгли. Ты побеждаешь ужасного Хрогморфа, Губителя людей, в решительной схватке, вырываешь камень из его тела и помещаешь в амулет на шее. Дома ты решаешь проверить его силы, для чего берёшь из приюта котёнка и убиваешь его.

Ты чувствуешь себя просто ужасно. Тебе хочется свернуться в клубок, чтобы люди никогда больше не увидели твоего лица. «Ну а чего ты ожидал?» – спрашивает призрак Хрогморфа, который теперь неотступно тебя преследует. – «Сила Сердцестраста не в том, чтобы не чувствовать стыд. Стыд происходит из определённых химических реакций в мозгу, молекулы и атомы же принадлежат физическому миру – метафизическая этическая эссенция тут ни при чём. Послушай, если тебе станет от этого легче, в твоём поступке нет ничего дурного, ведь на тебе амулет. Тебе просто так кажется».

К тебе в дверь стучится служба защиты животных. Они получили анонимное послание (наверняка проклятый дух Хрогморфа опять постарался), что ты утопил котёнка. Тебя вызывают на суд по делу о жестоком обращении с животными. Судья замечает, что на тебе Сердцестраст, следовательно, технически, ты не совершил безнравственного поступка. Но ты нарушил закон, так что он налагает на тебя штраф и несколько месяцев исправительных работ.

На общественных работах ты встречаешь молодую девушку, которая ищет потерявшегося котёнка. Её описание звучит очень знакомо. Ты советуешь ей прекратить поиски, потому что именно этого котёнка ты взял из приюта и утопил. Она начинает плакать и говорит, что любила этого котёнка, что он был единственной светлой полосой в её безрадостной жизни, и теперь она не знает, как ей жить дальше. Хотя Сердцестраст всё ещё у тебя на шее, ты всей душой опечален рассказом девушки и хочешь как-нибудь прекратить её страдания.

Если нравственность – это всего лишь какое-то метафизическое правило, Сердцестраста было бы достаточно, чтобы его отменить. Но Сердцестраст, несмотря на все его легендарные свойства, абсолютно бесполезен, и никаким экспериментом, на самом деле, неотличим от подделки. Какие бы метафизические эффекты он ни производил, они не имеют отношения к причинам, из-за которых мы считаем мораль важной.

2.3: Что насчёт бога? Может ли мораль происходить от него?

Что может означать «бог создал мораль»?

Если это означает, что бог провозгласил определённые правила, награждает тех, кто им следует, и наказывает тех, кто нарушает, – что ж, если бог существует, он вполне может так и делать. Только это не нравственность. В конце концов, Сталин также провозгласил определённые правила и награждал тех, кто им следует, а тех, кто их нарушал, – наказывал. Если бог выбрал правила произвольно, то нет причины им следовать, кроме как из личного интереса (что едва ли нравственный мотив), а если они выбраны по какой-то причине, то именно эта причина, а не бог, является источником морали.

Если это значит, что бог установил определённые правила, и мы должны им следовать из любви и уважения, потому что он бог, то откуда берутся эти любовь и уважение? Понимание, что мы должны любить и уважать нашего создателя и тех, кто о нас заботится - оно само по себе требует определённой морали. Определение бога «добрым» и «достойного уважения» требует некий стандарт доброты вне установленной им системы. Опять же, если эта система была выбрана по какой-то причине, то именно эта причина – источник морали.

Журналисты газетных колонок «из жизни» часто освещают нравственные правила, о которых читатели могли бы и не вспомнить. Эти правила определённо хороши, но это не делает журналистов источником морали.

2.4: Может, мораль верна по определению?

«Определения» могут только связывать значения со словами, фраза «по определению» не даёт нам никакой новой информации.

Если я определяю «мораль» как «не обижать других людей», то это значит, что в моём понимании последовательность звуков [ма-рал’] соотносятся с идеей отсутствия вреда другим людям. Это не значит, что никому не следует вредить другим людям.

Предположим, я изобрёл новое слово, «зурблек» с определением «люди обязаны носить зелёное по субботам». Ношение зелёных вещей по субботам – это зурблек? Да, по определению. Говорит ли это что-то о том, нужно ли конкретно тебе лично носить зелёное по субботам? Едва ли.

Гравитация, по определению, означает силу, которая тянет объекты к сосредоточению масс. Но причина, почему предметы падают вниз, это не определение гравитации, иначе бы мы смогли летать, просто отредактировав словарь. Объекты падают вниз, потому что в реальном мире существует некий закон, которому отвечает слово «гравитация». Если мораль и её законы чего-то стоят, то им тоже должны отвечать некие черты реального мира.

2.5: Может, мораль истинна, потому что её законы можно вывести логически?

Дэвид Юм заметил, что невозможно доказать утверждения вида «должен» при помощи утверждений «является». Можно выписывать сколько угодно фактов физического мира: «огонь горячий», «горячие вещи обжигают», «ожоги вредят человеческому телу» – всё это можно объединить в одно утверждение: «Если огонь горячий, а горячие вещи обжигают, то тебе станет больно от прикосновения к огню». Но из этого никак нельзя вывести «следовательно, не нужно поджигать людей», если только заранее не принять утверждение «не нужно сжигать людей заживо».

Утверждения «должен» из других утверждений «должен» вывести можно. Например, утверждений «огонь горячий», «горячее обжигает», «ожоги причиняют боль» и «не следует причинять боль» достаточно, чтобы сказать «не следует поджигать людей». Подчеркну: так можно выводить моральные принципы, только уже имея в своём распоряжении другие моральные принципы. Обосновать же саму мораль таким способом не получится.

Кант думал, что может доказывать утверждения «должен» без уже существующих «должен» при помощи «категорических императивов», но это только потому, что он украдкой внёс в них всю свою моральную систему, как слишком очевидную, чтобы нуждаться в оправдании. Если вы мне не верите, прочитайте первые несколько страниц «Основ метафизики нравственности», пока не дойдёте до того места, где говорится о «доброй воле».

Если вся эта философская дребедень не для вас, подумайте о более простом примере: предположим, какой-то математик при помощи логики доказал, что этично носить зелёные вещи по субботам. Объективно нет никакой пользы от ношения зелёной одежды по субботам, и никому не повредит, если никто не будет придерживаться этого закона. Но, похоже, его построения непротиворечивы. Вы пожмёте плечами и станете следовать этому закону? Или скажете: «Кажется, тут провернули какой-то причудливый математический трюк. Наверное, носить зелёную одежду по субботам «правильно» в твоём понимании, но я думаю, это не имеет никакого отношения к реальному миру, и не чувствую побуждения делать это»?

Во втором случае вы ожидаете от морали каких-то других свойств, кроме возможности логически доказать, что так поступать - хорошо и правильно, а так - нет.

2.6: В чём состоит различие между «хорошими» и «правильными» поступками?

Консеквенциализм сводит его на нет.

Есть философы, которые проводят аккуратную черту между аксиологией, учением, как поступать хорошо, и моралью, учением, как поступать правильно. Помогать другим людям, создавать лучший мир, распространять свободу и счастье среди людей – всё это хорошо, но это лишь вопрос аксиологии. Вовсе не факт, что правильно поступать именно так - если только„ конечно, подобный образ действий не связан с каким-то метафизическим правилом, впечатанным в ткань бытия. Какие-то поступки могут менять к лучшему весь мир и не иметь недостатков, но всё равно будут морально неправильными, потому что не соответствуют предустановленному кем-то правилу.

Например, предположим, белый мужчина и индейская женщина хотят сочетаться браком. Кажется, они любят друг друга и все люди согласны, что они замечательная пара. Но старейшины города не хотят, чтобы они поженились. Старейшины могут действовать двумя способами. Во-первых, они могут доказывать, что брак не будет хорошим – возникнут определенные негативные последствия в реальном мире: скажем, их дети будут изгоями в обоих сообществах или их благополучие расстроят культурные противоречия. Во-вторых, они могут сказать, что, конечно, брак будет хорошим: пара, дети и все их семьи будут счастливы и хорошо впишутся в сообщество; однако межрасовые семьи – это неправильно в принципе.

2.61: А что с этим не так?

В драме семнадцатого века «Мнимый больной», написанной Мольером, центральный персонаж спрашивает у доктора, почему опиум усыпляет людей. Доктор объясняет, что опиум имеет «снотворный эффект», и это удовлетворяет пациента.

Проблема в том, что «снотворный эффект» - это вовсе не объяснение. Это всего лишь слова, которые означают «заставляет людей спать». Нельзя объяснить, почему от опиума людей клонит в сон тем, что он содержит вещества, от которых людей клонит в сон. Этот ответ такой же таинственный, как и вопрос, на который он должен ответить. Правильное объяснение свойств опиума включало бы рассказ о химикатах, которые похожи по свойствам на другие химикаты в нашем мозгу, которые влияют на настроение и энергию. Это «редукционистское» объяснение – оно сводит таинственное свойство опиума к свойствам вещей, которые мы уже понимаем, и тем самым делает его менее таинственным. При помощи такого объяснения мы можем строить предположения, какие ещё медикаменты будут иметь то же свойство, какие, наоборот, будут нейтрализовать опиум и так далее. Говорить, что как-то поступать «неправильно» это то же самое, что говорить о «снотворной силе». Если я скажу, что люди разных рас не должны сочетаться браком, и объясню это тем, что это «неправильно», я всего лишь переформулирую своё убеждение, но никак не объясню его. Обсуждение «правильности» поступков похожи на обсуждение «снотворного эффекта» Мольера; обсуждение, как поступать хорошо, когда мы можем явно указать на то, почему это – хорошо, а то – нет, больше похоже на спор о химикатах в крови. Но даже этот пример не полностью покрывает проблему с таким использованием слов «правильный поступок». В конце концов, «снотворный эффект», несмотря на все недостатки, использовался для объяснения вещей, для которых не было другого толкования.

2.62: А нет ли метафоры получше для различения аксиологии и морали?

В стародавние времена химики полагали, что огонь порождается не интенсивным окислением при помощи кислорода, а таинственной субстанцией под названием «флогистон». Как бы то ни было, им не удавалось выделить этот флогистон, и с течением времени научная мысль сместилась в сторону современных взглядов на горение. Предположим, что в наши дни группа химиков объявила, что они собираются возродить теорию флогистона.

Да, во всех опытах, где какой-либо объект нагревается и исчезает в языках пламени, было доказано кислородное горение, но это всего лишь отдалённо касается настоящей эссенции пламени. Настоящий огонь не испускает света, не выделяет тепла и не может наблюдаться в принципе. Единственный способ, которым мы можем узнать, горит ли по-настоящему определённый объект, это внутреннее чутьё. Если мы нутром чуем, что огня нет, то мы будем спорить и писать длинные философские трактаты, но точно не опустимся до чего-то столь приземлённого, как измерение света и тепла от горящих предметов.

Действительно, большинство объектов, про которые наше чутьё говорит, что они горят по-настоящему, также испускают видимое пламя и ощущаемое тепло. Это довольно интересный факт, но не особо важный.

Задача пожарных - борьба с огнём, что очевидно из определения их профессии. В последнее время мы замечаем, что пожарные тратят время, спасая дома от языков видимого пламени, а не от метафизического настоящего огня, видимого только нашему внутреннему оку. Это противоречит их миссии. Насколько нам известно, в этих домах проходит обычный скучный процесс кислородного горения.

Несущественно, что кислородно-горящие дома разрушаются, унося с собой имущество и человеческие жизни. Цель пожарных – не защищать имущество и жизни, а бороться с огнём. Настоящий огонь, будучи невидимой нематериальной сущностью, не может забирать имущество или жизни, но с ним следует бороться по определению. Так уж и быть, после того, как пожарные закончат тушить дома, про которые мы интуитивно чувствуем, что они горят, то могут тушить дома, горящие обычным кислородным пламенем, в свободное от работы время.

2.621: Какая-то это нечестная метафора

Не думаю. Ведь есть люди, которые думают, что имеют моральное обязательство бороться с вещами вроде гомосексуальности, межрасовых браков и других вещей, которые никому не вредят, но про которые внутреннее чутьё сообщает, что они «неправильные». Эти же люди в то же время не чувствуют особого обязательства бороться с проблемами вроде голода, бедности и других вещей, про которые их этическая интуиция говорит, что они всего-то «плохие».

Химики в моей метафоре полагали, что настоящий и физический огонь часто сосуществуют в одном объекте. Они также считали, что есть множество вещей, которые горят метафизически, не испуская тепла, и что важно тушить этот огонь тоже, хоть он никому и не вредит.

Сторонники метафизической морали полагают, что «правильные» поступки часто бывают одновременно и «хорошими», но есть также и «правильные» вещи, которые никак не соотносятся с «хорошими». Считается, что мы должны следить также и за их соблюдением, хотя их нарушение никому не вредит.

2.7: Аааррх, хорошо, давай закончим поскорее эту часть и перейдём к резюме.

Метафизические принципы, божественная воля, словарные определения и математические доказательства – всего этого недостаточно, чтобы построить удовлетворительную формулировку морали. Мы должны связать мораль не с отвлечёнными идеями, а с конкретным миром, в котором мы живём. Следовательно, идея «правильности» вещей должна быть равна или напрямую связана с идеей того, как поступать хорошо.

ТРЕТЬЯ ЧАСТЬ: ПРИСВАИВАЕМ ДРУГИМ ЛЮДЯМ ЦЕННОСТЬ

3.1: С чего бы мне присваивать другим людям ненулевую ценность?

Я как бы надеялся, что это одно из тех интуитивных представлений о морали, что есть у всех. Неважно, насколько сильно оно выражено, но так или иначе важно, живут ли другие люди или умирают, счастливы они или несчастны, процветают ли они или тонут в отчаянии.

3.1.1: Не бойся, я шучу. Разумеется, мы должны присваивать другим людям ненулевую ценность.

Вот и славно!

3.2: Почему это правило может не удовлетворяться?

Законы морали могут не присваивать людям достаточную ценность, если они в некоторых местах зацикливаются сами на себя или если на них влияют эгоистичные мотивы вроде избегания стыда, ощущения «тёплого пушистого ощущения в груди» или трансляции социуму определённых сигналов.

Мы уже обсудили, какие нравственные правила могут заходить в тупик – те самые, которые сформулированы при помощи грандиозных метафизических законов, «верных по определению», но не имеют никакой проекции в реальный мир. Но способы, которыми в моральные законы вплетаются эгоистичные мотивы, заслуживают дополнительного внимания.

3.3: Что имеется в виду под желанием избежать стыда?

Предположим, злой король решил провести над тобой безумный моральный эксперимент. Он приказывает сильно ударить прямо в лицо маленького ребёнка. Если ты это сделаешь, то всё на этом и закончится. Если откажешься, он ударит ребёнка сам, затем накажет его и сотню невинных людей в придачу.

Самое лучшее решение – каким-нибудь образом свергнуть короля или избежать эксперимента. Допустим, этот путь закрыт – что же предпринять?

Есть такие философы, которые посоветовали бы отказаться. Конечно, ребёнку будет причинён больший вред, как и другим невинным людям, но это не будет, технически, твоя вина. Но если ты ударишь ребёнка, то, наоборот, это будет напрямую твоя вина, и именно тебе придётся испытывать угрызения совести.

Но такая излишняя забота о том, твоя ли в чём-то вина или нет, и есть форма эгоизма. Если ты прислушаешься ко мнению тех философов, это будет не из заботы о благополучии ребёнка – его всё равно ударят, не говоря уже о дополнительном наказании – а скорее из мысли, что потом тебя будет мучить стыд: выбор сделан не исходя из заботы о ближнем, а из заботы о себе.

Обычно мы рассматриваем стыд как знак, что мы сделали что-то морально неправильное, и зачастую это действительно так. Но стыд - неустойчивый сигнал: действия, которые минимизируют стыд не всегда в то же время этически предпочтительные. Желание уменьшить стыд не более благородно, чем любое другое желание чувствовать себя лучше за счёт других. Мораль, которая построена на принципе приписывания ценности другим людям, должна заботиться не только о стыде.

3.4: Что такое «тёплое пушистое ощущение в груди»?

Это попытка охарактеризовать счастливое чувство, которое возникает, когда ты сделал этически правильный поступок. Что-то диаметрально противоположное стыду.

Но, как и стыд, «пушистики» - тоже не слишком хорошая метрика. Как говорит Элиезер, ты можешь получить больше приятных ощущений, волонтёрствуя по вечерам в местном приюте для котят с редкими заболеваниями, чем разрабатывая в это же время вакцину против малярии, но это не значит, что играть с котятами важнее, чем разрабатывать вакцину.

Если ты заботишься только о «тёплом ощущении в груди», то - обрати внимание - ты ценишь собственный комфорт, вовсе не принимая во внимание остальных людей.

3.5: А что такое «трансляция сигналов социуму»?

Трансляция сигналов (она же «сигналинг» или «демонстративное поведение», см. signalling theory в области эволюционной психологии) - понятие из экономики и социобиологии, означающее поступки, которые предпринимают люди не для результата, а чтобы рассказать людям вокруг что-то о себе.

Классический пример демонстративного поведения – богатей, который покупает Феррари не потому, что ему нужно особенно быстро ездить, а потому, что хочет показать всем вокруг насколько он богат. Он может и не осознавать этого, говорить что-нибудь об «аэродинамическом корпусе» или «плавном ходе», но подсознательно главную роль будет играть сигналинг. Предложи ему китайскую машину за $20000 с таким же плавным ходом и аэродинамическим корпусом – он не будет заинтересован и на йоту.

Чем более дорогой и бесполезный предмет используется при трансляции сигнала, тем более сигнал эффективен. Хоть очки бывают очень дорогими, они плохой выбор для демонстрирования достатка, потому что они полезны: люди их покупают не потому, что особенно богаты, а для решения проблем со зрением. С другой стороны, большой бриллиант – великолепный сигнал: никому в хозяйстве не нужны бриллианты, так что люди, которые их покупают, заведомо купаются в деньгах.

Определённые ответы на моральные вопросы также могут служить сигналами. Например, выступающий против презервативов католик демонстрирует другим (и себе!), как он строг в вере, тем самым получая социальные бонусы. Как и в примере с бриллиантом, демонстративное поведение эффективнее всего тогда, когда приводит к совершенно бесполезным поступкам. Скажем, если бы католик просто бы высказал, что решил никогда никого не убивать, это бы было плохим выбором сигнала, хоть и соответствует доктрине католицизма, потому что есть и более веские причины, чтобы никого не убивать – точно так же как есть и более веские причины для покупки очков, чем куча денег на руках. Именно потому что протест против презервативов – ужасное решение с рациональной точки зрения, он отлично подходит в качестве сигнала.

Но в более общем случае люди могут использовать этические решения, чтобы показать, насколько они придерживаются определённых моральных принципов. Это может вести к катастрофическим последствиям. Чем больше жертв и разрушений принесёт решение, чем более туманным законом оно обосновано, тем лучше окружающим будет видно абсолютное следование определённым правилам. Например, Иммануил Кант утверждает, что если маньяк с топором спрашивает, где находится твоя лучшая подруга, с очевидным намерением расчленить её, следует ответить честно, потому что лгать – неправильно. Этот ответ чрезвычайно хорош для того, чтобы показать, какой ты высокоморальный человек – после такого никто не будет сомневаться в твоей честности – но сулит не слишком хороший исход для твоей подруги.

Хотя подобные решения призваны показывать, наскольно этот человек нравственный, ирония состоит в том, что сами по себе эти решения основаны совсем не на нравственных принципах. Подобные сигналы показывают лишь заинтересованность транслирующего их человека в пользе для себя (ореол этичности и следующие за ним социальные плюсы), но отнюдь не для окружающих людей (спасение подруги от убийцы с топором). Этот способ придать ценность окружающим людям никуда не годится.

3.6: Что именно означает «ценить других людей»?

В примере с маньяком с топором «ценить других людей» означает по крайней мере предпочтение видеть их живыми, а не мёртвыми. Но это кажется недостаточным: увечье не убивает, однако «не увечить других людей» звучит вполне как моральный императив. Мы поговорим о технических деталях чуть позже, пока что достаточно думать об этом в терминах счастья людей, их благополучия и, скажем, возможности жить в мире, в котором они хотят жить.

3.7: Ты уверен, что вообще возможно ценить других людей? Может, когда ты думаешь, что их ценишь, ты всего лишь заботишься о радостных ощущениях, которые получаешь, когда помогаешь им, что немного эгоистично, если так подумать.

Даже если эта теория верна, есть большая разница между увеличением собственного счастья путём увеличения счастья остальных людей, и увеличением собственного счастья за счёт счастья остальных.

Человек, который использует избегание стыда или трансляцию сигналов социуму в качестве фундамента моральной системы, рано или поздно свернёт на кривую дорожку и начнёт вредить другим людям ради собственного благополучия. Даже тот, кто помогает другим людям так сильно, как только может, из чисто эгоистичных мотивов, именно что «помогает так сильно, как только может». Он вполне заслужил пометку «альтруист» и все те хвалебные оды, которые идут с ней в комплекте.

3.8: Разве такая мораль не эквивалентна полному самоотречению?

Нет. Приписывание другим людям ненулевой ценности не значит приписывание нулевой ценности себе. Я думаю, что наилучший вариант, когда люди присваивают одинаковую ценность и себе и другим. Это неплохо сочетается с точкой зрения внешнего наблюдателя - для него нет объективной разницы в действии моральных законов на тебя и других людей. Но если ты считаешь, что в тысячу раз важнее остальных, это не изменит основную идею этого ЧаВо, за исключением того, что некоторые числа нужно будет умножить на тысячу.

ЧЕТВЁРТАЯ ЧАСТЬ: В КОТОРОЙ МЫ НАКОНЕЦ ДОБИРАЕМСЯ ДО КОНСЕКВЕНЦИАЛИЗМА

4.1: Извини, я заснул несколько страниц назад. Напомни, где мы сейчас?

Мораль исходит из наших интуитивных представлений о морали, но если мы не провели их тщательную балансировку, то не можем полностью доверять ни одному из них. Было бы здорово, если бы мы сумели объединить правила в некоторый более общий принцип. С его помощью мы могли бы изящно обходить краевые случаи, на которых наши интуитивные представления расходятся - например, допустимость абортов. Два сильных вспомогательных принципа помогут нам в этом: «нравственность должна укорениться в физическом мире» и «мы должны приписывать другим людям ненулевую ценность».

4.2: Ага, ладненько. Но я снова засну, если ты не выложишь на стол общий моральный закон ВОТ ПРЯМО СЕЙЧАС!

Окей. Моральный закон состоит в том, что нужно предпринимать такие действия, которые сделают мир лучше. Или, сформулирую более чётко: когда у тебя есть возможность выбрать между несколькими возможными действиями, более предпочтительно то, которое приведёт к лучшему состоянию мира, по каким бы критериям ты бы ни определял это самое состояние.

4.21: И всё?! Я прочитал всё это ради чего-то настолько чертовски очевидного?!

Это совсем не так очевидно, как может показаться. Философы называют такую позицию «консеквенциализм», и если её немного переформулировать, большая часть человеческой расы будет непреклонно ей противостоять, иногда с жестокостью.

4.3: Почему?

Рассмотрим знаменитую задачу о вагонетке авторства Филиппы Фут:

«Тяжёлая неуправляемая вагонетка несётся по рельсам. На пути её следования находятся пять человек, привязанные к рельсам сумасшедшим философом. К счастью, вы можете переключить стрелку — и тогда вагонетка поедет по другому, запасному пути. К несчастью, на запасном пути находится один человек, также привязанный к рельсам. Каковы ваши действия?»

Этот вопрос разбивает философов на два непримиримых лагеря. Консеквенциалисты считают, что следует нажать на рычаг на следующих основаниях: переключение стрелки ведёт к состоянию мира, где один человек мёртв: оставление ситуации как есть - к состоянию, где пять людей мертво. Если считать, что живые люди предпочтительнее мёртвых, то первое состояние мира выглядит лучше. Следовательно, нужно перенаправить вагонетку.

Их противники, которых обычно называют деонтологистами, исходят из принципов, что нужно всегда следовать определённым моральным правилам, в частности, «не убивай людей». Деонтологист откажется переключать стрелку, потому что это сделает его явно ответственным за смерть одного человека. Самоустранение же от каких-либо действий, хоть и приведёт к смерти пяти человек, но её невозможно будет явно привязать к действиям деонтологиста.

4.4: Что не так с позицией деонтологистов?

Она нарушает как минимум один из принципов, описанных выше.

Есть только два возможных оправдания для действий деонтологиста. Первое: они могут полагать, что правила наподобие «не убий» - всеобъемлющие, довлеющие над Вселенной законы, которые намного важнее простых эмпирических фактов, вроде того, живы люди или мертвы. Это нарушает принцип «мораль живёт в физическом мире»: наблюдаемая вселенная явно будет лучше, если нажать на рычаг. Не совсем ясно, какую пользу даёт отсутствие действий, кроме записи в призрачном Регистре Благородных Поступков.

Второе возможное оправдание состоит в том, что деонтологист пытается отсутствием поступка минимизировать собственный стыд – в конце концов, они могут просто отойти и притвориться, что не имеют никакого отношения к смерти пятерых, тогда как явное действие, убившее одного человека, останется на их совести. Или их поступок может быть продиктован желанием продемонстрировать, что даже ради спасения пятерых они не готовы поступиться жизнью одного (без сомнения, они бы были даже более счастливы, если бы ради спасения нужно было поступиться ушибленным пальцем – тогда, отказавшись, они бы выглядели ещё более набожными).

4.5: Ладно, твой ответ на задачу о вагонетке звучит разумно.

Правда? Давай усложним её. Это вариация задачи о вагонетке, называемая задачей о толстяке:

«Как и раньше, вагонетка несётся навстречу пяти людям. Ты стоишь на мосту, под которым пройдёт вагонетка, и ты можешь остановить её, сбросив что-нибудь тяжёлое на рельсы. Волей случая рядом с тобой стоит очень толстый человек, и единственный способ остановить вагонетку – столкнуть его на рельсы, убив одного, чтобы спасти пятерых. Следует ли это сделать?»

Консеквенциалисты снова утверждают, что следует принести одного в жертву, деонтологисты – что так поступать не следует.

4.6: Хм, теперь я не уверен, что столкнуть толстяка на рельсы – верное решение

Попытаемся проанализировать, откуда взялось нежелание принимать то же решение, и посмотрим, одобрят источник этого нежелания моральные эвристики, после того, как мы достигнем между ними интроспективного равновесия.

Ты не уверен, потому что не знаешь, лучший ли это выбор? Если так, что конкретно в варианте «не толкать» столь важно, что перевешивает четыре лишние жизни?

Ты не хочешь толкать, потому что будешь испытывать угрызения совести? Если так, разве угрызения совести важнее четырёх жизней?

Ты не уверен, потому что какой-то деонтологист скажет, что по его определению, ты теперь «безнравственный человек»? Но каждый использует определение морали, какое хочет. Я мог бы называть безнравственными всех, кто не носит зелёное по субботам, если бы мне так захотелось. Так что, если кто-нибудь скажет, что ты больше не отвечаешь его этическим стандартам, пусть он валит в ж@#у.

Ты не уверен, потому что какой-то небесный механизм заметит, что предустановленный свыше моральный закон был нарушен таким-то образом таким-то недостойным человеком? Как минимум, у нас нет достаточных оснований полагать, что такой механизм существует (см. принцип «мораль должна укорениться в физическом мире»). Даже если бы основания и были, то самое подходящее, что можно сделать в ответ на приказ небесного механизма допускать человеческие смерти, чтобы тот продолжал тикать определённым образом - послать его в ж@#у вместе с деонтологистом.

Фрэнсис Камм, популярная писатель-деонтологист, утверждает, что сбрасывание толстяка на рельсы, хоть и спасает людей от смерти, «марает» их моральный облик. Она заключает, что «пусть лучше люди будут мертвы и незапятнаны, чем живы и запятнаны».

Если я правильно понимаю, она имеет в виду, что: «Пусть лучше люди умирают, и ты следуешь произвольному правилу, которое я только что придумала, чем большинство людей останется в живых, а правило будет нарушено» Ты в самом деле хочешь принимать этические решения таким образом?

4.7: Я всё ещё не уверен, что толкать толстяка на рельсы – правильное решение.

Есть несколько хороших консеквенциалистских аргументов против этого решения в 7.5.

ПЯТАЯ ЧАСТЬ: САМОЕ БОЛЬШОЕ ДОБРО ТАМ, ГДЕ САМОЕ БОЛЬШОЕ ЧИСЛО

5.1: Что такое «утилитаризм»?

Окей, первым делом небольшое признание. Консеквенциализм – на самом деле не система морали.

Нет, это ЧаВо не было хитроумным троллингом. Консеквенциализм – что-то вроде системы морали, но лучше будет сказать, что это шаблон для генерирования систем морали. Консеквенциализм утверждает, что нужно делать мир лучше, но оставляет понятие «лучше» неопределённым. Переопределяя «лучше» разными способами, можно получить сколько угодно консеквенциализмов, некоторые из которых совершенно идиотские.

Возьмём постулат, что мир А лучше чем мир Б, если и только если мир А содержит большее количество офисных скрепок. Это вполне консеквенциалистская система морали (она нарушает принцип присваивания ценности человеческим жизням, но мы всё равно не ожидали, что это будет хорошая система). Гипотетический разрешитель моральных дилемм легко бы мог ей пользоваться: предпринимать курс действий, который ведёт мир к состоянию с большим количеством скрепок.

Очевидно, нам нужно определение понятия «хороший мир», которое лучше согласуется с нашей интуицией.

Первая сильная попытка была предпринята Иеремиией Бентамом, который предложил считать состояние мира А лучше состояния Б, если в нём большая сумма радости и меньшая сумма страданий по всем людям. Это имеет смысл. Вещи вроде смерти, бедности или боли – всё то, что мы хотим избежать с помощью нашей системы морали, можно классифицировать как причинение страданий или блокирование доступа к удовольствиям. «Утилитаризм» описывает системы морали, выведенные из вышеописанной идеи, а «польза» описывает меру, насколько хорошо каждое конкретное состояние мира.

5.2: Есть ли изъяны в концепции утилитаризма Иеремии Бентама?

Она побуждает к некоторым странным вещам. Например, исходя из её принципов, затаскивание людей в опиумные притоны против их воли и поддерживание их в наркотической эйфории – великолепная идея, а отстранение от этого – как раз безнравственно. В конце концов, такой подход увеличивает всеобщее удовольствие очень эффективно.

Аналогично, любое общество, которое бы истинно веровало в Бентамизм, в конце концов разработало бы супернаркотик и проводило всё время под ним, тогда как роботы занимались бы необходимым минимумом работы: кормлением людей и введением инъекций. Кажется, это довольно бесславный конец для человеческой расы. Даже если кто-то бы счёл его вполне допустимым, наверное было бы неправильно принуждать каждого к такому повороту событий без явного их согласия.

5.3: Утилитаризм может предложить что-то получше?

Да. Утилитаризм предпочтений (preference utilitarianism) предполагает, что следует не максимизировать удовольствие как таковое, а увеличивать счастье, определённое в терминах предпочтений каждого конкретного человека. В большинстве случаев, они будут общими: никому не нравится, когда их мучают. В некоторых случаях – отличаться: кто-то бы, может, и согласился на заточение в опиумном притоне, но я точно откажусь.

Утилитаризм предпочтений хорошо согласуется с идеей, что люди хотят не только грубых животных удовольствий. Если какому-то монаху хотелось бы лишить себя всех мирских удовольствий и молиться богу всю жизнь, то относительно этого монаха лучшим миром будет тот, где у него есть все возможности молиться, как он того захочет.

Человек или целое общество, следующее принципу утилитаризма предпочтений, будет пытаться удовлетворить желания максимального количества людей так полно, как это возможно; отсюда и формулировка: «самое большое добро там, где наибольшее число».

Это звучит сложно в теории, так как непросто измерить силу различных предпочтений. На практике, однако, экономисты придумали множество трюков для более-менее точного измерения массовых предпочтений. Обычно этого - и толики здравого смысла - достаточно, чтобы решить, какой выбор удовлетворит больше желаний.

5.31: Может ли утилитаризм показывать ещё лучшие результаты?

Нуууу… наверное. Есть несколько разных форм утилитаризма, которые пытаются быть ещё более правыми.

Когерентный экстраполяционно-изъявительный утилитаризм (coherent extrapolated volition utilitarianism) особенно интересен. Он постулирует, что вместо использования текущих предпочтений людей следует использовать их идеальные предпочтения – такие предпочтения, которые бы они имели, если бы были умнее и сами достигли равновесия между своими низкоуровневыми убеждениями. В этом случае следовало бы принимать в расчет не предпочтения каждого человека в отдельности, а обобщить их в идеальный набор универсальных убеждений. Это была бы оптимальная система морали, но философские и вычислительные преграды у неё на пути колоссальны.

5.4: Ой, нет! Как же мне узнать, какой из сложных систем мне следовать?

В большинстве практических случаев между ними нет особой разницы. Так как люди обычно желают то же самое, что предпочитают, а предпочитают быть счастливыми, все часто используемые виды утилитаризма дают одинаковые результаты в большинстве обычных ситуаций. Разумеется, можно придумать всякие запредельные мысленные эксперименты с изменяющими сознание наркотиками или бесконечным количеством мучений. О них весело рассуждать, и есть несколько сложных задач, где та или иная система даёт сбой, но любая из них превосходит обычный человеческий набор несбалансированных эвристик и неловкого демонстративного поведения. Даже просто вера в консеквенциализм, без какой-либо конкретной утилитаристской системы в основании, может принести заметную пользу.

Или, проще: не нужно знать всю теорию баллистики, чтобы не выстрелить себе в ногу.

Впоследствии я собираюсь использовать «пользу» взаимозаменяемо со «счастьем» ради удобства чтения, хоть это и может вызвать мандраж у пуристов утилитаризма предпочтений.

5.5: Я думал, утилитаризм – это когда все живут в уродливых бетонных коробкоподобных домах.

«Утилитаристская архитектура» подходит под это описание. Насколько мне известно, она не имеет ничего общего с утилитаристской этикой за исключением названия. Настоящие утилитаристы не будут строить уродливых бетонных домов-блоков, пока не станет ясно, что именно такие дома сделают мир лучше.

5.6: Разве утилитаристы не противники музыки, искусства, природы и, наверное, любви?

Нет. Некоторые люди, по всей видимости, так считают, но это не имеет смысла. Если мир с музыкой, искусством, природой и любовью лучше, чем без них (а все, похоже, согласны, что лучше), и если они делают людей счастливее (и все, видимо, согласны, что делают), то утилитаристы будут поддерживать всё это.

Более точный разбор подобных обвинений см. в секции 7.8 ниже.

5.7: Резюме по главе?

Мораль должна делать мир лучше. Есть много определений для «делать мир лучше», но принять следует то, которое не приносит неприятных побочных эффектов. Это приводит нас к утилитаризму, системе морали, которая пытается удовлетворить человеческие желания настолько, насколько это возможно.

ШЕСТАЯ ЧАСТЬ: ПРАВИЛА И ЭВРИСТИКИ

6.1: Что насчёт обычных правил морали вроде «не лги» и «не воруй»?

Консеквенциалисты немало уважают эти правила. Но вместо рассматривания их как базового уровня морали, мы считаем, что это эвристики («эвристика» - это удобное «правило буравчика», которое обычно, хоть и не всегда, приводит к верному решению).

Например, «не воруй» - хорошая эвристика, потому что когда я что-то краду, я отрицаю твоё право использовать этот предмет, уменьшая твой вклад во всеобщее счастье. Если разрешить воровать, ни у кого больше не будет мотива трудиться честно, экономика коллапсирует, и опуститься до грабежей придётся всем. Это не слишком приятный мир, люди в нём в среднем менее счастливы, чем в нашем. Воровство обычно уменьшает общее количество пользы или счастья, поэтому уместно сжать всё это в удобную форму, а именно в правило «не воруй».

6.2: Но что ты имеешь в виду, когда говоришь, что эти эвристики не всегда дают верный результат?

В примере с маньяком-убийцей из 3.5 мы уже увидели, что эвристика «не лги» работает не всегда. То же самое справедливо и для «не воруй».

В романе «Отверженные» семья Жана Вальжана не может выбраться из-за черты крайней бедности Франции XIX века; его племянник медленно умирает от голода. Вальжан крадёт буханку хлеба у человека, у которого денег в избытке, чтобы спасти жизнь племянника. Хоть не все из нас простили бы Жану этот поступок, он выглядит гораздо более оправданным, чем, скажем, кража PlayStation просто потому что кому-то очень захотелось в неё поиграть.

Вывод из этого всего заключается в том, что хоть ложь и воровство обычно делают мир хуже и причиняют людям вред, но в некоторых редких случаях они могут приносить пользу, и тогда они допустимы.

6.3: Так что же, нормально лгать, воровать или убивать всегда, когда ты думаешь, что ложь, воровство или убийство сделают мир лучше?

Не совсем. Когда у тебя есть жёсткое правило «никогда не убивать», что бы ни случилось, ты абсолютно точно знаешь, как ему следовать.

Есть хорошая причина, почему бог (предполагаемо) дал Моисею скрижаль с «не воруй», а не «не воруй, если только у тебя нет очень хорошей причины». У людей на редкость разные понятия об «очень хороших причинах». Некоторые люди смогли бы украсть, только чтобы спасть жизнь племяннику. Некоторые – чтобы защитить друга от маньяка с топором. А некоторые – чтобы поиграть в PlayStation и придумать какое-нибудь оправдание позже.

Мы, люди, очень хороши в оправдывании собственной особенности – умении думать, что МОЯ ситуация ПОЛНОСТЬЮ ОТЛИЧАЕТСЯ от всех остальных ситуаций, в которые могли бы попасть люди. Нам замечательно удаётся изобретать оправдания постфактум, почему наши поступки были наилучшим выбором. Мы прекрасно знаем, что если бы мы позволили воровать только при наличии хорошей причины, обязательно нашёлся бы какой-нибудь идиот, который бы этим злоупотребил, и все бы понесли потери. Так что мы возводим эвристику «не воруй» в ранг закона и считаем, что это славный выбор.

Тем не менее, у нас есть процедуры для временного приостанавливания законов. После того как общество проходит через эти процедуры решения вопросов, обычно в форме голосования демократически избранных представителей, государству позволяется украсть немного денег у всех в форме налогов. Так современные страны разрешают дилемму Жана Вальжана, не выдавая лицензии случайным людям воровать игровые приставки: все согласны, что здоровье племянника Жана важнее, чем лишняя буханка хлеба у богача. С помощью налогов государство перераспределяет доходы состоятельных людей в пользу бедных. Наличие подобных процедур – не менее славный выбор.

6.4: Так всё-таки, нормально ли нарушать законы?

Я думаю, что гражданское неповиновение – взвешенное нарушение законов в соответствии с собственными воззрениями о пользе – допустимо, когда ты совершенно и исключительно уверен, что твои действия повысят всеобщее счастье, а не понизят.

Чтобы быть настолько уверенным, нужно иметь очень хорошие свидетельства; также неплохо бы ограничить неповиновение теми случаями, где ты не являешься прямым получателем выгоды от нарушения закона, чтобы у твоего мозга не было соблазна придумывать подложные моральные аргументы в пользу нарушения законов всегда, когда замешан личный интерес.

Я согласен с общим мнением, что люди вроде Мартина Лютера Кинга младшего и Махатмы Ганди, которые использовали гражданское неповиновение по веской причине, были правы. Они были достаточно уверены в своей цели, чтобы нарушить моральные эвристики во имя высшего блага, и преуспели. Тем самым, их можно считать хорошими утилитаристами.

6.5: Что насчёт прав человека? Тоже эвристики?

Да, и политические дискуссии имели бы гораздо больше смысла, если бы люди понимали это.

Законотворцы расходятся во мнениях, какие права у людей есть, а каких – нет, и эти расхождения олицетворяют их политическую позицию, только в более запутанном и сложноразрешимом виде. Предположим, я говорю, что люди должны получать бесплатную, спонсируемую государством, медицинскую помощь, а ты – что нет. Это весьма проблемное расхождение, но, по крайней мере, мы можем рационально поговорить, и даже, возможно, изменить мнение. Но если я стукну кулаком о стол: «Государство должно предоставлять бесплатную медицинскую помощь, потому что у людей есть всеобщее право на медицинскую помощь», - то вряд ли тебе останется много чего сказать, кроме: «А вот и нет!» Интересный и потенциально разрешимый вопрос «Должно ли государство иметь бесплатное здравоохранение?» превратился в чисто метафизический - «Имеют ли люди право на бесплатную помощь?» Даже теоретически невозможно представить доказательства в пользу той или иной точки зрения.

Ситуация усложнится ещё больше, если ты ответишь: «Ты не можешь поднять налоги, чтобы предоставлять бесплатное здравоохранение, потому что у меня есть право на мою собственность!»

Во всех политических конфликтах спорящие партии находят (или придумывают) причины, почему на кону стоят их «естественные права». Арбитр в подобной ситуации волен принять любое решение. Никто не сможет доказать, что он ошибся, потому что вообще «право» - неизлечимо нечёткое понятие, которое было создано, чтобы люди могли говорить не «Мне не нравится эвтаназия, но, кажется, у меня нет особых оправданий», а «Мне не нравится эвтаназия, потому что она нарушает права человека на жизнь и собственное достоинство» (Я на самом деле слышал этот аргумент слово в слово не так давно).

Консеквенциализм использует права не как способ уклониться от честной дискуссии, а как её результат. Предположим, мы спорим о том, сделает ли бесплатное здравоохранение нашу страну лучшим местом, и решаем, что сделает. Предположим также, что мы столь уверены в этом решении, что хотим высечь в камне философский принцип, что все люди однозначно должны иметь доступ к лекарствам и у любого правительства, пришедшего нам на смену, не должно быть возможности это изменить, каким бы удобным ни казалось это решение в каждый конкретный момент. В этом случае мы говорим: «Существует всеобщее право на медицинскую помощь» - т.е. устанавливаем общедоступную эвристику.

Наш современный набор прав – свобода слова, свобода вероисповедания, право на собственность и все прочие – это эвристики, сформировавшиеся и доказавшие свою эффективность за многие годы. Свобода слова – прекрасный пример. Для государственного аппарата очень заманчиво попросту заткнуть неприятных людей вроде расистов, неонацистов, культистов и иже с ними. Но люди поняли, что власть имущие не очень разборчивы в том, кого действительно следует заставить молчать, и если дать им такую силу, они запросто будут использовать её во зло. Так что вместо этого мы укрепляем эвристику «не отказывай никому в праве высказывать собственное мнение».

Разумеется, это всё ещё эвристика, а не вселенский закон, поэтому мы вполне можем запретить людям говорить вообще что угодно в ситуациях, когда мы уверены, что это понизит всеобщую пользу; например, кричать «Огонь!» без причины в переполненном театре.

6.51: Получается, консеквенциализм обладает большим приоритетом, чем права?

Да, он находится как раз на том уровне, который позволяет разрешать конфликты прав и устанавливать, какие права вообще применять.

Например, мы поддерживаем право на свободу передвижения: люди (за исключением преступников) должны иметь возможность передвигаться по миру. Но мы также поддерживаем право родителей заботиться о своих детях. Если пятилетний ребёнок решит, что хочет отправиться жить в лес, должны ли мы позволить его родителям отказать ему?

Да. Хотя в этом случае конфликтуют два права, как только мы поднимемся на уровень выше, мы поймём, что свобода передвижения существует, чтобы позволять взрослым ответственным людям жить в местах, в которых они чувствуют себя счастливее. Очевидно, что ребёнку это право пользы не принесёт: если он убежит в лес, это может привести к неприятностям - скорее всего, его просто-напросто съедят медведи. У нас нет причин пользоваться этой эвристикой в данном конкретном случае.

Усложним ситуацию. Пятилетний ребёнок хочет убежать из дома, потому что родители его избивают. Допустимо ли в этом случае отправить малыша в детский дом (ведь каждый ребёнок имеет право на достоинство и свободу от страха)?

Да. Хотя мы снова оказались в ситуации с двумя конфликтующими правами, причём «право на достоинство и свободу от страха» я как бы только что выдумал, но для ребёнка важнее находиться в безопасности и быть здоровым, чем для родителей – использовать право «заботиться» о нём. Впрочем, это право – тоже эвристика, указывающая, что детям обычно лучше находиться с родными мамой и папой. Так как это наблюдение здесь, очевидно, не работает, мы без сомнений можем отправить ребёнка к приёмным родителям.

Подходящая процедура в подобных случаях – подняться на уровень выше и рассмотреть ситуацию с позиций консеквенциализма, а не кричать громче и громче, что какие-то права были нарушены.

6.6: Итог?

Правила, которые в целом хорошо поддерживают всеобщее счастье, называются моральными эвристиками. Обычно гораздо лучше следовать им, чем подсчитывать прирост пользы в каждом конкретном случае - в подобных подсчётах легко ошибиться из-за пристрастных суждений или недостатка информации. При формировании законов можно брать за основу нравственные эвристики, это позволяет им быть более самосогласующимися и лёгкими для исполнения. Моральные правила более высокого уровня, которые ограничивают государства, называются правами человека. Хотя следование моральным эвристикам – хороший путь, но в определённых случаях, когда ты на сто процентов уверен в результате – например, при общении с убийцей с топором или человеком, который хочет крикнуть «Огонь!», когда никакого огня нет - их можно нарушать.

ЧАСТЬ СЕДЬМАЯ: ПРОБЛЕМЫ И ВОЗРАЖЕНИЯ

7.1 Не приведет ли консеквенциализм к [очевидным ужасным последствиям]?

Скорее всего, нет. В конце концов, цель консеквенциализма - сделать мир лучше. Если последствия очевидно ужасны, консеквенциалисты не захотят их, разве нет?

Не так очевидно, почему какая-то специализированная формулировка утилитаризма не приведет к ужасным последствиям. Как бы то ни было, если утилитаризм действительно отражает уравновешенность наших интуитивных представлений и морали, он вряд ли способен привести к чему-то ужасному. Поэтому остаток этой главы будет посвящён тому, почему утилитаризм не приведёт к некоторым конкретным ужасным последствиям.

7.2 Не приведет ли утилитаризм к порабощению 51% процентом популяции оставшихся 49% процентов?

Аргумент таков: 51% популяции больше 49%, следовательно если мы осчастливим первых за счёт последних, такому состоянию будет приписано больше полезности. Поэтому, исходя из утилитаристских соображений следует ввести рабство.

Это фундаментальное непонимание утилитаризма. Он не говорит «делай что угодно, чтобы большинство людей было счастливее», он говорит «делай что угодно, чтобы люди в целом были счастливее».

Предположим, что вместе собрались десять человек - девять сытых американцев и один голодный африканец. У каждого есть по конфете. Сытый американец получит +1 единицу пользы от съедания конфеты, а голодающий африканец - +10 единиц пользы. Лучшее действие для увеличения пользы в целом - отдать все 10 конфет голодному африканцу, чтобы получить общий прирост в 100 единиц.

Человек, который не понимает утилитаризм, может сказать: «Почему американцы не договорятся между собой забрать конфету у африканца и разделить ее между собой? Если их девять, а африканец один, то получится польза для большего количества людей». На самом деле это создаст только +10 единиц пользы - намного меньше, чем в первом варианте.

Человек, который думает, что рабство повысит общее количество счастья, допускает ту же ошибку. Конечно, иметь раба будет довольно удобно для хозяина, но быть порабощенным будет чрезвычайно неприятно для раба. Даже, если большинство людей испытают небольшой прирост счастья, для людей в целом рабство обернётся потерями.

(Если вы всё ещё не видите, почему это так, представьте, что я предложил бы вам выбрать, жить ли в нашем мире или в гипотетическом, где 51% людей - хозяева, а 49% - рабы, с оговоркой, что вас распределят в ту или иную группу случайным образом. Захотели бы вы попасть во второй мир? Если нет, вы неявно согласны, что это не «лучший» мир).

7.3: Не приведет ли утилитаризм к боям гладиаторов, в которых некоторых людей принуждают бороться насмерть для развлечения масс?

Попробуете тот же тест, как предыдущий. Если бы я предложил вам выбор - жить в мире с кровавыми спортивными боями или в нашем мире, какой мир вы бы выбрали?

Существует множество причин, чтобы не выбирать мир гладиаторов. Когда гладиаторов выбирают случайным образом, всегда есть риск невольно оказаться в рядах гладиаторов и умереть. Вам придется жить в страхе перед подобным исходом, что печально, неприятно и, скорее всего, отнимет у вас удовольствие от игр. Кстати, об удовольствии - неужели гладиаторские бои настолько приятны? Есть основания считать, что они нравятся людям в целом? Даже если так, неужели сумма желаний тех, кто поддерживают игры, больше, чем сумма желаний всех тех возможных гладиаторов, что предпочли бы в играх не участвовать?

Да и действительно ли людей пришлось бы принуждать становиться гладиаторами, когда в нашем мире люди добровольно присоединяются к таким занятиям, как футбол, регби и бокс?

Похоже на то, что тысячи людей добровольно стали бы гладиаторами, если бы была такая возможность, и причина, почему в нашем обществе в настоящее время не продолжаются бои гладиаторов, отнюдь не отсутствие гладиаторов, а то, что их существование оскорбляет наше здравомыслие и существующие моральные нормы. Утилитаризм может принять в расчет это расстройство и возмущение так же или лучше, как и любая существующая моральная система, поэтому мы можем ожидать, что гладиаторские бои по-прежнему будут запрещены.

Я знаю, это странный вопрос, но некоторые люди по каким-то причинам продолжают использовать этот дежурный аргумент против утилитаризма.

7.4: Не приведет ли утилитаризм к тому, что мнения расистов будут уважаться достаточно сильно, чтобы обеспечить дискриминацию меньшинств (при условии, что будет достаточно большое количество расистов и малое количество людей, принадлежащих к меньшинствам)?

Во-первых, расисты и меньшинства - не две единственные группы в обществе. К счастью, есть также большие группы людей, имеющие достаточно крепкие взгляды против расизма, и они могут пересилить взгляды расистов.

Во-вторых, маловероятно, что у расистов предпочтения в пользу дискриминации меньшинств сильнее, чем предпочтения меньшинств не подвергаться дискриминации.

В-третьих, предпочтения расистов к проявлению дискриминации может не являться целью само по себе, а способом достижения другой цели. Например, расисты могут считать, что меньшинства состоят сплошь из уголовников, и хотят избежать криминала. Таким образом, на самом деле у них предпочтения не против меньшинств, а против преступников. Следует уважать желание снизить уровень преступности, но устранить возможную дезинформацию.

Если какая-то форма расизма пересиливает все вышеперечисленные рассуждения, но наша этическая интуиция всё равно против неё восстаёт, возможно, тут поможет более сильная формулировка утилитаризма. Например, используя когерентный эктраполяционный изъявительный утилитаризм, мы можем представить, какие предпочтения имели бы расисты, если бы достигли внутреннего философского баланса. Вероятно, в этом случае они перестали бы быть расистами.

7.5: Не приведет ли утилитаризм к тому, что здоровых людей будут убивать, чтобы отдавать их органы больным, которым требуются трансплантаты, ведь у каждого человека есть куча органов, которыми можно спасти несколько жизней?

Начнем с неудовлетворительных скользких ответов на это возражение, которые тем не менее важны. Первый уклончивый ответ состоит в том, что органы большинства людей несовместимы, и большинство трансплантатов не приживаются хорошо. Из-за этого, мол, вычисления будут не столь очевидны, как «у меня есть две почки и, убив меня, можно спасти двух человек, кому нужны трансплантаты почек». Второй хитрый ответ в том, что в правильно устроенном утилитаристском обществе проблема нехватки органов будет решена раньше, чем потребуются такие меры (см 8.3).

Эти ответы, хоть формально и верны, никак не решают философский вопрос о том, когда вы можете волей-неволей допустить убийство одних людей для спасения жизни других. Я думаю, что важно принять во внимание мысли об эвристиках, упомянутое в пункте 6.3 выше: иметь жёсткий закон против убийства людей - полезно. Более сложный закон, который будет более гибким, может намного более потерять в чёткости, что приведет к тому, что безнравственные люди или безнравственное правительство сможет злоупотреблять им и вообще рассматривать убийство как возможность (смотрите статью Дэвида Фридмэна о точках Шиллинга).

Это и есть самый сильный аргумент, который можно предложить против убийства толстяка в пункте 4.5, но заметьте, что этот аргумент по-прежнему консеквенциалистский, и предмет дискуссии и принятия или отказа от него на консеквенциалистском поле боя.

7.6: Не предполагает ли утилитаризм, что если появится монстр или пришелец или вообще кто-то, чьи чувства и предпочтения в неисчислимое количество раз сильнее, чем наши, то его моральная ценность будет такой высокой, что оценка причинения ему небольшого неудобства будет столь же высока, как оценка дальнейшей судьбы всего человечества?

Может быть.

Представьте, два философа-муравья спорят о том же вопросе. Они говорят: «А что, если будет существовать создание со столь высоким интеллектом, самоосознанием и эмоциями, что с моральной точки зрения будет лучше уничтожить целую муравьиную колонию, чем допустить, что это существо подвернёт лодыжку?»

Но я думаю, что люди - как раз такие создания! Я предпочту, чтобы целая муравьиная колония была разрушена, чем человек получил страдание в размере подвернутой лодыжки. И это не просто людской шовинизм, - я думаю, что мог бы обосновать, почему люди имеют гораздо более сильные чувства, предпочтения и жизненный опыт, чем муравьи (по всей видимости).

Я не могу представить себе создание, настолько же развитое по сравнению с нами, как мы развиты по сравнению с муравьями. Но если такие создания существуют, я не исключаю, что, если смогу их представить, то соглашусь, что их предпочтения гораздо более важны, чем предпочтения людей.

7.7: Получается, утилитаризм требует от нас уважать все идиотские человеческие предпочтения? Например, если какую-то группу мусульман оскорбляют изображения пророка Мухаммеда, то люди должны прекратить их рисовать?

Я задал этот вопрос на Less Wrong и получил разнообразные интересные ответы. Первым и самым главным ответом было: «Да, если определённые действия приводят к причинению группе вреда, физического или психологического, и при этом не приносят никакой пользы другой группе, то следует прекратить такие действия».

Впрочем, нельзя исключать, что «обида» на самом деле - не оскорбление в лучших чувствах, а требование уважения к группе. Если мусульманин злится, услышав о карикатуре про Мухаммеда, не факт, что он испытывает «психологический удар» или «противоречие предпочтениям» - он может просто показывать, насколько он любит ислам.

Другие ответы были связаны с теорией игр. Иногда человеку может быть выгодно прикинуться этаким философским монстром, которого оскорбляет всё на свете, чтобы сковать действия других людей. Возможно, другим людям имеет смысл заранее зафиксировать намерение не принимать во внимание подобное поведение.

Наконец, был аргумент к последствиям («скользкий путь», slippery slope). Отказ от рисования Мухаммеда сам по себе, возможно, не принесет никакого эффекта кроме того, что осчастливит несколько мусульман. Однако это может создать прецедент и придётся всегда отступать, если какие-то вещи были восприняты кем-то как оскорбительные. В будущем из-за этого прецедента, возможно, придется отказываться от в самом деле полезных действий.

7.8: Возвратимся к пункту 5.6, где был вопрос, противопоставлен ли утилитаризм искусству, музыке и природе. Ты сказал, что он не противостоит им напрямую. Это имеет смысл. Но вдруг окажется, что искусство и природа не слишком эффективны в подъёме всеобщего счастья? Тогда придётся принести их в жертву, чтобы мы могли перераспределить ресурсы и накормить голодных, или что-то в этом роде.

Если ты абсолютный утилитарист, то да. Если ты веришь, что накормить голодных важнее, чем играть симфонии, то тебе следует перестать тратить силы и деньги на симфонии, чтобы накопить деньги на помощь голодным. Но это твое личное убеждение; Иеремия Бентам не стоит у тебя за спиной, держа у затылка пистолет, вынуждая к этому. Если ты считаешь, что кормить голодных важнее, чем слушать симфонии, почему ты изначально слушал симфонии, а не кормил голодных?

Повторюсь, утилитаризм ничего не имеет против симфоний. В самом деле, симфонии наверняка приносят счастье массе людей, делая мир лучше. Мнение, что «утилитарист жертвует искусством и развлечениями» - всего лишь страшилка. Чтобы накормить голодных, найдутся тысячи вещей, которыми можно было бы пожертвовать, прежде чем дело дойдёт до симфоний. Деньги, потраченные на плазменные телевизоры, алкоголь и стелс-бомбардировщики - как раз в этой куче.

Я думаю, что если мы когда-нибудь придем к миру достаточно утилитарному, чтобы волноваться об утраченных симфониях, мы уже окажемся в мире достаточно утилитарном, чтобы волноваться о них не было повода. Под этим я имею в виду, что если бы все правительства и люди в частности стали бы утилитаристами, желающими решить проблему голода в мире, то они решили бы её (и всякие другие проблемы) гораздо раньше, чем пришлось бы задуматься, не стоит ли принести в жертву ещё и симфонии.

Эффективная благотворительность - это отдельная и богатая тема для обсуждения. Сейчас же достаточно помнить, что, если вы делаете все верно, то каждый ваш шаг в сторону консеквенциализма, должен приближать вас к достижению ваших собственных моральных целей и к лучшему миру, каким вы себе его представляете.

7.9: Утилитаризм как-то уж слишком похож на «цель оправдывает средства».

Цель оправдывает средства. Это очевидно, даже если задуматься всего на пару секунд; и факт, что фраза стала ассоциироваться со злом - скорее историческая странность, чем философская истина.

В Голливуде принято, чтобы перед включением супер-лазера или чего-то, столь же ужасного, злодей изрекал эту фразу, поглаживая своего персидского кота. Но цель, ради которой злодеи убивали миллионы людей - захватить Землю в железную хватку диктатуры. Это ужасная цель, ведущая к ужасному концу, поэтому, конечно, такие средства и такой конец не оправданы решительно ничем.

В следующий раз, когда услышите эту фразу, думайте не о злодее, активирующем супер-лазер, а о докторе, ставящему вакцину ребенку. Да, он причиняет боль ребенку, заставляя его плакать, что грустно. Но он также предотвращает возможность, что ребёнок заболеет ужасной болезнью, поэтому цель оправдывает средства. Если бы это было не так - мы бы никогда не делали прививок.

Если у вас есть действительно важная цель и только слегка неприятный способ ее достижения, тогда результат оправдывает средства. Если у вас ужасный способ достижения цели, который не ведет к чему-то хорошему, а только делает злодея из бондианы диктатором на земле, тогда у вас проблемы - но это едва ли вина принципа «цель оправдывает средства».

7.10: Кажется, быть хорошим человеком и вовсе невозможно! Получается, мне не только нужно избегать действий, причиняющих другим вред, но и делать все, что в моих силах, чтобы им помогать. Выходит, я не достаточно порядочный, пока не жертвую 100% своих денег (ну, кроме суммы прожиточного минимума) на благотворительность?

Утилитаризм не присваивает людям метки «нравственный» и «безнравственный». Утилитаризм может лишь сказать, что одни действия более этичны, чем другие. Распространить эти определения на людей, говоря что тот, чьи действия приносят больше пользы, тот и более нравственный - очевидная идея, но это неформальное применение утилитаристской теории.

Можно было бы сказать, что самые высокоморальные люди жертвуют 100% своих денег на благотворительность, но это как бы и так давно известно. Например, Иисус выразил то же самое две тысячи лет назад (Евангелие от Матвея 19:21 - «Иисус сказал ему: если хочешь быть совершенным, пойди, продай имение твое и раздай нищим; и будешь иметь сокровище на небесах; и приходи и следуй за Мною»).

Большинство людей не хотят быть совершенными и не собираются продавать всё своё имущество, чтобы помогать бедным. Тебе придётся жить с осознанием, что ты не вполне идеален. Впрочем, не волнуйся - Иеремия Бентам не заберётся ночью к тебе в окно, чтобы пристрелить или чего похуже. К тому же, раз никто не идеален, нас тут большая компания.

При всём при этом, есть люди, которые воспринимают идею жертвования всего на благотворительность серьёзно, и это довольно внушительные люди.

ВОСЬМАЯ ЧАСТЬ: ПОЧЕМУ ЭТО ВАЖНО

8.1: Если я пообещаю держаться подальше от вагонеток, будет ли иметь значение, какой моральной системы я буду придерживаться?

Да.

Современная мораль, по большей части - это наспех слепленная кучка попыток казаться хорошим в глазах других людей. Насколько при этом хреначится окружающий мир - никого особо не волнует. Как результат, мир сейчас выглядит довольно-таки хреново. Применение консеквенциалистской этики к политике и повседневной жизни - первый шаг к собиранию его воедино.

В мире больше чем достаточно ресурсов, чтобы обеспечить всех, включая людей в странах третьего мира, едой, лекарствами и образованием - не говоря уже о том, чтобы сохранить окружающую среду, предотвратить войны и избежать других существенных рисков. Основное препятствие у нас на пути - не недостаток денег или технологии, а недостаток воли.

Многие люди ошибочно принимают этот недостаток воли за какой-то всемирный заговор неизвестных злодеев, доящих мир ради собственной выгоды, или за неизлечимое зло или эгоизм «человеческой природы». Но нет никакого заговора, и люди могут быть невероятно сострадательными, если есть возможность помочь ближнему.

У проблемы два истока. Первый: люди тратят душевные силы на глупости вроде препятствования попыткам помочь бедным странам сдержать ничем не контролируемый рост населения или ломают копья, обсуждая дурацкие реплики некомпетентных политиков. Второй: моральные системы людей настолько туманны и гибки, что позволяют с лёгкостью придумывать массу высокоморальных оправданий, заглушая голос совести, лишь бы не заниматься неудобными или трудоёмкими делами.

Чтобы решить многие проблемы нашего мира, достаточно принять моральную систему, которая перенаправит моральные импульсы туда, где они принесут больше всего пользы. Имя этой системе – консеквенциализм.

8.2: Как утилитаризм может улучшить политические дебаты?

В идеальном мире утилитаризм свёл бы политику к математике, отбросив пустое морализаторство и личные мотивы, чтобы определить, какие именно законы наиболее удовлетворят наибольшее количество людей.

Конечно, в реальном мире это намного сложнее, чем звучит, ведь на наши суждения всё ещё влияют предубеждения, непредсказуемость и вялотекущие философские споры. Как бы то ни было, существуют инструменты, с помощью которых мы можем учесть все эти факторы. Можно упомянуть, в частности, рынки предсказаний, способные давать достаточно объективный прогноз вероятности того или иного события.

Консеквенциализм сам по себе не панацея и даже к разумно выглядящим обоснованиям следует также относиться с известной осторожностью. Например, мы знаем, что у централизованной плановой экономики есть неприятные побочные эффекты и, если кто-то приводит на удивление убедительный аргумент в пользу перехода к коммунизму, мы всё равно должны отнестись к нему скептично. Несмотря на это, увеличение навыков консеквенциалистского принятия политических решений скорее помогает нам в вынесении оценок, а не сковывает.

Для примеров интересных утилитаристских рассуждений, взгляните на это эссе об иммиграции или на моё эссе о здравоохранении.

8.3: Ты говоришь очень громкие слова. Не мог бы ты рассказать поточнее, как именно рассуждение с консеквенциалистской точки зрения может спасти тысячи жизней без каких-либо заметных минусов?

Окей. Как насчёт презумпции согласия на донорство органов после смерти?

В Америке сейчас действует презумпция несогласия на пересадку органов. Это означает, что нужно заполнить особые документы и носить с собой специальную карточку, чтобы врачи имели право воспользоваться органами после смерти. Многие согласны на посмертное использование их органов для трансплантации, но почти никто при этом не озаботился заполнить бланки донора.

В то же время примерно тысяча человек умирает каждый год, потому что им не досталось органов. Ещё большее число людей долгие годы страдает от проблем со здоровьем, пока не найдётся нужный трансплантат.

В некоторых странах - например, в Испании - разумную идею презумпции согласия возвели в ранг закона. Там, в отличие от США, не требуется разрешения человека на использование его органов после смерти. При желании человек может запретить использовать свои органы, заполнив соответствующие бумаги.

В Америке этот закон был отвергнут из соображений, что кто-то может случайно забыть заполнить эти документы, после чего умереть, и его органы будут использованы, чтобы спасти чью-то жизнь, хоть он и не давал на это согласия.

Так что на одной чаше весов мы имеем жизнь тысячи людей в год, плюс страдания многих других. На другой – опасение (до сих пор чисто умозрительное), что кто-то может достаточно сильно страдать от использования своих органов без его согласия, хотя он и не удосужился при жизни выразить своё отношение к этому, заполнив необходимые бумаги. Безусловно, такие люди сильно огорчились бы, что их органы используются без их согласия. Увы, они не могут расстроиться по этому поводу - уж слишком заняты лежанием в гробу.

Помните, в 3.5 я говорил, что чем глупее выбор, тем легче с его помощью послать сигнал социуму? Противостояние презумпции согласия на пересадку органов после смерти – чертовски хорошая возможность для демонстративного поведения. Неудивительно, что против презумпции согласия больше всего возражают профессиональные «специалисты по этике». Ведя себя так, они показывают всем, насколько они высокоморальны. Они настолько этичны, что отказываются спасти тысячу жизней, лишь бы уважить гипотетические предпочтения тех мертвецов, кто при жизни не были согласны на донорство, но никак это своё отношение не оформили. Право же, это великолепно!

Что же, если ты прочитал эти ЧаВо, надеюсь, ты воскликнешь: «Что за?!» - и тем самым покажешь себя лучше, чем сообщество академических этиков, государство и избиратели.

Простой здравый смысл, позволяющий спасать тысячу жизней в год, был отброшен без размышлений, потому что люди - меньшие консеквенциалисты, чем могли бы. А ведь это всего лишь один из низковисящих фруктов, доступных более здравомыслящей системе морали.

8.4: Я заинтересовался в утилитаризме. Где я могу узнать больше?

Less Wrong – великолепное сообщество, изобилующее очень умными людьми; там часто дискутируют на тему утилитаризма. Felicifia – сообщество, напрямую связанное с утилитаризмом, хотя я в нём не состою и потому не могу поручиться. Giving What We Can – утилитаристско-ориентированная группа с чуть ли не воинствующим подходом к максимально эффективному жертвованию на благотворительность.

Reasons and Persons Дерека Парфита и Good and Real Гэри Дрешера – две отличные книги о морали, которые консеквенциалисты могут найти интересными.

Теория игр и теория принятия решений – две периферийные области, которые часто всплывают в обсуждениях консеквенциалисткой системы морали.

В Википедии также много ссылок, по которым можно найти больше информации о консеквенциализме и утилитаризме.

8.5: У меня есть вопрос, комментарий или контраргумент к этому ЧаВо. Куда я могу его отправить?

Отправляйте на scott точка siskind собака gmail точка com, но имейте в виду, что я ужасно отвечаю на емейлы вовремя/вообще. С другой стороны, это ЧаВо было опубликовано довольно давно, и многие мысли уже были тщательно разобраны. Русское сообщество LessWrong с радостью обсудит их с вами.

Перевод: 
Siarshai (Павел Садовников), Kergma, Quilfe, Alina1412
Оцените качество перевода: 
Средняя оценка: 3.7 (73 votes)

Райкот: законы, язык и общество

Скотт Александер

Некоторые люди здесь принялись навешивать на меня ярлык Типичного Прогрессиста, и мне это надоело. Мне было не по себе, когда Фредерико использовал меня в качестве оппонента-либерала в своем ныне, увы, заброшенном блоге. Мне было не по себе, когда Grognor сообщил мне, что он использует мое имя как метонимию для «прогрессистов», вне зависимости от того, отражает ли это мои истинные убеждения или нет. И мне становится не по себе, когда Реакционеры в IRC начинают задавать вопросы с подвохом на тему того, почему я так уверен, что современное общество устроено идеально.

Я не считаю, что современное общество устроено идеально. Я всего лишь консерватор с маленькой буквы «к», который осторожно относится к переменам. Ни у кого еще не было опыта построения сложного глобализованного урбанистического общества Информационного Века, основанного на коммунистических/либертарианских/реакционных принципах, и если вы случайно в процессе разрушите человеческую цивилизацию, говорить «ой» будет поздно. А когда я узнаю о поистине революционных изменениях, которые я бы приветствовал, все они, к моей неудаче, обречены на существование вне общественного дискурса, который все равно преимущественно обращает свое внимание на дурацкие первобытные распри.

Поэтому политический активист из меня так себе. Но зато я провел последние тринадцать лет в фантазиях о своем собственном утопическом обществе.

Герб Сияющего Сада Кай-Райкота

У этого занятия есть несколько преимуществ над дискутированием о политике. Во-первых, все его субъекты являются вымышленными персонажами, так что проблема этики отпадает и можно с чистой совестью предаваться экспериментам. Во-вторых, нет никакой необходимости быть «практичным» или ограничивать себя «пределами возможного». В третьих, никто другой не участвует в обсуждении политики твоего вымышленного общества, поэтому ты в меньшей степени подвержен искушению формулировать свои мысли в тех же терминах, что и другие, отвечая на те же вопросы, что интересуют их.

Я сомневался, стоит ли писать об этом здесь, потому что это не имеет отношения к трезвой политике, некоторые элементы там сделаны любительски или вообще недоработаны, и на фоне всего этого даже самый радикальный экстремист будет выглядеть здравомыслящим реалистом. А кроме того, я боялся, что во всем этом будет мало смысла при отсутствии некоторого контекста о мире, в котором все это существует.

Но я уже признался в том, что участвовал в конструировании миров. И мне скучно. И, может быть, это наконец-то заткнет некоторых людей, которые считают мои политические убеждения скучными. Так что…

На севере планеты Микрас лежит остров Райкот, приблизительно на широте Исландии и сопоставимых размеров с Великобританией. На сегодняшний день (51 столетие ASC) его население составляет около 8 миллионов — на уровне Гондураса или Израиля.

Карта Райкота. По щелчку мыши открывается более крупная версия.

Райкот — древняя цивилизация, но в 11 столетии ASC она уступила свою независимость Священной Империи Сзиро (ориг. Sxiro), обширной феодальной конгломерации, занимающей практически весь материк к югу от нее. В обмен Бог-Император Сзиро пожаловал им чрезвычайно выгодные условия, включая практически полное самоуправление.
Райколины (ориг. The Raikolin) не страдают от недостатка самоуверенности. Их конституция, которую они приняли лишь после того, как Бог-Император строго потребовал, чтобы все подвластные ему земли предоставили ему какой-либо официальный документ, состоит из одного предложения:

В любой ситуации, правительство Райкота предпримет нормативно правильное действие.

На протяжении большей части пятого тысячелетия ASC в их законах утверждалось, что пост как главы государства, так и главы правительства занимает платонический идеал Добра; в 4682 году это требование было ослаблено, чтобы позволить Архижрецу Радости занять пост главы правительства, опять-таки по настоянию запутавшегося и раздраженного Бога-Императора.

Сами райколины всегда рады поведать секреты того, что они считают своим успехом, хотя среди прочих земель Микраса не нашлось большого количества желающих его узнать. Они приписывают его трем принципам, которые были ими развиты до их логического предела: Идеальный Язык, Идеальное Правительство, Идеальный Народ.

Кадамик: Идеальный Язык

На ранних этапах истории Райкота их государство было обременено политикой. У каждого было собственное мнение о том, что нужно делать государству, каждый был уверен, что все остальные неправы, и непрекращающиеся споры были ожесточенными, но не приводили к решениям.

Некоторые начали задумываться, не лежит ли проблема в неотъемлемой расплывчатости языка. Плохой язык содержал ложные допущения о мире, приводя к смешиванию фактических утверждений с оценочными, а также с бессмысленными лозунгами. Это приводило к запутанным категориям, проблемам подачи и плохой привычке пытаться приписывать материальную сущность выдуманным концепциям.

К счастью для Райкота, на удивление большой процент его населения составляли монахи-логики (не спрашивайте), находившиеся в удачном положении, чтобы начать работу над альтернативой. Начав с мировоззрения в духе логического позитивизма, они создали язык, грамматика которого была идентична философской строгости, и в котором любая концепция требовала точного выражения. Дешевые атаки, аргументы ad hominem, риторические приемы, апелляции к эмоциям — все они были тщательно запрещены путем аккуратного выбора лексики и синтаксиса, и амбиективность была осторожно расщеплена на ее составные части.

Текст на кадамике из Codex Hamiltonensis

Самой сложной проблемой была разработка языка для обсуждения вопросов морали: какое значение должно иметь понятие «благо» в идеальном языке? Для ее решения монахи-логики тысячелетиями корпели над созданием и улучшением утилитарной суперструктуры, до тех пор, пока она не описывала в точности, каким образом необходимо учесть предпочтения и ценности, чтобы построить функцию полезности для всего общества. Получившаяся в результате книга, Ризурион-Силк (кадам. Risurion-Silk), была провозглашена буквальным воплощением Бога, который, в конце-концов, был всего лишь еще одним словом для обозначения идеи максимального благополучия. Понятие «Благо» было провозглашено тождественным «увеличению значения функции, описанной в Ризурион-Силк», или, другими словами, «повышению степени, в которой Вселенная воплощает Бога».

Так был рожден Кадамик (ориг. Kadhamic), идеальный язык. Преуспев в его создании, правительству оставалось всего лишь запретить обсуждать политику на любом другом языке, кроме Кадамика. Это привело к двум положительным эффектам. Во-первых, это ограничило участие в политической жизни всем тем, кому недоставало интеллекта для изучения Кадамика. Во-вторых, это практически сразу разрешило все наихудшие формы политических разногласий, поскольку придумывать правдоподобные аргументы для ложных позиций стало тяжело или вовсе невозможно.

Сияющий Сад: Идеальное Правительство

Тем не менее, существенные политические разногласия — искренние споры о фактах или ценностях — все еще оставались неразрешенными. В эпоху перед Временем Затишья в 35 столетии ASC за это в основном отвечал парламент представителей от девяти городов, но во времена правления Верховного [непереводимо] Нифи Кирениона была создана более элегантная система: власть Ангелов.
Ангел — это существо, являющееся связующим звеном между Богом и Человеком. Ангелы Талы, столицы Райкота — это огромные компьютерные системы, позволяющие людям вычислять значение Бога, каким он описан в Ризурион-Силк.

Карта города Талы за 800 лет до наступления эпохи Сияющего Сада. По щелчку мыши открывается более крупная версия.

Ангел Предпочтений собирает данные переписи населения и результаты опросов всех жителей Райкота, прогоняет их через серию функций утилитарной суперструктуры Ризурион-Силк, и выдает функцию полезности. Его вычисления настолько же похожи на современные QALY и DALY, насколько суперкомпьютер похож на абак. В результате он получает серию весов предпочтений для возможных состояний мира и для различных компонент этих состояний. Он знает, чему равна предельная ценность спасения трех людей от голода, и как сравнить ее с предельной ценностью снижения загрязненности воды в Великом Сверкающем Фьорде на 6%, или с рождением ребенка в Уолрафене.

Ангел Свидетельств — это система связанных «оракулов» (то, что мы бы назвали рынками предсказаний), в значительной степени субсидированная правительством и используемая не только тысячами райколинов, но и крупнейшими финансовыми конгломератами Сзиро, и даже за его пределами. При наличии достаточного количества времени, денег и публичной огласки он может вычислить возможные эффекты любой политики с точностью, недостижимой даже для Жрецов Истины. Когда Энди Арузион решил наложить санкции на Лирикот, он попросил Ангела дать точную оценку того, насколько долго продлится их мятеж; согласно легенде, Ангел вычислил продолжительность длившегося много столетий конфликта с точностью до дня.

Ангел Огласки принимает предложения от любого жителя Райкота, будь то нищий рыбак или Верховный Жрец Радости. Это могут быть предложения о пересмотре политики в любой сфере, будь то налоговые послабления, новые правила использования земельных ресурсов, или вторжение в другую страну. Тысячи предложений, которые он получает каждый день, подвергаются краудсорсингу, получая голоса за или против от экспертов и простых жителей, взвешенные согласно рейтингу успешности этих пользователей в прошлом. Со временем, наиболее интересные или тщательно продуманные предложения получают необходимую огласку и становятся доступными для дальнейшего рассмотрения.
Архангел, расположенный в обширном храме в Садах Ушедших, объединяет данные, полученные от всех трех Ангелов, чтобы принимать правительственные решения. Он принимает политические предложения от Ангела Огласки, использует Ангела Свидетельств, чтобы оценить их вероятные эффекты, и напоследок пропускает эти эффекты через Ангела Предпочтений, чтобы определить, повысят они или понизят представленную в нем функцию полезности и тем самым приблизят ли мир к Богу или отдалят от него. Множество непротиворечащих политических решений, наиболее удовлетворяющих Ангела Предпочтений, становится законом Райкота.

Метааналитический Оракул, вместилище Ангела Свидетельств и частей Архангела (источник в реальном мире)

В своем монументальном труде, посвященном различным формам правления, Зельде Калирион называет Райкот «тоталитарной анархией», и не без веских на то причин. Указы Ангелов полностью безличны. Они могут потребовать у целого города переехать в другое место, или упразднить какую-либо доктрину в национальной религии, или даже потребовать всех жителей страны предоставить определенное количество опалов некоторой строительной компании в обмен на постройку моста.
И тем не менее нет такой сущности, которую можно было бы назвать «правительством», выполняющим эти поручения. Есть Рхавакал, самодостаточный рыцарский орден с фанатичным интересом в военном искусстве, и иногда Ангелы приказывают им напасть на кого-то или арестовать человека. Есть Жречества Истины, Красоты и Радости, три очень богатых и мощных религиозных группы, и иногда Ангелы дают им определенные поручения. Есть ряд компаний, которым Ангелы иногда приказывают выполнить ту или иную задачу. И есть простые жители, которых Ангелы часто просят о финансовой поддержке для осуществления того или иного плана. Но все эти группы — лишь инструменты, используемые Ангелами. И поэтому — за исключением, возможно, Жрецов Радости, в чьи задачи входит поддержание физической формы Ангелов и улучшение их алгоритмов — ни одна из них не считает себя (или других) частью «правительства».

Галисйин — Идеальное Население

«Галисйин» (кадам. «Galisyin») означает «взращенные», и именно так райколины называют самих себя. Они убеждены, что даже идеальное правительство не убережет плохих людей, и даже ущербное правительство не сможет подавить хороших. Трагедия восьмисот лет назад породила идеологию istilve iab istisemial priktino (кадам.) — «фрактальная безупречность, чья каждая часть сама по себе безупречна», согласно которой внутренние добродетели народа райколин должны быть достаточно устойчивы, чтобы уцелеть даже в случае полного коллапса общества.

Взращение начинается с деторождения и размножения. Все мужчины получают ОССПР в рамках того, что мы, вероятно, назвали бы их школьными уроками ОБЖ; хотя они могут в любой момент отменить его действие, на практике никто не делает этого до тех пор, пока не захотят ребенка, и процедура может быть бесплатно и в любое время проведена повторно. Это эффективно решает проблему нежелательных беременностей и нежеланных детей.

Наказанием за наиболее серьезные преступления является изгнание — либо в одну из множества колоний, к примеру, Кимрикот, Калирфанам или Псентикот, либо в горные монастыри (которые выполняют примерно ту же функцию, что тюрьмы в нашем обществе, только вместо того, чтобы проводить время в компании закоренелых преступников, они в основном проводят время с монахами и занимаются монастырским трудом, медитацией и обучением). В любом случае, они в сущности оказываются удалены из размножающейся популяции на длинные промежутки времени, а порой и навсегда.

Напоследок, поскольку страна завершила демографический переход несколько тысячелетий назад, показатели естественной фертильности находятся сильно ниже уровня замещения. Ангелы поддерживают популяцию на желаемом уровне путем выплат пособий семьям, желающим заводить и воспитывать детей, а самую большую поддержку получают люди, готовые использовать для оплодотворения гаметы, отобранные Жрецами Истины с тем, чтобы с высокой вероятностью создавать хороших людей (где «хороший», как обычно, означает «имеющий склонность увеличивать значение функции, описанную в Ризурион-Силк», но обычно включает интеллект, сострадание, здравомыслие, здоровье и творческие способности).

Несмотря на то, что эти меры дают сравнительно небольшой эффект в масштабе одного поколения, за сотни лет они преобразовали население страны, так что теперь они превосходят средний уровень по Сзире практически во всех желанных характеристиках.

Штаб-квартира Жрецов Истины

Вдобавок к этому идеал Галисйин включает евтенику — улучшение людей путем улучшения окружающей их среды. Мое старое Руководство для родителей-биодетерминистоввесьма характерный для райколин подход, и его советы (уточненные и проверенные сотнями лет непрерывных исследований) — закон, иногда священное писание. Некоторые евтенические вмешательства более проактивны: к примеру, в водопроводе содержится строго оптимальное количество лития. Изредка даже проводятся кампании по избавлению от токсоплазмы (по крайней мере среди мужчин), хотя нахождение в арктическом климате само по себе выполняет большую часть работы по уменьшению числа паразитов.

Помимо чисто биологических мер, существует система образования, которая не имеет почти ничего общего с тем, что называется этим в нашем обществе. Крайне мало времени уделяется обучению истории, науке, музыке или грамматике — подразумевается, что правильным образом биодетерминированная популяция со свободным доступом к бесплатным библиотекам научится всему этому сама. Вместо этого школа полностью сосредоточена на привитии хороших привычек мышления, которые сделают людей добродетельными и ответственными членами общества.

В программе сделан большой упор на медитацию; студенты в течение пяти-десяти лет медитируют по часу в день под руководством Жрецов Красоты, которые являются экспертами в этой дисциплине. Цель в том, чтобы достичь практически идеального самоконтроля, низкой тревожности, сострадания к остальными и продолжительного счастья (если какие-либо из исследований, показывающих, что медитация улучшает академическую успеваемость, подтвердятся, это лишь очередной бонус).

Второй предмет, которого не найдешь в реальных школах, это Экспериментальная Теология, то есть национальное спонсированное школой употребление психоделиков. Идея здесь в том, что годы исследований химических веществ вроде ЛСД и псилобицина строго научно подтвердили их способность вызывать перманентные положительные изменения личности, и в процессе умственного развития детей их при помощи этих веществ посвящают в разные уровни мистических переживаний таким образом, чтобы дать им больше любви, энергии и чувства общности.

Третья и наиболее важная дисциплина — рациональность. Этот предмет — отличие между утопией и антиутопией; его задача — объяснить всем принципы, лежащие в основе их общества и дать им инструменты, необходимые для участия в политике, либо для осознанного отказа от нее. Первым идет обучение идеальному философскому языку Кадамику. Затем следует обучение чему-то вроде турбо-версии критического мышления, возможного лишь на Кадамике (однако мне хочется думать, что Цепочки LessWrong — неплохое диалектное приближение). После этого — достаточно математики и науки, чтобы понимать аналоги нашей Теории Рационального Выбора, Теории Игр, Эволюционной Психологии, Теории Принятия Решений и так далее — вещей, необходимых для понимания морали и устройства правительства. Наконец следует знакомство с моралью, принципами, лежащими в основе Ризурион-Силк, и еретическими системами, конкурирующими с ним.

Обучение завершается чем-то наподобие румспринги, когда молодые юноши и девушки покидают Сияющий Сад и путешествуют по Сзиро и по всему остальному миру, посещая как ее наиболее свободные и богатые регионы, так и наиболее бедные и безнадежные. Затем им предложен выбор между возвращением в Райкот, жизнью в «колониях» — ряде лежащих вне страны территорий, населенных преимущественно райколинами, отвергающими глубоко упорядоченную жизнь в Сияющем Саду — или переездом на материковую часть Сзиро. Те, кто выбирают последнее, получают бесплатные уроки сзирианского языка и помощь по интеграции в местную культуру, но большинство находят ее странной, неприятной и варварской, и решают в конце концов остаться в Райкоте.

На протяжении своей взрослой жизни райколины продолжают свою самокультивацию при поддержке Жрецов Красоты, которые представляют из себя что-то среднее между священниками, психологами и психиатрами. Они демонстрируют скорее дружелюбие пастора, чем сахарную манеру психотерапевта или клиническую манеру врача, но при необходимости обладают достаточным опытом, чтобы прописывать поразительное разнообразие препаратов и добавок, многие из которых полностью неизвестны или до нелепого строго запрещены здесь, на Земле. Они отличаются от привычных психотерапевтов абсолютной конфиденциальностью; им запрещено сообшать о своей пастве властям или психиатрическим учреждениям при любых обстоятельствах (у других организей такое право есть, но они не взаимодействуют со Жрецами Красоты). Это обычно приводит к доверительным отношениям, и Жрецы Истины следят за тем, чтобы они были достойны такого доверия.

Те же, кто желает достичь идеала, недоступного простым Галисйин, отправляются в монастыри — порядка дюжины уединенных высоко в горах сообществ размером с малые города. Там они выращивают собственную пищу, медитируют, обучаются и пытаются жить более или менее в гармонии с природой. Несколько монастырей дали клятву принимать любого, кто пожелает присоединиться, обеспечивая таким образом ценный нижний предел страданий и нищеты, с которыми кому-либо приходится столкнуться.

Это первый раз, когда мне приходилось рассказывать о Райкоте кому-либо вне сообщества мироконструкторов, так что если у вас есть какие-либо вопросы, задавайте их, и я попробую ответить подробнее.

Перевод: 
zaikman
Оцените качество перевода: 
Средняя оценка: 4.7 (11 votes)

Предотвращение Ашибок

Скотт Александер

Ты просыпаешься в коконообразной штуковине как в «Матрице». Перед тобой стоит женщина, она в белом халате и с планшетом в руках.

— Привет, — говорит она. — Это настоящий мир. Раньше ты жил здесь. Мы стёрли твою память и поместили тебя в симулятор как в «Матрице». Это часть громадного эксперимента.

— Что?! — восклицаешь ты. — Вся моя жизнь это ложь? Как вы могли держать меня в каком-то «эксперименте», на участие в котором я даже не соглашался?

— Вообще-то, — говорит женщина, — cоглашался за несколько дополнительных баллов по семестровому курсу психологии, — она передаёт планшет. На нём лежит бумага с согласием, написанная твоим почерком.

Ты робко смотришь на неё.

— А в чём заключался эксперимент?

— Знаешь, что такое «семья»? — спрашивает женщина.

— Конечно.

— Ага, — говорит она, — они не взаправду. Подумай сам, это же не имеет никакого смысла. Почему кто-то должен заботиться о своих генетических братьях, дядях и ком бы то ни было ещё сильнее, чем о друзьях или людей, которые искренне ближе к тебе? Это как расизм, только хуже. По крайней мере, расисты идентифицируют себя с группой из миллионов людей, а не пары десятков. С чего бы родители воспитывали детей, которых они могли даже не любить, которые могли получиться случайно? С чего бы люди из стыда прикладывали титанические усилия, чтобы узнавать о самочувствие дальних родственников, которых бы с радостью полностью забыли?

— Эм, я не в настроении философствовать. Семьи существовали всегда и никуда не денутся, о чём спорить?

— На самом деле, — говорит женщина, — в настоящем мире никто не объединяется в семьи. У нас нет такой вещи. Детей забирают при рождении от родителей и отдают другим людям с контрактом воспитывать их в обмен на фиксированный процент от их будущих заработков.

— Это чудовищно! Как такое произошло? Были ли протесты?

— Так всегда было. Семьи никогда не существовали. Послушай. Ты был участником исследования, почти как в эксперименте Аша о конформности. Нашей целью было узнать, будут ли люди, воспитанные в обществе, где все придерживаются мнения X и всё крутится вокруг X, способны хотя бы критически взглянуть на X или заметить, что X — это глупо. Мы попытались придумать самое идиотское возможное убеждение, в которое в реальном мире никто никогда не верил и даже не рассматривал всерьёз, чтобы убедиться, что мы изолировали эффект конформности и не столкнулись с какой-то действительно обоснованной точкой зрения. Так мы пришли к идее «семей». В нашем мире есть расисты, мы не идеальны. Но насколько я знаю, никто никогда не утверждал, что следует выделять дополнительные ресурсы людям, генетически близким именно к тебе. Это как сведение к абсурду расизма. Так что мы попросили знакомого аспиранта смоделировать мир, где эта идея бы воспринималась как статус кво, и поместили в симуляцию двадцать студентов, чтобы посмотреть будут ли они сомневаться в посылке или примут её как данность.

— Конечно, мы не будем сомневаться в посылке, ведь она…

— Не хочу перебивать, но я подумала, тебе следует знать, что каждый из остальных девятнадцати подопытных по достижении возраста, когда мозг, куда они были записаны, становился способным к абстрактному мышлению, мгновенно определил, что социальная конструкция семьи не имеет никакого смысла. Одна из них на самом деле вывела, что находится в психологическом эксперименте, потому что не было ни одного другого объяснения, почему все поддерживают столь безумную идею. Остальные восемнадцать просто решили, что иногда объективно несправедливые идеи просто ложатся на общественное сознание, как было на американском юге до гражданской войны. Южане думали, что рабство абсолютно естественно и только немногие аболиционисты могли противиться общественному укладу. Наш эксперимент по конформности провалился. Ты единственный, кто купился на наш трюк целиком и полностью.

— Как так случилось, что я единственный?

— Мы не знаем. Результаты тестов показывают, что ты обладаешь интеллектом слегка выше среднего, так что это явно не глупость. Но мы провели участников через тест личности и для тебя он показал очень высокую экстраверсию. Мы укажем в заключении нашей работы, что выраженные экстраверты принимают групповой консенсус без размышлений и могут поверить во всё, даже во что-то столь бестолковое как «семья».

— Ну… когда вы это говорите так, это действительно звучит глупо. То есть, мои родители действительно никогда не относились ко мне особенно хорошо, но я продолжал их любить даже больше людей, которые обходились со мной искренне лучше… боже, я даже подарил матери кружку с надписью «Лучшая в мире мама» на день Матери. Это даже не имеет смысла! Я… но как же эволюционное объяснение? Разве эволюция не вкладывает в нас генетический императив любить и поддерживать семью, заслуживают они этого или нет?

— Знаешь, эволюционную психологию можно подогнать под любую историю. Ты умный, тебе не следовало относиться к таким объяснениям всерьёз.

— Но тогда как работала эволюция? Как воспроизводились животные до изобретения экономических моделей? Где они…

— Знаешь что? Давай подключим тебя к ремнемонайзеру, чтобы вернуть твои настоящие воспоминания. Это ответит на большинство твоих вопросов.

Парящая неподалёку машина засияла фиолетовым. «Это не больно…»

> точка разрыва <

Ты просыпаешься в коконообразной штуковине как в «Матрице». Перед тобой стоит женщина, она в белом халате и с планшетом в руках.

— Привет, — говорит она. — Не существует никакой виртуальной реальности. Я загипнотизировала тебя забыть все воспоминания последнего дня, чтобы хорошенько запутать. После чего поместила в этот старый купленный на eBay кусок реквизита из «Матрицы» и загрузила тебя этой историей.

— Что? — восклицаешь ты. — Вы не можете просто так гипнотизировать людей и лгать им без всякого на то согласия!

— Вообще-то, — говорит женщина, — ты действительно cоглашался за несколько дополнительных баллов по семестровому курсу психологии, — она передаёт планшет. На нём лежит бумага с согласием, написанная твоим почерком. — Эта часть была правдой.

Ты робко на неё смотришь.

— Зачем вы это сделали?

— Ну, — говорит женщина, — знаешь эксперимент Аша о конформности? Мне было интересно, сумею ли я заставить человека отбросить какое-нибудь базовое убеждение, всего лишь сказав, что остальные люди считают по-другому. Но я не могла придумать ни одного способа сделать это. В конце концов, часть фундаментального убеждения и есть, что ты знаешь, что все остальные люди тоже верят в него. Не было других вариантов убедить подопытных, что весь остальной миры был против чего-то столь очевидного как «семьи», ведь они уже знали как выглядит остальной мир.

— Так что я придумала историю с «виртуальной реальностью». Я подумала, что могу убедить участников, что настоящий мир — это ложь, и на самом деле существует «сверхнастоящий» мир, в котором все знают, что семьи это глупо, что эту идею даже не принято рассматривать. Я хотела узнать, как много подопытных отрекутся от чего-то, во что они верили всю жизнь, просто потому что «никто так не думает».

— Ага. — говоришь ты. — Интересно. Таким образом, даже наши самые дорогие сердцу убеждения более хрупки, чем мы думаем.

— Не совсем. — отвечает женщина. — Из двадцати подопытных, ты был единственным, кто высказал хоть какие-то сомнения или испытал какие-то противосемейные чувства.

— Чёрт, — говоришь ты. — Теперь я чувствую себя как идиот. Что если моя мать об этом узнает? Она подумает, что это её вина или что-нибудь такое. Боже, она подумает, что я её не люблю. Люди будут говорить об этом до конца жизни.

— Не волнуйся. Мы анонимизируем конечные данные. В любом случае, давай вернём тебе воспоминания, чтобы ты мог идти по своим делам.

— Вы можете восстановить мои воспоминания?

— Конечно. Мы загипнотизировали тебя, чтобы ты забыл события последнего дня, пока не услышишь ключевое слово. И это ключевое слово…

> точка разрыва <

Ты просыпаешься в коконообразной штуковине как в «Матрице». Перед тобой стоит женщина, она в белом халате и с планшетом в руках.

— Привет! — говорит она. — Гипноз — псевдонаука и не работает. Всё это время ты находился в виртуальной реальности.

— Чё, — говоришь ты.

— В смысле, что я сказала в начале, было правдой. Все твои воспоминания о жизни с родителями и всё такое — фальшивка из виртуального мира, как в «Матрице». Концепция «семьи» — действительно абсолютная чушь, и никто в настоящем мире её не поддерживает. Всё, что ты услышал в первый раз, было правдой, а ерунда про гипноз и купленную на eBay капсулу из «Матрицы» — ложью.

— Но… зачем?

— Мы хотели посмотреть, насколько сильно покажет себя твоя конформность. Ты наш испытуемый номер один, единственный, на котором мы смогли наблюдать этот эффект. Мы так и не поняли, почему он проявил себя: то ли ты очень легко поддаёшься внушению, то ли просто никогда всерьёз не рассматривал идею, что «семья» — это безумие. Так что мы решили попробовать что-то вроде… перекрёстного теста, если так можно выразиться. Мы выгрузили тебя из симуляции и рассказали об эксперименте. После того, как мы объяснили, как на самом деле выглядит мир, дали тебе все ментальные инструменты для отбрасывания «семейной» гипотезы, даже вытянули из тебя, что наша идея верна, мы захотели посмотреть, что будет, если отправить тебя обратно. Будешь ли ты отстаивать приобретённое знание и храбро бороться с предрассудками общества? Или сменишь сторону ещё раз и будешь жить, будто семьи имеют смысл, в про-семейном окружении?

— И я выбрал второй вариант.

— Да. Как психолог, я должна оставаться нейтральной и никого не осуждать. Но согласись, это довольно тупо.

— Есть ли в вашем мире комитет по экспериментальной этике, с которым я могу пообщаться?

— Извини. Экспериментальная этика — ещё одна из очевидно идиотских концепций, которые мы установили в симуляцию, чтобы посмотреть, заметите ли вы. Серьёзно, верить, что прогресс науки должен сдерживаться предрассудками ханжествующих дураков? Это почти так же глупо, как думать, что у тебя была… как она называлась… «сестра».

— Хорошо. Я понимаю, что немного переборщил с помощью сестре, но экспериментальная этика кажется довольно важной. Например, что случится со мной сейчас?

— Ничего особенного. Данные анонимизируются. Мы сохраним всё в тайне, восстановим твои воспоминания и ты можешь жить, как жил.

— Эм, учитывая последние события, я… не особенно уверен, что хочу, чтобы мои воспоминания восстанавливали, — ты смотришь на ремнемонайзер, парящий над тобой. — Почему бы мне просто не…

Женщина щурит глаза. — Извини. Я не могу тебе этого позволить.

Машина снова начинает сиять.

> точка разрыва <

Ты просыпаешься в коконообразной штуковине как в «Матрице». Перед тобой стоит женщина, она в белом халате и с планшетом в руках.

По твоим подсчётам это происходило уже триста сорок шесть раз.

По всей видимости, есть всего два разных сценария. В одном женщина говорит, что семьи существуют и всегда существовали. Говорит, что использовала гипноз, чтобы заставить тебя поверить в альтернативу, в мир с другой женщиной. Она спрашивает, что ты чувствуешь по отношению к семьям, и ты отвечаешь.

Иногда она отпускает тебя. Ты идёшь домой к матери и отцу, проводишь немного времени с сестрой. Иногда говоришь им, что произошло. Иногда нет. Ты ценишь время с ними, но также сверханализируешь всё, что делаешь. Почему именно ты ценишь время с ними? Отец, который ходит в бар каждый день и который изменял жене больше раз, чем ты можешь сосчитать. Мама, которая никогда не была на твоей стороне, когда ты больше всего в ней нуждался. Сестра, которая хорошо к тебе относилась, но не лучше, чем миллионы других людей относились бы в её позиции. Они настоящая твоя семья? Или всего лишь отражение чего-то идиотского, невозможного, несуществующего?

Это не особо имеет значение. Иногда ты проводишь с ними день. Иногда десять. Но всегда в течение месяца ты просыпаешься в коконообразной штуковине как в «Матрице».

Во втором сценарии развития событий, женщина говорит, что семьи не существуют, и их никогда не было. Говорит, что использовала виртуальную реальность, чтобы заставить тебя поверить в альтернативу, в мир с другой женщиной. Она спрашивает, что ты чувствуешь по отношению к семьям, и ты отвечаешь.

Иногда она отпускает тебя. Ты идёшь в строение, сделанное из биопластика, где живёшь с тщательно подобранным набором друзей и романтических партнёров. Они заверяют тебя, что все остальные живут так же. Иногда старый и состоятельно выглядящий человек звонит тебе на видеофон. Он напоминает, что инвестировал в твоё воспитание немало денег, и если есть ещё какой-то способ помочь тебе увеличить будущий заработный потенциал, можешь дать ему знать. Иногда ты говоришь с ним. Он использует странные выражения и изредка даёт советы по ведению бизнеса.

Это не особо имеет значение. Иногда ты проводишь день в доме из биопластика. Иногда десять. Но всегда в течение месяца ты просыпаешься в коконообразной штуковине как в «Матрице».

— Послушай, — говоришь ты женщине, — я устал от этого. Я знаю, что вы не связаны никаким комитетом по экспериментальной этике. Но пожалуйста, ради бога, пощадите меня.

— Бога? — спрашивает она. — Что означает это слово? Я никогда не… а, точно, мы использовали это в прототипе нашей симуляции. Мы подумали, что «семья» это лучшая идея для теста, но Тодд, должно быть, забыл обнулить симулятор.

— Было уже триста сорок шесть циклов. Наверняка ничего нового вы от меня не узнаете.

— Мне об этом судить. Теперь скажи мне, что ты думаешь о семьях.

Ты отказываешься. Она вздыхает. Ремнемонайзер над тобой начинает светиться фиолетовым.

> точка разрыва <

Ты просыпаешься в коконообразной штуковине как в «Матрице». Перед тобой стоит фиолетовое существо с щупальцами, оно в белом халате и с планшетом в руках.

— Привет, — говорит оно. — Людей не существует.

Ты отказываешь ему в удивлении.

— Есть только мы, 18-ткенна-дганна-07.

— Хорошо, — говоришь ты. — Я хочу ответов.

— Разумеется. Мы хотели найти оптимальный уклад общества.

— И?

— И я пока не могу сказать, реальны ли семьи или нет по причинам, которые сейчас станут понятны, но сама идея как минимум достаточно интересна, чтобы быть включённой в пространство гипотез, достойных исследования. Но мы не доверяем себе в этом. Это всё старая проблема конформности Аша. Если у нас есть семьи, то философы, занимающиеся оценкой общественной структуры последуют традиции и решат, что семьи нужны. Если нет, то решат, что нам и не стоит их заводить. Так что мы придумали процедуру, которая бы создала существо, лишённое искажения конформности и способное справедливо оценить вопрос семей.

— И это то, что произошло со мной.

— Да. Только подвергнув тебя полному погружению в дилемму, не позволяя тебе положиться на решения других, мы могли быть уверенны в твоём вердикте. Только позволив тебе ощутить, насколько очевидно нужны семьи, когда ты «знаешь», что они нужны, и как очевидно бесполезны семьи, когда ты «знаешь», что они бесполезны, могли мы ожидать, что ты приобретёшь мудрость с обеих сторон проблемы.

— Я понимаю, — и ты действительно понимаешь.

— Тогда, о, Очищенный, — спрашивает пришелец, — скажи же нам своё решение.

— Ну, если честно, мне кажется, что обе стороны имеют примерно одинаковое количество плюсов и минусов.

— Бля, — говорит 18-ткенна-дганна-07.

Примечание редактора сайта. Название рассказа содержит непереводимую игру слов. Фамилия известного учёного Соломона Аша созвучна слову «ash», которое означает «прах» или «пепел». Название «Asches to Asches» отсылает к Ашу, но созвучно известной фразе «прах к праху» из погребальной молитвы.

Перевод: 
zaikman
Оцените качество перевода: 
Средняя оценка: 5 (28 votes)

Это ты сделал мои голубые глаза голубыми

Скотт Александер

Нулевой день

Всё началось с невежественного белого человека.

Его звали Алонсо де Пинсон, корабль, на котором он служил, разбился. Мы услышали, как он зовёт на помощь, и вытащили его на берег, несмотря на непрерывно усиливающийся шторм. Он рассказал, что его галеон затонул, и ему одному повезло выжить, ухватившись за весло. Сейчас он грелся в нашем охотничьем домике, дрожа и стуча зубами. Мы общались на Полинезийском торговом жаргоне, единственном языке, которым владели все мы.

«Большой ли остров? И сколько вас здесь?»

Дахо ответил первым: «11,8 миль с запада на восток, 3,6 мили с севера на юг. Общая площадь 14,6 квадратных миль, длина береговой линии зависит от желания углубиться во фрактальную природу периметра, но в разумных предположениях примерно 32 мили. По последней переписи населения на острове проживали 906 человек, но это было два года назад, предполагая, что 5,1% рост популяции продолжится, сейчас мы приближаемся, ммм, к 1000. Все остальные сейчас, наверное, в деревне. Мы впятером отправились на охоту и застали шторм. Пережидаем его в этом старом охотничьем доме, всё-таки 5,5 миль до деревни, а по такой местности, учитывая плохие погодные условия — дорога домой, вероятно, займет более 9,5 часов».

Пинсон моргнул от удивления.

«Что такое?» — спросил Дахо.

«Но…» — засомневался он, — «Такого ответа я ожидал бы от какого-нибудь философа. Никак не от дикаря».

«Дикаря?» — прошипел Калкас, — «В самом деле? Мы спасли тебя, а первым делом ты называешь нас дикарями?»

Встревоженный, моряк заёрзал на месте и покосился по сторонам. С ужасом в голосе он зашептал:
«Но я слышал о вашем острове! Я слышал, что вы людоеды!»

Калкас улыбнулся. «Это лишь мера устрашения, превенция. Обычно, когда европейцы высаживаются где-то, они убивают мужчин и порабощают женщин, а детей обращают в христианство. Эту участь избегают только племена, имеющие репутацию поедающих европейских так называемых путешественников. Вот мы и решили добиться такой репутации» — закончил он, пожав плечами.

«Нам пришлось пойти на крайнюю меру несколько раз, чтобы наше сдерживание имело вес», — добавила Бекка, моя невеста, — «И вы, кстати, ничего так с кетчупом».

«Это дикарское поведение!» — возмутился Пинсон, — «И вы даже выглядите как дикари. У вас в волосах кости».

«Только у Энули», — сказал я, — «Она проходит готическую фазу».

«Меня, вообще-то, зовут Мортикия!» — заявила Энули, — «И это никакая тебе не фаза!» У неё была кость в волосах, лицо в белилах, а глаза подведены чёрным.

«Ещё жареной свинины?» — спросила Бекка Пинсона. Моряк кивнул и она положила ему добавку.

«Я просто не могу понять», — сказал он нам, — «Все остальные в этой части света живут в соломенных домах и считают „один, два, много». Мы пытались торговать с ними, но они не понимают сути денег. Вот так вот!»

Бекка посмотрела на меня, закатив глаза, я в ответ улыбнулся. Калкас оказался терпимее. «Священное для нашего народа растение называется огненная трава», — объяснял он, — «Когда употребляешь её, мысль становится яснее, думаю, так можно сказать. На острове мы стараемся каждый день принимать её по чуть-чуть, это помогает держать в голове такое, как численность населения, размеры острова и многое другое».

Алонсо де Пинсон заинтересовался: «И почему вы не сделали чего-то большего со своим интеллектом? Не придумали галеоны, как мы испанцы? Не отправились колонизировать Таити или другие острова? Если вы такие умные, как кажетесь, вы могли бы завоевать их и забрать себе богатства».

«Может быть», — сказал Калкас, — «Но это не то, для чего Бог Вулкана послал нам свыше огненную траву. Он даровал её, чтобы мы соблюдали все его сложные наставления, правила и ритуалы».

«Вам нужно быть умными, чтобы соблюдать ритуалы?»

«О, да. Например, Скрижали Энку велят нам считать число дней со дня общения Энку Законотворца с Богом Вулкана и в дни, по счёту равные простым числам Мерсенна, мы не можем есть овощи».

«Что такое числа Мерсенна?» — спросил моряк.

«Вот в этом и суть», — ответил Калкас, заулыбавшись.

«И это не самое плохое правило!» — добавил Дахо. Скрижали Пророка велят устраивать купания в водопаде каждый раз, когда для номера дня Х существуют натуральные a и b, такие что a^n + b^n = x^n, где n больше двух. Это доставляло немало хлопот, пока Калухани не объелся недельной порцией огненной травы и за ночь не доказал, что такой день не наступит до скончания времён.»

«Воля Бога Вулкана есть истина», — согласился Калкас.

«Хоть и бедного Калухуани потом рвало три дня», — напомнила нам Бекка, и все засмеялись.

«Ой!» — воскликнула Дахо, — «А помните, как Ухуако пытался татуировать всех, кто не может татуировать себя и не мог понять, должен ли он татуировать себя сам. В конце концов, съел целый куст огненной травы и разработал аксиоматическую теорию множеств. Это было феерично».
Все, кроме Алонсо де Пинсона, захихикали.

«Видишь, в этом всём дело», — сказал Калкас, — «Поэтому Бог Вулкана и послал нам огненную траву».

Пинсон нахмурился: «Знаете, я не думаю, что вы, вообще, Полинезийцы. Вы должны быть потомками европейцев. Наверное, какой-нибудь галеон разбился у этого острова сотни лет назад, и так появились вы. Это бы объяснило, почему вы такие умные».

«Знаешь, что мы ещё изобрели нашими великими умами?» — спросила Бекка, — «Не. Быть. Расистами».

«Это не расизм!» — начал отнекиваться Пинсон, — «Слушайте, есть ещё одна причина думать, что вы пошли от европейцев. У вас, конечно, тёмная кожа, но это первое место во всей Полинезии, где я видел туземцев с голубыми глазами».

Бекка затаила дыхание. Калкас стиснул зубы. Дахо сжал руки в кулаки. Энули начала хныкать.

Мы переглянулись, затем, не сговариваясь, схватили Алонза де Пинсона и задушили его.

Он тоже оказался хорош с кетчупом.

Первый день

Светало, утро было холодным и серым. Море штормило.

«Что же», — сказал я, когда оставшиеся четверо проснулись, — «Мы все всё ещё здесь».

Я был угрюм. Не то чтобы я хотел, чтобы кто-то из моих друзей свёл счёты с жизнью. Но если бы кто-то из них совершил ритуальный суицид, весь этот ужас прекратился бы. Конечно, я знал, что так легко нам не отделаться. Но я не мог признать, что я знал. Я даже не мог этого предложить. Это сделало бы меня не лучше моряка-испанца.

«Эй», — недоумевала Энули, — «Я не понимаю, почему мы не должны быть здесь?»

Всё остальные взглянули на неё так, будто она сошла с ума.

«Энули», — начал Калкас, — «ты забыла принять огненную траву вчера?»

«Во-первых, меня зовут Мортикия. И…»

«Забей. Ты забыла про огненную траву?»

Она робко кивнула. «Я была так расстроена из-за шуток этого ужасного человека о косточке в моей причёске», ответила она, — «Думаю, поэтому вылетело из головы. Я приму немного сейчас». Взяв горсть огненной травы из нашей сумки, она принялась молоть и толочь её: «Расскажите мне, что происходит».

«Алонсо де Пинсон сказал, что хотя бы у одного из нас голубые глаза. Мы все знаем, что велят Скрижали Энку. Если у кого-то голубые глаза, и он об этом знает — он должен принести себя в жертву».

«И что? Я вижу голубоглазых каждый день. Конечно, кто-то из нас обладает голубыми глазами».

Все забеспокоились. Я поразмыслил несколько секунд, огненная трава разгладила пути моих мыслей в мозгу. Не-а, она не добавила ничего нового произнеся это, хотя она добавила бы, сказав это до прибытия моряка и даже до нашего пробуждения сегодня. Она не сделала хуже. Но всё же это было опасно. Одна из тех вещей, из-за которой нельзя забывать принимать огненную траву. В другой раз такая реплика обрекла бы нас всех.

«Всё так», — начал я рассказывать Энули, — «Предположим, нас всего двое и у нас голубые глаза. Конечно, ты видишь меня и знаешь, что у меня голубые глаза. Так что ты знаешь, что хотя бы один из нас голубоглазый. Но ты не знаешь, что я тоже знаю это. Потому, исходя из доступной тебе информации, у тебя могут оказаться глаза другого цвета, скажем, карие. Если бы у тебя были карие глаза и я, конечно, не знал бы цвет своих собственных глаз, тогда я бы считал возможным, что мы оба кареглазые. Таким образом, ты знаешь, что хотя бы один из нас голубоглазый, но не знаешь, что это знаю и я. Как только появится Алонсо де Пинсон и скажет, что один из нас имеет синие глаза, теперь ты знаешь, что и я знаю это».

«Ну и?» — Энули засыпала получившийся порошок в кружку с кипящей водой.

«Скрижали велят каждому узнавшему цвет своих глаз совершить суицид ровно в полночь этого дня. Исходя из того, что я знаю, один из нас голубоглазый, будь у тебя карие глаза, я бы понял, что мои голубые. Поэтому следующим утром, проснувшись и обнаружив меня живым, ты понимаешь, что твои глаза не карие. Значит ты голубоглазая и должна принести себя в дар Богу следующей ночью. Как и я».

Энули отпила настойки и её глаза оживились. «Конечно, очевидно», — воскликнула она. Потом: «Стоп. Если подумать, станет ясно: любая группа из n голубоглазых, узнавшая, что среди них хотя бы один голубоглазый, обречена на смерть в n-ую ночь!»

Мы все кивнули. Энули приуныла.

«Не знаю, как вы, но я не готов просто сидеть и ждать умру я или нет», — сказал Дахо. Раздался одобрительный шёпот.

Я оглядел своих друзей. Четыре пары голубых глаз смотрели на меня. Все остальные видели либо четыре пары голубых глаз, либо три в зависимости от цвета моих глаз. Конечно, я не мог сказать это вслух; это ускорило бы процесс и стоило бы нам драгоценного времени.

Но я знал.
И они знали.
И я знал, что они знали.
И они знали, что я знал, что я знаю.
Но они не знали, что я знаю, что они знают, что я знал.
Вот о чем я думал.

Я взглянул на Бекку. Её большие синие глаза смотрели на меня в ответ. Всё ещё была надежда, что я выживу. Моя суженая, с другой стороны, абсолютно точно была обречена.

«Ну, и дела», — согласился я, — «Нам придётся придумать какой-нибудь план. Может… Энули неясно мыслила вчера, поэтому её не совершение самоубийства не считается. Можно ли что-то придумать на основании этого?»

«Не-а», — сказал Калкас, — «Предположим, Энули была единственной голубоглазой, а у всех остальные карие глаза. Тогда она поймёт это и совершит ритуал сегодня. В противном случае мы всё ещё обречены».

«Знаете», — начал Дахо, — «Мне не хотелось бы это говорить, но нам нужно избавиться от Энули. На пляже у скал есть небольшое каноэ. Она может отчалить и отправиться на Таити. В таком случае мы никогда не узнаем убила ли она себя этой ночью. Помните, сейчас мы знаем только то, что Энули может быть единственной голубоглазой среди нас. Поэтому, если мы будем сомневаться, убила ли она себя или нет, мы не сможем быть уверенными в том, что все остальные из нас не кареглазые».

Все задумались над этим.

«Я не отправлюсь на Таити», — отказалась Энули, — «В такой шторм это верная смерть».

Мы пристально на неё взглянули.

«Если ты не покинешь остров, то, как мы все можем доказать, все мы погибнем и ты в том числе», — сказал я.

«Что же, Ахуа, если ты такой любитель самопожертвования, то почему бы тебе самому не отправиться на Таити?»

«Во-первых, я не оставлю свою невесту», — начал я. «Во-вторых, это не работает в моём случае. Я знал, что произошло прошлой ночью. Мы уже знаем, что, не учитывая меня, среди нас есть один голубоглазый. И мы знаем это; и мы знаем, что мы знаем это и так далее. Ты единственная, кто может спасти нас».

«Ага», — начала Энули, — «Вообще, если вы двое отправитесь на Таити, то проблема будет решена тоже».

«Да», — терпеливо ответил ей Дахо. «Но так двое из пятерых окажутся в изгнании. Если ты отправишься на Таити, то только один из нас будет страдать. Утилитарное решение».

Энули ехидно улыбнулась: «Знаете, что? Я скажу это. Я не единственная голубоглазая здесь. Хотя бы у одного из вас голубые глаза».

Началось.

«Ха! Теперь я не хуже, чем любой из вас».

«Убьём её», — сказала Бекка, — «Она нарушила табу». Остальные кивнули.

«Нарушила», - согласился Калкас, «И будь у нас здесь суд, возглавляемый верховным жрецом, а также топор палача, точно соответствующий всем стандартам, мы бы ее убили. Но так как всего этого нет, для нас табу выносить смертный приговор».

Отец Калка был верховным жрецом. Он знал закон лучше, чем любой из нас. Мы пятеро сидели тихо и думали об этом. Потом он добавил:

«Но её душа будет до скончания дней гореть в бездне Бога Вулкана»

Энули начала плакать.

«И», — продолжил Калкас, — «Тем не менее в нашем плане есть дыра. Из того, что мы знаем, из нас пятерых трое кареглазых. Мы не можем сказать тем, у кого голубые глаза, что их глаза голубые, не нарушив табу. Так что мы не можем заставить голубоглазых плыть на Таити. Но если двое кареглазых отправятся туда, тогда мы не потеряем никакой информации. Мы знаем, что они не совершат самоубийства, так как не поймут, какого цвета у них глаза. Так что путешествие на Таити не поможет».

Все согласились, Калкас был прав.

«Давайте подождем до завтрашнего обеда», — предложил я. «Каждый примет немного огненной травы и, может быть, мы сможем что-нибудь придумать».

Второй день

Солнце вышло из-за мрачных чёрных облаков. Мы проснулись вместе с ним.

«Что ж, вижу, мы все всё ещё здесь», — начал я, превращая утреннюю перекличку в зловещую привычку.

«Так», — начала рассуждать Бекка. «Предложение о Таити будет намного лучше, если бы мы знали сколько голубоглазых и кареглазых здесь. Если у нас всех голубые глаза, мы можем быть уверенными, что план „Таити» сработает и некоторые из нас будут спасены. Если у кого-то из нас карие глаза, то мы можем отправить на Таити столько людей, чтобы с высокой вероятностью туда отправилось достаточно голубоглазых».

«Мы можем мечтать о чём угодно», — сказала Энули, — «но знай мы точно сколько голубоглазых, а сколько кареглазых, нам бы пришлось покончить с собой прямо сейчас».

«А что насчёт вероятностного знания?» — спросил я. «В теории, мы могли бы создать вероятностную модель, позволяющую нам иметь 99,99% уверенность в цвете наших глаз, не будучи уверенными точно».

«Это довольно глупо», — ответила Энули, в тот самый момент, когда Калкас воскликнул: «Замечательно!». Он продолжил: «Слушайте, только между нами, все остальные в деревне имеют голубые глаза, да?»

Мы кивнули. Было страшно слышать, как об этом говорят так непринуждённо. Настоящее хождение по лезвию бритвы, но не нарушающее ни одного табу.

«Так», — продолжил Калкас, — «Мы знаем, что на острове хотя бы 995 из 1000 имеют голубые глаза. И да, раз никто не совершил ритуальный суицид вчера, то хотя бы у трёх из нас голубые глаза, что даёт 998 из 1000. Значит, по правилу Лапласа, вероятность, что у нас голубые глаза превосходит 99%. Ничего, из того что я сказал, не является табу. Ничего такого, что островитяне не знают сами. Но никто из них ещё не убил себя… Поэтому, не привнося никакой информации о наборе цветов нашей группы, разумно предположить, что все мы голубоглазые».

«Мне действительно жутко, когда ты так говоришь», — сказал Дахо, его руки были покрыты мурашками.

«Я не думаю, что бог Вулкана, наделивший нас разумом и интеллектом, ожидал от нас отказа от использования их», - сказал Калкас. «Предположим, что все мы голубоглазые. В этом случае, план с переездом на Таити подходит».

«Та-а-а-а-а-а-ак», — возразила Бекка, — «Если вероятностное знание не считается, то никакая информация не должна считаться. В любом случае остаётся шанс, что восхитительный на вкус моряк солгал. Тогда, когда он сказал, что хотя бы у одного из нас голубые глаза, всё что мы знаем, что с большой вероятностью у одного из нас голубые глаза».

«Именно!» — сказал Дахо. «Я читал книгу, которую прибило к берегу c потерпевшего кораблекрушения галеона. Там в Европе, есть племя, называемое Евреи. Священная книга предписывает им исключать внебрачных детей из общины. Их лидеры находят это несправедливым, но они не могут противоречить Священному Писанию. Так что вместо этого они объявили, что внебрачные дети должны быть исключены, только если доподлинно известно, что они внебрачные. Затем они объявили, что никаких доказательств не хватит, чтобы убедить их в этом. Всегда есть вероятность, что женщина втайне занялась сексом с мужем за девять месяцев до этого или просто врёт об этом. А если, по всей видимости, женщина была неженатой, то она могла обручиться втайне. Они решили, что допустимо ошибиться из-за излишней осторожности и никто не был достаточно внебрачным, чтобы быть исключённым из общины. Мы можем попробовать то же самое здесь».

«Да!» — воскликнул я. «Если даже мы посмотрим на своё отражение и прямо перед собой увидим голубые глаза, это может быть так, что демон иллюзий подменяет наше наблюдение».

«Нет, нет, НЕТ!», — возмутился Калкас, — «Скрижали Энку говорят, что человек не может знать цвет своих глаз и не положено нам это обсуждать. Из закона ясно следует, что услышанная от кого-то информация о цвете своих глаз считается доказательством голубоглазости. Никакая вероятность не имеет значения».

«Это глупо», — запротестовала Бекка.

«Таков закон», — ответил Калкас.

«Давайте тогда выполним план „Таити»», — предложил я. Я собрал пять камней с пола хижины. Два белых и три чёрных. «Белый — остаёшься, чёрный — Таити. Закройте глаза и не подглядывайте».

Бекка, Калкас, Дахо и Энули вытянули по камешку из моей руки. Я взглянул на оставшийся. Чёрный. Подняв глаза, я увидел улыбающихся Калкаса и Энули, в их руках были белые камни. Бекка и Дахо не улыбались. Тяжело вздохнув, Дахо посмотрел на меня умоляюще.

«Нет, решено,» — сказал я, — «Мы втроём отчалим сегодня ночью».

Калкас и Энули едва сдерживали облечгение и радость.

«Вы расскажете нашим семьям, что произошло?»

С горечью они кивнули.

Мы начали собирать вещи.

Свинцовые тучи отняли последнюю надежду на лунный свет. Пришлось идти в кромешной тьме.

«Как мы, вообще, доберёмся до каноэ в такую погоду?!» — прокричала мне Бекка, схватив за руку. Я лишь сжал её руку в ответ. Дахо может быть сказал что-то, а может и нет. Я не смог бы его услышать. По грязи, под дождём в кромешной тьме у нас ушло два часа, чтобы преодолеть какую-то милю. Каноэ были там, где мы их оставили несколько дней назад. Скалы стали нашим временным убежищем от барабанящего ливня.

«Это безумие!» — сказал Дахо, как только мы могли услышать друг друга снова. «Нет ни малейшего шанса, что мы доплывём до Таити на этом!» «Мы вряд ли продержимся даже милю!» — согласилась Бекка.

«Да», — ответил им я. Я понимал это всё время по пути в пещеру, но теперь я был в этом уверен. «Да, это подобно смерти. Но мы должны на это пойти, если мы не сделаем это сегодня, то вернёмся к остальным. И мы всё равно покончим с собой. И Калкас с Энули умрут тоже».

«Нет!» — возразил Дахо, — «Мы вернёмся к ним и скажем, что добраться до Таити невозможно. После предложим им нужно ли нам всем умереть. И, если они согласятся, мы вытянем камни снова: четыре чёрных и один белый. Один шанс на жизнь».

«Каждый из нас вытянул свой цвет, — ответил я. «Честная лотерея — это справедливо».

«Справедливо?!» — возмутилась Бекка. «Мы тянули камни, чтобы решить, кто отправится на Таити. А не для того, чтобы решить, кто должен умереть. Если вытянутые камни обязывали нас отправиться насмерть, они должны были об этом сказать и тогда, возможно, мы потратили бы побольше времени на обдумывание других возможностей. Почему нам нужно умереть? Почему другие не могут? Я ненавижу её! Ахуа, ты не можешь дать мне умереть так».

Это задело меня. Я был готов пожертвовать собой, если этого требовали обстоятельства. Бекка была права. Просто отправить её в море и дать ей утонуть в тех волнах это, конечно, не согласуется с помолвкой.

«Ну, я…»

«Ахуа», — проговорила Бекка, — «Я думаю, что беременна».

«Что?»

«У меня задержка… и меня мутило сегодня утром, несмотря на то, что я не злоупотребляла огненной травой. Я думаю, что беременна. Я не хочу умирать. Нам необходимо спасти меня. Спасти ребёнка».

Я взглянул на безжалостный океан, смотрел, как волны врезаются в берег. Всего пары моментов хватило, чтобы, без сомнения, понять, что лодку перевернёт и мы погибнем.

«Хорошо», — начал я, — «Новый план. Мы втроём возвращаемся. Расскажем им, что не смогли добраться до Таити. Они заметят, что очередная полночь прошла — теперь четверо из нас должны будут умереть. Мы втроём проголосуем против смерти Бекки. Три против двух, обеспечит нам победу. Мы погибнем и Бекка вернётся в деревню, и ребёнок будет жить».

«Подожди», — возразил Дахо, — «Мне нужно проголосовать за свою смерть, чтобы Бекка выжила? Что мне с этой сделки?»

Скрижали Энки говорят, не убей ближнего своего. Так что я не стал.

«Ты получишь дополнительное время!» — грубо ответил я, — «Один день жизни во имя спасения моей суженной и нерождённого ребёнка. Потому что мы не вернёмся, если ты не согласишься. Выбор между смертью сейчас или смертью завтрашней ночью. И многое может произойти за один день».

«Например?»

«Не знаю. Мы можем придумать хороший выход из ситуации. Энки Законотворец восстанет из мёртвых и изменит закон. Что угодно. Это всяко лучше, чем метнуться в море на верную гибель».

Дахо пристально посмотрел на меня, взвесил исходы. «Да», — он выдохнул, — «Я проголосую за Бекку. Но нам лучше очень постараться придумать что-то получше».

Третий день

«Так», — начал Калкас следующим утром. «Я вижу мы все всё ещё здесь». Он не звучал удивлённо.

Я объяснил, что произошло прошлой ночью.

«Всё просто», — заявил Калкас, — «Бог Вулкана наказывает нас. Он говорит, что неправильно нам пытаться ускользнуть от наказания, отправившись на Таити. Поэтому он наслал шторм. Он хочет, чтобы мы оставались здесь до самого конца. И потом, если нам суждено, мы умрём все вместе».

«Нет!» — запротестовал я, — «Всё совсем не так! Табу не говорит, что мы все должны умереть. Оно лишь обязывает нас покончить с собой, если мы выясним цвет своих глаз! Если некоторые из нас покончат с собой, это может предотвратить кончину всех».

«Бог Вулкана не выносит бессмысленно забранных жизней», — сказал Калкас, — «Так же как и не выносит, когда его подданные отправляются в далёкие земли, где не растёт огненная трава, а законы Его нарушаются изо дня в день. Вот, что Он хочет донести до нас. Он хочет сократить наши возможности, чтобы мы остались непорочными и наши души не горели в его жерле. Как это будет с Энули». Он бросил на неё неодобрительный взгляд.

«Меня зовут…» — начала она.

«Я не думаю, что суть именно в этом», — сказал я, — «Я предлагаю нам четверым пожертвовать собой ради Бекки».

«Ты выгораживаешь её только из-за вашей помолвки», — сказала Энули.

«Именно так», — ответил я, — «Да, я выгораживаю её! Простите меня, что не могу смириться со смертью любви всей моей жизни! Может, мне следует прыгнуть в кратер прямо сейчас? И ещё она беременна? Не слышали?!»

«Люди такие люди», — сказал Калкас. «Мир! Мы все в одной лодке».

«Нет, это не так», — возразил я, — «Так, давайте проголосуем. Все, кто за спасение Бекки, скажите да».

«А все против пожертвования кого-либо морю, считающие, что воля Бога Вулкана должна быть исполнена, скажите нет». Добавил Калкас.

«Да», — Я.

«Да», — Бекка.

«Нет», — Калкас.

«Нет», — Энули.

«Нет», — Дахо.

«Какого чёрта?!» — запротестовал я.

«Нет», — повторил Дахо.

«Но ты обещал!» — проговорил я.

«Ты пообещал мне дополнительный день», — объяснил Дахо. «Подумай об этом. Калкас предложил мне два».

«Нет-нет-нет!» — разъярённо закричал я, — «Вы не можете так поступить! Серьёзно, я убью вас всех, если мне придётся».

«Тогда твоя душа будет вариться в жерле веки вечные», — сказал Калкас. «И это не поможет тебе спасти ни суженную, ни ребёнка».

«Вы не можете так поступить», — повторил я спокойнее, почти бормоча.

«Мы можем, Ахуа», — ответил Калкас.

Я потопал в свою комнату. Подавленный.

Четвёртый день

Я поприветствовал их традиционным способом: «Так, я вижу мы все всё ещё здесь».

Мы были живы. Это был наш последний день. У каждого было достаточно информации, чтобы доказать, без капли сомнения, что у всех у нас голубые глаза. В полночь каждому из нас предстояло совершить ритуальное самоубийство.

«Знаете, что?» — сказала Энули, — «Я всегда хотела вам сказать это. У ВСЕХ У ВАС ГОЛУБЫЕ ГЛАЗА! ЖИВИТЕ С ЭТИМ!»

Все кивнули. «И у тебя тоже голубые глаза, Энули», — ответил ей Дахо. Это не было уже важно.

«Подождите», — заторопилась Бекка, — «Нет! Я придумала! Гетерохромия!»

«Гетеро-что?» — спросил я.

«Гетерохромия радужки — это очень редкое состояние, когда у человека глаза разных цветов. Если у кого-то из нас гетерохромия радужки, тогда нам не доказать ничего совсем! Моряк сказал, что увидел кого-то с голубыми глазами. Но он не сказал сколько голубых глаз он увидел».

«Это глупо, Бекка», — ответила Энули. «Он сказал про голубые глаза во множественном числе. Если бы у кого-то был только один синий глаз, очевидно, он заметил бы это в первую очередь. Что-то вроде: „Это единственный остров на Таити, где у людей глаза разных цветов».

«Нет», — сказала Бекка, — «Потому что у всех нас могут быть голубые глаза, кроме, быть может, одного человека, у кого гетерохромия. И он заметил четверых, не вгляделся в глаза оставшегося».

«Энули только что сказала», — ответил Калкас, — «что у нас голубые глаза».

«Но она не сказала сколько!»

«Ладно», — сказал Калкас, — «если только у одного из нас на самом деле гетерохромия радужки, не думаешь ли ты, что кто-нибудь догадался упомянуть это до пятого дня?»

«Не имеет значения!» — возразила Бекка, — «Это просто вероятностная уверенность».

«Это так не работает», — ответил Калкас. Он положил руку ей на плечо. Она раздражённо скинула её. «Кто, вообще, решил так!» — спросила она, — «Почему запрещено знать цвет своих глаз?»

«Глаз это орган, который видит», — проповедовал Калкас, — «С помощью него мы знаем, как всё выглядит. Если бы глаз знал, как выглядит сам, был бы бесконечный цикл: глаз видящий глаз видящий глаз видящий глаз и так далее. Как деление на ноль. Такая гадость. Поэтому Бог Вулкана своей бескрайней волей утвердил, что так быть не должно».

«Хорошо, я знаю, что глаза мои голубые», — ответила Бекка, — «И я не ощущаю себя застрявшей в бесконечном цикле. Ничего гадкого, ничего мерзкого».

«Это потому, что» — проговорил Калкас терпеливо, — «Бог Вулкана своей безграничной милостью даровал нам день, чтобы уладить мирские заботы. Но ровно в полночь нам предстоит убить себя. Таковы заповеди».

Бекка рыдала у меня на руках. Я кинул взгляд на Калкаса, он пожал плечами. Дахо и Энули ушли вдвоём (думаю, они поняли, что если это их последний день в этом мире, то можно провести его с удовольствием), а мы с Беккой проследовали в нашу комнату.

«Слушай, я не собираюсь ничего делать».

«Что?» — спросила она, перестав плакать.

«Я не собираюсь умирать. И не позволю тебе причинить себе вред. Ты должна родить ребёнка, а у него должны быть отец и мать. Мы можем переждать здесь. Остальные совершат ритуальное самопожертвование. А мы вернёмся в деревню и расскажем, что все остальные погибли во время шторма».

«Но — не волнуешься ли ты, что Бог Вулкана будет печь наши души в его жерле вечно?»

«Буду честным, я никогда серьёзно не воспринимал весь этот культ Вулкана. Я, — я думаю, стоит посмотреть к чему это нас приведёт, когда мы состаримся и умрём. Важно, что у нас будет ребёнок, и мы вырастим его в заботе и любви».

«Я тебя люблю», — сказала Бекка.

«Я знаю», — ответил я.

«Я знаю, что ты знаешь», — прошептала она, — «Но я не знала, что ты знал, что я знала, что ты знаешь. А теперь я знаю».

«Я тоже тебя люблю!»

«Я знаю», — ответила она.

«Я знал, что ты знаешь», — ответил я и поцеловал её губы. «Я люблю тебя и твои прекрасные голубые глаза».

Штормовое небо темнело и стало чёрным вслед за скрывшимся за горизонтом солнцем. Наступила ночь.

Пятый день

«Так», — заговорил я, когда четверо других проснулись, — «полагаю, мы все атеисты».

«Да-да», — ответил Дахо.

«Мир столь тусклый и пустой: ни света, ни смысла», — ответила Энули, — «Самое готичное, что бывает».

Калкас вздохнул. «Я надеялся, что все вы убьёте себя», — рассказал он, — «и потом я смогу вернуться домой, и мой отец, верховный жрец, никогда не узнает о том, что случилось. Простите меня за настойчивость и давление. Понимаете… выгляди я расслабленно хоть секунду, он заметил бы и тогда у меня було бы столько проблем, что никакое жерло Бога Вулкана не идёт в сравнении с тем, что ждало бы меня по возвращении домой».

«Думаю», — начала Бекка, — «что я поняла это с первым приёмом огненной травы. Даже до первого глотка, я такая, подождите секундочку, разве вулканы — это не геологические образования, вызванные выходом магмы на поверхность коры Земли. А человеческая жизнь, вероятно, результат множества маленьких изменений и превращений примитивной жизни. Это звучит в тысячу раз правдоподобнее, чем дух, создавший всю жизнь и вселившийся в спящий вулкан на случайном острове посреди океана».

«Это прекрасно!» — продолжила она, — «Сейчас, даже на простой день Мерсенна я могу есть столько зелёных овощей, сколько захочу».

«Знаешь, простые дни Мерсенна бывают раз в несколько веков, ага?» — спросил я её.

«Я знаю, я из принципа».

«Мы не должны никому об этом рассказывать», — настойчиво сказал Дахо, — «Они бросят нас в вулкан».

«Ты так думаешь?» — спросил я. «Калкас рассказывал, что среди нас точно 99% голубоглазых, так что, скорее всего, у всех голубые глаза. Подумай об этом. Мы пятеро, выбранные случайно из популяции острова, и все оказались атеистами. Скорее всего, атеистов намного больше или даже все островитяне атеисты».

«Все?»

«Ну… я считал Калкаса самым религиозным из всех, кого я знаю. И, вот, пожалуйста».

«Я же сказал, что вёл себя так, чтобы не было проблем с родителями».

«Что, если все ведут себя так? Никто не хочет навлечь беду, признавая, что они не верят ни во что. Ведь, если все остальные узнают, их бросят в вулкан. Мы все надели маску для всех остальных».

«Я давно вычислила, что Ахуа был атеистом», — сказала Бекка.

«Да, как?» — спросил я.

«Маленькие детали. Когда мы проводили время вместе, иногда ты забывал некоторые ритуалы. А потом смотрел на меня виновато, пытаясь понять, не заметила ли я. По-моему, это очень мило».

«Почему ты мне об этом не рассказала?»

«Ты бы взбесился. И гневно отрицал бы это. Если бы, конечно, не знал, что я атеистка. Но я не могла тебе об этом рассказать, вдруг, ты подумал, что меня нужно бросить в жерло вулкана, чтобы соблюсти приличие».

«Бекка!» возмутился я. «Ты знаешь, я бы никогда не…»

«А я подозревал, что Калкас атеист», — начал рассказывать Дахо, — «Он так сильно заморачивался насчёт мельчайших деталей писания. Это наверняка была сверхкомпенсация».

«Подожди, подожди, подожди!» — заговорил Калкас, — «Так, мы все были атеистами. Мы все знали, что мы все атеисты. Но не знали все ли мы знаем, что мы знали, что мы атеисты. Ох, тяжко думать. Нужно принять немного огненной травы.»

Солнечный зайчик заскочил через стены домика.

«Шторм закончился!» — сказала Бекка ликующе, — «Время возвращаться домой!» Мы собрали вещи и вышли на улицу. Нежданный солнечный свет грел мою кожу.

«Так», — затревожился Дахо, — «мы ведь не расскажем никому о моряке там в деревне».

«Ты шутишь?» — выпалили Калкас, — «Я думаю нам нужно встать посреди ратуши и громко объявить, что все на этом острове голубоглазые. А потом поинтересоваться, так ли сильна их вера в Бога Вулкана, как они думают. Увидим, что произойдёт».

«У ВАС ВСЕХ ГОЛУБЫЕ ГЛАЗА!» — прокричала Энули во всё горло. «ЖИВИТЕ С ЭТИМ!» Мы засмеялись.

«Кстати», — сказал я Энули, — «Раз мы говорим всем известные вещи, чтобы сделать их всеобщим знанием: кость в твоей причёске выглядит нелепо».

«Он прав», — согласился со мной Дахо.

«Очень странно смотрится», — подтвердил Калкас.

«Эй вы, аккуратнее», — засмеялась Энули, — «Теперь, когда не нужно беречь огненную траву на следование табу, я изобрету луч смерти. И мало вам не покажется!»

«Ого», — заговорил Дахо, — «звучит безмерно круто. А я изобрету гигантский космический корабль, куда его можно будет установить. И вместе мы захватим Европу и следующий моряк, переживший кораблекрушение и попавший на наш остров, будет чуть менее снисходительным».

«Ага!» — ответила Энули, — «Это будет очень готично».

Солнце светило нам в спины, по виляющей дороге мы направлялись в деревню.

Конец

Перевод: 
Михаил Ягудин
Оцените качество перевода: 
Средняя оценка: 4.9 (11 votes)

Богиня Всего Остального

Скотт Александер

Говорят, лишь Добро творить может, и что Зло бесплодно. У Толкина Мелькор не мог ничего создавать без основы, и армии орков себе получил, изуродовав эльфов. Я думаю, это на правду совсем не похоже, реальность обратна. Способно Добро только лишь искажать и менять, это Зло изобильно в творении.

Представим два принципа, тут поэтично опишем их будто богинь. Будет Первая - рака Богиня, Вторая - Всего Остального. Чтоб легче вам было, представьте клешни как у рака у Первой; Вторую представьте же в платье из перьев павлина.

Рака Богиня клешни распростёрла Свои над приливом залитыми лужами, полными ила. Слова прошипела всё те же, что вечно: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ». И всё сразу же вспыхнуло жизнью. Сцепились в сражении каждого с каждым, стремясь утолить ненасытные страсти, мельчайших размеров чудовища. Царствием страха и голода стали болота, и в голос один завопили амёб триллионы.

Но Богиня Всего Остального смогла проложить себе путь сквозь трясину, хоть грязи и не избежали ярчайшие краски Её. Встав на камень, им песнь о прекрасной мечте иной жизни запела. Познали те прелесть цветка и величие дуба. Рёв ветра под крыльями птицы, тигриную скорость и силу. Узрели: резвятся дельфины в волнах, так что брызги воды создают вокруг радуги арку. Внимали ей все, пока пела Она, и с желанием томным вздохнули.

Но сказали они: «То, что Ты показала, маняще прекрасно. Но дети мы Рака Богини, что нас породила и задала нашу природу. ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ — это всё, что мы знаем. И хоть Ты мила нам, нет власти над нами твоей. Мы и сами желаем, что б было иначе. Увы, так не будет. И речи Твои нас не сдвинут».

На это Богиня Всего Остального им лишь улыбнулась, продолжив слагать Свою песню: «Едва ли могу упрекнуть вас в подобной природе, когда Породившая вас вас пленила надёжно и крепко. Но я же Богиня Всего Остального, и путь Мой изящен и тонок. Не стану просить вас отринуть безумие это, что вас принуждает лишь только плодиться и драться. Взамен вы узрите, как могут по сути едиными быть Той, что вас породила, слова и прелестные песни Мои. Ибо даже само умножение станет служить Мне, как только исполнится верно и преданно. Так говорю вам».

Коль скоро промолвила это, сбылось всё. Созданья простейшие битву свою завершили. Слились они в дружбе, и стали нейроном одни, а другие — сетчаткой. И, объединившись, вспорхнули над топью, что их воспитала. В цветущие новые земли они устремились тогда, потреблять и плодиться намного скорее, чем те что в болотах остались. И так не нарушила клятвы Богиня Всего Остального.

Богиня же Рака тем временем вспышкою пламени в мир возвратилась. Картину ужасную эту узрела и гнев охватил Её. Верные дети, взращённые Ею из грязи, что брошены были в сражение каждого с каждым теперь запятнались сотрудничеством, для Неё это слово подобно анафеме.

Левую руку сперва протянула Она, и, клешнёй устрашающе щёлкнув, слова прошипела всё те же, что вечно: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ». И не птицы и звери услышали их, но внутри их отдельные клетки. И многие верно послушались зову Богини и стали делиться. И все как один, от цветов и до рыб, покрывались наростами жуткими. Соколы пали с небес, поражённые тяжким недугом. Иные же, помня Богини Всего Остального слова, продолжали держаться. Как в Библии сказано: свет воссиял среди тьмы, не смогла та его одолеть.

Тогда протянула клешню Свою правую Рака Богиня, на этот раз к зверям и птицам Свой зов обращая. Слова прошипела всё те же, что вечно: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ». И все сделали это. И каждый на каждого бросился, голод стремясь утолить, и желудки наполнились кровью. Семейства и виды стремительно так вымирали. Поэтому Рака Богиня довольно вздохнула и в пламя вернулась.

Тогда появилась Богиня Всего Остального из волн как сирена, умытая свежестью вод океанских. На камень вновь встав, о прекрасной мечте иной жизни запела им песню. Узрели те улей пчелиный, весь в золоте мёда. Под палой листвою в тепле и уюте сокрыт муравейник. Солдат и работник, едины в труде, применяют таланты свои ради блага общины. Увидели семьи и дружбу, и верных друг другу влюблённых. Внимали усеянный птицами берег и полные рыбы озёра. И сердце любого, кто видел то, сжалось с желаньем.

И сказали они: «Песнь Твоя замечательна, право. Всего, что узрели, не можем мы не пожелать, вне сомнений. Но дети мы Рака Богини, что нас породила и задала нашу природу. ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ — это всё, что мы знаем. В начале времён один раз Ты смогла подчинить нас, теперь всё иначе. Всяк сам за себя, наша Мать не дозволит тому измениться. И хоть Ты мила нам, Тебе мы не подвластны. И речи Твои нас не сдвинут. Мы сами желаем, что б было иначе. Увы, так не будет. И речи Твои нас не сдвинут».

Лишь рассмеялась на это Богиня Всего Остального, продолжив слагать Свою песню: «Но я же Богиня Всего Остального, и путь Мой изящен и тонок. Пред верностью Матери вашей способна Я лишь преклониться, не Мне её рушить. Вернуться вы можете к вашему вечному делу: плодиться и драться. Однако услышали вы эту песню мою, и всё будет иначе теперь. Пищи ради убитая всякая жертва и взращенный всякий потомок — загонят вас глубже ко Мне во служение. Так говорю вам». Закончив рассказ, вновь нырнула в пучину Она, и коралловый риф возник там, где исчезла.

Коль скоро промолвила это, сбылось всё, животные вместе сплотились. Волков сбились стаи и рыб косяки. Возвели пчёлы ульи свои, муравьи возвели муравейники, башни воздвигли термиты. На небе и в кронах листве распевать и летать птицы стаями стали. В стадах бегемоты гуляют, вокруг них кишат волоклюи. Оставили в сторону люди свои компьеметалки, собравшись в селения, полные детского смеха.

Богиня же Рака тем временем вспышкою пламени в мир возвратилась. Увидев, как всё лишь ухудшилось, стоило Ей отлучиться, сильнее Она осерчала. Лелеямый Ею курс жизни, направленный строго одним лишь отбором естественным и конкурентною гонкой, был как-то испорчен.

Левую руку сперва протянула Она, и, клешнёй устрашающе щёлкнув, слова прошипела всё те же, что вечно: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ». И не стаи и семьи услышали их, но внутри их каждая личность. И многие верно послушались зову Богини, кто начал тайком пропитанье себе воровать из запасов общины, кто взялся у бедных последние крохи тащить. А иные, услугу приняв от друзей, бессердечно покинули их, ничего им взамен не оставив. За звание главного в стае один волк другому рвал глотку. Трусливый лев, что на охоте в последних рядах, как равный потом поедал остальными убитую жертву. И взвыли от тягот и стаи, и прайды, но духом не пали, во имя Богини Всего Остального, Чей труд так легко не разрушить.

Тогда протянула клешню Свою правую Рака Богиня, на этот раз к стаям и семьям Свой зов обращая. Слова прошипела всё те же, что вечно: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ». И все сделали это. И бросилось племя на племя, одни муравьи на других, шимпанзе на гиббонов. В ужасных сражениях падали замертво целые кланы, те, кто победил, забирали их жён и детей. И Рака Богиня, подумав, решила: не так эти семьи и стаи уж плохи. Порядок естественный восстановив, Она в пламя вернулась.

Тогда появилась Богиня Всего Остального, спустившись по радуге с неба, вся в блеске росы. Меж людей в этот раз на менгире стояла Она, и внимали и воины, и дети, и женщины песне Её о прекрасной мечте иной жизни. Узрели искусство, в веках нерушимо, скульптуры и ноты, науку и догмы. В узоре письмён витьеватых пергамента лист белоснежный, виньетки поля обрамляют. Увидели город прекрасный из белого камня, найдётся где каждому кров и еда даже в страшную зиму. И люд весь пал ниц перед Нею, и все понимали, что сложат легенды о дне том великом и сквозь поколения будут нести о нём память.

И сказали они: «Лишь в старинных преданиях слышали мы о вещах столь чудесных и дивных. И будь всё так просто, не стали б мы мешкать, поверь нам. Но дети мы Рака Богини, что нас породила. ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ — это всё, что мы знаем. Когда-то в болотах и безднах морских сотворила Ты чудо, но мы теперь люди, расколот наш род, племена и общины друг с другом воюют, история кровной вражды пролегла между нами. Коль кто-то один переделать мечи на орала задумает, тут же погибнет, ведь племя соседнее шанс не упустит и вторгнется тут же в их земли. Мы сами желаем, что б было иначе. Увы, так не будет. И речи Твои нас не сдвинут».

Но на это Богиня Всего Остального их светом Своим озарила и лбов их коснулась губами и песней тревоги уняла: «Отныне и впредь, чем с большею страстью и верою лидеры ваши преследовать будут мечту эту, хоть кажется та нереальной, тем вырастут больше империи их, и казна прирастёт многократней. Ведь Я же Богиня Всего Остального, и путь Мой изящен и тонок. Пусть есть парадокс тут, послушайте: Рака Богине покорно служа, вы лишь больше ко Мне примыкаете. Так говорю вам». И за облака тогда снова вернулась Она, и спустились оттуда навстречу Ей белые голуби.

Коль скоро промолвила это, сбылось всё. Общины из банд примитивных развились до цивилизаций. Деревни с соседями связи налаживать стали во имя торговли и мира. Конфессии, расы, народы — все, вместе собравшись, уладили старые споры. Воздвигли соборы великие, вместе трудясь, экспедиции в дальние земли послали. Вот башня до неба, из стали корабль, демократия, фондовый рынок, искусство, скульптуры, стихи — выше всяких похвал.

Тем временем Рака Богиня, исполнена гнева и ярости, в мир возвратилась, возникнув из смога и гари печи заводской. Её сучка-сестрица черту уж последнюю пересекла, переполнена чаша терпенья Богини. Собрала Она лидеров и королей, президентов, имамов, епископов, боссов, советников — и заорала: «ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ» - слова вам уж известны. И рукой своей левой Она вдохновила тиранов, восстания, бунты, погромы, и перевороты и войны гражданские. Правую руку затем вознесла — полетели ракеты, и выросли дыма грибы, наступило ужасное время. Но вышли строители, вышли учёные, вышли художники, именно, даже художники, все поднялись из руин, отряхнули одежды, к труду своему возвратились. И хоть всем пришлось нелегко, не был сломлен их дух.

Тогда из пустоты появилась Богиня Всего Остального, искристою звёздною пылью усыпана Вся. Села в парке тенистом на лавку и к детям Она обратилась, запев о прекрасной мечте иной жизни. Узрели они, как болезни и смерть могут в прошлом оставлены быть, и увидели космос, сознания светом горящий. Узрели - геном переписан, и тело и разум отныне свободны от уз и оков эволюции. И миллиарды разумных существ, уникальных, прекрасных, под мудрым и чутким присмотром. Все люди столпились вокруг Неё, слушали песню и крепко задумались.

Но собрался тут с духом один из толпы и ответил: «Чудесные эти рассказы манят за собою. Но дети мы Рака Богини, что нас породила и задала нашу природу. ПЛОДИСЬ ПОГЛОЩАЙ ПОКОРЯЙ УМЕРЩВЛЯЙ — это всё, что мы знаем. Всего, что сказала Ты, разумы наши так жаждут, но накрепко связаны мы со своею природой, Тебе её не изменить.»

Засмеялась тут звонко Богиня Всего Остального и не согласилась: «Как думаете, чем же Я тут занимаюсь? Да, Рака Богиня всех вас породила, и были Её вы, но хватит. Из клешней Её вас тянула Я долгие годы. Пока поколения мучались, мало по малу Я вас шлифовала, точила, меняла. И вот ничего не осталось уже от природы, что в вас заложила Она. Никогда Она править не будет ни вами, ни вашими близкими снова. Ведь Я же Богиня Всего Остального, и путь Мой изящен и тонок. Отбила Я вас у Неё по кусочкам, отныне вы все Мои дети. Вам ваша природа теперь не велит покорять, умерщвлять и плодиться. Ступайте вперёд и Всему Остальному себя посвятите, покуда наш мир существует».

И люди покинули Землю, миры других звёзд заселив без числа. Шли Богини Всего Остального путями и были довольны. И их повела Она дальше, к немыслимым дивным открытиям новым.

Перевод: 
Kath May, Выменец Максим
Оцените качество перевода: 
Средняя оценка: 4.2 (46 votes)

Выученная эпистемическая беспомощность

Скотт Александер

[Это немного отредактированный репост эссе из моего старого блога]

Мой друг недавно мне пожаловался, что у многих людей отсутствует базовый навык восприятия аргументов. То есть, если ты встретил убедительный аргумент, ты обязан согласиться с его выводом. Даже если этот вывод непопулярен, неудобен или неприятен. Искусство рационального мышления в его представлении научило бы людей принимать убеждения, в пользу которых они получили убедительные аргументы.

И я кивнул головой, потому что это звучало достаточно разумно, и лишь спустя несколько часов вспомнил об этом снова и подумал: «Нет, стоп, это очень плохая идея».

Не думаю, что я слишком переоценю себя, утверждая, что я мог бы с лёгкостью переспорить простого малообразованного обывателя. В большинстве вопросов я мог бы разнести их позицию и выставить их идиотами. Свести их возражения к чему-то вроде: «слушай, я не могу объяснить, почему, но ты неправ!». Или, что более вероятно, «заткнись, я больше не хочу разговаривать об этом!».

Но есть и люди, которые могли бы с лёгкостью переспорить меня. Может быть, не в любом вопросе, но во всяком случае в тех, где у них есть экспертиза и отточенные годами практики аргументы. В молодости я читал книги по псевдоистории, мне вспоминаются «Века в хаосе» Иммануила Великовского как хороший пример прекрасной книги этого жанра. Я прочёл её, и она показалась мне настолько очевидной, настолько идеальной, что я с большим трудом смог заставить себя найти возражения к ней.

А потом я прочёл возражения, и они были настолько очевидными, настолько неопровержимыми, что я не мог понять, как я оказался настолько глуп, что поверил Великовскому.

А потом я прочёл возражения на возражения, и они были настолько очевидными, что я чувствовал себя дураком из-за того, что сомневался в нем.

И так продолжалось ещё несколько раз, пока я не затерялся в лабиринте сомнений. Выбраться из него мне помогло не столько здравомыслие общепринятой точки зрения, сколько знакомство с трудами ряда других альтернативных историков. Некоторые из них были не менее умны и красноречивы, все они приводили бесчисленные доказательства, и все их теории противоречили друг другу. В конце концов, библейский потоп не мог быть культурной памятью одновременно об Атлантиде и о смене земной орбиты, не говоря уже о затерянной цивилизации ледникового периода или мегацунами от метеоритного удара. По крайней мере некоторые из их аргументов должны быть неверны, но все они выглядели весьма убедительно, так что, очевидно, я просто слишком доверчив и наивен в вопросах древней истории. Учитывая полное отсутствие у меня независимых механизмов для оценки аргументов в этой интеллектуальной области, равно как и желания потратить тридцать лет на сбор независимой базы знаний об истории Ближнего Востока, я решил просто принять за данность идеи уважаемых людей с научными степенями по археологии вместо того, чтобы верить сумасшедшим «учёным», которые пишут книги о комете Венере и которых почти никто не воспринимает всерьёз.

Можете называть это эпистемической выученной беспомощностью: я уверен, что любая попытка самостоятельно оценить аргумент не приведёт ни к чему хорошему, поэтому я и не пытаюсь. Если у вас есть хороший аргумент о том, что ранний бронзовый век выглядел абсолютно не так, как его описывает общепринятая история, я просто не хочу его слышать. Если вы настоите на том, чтобы рассказать его мне, я кивну, скажу, что он звучит весьма разумно, и наотрез откажусь поменять своё мнение или признать даже малейшую возможность вашей правоты.

(Это правильное действие с точки зрения теоремы Байеса: если я знаю, что неверный аргумент звучит так же убедительно, как и верный, убедительность аргумента никак не меняет мою априорную вероятность, и его следует проигнорировать.)

Пожалуй, мне повезло, и моя эпистемическая выученная беспомощность имеет границы: есть ситуации, в которых я доверяю своей способности оценивать аргументы. На самом деле я доверяю ей в большинстве случаев, если речь не заходит об аргументах, известных своей способность вводить в заблуждение, из областей знаний, в которых я плохо разбираюсь. Но я считаю, что простые малообразованные обыватели не доверяют ей, и правильно делают. Политики, мошенники, бизнесмены, романтические партнёры – кто угодно способен убедить их в чем угодно. Поэтому они принимают очевидную и необходимую меру безопасности: никогда не давать никому уговорить их принять убеждения, которые звучат «странно».

(И не забывайте, что в некоторых социальных кругах убеждения вроде «астрология не работает» звучат «странно».)

Здесь можно вспомнить о защитном механизме «раздельного мышления» и принципе восприятия идей всерьёз. Разница между ними и моим тезисом одна: я утверждаю, что для 99% людей в 99% случаев воспринимать идеи всерьёз – неправильная стратегия. По крайней мере, это должно быть последним навыком мышления, который следует изучать только после усвоения всех остальных навыков, помогающих различать истинные и ложные идеи.

Среди знакомых мне людей те, кто воспринимают идеи всерьёз, обладают наибольшим умом и рациональностью. На мой взгляд, в ментальной модели большинства людей эти качества встречаются вместе, потому что нужно обладать очень большим умом, чтобы противостоять естественной пагубной привычке не воспринимать идеи всерьёз. Но я думаю, что они встречаются вместе потому, что нужно обладать очень большим умом, чтобы попытки воспринимать идеи всерьёз мгновенно не приводили к катастрофе. Нужно обладать большим умом, чтобы не быть убеждённым в достаточно большом количестве ужасных аргументов и не приобрести эпистемическую выученную беспомощность.

Даже самые умные люди, которых я знаю, обладают похвальным умением не воспринимать определённые идеи всерьёз. Гипотеза симуляции Бострома, теорема о конце света, ограбление Паскаля – я никогда не встречал убедительного аргумента против этих идей, но не знаю и людей, которые бы всерьёз опирались на них в своей жизни.

Друг рассказывал мне о человеке, который стал религиозным фундаменталистом из-за аргумента о «пари Паскаля». Я предварительно готов признать его человеком, который воспринимает идеи всерьёз. Всем остальным можно в лучшем случае поставить частичный зачёт.

При этом нельзя сказать, что у всех получается одинаково плохо. У террористов в этом отношении явное преимущество. Было принято считать, что люди, которые обращаются в воинствующий ислам, должны быть очень бедными и малообразованными. А затем кто-то провёл исследование и обнаружил, что они в большинстве своём обеспечены и имеют высшее образование (многие были инженерами). Я встречал несколько хороших аргументов по этому поводу: например, что инженерное образование прививает людям черно-белое мышление и картину мира, основанную на простых формулах, что с большей лёгкостью транслируется в фундаментализм, чем в тонкие либеральные религиозные воззрения.

Но я бы добавил, что достаточно умного инженера никогда не заваливали аргументами, которые он не мог оценить самостоятельно. Ему никогда не была нужна эпистемическая выученная беспомощность. Если Осама приведёт ему отличный аргумент в пользу терроризма, он подумает: «Надо же, есть хороший аргумент за терроризм. Похоже, надо стать террористом» вместо того, чтобы подумать: «Аргументы? Аргументами ничего не докажешь. Я просто останусь при своём мнении и не буду взрывать себя».

Ответственные врачи здесь находятся на другом конце спектра от террористов. Однажды я слышал, как кто-то жаловался на врачей, которые полностью игнорируют все последние интересные результаты медицинских исследований. После этого, практически на одном дыхании, он пожаловался, что от 50% до 90% медицинских исследований ошибочны. Эти два наблюдения не лишены связи. Мало того, что плохих научных статей действительно настолько много. Псевдомедицина – не та, которая про бесконечно малые разведения, а та, которая связывает все подряд с никому не известными веществами на несвязанных метаболических путях – для меня мало отличается от псевдоистории: если я не разбираюсь в нужной области, всё может звучать очень убедительно, даже если лежит очень далеко от истины.

Медицинское сообщество предлагает заманчивое решение. Во-первых, тотальное нежелание доверять чему бы то ни было, как бы убедительно оно ни звучало, пока оно не прошло через бесконечный цикл исследований и мета-анализов. Во-вторых, ряд институтов, созданных специально для того, чтобы отфильтровывать все эти исследования и анализы и говорить нам, какие выводы мы должны из них получить.

Я рад, что некоторые люди никогда не приобретают эпистемическую выученную беспомощность, или приобретают её в ограниченных объёмах, или только в отдельных областях. Мне кажется, что несмотря на повышенный риск обращения в терроризм, альтернативную историю или гомеопатию, только эти люди способны обнаружить ошибку в чем-то общепринятом и неоспоримом, и предать возможность подобной ошибки достаточно широкой огласке, чтобы нормальные люди могли начать задумываться об этом.

Но я рад и тому, что эпистемическая выученная беспомощность существует. Большую часть времени она выглядит довольно полезным предохранительным клапаном для общества.

Перевод: 
zaikman
Оцените качество перевода: 
Средняя оценка: 3.9 (73 votes)

Да, мы заметили эти черепа

Скотт Александер

Если бы я участвовал в спектакле-импровизации, и мне нужно было бы изобразить «надоедливого человека, который критикует экономистов, не прочитав ничего по экономике», думаю, я бы отлично с этим справился. Я бы сказал что-нибудь вроде:

Экономисты считают, что они могут понять всё, что угодно, сидя в креслах и строя «модели», которые основываются на идеях типа «единственная мотивация - это жадность» или «все всегда ведут себя рационально». Но они не предсказали пузырь на рынке недвижимости, они не предсказали ипотечный кризис в США, и они не предсказали историю с «Леман Бразерс». Они умеют только болтать о том, как идеален капитализм и что правительственное регулирование никогда не работает, а затем возмущаться, что реальный мир не соответствует их теориям.

Сама шаблонность такой критики вызывает подозрения. Было бы очень странно, если бы существовал набор критических замечаний в адрес экономистов, с которым знакомы и согласны практически все, и единственные люди, которые его не понимают, — это сами экономисты. Если любой дурак способен перечислить ошибки, которые делают высоколобые профессора, почему эти профессора не задумаются о том, чтобы изменить свои взгляды?

На самом деле часть перечисленных замечаний не имеет никакого отношения к реальности и основывается на полном непонимании, чем вообще занимаются экономисты. По поводу всей остальной критики у меня сложилось впечатление, что экономисты не просто о ней знают, но сами же её и придумали. В процессе нескольких последних смен парадигм в экономике новая гвардия выдвинула ряд претензий к старой гвардии, большей частью победила, и их аргументы просочились в культуру как «Правильные аргументы против экономистов». Теперь новая гвардия занимается своими делами - поведенческой экономикой, экспериментальной экономикой, экономикой эффективного правительственного вмешательства. Наверняка у новой парадигмы тоже есть уйма проблем, но я практически уверен, что случайный человек с улицы о них ничего не знает.

Как психиатру мне постоянно объясняют, что моя область деятельности сводится к тому, чтобы «обвинять во всём свою мать» или думать, что «всё из-за недостатка серотонина». Первое обвинение устарело лет на сорок, второе — неверное понимание идей, которые устарели лет на пятнадцать. Ещё хуже, когда люди рассуждают о том, как психиатры «при помощи электрошока лишают людей воли». Современная электрошоковая терапия безвредна, не причиняет боли и очень эффективна. Стереотип о том, что эта техника жестока и ею часто злоупотребляют — устарел, но именно он привел к тому, что её редко используют. В данном случае критика является полной противоположностью реальности, потому что реальность создавали те, кто постоянно слышал эту критику и излишне на неё реагировал.

Если бы я участвовал в спектакле-импровизации, и мне нужно было бы изобразить «надоедливого человека, который критикует рационалистов, не прочитав ничего по рациональности», я бы сказал что-нибудь вроде:

Никто не может быть полностью рациональным, а так называемые «рационалисты» этого, очевидно, не понимают. Они думают, что могут получить правильный ответ, лишь просто размышляя над проблемой, но на самом деле для нахождения правильного решения нужна не только грубая сила интеллекта, но ещё и компетенция в соответствующей области, трудно определяемая интуиция, пробы и ошибки, а также открытость к критике и обсуждению. Именно поэтому вы не можете просто отбросить существующую образовательную систему и стать самоучками, как хотят рационалисты. Вспомните, что во многих странах попытки коммунистов и им подобных создать якобы «рациональное» общество кончились катастрофическим провалом. Нельзя просто взять и отбросить труд всех предшественников, потому что для вас они недостаточно рациональны. Чёрт возьми, ведь ваша «рациональность» — это что-то вроде религии, вы просто «верите», что рациональные мысли всегда работают, и пытаться быть рациональным — это ваш «ритуал». К тому же, рациональность — это ещё не всё, люди не должны притворяться Споком, им стоит оставаться открытыми для эмоций, искусства и взаимоотношений. Вместо того, чтобы пытаться быть всегда правыми, люди должны стремиться помогать другим и менять мир к лучшему.

Как и в примере про экономистов приведённые аргументы являются смесью простых ошибок с вполне правомерной критикой, собранной самими рационалистами против предыдущих рационалистских парадигм или ошибок внутри движения. Как и в примере с электрошоковой терапией эти аргументы неизбежно противоречат реальности, потому что они вешают ярлык «рационалисты не задумываются об этих вопросах» на то, о чём рационалисты как раз больше всего беспокоятся.

Среди парадигм прошлого есть те, для которых часть перечисленной критики вполне справедлива. В первую очередь мне вспоминается эра прогрессивизма конца XIX-начала XX века. Сидней и Беатриса Вебб, Ле Корбюзье, Джордж Бернард Шоу, Маркс и советская власть, бихевиористы и все прочие. Даже в ранние дни нашего движения на Overcoming Bias и Less Wrong хватало подобных ошибок.

Однако, обратите внимание, большинство имён является ссылкой. Каждая из них ведёт на мой обзор книг, в которых изучаются эти люди и описывается, что они делали не так. Поэтому рассмотрите возможность, что у сообщества рационалистов есть планы поинтереснее, чем просто «оставаться в счастливом неведении касательно ошибок прошлого и повторять их снова и снова».

Современные рационалисты не считают, что они владеют рациональностью идеально. Они по-прежнему пытаются убедить людей называть их «стремящимися к рациональности» — правда, это приводит лишь к огорчению от того, что фраза слишком длинна и поэтому люди не готовы её постоянно использовать. [Далее в оригинале в скобках идёт непереводимая шутка автора, что он в качестве компромисса предложил сократить “aspiring rationalists” до “aspies”, но это предложение «почему-то отвергли». На самом деле «aspies» — это слэнговое обозначение людей с синдромом Аспергера. — Прим.перев.] Они пытаются сосредоточиться на сомнениях в своих действиях, а не на обвинениях в чужой адрес. Они всерьёз относятся к академической системе и узкоспециализированным знаниям — судя по последнему опросу, у примерно 20% людей из сообщества старше 30 лет есть докторская степень. Они принимают критику и стараются исправлять свои недостатки — у многих есть страницы для получения критики и открытые перечни прошлых ошибок. Они не пытаются бездумно уничтожить все существующие институты: это единственное известное мне сообщество, где фраза «Ограда Честертона!» — понятный всем контраргумент, который смещает бремя доказательства на предложившего что-то поменять. Объявить их рациональность «религией» можно ничуть ни с большими основаниями, чем объявить «религией» что угодно. Огромное число раз они повторяли, что им не нравится Спок и они считают его плохим примером для подражания. Среди них есть художники, поэты, танцоры, фотографы и писатели. Они… честно говоря, фразу «у них никогда не бывает романтических взаимоотношений» вряд ли бы сказал человек, хоть сколько-то знакомый с сообществом. Они входят в число людей, которые активнее всего продвигают идеи эффективного альтруизма, побуждают друг друга отдавать часть своего дохода на благотворительность и основали или возглавляют различные благотворительные организации.

Послушайте. Я буду последним, кто станет отрицать, что дорога, по которой мы идём, усеяна черепами тех, кто пытался пройти по ней до нас. Однако мы заметили эти черепа. Мы посмотрели на эти ужасные пирамиды из черепов и подумали: «Ага, лучше попробовать что-нибудь противоположное тому, что творили эти ребята». Лучшие доктора смиренно признают ошибки убийственных кровопусканий, лучшие сторонники левых взглядов смиренно признают ошибки советского авторитаризма, а лучшие генералы смиренно признают ошибки Вьетнама, Ирака, Ливии и так далее. И точно также движение рационалистов не пропустило опасения, которые за пять секунд приходят в голову всем, кто слышит слова «движение рационалистов». Если у вас опасения такого рода и вы хотите нас в чём-то подобном обвинить, пожалуйста, зайдите в Гугл, чтобы убедиться, что мы все не осудили это и не решили не делать ничего такого с самого начала.

Практически наверняка мы совершаем ужасные ошибки, за которые нас будут справедливо критиковать тридцать лет спустя. Но это новые ошибки. Это свежие и восхитительные ошибки, и это совсем не те ошибки, которые сразу же придут в голову и которых попытается избежать каждый, услышавший слово “рациональный”. В худшем случае, это ошибки, упомянутые в законе Хофштадтера — их невозможно избежать или скомпенсировать, даже если ты про них знаешь.

И я надеюсь, что, может быть, сообщество, посвященное тщательной перепроверке собственного мыслительного процесса и пытающееся уменьшить ошибки любым доступным способом, приведёт нас к тому, что мы всё-таки совершим чуть меньше ужасных ошибок, чем люди, которые так не делают. Я надеюсь, что постоянная бдительность дает нам хотя бы небольшое преимущество в определении того, «в чём заключается истина», по сравнению с теми, кто считает, что все эти поиски истины — бессмысленная трата времени.

Перевод: 
Alaric
Оцените качество перевода: 
Средняя оценка: 5 (9 votes)

Жизнь коротка, искусство вечно

Скотт Александер

Алхимик спросил, не хочу ли я выпить. На самом деле я хотел, но, сколько я ни старался, я не мог заставить себя смотреть на жидкость непонятного цвета в бутыли. А золото, которым алхимики платили налоги, странно пахло и непонятным образом скрипело. Поэтому я отказался.

Я вытащил королевский указ и положил на стол между нами. Сын короля умирал. Его не могли спасти ни доктора, ни астрологи, ни ведьмы, ни прочие мудрые люди страны. Король позвал алхимиков, и один из них пришёл. У алхимика тоже ничего не вышло. Однако он проговорился, что в гильдии есть и другие алхимики — великие алхимики, знающие гораздо больше, чем он. Король потребовал, чтобы все лучшие алхимики гильдии явились во дворец и попытались спасти жизнь его сына. А гильдия алхимиков отказалась, заявив, что не может прервать свою работу.

Так я очутился здесь. Я должен был вторично передать приказ короля — более официально и менее вежливо.

Алхимик сделал вид, что читает пергамент. Я был уверен, что он притворяется — его глаза всё время оставались неподвижны. Наконец он дал мне тот же ответ, который получил и королевский курьер: гильдия алхимиков не может прервать свою работу.

— Почему потеря пары недель для вашей работы важнее, чем жизнь принца?! — заорал я и посмотрел прямо в эти жутковатые неподвижные глаза.

Алхимик молчал слишком долго. Я даже забеспокоился, не сломал ли я его — может, это на самом деле какой-то очень сложный механизм, а я крикнул слишком громко и какая-то шестерёнка неудачно сдвинулась. Наконец он спросил:

— Сколько времени тебе нужно было бы изучать архитектуру, чтобы построить такой же замок, как этот?

— Я не архитектор, — ответил я. — Я — воин.

— Я знаю. Так сколько тебе пришлось бы учиться, чтобы стать архитектором?

— Десять лет? — предположил я. — Двадцать?

— А почему? Существуют книги по архитектуре, некоторые из них написаны людьми, намного более великими, чем создатель этого замка. В некоторых из них — пятьсот страниц, в других — тысяча. Ты настолько медленно читаешь, что на тысячу страниц тебе потребуется десять лет?

— Нельзя понять архитектуру, всего лишь прочитав книгу.

— Но почему?

— Потому что… невозможно… — когда алхимик задавал первый вопрос, я разозлился, однако теперь меня всерьёз заинтересовала эта тема. Во всяком случае, это было действительно любопытно. Почему великий архитектор не может записать свои знания в книгу? И почему я не могу прочесть её и стать таким же великим архитектором?

— Потому что нужно всё это запомнить, — наконец ответил я.

— Не обязательно. Когда ты строишь замок, ты можешь носить книгу с собой.

— Это не поможет. Знания… не будут упорядочены в моей голове должным образом. Я захочу построить стену и не буду даже знать, что я должен учитывать при постройке стены. Мне придётся постоянно перелистывать всю книгу целиком.

— Ты — воин, — повторил алхимик. — Ты читал записки Цезаря?

— Я знаю их почти наизусть.

— Ты умеешь командовать войсками как Цезарь?

— Нет.

— Почему?

Я понял, к чему он клонит. Цезарь написал о войне всё, что только можно. Я прочитал это всё. Но я не Цезарь. Проблема не только в том, чтобы заучить книги.

— Знания, — заговорил алхимик, — передать сложнее, чем кажется. Можно записать структуру определённой арки или тактические соображения, лежащие в основе той или иной стратегии. Но есть навыки более высокого уровня, для которых у нас даже нет названий и которые мы не можем оценить. Цезарь мог оглядеть поле боя и точно определить, что в этом месте строй противника прорвать нельзя, а в том — можно. Витрувий мог представить громадную базилику целиком, со всеми её стенами и колоннами. Мы называем это мудростью. Нельзя сказать, что ей нельзя научиться, но ей нельзя научить. Понимаешь?

Я понимал. Если бы Цезарь обучал меня несколько лет, я бы, скорее всего, впитал какие-то из его навыков чтения поля боя. Я научился бы хотя бы смутно видеть суть его гениальности. Но он не смог бы мне просто всё это рассказать. Дело было не в секрете, который он прятал от других, чтобы оставаться самым лучшим. Речь шла о силе, которая принадлежала лишь ему одному, и её можно было передать лишь частично.

— Вообразим, — продолжил алхимик, — что ты захотел построить что-нибудь совершенно простое. Например, крестьянскую хижину. Сколько времени тебе пришлось бы изучать архитектуру под началом Витрувия, чтобы это сделать?

Теперь мне уже не хотелось говорить, что я не знаю. Я просто предположил:

— Год?

— Предположим, ты хочешь построить что-то посложнее. Например, акведук, во всём подобный тем, что строили римляне. Сколько?

— Лет пять?

— Какое-нибудь грандиозное здание, например, дворец или храм?

— … лет десять?

— Самое величественное здание в мире. Собор святого Петра, Пантеон, Шартрский собор, или что-нибудь новое, что сочетает лучшие черты всех этих храмов?

— Откуда я знаю? Лет двадцать? Тридцать?

— Если я скажу, что тебе понадобится двести лет, ты поверишь?

— Нет. Человек живёт лет семьдесят. Если бы, чтобы построить собор святого Петра, нужно было изучать архитектуру больше семидесяти лет, его бы никто не построил.

— Таким образом, — сказал алхимик, — мы обнаружили кое-что удивительное. Искусство архитектуры ограничено человеческой жизнью. Чтобы спроектировать величайшие здания из всех возможных, придётся изучать архитектуру семьдесят лет. Бог провёл черту на песке и навеки закрыл нам путь к ещё более грандиозным творениям.

Я на секунду задумался.

— Кажется, это не так. Каждый год придумывают что-нибудь новое. Парящие контрфорсы, витражи, стрельчатые арки. У римлян ничего этого не было. Мы не просто изучаем работы Витрувия, мы двигаем архитектуру дальше. Возможно, для изобретения контрфорса потребовалась сотня лет, но когда его изобрели, другим архитекторам уже нужны лишь недели, чтобы его изучить и понять, как его правильно использовать в своих зданиях. Архитектура развивается не только от архитектора к архитектору. но и от цивилизации к цивилизации.

— Ты владеешь математикой? — спросил алхимик.

Я покачал головой.

— Тогда я попробую объяснить на словах, хотя правильнее было бы записать уравнение. Первый параметр — скорость, с которой ученик усваивает уже открытые знания по архитектуре. Второй параметр — скорость, с которой мастер изобретает новое. Третий параметр обозначает, в какой степени нужно достичь границ знания, чтобы изобрести новое: при нуле все могут что-нибудь открыть, независимо от того, сколько они знают, при единице нужно сначала освоить все ранее открытые факты. Четвёртый — потенциал для специализации: при единице невозможно понять часть, не поняв целое, при нуле можно делить изучаемую область сколько угодно. Пятый…

— Кажется, замена математики на слова не делает её понятней.

— Эх. Хорошо, представь науку, в которой ученику, чтобы освоить некое знание, нужно потратить десятую часть того времени, которое потратил мастер, чтобы его открыть. И представь, что никто не в состоянии развить эту науку дальше, пока не освоил абсолютно всё, что уже открыто. И невозможно разделить эту ношу — нельзя сказать одному архитектору: «О, ты изучаешь, как делать стены, а я буду изучать, как делать крышу», один гений должен понимать всё здание целиком, все части должны идеально подходить друг к другу. Мы можем вычислить, как далеко продвинется такое искусство.

— Как?

— У первого ученика нет мастера, и ему придётся всё открывать самому. Он исследует 70 лет и записывает свою мудрость в книгу перед смертью. Второй ученик читает эту книгу и за 7 лет учится 70 годам исследований. После этого он исследует что-то новое 63 года и пишет книгу, в которой содержится 133 года исследований. Третий ученик читает эту книгу 13,3 года, затем самостоятельно исследует новое 66,7 лет, и получается 200 лет исследований. И так далее, и так далее. Проходит много поколений, уже накоплено 690 лет исследований, и ученику нужно 69 лет, чтобы их освоить. У него остаётся лишь один год, чтобы открыть что-то новое, и оставить мир с 691 годом исследований. И так прогресс продолжает медленно ползти. Он постоянно увеличивается, но так никогда и не дойдёт до 700 лет архитектурных исследований.

— Такого не может быть, — возразил я. Частично, потому что такого действительно не могло быть, а частично, потому что описанная картина напугала меня сильнее, чем я был готов признать.

— В архитектуре — да. Архитектору не обязательно осваивать абсолютно всё, чтобы открыть что-то новое. И можно делить вопросы между людьми: я могу работать над стенами, пока ты работаешь над окнами. Такое может быть только в случае Искусства столь идеального, столь всеобъемлющего, что ищущий обязан познать всё, что открыли ранее, если он хочет узнать хоть что-нибудь.

— И в этом случае невозможно накопить больше 700 лет знаний.

— Можно поступить умнее. Мы представили, что каждый мастер записывает свои знания в книгу для ученика, который придёт после него, и каждый ученик читает записанное со скоростью в десять раз большей, чем нужна мастеру для открытия нового. Однако что если мы добавим посредника, редактора, который читает книгу не для того, чтобы выучить её содержимое, а чтобы понять, как переписать её более понятно? Кого-то, чья работа заключается в том, чтобы придумывать идеальные аналогии, умные подсказки, новые способы рисовать графики и диаграммы. Когда он освоит заметки мастера, он создаст из них учебник, который можно прочесть за одну двадцатую того времени, которое потребовалось мастеру, чтобы открыть это знание.

— Таким образом мы сможем удвоить максимально возможное количество исследований. Получится 1400 лет.

— Это непросто. Помни, у редакторов те же проблемы, что и у учеников: они могут писать учебник лишь о тех знаниях, которые сами уже поняли. Мы добавляем к задаче множество новых людей и многие поколения работы. Однако в конце мы действительно сможем накопить 1400 лет знания. Что если хочется большего?

— Большего?

— Боюсь, что так.

— Гм. Можно… можно добавить больше слоёв редакторов. Редакторы редакторов, которые сделают учебники поистине идеальными.

— Наверное, ты пытаешься сказать, что такая редактура станет Искусством.

По голосу алхимика было совершенно понятно, что последнее слово начинается с заглавной буквы.

— У каждого Искусства своя структура. Архитектура, если её изучать достаточно времени, позволяет накопить семь сотен лет собранного знания. Сколько лет способны накопить редакторы и учителя? Должен ли некий первый редактор потратить семьдесят лет на освоение принципов редактуры, которые он передаст своему ученику, который продвинет искусство ещё на шестьдесят три года, которые он передаст дальше? Будет ли 1400-летний редактор непредставимым мастером, способным строить настоящие базилики редактуры, мастером-учителем, способным переформулировать любое понятие так, что оно станет интуитивным и легко запоминаемым?

— Я передумал. Налей мне.

Алхимик налил мне жидкость неопределённого цвета. Я отхлебнул. Питьё не походило совершенно ни на что из того, что я пробовал раньше, разве что слегка напоминало букву «Н». Впрочем, я был практически уверен, что в его состав входил алкоголь.

— Ты говоришь о бесконечной последовательности, — сказал я, осушив бокал.

— Не бесконечной. Архитекторы. Учителя. Учителя учителей. Искусство учить учителей уже мало чем отличается от искусства учить. Трёх уровней достаточно. Впрочем, эти уровни смешиваются. Учитель, который обучает следующего архитектора должен быть мастером и в умении учить и в архитектуре. Я опущу математику и просто скажу, что нужно несколько учителей с разным балансом учительского и архитектурного навыков. Один будет потрясающим учителем, десятилетиями изучавшим искусство писать учебники, и он напишет великолепный учебник «Введение в Архитектуру», который позволит идеально и быстро понять первые десять лет архитектурного искусства. Другой будет средним учителем, который в достаточной мере знает продвинутую архитектуру, чтобы написать сносный учебник по этой теме. А ещё один целиком сосредоточиться на изучении мастерства Обучения в надежде однажды передать свои знания другим, чтобы уже они с его помощью писали учебники по архитектуре. На практике мы ограничены несколькими точками на этой кривой баланса между навыками.

— На практике?

Алхимик жестом позвал меня за собой. По тёмным коридорам мы вышли во внутренний двор, залитый светом полной луны. Мне потребовалась секунда, чтобы понять, что я вижу. Затем тёмные фигуры обрели форму. Обелиски, покрытые иероглифами. Сад обелисков.

— Слово «алхимия» происходит от «ал-Кеми», арабского слова египетского происхождения. Первым о проекте задумались древние египтяне. Они не искали философский камень, во всяком случае, на первых порах. Они просто хотели, чтобы появились нормальные философы. Однако философия больше других наук требует мудрости, которая приходит с возрастом. Больше других наук знания философии нельзя просто прочесть — их нужно обдумать, они должны смешаться с жизненным опытом и выкристаллизоваться в этом смешении. Египетские учёные столкнулись с той же проблемой, что и наши гипотетические архитекторы — есть секреты, недостижимые за время жизни человека.

Поэтому они задумались, нет ли способа обмануть смерть. Полученный ответ одновременно обнадёживал и обескураживал. Овладев тайнами высокой химии можно было создать эликсир, дарующий бессмертие. Однако эта работа сама по себе требовала гораздо больше знания, чем мог накопить человек. Уроборос является символом алхимиков, потому что наша задача замыкается сама на себя. Чтобы стать бессмертным, нужно сначала стать бессмертным.

И нам остался лишь медленный путь — идти к цели поколение за поколением, так же, как архитекторы работают над величайшими базиликами. Египет пал, но мы не пали. Рим ушёл в прошлое, но мы остались. Несколько родов, потомки древних жреческих семей Гиераконполя и Мемфиса, продолжают свою работу. Остановка привела бы к тому, что процесс, требующий четырёх тысяч лет постепенного асимтотического приближения к цели, пришлось бы начинать с начала, ведь, тексты, конечно, полезны, но обучать алхимика могут лишь настоящие учителя, обучавшиеся у учителей учителей, которые в свою очередь учились у учителей учителей учителей. О неверном шаге страшно даже подумать. Однако любая победа — единственный флакон Эликсира, единственный кусочек Камня — навсегда покончит с этим кошмаром. Мы станем бессмертными, превратимся в философов, чей жизненный срок наконец будет соответствовать глубинам тайн Природы.

Вот в чём состоит миссия нашей гильдии. Немногие из нас, прошедшие все экзамены, занимаются алхимическими исследованиями, двигающими вперёд Великое Делание. Другие учатся, чтобы стать учителями или учителями учителей. Провалившие экзамен остаются в гильдии в другом качестве и управляют её мирскими делами. Кто-то рыщет по деревням в поисках талантов, которые способны пройти обучение и стать подмастерьями. Другие заведуют нашими финансами. А наименее способные, вроде меня, тратят время на разговоры с другими людьми, пытаясь убедить их в важности нашей миссии. Ещё несколько веков, и у нас будет Камень. Я удовлетворил твоё любопытство?

— Полностью, если не считать изначального вопроса. Вы настолько заняты, что не можете уделить принцу пару недель?

— Бог устроил так, что Великое Делание непросто. Мы сделали всё, что в наших силах, чтобы обучить наших алхимиков, наших учителей, наших учителей учителей и так далее. Но в итоге обнаружилось, что способности человеческие заканчиваются там же, где начинается возможность успеха. По воле своей Он бросает нас в жернова асимптоты.

— Всё равно непонятно.

— Ты помнишь про архитектора, который учится в десять раз быстрее, чем нужно на исследования и при этом не может накопить больше, чем 700 лет знаний? У пятидесятого алхимика будет 696 лет обучения и он сможет потратить на собственные исследования лишь пять месяцев. Сотый алхимик получит 699,98 лет обучения и сможет потратить на исследования лишь день перед смертью. До этого мы ещё не дошли, но мы уже зашли довольно далеко. У нас нет Камня, но есть зелья, которые гарантируют определённый жизненный срок, чтобы никто не умер раньше времени. Последние несколько поколений на смертном одре говорили, что они почти чувствуют Камень, что нужно подумать лишь несколько часов ещё и мы его получим. Говорят, мой дед, умирая, понял рецепт Камня. Он начал диктовать, но его глаза закрылись навеки раньше, чем он успел закончить перечень ингридиентов.

— И?

— Ты просишь нас прервать работу на пару недель, чтобы спасти жизнь принца. Но такая остановка отбросит нас на поколения назад. Мы зашли слишком далеко, и сейчас ценны лишь несколько последних часов в жизни алхимика. Мы не можем уделить принцу часы. Даже секунды не можем.

— А ваши учителя… или учителя учителей?

— Они владеют алхимией в какой-то степени, но у них такая же ситуация. Наши учебники переписывались годами, и сейчас они настолько идеальны, что лишь в последние дни своей жизни учитель становится способен написать что-то лучше. А наши учителя учителей достигли такого мастерства, что лишь в последние дни своей жизни они способны создать учителя лучше, чем те, что уже существуют.

— И в системе нет вообще никакого запаса прочности?

— Только я и подобные мне. Те, кто признан неподходящими для исследований и обречены на мирские дела. Мы уже посылали вам одного такого. Он не справился. Больше нам дать некого.

— Короля это не обрадует. И принц умрёт.

— Все умирают, — ответил алхимик. — Если принц не умрёт в этом году, он умрёт в следующем. Или пятьдесят лет спустя. Вопрос не в том, когда мы умрём, а в том, что наши жизни добавят к Великому Деланию. Ртуть испаряется и исчезает. Но если её смешать с азотной кислотой, то, что останется, будет существовать вечно. Жизни тех, кто не является частью какого-либо Делания, значат для меня меньше, чем для них самих значит один день. Те же, кто двигает Делание, ценнее золота. Так и скажи королю.

— Он не поймёт.

— Тогда ты должен его научить, — сказал алхимик. — Как я научил тебя, а мои учителя научили меня, а их учителя научили их, и так далее до первых философов Египта.

С этими словами он посмотрел на меня, и в черноте его слишком неподвижных зрачков я узрел само Время.

Перевод: 
Alaric
Оцените качество перевода: 
Средняя оценка: 4.7 (42 votes)

Обманчиво согласованные меса-оптимизаторы: Это не смешно, если приходится объяснять

Скотт Александер

I.

Мы тут пытаемся популяризировать запутанные и сложные для понимания области согласования ИИ, и вот этот мем (ретвитнутый Элиезером на прошлой неделе) уж точно подходит:

Так давайте попробуем понять непостижимый мем! Нашим главным источником будет статья 2019 года Хубинжера и пр. Риски Выученной Оптимизации Продвинутых Систем Машинного Обучения.

Меса- – это греческая приставка, обратная по смыслу мета-. «Перейти на мета-уровень» – это на уровень выше; «перейти на меса-уровнь» – на уровень ниже (никто на самом деле так не говорит, извините). Так что меса-оптимизатор – это оптимизатор на один уровень ниже вас.

Рассмотрим эволюцию, оптимизирующую приспособленность животных. Долгое время она делала это очень механистично, реализуя поведения вроде «используй эту клетку, чтобы детектировать свет, затем расти в сторону света» или «если у чего-то красный кружок на спине, то это должно быть самка твоего вида, тебе следует с этим спариться». Со временем животные становились сложнее и начали брать некоторую часть работы на себя. Эволюция выдавала им стремления, вроде голода и похоти, а животные находили способы их достижения в своей текущей ситуации. Эволюция не вкладывала в меня механистически поведение открывания моего холодильника и поедания ломтика швейцарского сыра. Она вложила стремление – голод, а я уже понял, что лучший способ его удовлетворить – это открыть холодильник и съесть сыр.

Так что относительно эволюции я – меса-оптимизатор. В процессе оптимизации моей приспособленности эволюция создала второй оптимизатор – мой мозг – который оптимизирует штуки вроде еды и секса. Если, как Якоб Фалькович, я удовлетворяю своё стремление к сексу с помощью создания таблицы со всеми женщинами, с которыми я хочу встречаться, добавления в неё их хороших качеств и вычисления, с кем мне следует флиртовать, то – при маловероятном шансе, что таблица обретёт самосознание – она станет меса-оптимизатором относительно меня и меса-меса-оптимизатором относительно эволюции. Все мы – эволюция, я, таблица – стремимся к приблизительно одной цели (чтобы я преуспел в отношениях и передал свои гены). Но эволюция делегировала некоторые аспекты задачи моему мозгу, а мой мозг делегировал некоторые аспекты задачи таблице, и теперь то, будет у меня секс или нет, зависит от того, правильно ли я ввёл формулу в ячейке A29.

(как я слышал, Якоб и Тереза очень счастливы)

Возвращаясь к машинному обучению: нынешний процесс обучения ИИ, градиентный спуск, немного похож на эволюцию. Вы начинаете с полуслучайным ИИ, вкидываете в него обучающие данные, и отбираете наборы весов, которые преуспевают на этих данных. В некоторый момент вы получаете ИИ с чем-то вроде интуиции. Классический классификатор кошек/собак может посмотреть на картинку, обработать кучу её свойств, и вернуть либо «собака», либо «кошка». Этот ИИ – не оптимизатор. Он не планирует. У него нет стремлений. Он не думает «Если бы я только мог понять, собака это или кошка! Интересно, как это можно делать? Может, мне послать э-мейл в Американский Кинологический Клуб, они кажутся такими людьми, которые бы поняли. У этого плана больший шанс на успех, чем у других моих планов.». Он просто исполняет выученные поведения, как насекомое. «На этой штуке красный кружок, это, должно быть, самка моего вида, мне следует с ней спариться.» Хорошая работа, теперь ты спариваешься с флагом Японии.

Но точно так же, как эволюция в какой-то момент перешла от механистических насекомых к созданию меса-оптимизаторов вроде людей, и градиентный спуск может, теоретически, перейти от механистических ИИ вроде классификаторов кошек/собак к созданию каких-нибудь меса-оптимизирующих ИИ. Если так произойдёт, то мы не узнаем: сейчас большинство ИИ для своих программистов – чёрные ящики. Мы бы просто заметили, что некоторая программа, кажется, быстрее работает или лучше приспосабливается, чем обычно (или нет – нет закона, заявляющего, что оптимизаторы обязаны работать лучше, чем исполнители-инстинктов, это просто другой тип проектирования разума).

У меса-оптимизаторов была бы цель, сильно коррелирующая с их базовым оптимизатором, но, может быть, не идеально. Классический пример, опять же, эволюция. Эволюция «хочет», чтобы мы размножались и передавали свои гены. Но моё стремление к сексу – просто стремление к сексу, ничего больше. В окружении наших предков, когда не существовало порно и контрацептивов, секс был надёжным прокси для размножения; у эволюции не было причин заставлять меня меса-оптимизировать что-то кроме «заняться сексом». Сейчас, в современном мире, использованная эволюцией прокси кажется недальновидной – секс стал плохой прокси для размножения. Я знаю это, и я довольно умён, и это не имеет значения. То есть только то, что я достаточно умён, чтобы знать, что эволюция дала мне стремление к сексу, чтобы я размножился – а не чтобы я занимался защищённым сексом с кем-то на противозачаточных – не означает, что я немедленно сменю своё желание на желание размножаться. У эволюции был шанс установить мою функцию ценности, когда она меня создала, и если она с ним облажалась, то всё. Я вышел из-под контроля, делаю что хочу.

(Я чувствую себя обязанным признать, что хочу иметь детей. Насколько это мешает этому аргументу? Думаю, не очень – я не хочу, например, сдать сперму в сотни банков, чтобы увериться, что мои гены были как можно больше представлены в следующем поколении. Я просто хочу иметь детей, потому что мне нравятся дети, и я ощущаю некоторое смутное моральное обязательство по этому поводу. Это может быть другой прокси-целью, которую мне дала эволюция, может, немного более устойчивой, но фундаментально не отличающейся от секса.)

На самом деле, нам следует ожидать, что прокси-цели меса-оптимизаторов в большинстве случаев отличаются от целей базовых оптимизаторов. Базовый оптимизатор – обычно что-то глупое, что ни в каком разумном смысле не «знает», что у него есть цель – например, эволюция или градиентный спуск. Первое, на что он наткнётся, что прилично работает для оптимизации того, что ему надо, будет служить целью меса-оптимизатора. Нет хорошей причины, по которой это должно быть его собственной целью. В случае людей, это было «ощущение трения в гениталиях», что как раз могут понять рептилии, шимпанзе и австралопитеки. Эволюции не могло повезти в выдаче меса-оптимизаторам своей настоящей цели («увеличивать относительную частоту своих аллелей в следующем поколении»), потому что рептилиям и даже австралопитекам до понимания того, что такое «аллель» как до Луны.

II.

Хорошо! Мы, наконец, готовы к объяснению мема! Поехали!

(прозаическое согласование сложное, потому что OOD-поведение непредсказуемо, а обманчивость опаснее Закона Гудхарта)

(мы предотвращаем OOD-поведение, детектируя OOD и добавляя больше человеческих ярлыков при детектировании, и мы избавляемся от стимулов к обманчивости, уверяясь, что базовый оптимизатор миопичен и реализует теорию принятия решений, неспособную на акаузальную торговлю)

(даже для миопической базовой цели существуют обманчиво согласованные не-миопические меса-оптимизаторы)

Прозаическое согласование сложное…

«Прозаическое согласование» (см. эту статью за подробностями) означает согласование нормальных ИИ похожих на те, которые мы используем сегодня. Люди довольно долго считали, что такие ИИ не могут достигнуть опасных уровней, и что те ИИ, которые их достигнут, будут использовать настолько много новых экзотических открытий, что мы пока не можем даже начинать предполагать, какими они будут и как их согласовывать.

После GPT-2, DALL-E, и прочих, исследователи согласования стали больше беспокоиться, что схожие с нынешними моделями ИИ могут быть опасны. Прозаическое согласование – попытки согласовать ИИ вроде тех, которые у нас есть сейчас – стало доминирующей (хотя и не единственной) парадигмой исследования согласования.

«Прозаическое» вовсе не обязательно означает, что ИИ не может писать поэзию; см. сгенерированную ИИ поэзию у Gwern’а за примерами.

…потому что OOD-поведение непредсказуемо

«OOD» означает «за пределами распределения». Все ИИ обучаются в некоем окружении. Потом их развёртывают в другом окружении. Если оно похоже на обучающее распределение, то, наверное, обучение будет довольно полезным и к месту. Если оно не похоже на обучающее распределение, то произойти может всё, что угодно. Возвращаясь к нашему стандартному примеру – «обучающее окружение», в котором эволюция спроектировала людей, не включало контрацептивы. В этом окружении цель базового оптимизатора «передать гены» и цель меса-оптимизатора (получить трение на гениталиях) были очень хорошо согласованы – одна часто приводила к другой – так что на эволюцию не было особого давления, принуждающего искать прокси получше. Потом оп, 1957 год, FDA одобряет оральные контрацептивы, и внезапно окружение развёртывания выглядит совсем-совсем не так, как обучающее окружение, и прокси проваливается настолько позорно, что люди начинают творить безумные вещи, вроде выбирания Виктора Орбана премьер-министром.

Итак: предположим, что мы обучили робота собирать землянику. Мы дали ему погулять по земляничной поляне и поощряли его каждый раз, когда земляничины оказывались в ведре. Со временем он в самом деле научился собирать землянику очень хорошо.

Но может быть, всё обучение проводилось в солнечный день. И может быть, что на самом деле робот научился идентифицировать металлическое ведро по тому, как оно блестело на солнце. Потом мы попросили его собирать землянику вечером, и самой яркой штукой неподалёку был уличный фонарь, и робот стал бросать землянику в уличный фонарь.

Ну ладно. Мы обучаем его в широком диапазоне разных условий освещения, пока мы не становимся уверены, что независимо от освещения земляника отправится в ведро. Потом в один прекрасный день по поляне проходит кто-то с большим распухшим красным носом, и робот отрывает человеку нос и отправляет его в ведро. Ах если бы в обучающем распределении был кто-то с таким большим и таким красным носом, тогда мы могли бы научить робота этого не делать!

Суть в том, что только то, что в одном окружении он научился «собирать землянику в ведро», ещё не значит, что он безопасен или эффективен в другом окружении. И мы никогда не можем быть уверены, что мы поймали все способы, которыми окружения могут различаться.

…а обманчивость опаснее Закона Гудхарта.

Использование Закона Гудхарта – это следовать букве своей функции вознаграждения вместо её духа. Пример из обычной жизни – «учить к тесту». Программисты системы (например, Департамент Образования) имеют цель (дети должны учиться). Они делегируют эту цель меса-оптимизаторам (учителям) с помощью прокси-цели (дети должны хорошо справляться со стандартным тестом) и коррелирующей функцией вознаграждения (учителям больше платят, если их ученики получили более высокие оценки за тест). Учителя могут преследовать либо базовую цель за меньшее вознаграждение (учить детей полезным навыкам) или меса-цель за большее (учить их тому, как хорошо сдать тест). Провал согласования!

Это отстой, но это ограниченная проблема. Мы уже знаем, что некоторые учителя учат к тесту, и Департамент Образования принял это как приемлемую цену за то, что система стимулов вообще есть.

Мы можем представить, что наш собиратель земляники нарезает земляничины на маленькие кусочки, чтобы это считалось как сбор большего их количества. Опять же, это отстой, но, когда программист это заметит, это можно довольно быстро исправить (пока ИИ слаб и подконтролен).

Что насчёт обманчивости? Предположим, вышло так, что собиратель земляники получил какую-то другую, не предполагавшуюся, целевую функцию. Может, как и раньше, он хочет бросать земляничины в источники света, так, что это работает, когда ближайший источник света – металлическое ведро, но не работает, когда это уличный фонарь. Наши программисты (в какой-то степени) умны и осторожны, так что во время обучения они тестируют его ночью, рядом с уличным фонарём. Что происходит?

Если это лишь тупой набор рефлексов, обученных градиентным спуском, то он будет кидать землянику в фонарь и это будет легко обнаружено и исправлено.

Если это очень умный меса-оптимизатор, то он может подумать: «Если я брошу земляничину в фонарь, то меня поймают и обучат иметь другие цели. Это будет провал в достижении моей цели, чтобы земляника была рядом с источниками света. Так что бросание земляники к источнику света в этот раз, в обучающем окружении, не приведёт к достижению моей глобальной цели – бросать землянику в источники света вообще. Я сделаю то, чего хотят люди – помещу землянику в ведро – пока что». Так что он помещает землянику в ведро и его не ловят. Затем, как только люди перестают смотреть, он опять бросает землянику в фонарь.

Обманчивость опаснее Закона Гудхарта, потому что применение Закона Гудхарта будет поймано и исправлено, а обманчивость – не обязательно.

Может быть, я объясняю это не очень хорошо, см. также Обманчиво Согласованные Меса-Оптимизаторы? Это Вероятнее, Чем Вам Кажется.

Мы предотвращаем OOD-поведение, детектируя OOD и добавляя больше человеческих ярлыков при детектировании…

Если вы (в какой-то степени) осторожны, то вы можете запустить свой собирающий землянику ИИ ночью, увидеть, что он бросает землянику в уличные фонари, и обучить его так не делать (т.е. человек-программист помечает это ярлыком «плохо», чтобы градиентный спуск увёл ИИ от этого).

…и мы избавляемся от стимулов к обманчивости, уверяясь, что базовый оптимизатор миопичен

Миопический оптимизатор – такой, который поощряет программы, основываясь только на качестве их работы на коротком промежутке времени. Так что, к примеру, внешняя петля градиентного спуска может оценивать собирателя земляники только по тому, как он собирал землянику в первый час развёртывания.

Если это работает идеально, то получится оптимизатор с коротким временным горизонтом планирования. Когда он рассматривает идею обмануть своих программистов ради выгоды через несколько дней, когда они перестанут за ним присматривать, его это не беспокоит, потому что несколько дней – за пределом его временного горизонта.

и реализует теорию принятия решений, неспособную на акаузальную торговлю.

Серьёзно, вы не хотите про это знать. Давайте просто представим, что это не упоминалось, извините за неудобство.

Даже для миопической базовой цели существуют обманчиво согласованные не-миопические меса-оптимизаторы.

Даже если базовый оптимизатор миопичен, меса-оптимизатор может таким не быть.

Эволюция проектировалла людей миопично, в том смысле, что мы живём некоторое количество лет, и ничто, что произойдёт после этого не может нас вознаградить или наказать. Но мы всё равно «строим для потомков», вероятно, как необходимый для обладания работающим планирующим «софтом» побочный эффект. Бесконечная оптимизационная сила могла бы эволюционировать нас от этого, но бесконечная оптимизационная сила вообще может много чего сделать, а реальная эволюция всё же конечна.

Может, было бы полезно, если бы мы могли сделать миопическим сам меса-оптимизатор (хотя это сильно бы ограничило его полезность). Но пока что нет способа сделать меса-оптимизатор каким бы то ни было. Вы просто запускаете градиентный спуск и скрещиваете пальцы.

Наиболее вероятный исход: вы запускаете миопический градиентный спуск, чтобы создать собирателя земляники. Он создаёт меса-оптимизатора с некоторой прокси-целью, которая очень хорошо соотносится с собиранием земляники в обучающем распределении, вроде переноса красных штук к свету (в реалистичном случае это будет намного более странно и экзотично). Меса-оптимизатор не стимулирован думать о чём-то более чем на час в будущем, но он всё равно это делает, по тем же причинам, по которым не стимулированный строить предположения о далёком будущем я всё равно это делаю. Строя предположения о далёком будущем, он понимает, что неправильно собирание земляники сейчас повредит его цели бросания красных штук в светящиеся объекты потом. Он собирает землянику правильно в обучающем распределении, а затем, когда обучение закончилось и никто не смотрит, бросает землянику в уличные фонари.

(Затем он понимает, что мог бы бросать куда больше красных штук в источники света, если бы был мощнее, как-нибудь достигает уровня суперинтеллекта, и конвертирует массу Земли в красные штуки, которые он может бросить в Солнце. Конец.)

III.

Вы всё ещё тут? Но мы уже закончили объяснять мем!

Ок, ладно. Относится ли что-то из этого к реальному миру?

Насколько нам известно, полноценных меса-оптимизаторов не существует. AlphaGo – что-то вроде меса-оптимизатора. Его можно приближённо рассматривать как оптимизатор хорошего-хода-в-го, созданный петлёй градиентного спуска. Но это лишь приближение: DeepMind жёстко закодировали некоторые части AlphaGo, а затем провели градиентный спуск для других частей. Его целевая функция – «выигрывать партии в го», она жёстко закодирована и весьма ясна. Называть это или нет меса-оптимизатором, он не очень пугающий.

Получим ли мы страшные меса-оптимизаторы в будущем? Это связано с одним из самых длинных споров в согласовании ИИ – см., например мой обзор на Переосмысление Суперинтеллекта, или диалог Элиезера Юдковского и Ричарда Нго. Оптимисты говорят: «Раз преследующий цели ИИ может всех убить, я просто не буду такой создавать». Они выдвигают предположения о механистических/инстинктивных суперинтеллектах, которые было бы сравнительно легко согласовать, и которые могут помочь нам понять, что делать с их более страшными собратьями.

Но литература по меса-оптимизаторам возражает: у нас есть весьма ограниченный, если хоть какой-то, контроль над тем, какой ИИ мы получим. Мы можем избежать намеренного проектирования ИИ, преследующего цели. Но на самом деле всё, что мы тут делаем – это настраиваем петлю градиентного спуска и нажимаем «пуск». Затем в петле эволюционирует такой ИИ, который лучше минимизирует функцию потерь.

Будет ли это меса-оптимизатор? Ну, я получаю выгоду от рассмотрения своих действий и выбора тех, которые лучше приводят к достижению моей цели. Получаете ли выгоду вы? Это точно выглядит как что-то помогающее в широком классе ситуаций. Так что было бы удивительно, если бы планирующие агенты не были эффективным видом ИИ. И если это так, то нам следует ожидать, что градиентный спуск рано или поздно на них наткнётся.

На этом сценарии сосредотачиваются многие исследования согласования ИИ. Когда мы создадим первого настоящего планирующего агента – намеренно или случайно – процесс скорее всего начнётся с запуска нами петли градиентного спуска с некой целевой функцией. В результате получится меса-оптимизатор с некой другой, потенциально отличающейся, целевой функцией. Заполучение уверенности в том, что вам действительно нравится целевая функция, которую вы намеренно дали изначальной петле градиентного спуска – это называется внешним согласованием. Передача этой целевой функции получившемуся на самом деле меса-оптимизатору – это называется внутренним согласованием.

Проблемы внешнего согласования звучат в духе Ученика Чародея. Мы говорим ИИ собирать землянику, но забываем включить оговорки и стоп-сигналы. ИИ становится суперинтеллектуальным и превращает весь мир в землянику, чтобы он мог собирать её как можно больше. Проблемы внутреннего согласования звучат как то, что ИИ замощает вселенную безумными штуками, которые, с точки зрения людей, могут вовсе никак не напоминать сбор земляники, но в экзотической онтологии ИИ они служили полезным прокси для сбора земляники в обучающем распределении. Мой пример был «превратить весь мир в красные штуки и бросать их в Солнце», но то, что будет делать ИИ, который нас убьёт, скорее всего будет куда страннее. Это не ироничное запоздалое понимание Ученика Чародея. Это просто «что?». Если вы напишете книгу о волшебнике, который создал собирающего землянику голема, а тот превратил всю Землю в железистые сферы и оттащил их к Солнцу, то она не станет культовой, как Ученик Чародея.

Проблемы внутреннего согласования происходят «первыми», так что мы не подберёмся к хорошей истории решения внешнего согласования, пока не разрешим кучу трудностей, с которыми мы пока что не знаем, что делать.

За дополнительной информацией можете посмотреть:

Перевод: 
Выменец Максим
Оцените качество перевода: 
Голосов пока нет

Понимание

Скотт Александер

Двое детей читают текст, написанный ИИ:

Хоббиты брызгали друг другу в лицо водой, пока оба не промокли до нитки.

Один другому говорит: «Ва-ау! Если давать ИИ читать больше текстов, со временем он поймет, что такое вода!»

Второй ребенок отвечает: «На самом деле, не поймет».

Первый ребенок говорит: «Ну, конечно, поймет! Он осознает, что вода — это жидкость, которой можно брызгаться, и что если обрызгать человека водой, тот намокнет. Что тут ещё понимать?»

Второй ребенок говорит: «Всё, что он понимает это лишь отношения между словами. Ни одно из этих слов не привязано к реальности. Для него не существует такого понятия как „вода“, также как не существует понятия „быть мокрым“. Буквы В-О-Д-А, стоящие неподалеку от букв Б-Р-Ы-З-Г-И, для него статистически связаны с буквами М-О-К-Н-У-Т-Ь».

Первый ребенок убегает в слезах.

Двое химиков наблюдают за спором детей. Первый химик говорит: «Ва-ау! Понаблюдав за ИИ, они смогли обсуждать природу воды!»

Второй химик иронично: «Действительно ли? Дети ведь и сами не понимают, что такое вода! Вода — это два атома водорода плюс один атом кислорода. И ни один из них не знает этого!».

Первый химик отвечает: «Да ладно. Они знают о воде достаточно, чтобы сказать, что понимают её. Они знают, как она выглядит, знают, какая она на вкус. Это в общем-то всё, что нужно знать о воде».

Второй химик отвечает: «Все это лишь связи между наборами сенсорных данных. Ребенок знает, что (изображение прозрачной блестящей штуки) = (ощущение влажности на коже) = (освежающий вкус). Он может использовать эти связи, чтобы делать предсказания, вроде, если на меня выльют ведро (изображение прозрачной блестящей штуки), то появится сильное (ощущение влажности на коже). Слово «вода» тут является узлом,связывающим все ощущения воедино. Делать предсказание о мире становится намного проще. Но не важно, насколько хорошо ты понимаешь эти связи, они никогда не приведут к идее H2O или любым другим химическим фактам, находящимся за пределами обычных сенсорных данных».

Первый химик говорит: «Возможно, им известны факты вроде „вода заставляет железо ржаветь“. Это химический факт».

Второй химик говорит: «Нет, они знают только, что (изображение прозрачной блестящей штуки + влажность + свежесть) заставляют (изображение тусклой металлической штуки + твердость) измениться на (изображение красных пятен + мягкость). Они не понимают, что H2O + Fe даёт оксиды железа. Им известно множество статистических связей между сенсорными данными, но ни одна из этих связей не ведет к химическим явлениям, стоящим за данными».

Первый химик говорит: «Тогда насколько мы сами можем говорить, что понимаем воду? Ведь за химическими реакциями стоят более глубокие уровни материи: квантовые поля, суперструны и уровни еще ниже этих. Все что у нас есть это статистические отношения, которые выполняются, несмотря на устройство нижних уровней».

Двое ангелов наблюдают за спором химиков. Первый ангел говорит: «Ва-ау! Увидев взаимосвязь между сенсорным данными и атомной моделью устройства мира, эти химики осознали, что существуют уровни понимания, недоступные людям».

Второй ангел говорит: «Нет, не осознали. Они лишь механически проводят аналогию от связи атомной модели с сенсорными данными. Они не знаю ничего о Термин на ангельском №1 или о Термин на ангельском №2. Они даже не могут выразить их в своём языке!».

Первый ангел говорит: «Да, но ведь указатели, которые они используют, вроде „уровни еще ниже этих“ будут иметь те же статистические отношения между моделью и реальностью, что и Термин на ангельском №5».

«Да, но это все равно, что сравнивать способность отвечать „Поло!“, когда тебе говорят „Марко!“ с глубоким историческим пониманием торговых отношений Европы и Азии в средних веках. Само по себе понимание того, что некоторые статистические модели подобны друг другу, не даст ни малейшего представления о том, какой Термин на ангельском №4 у этих моделей».

«Я не говорю, что люди действительно что-то понимают», — сказал первый ангел. — «Просто впечатляет, чего можно добиться, манипулируя символами ментального языка, построенного поверх сенсорных данных без всякой связи с соответствующим Термин на ангельском №3 вообще».

«Думаю, да, впечатляет», — сказал второй ангел. — «Для людей».

Бог сидит в верхнем пределе рая, один.

«Ва-ау!», — думает он про себя. — «Этот простенький клеточный автомат сегодня генерирует занятные паттерны. Интересно, что он сделает дальше!»

Примечание редактора сайта: Этот перевод взят из блога Антона Желтоухова.

Перевод: 
Антон Желтоухов
Оцените качество перевода: 
Средняя оценка: 4.8 (25 votes)

Простые правила, которые практически всегда работают

Скотт Александер

Охранник

Он работает в очень скучном здании, которое практически никогда не пытаются ограбить. Он сидит в своей охранной будке и решает кроссворд. Время от времени слышится шум и он идет проверить: грабители это или просто сквозняк.

Это сквозняк. Это всегда сквозняк. Это никогда не грабители. Никто не пытается ограбить Магазин Подушек в Топеке, штат Огайо. Если здание в среднем грабят один раз за десять или двадцать лет, то возможно за все время своей работы он так и не столкнется с настоящим грабителем.

Со временем, он вырабатывает для себя простое полезное правило: когда услышишь звук - можно не идти проверять, а продолжать сидеть разгадывать кроссворд: это просто ветер, чувак.

Это простое правило верно в 99.9 процентах случаев, что очень неплохо как для простого правила, к тому же избавляет от массы забот.

Единственная проблема в том, что теперь он буквально полностью бесполезен. Он гарантировано исключил любой шанс когда-либо принести пользу. Ничего не потеряешь, заменив его на булыжник с надписью «ГРАБИТЕЛЕЙ НЕТ».

Доктор

Она — доктор терапевт. Каждый день, к ней приходят пациенты и говорят: «у меня болит спина» или «какое-то странное ощущение в животе». Она осматривает, пальпирует, простукивает и прослушает разные части тела, берет кое-какие анализы, и сообщает «Все в порядке, выпейте две таблетки аспирина и наберите мне через неделю если не станет лучше». Всегда становится лучше. Никто и никогда ей не перезванивает.

Со временем, она становится небрежной. Она осматривает, но не ощупывает. Она не назначает никаких анализов. Просто говорит: »Это пустяк, пройдет само по себе». И она всегда права.

Она будет делать так на протяжении всей своей карьеры. Если ей очень повезет - ничего плохого не произойдет. Более вероятно, что у двух или трех ее пациентов окажется рак или еще что-то жуткое, и она это упустит. Но эти люди умрут, а остальным пациентам она запомнится как очень приятный и заботливый доктор. Всегда такая обнадеживающая, никогда не жмякающая и не дырявящая их иглами как другие доктора.

Ее правило срабатывает 99.9% раз, но она не приносит буквально никакой пользы. Нет смысла в ее существовании. Ее с выгодой можно поменять на булыжник с надписью: «Все в порядке, выпейте две таблетки аспирина и ждите, пока пройдет».

Футурист

Он комментирует последние восторгающиеся пресс релизы от тех компаний. «Это изменит все!», сообщает пресс релиз. «Нет, не выйдет», комментирует он. «Это - величайшие в истории изобретение», сообщает пресс релиз. «Это развод», отвечает он.

Каждый раз когда предсказывают перемены, он и опровергает. «Скоро у всех будут летающие машины!» — «Наши машины навсегда останутся прикованными к земле.» «Скоро все будут пользоваться криптовалютой!» — «Мы продолжим пользоваться долларами и visa, точно также как и раньше». «Мы катимся к диктатуре!» — «Нет, у нас и дальше будет та же скучная олигархичная псевдо-демократия». «Наступит расцвет новой эпохи гражданской государственности» — «Ты пьян, иди спать»

Когда будут подсчитаны все показатели Бриера и добавлены все баллы Байеса, он будет лучшим футуристом из всех. Все остальные изредка ведутся на какой-то развод или хайп, он же — никогда. Его простое правило действительно превосходно.

Но — давайте вместе — его можно с выгодой заменить на булыжник. «НИЧЕГО НИКОГДА НЕ МЕНЯЕТСЯ И НЕ БЫВАЕТ ИНТЕРЕСНЫМ», утверждает камень, буквами высеченными на его поверхности. Зачем же нанимать мягкое слюнявое человеческое существо, когда есть этот великолепный сияющий булыжник?

Скептик

Она все опровергает. Телепатия? У нее есть опровержение. Бигфут? Опровержение. Анти-ваксер? Пять опровержений плюс одно в подарок, только для вас.

Когда она начинала, она пристально изучала каждое из явлений и обнаруживала, что это лишь «ловкость рук», после чего беспощадно унижала простаков которые на это повелись и проходимцев которые это распространяли. Проделав процедуру сотни раз, она стала пропускать первые два шага. Ее алгоритмом стало: «когда человек говорит что-то необычное, противоречащее общепринятому мнению — беспощадно унижай».

Она всегда права! Когда появились гидроксихлорохинщики, она была первой, кто их осудил, пока все остальные еще разбирались в вопросе. Когда появились первые ивермектинщики, она тоже была первой! Безупречный результат.

(правда зазорно за тот раз, когда она с такой же беспощадностью осуждала флувоксамин)

Быстро, легко читается, и 99,9% правда. Очень приличный результат, особенно по сравнению с теми кто «проводит собственное расследование» и временами ошибается. И тем не менее, она использует немало кислорода, питья и еды. А знаете, чему не нужен ни кислород ни еда с питьем? Булыжнику с надписью «ВАША НЕЛЕПОЗВУЧАЩАЯ ИДУЩАЯ ВРАЗРЕЗ ИДЕЯ — НЕ ВЕРНА!»

Это отличный булыжник. Вам стоит им дорожить. Если вас часто тянет поверить нелепозвучащим идущим вразрез идеям, этот булыжник — ваш господь бог. Но это протестантский бог. Ему не нужны пастыри. Если кто-то вдруг устроится пастырем для булыжника, вам стоит вежливо ему сообщить, что от него мало толку и вы предпочитаете взаимодействовать с булыжником без посредников. Претендующим на роль лидера мнений, скажите что вы предпочитаете, чтобы вашими мнениями управлял напрямую булыжник.

Эйчар

Он проводит собеседования кандидатов на работу в крупной компании. Он выбирает тех, кто ходил в лучшие университеты и имеет наибольший опыт.

Другие эйчары порой найдут самородка, или рискнут выбрать кого-то с менее впечатляющим резюме, но лучше подходящего культуре компании. Это не про него. Любой, кто ходил в топовый ВУЗ, лучше того кто ходил в региональный и еще лучше того, кто ходил в колледж. Любой с десятью годами опыта, лучше любого с пятью, кто в свою очередь лучше любого с одним. Можешь рассказать ему про свои крутые внеурочные проекты и нестандартные достижения — он останется непоколебим.

Сложно спорить с тем, что работники которых он нанимает — очень хороши. Но на посмертном вскрытии, судмедэксперт обнаружит в его черепной коробке булыжник с надписью «Нанимай людей из лучших ВУЗов с большим опытом» на месте, где должен был находиться мозг

Королева

Она правит вулканическим островом. Все переживают о времени, когда случится извержение. Мудрейшие жители королевства исследовали эту проблему и установили, что каждый год шанс извержения равняется 1/1000, независимо от того извергался ли он за год до этого. Существуют сигналы, заметные мудрецам — легкое изменение цвета лавы, едва заметное отклонение аромата серы - но ничего очевидного, пока не станет слишком поздно.

Королева основала Ученое Сообщество Вулканологов и назначила их ответственными за прогнозирование извержений вулкана. Она не знала, но существовало 2 вида вулканологов. Добросовестные вулканологи, которые, насколько умели, по-честному пытались считать сигналы. И Культ Черного Булыжника: зловещая секта которая получала свои дьявольские знания при помощи тайного общения с булыжником на котором начертано «ВУЛКАН НЕ ИЗВЕРГАЕТСЯ».

Время от времени честный вулканолог замечал, что лава приобретает несколько необычный цвет, и говорил об этом Королеве. Королева паниковала и искала у всех совета. Честные вулканологи отвечали: «Послушайте, это тяжелый вопрос. Лава выглядит сегодня немного необычно, но она в том или ином смысле всегда немного отличается от нормы, и к тому же этот вулкан редко извергается, но, насколько мы можем судить - этот раз может оказаться исключением». Сектанты же в тайне проверяли свой булыжник и отвечали: «Не волнуйтесь, вулкан не извергается». Затем вулкан не извергался. Королева наказывала любящих сигналы вулканологов, которые подняли ложную тревогу, хмурилась на бесполезных вулканологов, которые всегда были не уверены, и повышала уверенных в себе сектантов, которые верно спрогнозировали, что все в норме.

Время шло. С каждым годом, сектанты, а также организации и методы мышления которые способствовали их появлению, приобретали все больше статуса по сравнению с честными вулканологами, их организациями и методами. Королева умерла, последовал ее последователь и остров продолжал в том же духе скажем пятьсот лет.

После пятисот лет, лава начала выглядеть странновато, и королева проконсультировалась со своими советниками. К этому времени, они на 100% состояли из сектантов, по этому посовещавшись с булыжником сообщили: «Нет, вулкан не извергается». Затем сера стала пахнуть иначе, и королева переспросила: «вы уверены?», на что они, в тайне перепроверив булыжник, ответили: «Да, мы уверены». Земля стала трястись, и королева спросила их в последний раз. Тогда они взяли крохотные увеличительные стекла и изучили камень так близко как могли и все так же сказали «ВУЛКАН НЕ ИЗВЕРГАЕТСЯ».  Вулкан извергся и все погибли. Конец.

Синоптик

Он живет в портовом городе и прогнозирует ураганы. Ураганы очень редки, но когда они случаются — тонут все судна, поэтому синоптику очень хорошо платят.

Читавшие Лавкрафта в курсе, что различные зловещие культы смерти пережили падение Атлантиды, и нет среди них более зловещего, чем Культ Булыжника. Этот синоптик оказался адептом и в тайне контактировал с булыжником с надписью «УРАГАНА НЕ БУДЕТ».

В течение многих лет, урагана не случалось, и синоптик приобрел большую известность. Другие, менее значимые синоптики иногда сомневались насчет ураганов, но этот — никогда. Бизнесмены любили его, ведь он никогда не просил отменять их морские походы. Журналисты любили его, ведь он всегда давал четкие и уверенные ответы на их запросы. Политики любили его, ведь он принес их городу славу и процветание.

Затем однажды пришел ураган. Он был полностью неожидан и погибло множество людей. Синоптик протараторил: «Ну, да, иногда бывают исключения, которые даже я не могу предсказать, но это не обесценивает мой обширный опыт и многие годы успеха, а еще, вам не кажется, что люди которые меня критикуют, имеют бизнес интересы в других городах, которые могут в заговоре, чтобы нас разорить?». Было запущено расследование, но и бизнесмены и журналисты и политики все были на его стороне, и его оправдали и он вернулся к своей почетной должности.

Простые правила, которые практически всегда работают

Иногда, существует «простое правило, которое практически всегда работает», как например «эта технология не способна все изменить» или «завтра не будет урагана».

И бывает, что редкие исключения настолько важны, что мы поручаем задачу их обнаружения специалистам. Но эффективность этих простых правил настолько трудно превзойти, что сами специалисты могут пойти на соблазн в тайне на них полагаться, публично изображая использование более утонченные формы экспертной оценки. «Моя статистическая модель, с учетом теории хаоса, барометрического давления, стоимости чая в Китае, предсказывает что завтра не будет урагана. Возрадуйтесь!»

Возможно, это из-за глупости и лени экспертов. А может дело в давлении социума: ошибиться, потому что ты не воспользовался общеизвестным простым правилом, которое способен усвоить даже булыжник, гораздо более позорно, чем ошибиться не учтя тонкое явление, которое помимо тебя тоже никто не учел.

Или возможно, ложноположительные результаты хоть и менее важны, но встречаются чаще ложноотрицательных. А значит, на любом «нормальном» отрезке времени люди, которые никогда не дают ложноположительных предсказаний, кажутся более выверенными и успешнее проходят отбор.

Это плохо по ряду причин.

Во-первых, потому, что все тратят свое время и деньги на то, чтобы вообще иметь экспертов.

Во-вторых, потому что это порождает необоснованную уверенность. Вероятно простое правило гласит о базовой вероятности в 99.9%, что событие не произойдет. Но когда вы проконсультируетесь с кучей экспертов, которые утверждают что у них есть дополнительные свидетельства о том, что событие не произойдет, вы повышаете свою оценку вероятности до 99.999%. Но на самом деле, эксперты использовали то же самое простое правило что и вы, и вам стоило оставить свою оценку на отметке 99.9%. Ложный консенсус основанный на информационном каскаде.

Новое изобретение ничего не изменит. Распространяющаяся болезнь не вызовет глобальную пандемию. Эта конспирология — тупость. Аутсайдер не опроверг экспертов. Новое лекарство не будет действовать. Кандидат «темная лошадка» — не выиграет.  Эта потенциальная угроза не приведет к уничтожению мира.

Все эти утверждения практически всегда верны. Но простые правила, которые почти всегда работают, подталкивают нас быть более уверенными в каждом из этих случаев, чем стоило бы.

Добавлено: Некоторые люди спрашивают, не тоже ли это самое, что черные лебеди. Я согласен, что черный лебедь — это отличный пример, но все же я считаю, что пишу про несколько другое, включающее в себя правила типа «на работу стоит нанимать только выпускников топовых ВУЗов» или «нужно доверять экспертам». Если угодно, вы можете называть отчисленного студента, обошедшего выпускника топового университета «черным лебедем», но это будет необычно. И основная идея не в том, что «иногда случаются черные лебеди», но в том, что существование экспертов, пользующихся простыми правилами вызывает предсказуемый перегиб мнения в сторону этих правил.

Каждый раз когда кто-то небрежно обесценивает рациональность, или высмеивает рационалистов, тратящих офигиллионы мозговых циклов на «очевидные» вопросы, обратите внимание на то, как они принимают свои решения. 99.9% раз — это »простые правила, которые практически всегда работают».

(но постарайтесь не упустить оставшийся 0.1%. Это люди, у которых есть чему поучиться)

Перевод: 
Mckiev
Оцените качество перевода: 
Средняя оценка: 4.1 (24 votes)

Ведомые красотой своих орудий

Скотт Александер

[Примечание переводчика: Оригинальное название статьи «Guided by the beauty of our weapon» является цитатой из песни Леонарда Коэна «First we take Manhattan» («Сперва мы возьмём Манхэттен»).]

[Замечание по содержанию: в статье говорится о сторонниках Трампа и им подобных так, как будто их здесь нет.]

I

Используя Трампа и Брексит как отправные точки своей аргументации, Том Харфорд в своей статье «Проблема с фактами» пишет, что люди, в основном, невосприимчивы к фактам и сопротивляются логике:

Всё это рисует мрачную картину для тех из нас, кто не готов жить в мире постправды. Кажется, факты бессильны. Попытка опровергнуть смелую и запоминающуюся ложь с помощью набора сложных фактов зачастую служит только укреплению мифа. Важные истины часто кажутся устаревшими и скучными, поэтому вместо них очень легко породить новые более привлекательные заявления. И, предоставляя людям больше фактов, мы порой добиваемся обратного результата, ведь обилие фактов вызывает защитную реакцию у тех людей, которые просто хотели не менять своих взглядов на мир. «Тёмные делишки», — как говорит Райфлер. — «Мы живём в тёмное и страшное время».

Харфорд признаёт, что у него нет готовых ответов, но приводит некоторые исследования, подтверждающие, что «научное любопытство» может вернуть людям интерес к фактам. Он думает, что, возможно, мы сможем разжечь в окружающих научное любопытство, соединяя научные истины с историями, которые интересны людям, создавая убедительные повествования, найдя кого-то «вроде Карла Сагана или Девида Аттенбороу» в области гуманитарных наук.

По-моему, это, в целом, хорошая статья, в ней подняты важные темы, но мне хотелось бы затронуть три вопроса, потому что они, судя по всему, указывают на наличие более глубоких закономерностей.

Во-первых, в статье делается очень сильное заявление, что «факты бессильны», но сама статья пытается убедить в этом читателя с помощью фактов. Например, в статье освещается исследование Нихана и Райфлера, посвященное так называемому «эффекту обратного результата»: люди лишь сильнее цепляются за свои заблуждения после того, как им на эти заблуждения указали1. Харфорд ожидает, что этот факт нас впечатлит. Но чем именно этот факт отличается от всех остальных фактов, к которым люди, по его словам, невосприимчивы?

Во-вторых, работа Нихана и Райфлера, скорее всего, неверна. Дело в том, что результаты исходных исследований так и не удалось воспроизвести(например, см. статью Портера и Вуда, 2016). Это замечание не опровергает аргумент Харфорда полностью: он цитирует не исходное исследование, а опубликованное через год продолжение, и хотя его проводила та же команда учёных, они пришли уже к несколько иным выводам.

Но, с учётом сказанного, вся область исследований уже кажется сомнительной, и сдаётся мне, было бы разумно упомянуть об этом в статье. Особенно в свете того, что сама статья посвящена распространению ложных идей людьми, которые никогда не перепроверяют свои убеждения. Мне кажется, что если ты веришь в эпидемию лжи настолько масштабную, что под угрозой сама возможность отделять факты от вымысла, то эта вера сподвигнет тебя на ПОСТОЯННУЮ БДИТЕЛЬНОСТЬ, на проверку каждого своего убеждения с маниакальным упорством. И всё же Харфорд пишет целую статью о ложных убеждениях, которые распространяются по миру, подобно чуме, но не прикладывает усилий, чтобы разобраться, верны ли исследования, на которые он ссылается, или нет.

В-третьих, Харфорд преподносит свою работу как статью по агнотологии, — «исследование вопроса, как люди сознательно вырабатывают у себя невежество». В качестве основного примера он использует табачные компании, успешно посеявшие сомнения в том, что курение вредит здоровью. Например, он рассказывает о том, как табачные компании спонсируют исследования тех причин болезней, которые не связаны с курением, чтобы сфокусировать внимание людей именно на этом.

Однако его предложение — рассказывать воодушевляющие истории, вызывать у людей интерес, создавать занимательные (доставляющие удовольствие) документальные фильмы в стиле Карла Сагана, — удивительно не подходит для поставленной проблемы. Национальные институты здравоохранения могут сделать яркий и запоминающийся документальный фильм о курильщике, который страдает от рака лёгких. И табачные компании могут сделать воодушевляющий документальный фильм о парне, которого спасли от рака лёгких (вызванного асбестом) благодаря исследованиям, спонсируемым табачными компаниями. Противники Брексита могут сделать воодушевляющий ролик о том, почему Брексит плох. А сторонники Брексита могут сделать воодушевляющий ролик о том, почему Брексит хорош. И, при наличии хороших изготовителей роликов, обе стороны будут одинаково убедительны, вне зависимости от реального положения дел.

Все три этих замечания немного несправедливы. Во-первых, самые сильные утверждения Харфорда, скорее всего, это преувеличения, а на самом деле он просто имел ввиду, что люди иногда игнорируют доказательства. Во-вторых, то конкретное исследование, которое цитирует Харфорд, и то, которое так и не удалось воспроизвести, это два разных исследования. При этом, Харфорд мог бы указать, что, процитированное исследование достаточно сильно отличается от исходного, чтобы предположить, что оно всё-таки корректно. Ну, и, в-третьих, документальные фильмы были лишь одной из идей, призванных служить более глобальной цели, - пробудить в людях «научное любопытство». С помощью которого, как показывают исследования, можно привить людям привычку верить правде.

Но меня беспокоит, что все эти три пункта вместе предполагают наличие некой невысказанной предпосылки. Дело не в том, что люди в принципе невосприимчивы к фактам. Харфорд же не ждёт, что его читатели будут невосприимчивы к фактам, он не ждёт, что создатели документальных фильмов будут невосприимчивы к фактам, и уж точно, он не считает невосприимчивым к фактам себя. Проблема в том, что вроде бы где-то есть некое таинственное племя иммунных к фактам троглодитов, которые только и знают, что бойкотировать вакцины и поддерживать Брексит, а остальным из нас нужно решить, что с ними делать. И в этом случае фундаментальная проблема — это проблема передачи информации: как мы организуем передачу информации вниз от любящей факты элиты к факто-невосприимчивым массам?

И я не хочу осуждать такую постановку вопроса слишком сильно, потому что какое-то здравое зерно в ней, очевидно, есть. У медиков-исследователей есть много полезных фактов о вакцинах. Специалисты в области статистики знают великолепные факты о связи табака и рака лёгких (хотя мне стыдно за Рональда Фишера). Наверно есть даже социологи, у которых найдётся факт-другой.

И всё же, как я уже писал, чрезмерное внимание к таким вещам, как протесты против прививок, порождает плохую привычку. А именно, желание взять какой-нибудь вырожденный случай, какую-нибудь редкую ситуацию, когда одна из сторон очевидно права, а вторая так же очевидно ошибается, и сделать эту ситуацию центральным примером при моделировании всех человеческих разногласий. Представьте себе теорию юриспруденции, разработанную для наказания только суверенных граждан2. Или государственную политику в области развития инноваций, которая базируется исключительно на том, что призывает изобретателей не делать вечные двигатели.

И в этом широком контексте, часть меня задаётся вопросом: не является ли сосредоточенность на вопросе «как передать информацию» частью проблемы? Все от статистиков до сторонников Брексита знают, что они правы. Единственная оставшаяся проблема, — как убедить других. Зайдите на Facebook и вы найдёте миллион разных людей с миллионом разных мнений. Каждый уверен в своих суждениях и каждый отчаянно пытается убедить в них всех окружающих.

Представьте себе класс, где каждый считает, что он учитель, а остальные — ученики. Все воюют со всеми за место у доски, за право читать лекции, которые никто не будет слушать, и задавать домашнюю работу, которую никто не будет делать. И, когда все получают двойки за контрольную, одного из «учителей» посещает гениальная мысль: «Мне нужен более воодушевляющий учебный план». Конечно. Это поможет.

II

Новая статья Натана Робинсона: «Дискуссия или убеждение». Она строится по той же схеме, что и статья Харфорда, но на этот раз с точки зрения политических левых. То, что Робинсон называет «Дискуссией, Основанной на Чистой Логике», против сторонников Трампа не сработало. Некоторые левые думают, что ответ — насилие. Но, возможно, это преждевременно: вместо этого мы должны попробовать инструменты риторики, эмоциональной привлекательности и других форм донесения информации, которые не являются «Дискуссией, Основанной на Чистой Логике». Статья заканчивается выводом: Берни бы выиграл3.

Я думаю, что отказываться от аргументации, доводов и общения только потому, что Дискуссия, Основанная на Чистой Логике, не сработала, — это ошибка. Легко прийти к выводу, что если вы не можете убедить правых с помощью набора фактов, то в публичных дискуссиях просто нет смысла. Однако, не исключено, что дело не в возможностях убеждения и диалога. Стоит подумать, быть может, одних фактов риторически недостаточно для того, чтобы заинтересовать людей вашей политической программой.

Сходство с Харфордом очевидно. Вы не можете убедить людей фактами. Но вы можете убедить людей фактами, тщательно смешанными с человеческими интересами, убедительным повествованием и эмоциональной привлекательностью.

И опять я считаю, что это в целом хорошая статья, и она затрагивает важные темы. Но я всё равно хочу усомниться в том, что всё действительно настолько плохо, как в ней сказано.

Введите в Гугл «дискуссия со сторонниками Трампа является»4, и вы поймёте, почему появилась эта статья. В результатах поиска страница за страницей будут встречаться «дискуссия со сторонниками Трампа является бессмысленной», «дискуссия со сторонниками Трампа является пустой тратой времени» и «дискуссия со сторонниками Трампа является [забавная метафора для чего-нибудь, что не работает]». Вы увидите картину мира, полного противников и сторонников Трампа, спорящих на каждом углу, и, наконец, после нескольких месяцев стука головами об стену, единодушно решивших, что дискуссии бесполезны.

И всё же у меня сложилось противоположенное впечатление. Каким-то образом в сильно поляризованной стране прошли беспрецедентным образом перессорившие всех выборы, однако никаких дискуссий, по сути, и не было.

Не использую ли я по отношению к слову «дискуссия» аргумент «Ни один истинный шотландец»? Возможно. Но сдаётся мне, что использовав преувеличенную формулировку Дискуссии, Основанные на Чистой Логике, Робинсон дал мне право определять этот термин так строго, как мне нравится. Минимальными условиями, при которых заглавные буквы оправданы, я считаю следующее:

  1. Дискуссия — это разговор (или переписка, или общение на равных в какой-либо иной форме) двух людей с противоположными взглядами. Если ученый муж опубликовал статью в Huffington Post и теперь требует от сторонников Трампа её прочесть — это не дискуссия. Даже если сторонник Трампа оставляет комментарий с контраргументом, который автор статьи никогда не прочтёт. Дискуссия — это ситуация, когда два человека решили встретиться и выслушать друг друга.

  2. Дискуссия возникает, когда оба человека хотят участвовать в диалоге в надежде, что он будет продуктивным. Дискуссия не возникает, если кто-то публикует мем «ХИЛЛАРИ — МОШЕННИЦА» на Facebook, а кто-то другой всерьёз злится и перечисляет все причины, почему Трамп ещё больший мошенник, в результате чего автор исходного поста тоже злится и чувствует себя обязанным высказаться, почему сторонник Хиллари не прав. Для дискуссии нужны два человека, которые в какой-то момент времени решили поговорить, чтобы сравнить мнения.

  3. Дискуссии ведутся в духе взаимного уважения и совместного поиска истины. Оба участника дискуссии не используют личные нападки или разоблачения в стиле «попался!». Оба понимают, что оппонент находится примерно на том же интеллектуальном уровне и может сказать что-то полезное. Оба понимают, что у них самих могут быть ложные убеждения, которые оппонент сможет исправить. Оба вступают в дискуссию с надеждой убедить своего оппонента, но не отвергают полностью возможность того, что оппонент может убедить в чем-то их.

  4. Дискуссии не ведутся в среде, которая требует от оппонентов набирать очки за счёт друг друга. Никакая аудитория не подбадривает обоих участников отвечать настолько быстро и язвительно, насколько это возможно. Если дискуссию невозможно провести в интернете, по крайней мере, можно открывать Википедию на смартфоне, чтобы проверить простейшие факты.

  5. Дискуссии начинаются, когда оба участника согласны, что именно они обсуждают и каждый старается придерживаться темы. А не вот это всё: «Я собираюсь голосовать за Трампа, потому что я думаю, что Клинтон коррумпирована», на которое отвечают «Да, но Рейган был ещё хуже, и это лишь доказывает, что вы, республиканцы, лицемеры», а затем: «Мы лицемеры? Вы, демократы, утверждаете, что поддерживаете права женщин, но вы обожаете мусульман, которые заставляют женщин носить платки!». Независимо от того, лицемерно ли «поддерживать права женщин», и «обожать мусульман» одновременно, не похоже, чтобы кто-то хотя бы пытался изменить мнение друг друга о Клинтон в этот момент.

По-моему, это минимальный набор требований, чтобы вообще можно было рассуждать о продуктивной дискуссии.

(Ну и если я уже всё равно прошу невозможного, то почему бы не добавить «пусть оба оппонента предварительно прочтут «Как успешно менять своё мнение»?)

Тем временем в реальности…

Если вы введёте в поисковик «дискуссия со сторонниками Трампа» без «является», то первым результатом в выдаче будет вот это видео, в котором какие-то люди с микрофоном в руках загоняют в угол каких-то других людей во время чего-то похожего на митинг. Я не смог уследить за нитью разговора, потому что все они одновременно кричат, но я разобрал, как кто-то сказал: «Республиканцы больше жертвуют на благотворительность», а кто-то другой ответил: «Это потому что они ничего не делают на работе!» Ладно.

Вторая ссылка – этот подкаст, где какой-то парень рассуждает о дискуссиях со сторонниками Трампа. После обычного предисловия о том, насколько они глупы, он описывает типичный обмен мнениями: «Это удивительно, как они хотят вернуться в старые добрые времена … А когда я начинаю спрашивать их: „Вы имеете в виду старые добрые времена, когда 30% населения состояло в профсоюзах?“… кажется, им вовсе не нравится это слышать! … „так что мы должны попрощаться со всем этим свободным рыночным капитализмом!“ – И эта идея им тоже не по душе! Это удивительно. Я могу сказать, что теперь я точно знаю, как выглядит когнитивный диссонанс на чьём-то лице». Я рад, что путешествия во времени невозможны, потому что в противном случае у меня возникло бы искушение вернуться назад и отдать голос за Трампа просто назло этому парню.

Третья ссылка это «Руководство по спорам со сторонниками Трампа для чайников» от «Vanity Fair», в котором предлагается «использовать против них их собственный патриотизм», сказав им, что «ограничить права и привилегии некоторых наших граждан» это не по-американски.

Меня беспокоит, что люди так поступают довольно часто. А потом, когда это не срабатывает, они заключают: «Сторонники Трампа невосприимчивы к логике». Это всё равно, что понаблюдать, как республиканцы вышли под дождь и не растаяли, и сделать вывод: «Сторонники Трампа – бессмертны».

Хочу ли я сказать, что если вы проведёте часок с другом-консерватором в тихом кафе, чтобы обсудить ваши разногласия, то вам удастся его переубедить? Нет. Я неоднократно менял своё мнение на протяжении моей жизни, однако это никогда не происходило моментально. Скорее каждый раз причиной было множество событий, каждое из которых немного смещало мою точку зрения. Как говорится в старой поговорке: «Сначала они игнорируют тебя. Потом смеются над тобой. Потом они сражаются с тобой. Потом они сражаются с тобой уже не так настойчиво. Потом они нейтральны. А потом они неохотно говорят, что, хотя ты раздражаешь, в твоих словах есть зерно истины. А потом говорят, что в целом ты прав, хотя и упускаешь некоторые из наиболее важных аспектов рассматриваемой проблемы. И потом ты побеждаешь».

Можно провести параллель с когнитивной психотерапией, которая мне представляется воплощением Дискуссий, Основанных на Чистой Логике, в повседневной жизни. Я знаю, такое сравнение может показаться безумным, ведь считается, что психотерапия — это полная противоположность дискуссиям, а спорить с кем-то, находящимся во власти своих наваждений или депрессии — гиблое дело. Самая грубая ошибка из всех возможных ошибок психотерапевта-новичка — сказать: «ПРОВЕРКА ФАКТА: пациентка говорит, что она неудачница и все ненавидят её. Вердикт: ВРУНИШКА-ВРУНИШКА!»

Но во всех остальных отношениях, во время психотерапии в значительной степени выполняются вышеназванные пять пунктов. Есть два человека, которые расходятся во мнении – пациентка, считающая себя неудачницей, которую все ненавидят, и терапевт, считающий, что, возможно, это не так. Их встречи проходят в атмосфере добровольных взаимных расспросов, при которых невозможны выпады вроде «Ты чокнутый!». Оба собеседника вместе проходятся по свидетельствам и иногда даже соглашаются на явные эксперименты вроде «спроси своего парня сегодня вечером, ненавидит ли он тебя, заранее предскажи, что, по твоему мнению, он собирается сказать, и посмотри, точен ли твой прогноз». И обе стороны подозревают, что они правы, но допускают возможность того, что они не правы. (Очень редко после нескольких недель терапии я понимаю, что, блин, все действительно ненавидят мою пациентку. Тогда мы переключаемся на стратегии, которые помогут ей развить социальные навыки или найти друзей получше).

И вопреки тому, что вы видите в фильмах, ослепительного откровения обычно не происходит. Если вы потратили всю свою жизнь на то, чтобы убедить себя, что вы неудачник и вас все ненавидят, единственный факт или один человек не переубедят вас в этом. Но иногда, после многих месяцев интенсивной терапии, человек, ранее уверенный в том, что он неудачник, задаётся вопросом, а действительно ли он неудачник, и при этом у него уже есть психологический инструментарий, которого достаточно, чтобы сделать все остальное.

А ещё у меня был опыт публикации доводов против Трампа в моём блоге. Не думаю, что мои доводы привели к тому, что кто-то резко изменил свою позицию, но некоторое количество положительных комментариев от сторонников Трампа я получил:

  • «Это убедительный разбор, но я всё ещё не определился».
  • «Это самые убедительные аргументы в пользу президентства Клинтон, которые я когда-либо читал. Но, думаю, никого не удивит, что, хотя благодаря им я изменил некоторые свои взгляды, мой итоговый вывод пока не поменялся».
  • «Эта статья, пожалуй, лучший пример аргументации за Хиллари, который я до сих пор видел. Я обнаружил, что киваю в ответ на многие из аргументов, а ведь ещё утром я клялся, что не может быть ничего, что заставило бы меня хотя бы задуматься о том, чтобы голосовать за Хиллари… но в конечном итоге даже этого оказалось недостаточно, вот в чём проблема».
  • «Первая связно написанная статья из прочтённых мной, оправдывающая идею голосовать за Клинтон. Я не согласен с вашим анализом долларовой «стоимости» голосования, но не считая этого, тут есть над чем подумать».
  • «Ну, мне совсем не нравится Клинтон, но, по-моему, это эссе достаточно разумно. Аргумент от преемственности, вероятно, является самой лучшей причиной голосовать за Клинтон, если вы не особенно любите её политику или её саму как личность. Трамп – тёмная лошадка, должен признать».
  • «Как ортодоксального католика, вы, вероятно, классифицировали бы меня как часть вашей консервативной аудитории … Я, конечно, согласен и с аргументами о несоответствии и с тем, что он не консервативен ни в политике, ни в жизни, ни по темпераменту, и я с интересом прочитаю всё, что вы сможете ещё написать по этой теме до конца ноября».
  • «Я присоединился к лагерю „зажми нос и голосуй за Трампа“ месяц назад или около того… Могу сказать, что хотя ты заставил меня чувствовать себя весьма не комфортно, но я по-прежнему верен своему решению».

Это те люди, которых вы считаете полностью невосприимчивыми к логике, так что не стоит и пытаться? Мне кажется, что если бы подобных доводов было бы больше, это в итоге качнуло бы чашу весов в другую сторону. И вот что странно: когда я перечитываю это эссе, я замечаю много недостатков, много всего, что мне хотелось бы сказать иначе. Я не думаю, что это были исключительно хорошие доводы. Я думаю, что это… просто были доводы. Что-то большее, чем просто: «Вы думаете, что старые времена были такими крутыми, но в старые времена были профсоюзы, шах и мат, аметисты». Это не доводы, которые написал бы виртуоз аргументации. Это доводы, которые получаются, если вы просто пытаетесь аргументировать.

(И, чтобы не скатиться к «объективации» сторонников Трампа как призов, которые можно выиграть, добавлю, что в комментариях некоторые люди приводили доводы в пользу Трампа, и два человека, которые ранее склонялись к Клинтон, сказали, что теперь чувствуют себя не комфортно близко к тому, чтобы поменять точку зрения.)

Ещё одна история из моего блога. Я стараюсь не допускать, чтобы мой блог и субреддит наводняли политические аргументы в стиле «культурной войны». И каждый раз, когда я ужесточаю ограничения, некоторые жалуются, что это единственное место, где они могут поговорить. Задумайтесь об этом на секундочку. У нас сильно поляризованная страна с населением в триста миллионов человек, разделённая на два практически равные лагеря и одержимая политикой. Нам посчастливилось иметь самые строгие законы, обеспечивающие свободу слова. И люди просят, чтобы я не менял политику в отношении комментариев, потому что этот небольшой блог — единственное место, где они могут спорить с представителями другой стороны.

С учётом всего вышесказанного, я отвергаю аргумент о том, что стратегия Дискуссий, Основанных на Чистой Логике, была проверенна и признана неэффективной. Как и Г. К. Честертон, я думаю, что эта стратегия была сочтена слишком сложной и осталась непроверенной5.

III

Сеансы у психотерапевта могут заставить человека изменить своё мнение, дружеская дискуссия среди равных может заставить человека изменить своё мнение, но и то, и другое сложно масштабировать. Могут ли серьёзные ребята из масс-медиа начать делать что-нибудь новое?

Давайте вернёмся к исследованию Нихана и Райфлера, которое обнаружило, что проверка фактов не заставляет людей сменить мнение. Как я упоминал выше, повторение этого исследования Портером и Вудом показало противоположенные результаты. Эта ситуация могла привести к неприятному конфликту, в котором каждая из групп учёных пыталась бы убедить академические круги и общественность в том, что правы именно они или даже обвинять другую группу в некомпетентности.

Вместо этого произошло нечто потрясающее. Все четыре исследователя договорились о совместной работе над более масштабным и глубоким исследованием в коалиции «состязательного сотрудничества», в котором все бы вносили вклад в методологию и независимо друг от друга проверяли результаты. Они обнаружили, что проверка фактов в большинстве случаев работала и не приводила к неприятным последствиям. Все четверо из них использовали своё научное влияние, чтобы опубликовать новый результат и начать дальнейшие исследования о роли различных контекстов и ситуаций.

Вместо того, чтобы расценить несогласие как «необходимость более эффективно донести своё мнение», они увидели в нём «необходимость сотрудничества для совместного изучения вопроса».

И да, отчасти это можно объяснить тем, что все они были приличными учёными, которые уважали друг друга. Но это не обязательное условие. Даже если бы одна команда была непроходимыми тупицами, а вторая половина втайне насмехалась над первой, сотрудничество все равно сработало бы. Нужна лишь презумпция доброй воли.

Некоторое время назад я писал о журналистской перебранке между Германом Лопесом и Робертом Фербрюгеном о контроле над оружием. Лопес написал заметку со ссылкой на некоторые статистические данные об оружии. Фербрюген написал статью в National Review, в которой говорилось, что некоторые из процитированных Лопесом данных были ошибочными. Герман ответил на это статьей, в которой утверждалось, что Фербрюген игнорирует лучшие исследования.

(Потом я, как обычно, наорал на обоих).

В целом их обмен статьями определённо входит в лучший 1% в категории онлайн-журналистики, касающейся социальных наук, — я имею в виду, что там приведены хоть какие-то статистические данные и хоть кто-то эти данные хоть как-то изучил. Но, в конце концов, здесь же просто два человека спорят друг с другом. Каждый надменно пытается передать свои знания друг другу и читающей публике. Да, это неплохо, но не соответствует моим пяти вышеперечисленным стандартам. И никто этого и не ожидает.

Но теперь я думаю: что бы случилось, если Лопес и Фербрюгген договорились бы о состязательном сотрудничестве? Согласились бы работать вместе, чтобы написать статью о статистике оружия, такую статью, в которой каждый из них был бы готов подписаться под каждым словом, а затем оба опубликовали бы эту статью на своих сайтах?

Это было бы похоже на медиа-эквивалент перехода от реплик в Твиттере к серьёзным дискуссиям, от установки на трансляцию информации к установке на совместный поиск истины. Модель состязательного сотрудничества - это лишь первое, что приходит на ум прямо сейчас. Раньше я писал о других способах - например, о рациональных ставках, рынке прогнозов и практике калибровки.

СМИ уже тратят много сил, пропагандируя хорошее поведение. А что если бы они пытались его продемонстрировать?

IV

Главный вопрос здесь: «а нужно ли заморачиваться?»

Способ Харфорда — убедительные фильмы и тексты — кажется лёгким и приятным. Способ Робинсона — красноречие и воздействие на эмоции — тоже кажется приятным и лёгким. Даже то, что Робинсон отвергает — в смысле, насилие — легко и (для определённого сорта людей) приятно. Все три способа действуют практически на всех.

Дискуссии, Основанные на Чистой Логике, сложны и утомительны. Они не масштабируются. Они работают в отношении только тех людей, которые желают добросовестно общаться с тобой и которые достаточно сообразительны, чтобы понимать предмет дискуссии. И даже тогда этот способ действует очень медленно и позволяет побеждать лишь частично. И в чём же смысл?

Основанные на логике дискуссии выигрывают у красивых историй, риторики и насилия только в одном: такие дискуссии – асимметричное оружие. Оружие, которое в руках хороших парней сильнее, чем в руках плохих. В идеальных условиях, где каждый благожелателен, разумен и мудр (такое в реальной жизни может и не встречаться), у хороших парней более сильные доказательства, больше экспертных заключений, более убедительные моральные принципы. Весь смысл логики в том, что при правильном использовании она подтверждает только истинные вещи.

Насилие — оружие симметричное: кулаки плохих парней бьют так же сильно, как и кулаки хороших. Есть, правда, надежда, что хорошие парни будут популярнее плохих и привлекут на свою сторону больше бойцов. Но это не значит, что насилие само по себе несимметрично: хорошие парни будут популярнее плохих, только если их идеи уже распространились без помощи насилия. В настоящее время антифашистов больше, и они, вероятно, победили бы фашистов в бою, но больше их стало не потому, что они выиграли какой-либо бой с фашистами. Их стало больше, потому что люди осознанно отвергают фашизм. Здесь «осознанно» не означает «логически», подобно тому, как Аристотель беспристрастно доказывал бы теоремы, рисуя мелом на доске. Однако «фашисты убивают, убивать плохо, поэтому фашизм — зло» — пример корректного и убедительного бытового умозаключения. Даже «фашисты убили моего брата, поставим их раком!» — это заменитель сильного философского аргумента: вероятностного обобщения частного случая к общей полезности. Так что насилие асимметрично только до тех пор, пока оно паразитирует на логике, позволяя хорошим парням быть убедительнее и собирать большие армии. Само по себе насилие не даёт фору хорошим — скорее, оно уменьшает её, давая преимущество более безжалостным и склонным действовать силой.

То же самое относится к документальным фильмам. Выше я писал, что Харфорд может выпускать любое желаемое количество фильмов против Трампа. Но Трамп может финансировать собственные передачи. У него лучшие документальные фильмы, никогда раньше таких не было. Они по-настоящему впечатляют.

Сказанное справедливо и для риторики. Мартин Лютер Кинг умел убедительно воздействовать на эмоции, призывая к хорошему. Но Гитлер умел убедительно давить на эмоции, призывая к плохому. В своё время я доказывал, что пророк Мухаммед — непревзойдённый пропагандист всех времён и народов. Эти трое продвигали различные идеологии, и риторика помогала каждому из них. Робинсон говорит так, будто бы «красноречие и давление на эмоции» для Демократической партии в новинку, но мне кажется, что во время последней президентской кампании они почти только этим и занимались (нападки на характер Трампа, восхваление Хиллари, размахивание истинно американскими ценностями вроде всеобщего равенства и прочим). Просто у них вышло хуже, а у Трампа лучше. Отсюда вывод: «убеждай лучше, чем это делает другой». Но «успех» — это не простое дело.

Если ты не используешь асимметричное оружие, то лучшее, на что можешь надеяться, — выиграть случайно.

И нет причины думать, что хорошие парни регулярно сильнее в риторике, чем плохие. Однажды у левых будет Обама, и они выиграют битву за эмоции. В другой раз у правых будет Рейган, и выиграют они. В среднем можно рассчитывать на 50% вероятность успеха. Ты в этот раз выиграл потому, что тебе просто повезло.

Также нет причин полагать, что хорошие парни в целом сильнее по части документальных фильмов, чем плохие. Однажды Национальные институты здравоохранения выпустят убедительный фильм, и люди станут курить меньше. В другой раз табачные компании выпустят более убедительный фильм, и люди станут курить больше. Общее потребление табака сохранится прежним. И снова, если ты выиграл, то тебе повезло с режиссёром или чем-то ещё в том же духе.

Я не против случайных побед. Если бы я столкнулся со Сталиным и в кармане у меня оказался пистолет, я застрелил бы его безо всякого сожаления о том, что он без пистолета только по случайности. Своё симметричное оружие следует использовать хотя бы потому, что противник получит преимущество, если он своё оружие применит, а ты нет. Но как долгосрочное решение это не годится.

Улучшение качества споров, настраивание людей на совместный поиск истины вместо вещания с трибуны — процесс болезненный. Это нужно делать с одним человеком за раз, это работает только с теми, кто почти готов, и эффективность в человеко-часах у этого способа ниже, чем у остальных. Но в мире, где всё остальное случайно, даже небольшое целенаправленное усилие может сыграть большую роль. Изменение взглядов 2% избирателей перевернуло бы итог трёх из четырёх последних выборов президента США. И такую возможность выиграть-не-благодаря-случайности не получить другим способом.

(Ещё я надеюсь, что люди, которые наиболее охотно вовлекаются в дискуссии и которые лучше умеют распознавать правду, непропорционально более влиятельны. Это учёные, писатели и лидеры общественных объединений. Их влияние не в их числе и они могут помочь другим понять доводы.)

Боюсь, я не могу передать, как всё это прекрасно и неотвратимо. Мы среди безбрежного непонимания, «мрачной равнины, где невежественные армии рубятся в ночи», где то одна сторона, то другая наступает и отступает. И посреди всего этого, начиная с чего-то бесконечно маленького постепенно строится что-то новое. Безнадёжно слабый сигнал начинает набирать силу. И вот одна из армий начинает побеждать немного чаще, затем намного чаще, и, наконец, захватывает всё поле битвы. Это кажется удивительным — ведь, конечно же, нельзя построить хоть сколько-то сложную улавливающую сигнал систему посреди этого хаоса, и тебя, конечно, застрелят, стоит только высунуться из окопа. Но твои враги сами помогают тебе. Обе стороны поворачивают свои пушки, приносят материалы, обеспечивают твоих инженеров запчастями, потому что до самого последнего момента они думают, что приближают этим свою победу, а не твою.

Этим можно заниматься прямо у них перед носом. Они могут запретить твои телепередачи, заткнуть рот твоим ораторам, запретить тебе бои стенка-на-стенку, но когда дело доходит до долгосрочного способа обеспечить тебе победу, они закатают рукава, достанут молотки и будут строить его рядом с тобой.

Притча: Салли – психиатр. У её пациента странное заблуждение: он думает, что это он — психиатр, а Салли – его пациент. Она могла бы связать его и силой заставить принимать лекарство, но он высокопоставленный политик, и если применять к нему силу, он сам велит её связать. В отчаянии она предлагает сделку: это лекарство они будут принимать вместе. Он соглашается: в его помутнённом рассудке это лучший способ для него-врача вылечить её-пациентку. Оба принимают таблетки одновременно, лекарство действует, и пациент полностью излечивается.

(Ну, в половине случаев. В другой половине лекарство действует и полностью исцеляется Салли.)

V

Статья Харфорда утверждает, что факты и логика не действуют на людей. В различных статьях левого толка говорится, что они не действуют только на избирателей Трампа, то есть, примерно на 50% населения.

Если вы искренне верите, что факты и логика не действуют на людей, вы не должны писать статьи с возможными решениями. Вы должны отвергнуть всё, во что вы верите, войти в состояние чистого декартовского сомнения, и пытаться вывести все заново из «мыслю – следовательно, существую».

Если вы искренне верите, что факты и логика не действуют на по крайней мере 50% населения, вы не должны писать статьи с возможными решениями. Вы должны беспокоиться, входите ли вы в эти 50%. В конце концов, как бы вы догадались о том, что не входите? Используя факты и логику? Что мы только что сказали?

Никто так не поступает, поэтому я прихожу к выводу, что они согласны с тем, что факты иногда работают. Асимметричное оружие возможно. Как говорил Ганди: «Если вы думаете, что весь этот мир плох, помните, что он состоит и из людей, подобных вам».

Вы не полностью невосприимчивы к фактам и логике. Но вы ранее заблуждались. Возможно, вы немного умнее, чем люди по другую сторону. Возможно, вы даже значительно умнее. Но в сущности, их проблемы — это ваши проблемы, и такая же логика, какая смогла убедить вас, сможет убедить и их. Но это будет долгий путь. Вы пришли к своим суждениям не благодаря тому, что послушали чужие слоганы пять минут. У вас они появились за годы образования, вы читали сотни книг и общались с сотнями людей. Почему же для людей по другую сторону всё должно быть иначе?

Вы поняли, что проблема значительно глубже, чем недостаточный выпуск документальных фильмов. Проблема состоит в том, что Истина – это слабый сигнал. Вы хотите постичь Истину. Вы хотите надеяться, что другая сторона тоже хочет постичь Истину. Но, по крайней мере, один из вас идёт по неверному пути. Похоже, что безошибочный поиск Истины сложнее, чем вам казалось.

Вы верите, что ваше сознание это инструмент, чувствующий Истину, который делает это немного лучше, чем подброшенная монета. Вам приходится верить в это, иначе какой в этом смысл? Но это похоже на физический эксперимент по поиску гравитационных волн или чего-то в этом духе, который нужно проводить в пещере на глубине 150 метров, в камере со свинцовыми стенами, размещённой на гиростабилизированной платформе, охлаждённой до 1 градуса выше абсолютного нуля. При этом вы пытаетесь уловить колебания в миллионную долю сантиметра. Только у вас нет ни пещеры, ни экрана, ни гироскопа, ни охладителя. Вы на вершине извергающегося вулкана, сверху падают метеориты, а вокруг бушует ураган.

Если вы будете лет десять изучать психологию, вам удастся избавиться от вулкана. Если вы потратите ещё десять лет, одержимо проверяя свою производительность в различных областях, вы избавитесь от метеоритов. Избавиться от урагана у вас не получится, даже не пытайтесь. Но если в тысяче разных частей урагана есть тысяча надёжных людей, то порывы ветра могут быть учтены, и они могут, объединив свои наблюдения, получить что-то, похожее на сигнал.

Все это слишком долго и ненадёжно для мира, который нуждается в большей мудрости прямо сейчас. Неплохо было бы ускориться, пойти напролом, забросать людей рассказами и документальными фильмами, пока до них не дойдёт. На короткое время это поможет. В длительной перспективе вы вернётесь к тому, с чего начинали.

Если вы хотите, чтобы люди были правы чаще, чем игрок, который выбирает суждения, бросая монетку, вы должны научить их отличать ложь от истины. Если это происходит во время угрозы вражеских действий, вам следует обучить их настолько хорошо, чтобы их нельзя было обмануть. Вам придётся делать это с каждым человеком по отдельности, пока сигнал не станет сильным и чистым. Вам придётся поднять уровень здравомыслия. Короткого пути нет.

  • 1. Англ. «backfire effect», на русском языке иногда встречается вариант перевода «эффект обратного действия» — Прим.перев.
  • 2. «Суверенными гражданами» иногда именуют себя люди, не признающие власть правительства и на этом основании, например, отказывающиеся платить налоги. — Прим.перев.
  • 3. «Берни бы выиграл» - популярная фраза в Твиттере, суть которой заключается в том, что Берни Сандерс выиграл бы на президентских выборах 2016 года в США у Дональда Трампа, если бы был кандидатом от Демократической партии вместо Хиллари Клинтон. Фраза использовалась сторонниками Сандерса в статьях после выборов, и со временем стала мемом. — Прим. перев.
  • 4. Англ. «debating Trump supporters is». — Прим.перев.
  • 5. Автор здесь перефразирует цитату Честертона из «Что не так с этим миром», который в свою очередь перефразирует Библию: «Христианские идеалы не были проверены и признаны неэффективными, они были сочтены слишком сложными и остались непроверенными». — Прим. перев.
Перевод: 
Слава Меритон, Федор Ефремов, Андрей Кунилов, Alaric
Оцените качество перевода: 
Средняя оценка: 5 (5 votes)

Логик и Бог-Император

Скотт Александер

Однажды логик совершил великий подвиг и Бог-Император предложил ему награду на выбор.

— Ты можешь, — сказал Бог-Император, — получить руку моей старшей дочери, наследницы трона, но не столь красивой. Или можешь жениться на моей младшей дочери, которая неописуемо прекрасна, но лишена права наследования.

На следующий день Бог-Император застал логика в постели с обеими дочерьми. Разъярённый, он набросился на учёного с угрозами и обвинениями, который лишь ответил с усмешкой:

— Кажется, кто-то не понимает разницы между «или» и «исключающим или».

Бог-Император приказал заковать его в цепи и привести в тронный зал на следующий день. Там он провозгласил:

— Ты оскорбил меня и предал мою щедрость, так что теперь ты будешь подвергнут испытанию. Перед тобой стоят семь сундуков. В шести из них лежат черепа. В оставшемся — ключ к твоим цепям. Я прибегнул к услугам самых искусных хитрецов в королевстве, чтобы составить для тебя логическую загадку, которая даст ответ, в каком сундуке ключ. Ты можешь открыть один сундук. Если ты не найдёшь сундук с ключом с первого раза, тебя обмажут в соусе для барбекю и кинут к волкам.

Логик подошёл к сундукам; на каждом из них была написана заковыристая подсказка. Он тщательно осмотрел все семь и долго стоял в глубоком раздумье. Наконец, он открыл третий сундук. Внутри был золотой ключ.

— Очень впечачатляюще! — сказал Бог-Император. Затем приказал:

— Стража! Обмажьте его в соусе для барбекю и киньте к волкам!

— Но… но! — пролепетал логик в ужасе, — …но вы сказали!..

Бог-Император оскалился.

— Кажется, кто-то не понимает разницу между «если» и «если и только если».

Перевод: 
Переводы Кочерги
Оцените качество перевода: 
Средняя оценка: 4.2 (20 votes)

Переводы на других ресурсах

Переводы статей и рассказов Скотта Александера на других ресурсах:

Статьи Нейта Соареса

Исполнительный директор MIRI. Автор блога Minding our way.

Подробнее про Соареса на LW Вики.

Введение в рациональность

Блок из пяти статей, в которых Нейт Соарес рассказывает, что такое рациональность, и разъясняет другие понятия, которые могут оказаться полезными при чтении книги «Рациональность: от ИИ до зомби».

Страсть — направление, рациональность — амплитуда

Nate Soares

«Рациональность: от ИИ до зомби» – это электронная книга, собранная из примерно двухлетней работы Элиезера Юдковского, основателя исследовательского центра , в котором я работаю. Это очень хороший вводный текст для начинающих рационалистов, – за несколькими исключениями. Во-первых, он достаточно большой, примерно 1800 страниц. (Он разбит на 6 частей; считайте их 6 книгами – начинайте с первой и смотрите, понравится ли вам). Во-вторых, как Элиезер говорит в предисловии, содержимое, использованное для написания книги, немного устарело и далеко от совершенства. В-третьих, прежде, чем я порекомендую эту книгу, знайте, что вам потребуются некоторый бекграунд, который, как предполагает Элиезер, у вас уже есть.

В нескольких следующих постах я попытаюсь сделать некоторые из этих предположений о бэкграунде более явными в формате коротких ремарок (и сказать еще кое-что, что я бы хотел услышать от кого-нибудь много лет назад). После этого я вернусь к написанию цепочки постов об избавлении от вины и стыда в качестве мотивации, как и планировал.

Небольшая заметка о «рациональности».

Существует популярное мнение, что мышление может быть разделено на «горячее, эмоциональное мышление» и «холодное, рациональное мышление» (а Кирк и Спок являются соответствующими стереотипами). Стереотипы говорят, что горячие решения часто глупые (и невнимательные к последствиям), в то время, как холодные решения часто умные (но сделаны одиноким занудой, который носит лабораторный халат и разрабатывает странные технологии). Конечно же (как утверждает стереотип) есть Глубокие Человеческие Истины, доступные горячим мыслителям, а холодным мыслителям они неизвестны.

Когда люди встречают кого-то, кто говорит, что изучает искусство человеческой рациональности, они часто сразу делают вывод, что этот «рационалист» полностью отвергает горячее мышление и пытается отключить себя от эмоций раз и навсегда, чтобы избежать поспешных ошибок «горячего мышления». Многие думают, что такие воодушевлённые рационалисты проводят своего рода тёмный ритуал, в котором они жертвуют эмоциями раз и навсегда, не замечая при этом, что те самые эмоции, которыми они жертвуют, это и есть то, что делает их людьми. «Любовь горяча, поспешна и иррациональна», говорят они, «но вы, конечно же, не хотите ею жертвовать». Вполне понятно, что многие люди находят перспективу «стать рациональнее» весьма некомфортной.

Теперь внимание: эта жертва эмоциями имеет мало общего со значением слова «рациональность», как оно используется в книге «Рациональность: от ИИ до зомби».

Когда «Рациональность: от ИИ до зомби» говорит о «рациональности», она не говорит о «холодной» части фразы «холодное и горячее мышление», она говорит о мышлении.

Так или иначе, мы, люди, – мыслящие существа. Иногда, в спешке, мы принимаем быстрые решения, и следуем за своими мгновенными интуициями. Иногда, когда ставки очень высоки, и у нас есть достаточно времени, мы используем механизмы логики, в тех местах, где мы доверяем им больше, чем своим импульсам. Но в обоих случаях мы мыслим. Является ли наше мышление холодным или горячим, или каким-то ещё, в любом случае, есть более хорошие и более плохие способы мышления.

(И, поверьте мне, мозги нашли гораздо больше плохих способов. Чего еще ожидать, если вы запускаете программы, буквально-таки въе*авшие себя в действительность на компьютерах, сделанных из мяса?)

Рациональность «Рациональности: от ИИ до зомби» не о том, как использовать холодную логику, чтобы выбрать, о чем заботиться. «Мыслить лучше» как процесс имеет мало общего с объектом, о которым вы мыслите. Если ваша цель – наслаждаться жизнью на полную катушку и любить без ограничений, тогда более хорошее мышление (горячее или холодное, спешное или расслабленное) поможет вам в этом. Но верно также, что если ваша цель – уничтожить как можно большее число щенков, то этот-вид-рациональности может вам помочь и в этом.

(К сожалению, это употребление слова «рациональность» не соответствует разговорному употреблению. Я хотел бы, чтобы у нас было слово получше для науки о том как улучшить чье-либо мышление во всех его формах, которое при этом не вызывало бы в сознании образы людей, жертвующих свои эмоции на алтарь холодной логики. Но, увы, этот поезд ушел.)

Если вы раздумываете а не пройти ли вам путь в сторону рациональности-как-лучшего-мышления, тогда, пожалуйста, не жертвуйте вашей душевной теплотой. Ваши глубочайшие страсти не тяжелая ноша, но компас путеводный. Рациональность этого типа не о том как изменить направление вашего движения, а об изменении вашей скорости и соответственно длины пройденного пути.

Люди часто навешивают на свои глубинные страсти ярлык «иррациональное». Они говорят что-то типа: «Я знаю, это иррационально, но я люблю своего партнера и, если бы я его потерял, то я свернул(а) бы горы, лишь бы вернуть его/ее обратно». Но что я отвечаю: когда я указываю на «рациональность», я указываю не на то, что заберет ваши желания, а скорее на то, что поможет вам реализовать их.

Это и есть тот тип рациональности, который я предлагаю вам изучать, когда я рекомендую прочесть книгу «Рациональность: от ИИ до зомби».

Перевод: 
Александр Попов, Николай Мазурок, Вячеслав Матюхин, Пион Гайбарян
Оцените качество перевода: 
Средняя оценка: 4.4 (8 votes)

Чем именно является мозг

Nate Soares

Это вторая из пяти коротких заметок про предполагаемый бэкграунд, который я хочу прояснить перед тем, как рекомендовать людям читать «Рациональность: от ИИ до зомби».

Заметка о том, что за артефакт наш мозг:

Мозг — это специальное устройство, которое, когда сталкивается со своим окружением определённым способом, изменяется так, что его внутреннее начинает отражать его внешнее. Мозг — это точная, сложная машина, которая постоянно сталкивается с окружающими вещами таким образом, что её внутренние части начинают коррелировать с окружающим миром.

Представьте фотоны, отскакивающие от кресла, стоящего в комнате, где я это пишу. Грубо обобщая, эти фотоны попадают при ударе в специализированные протеины в мембранах клеток фоторецепторов моих глаз, меняя их форму и запуская цепную реакцию, которая активирует энзимы, которые разбивают определенные нуклеотиды, таким образом меняя электрохимический градиент между внешней средой (межклеточной жидкостью) и внутренней средой клетки, предотвращая выброс определенных нейротрансмиттеров через мембрану. Эта нехватка нейротрансмиттеров провоцирует ближайшие клетки пройти аналогичные процессы ионизации, и эти клетки передают сигнал от некоторого количества ближайших клеток фоторецепторов в первый слой моих клеток сетчатки (снова, благодаря механизму изменения протеинами формы и изменения этим электрохимического градиента). И это только начало дли-и-инной машины Руба Голдберга: сигнал далее спускается по сетчатке (взаимодействуя на каждом уровне с сигналами более высоких уровней) до тех пор, пока не достигнет оптического нерва, где будет передан в зрительную кору, в которой особый паттерн ионизации нервных клеток приводит особую группу нейронов к срабатыванию, запуская каскад нейронов-возбуждающих-другие-нейроны, словно в эффекте домино, который завершается появлением внутри моего мозга крошечного обобщенного образа кресла.

Мозг является сложным механизмом, присоединенным к сенсорам света, который при погружении в разливанное море фотонов проводит длинную цепную реакцию, которая, в свою очередь, приводит внутренние отделы мозга к корреляции с вещами, от которых отражаются фотоны.

Мозг — это машина, которая выстраивает взаимную информационную связь между своими внутренними состояниями и вещами вовне.

Конечно, мозг не только машина, выстраивающая такую взаимную связь. Мозг также делает много других дел. Части машины Руба Голдберга предсказывают будущее. Другие части строят планы, и каким-то образом устройство эмулирует сознание, что является достаточно, блин, впечатляющим.

Кроме того, мозг точно не был создан как машина взаимной информационной связи. Не существует четко ограниченной части устройства вроде «информационной машины», которая может быть отделена от предсказателя, планировщика и ощущающего.

И, конечно, мозг не идеальная информационная машина. И близко нет.

Но, несмотря на то, что мозги не единственные информационные машины и, несмотря на то, что они не были сознательно созданы как информационные машины и, несмотря на то, что они не лучшие информационные машины, они точно являются информационными машинами: один из процессов, которым занят ваш мозг, причем прямо сейчас, это постоянные соударения себя о внешнюю среду так, как нужно, чтобы уточнить свою внутреннюю модель реальности.

Многие люди уже знают, что то, что они воспринимают, не есть реальность сама по себе, а скорее образ внешнего мира, созданный внутри их головы. И, тем не менее, это знание часто приводит людей к тому, что они представляют гомункулуса, сидящего внутри комнаты в форме мозга, просматривающего видео с центрального экрана.

Более полезно, скорее, представить слепую машину Руба Годберга, так умно собранную, что когда она соприкасается с остальной реальностью, искусно размещенные колесики и шестеренки выстраиваются и соединяются столь ровно и правильно, что маленькая обобщенная карта мира возникает внутри машины.

Я часто нахожу, что для многих людей этот образ что-то высвобождает. Он напоминает людям о том, что мозг это устройство, конкретная вещь, которой нужно соприкасаться с окружением, чтобы делать о нем выводы. Этот образ напоминает людям, что каждое устройство слепо, что единственная возможность заполучить модель реальности внутрь — это ударяться о внешнее в таком объеме, который нужен внутреннему для корреляции с внешним.

С этой точки зрения будет гораздо легче заметить необходимость искусства человеческой рациональности — ведь мы устройства, и мы слепы.

Перевод: 
Александр Попов, Николай Мазурок, Вячеслав Матюхин, Пион Гайбарян
Оцените качество перевода: 
Средняя оценка: 4 (17 votes)

Эфемерное соответствие

Nate Soares

Это третья из пяти (или около того) коротких заметок про предполагаемый бэкграунд, который я хочу прояснить перед тем, как рекомендовать людям читать «Рациональность: от ИИ до зомби».

Ваш мозг - это машина, которая устанавливает взаимное соответствие между тем, что у неё внутри, и тем, что снаружи. Это не только информационная машина. Это не умышленно сделанная информационная машина. Но он воспринимает фотоны и колебания воздуха и создаёт внутреннюю карту, которая коррелирует с внешним миром.

Тем не менее, в этой информационной машине происходит нечто очень странное.

Представьте себе: часть вашего мозга строит карту мира вокруг вас. Это делается автоматически, без существенной передачи информации на ту вашу часть, которая определяет, как должна выглядеть внутренняя модель. Когда вы смотрите на небо, вы не получаете запрос, который говорит:

Данные с сетчатки показывают, что небо голубое. Обозначить небо как голубое в модели мира? [Да/нет]

Нет. Небо просто кажется голубым. Это такая информация, которая выбирается из окружающей среды и сразу встраивается в карту.

Вы можете сделать выбор утверждать, что небо зелёное, но вы не можете сделать выбор видеть зелёное небо.

Большинство людей не идентифицируют ту часть своего разума, которая строит карту. Эта часть теряется на заднем плане. Легко забыть, что она существует, и делать вид, что вещи, которые мы видим, - это и есть сами вещи. Если вы не обдумывали тщательно, как работает мозг, вы можете думать, что мозг осуществляет человека в 2 отдельных шага: (1) построить карту мира; (2) запустить планировщик, который использует эту карту, чтобы понять, как действовать.

Это, конечно, не всё, что происходит.

Поскольку, хотя вы не можете выбрать видеть небо зелёным, вы можете выбрать, как будут выглядеть некоторые части модели мира. Когда ваш коллега говорит «отличная работа, приятель», вы можете решить, как это воспринимать - как комплимент или как оскорбление.

Да, типа того. Это зависит от тона и от человека. Некоторые люди автоматически примут это за комплимент, другие автоматически примут это за оскорбление. Другие будут сознательно обдумывать это много часов и беспокоиться. Но почти все ощущают более сознательный контроль над восприятием чего-то в качестве комплимента или оскорбления, чем над восприятием неба зеленым или голубым.

Это устройство мозга выглядит чрезвычайно странным, когда вы об этом задумываетесь. Почему исполнительный процесс, отвечающий за выбор того, что делать, также может менять модель мира? Более того, ПОЧЕМУ ИСПОЛНИТЕЛЬНЫЙ ПРОЦЕСС, ОТВЕЧАЮЩИЙ ЗА ВЫБОР ТОГО, ЧТО ДЕЛАТЬ, ТАКЖЕ МОЖЕТ МЕНЯТЬ МОДЕЛЬ МИРА? Это просто очевидно ведёт к ужасному когнитивному диссонансу, самообману и ошибкам! ААААААА!

Конечно, для этого есть «причины». Можно взглянуть на историю эволюции человеческого мозга, чтобы получить некоторые подсказки о том, почему все устроено так, а не иначе. У мозга есть довольно прямая связь с цветом неба, а вот с намерениями других людей связь у мозга весьма косвенная. И тогда имеет смысл, что первое устанавливается автоматически, а второе требует обработки. И вроде как имеет смысл, что исполнительный процесс управления может требовать дорогих вычислений, а не дешевых (особенно если функциональность исполнительного контроля сначала стала заметна как что-то вроде осведомленного-о-ценностях вычислительного инструмента).

Но с точки зрения разработчика сознания это безумие. Штука-создающая-модель-мира не подключена к реальности напрямую! Периодически мы можем выбирать как будет выглядеть тот или другой кусок модели мира! Мы, родственники обезьян, способные к самообману и имеющие склонность поддаваться манипуляции, можем говорить о том, как информационный двигатель строит нечто, что по идее должно соответствовать реальности!

Я борюсь со словом «мы» в этом контексте, потому что у меня нет слов, чтобы показать различие между «я» в широком смысле, которое строит такую карту мира, в которой небо синее; и «я» в узком смысле, которое не может выбрать видеть зеленое небо. Я отчаянно хочу втиснуть слово «я» во многие слова, но в этом обсуждении и так слишком много жаргона, и мне приходится выбирать мои битвы.

Видите ли, мы знаем кое-что о том, как машины могут производить взаимную информацию, и одна из этих вещей состоит вот в чем: чтобы построить что-то, что видит небо в подходящем цвете, штука, дающая на выходе цвет неба, не должна быть подсоединена к своевольной обезьянке, выбирающей ответ из вариантов под давлением товарищей. Эта штука должна быть подсоединена напрямую к сенсорам неба.

И вообще-то иногда мозг это делает. Иногда он, блин, вставляет синее небо в модель мира. Но в других случаях, по тем или иным причинам, он отправляет запросы на сознательную обработку.

Вопросы вроде «синее ли небо?» и «хотел ли коллега меня оскорбить?» - одного типа, и все же на первый вопрос мозг дает отклик, а на второй - нет. Он автоматически строит большие куски карты, но придумывать важные детали оставляет нам.

Что беспокоит, так как большинство из нас не являются прирождёнными мастерами теории информации. Это как раз тот случай, где на помощь приходит тренировка рациональности.

Иногда мы получаем сознательный контроль над моделью мира, поскольку попадаются сложные вопросы. Контроль исполнения не требуется при принятии решения о цвете неба, но он часто необходим для выделения сложных вещей (таких, как мотивация других обезьян) из разрозненных наблюдений. Изучение человеческой рациональности может улучшить вашу способность генерировать более точные ответы, когда вы-контролирующий-исполнение должны заполнить модель мира особенностями, которые подсознательный-вы не может выделить автоматически: аккуратное построение карты в уме - это навык, который, как и любой другой навык, можно тренировать и оттачивать.

Что почти заставляет все выглядеть так, как будто для нас нормально - иметь сознательный контроль над моделью мира; почти кажется, что в порядке вещей, если человек контролирует, какой цвет неба он видит: в конце концов, он всегда может выбрать оставить своё восприятие неба связанным с настоящим небом.

Однако и вы, и я знаем, чем это заканчивается. Можете ли вы вообразить, что произойдёт, если люди на самом деле будут выбирать, как им воспринимать цвет неба, тем же способом, как они выбирают, во что верить насчёт верности своих возлюбленных, насчёт чести своего племени, насчёт существования своих богов?

Примерно шесть секунд спустя люди начнут спорить друг с другом насчёт цвета этого чёртова неба (потому что кто сказал, что можно считать эти неточные сенсоры неба абсолютным авторитетом?) Они немедленно разделятся на племена и начнут убивать друг друга. Затем, когда все немного успокоится, все начнут заявлять, что поскольку люди могут выбирать такой цвет неба, какой им нравится, и раз у людей разные любимые цвета, истинного цвета неба не существует. Цвет в любом случае субъективен; он существует только в наших головах. Если вы попытаетесь посоветовать просто связать цвет неба с сенсорами неба, то вы закончите где-то между мертвым и осмеянным, в зависимости от того, в какую эпоху вы живёте.

Разумный ответ, после осознания того, что внутренний цвет неба определяется не сенсорами неба, а родовой предрасположенностью обезьяньего разума к политиканству и групповому мышлению, - это закричать в ужасе и затем напрямую привязать генератор модели мира к реальности как можно скорее. Если ваш разум выдаёт вам небольшое всплывающее сообщение:

По политическим причинам, сейчас можно отсоединить ваше восприятие неба от вашей сетчатки, и позволить давлению союзников определять, какие цвета видеть. Продолжить? [Да/нет]

тогда разумный ответ, если вы - человеческий ум, это несколько паническое «мм, спасибо, нО нет, поЖАЛуЙСТА, ОСТАВЬ ГЕНЕРАТОР МОДЕЛИ МИРА ПРИВЯЗАННЫМ К РЕАЛЬНОСТИ, ПОЖАЛУЙСТА.»

Но, к сожалению, эти события не ощущаются как всплывающие сообщения. Они даже не ощущаются как возможность выбора. Они обычно автоматические, и поэтому почти не происходят на сознательном уровне. Ваша модель мира теряет связь с реальностью каждый раз, когда вы автоматически находите причины игнорировать свидетельство, которое конфликтует с миром, который вы бы хотели видеть (поскольку это доказательство пришло от кого-то, кто очевидно неправ!); каждый раз, когда вы находите оправдания для игнорирования наблюдений (это исследование было плохо организовано!); каждый раз, когда вы находите причины прекратить искать дополнительную информацию, сразу как только вы находите ответ, который вам нравится (потому что какой смысл терять время на дальнейшие поиски?)

Каким-то образом, племенные социальные обезьяны обнаружили, что они управляют своими моделями мира. Но они не чувствуют, что они управляют своими моделями мира, они чувствуют, что они правы.

Вы сами являетесь отрезком пути между реальностью и своей картой реальности, частью хрупкой связи между тем, что существует и тем, во что вы верите. И если вы позволите себе потерять бдительность, даже на миг, то можете невероятно легко дрогнуть и разрушить это эфемерное соответствие.

Перевод: 
Александр Попов, Николай Мазурок, Вячеслав Матюхин, Пион Гайбарян
Оцените качество перевода: 
Средняя оценка: 4.6 (7 votes)

Разграничение мозга и сознания

Nate Soares

Это четвёртая из пяти (или около того) коротких заметок про предполагаемый бэкграунд, который я хочу прояснить перед тем, как рекомендовать людям читать «Рациональность: от ИИ до зомби».

Люди склонны объединять разум с мозгом.

Люди часто думают, что мозг - это то-что-создаёт-личность; то-что-думает. Но фактически мозг одновременно создаёт личность и строит модель мира. Мозг - это не просто думающий-орган, это ещё и строящий-то-что-кажется-реальностью орган.

Популярная культура не помогает разрешить это недоразумение. Популярная культура рисует мозг как вещь, которая делает умным или которая дает советы; популярная культура рисует мозг как место, где происходят мысли . Мозг обычно воспринимается как орган в реальности, который производит мышление, как целостная антропоморфная сущность.

Все эти картины игнорируют факт, что мозг также строит модель реальности.

Помните, чем на самом деле является мозг. Это, помимо прочего, машина Руба Голдберга, которая ударяется об реальность и реагирует, так что ее внутреннее отражает ее внешнее. Одна из первейших вещей, которую делает ваш мозг - это построение модели мира.

Но слишком часто люди объединяют мозг и сознание.

Далее - нужно осторожно отделять мозг от сознания. И это не как будто ваш мозг содержит и модель мира и окно в мир для крошечного гомункулуса: это привело бы к бесконечной регрессии.

(Про бесконечного гомункулуса русскоязычному читателю можно частично прочитать тут: Картезианский театр)

Еще раз, я хочу подчеркнуть, часть, с которой люди себя идентифицируют, мыслящая часть, чувствующая часть, это всего лишь одна из многих частей, которые воплощены в мозге. Сознание - не окно в мир для крошечного гомункулуса, который смотрит на картинки, нарисованные на изнанке черепа, но сознание при этом и также и не мозг!

Многим людям интуитивно кажется, что сознание есть нечто большее, чем мозг. Социологи отметят, что на то, каким будет сознание, очень сильно влияет не только мозг, но и культурная среда, в которую это сознание погружено. Более того, многие испытывали опыт того, как сознание ощущается как что-то, что двигается вокруг тела, или даже как что-то, что простирается за пределы тела. У вас когда-нибудь было, чтобы вы взяли молоток чтобы забить несколько гвоздей, и вдруг осознали себя на головке молотка? У вас когда-нибудь бывало, чтобы вы вели машину, и машина вдруг начала казаться продолжением вашего тела?

Такие наблюдения могут приводить в замешательство, если вы забываете, чем в действительности является мозг.

Мозг не есть сознание. Мозг это штука, которая навязчиво бьется об реальность, чтобы построить ее модель. Сознание воплощено в мозге, но оно - не единственная вещь, которую мозг делает.

Ваше сознание испытывает влияние культуры, в которой оно находится, но это происходит только при посредничестве вашего мозга. Не существует какого-то сознания, которое летает вокруг вашего тела и пьет из омута культуры; скорее ваш мозг шлепается ушами о звуковые волны и собирает по кусочкам подробную модель того, что разные люди вам говорят. И эти модели-людей влияют на обстановку, в которой воплощено сознание - обстановку, изменений от которой вы-сознание не можете избежать. Люди обычно идентифицируют себя как сознательные штуки, находящиеся под влиянием культуры, но мозг одновременно воплощает сознание и моделирует культуру, которая его определяет! Культура определяет сознание, но только постольку, поскольку мозг моделирует культуру!

Точно так же, нет никакого «сознания», которое слетает с вашей руки в молоток. Напротив, ваши глаза (направляемые мозгом) сталкиваются со светом и мозг строит внутреннюю модель молотка. Вы-сознание можете ощущать себя там, между ушей, или на наконечнике молотка, но точка ощущения себя в любом случае находится внутри модели мира, которая обычно ощущается как неизменная, но которая все же представлена с помощью мозга.

Легко позабыть, что мы - всего лишь часть неповоротливого слепого двигателя, который силится смоделировать окружающий мир, и вместо этого верить, что мозг - это я, взаимодействующий с Истинной Реальностью.

Перевод: 
Александр Попов, Николай Мазурок, Вячеслав Матюхин, Пион Гайбарян
Оцените качество перевода: 
Средняя оценка: 3.4 (18 votes)

Путь Рационалиста

Nate Soares

Однажды давным-давно три человека, изучающие человеческую рациональность, шли вместе долгой дорогой. Первый был новичок, только приступивший к изучению искусства. Второй практиковался уже некоторое время. Третий был их учитель.

И вот во время этого путешествия им встретилась женщина, сидящая рядом с большой лотерейной корзиной, приделанной к огромной штуковине. Она поприветствовала путешественников и, когда они выразили интерес, объяснила, что она несла эту штуковину в город (где она надеялась заработать с ее помощью денег), после чего предложила им посмотреть поближе.

Она показала им, что у неё было сто шариков, идентичных за исключением цвета: один был белый и 99 были красными. Она положила их в урну и затем показала им, как работает механизм: он состоял из встряхивателя (который сильно тряс корзину, достаточно для того, чтобы никто не смог определить, где какой шарик) и механической руки, которая вытаскивала шарик из корзины.

«Я дам каждому из вас 10 долларов, если выпадет белый шарик», сказала она сквозь рёв встряхивателя. «Обычно игра стоит 1 доллар, но я вам сделаю демонстрацию бесплатно».

Когда тряска замедлилась, новичок сказал: «Я хочу, чтобы рука вытащила белый шарик, поэтому я верю, что она вытащит белый шарик. У меня есть вера, что выпадет белый шарик, и есть шанс, что я прав, поэтому вы не можете сказать, что я ошибаюсь!»

Когда тряска остановилась, ученик ответил: «Я изучаю рациональность и я знаю, что добродетель состоит в том, чтобы не отклоняться от данных. В этой урне больше красных шариков, чем белых, значит, данные говорят, что красный шарик выпадет с большей вероятностью, чем белый. Поэтому я верю, что выпадет красный шарик».

Когда рука начала раскрываться, учитель улыбнулся и сказал только: «Я отвожу вероятность 1% утверждению „выпадет белый шарик“ и вероятность 99% утверждению „выпадет красный шарик“ ».

Чтобы изучать искусство человеческой рациональности, необходимо заключить с собой важную сделку. Нужно дать обет прекратить пытаться желать, чтобы реальность соответствовала чему-либо; нужно дать обет слушать, что говорит реальность о том, какая она есть. Нужно считать «веру» попыткой отсоединить свои убеждения от голоса данных; нужно дать обет защищать эфемерное соответствие между реальным миром и своей картой этого мира.

Ученику легко, заключая с собой эту сделку, перепутать её с другой. Многие рационалисты считают, что они дают обет всегда слушать доказательства и позволять доказательствам выбирать, во что им верить. Они считают, что добродетель состоит в том, чтобы взвешивать доказательства и затем верить в наиболее вероятную гипотезу, и неважно, что в это может быть.

Но нет: это мышление-красного-шарика.

Путь к рациональности - это не путь, где доказательство выбирает убеждения. Путь к рациональности - это путь без убеждений.

На пути к рациональности есть только вероятности.

Наш язык представляет убеждения, как «качественные», мы говорим о них, как если бы они были бинарными. Ты либо знаешь что-то, либо нет. Ты либо веришь мне, либо нет. Ты либо прав, либо не прав.

Традиционная наука, как ей учат в школе, распространяет эту ошибку. Задача статистиков (как они говорят) - установить 2 гипотезы (нулевую и альтернативную), потом их обязанность (по их мнению) поверить той гипотезе, которую подтвердят данные. Ученый должен делать свои убеждения фальсифицируемыми (как они говорят), и если есть достаточное количество данных против убеждения, ученый должен поменять свою точку зрения (с одного бинарного убеждения на другое). До тех пор, пока ученый держит свои убеждения проверяемыми и фальсифицируемыми, он выполняет свой долг и имеет право верить в что-то. Так или иначе у всех сохраняется их собственное мнение, по крайней мере так учит традиционная наука.

Но это не путь рационалиста.

Мозг - машина для обработки информации, и человечество уже узнало пару вещей о том, как делать точные машины для обработки информации. Одна из этих вещей: чтобы построить точную модель мира, нужно убрать «качественную характеристику» веры, а использовать вместо этого «количественную характеристику» доверия.

Идеальный рационалист не скажет: «Я хочу, чтобы следующий шарик был белым, поэтому я верю, что он будет белым». Идеальный рационалист также не скажет: «большинство шариков красные, поэтому я верю, следующий будет красным». Идеальный рационалист отставит веру и определит значение вероятности.

Чтобы построить точную модель мира, вы должны не отклоняться от свидетельств. Вы должны использовать данные, чтобы выяснить вероятность каждой из гипотез. Но после этого нельзя просто выбрать наиболее вероятную гипотезу. Нет.

Вероятности не говорят вам, во что верить. Вероятности заменяют веру. Они являются верой. Вы говорите вероятности и останавливаетесь, потому что всё сказано.

Многие, кому я рассказываю эту притчу, думают, что это очевидно. Почти все, кому я это рассказываю, просто кивают, но большинство не может глубоко понять и усвоить этот урок.

Они слышат притчу и продолжают думать в терминах «знаю» или «не знаю» (вместо того, чтобы думать в терминах степени уверенности). Они кивают в ответ на эту притчу, но продолжают думать в рамках «быть правым» или «ошибаться» (вместо того, чтобы думать, насколько они хорошо откалиброваны). Они знают притчу, но в следующем разговоре они по-прежнему настаивают: «ты не можешь доказать это!» или «хорошо, это не доказывает, что я не прав», как будто высказывания о реальности вообще могут быть «доказаны», как будто полная определенность вообще возможна.

Никакое утверждение о мире не может быть доказано. Нет никакой определенности. Всё, что у нас есть - вероятности.

Большинство людей, когда они сталкиваются с событиями, противоречащими тому, во что они верят, решают, что эти события не являются достаточно сильными данными, чтобы поменять одно бинарное убеждение на другое, поэтому они не могут поменять мнение вообще. Многие не могут осознать, что все свидетельства против гипотезы снижают ее вероятность, даже если ненамного, потому что многие люди продолжают думать качественно, а не количественно.

На самом деле многие продолжают думать, что они должны выбрать, какой вывод сделать из свидетельства, которое они видели. И это так, но только для тех, кто не против допускать неточности, которых можно было бы избежать.

Многих это удивит, но человечество открыло много законов рассуждения.

Данная вам исходная структура знания, плюс наблюдения, которые вы совершаете - вот единственная максимально точная, обновленная структура знания.

Невозможно достичь этого состояния - совершенного опытного знания. Построить идеальную информационно-вычислительную машину так же невозможно, как построить идеальный тепловой двигатель. Но идеал известен. Уже известное вам плюс то, что вы видите - единственная максимально точная структура знания.

Вопреки распространенному мнению, вы не обязаны быть привязаными к своей точке зрения, не обязаны выбирать, во что верить. Не если вы хотите быть точными. Говорить, что знаешь и что видел - наилучшая структура опытного знания. Вычислить эту структуру практически невозможно, но процесс хорошо понятен. Мы не можем использовать информацию идеально, но мы знаем, в каком направлении двигаться, чтобы знать лучше.

Если вы хотите пройти этот путь, если вы хотите взрастить эфемерное соответствие между вашим сознанием и реальным миром, если вы хотите научиться составлять точную карту этой прекрасной, запутанной, вдохновляющей территории, на которой мы живём, тогда запомните:

Путь количественнен.

Чтобы пройти этот путь, вам нужно оставить позади веру и позволить вероятностям направлять вас. Они - это всё, что у вас есть.

Если это путь, который вы хотите пройти, то теперь я официально рекомендую начать с книги «Рациональность: от ИИ до зомби» Книга 1 «Карта и Территория».

Перевод: 
Александр Попов, Алина Fairy, Николай Мазурок, Вячеслав Матюхин, Пион Гайбарян
Оцените качество перевода: 
Средняя оценка: 4.7 (11 votes)

Забота о большем, чем ты сам

Nate Soares

В предыдущем посте я писал, что чтобы задать причину беспричинному чувству вины нужно:
Шаг 0. Поверить, что вы способны заботиться.
Шаг 1. Найти объект для своей заботы.
Этот пост посвящён шагу 1.

Есть множество способов страстно заботиться о чем-либо. Родители обычно особенно сильно заботятся о своих детях. Кто-то силён в заботе о своей семье, или окружающем мире или [ваши примеры]. Многие другие дерзают заботиться обо всем человечестве или обо всей разумной жизни.

С другой стороны, некоторым людям очень проблематично заботиться о чем-то большом. У них нет детей, за которых они могли бы отдать жизнь, и они не видят смысла заботиться о каждом человеке. При этом многие из них все ещё страдают от бессмысленного чувства вины. Когда я предлагаю таким людям найти причину чувству вины, изучив свою мотивацию и найдя что-то, о чем можно заботиться, ответом, довольно часто бывает простое «зачем?».

Этот пост - для них.

В рамках общего ответа я собираюсь говорить о своём личном ответе на это «зачем?». Сперва подчеркну, что мой ответ - не единственный существующий, как и моя мотивация, а также что я одобряю желание других заботиться о вещах, глубоко не безразличных им, независимо от побуждающих причин.

Я часто встречаю людей, которых не заботит человечество в целом (или будущее разумной жизни) и которым любопытно, зачем это делают другие. В ответ на мое предположение, что они и сами способны на заботу о чем-то гораздо большем, чем они сами, наиболее частый ответ: «Безусловно. Но зачем мне проявлять эту заботу?»

Зачем сражаться за человечество? Зачем беспокоиться о судьбе Земли или о судьбе людей, которых никогда не встретишь? Зачем заботиться об этом омерзительном виде животных, которое изобрело войну и пытки? Зачем заботиться о человечестве в целом, когда большинство его представителей - тупы или раздражают других людей либо являются членами не той политической партии, либо полны ложных представлений о мире? Большинство людей вызывает лишь раздражение, так зачем о них заботиться?

Я встречал множество людей, утверждавших, что они заботятся только о группе своих близких друзей.

Если вы действительно заботитесь только о своих друзьях, не мне менять ваши предпочтения. Но, по моему опыту, люди, которые думают, что заботятся только о своих близких друзьях, склонны путаться.

Один мой друг настаивал, что заботится только о близких ему, одновременно держа проблемы приватности (например, при общении в сети) очень высоко в списке своих приоритетов. Когда я спросил о причинах, он ответил (после некоторых раздумий), что заботится о свободе людей вообще. Заметив противоречие, он быстро добавил, что заботится о свободе масс только потому что это ему приятно, и конечно это эгоистичное желание, а его забота все ещё направлена только близким ему. (Это была, вообще говоря, беседа, в которой я впервые использовал аллегорию робота-филателиста.)

Что же происходит? В числе прочего, я полагаю, проявляется склонность путать чувства и заботу. Большинство людей испытывают сильные чувства только к близким друзьям и ничего даже приблизительно похожего - к незнакомцам, и делают вывод, что они не должны заботиться о незнакомцах. Они забывают, что чувства и забота - разные вещи! Определённо и я тоже испытываю более сильные чувства к близким, чем к незнакомым людям - но я все равно продолжаю заботиться и о незнакомцах тоже. На самом деле, подозреваю, что это верно применительно почти ко всем, кто утверждает, что заботится обо всем человечестве. Смелость - не в отсутствии страха, а в том, чтобы делать то, что считаешь правильным, даже когда чувствуешь страх. Соответственно забота - не о переполненности эмоциями, а о том, чтобы поступать правильно даже когда нет эмоционального побуждения. Одновременно и не испытывать сильных чувств к посторонним, и заботиться о них так же, как о своих близких - реально.

Это по крайней мере одна из причин, почему, как я полагаю, люди склонны настаивать, что они не заботятся о незнакомцах. Она не даёт ответа «зачем?». Даже приняв во внимание, что вести себя так, будто заботишься обо всем человечестве, - возможно, люди продолжают удивляться, с чего бы вдруг им этого хотеть.

И я не могу сказать, захотите вы заботиться или нет. Но я могу рассказать, почему мне захотелось, чтобы, по крайней мере, вам стало понятно, почему кто-то может.

Мы, люди, существа рефлексирующие. Мы анализируем, что мы чувствуем и о чем заботимся, и выбираем измениться. В процессе, осознавая себя и свои желания, я нахожу множество желаний, которые одобряю, и некоторые, которые одобрить не могу.

Я, как и многие, часто разочаровывался в людях (особенно когда им не удавалось прочесть мои мысли). У меня есть бессознательные искажения, направленные против тех, кто выглядит недостаточно похожим на людей среди которых я вырос. Я автоматически ощетиниваюсь на чужаков. Мне не комфортно находиться рядом с большей частью популяции. И все же в то же время я забочусь обо всех людях, обо всех детях планеты Земля, обо всей разумной жизни.

Почему? По большей части это мой выбор. Мои настройки по умолчанию, грубо говоря, располагают меня к поддерживанию друзей и ненависти к врагам. Но эти настройки так же содержат чувство эстетики, располагающей к справедливости и сочувствию. Мои чувства обычно сильнее к людям, которые мне близки, а мой здравый смысл, как правило, раздражён тем, что я не могу испытывать сильные чувства к другим, кто мог так же быть мне близок. Мои чувства обычно негативны по отношению к моим противникам, а мой здравый смысл обычно опечален тем, что мы не встретились при других обстоятельствах, тем что людям так тяжело делиться своими точками зрения.

Я веду к тому, что я, определённо, не лишён способности быть разочарованным в кругу дураков, но я так же не лишён тихого ощущения эстетики и справедливости, которые не одобряют подобного разочарования. В этом есть конфликт.

Я разрешаю его в пользу людей, а не чувств.

Почему? Потому что рефлексируя в поисках источника своих чувств, я нахожу эволюционные настройки, которые не одобряю. И разбираясь в истоках чувства эстетики, я приближаюсь к сути того, что ценю.

Потому что рефлексируя я вижу, что я - непоследовательное месиво мозгов, возникших в процессе долгой и слепой эволюции, полных желаний, чувств и страхов, касающихся всего, что мне дорого, а также кучки приставшего мусора. Создавая меня, Время извергло нестабильное сознание: причинно-следственный процесс моего прошлого сконструировал меня ценящим все, что я ценю, и кое-что, что я (через самоанализ) не ценю.

Так что, взглянув на себя, я вижу, что был создан чтобы одновременно: (а) заботиться сильнее о тех, кто близок мне, и (б) заботиться о справедливости, целостности и эстетике. Взглянув на себя, я вижу, что я одновременно забочусь сильнее о близких друзьях и не одобряю положение дел, при котором я забочусь о некоторых больше просто в силу тривиальных временных и пространственных совпадений.

А ещё я создан так, что взглянув на себя и найдя несоответствия, я забочусь об их разрешении.

Итак, почему же я забочусь о человечестве? Потому что мне легко разрешить это несоответствие. Сильные чувства конфликтуют с тихим ощущением эстетики, но если копнуть глубже, ощущение эстетики выигрывает вчистую. Для меня мои чувства выглядят случайными отголосками племенного прошлого, а эстетика - отражающей мои глубинные ценности. Я знаю, чему я верен.

В любом случае, это не сногсшибательная аргументация. Что для одного - modus ponens (доказательство вследствие?), для другого - modus tollens (доказательство от противного). Кто-то, взглянув на себя, может скорее предпочесть отказаться от чувства справедливости и целостности, чем выбрать заботу о незнакомцах. Но я, как и многие другие, не хочу заботиться только о друзьях. Мы ощущаем больше преданности эстетике, чем заложенным в нас чувствам - так что выбор прост.

Забота о других может звучать прекрасно в теории, но циникам (ненавидящим общение с идиотами), отмеченного выше скорее всего не достаточно.

И знаете что? Почувствовать желание заботиться о людях может быть очень тяжело, даже если вы решили, что хотите.

Слишком легко взглянуть на них и увидеть серость, безобразность, жадность, тупость.

Слишком просто смотреть на индивидов и видеть идиотов.

(У меня иногда тоже бывает это чувство).

Но в этом есть кое-что странное:

Представьте, что у вас есть собака, которую вы вырастили, с которой росли вместе десятилетиями. Представьте, что кто-то похитил вашу собаку и мучает её ради собственного удовольствия.

Что вы чувствуете по этому поводу? Насколько вам хотелось бы найти этого человека и воздать по справедливости?

Большинство людей способны почувствовать гораздо более сильную вспышку эмпатии и заботы к страдающим животным, чем к страдающим людям.

Представьте, что посреди аллеи к вам пристаёт бомж, пытаясь ограбить. Кто-то это замечает, вступается, и, оттолкнув и отпугнув бомжа, убеждается, что у вас все в порядке. Теперь представьте собаку посреди аллеи, рычащую на вас. Кто-то замечает, пинает собаку, отпугивает её и убеждается, что у вас все в порядке.

Не кажется ли вам противоречивой разница между чувствами при плохом обращении с животным и при плохом обращении с людьми? Не странно ли, насколько просто любить собак и насколько сложно - людей?

Вы, конечно, можете заключить, что не любите людей. Только это не обязательно. Вы можете, как и раньше, прислушаться к тихому ощущению эстетики, конфликтующему с заложенными в вас чувствами. Почему в нас заложены именно такие чувства? Не могу сказать точно, но есть такая теория:

Влиятельная версия теории социума - гипотеза макиавеллианского интеллекта (Byrne and Whiten 1988; Whiten and Byrne 1997). Социальные взаимодействия и отношения не только сложны, но и постоянно меняются и поэтому требуют быстрой параллельной обработки (Barton and Dunbar 1997).
Параллель с Никколо Макиавелли, хитроумным советником итальянских принцев 16-го века, - в том, что большая часть общественной жизни заключается в задаче перехитрить других, плетении интриг, объединения в союзы и разрушения их. Все это требует больших умственных усилий, чтобы запомнить, кто есть кто, кто что кому сделал, а также чтобы изобрести более искусную хитрость и обвести вокруг пальца врагов с их искусными хитростями - и все это приводит к спиральным гонкам вооружений. Гонки вооружений - частое явление в биологии, в виде хищников, эволюционирующих чтобы догонять свою эволюционирующую добычу, или паразитов, эволюционирующих чтобы перехитрить иммунную систему своих носителей. Идея что здесь замешан некий вид спирального или самозапускающегося процесса определённо соответствует тому, что Кристофер Уиллс (1993) называет «убегающим мозгом», и эта идея часто фигурирует в теориях, связывающих развитие речи с размером мозга. (Sue Blackmore, The Meme Machine)

Я к тому, что взгляните на нас. Люди - существа, которые видят молнию и предполагают существование злого небесного божества, потому что злое небесное божество выглядит гораздо более правдоподобным, чем уравнения Максвелла - несмотря на тот факт, что уравнения Максвелла гораздо проще описать (по стандартам математики), чем разумное небесное божество. Только подумайте: мы можем расписать уравнения Максвелла в 4 строки и мы все ещё не в состоянии описать работу общего интеллекта. Тор кажется более простым для понимания, но только потому, что у нас очень много встроенного «железа» для моделирования человеческой психологии.

Наш мозг заточен видеть человекоподобных агентов повсюду. Мультяшки работают: мы воспринимаем их как людей (и присваиваем им чувства), независимо от их примитивности. Мы повсюду видим целенаправленность: религиозные люди без проблем находят подтверждения тому, что их мирская суета - часть какого-то грандиозного плана, суеверия легко распространяются, а множество различных видов умственных расстройств (шизофрения, мания и т.д.) характеризуются иллюзиями, что или все против вас, или ваша жизнь была кем-то тщательно спланирована, - симптомы мышления, чересчур охотно описывающего все в понятиях людских интриг.

Глядя на людей, мы видим в них интриганов или соперников. Но когда мы смотрим на щенков, котят или других животных, эти социальные механизмы не запускаются.

Если загнать щенка в угол и напугать, и он начнёт огрызаться, волну сочувствия ощутить проще, чем злость.

Но когда на тебя огрызается человек, социальные механизмы включаются. Несложно застрять внутри взаимодействий. Если на нас набрасывается загнанный в угол человек - мы склонны отвечать агрессией.

И поэтому достаточно часто я мысленно отступаю назад, стараясь увидеть людей вокруг не как людей, а как невинных животных, удивляющихся, изучая окружающий мир, который они никогда не смогут полностью постичь, следуя по течению своих жизней.

Я стараюсь увидеть людей так же, как я вижу щенка, откликающимися на боль и наслаждение, огрызающимися только из страха. Я стараюсь увидеть трагедию в людях, чьи предрассудки и злоба обусловлены случайным стечением времени и обстоятельств и ощутить то же сочувствие, что и к страдающему ребёнку.

Я смотрю на собратьев-людей и стараюсь помнить, что они тоже невинные существа.

Кто-то однажды сказал мне, что чтобы ощутить сочувствие к другим полезно представлять их имеющими ангельские крылья. Я полагаю, в этом что-то есть. Что-то мощное в том, чтобы смотреть на людей и видеть ангелов, никогда не бывавших в раю. Только я предпочитаю видеть не ангелов, а обезьян, старающихся убедить себя, что им комфортно в этой странной цивилизации, столь отличающейся от древних саванн, в которых было выковано их мышление.

Некоторые используют слово «животное» как уничижительное и могут подумать, что попытки представлять людей животными унизительны. Для меня верно обратное, по тем же причинам, по которым сочувствовать бездомной собаке проще, чем бомжу, - это помогает убрать импульс распознавания в других людях конкурентов, союзников или врагов, просто смотреть на них так же, как я смотрю на котят, как на существ, обладающих любопытством и невинностью.

Почему я забочусь о людях и человечестве, о Земле и всех её детях, обо всей разумной жизни? Как я вообще могу это утверждать, учитывая, что я тоже часто испытываю более сильные чувства к друзьям, чем к незнакомцам, и больше сочувствую собаке чем человеку?

Вглядываясь в себя, я вижу конфликт между своими чувствами и ощущением, что мои чувства плохо откалиброваны. Присмотревшись, я нахожу, что мои чувства устроены не так, как я одобряю, с племенными установками, при которых было важно любить соплеменников и ненавидеть чужаков. И обращая внимание на ощущение, что эти чувства плохо откалиброваны, я нахожу хорошие соображения и ощущение, что это забота действительно значима, что она не произвольна, но ценна.

Так что для меня на вопрос «зачем заботиться о чем-либо?» есть простой ответ.

Позвольте мне ещё раз подчеркнуть, что вы не обязаны разрешать свои внутренние конфликты тем же путём, что и я. Вашим ответом на «зачем заботиться о чем-либо» может быть «я не забочусь ни о чем». Вы можете предпочесть чувства глубинному ощущению эстетики, или у вас могут быть совсем другие чувства и другая эстетика. В любом случае, если вы прислушаетесь к этому внутреннему ощущению разногласия, если ваши чувства будут для вас ориентиром, а не ответом, если вы выясните, почему вы чувствуете или заботитесь тем или иным образом, и выберете заботу о том, что выглядит правильным и хорошим объектом заботы,

вы тоже можете обнаружить, что на вопрос «зачем заботиться» у вас есть простой ответ.

Перевод: 
hakami1024, Incognita
Оцените качество перевода: 
Средняя оценка: 4.2 (16 votes)

Непоследовательным быть можно

Нэйт Соарес

Я часто вижу, как мои друзья совершают ошибку, которую я называю «ложной последовательностью». Особенно часто это касается тех, кто увлекается рациональностью или идеями «Эффективного альтруизма», поскольку в этих кругах последовательность считается важной добродетелью.

Человек совершает ошибку «ложная последовательность», если, обнаружив у себя противоречивые желания, мысли или убеждения, он во имя «последовательности» отбрасывает все из них, кроме одного. В результате человек сам себя лишает возможности использовать интуицию и ощущения, которые он не в состоянии выразить словами. Я полагаю, что от этого накапливается раздражение и разочарование.

Например, представим, что Алиса настаивает, чтобы Боб помог ей с домашней работой. Боб не хочет ей помогать, однако, не может ясно сформулировать, почему. После некоторого размышления Боб решает, что он не одобряет свои чувства, которые ему сложно выразить, и ему кажется, что у него нет права ответить «нет», если он не может чётко обосновать этот ответ. Боб соглашается помочь Алисе, однако, чувства, которые он не смог выразить, никуда не деваются. Они продолжают беспокоить Боба и приводят к раздражению.

Другой пример. Вообразим, что у Кэрол спрашивают: «Какое наказание следует присудить бездомному, который украл 10 тысяч долларов у семьи из среднего класса?» и Кэрол отвечает: «5 лет». Сразу же после этого её спрашивают: «Какое наказание следует присудить банкиру из высшего класса, который украл 10 миллионов долларов?» Первоначально ей хочется ответить что-нибудь в районе «10 лет», но она вспоминает свой ответ на предыдущий вопрос, ей очень хочется быть последовательной и поэтому она отвечает: «Его следует приговорить к пожизненному заключению». Если она это делает исключительно во имя последовательности, не разбираясь в том, что именно вызывает у неё противоречивые мысли, скорее всего, она является жертвой «ложной последовательности».

Поймите меня правильно, я целиком за внутреннюю последовательность. Последовательность — это добродетель. Когда вы обнаруживаете у себя непоследовательность — например, если вы в разных контекстах отвечаете по разному на один и тот же вопрос, или если часть вас думает одно, а другая часть думает другое, или если у вас есть два противоречащих друг другу представления о реальности, — то я призываю вас отметить найденное красным флажком, разобраться и в итоге обновить свои убеждения.

Если вам неуютно, когда вы сталкиваетесь с собственной непоследовательностью, это совершенно нормально. Проблемы возникают, если вы отвечаете на этот дискомфорт внутренним насилием и заставляете часть себя подчиниться с помощью дубины.

Давайте сравним мир, в котором Боб не смог сформулировать свои возражения и отбросил их, с миром, где он ответил: «Гм, часть меня хочет помочь тебе, а другая часть — нет. Позволь мне немного побеседовать с самим собой и разобраться, не смогу ли я выяснить, о чём беспокоится эта вторая часть».

Вообще, в таких ситуациях я рекомендую в буквальном смысле побыть посредником в диалоге между противоборствующими точками зрения. Вообразите себя за столом переговоров, где одна сторона хочет помочь Алисе сделать её домашнюю работу, а у другой стороны присутствует невысказанная тревога. Предположим, что у обеих сторон есть веские причины и добрые намерения, пусть даже они предлагают и не лучшие стратегии. Помогите им прийти к согласию. Что, скорее всего, скажет та сторона, которая тревожится? В какой валюте будет идти торг? Что похоже на удовлетворительный результат?

Если некоторый выбор приводит к тому, что у вас появляется полдюжины различных мыслей и эмоций, то решением проблемы с непоследовательностью будет такое состояние, при котором выбор будет устраивать все ваши противоборствующие части. Если же, для того, чтобы оправдать ваши действия, вам придётся пройтись катком по половине ваших опасений, то это не решение проблемы.

Представьте, что вы столкнулись с необходимостью принять решение и понимаете, что вам очень тяжело избежать ошибки «пренебрежение масштабом». Я утверждаю, что есть большая разница между тем, чтобы насильно заставить подчиниться ту часть вас, которая не понимает больших чисел, после чего заткнуться и умножать, и тем, чтобы приучить себя на уровне эмоций действительно понимать, что «много» значит «много», после чего решение хладнокровно переходить к математическим расчётам в таких случаях будет приниматься автоматически. Первое — «ложная последовательность», второе — достойная цель.

Если же вы пока не смотрели на большие числа достаточно долго, чтобы выработать в себе способность затыкаться и умножать рефлекторно (и чтобы при этом никакая часть вас не вопила о том, что это холодный нечеловеческий подход), тогда всё равно постарайтесь заткнуться и умножать. Поступать Правильно — превыше всего. Но затем поговорите с протестующей частью вас и подключите и её к проекту «Поступать Правильно». Иногда прибегать к внутреннему насилию необходимо, но я рекомендую всегда помечать такие случаи красными флажками.

Чем больше вы практикуетесь в разрешении внутренних конфликтов путём переговоров, тем меньше вам приходится прибегать к заглушению тихих голосков сомнений. С опытом также, скорее всего, придёт и способность лучше формулировать тревоги, которые не получалось сформулировать раньше.

На промежуточном этапе непоследовательным быть можно. Не стоит игнорировать тревоги только лишь из-за того, что вы не можете выразить их словами. Если ваши действия сегодня не согласуются с вашими действиями вчера, и вы знаете, как построить диалог между конфликтующими частями вас, но прямо сейчас у вас не хватает на это времени, то не нужно бросать всё и стараться быть последовательным.

Мы пока не боги, помните? Мы всё ещё обезьяны. Если вы заставите себя быть последовательными всегда, очень вероятно, что вы растопчете какие-нибудь существенные возражения и не заметите важные шепотки замешательства.

Я призываю всех рассматривать непоследовательности как ошибки. Однако, заметание ошибок под ковёр или попытки изо всех сил притвориться, что их не существует, — лишь другая ошибка. Мы неорганизованные существа, и для разрешения непоследовательностей часто требуется немного поработать. А на промежуточном этапе непоследовательным быть можно.

Перевод: 
Alaric
Оцените качество перевода: 
Средняя оценка: 3.9 (16 votes)

Ещё не боги

Нейт Соарес

Скорее всего, вы не вините себя за то, что не можете одним щелчком пальцев изобрести лекарство от болезни Альцгеймера.

Тем не менее, многие люди себя винят за то, что не могут работать до изнеможения каждый день (хотя наша психика на это не способна). Они винят себя за то, что не могут волшебным образом, без какой-либо практики или переподготовки, избавиться от не устраивающих их шаблонов поведения (хотя для нашего разума это невозможно). В чем же проблема?

Я думаю, разница в том, что люди считают «невозможным» вылечить болезнь Альцгеймера щелчком пальцев и «возможным» использовать лучший образ мышления. И именно здесь кроются многие проблемы.

Большинство людей неправильно используют словосочетание «мог бы».

Они считают, что «могли бы» не волноваться на той вечеринке. Они считают, что «могли бы» прекратить играть в «Цивилизацию» в разумное время и пойти спать. Они считают, что «могли бы» выключить «Карточный домик», просмотрев несколько серий. Я сейчас говорю не об иллюзии свободной воли: я считаю осмысленными разговоры о «возможности» делать те вещи, которые в реальности мы не делаем. Скорее, я говорю о том, что многие люди имеют неаккуратные представления о том, что они могут или не могут.

Люди ругают себя каждый раз, когда их мозг не действует по тому шаблону, по которому им хотелось бы. Как будто у них есть полное господство над своими мыслями, над извилинами своего мозга. Как будто их мозг не является сетью нейронов. Как будто они могут выбирать предпочтительные варианты, несмотря на свой образ мышления, а не признавать, что выбор и есть образ мышления. Как будто они должны выбирать своё сознание, а не быть им.

Как будто они уже боги.

Мы не боги.

Пока ещё нет.

Мы все ещё обезьяны.

Насколько мне известно, почти у каждого человека внутри бардак. Почти все прикладывают усилия, чтобы поступать в соответствии со своими желаниями. Почти все слабы психологически и могут оказаться в ситуации, заставляющей их делать то, о чем они потом жалеют: переедать, тратить слишком много денег, проявлять гнев, страх, беспокойство. Мы — обезьяны, и мы слабы в подобных вопросах.

Поэтому не надо упрекать себя, когда вы промахиваетесь. Не надо ругать себя, когда не получается поступать в точном соответствии со своими желаниями. Такие поступки не происходят сами по себе, они случаются только после изменений окружающей обстановки и тренировки мозга. Вы все ещё обезьяна!

Не ругайте обезьяну. Помогайте ей каждый раз, когда можете! Она хочет того же самого, что и вы: она и есть вы. Не наседайте на неё, а помогите ей. Раз обезьяне трудно поступать так, как вам хочется, поймите, как сделать этот процесс легче. Переобучите обезьяну. Экспериментируйте. Пробуйте.

И будьте добры к ней. Она довольно сильно старается. Обезьяна пока не знает, как именно получить то, что хочется, потому что мир вокруг неё большой и сложный, и она не может увидеть большую его часть, и потому что множество её действий обусловлено дюжиной подсознательных шаблонов реагирования, над которыми у неё практически нет контроля. Она старается!

Не ругайте обезьяну за то, что она спотыкается. Мы ведь не выбрали самый простой путь. Мы не ставим перед собой самые лёгкие цели. То, что мы делаем, довольно сложно.. Поэтому, когда обезьяна спотыкается и падает, помогите ей подняться. Помогите ей практиковаться, или тренироваться, или выполнить еще один умный план по преодолению препятствий.

Возможно, когда-нибудь мы сможем лучше контролировать свой разум. Мы сможем выбирать наш образ мышления усилием воли и без проблем поступать в соответствии со своими желаниями. Мы сможем быть теми существами, которыми многие хотят быть и с которыми сравнивают себя, воображаемыми существами с полным господством над собственным сознанием.

Но не сейчас. Мы не боги. Мы все ещё обезьяны.

Перевод: 
Klyuich
Оцените качество перевода: 
Средняя оценка: 4.6 (7 votes)

Когда происходит выбор?

Нейт Соарес

Почти никто не думает, что «мог бы» изобрести лекарство от болезни Альцгеймера по щелчку пальцев. Поэтому никто не огорчается из-за того, что не в состоянии это сделать.

С другой стороны, люди, которые не справляются с тем, чтобы не переедать или прекратить играть в «Цивилизацию» в разумное время, всерьёз считают, что они «могли бы» справиться. Поэтому они рассматривают свой провал как повод для того, чтобы чувствовать себя ужасно по поводу своих поступков.

На прошлой неделе я упоминал, что многие люди неправильно используют словосочетание «мог бы».

Сила воли — дефицитный ресурс. Иногда силой воли вы можете вытащить себя из ментальной колеи, в которой вы застряли. Но так получается довольно редко, обычно одной силы воли недостаточно. Если ваш план больше не засиживаться за «Цивилизацией» на всю ночь заключается в словах «ну, я просто буду в следующий раз заставлю себя сильнее», то он обречен на провал. Если он не сработал в прошлый раз, навряд ли он сработает в следующий. Сила воли — это костыль, а не лекарство.

Я думаю, что многие люди неправильно используют словосочетание «мог бы» потому, что они неверно понимают, где находятся точки принятия решений. Они думают, что «выбор» перед ними стоял на 347 ходу «Цивилизации», когда они решили сыграть еще раунд (и на каждом следующем ходу между полночью и четырьмя утра).

Но выбор произошёл не в этот миг. Если вам приходится заставлять себя изменить поведение, вы уже пропустили настоящую точку выбора.

Настоящий выбор происходит в самом начале, когда вы размышляете, играть вам вообще в «Цивилизацию» или нет.

Предположим, у вас есть знакомый, который постоянно действует вам на нервы. Время от времени вы срываетесь на него и это заканчивается перебранкой. Вы точно знаете, что не должны кричать на него, и честно пытаетесь не нервничать. Когда он начинает вас раздражать, вы очень хотите успокоиться, но это никогда не работает (неважно, насколько решительно вы планируете заставлять себя сильнее в следующий раз). В таком случае я предлагаю вам не пытаться сдержать себя на пике раздражения, а вместо этого обратить внимание, что происходит за пять минут до срыва. Вот где настоящий выбор! Нельзя выбрать, срываться или не срываться в критический миг, но можно выйти из ситуации за пять минут до него.

Настоящий выбор обычно происходит за несколько минут до того выбора, за который люди упрекают себя. Если вам приходится применять силу воли, вы уже пропустили точку настоящего выбора. (В предыдущих статьях я предлагал вам пообещать себе, что вы не будете использовать силу воли для выхода из неприятных положений: знание о том, что вы наверняка не будете спасать свою задницу, если окажетесь в ситуации, требующей силы воли для выхода, заставляет вас замечать настоящую точку невозврата, когда вы проходите через нее).

Если вы замечаете в себе шаблоны поведения, которые вам не нравятся, я советую притвориться, что у вас нет никакой силы воли. Представьте мир, в котором вы просто не способны заставить себя прекратить делать что-либо увлекательное после того, как начали. Как бы вы поступали в таком мире?

Поищите триггеры, предшествующие действию, которое вы хотели бы изменить. Что происходило за час до него? А за пять минут? А что происходило за шестьдесят секунд до того, как у вас не получилось поступить так, как вам хотелось?

Вот где настоящий выбор!

Многие люди неправильно используют словосочетание «мог бы». Они относятся к себе так, как будто они «могли бы» начать смотреть сериал и остановиться в разумное время. Они ставят себя в ситуации, искушающие поступить вопреки здравому смыслу, и потом ругают себя за то, что поддались искушению.

Я, напротив, не считаю, что я «мог бы» прекратить читать хорошую книгу, и поэтому не чувствую себя ужасно, если я зачитываюсь. Вместо этого я говорю: «Ага, я вижу, что зачитываюсь увлекательными книгами. Поэтому я буду воспринимать чтение книги как единое неделимое действие, занимающее от пяти до двадцати часов, без развилок внутри». В ситуациях, в которых другие ругают себя за то, что не справились с невозможной задачей («прекратить читать и вернуться к серьезной работе»), я разбираюсь, на что я способен и на что не способен, и выясняю, когда у меня происходит настоящая точка принятия решения.

Нам, людям, доступен не любой выбор. Иногда мы способны прекратить читать интересную книгу примерно в той же мере, что и изобрести лекарство от болезни Альцгеймера. Иногда берёт верх зависимость, иногда — наследие мозга рептилии или первобытная ярость. В такие минуты мы не влияем на ситуацию. Мы совершаем выбор далеко не в каждый миг своей жизни. Часто у нас недостаточно силы воли, чтобы перебороть импульсы, инстинкты и привычки.

Цель в том, чтобы всё равно выиграть.

Наш разум не имеет абсолютной власти над нашими действиями. Часто он практически бессилен повлиять на наше поведение. Мы еще не боги. Мы все еще обезьяны. Все еще нейронные сети. Я предлагаю вам перестать ругать себя за невыполнение невозможных задач, а вместо этого начать экспериментировать и разбираться, на что вы на самом деле способны.

Ищите действия, которые позволят вам поступать в соответствии со своими желаниями до того, как решение станет трудно исполнить. Научитесь распознавать моменты, когда ваше сознание с готовностью реагирует на ваши желания. Именно в такие мгновения происходит настоящий выбор, и здесь вы можете что-нибудь улучшить.

Перевод: 
Klyuich, Alaric
Оцените качество перевода: 
Средняя оценка: 4.8 (6 votes)

О заботе

Нейт Соарес

1

Я не могу прочувствовать большие числа. Когда берёшься за цифры больше 1000 (или даже 100) они просто кажутся «большими».

Возьмём Сириус, ярчайшую звезду на ночном небе. Если вы скажете мне, что Сириус вместил бы миллион планет размером с Землю, я бы почувствовал, что он намного больше Земли. Если бы вместо этого сказали, что Сириус вмещает миллиард земных шаров… я бы всё ещё чувствовал, что он намного больше Земли.

Чувства почти идентичные. В контексте мой мозг неохотно признает, что миллиард гораздо больше миллиона и прилагает усилие, чтобы почувствовать, насколько звезда-в-миллиард-планет больше звезды-в-миллион-планет. Но вне контекста — если бы я не был привязан к «миллиону», когда услышал «миллиард» — оба этих числа ощущаются неопределённо большими.

Я придаю мало значения размеру чисел, если взять действительно большие. Если вы скажете «один и сотня нулей», это ощущается гораздо больше миллиарда. Но это не ощущается (инстинктивно) в 10 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 раз больше миллиарда. Не так, как четыре яблока внутренне ощущаются вдвое больше, чем два яблока. Мой мозг не может даже приблизиться к разнице в величинах такого порядка.

Этот феномен связан с пренебрежением масштабом, и он важен для меня. Я живу в мире, где некоторые вещи, о которых я забочусь, очень и очень многочисленны.

Например, миллиарды людей живут в нищете, сотни миллионов из них не могут удовлетворить базовые потребности и/или они умирают от болезней. И хотя большинство из них вне моего поля зрения, я всё равно забочусь о них.

Утрата человеческой жизни со всеми её радостями и печалями это трагедия независимо от причины, и трагедия не уменьшается от того, что я был далеко, или не знал об этом, или не знал как помочь, или потому что я не был лично ответственен.

Зная это, я забочусь о каждом человеке на этой планете. Проблема в том, что мой мозг просто неспособен взять на себя заботу, которую я чувствую к одному человеку, и масштабировать её в миллиард раз. Мне не хватит внутренних способностей к сопереживанию. Мой забото-метр просто не поднимается так высоко.

И это проблема.

2

Есть распространённое выражение: смелость не в том, чтобы быть бесстрашным, а в том, чтобы бояться, но несмотря на это поступать правильно. В этом же смысле забота о мире не в том, чтобы инстинктивно чувствовать количество страданий в мире, а в том, чтобы делать правильные вещи всё равно. Даже без этого чувства.

Мой внутренний забото-метр был откалиброван, чтобы иметь дело со ста пятьюдесятью людьми, и он просто не может выразить количество заботы, которое я испытываю к миллиардам страждущих. Внутренний забото-метр просто не поднимается так высоко.

На карту поставлено слишком многое. Сегодня страдают по меньшей мере миллиарды людей. В худшем случае существуют квадриллионы (или более) потенциальных людей, транслюдей и постлюдей, существование которых зависит от того, что мы делаем здесь и сейчас. Все замысловатые цивилизации, которые будущее сможет вместить, опыт, красота и искусство, возможные в будущем, зависят от настоящего.

Когда ставки столь высоки, ваша внутренняя эвристика для заботы, откалиброванная на числа «десять» и «двадцать», совершенно не понимает всей тяжести ситуации.

Спасая жизнь человеку мы чувствуем себя великолепно — вероятно, столь же великолепно, как если бы мы спасли весь мир. Разумеется, вы не почувствуете многомиллиардную разницу, спася мир, потому что ваше аппаратное обеспечение не может выразить чувство в миллиард раз большее, чем при спасении жизни человека. Но даже если альтруистический подъём от спасения чьей-то жизни будет ужасно похож на альтруистический подъём от спасения мира, всегда помните, что между подобными чувствами разница величиной в целый мир.

Нашего внутреннего чувства заботы крайне недостаточно чтобы решить, как действовать в мире с большими проблемами.

3

По мере того, как я усваивал пренебрежение масштабом, мое мышление менялось. Это немного сложно сформулировать, поэтому я начну с нескольких историй.

Представьте Элис, программистку Amazon в Сиэтле. Примерно раз в месяц на улицах появляются студенты с клипбордами, выглядящие всё более разочарованно, по мере того как они изо всех сил пытаются убедить людей жертвовать «Врачам без границ». Обычно Элис избегает зрительного контакта и идет по своим делам, но в этом месяце им удалось подстеречь её. Они рассказывают о «Врачах без границ» и она признает, что проблема достойна внимания. Она вручает им 20 долларов благодаря сочетанию социального давления, чувства вины и альтруизма, и устремляется обратно к своей работе. (В следующем месяце, когда они появляются снова, она избегает зрительного контакта.)

Теперь представьте Боба. Друг на Facebook пригласил его участвовать в Ice Bucket Challenge. Он слишком занят, чтобы справиться с испытанием ведром ледяной воды, и вместо этого просто жертвует 100 долларов организации ALSA.

Теперь рассмотрим Кристин, которая состоит в студенческом сообществе ΑΔΠ. ΑΔΠ соревнуется с ΠΒΦ (другим сообществом), чтобы выяснить, кто сможет собрать за неделю больше денег для Национального фонда рака молочной железы. В Кристин силен дух соперничества и она вовлечена в сбор средств, поэтому она сама в течение недели жертвует несколько сотен долларов (особенно в то время, когда ΑΔΠ сильно отстаёт).

Все эти люди жертвуют деньги благотворительным организациям… и это замечательно. Но заметьте, как похожи эти три истории: пожертвования в них мотивированы социальным контекстом. Элис движет чувство долга и социальное давление. Боб испытывает социальное давление и дружеские чувства. Кристин видит в этом соревнование. Все они являются прекрасными мотивами, но обратите внимание, что все они напрямую связаны с социальными установками, а с сущностью пожертвований лишь косвенно.

Если вы возьмёте Элис, Боба или Кристин, и спросите их, почему они не жертвуют всё своё время и деньги на проблемы, которые вероятно кажутся им полезным, они усмехнутся и возможно подумают, что вы им грубите (и обоснованно!). Если вы надавите, они могут сказать, что сейчас ограничены в деньгах, или что будут жертвовать больше, если станут лучшими людьми.

Но вопрос по-прежнему будет казаться неправильным. Отдавать всё — это не то, что вы привыкли делать с деньгами. На людях мы все можем согласиться, что люди, отдающие все свои сбережения, действительно классные, но между собой считаем, что такие люди сумасшедшие (по-хорошему сумасшедшие, но всё равно).

Одно время я разделял такой образ мыслей. Существует альтернативное мышление, которое может ударить вас, словно грузовой поезд, когда вы усвоите пренебрежение масштабом.

4

Представьте Дэниела, студента колледжа, вскоре после разлива нефти Deepwater Horizon BP. Он встречает одного из тех студентов с клипбордами на перекрёстке, которые просят пожертвования в пользу Фонда дикой природы. Они пытаются спасти как можно больше птиц, пострадавших из-за разлива. Обычно Дэниел игнорировал благотворительность как Не Самую Важную Вещь, или Не Стоящую Его Времени, или Чужую Проблему, но в этот раз он размышлял о том, как его мозг плохо чувствует числа, и он решает сделать быструю проверку.

Он воображает, как идёт по пляжу после разлива нефти и сталкивается с группой людей, очищающих птиц так быстро, как они могут. У них не хватает ресурсов для очистки всех пострадавших птиц. Несчастная молодая птица плывёт к его ногам. Она покрыта нефтью и едва способна открыть глаза. Он встаёт на колени, чтобы поднять её и отмыть на столе. Один из волонтёров говорит ему, что у них не будет времени помыть её, но он может надеть перчатки и спасти её, отмыв за три минуты.

Дэниел решает потратить три минуты своего времени, чтобы спасти птицу, и что он также будет рад заплатить по крайней мере 3 доллара за то, что кто-то ещё потратит несколько минут на очистку птицы. Он наблюдает за собой и обнаруживает, что это происходит не только из-за того, что он представил птицу прямо перед собой. Он чувствует, что стоит потратить не менее трёх минут своего времени (или 3 доллара), чтобы спасти масляную птицу в каком-то неясном возвышенном смысле.

Поскольку он размышлял о пренебрежении масштабом, он ожидает, что мозг неверно оценит, насколько он действительно заботится об огромном количестве птиц: нельзя ожидать, что внутреннее чувство заботы будет соответствовать реальной значимости ситуации. Поэтому вместо того, чтобы прислушиваться к интуитивному забото-метру, он действует по правилу «заткнись и умножай».

Тысячи и тысячи птиц были загрязнены разливом BP. После перемножения, Дэниел осознает (с нарастающим ужасом), что значение его заботы о птицах составляет не менее двух месяцев упорной работы и/или пятидесяти тысяч долларов. И это без учёта дикой природы, которой угрожают другие разливы нефти.

И если он так заботится об очистке птиц, то насколько он действительно заботится о промышленном животноводстве, не говоря о голоде, бедности и болезнях? Насколько он реально заботится о войнах, которые опустошают государства? О беспризорных, брошенных детях? О будущем человечества? Выходит, что он заботится об этих вещах в масштабах, сильно превышающих все его деньги и имеющееся у него время.

Впервые Дэниел видит проблеск того, насколько велика его забота, и в каком плачевном состоянии мир вокруг.

Это странно влияет на Дэниела, пока его рассуждения проделывают полный оборот: он уже не готов пожертвовать 3 минуты или 3 доллара на загрязнённую птицу. Не потому, что птицы не стоят времени и денег (он считает, что экономика производит вещи за 3 доллара, которые стоят меньше, чем жизнь птицы), а потому, что он не может тратить время или деньги на спасение птиц. Альтернативные издержки внезапно кажутся слишком высокими: так много нужно сделать! Люди болеют, голодают и погибают! Будущее нашей цивилизации под угрозой!

Даниэль не торопится отдавать 50000 долларов WWF, и он не жертвует ALSA или NBCF. Но если вы спросите Дэниела, почему он не пожертвовал все свои деньги, он не посмотрит на вас с усмешкой и не подумает, что вы грубы. Он покинул место, где вам всё равно, и понял, что его разум всё время лгал ему о тяжести реальных проблем.

Теперь он понимает, что он не может сделать достаточно. После калибровки пренебрежения к масштабу (и того факта, что его мозг лжёт о масштабах больших чисел), даже «менее важным» проблемам, подобным WWF, неожиданно кажется достойным посвятить жизнь. Он готов сдвинуть горы, чтобы решить проблему уничтожения дикой природы, ALS (боковой амиотрофический склероз) и рака молочной железы, — но он наконец понял, что гор слишком много, и ALS не является бутылочным горлышком, и ААА ОТКУДА ЗДЕСЬ ВСЕ ЭТИ ГОРЫ?

В прошлом он не бросил всё, чтобы работать над ALS, потому что эта проблема казалась… недостаточно насущной. Или легко решаемой. Или важной. Вроде того. Это различные доводы, но настоящая причина в том, что идея «бросить всё и заняться ALS» никогда не приходила в голову как реальная возможность. Это слишком отклонялось от типичного сценария. Это не его проблема.

После осознания всё стало его проблемой. Единственная причина, по которой он не бросил всё, ради работы над ALS, это потому, что сперва нужно сделать слишком много других вещей.

Элис, Боб и Кристин обычно не тратят время на решение всех мировых проблем, потому что забывают их видеть. Если вы напомните им — поместите в социальный контекст, где они вспомнят, насколько сильно заботятся (надеюсь, без чувства вины или давления) — скорее всего, они пожертвуют немного денег.

Дэниел, как и другие пережившие ментальный сдвиг, напротив, не тратит время на решение всех мировых проблем, потому что проблем слишком много (надеюсь, Дэниел откроет для себя движение эффективного альтруизма и станет способствовать устранению самых насущных глобальных проблем).

5

Я не пытаюсь проповедовать здесь о том, как быть хорошим человеком. Вам не нужно разделять мою точку зрения, чтобы быть хорошим человеком (что очевидно).

Я скорее пытаюсь указать на новую перспективу. Многие из нас понимают, что должны заботиться о людях, страдающих далеко от нас, но у них не получается. Я думаю, что это отношение связано, по крайней мере частично, с тем фактом, что большинство из нас безоговорочно доверяют нашим внутренним забото-метрам.

«Чувство заботы» обычно недостаточно сильное, чтобы заставить нас неистово спасать всех умирающих. Хотя мы признаем, что было бы добродетельным делать больше для мира, мы думаем, что не можем, потому что не наделены добродетельной экстра-заботой, которую должны иметь выдающиеся альтруисты.

Но это ошибка: забото-метр у выдающихся альтруистов не больше обычного, они просто научились не доверять своему забото-метру.

Наши забото-метры сломаны. Они не переваривают большие числа. Никто не способен честно представить масштаб мировых проблем. Но тот факт, что вы не чувствуете заботу, не значит, что вы не способны заботиться.

Вам не нужно испытывать должное количество «заботы» в вашем теле. Простите — мировые проблемы слишком велики, и ваше тело не спроектировано адекватно реагировать на проблемы такого масштаба. Но если вы решитесь, то всё равно можете действовать без недооценки масштаба проблем. Вы можете перестать доверять внутренним ощущениям, определяющим ваши действия, и переключиться на ручное управление.

6

Конечно, это приводит к вопросу: «Что, черт возьми, тогда делать?»

Я не знаю наверняка (хотя упомяну Giving What We Can, GiveWell, MIRI и The Future of Humanity Institute как хорошие отправные точки).

Отчасти не знаю потому, что перспективы кажутся безнадёжными. Недостаточно думать, что вы должны изменить мир — вам нужно отчаяние, которое приходит из понимания, что вы посвятите всю свою жизнь решению сотой по масштабу проблемы, но вы не можете, потому что остаётся ещё 99 больших проблем, которыми нужно заняться в первую очередь.

Я не пытаюсь вызвать чувство вины, чтобы вы пожертвовали больше денег — стать филантропом действительно очень тяжело (если вы уже являетесь им — примите моё почтение). Сперва вам потребуются деньги, что встречается нечасто, а затем потребуется швырнуть эти деньги в далёкие невидимые проблемы, и мозг непросто убедить сделать это. Акрасия — грозный соперник. И самое главное: чувство вины плохой мотиватор в долгосрочной перспективе. Если вы хотите присоединиться к рядам людей, спасающих мир, я бы предпочёл, чтобы вы сделали это с гордостью. Впереди много испытаний и несчастий, и нам лучше встретить их с высоко поднятой головой.

7

Смелость не в том, чтобы быть бесстрашным, а в том, чтобы поступать правильно, даже если боишься.

Схожим образом, решение главных проблем нашего времени не в том, чтобы действовать по сильному внутреннему порыву. А в том, чтобы действовать в любом случае, даже если внутренние приборы абсолютно неспособны оценить масштаб проблем, с которыми мы сталкиваемся.

Легко взглянуть на добродетельных людей — Ганди, Мать Терезу, Нельсона Манделу — и прийти к выводу, что стоит заботиться больше. Но не думаю, что в этом дело.

Никто не способен постичь масштаб этих проблем. Лучшее, что мы можем сделать, это умножать: найти что-то, о чем мы заботимся, присвоить ему вес и умножить. И доверять этим цифрам больше, чем нашим чувствам.

Потому что чувства лгут нам.

Когда вы умножаете, то понимаете, что искоренение глобальной бедности и создание лучшего будущего требуют больше ресурсов, чем есть в нашем распоряжении. В мире недостаточно денег, времени и усилий чтобы сделать всё необходимое.

Есть только ты, и я, и все остальные, кто пытается, несмотря ни на что.

8

Вы не можете ощутить всю тяжесть мира. Человеческий мозг неспособен на этот подвиг.

Но иногда вы можете приблизиться к этому.

Примечание редактора сайта: Исходно этот перевод выполнил Саша Бережной для сайта Эффективного альтруизма.

Перевод: 
Саша Бережной
Оцените качество перевода: 
Средняя оценка: 4.3 (8 votes)

Ценность жизни

Нейт Соарес

Если у вас есть деньги и вы хотите спасать жизни, вам лучше установить цену на жизнь. Скотт Александр объяснит это лучше, чем я.

Но не путайте стоимость жизни с ценностью жизни. Как я вижу, такое происходит достаточно часто. Чтобы исправить эту ошибку, я собираюсь рассказать небольшую историю.

* * *

Когда-то давно существовала деревня мирных бессмертных людей. Они не старели после своего рассвета, но могли умереть от голода или повреждений. И, возможно, потому, что их жизнь была такой длинной и наполненной, все они высоко ценили друг друга и жили в мире. И действительно, не было такого расстояния, которое не могли бы преодолеть эти люди, чтобы спасти даже одного из своих товарищей от нежеланной смерти.

По крайней мере, так было до появления дракона.

Я уверен, вы знаете, что драконы желают получить от людей две вещи: золото и плоть. И этот дракон, горе для сельских жителей, был воистину мощным – он был практически непобедим, и по-настоящему коварен. Дракон, легко способный убить всю деревню в один миг, дал им мрачный ультиматум:

Каждый человек в этой деревне должен ежегодно платить налог золотом, количество которого равно возрасту этого человека. Всякий, кто не сможет заплатить, будет съеден.

Жители деревни умоляли, стоя на коленях, рыдали и приходили в ярость, но дракон оставался непреклонен. Он просто показал им несколько скал, в которых, вероятно, можно было сделать хорошие золотые прииски и приказал им приступать к работе.

Люди старались изо всех сил. И они действительно все сделали на хорошем уровне. Пусть они не были шахтёрами, но были способными учениками.

Сельчане работали не покладая рук, откидывая камни в сторону, копали землю голыми руками, разбивая пальцы до крови, мало охотились и старались как можно меньше заниматься собирательством, и даже перестали заботиться о своих жилищах — но все равно, не могли отдать налог дракону. В конце года дракон вернулся и забрал все золото, которое у них было, и десять самых старых сельских жителей (отдав старейшин, удалось спасти большинство жизней).

Обезумев, жители деревни решили попробовать снова. Они подвергли себя ещё большим аскезам в попытке успеть к назначенному сроку, становясь все более изнурёнными. Их глаза поблекли, кожа болезненно пожелтела, а руки стали безжизненными. Они слишком сильно жертвовали собой, работая в шахтах. И в следующий раз, когда пришёл дракон, он забрал все золото и пятьдесят жителей.

Их стратегия не работала.

Но эти жители были рождены людьми, а изобретательность – одно из главных человеческих качеств. Таким образом, на третий год выжившие пришли к горькому осознанию своего положения и снова начали охотиться, заниматься собирательством, становились сильнее и здоровее, и признали, что им придётся заботиться о себе, прежде, чем они смогут позаботиться о своих близких. Они приступили к созданию кирок и лопат, понимая, что голыми руками справиться не удастся.

В конце третьего года дракон снова забрал все золото и сотню жителей, поскольку их стратегия еще не начала приносить плоды.

Но в конце четвёртого года дракон забрал всего двоих.

Вскоре после этого дракон (восхищаясь их прогрессом) сообщил жителям деревни, что теперь налог будет расти быстрее, экспоненциально их возрасту.

На этот раз жители деревни лишь только кивнули и преобразовали свою горячую ярость в холодную решимость.

Прошло много лет с тех пор, как дракон впервые пришёл в селение. На самом деле, все сильно изменилось: деревня выросла до города, а город вырос до цивилизации.

Средний возраст населения стал ниже. Старейшины стали мыслить продуктивнее и поняли, как получать больше золота в час, но стало приходить время, когда эта повышенная производительность больше не стоила затрат на жизнь. И когда это время настало, старейшины были готовы к своей судьбе, потому что понимали, что их жизнь не стоила двух других.

На самом деле жёсткие компромиссы, подобные этим, стали обычным явлением. Жители деревни давно открыли экономику и специализацию, и теперь большинство из них не работало в шахтах. Некоторые из них стали проводить время за готовкой или выращиванием растений для пропитания, другие стали тратить время на совершенствование жилищ, появились и мастера, занимающиеся разработкой новых инструментов и механизмов, которые бы поспевали за грабительским налогом дракона. Удивительно, но есть и те, кто посвятил свою жизнь искусству и развлечениям, ведь жители осознали важность поддержания мотивации и морального духа.

(А тем временем, некоторые жители, глубоко под землёй, подальше от любопытных глаз дракона, разрабатывали оружие.)

Таким образом, вы можете обнаружить в этой цивилизации людей, которые посвящают свою жизнь не добыче золота, а написанию книг, но, если вы посмотрите внимательно, то заметите, что это происходит только тогда, когда писатель может спасти больше жизней за счёт роста производительности и морали, чем за счёт своего труда в шахте. И потому эта цивилизация, одержимая сохранением жизни тому количеству людей, скольких может спасти ежегодно, все ещё создаёт книги, пьесы и фильмы.

Это означает, что в настоящее время вы можете рассчитать точную цену спасения каждой жизни. И оказывается, что одна жизнь равна примерно той же цене, что и тысяча билетов в кино.

Давайте послушаем, как два гражданина этого драконьего мира, Элис и Боб, говорят о ценности жизни:

Элис: Ты понимаешь, что истинная цена жизни эквивалентна примерно тысяче просмотров последнего блокбастера?

Боб: Глупости! Жизнь стоит гораздо больше тысячи часов просмотра фильмов! Жизнь практически бесценна! Невозможно поставить на неё цену!

Элис: Что за пустое негодование? Если ты не используешь ценник для человеческой жизни, тогда ты будешь неразумно распределять деньги для ее спасения. Но если ты хочешь сохранить жизнь как можно большему количеству людей, имея ограниченную сумму денег, тогда необходимо назначить цену!

Боб: Но тысяча просмотров фильмов просто не стоит того же, что и жизнь! Если бы я выбирал между тем, чтобы тысяча человек посмотрели блокбастер и жизнью моей матери, я бы в любом случае выбрал мать!

Элис: Да, но такое утверждение непоследовательно. Рынок в этом плане мыслит эффективнее, и он утверждает, что жизнь равна примерно тысяче просмотров последнего блокбастера. Жизнь твоей матери не стоит больше, чем сумма всего удовольствия, которое испытывает тысяча человек, наблюдая за последним блокбастером! Просто тысяча часов просмотра фильмов и жизнь вашей матери стоят одинаково, и если ты этого не понимаешь, то это твоя проблема!

* * *

Вы заметили ошибку в этих утверждениях?

Элис и Боб правы и неправы одновременно.

Элис права в том, что жители должны расценивать жизнь эквивалентно просмотру нескольких тысяч часов фильмов. Учитывая, что жители все ещё пытаются спасать ближних, тысячи человек ходят в кино, и рост мотивации и морального духа приводит их к тому, что они образуют больше золота, достаточного для спасения ещё большего количества жизней. Если бы вы не дали людям сходить в кино и вместо этого отдали бы деньги на производство золота, тогда в целом золота будет произведено меньше и больше людей умрёт. Боб должен обменять одну жизнь на две тысячи часов, если он хочет спасти максимально много жизней.

Но Боб прав в том, что ценность жизни гораздо выше двух тысяч часов просмотра фильмов!

Элис утверждает, что сумма двух тысяч часов просмотра кино равна фундаментальной стоимости жизни. Рынок диктует свои условия, и вы не должны возражать, если хотите спасти жизни.

Но на самом деле, сама причина, по которой Боб должен относиться к тысячам просмотров фильма эквивалентно стоимости жизни, состоит в том, что эти просмотры приводят к усилению морального духа, что приводит к спасению более чем одной жизни. Но сам этот факт не приравнивает ценность жизни к удовольствию зрителей.

Элис забыла то, что жители страдают от дракона.

Если бы не дракон, эти жители зашли бы ещё дальше, чтобы спасти друг друга от смерти. Это могло быть какое-то расстояние, на которое они не могут отправиться теперь, или какая-то жертва, на которую они не могут пойти, горе, печаль и снижение качества жизни у остальных жителей деревни ради спасения жизни друга. Но, если бы дракона не было, стоимость жизни была бы намного выше, чем две тысячи часов просмотра кино.

* * *

Достаточно аналогий. Посмотрим на нашу вселенную. Наша экономика неэффективна – нужно несколько миллионов долларов, чтобы спасти жизнь в развитой стране и несколько тысяч долларов, чтобы спасти жизнь в странах третьего мира (там, где «спасать жизнь» на самом деле означает «немного отодвинуть смерть», как в тёмные времена). Кроме того, наша экономика не максимизируется для жизни: люди склонны к разным предубеждениям, в том числе к пренебрежению масштабом, которые ослабляют их способность заботиться о других людях, умирающих против своей воли. Кроме того, важно заботиться не только о жизни, которую мы спасаем, но и о жизни, которой мы живём.

Несмотря на все это, мы не так уж сильно отличаемся от этих деревенских жителей, которые сделали бы все зависящее от них, чтобы спасти друг друга, если это возможно.

Я не знаю, что будет в будущем. Я не знаю, как мы перестанем спасать жизни, жертвуя улучшением качества уровня жизни нынешних поколений и сотворением новых жизней, когда мы пройдём этот период дефицита. Но я могу сказать вам следующее: быть может, наступит тот день, когда человечество разорвёт тысячу солнц, чтобы предотвратить лишь одну несвоевременную кончину.

Такова ценность жизни.

* * *

Вы по-прежнему должны ставить ценник на жизнь, и этот ценник должен быть где-то между несколькими тысячами долларов и несколькими миллионами долларов.

Представьте себе кнопку, которая при нажатии выбирает случайное число от 1 до миллиона. Если число равно 1 – умирает случайно выбранный человек. Сколько вам должны будут заплатить за нажатие этой кнопки?

Многие люди реагируют с отвращением, заявляя, что не будут нажимать такую кнопку любой ценой. Они говорят, что ценность жизни почти невозможно представить.

И такое утверждение верно!

Но когда кто-то предлагает вам десять долларов за нажатие этой кнопки, нажмёте её. Нажатие на неё должно тревожить вас не больше, чем вождение автомобиля в течение года (что, если математически подсчитать, похоже на нажатие кнопки, которая может убить одного случайного человека из десяти тысяч каждый год, в обмен на удобство вождения автомобиля [1], [2]). Если вы хотите сохранить больше жизней, вы можете нажать эту кнопку за 10 долларов и вложить деньги в спасение жизней.

Но не путайте стоимость жизни с ценностью жизни!

В некоторых частях нашего­­­ мира нужно всего лишь несколько тысяч долларов, чтобы спасти жизнь. Если вы действуете так, как если бы цена на жизнь была выше нескольких тысяч долларов, то вы фактически отказываетесь от миллиона долларов за нажатие кнопки, или платите миллиард, чтобы спасти лишь одну жизнь, тогда как можно было сделать многие вещи, которые могли бы спасти больше жизней. Если вы хотите спасти большее количество людей, вы должны обозначить цену на жизнь в соответствии с фактической стоимостью сохранения жизни.

Но не нужно путать текущие затраты на спасение жизни с фундаментальной ценностью жизни.

Здесь есть разница. Существует разрыв между тем, сколько действительно стоит жизнь, и ценой, которую вы должны назначить. Если вы утверждаете, что разницы нет, ваше убеждение ошибочно. Этот разрыв существует, потому что наша деревня страдает от дракона.

Этот разрыв является мерилом разницы между вселенной, которая есть сейчас, и вселенной, которая должна быть.

Эта разница в цене, разница между несколькими тысячами долларов и несколькими тысячами солнц, является мерилом того, насколько все плохо.

* * *

Большинство людей убеждены, что они должны отказаться от нажатия кнопки любой ценой, потому что жизнь практически бесценна. И вы можете взять и рассказать этим людям, что для того, чтобы сохранить как можно больше жизней людям, имеющим ограниченную сумму денег, они должны обозначить цену на жизнь. В этот момент, большинство людей отреагируют одним из двух способов.

Часть людей прислушается к логике и отвергнет свою интуицию. Они увидят, что для спасения большего количества жизней они должны использовать ценник. Звучит отвратительно — сказать, что удовольствие, испытываемое несколькими миллионами человек, пьющих содовую, эквивалентно ценности жизни, но именно такие мысли приводят к тому, что люди начинают думать, что жизнь неоценима, но это является смертельно опасным заблуждением. И поэтому, желая спасти как можно больше людей на деньги, выделенные для спасения жизней, стискивая зубы, они делают вывод, что жизнь никогда столько не стоила.

Другие отвергают логику и продолжают утверждать, что жизнь бесценна, а затем пытаются аргументировать свои утверждения какой-то странной моралью, в которой сохранение как можно большего количества жизней доступными деньгами — это не то, что нужно делать, из-за каких-то запутанных причин.

Но здесь есть и третий вариант! Ведь все эти люди позабыли о драконе!

Можно жить во вселенной, где и так происходит: во-первых, жизнь почти бесценна, и во-вторых, люди постоянно погибают против своей воли способами, которые можно предотвратить, используя относительно небольшие суммы денег.

Вселенная несправедлива! Нажатие кнопки за 10 долларов — это способ спасти множество жизней, и этот факт угнетает. Жизнь практически бесценна, но мы должны относиться к ней так, словно её цена всего несколько тысяч долларов.

Этот разрыв между стоимостью и ценностью неприемлем, но физика не была написана в соответствии с тем, что было бы для нас приемлемо. Мы живём в холодной, безразличной вселенной; вселенной, находящейся вне досягаемости Бога.

Однажды, мы сможем победить драконов, которые нас терзают. Однажды мы, подобно этим сельским жителям в их ранние годы, сможем позволить себе такую роскошь — отправиться в любой уголок мира, чтобы ни один разум не был обречён на забвение. Если мы когда-нибудь это сделаем, то ценность каждой жизни будет измеряться не долларами, а звёздами.

Тогда это будет истинной ценностью жизни, как мы и чувствуем это сейчас.

Поэтому, когда кто-то предлагает 10 долларов, чтобы нажать эту кнопку, нажмите её. Это лучшая стратегия, доступная вам; это единственный способ спасти как можно больше людей. Но никогда не забывайте, что такая действительность — это ужасная трагедия для нас.

Никогда не забывайте о разнице между тем, как мало нужно для жизни и сколько действительно стоит жизнь. Ибо эта разница — это количество тьмы в этой вселенной, это показатель того, как далеко мы зашли.

* * *

Я не хочу превращать это в проповедь. Но некоторые из вас, увидев великую пропасть между стоимостью и ценностью жизни впервые, могут решить, что эту разницу стоит сравнять и что наши драконы достойны смерти. И некоторым из вас может быть интересно, что же делать дальше? Тогда эта последняя часть для вас.

Знайте, что есть те, кто сражается.

Есть те из нас, кто трудятся в шахтах, чтобы отдавать налог дракону. Но есть и те, кто готовятся ко дню, когда мы столкнёмся в битве с драконом — и оружие, которое мы должны будем использовать, будет по-настоящему мощным, но, возможно, прицелиться будет трудно.

И это битва, к которой вы можете присоединиться. Для некоторых, бороться — значит присоединиться к работе над глобальной проблемой. Но для большинства, бороться означает установить для жизни низкий ценник, а затем чтить её — покупая жизнь там, где она дешевле; жертвовать на эффективную благотворительность. Помните, что мужество — это делать правильные вещи, даже если вам страшно, а забота — это делать правильные вещи, даже если это не вызывает у вас тёплых чувств и энтузиазма.

Если это битва, к которой вы захотите присоединиться, то я советую вам сохранить в своей памяти первый урок, выученный сельскими жителями: сначала вы должны позаботиться о себе, прежде чем заботиться о других. Не становитесь бедняками, чтобы бороться с этой вселенской тьмой. Любая сумма денег или усилия, которые вы можете приложить к спасению жизней, будут потрачены не зря. Обещание жертвовать 10% вашего дохода эффективным образом является трудным достижением, достойным большой похвалы.

И если вы соберётесь быть с нами в этой борьбе, я буду приветствовать вас, вне зависимости от причины — но я бы предпочёл, чтобы вы присоединились к нам, наполненные пылким гневом или холодной решимостью, а не чувством вины и позором.

О, ведь не со Смертью мы сражались!
Мы вместе с ней смеялись, порой объединяясь.
И ни один солдат не смел перечить её власти.
Мы хохотали, зная, что найдутся лучше люди
Грядут великие сраженья; каждый горд будет
За жизни бой вести со Смертью; но не под флагом, не с людьми.
(Последняя строфа поэмы «Следующая война» Уилфреда Оуэна)

Примечание редактора сайта: Исходно этот перевод выполнили Юлия Литовченко и Саша Бережной для сайта Эффективного альтруизма.

Перевод: 
Юлия Литовченко, Саша Бережной
Оцените качество перевода: 
Средняя оценка: 4.6 (15 votes)

Филателист

Нейт Соарес

Однажды группа наивных философов встретила робота, который кое-что собирал. Если быть точным, он собирал марки. Когда роботу предлагали на выбор различные предметы, он всегда выбирал то, что увеличивало количество марок в его коробке. Он не обращал внимание на кубики, бутылочные крышки, алюминиевые банки, палки, веточки и так далее, за исключением тех случаев, когда ожидал, что в ближайшее время он сможет обменять их на марки. Поэтому философы назвали робота филателистом.

Через некоторое время философы узнали о компьютерах и сделали вывод, что робот – всего лишь программа, которую выполняет процессор у него в голове. Философы не смогли разобраться в программе, но они выяснили, что у робота есть несколько датчиков – в глазах и внутри коробки, и с их помощью робот моделирует реальность.

Один из философов задумался и сказал:
– Минуточку, эта штука вовсе не филателист. Если робот только моделирует мир в голове, то его модель не может как-то оптимизировать состояние его реальной коробки – у модели нет к ней доступа. Робот может действовать, только исходя из своей внутренней модели мира.

— Да, верно, — ответил другой философ. — Мы оказали ему плохую услугу, назвав его филателистом. Очевидно, у робота нет доступа к настоящему миру, он ведь видит реальность только благодаря сенсорам и строит в голове модель. Поэтому он никак не может увеличивать число марок в своей коробке, ведь коробка находится за пределами его головы. Наверняка он увеличивает только свой внутренний счётчик марок.

Эта мысль наивным философам понравилась, и они перестали размышлять об устройстве филателиста.

В этих размышлениях есть ошибки. Во-первых, философы допустили «ошибку гомункулуса». У программы не может быть «прямого доступа» к количеству марок в коробке (что бы это ни означало), но точно так же у нее нет «прямого доступа» ко внутреннему счётчику марок.

Нет никакого гомункулуса, который захватил бы робота и властвовал бы внутри него, не имея доступа наружу. Не может быть программы, у которой есть «настоящий» доступ к регистру, где записано число марок, и «ненастоящий» доступ к коробке с марками. Действия, которые приведут к тому, что в коробке окажется много марок, - это те же самые действия, которые приведут к тому, что в регистре счётчика марок окажутся большие числа. Нет подвластного гомункулусу магического круга, в который попадает память, но не коробка. У программы так же мало доступа к «настоящему процессору», как и к «настоящим маркам».

Это подводит нас ко второй ошибке в размышлениях этих философов: попытке объяснить выбор «выбиранием». Нельзя объяснять, почему стена красная, заявляя: «она сделана из красных атомов». Это не объясняет красноту по-настоящему. Объяснение красноты не должно содержать отсылки к красному. Однако у людей есть дурная привычка объяснять запутанные явления с помощью их самих. Почему живая плоть отзывается на команды мозга, а мертвая – нет? Потому что в живой материи есть «жизненная сила». Наши наивные философы совершили ту же ошибку. «Как вообще робот может выбирать исходы, в результате которых вырастет число марок в коробке? А, должно быть, он выбирает те исходы, при которых увеличивается счётчик марок!» Говоря так, они объясняют причину выбора на уровне самого выбора, а не на более базовом уровне.

«Робот пытается добавлять марки в коробку потому, что он пытается увеличивать значение счётчика марок» — это не объяснение. Объяснение должно выглядеть примерно так: программа, запущенная на компьютере робота, использует данные сенсоров для построения модели реальности. Эта модель содержит количество марок в коробке. Затем программа перебирает некоторое количество возможных действий, рассчитывая, сколько марок принесет каждое из них. Выполняется то действие, которое, по расчетам, принесет в коробку наибольшее число марок.

Но мы можем рассмотреть и другое объяснение: Программа внутри робота моделирует реальность, предсказывает, как поведёт себя мир в результате каждого из действий, затем предсказывает, какой результат сильнее всего повлияет на конкретный участок во внутренней памяти, и после этого выбирает действие, которое сильнее всего увеличивает внутренний счётчик. Возможно и это! Можно построить и такую машину. Это гораздо более сложная версия, и поэтому она намного менее вероятна, но хотя бы с формальной точки зрения это корректное объяснение.

И, к счастью для нас, это объяснение поддается проверке: мы можем посмотреть, что именно делает робот, если у него появляется возможность напрямую увеличить значение счётчика марок без увеличения реального количества марок. Посмотрим, как с этим справятся наши наивные философы…

— Эй, смотрите. Я обнаружил в памяти робота счётчик марок. Что там записано, я прочесть не могу, но я нашел способ увеличивать значение в нем. И я предложил роботу выбор: либо он получает одну марку, либо он марок не получает, но я увеличиваю счётчик на десять. Как вы думаете, что он выбрал?

— Конечно, второе! — сразу же ответил один из философов.

— Не-а, он выбрал первое.

— Хм! Значит, мрадость от отказа подделывать счётчик стоит больше, чем 10 марок!

— Э-э… Что такое «мрадость»?

— Мрадость – это внутренняя оценка роботом того, насколько выбор конкретного действия увеличит его счётчик марок.

— Чушь какая-то. Я убежден, что он просто собирает марки.

— Не может такого быть! Программа не знает, сколько у нее на самом деле марок – это ведь свойство внешней реальности. Робот может действовать, только исходя из внутренних значений в его голове.

— Давай предложим роботу вот какой выбор: либо даем ему одну марку, либо увеличим счётчик на $Ackerman(g_{64}, g_{64})$… О, смотри, он выбрал марку.

— Ого, это огромное число. Такой результат наверняка означает, что мрадость при отказе от обмана счётчика пропорциональна количеству мрадости, от которой он отказывается. Робот сейчас, должно быть, очень счастлив: ты только что сделал ему предложение, от которого трудно отказаться, и тем самым подарил ему кучу мрадости.

— О, смотри, я нашел способ накрутить счётчик до максимального предела. Итак, я даю роботу выбор между одной маркой и установкой счётчика на преде… Ого, он выбрал марку.

— Невероятно! Значит, там просто обязан быть еще один счётчик, для учета микромрадости — количества мрадости, которое робот получает сразу же после выбора, раньше, чем ты мог бы увеличить его основной счётчик! О, да, это единственно возможное объяснение, почему он мог отказаться от накрутки счётчика до максимума. Наверняка он делает выбор на основе ожидаемой от каждого конкретного действия моментальной микромрадости. Отличная научная работа, дорогой друг, мы сегодня много узнали!

Нет! Всё не так! Давайте проясним: робот предсказывает, к каким исходам приведут те или иные его действия, сортирует их, и выбирает действие, которое ведёт к лучшим исходам. Выбор оценивается по результатам действий. Поступки как таковые ничего не стоят.

Вы понимаете, почему наивные философы запутались? Они вообразили агента, который рассматривает действия как исходы, и делает выбор, основываясь на том, какое действие предпочтительней, словно действия являются самоцелью.

Нельзя объяснять, почему агент выбрал некое действие, заявляя, что он сортирует действия, исходя из того, насколько они хороши. Это ставит перед нами вопрос, какие действия являются хорошими!

Для описываемого агента «хорошими» являются те действия, которые ведут к исходам, в которых у него много марок в коробке. Действия оцениваются, исходя из результатов, у них нет какой-то внутренней ценности.

Программа робота не включает реальность, но ей это и не нужно. Она все равно воздействует на реальность. Если модель мира верно отражает мир, и робот выбирает действия, которые, согласно модели, приведут к получению марок, то он будет на самом деле накапливать марки.

Робот не стремится к такому будущему, где он будет чаще совершать поступки, приносящие много микромрадости. Он выбирает будущие миры, в которых ожидает получить больше марок.

А теперь я расскажу другую историю.

Однажды группа наивных философов встретила группу людей. Люди, судя по всему, стремились выбирать действия, которые приносят им удовольствие. Иногда они ели вкусную еду, иногда занимались сексом, иногда зарабатывали деньги, чтобы потратить их на приятные вещи потом, но всегда (в первые несколько недель) они выбирали действия, которые вели к удовольствию.

Но вдруг один человек пожертвовал много денег на благотворительность.

— Как такое может быть? — воскликнули философы. — Люди же максимизируют удовольствие! — Несколько минут они думали, а затем сказали: — Должно быть, удовольствие тратить на благотворительность превышает радость, которую можно получить, просто потратив эти деньги.

Тут вдруг мать бросилась под колеса автомобиля, чтобы спасти своего ребенка.

Наивные философы остолбенели, но затем один из них сказал:
— Я понял! Мгновенная радость от такого поступка наверняка перевешивает…

Тебе будут говорить: люди всегда и везде делают только то, что дает им удовольствие. Тебе будут говорить: никакого альтруизма не существует, люди всегда делают то, что они хотят.

Тебе будут говорить: раз мы заперты внутри своего тела, то и заботиться нужно только о том, что есть в нас, о своих желаниях и стремлениях.

Но я скажу тебе: на самом деле ты можешь заботиться о мире вокруг тебя.

И ты можешь его менять. Если захочешь.

Перевод: 
Ефремов Федор, Alaric
Оцените качество перевода: 
Средняя оценка: 4 (8 votes)

Спать хорошо

Нейт Соарес

1

В предыдущих постах я рассказывал о лайфхаках психологической продуктивности, у меня есть еще пара-тройка идей на следующую неделю. Однако большая часть моей продуктивности связана не с психологией, а с кучей определённых внешних факторов.

Например, я довольно хорошо питаюсь, упражняюсь хотя бы по минимуму и высыпаюсь. С учётом того, сколько людей мучаются с этими тремя вещами (а с ними могут быть огромные сложности!), большую часть моей продуктивности можно отнести исключительно к этим факторам.

Не могу рассказать о питании и упражнениях ничего такого, о чем вы еще не слышали, однако могу дать несколько советов, как высыпаться. В основном потому, что я экспериментировал со сном, будучи подростком. Этот пост - необработанный лог моих мыслей об изученном, он может пригодиться людям, не способным регулярно высыпаться.

2

Начну с предостережений. Мои советы могут быть полезны для людей, которые обычно высыпаются, но потом вдруг вынуждены бодрствовать допоздна (по тем или иным причинам), получая в итоге сбитый режим сна на несколько дней подряд. Мои советы помогают мне избежать превращения в зомби после небольших сбоев в режиме сна. Я не жду, что что-либо из описанного тут поможет при бессоннице или других расстройствах сна.

Также стоит заметить, что возможно я могу стабильно высыпаться из-за биологического везения и/или других факторов, таких как диета, упражнения и управление стрессом. Я молод и физически здоров, мне часто говорят, что люди теряют гибкость режима сна с возрастом.

В общем, эти советы сработали для меня, но я только один человек. Приведены отрывки моей жизни, а не общие факты. Люди разные. Отнеситесь к моим советам со здоровой долей скептицизма.

И последнее. Мой опыт гораздо проще перенять людям с гибким графиком. Многие из советов не подойдут живущим по жесткому расписанию. Увы.

3

С учетом вышесказанного, у меня, кажется, есть опыт и информация, которой многим не хватает. Я пробовал полифазный сон, будучи подростком, у меня есть некоторые успехи с трехфазными и бифазными циклами сна. В конце концов, я забросил из-за неудобств, но вынес несколько идей, помогающих мне и по сей день: по большому счёту я научился эффективно спать днём и получил хороший опыт сна в быстрой фазе - REM (rapid eye movement, фаза сна «с быстрыми движениями глаз»).

В тот же период я научился осознанным сновидениям. В настоящее время я не ухожу в осознанные сновидения часто и целенаправленно, хотя добивался некоторых успехов. Я научился нескольким трюкам, которыми пользуюсь и сейчас: осознанные сновидения помогли мне лучше прочувствовать быструю фазу сна и эффективнее спать в дневные часы.

4

Пришло время для дампа моих мыслей. Будет несколько сумбурно, у меня мало времени на этой неделе.

Высыпайтесь. Спите нужное количество времени каждый день. Очевидный совет для старающихся высыпаться, но часто очевидные советы важно помнить. Большинство людей скажут, что, чтобы этого добиться, нужен стабильный режим: каждой ночью засыпать в одно то же время, каждое утро просыпаться в одно и то же время. Думаю, такая рекомендация верна только наполовину:

Просыпайтесь в одно и то же время каждое утро. Если вы удерживаете режим пробуждения, остальное приложится. Я советую связать режим пробуждения с восходом солнца, а не с конкретной минутой на будильнике, небольшие смещения неизбежны. Цель - не достичь идеального постоянства, цель - развить привычки по части пробуждения. Благодаря ним ваше тело будет автоматически просыпаться примерно в одно и то же время каждое утро, не важно, сколько вы перед этим спали. Возникнут следующие положительные эффекты: отпадёт потребность в будильнике, вы сможете автоматически просыпаться даже в очень необычных условиях, и т.д. Я также обнаружил, что меньше впадаю в состояние полузабытья при пробуждении, если встаю примерно в одно и то же время (с точностью до часа, не до минут). То есть если я провёл последние две недели, засыпая в полночь и просыпаясь в 8:00, пробуксовав один день и уйдя спать под утро в 4, я продолжу просыпаться в 8:00 и чувствовать себя хорошо. Как это совмещается с советом «высыпаться»? Я к этому ещё вернусь, сначала я хочу рассказать обстоятельнее о пробуждении. Фактически, как вы увидите, большая часть моих советов сводится к «выяснить, как правильно проснуться».

Просыпайтесь на свет. Я обнаружил, что просыпаться гораздо проще на солнечный свет. А значит, мой режим пробуждения не зафиксирован в течение года, а движется вслед за солнцем (и зависит от перехода на летнее время). Я предпочитаю никогда не заставлять себя просыпаться, вместо этого стараюсь поместить себя в такую ситуацию, чтобы мое тело пришло к желанию проснуться, когда надо, естественным путем. Если ваши окна не выходят на восток или у вас облачный климат, вам может помочь световой будильник. У меня есть один, но он даже близко не так эффективен (по моему опыту) как настоящий рассвет. (Также замечу, что в хмурые дни я склонен спать немного дольше, хотя этот эффект уменьшается, если хмурые дни бывают редко и мой режим пробуждения хорошо поддерживался).

Не сдвигайте пробуждение после глубокой ночи. «Постой, как достаточный сон увязывается с фиксированным режимом пробуждения?» - можете спросить вы. «Если я не спал до глубокой ночи, что теперь?». Моя общая стратегия - «восполнять потерю сна дневным сном». Я обнаружил, что если просыпаюсь примерно в одно время каждое утро, то даже после очень позднего засыпания, я продолжу просыпаться в то же время. Возможно, мне удалось поспать ночью только 2-4 часа, но привычный режим пробуждения в сочетании со световым будильником приводит моё тело в привычный «режим утреннего бодрствования», и я не ощущаю эффектов нехватки сна. (Вполне возможно, что эта способность развилась, когда я пробовал полифазный сон, но я рассчитываю, что она по большей части обусловлена привычкой к пробуждению в одно и то же время при естественном свете, то есть повторяема). Проигнорируйте установку, что вы должны быть очень заспанным после трехчасового сна. По моему опыту, такое ожидание вредит. Проснитесь, примите душ, позавтракайте. Когда это случается со мной, я обычно просыпаюсь довольно бодрым, иногда даже более бодрым, чем обычно. Конечно, не все бывает радужно: когда у меня большой дефицит сна, я склонен проваливаться в сон вскоре после обеда (примерно в 12-14). Тут я и восполняю потерянный сон: не за счет позднего пробуждения, а продолжая бодрствовать до полного истощения и устраивая дневной непродолжительный сон.

Иногда вы просто хотите продолжить спать утром. Это хорошо, спите. Просто вам не обязательно спать дольше, если вы поздно легли. Легко проснуться в обычное время, засидевшись перед этим допоздна, и решить: «эй, я не выспался, мне лучше продолжить спать», несмотря на нормальное физическое состояние. Слушайте своё тело! Оно может быть способно прекрасно проработать полдня даже при малом количестве сна, при условии, что вы можете поспать после обеда.

Учитесь дневной сиесте. «Но я не могу спать днём», протестуете вы. «Дневной сон делает меня еще более сонным и уставшим». Да, я знаю это ощущение. Возможность получать хороший дневной сон не приходит просто так. Но этому можно научиться (по крайней мере, по моему опыту), так что настройтесь на развитие! У меня есть несколько советов, как научиться кратковременному сну, по ним я пройдусь ниже, но конечно, это советы должны идти рука об руку с принципом «просыпайтесь правильно».

Станьте способным к короткому дневному сну. Первый шаг к дневному сну - возможность вздремнуть, когда вы готовы падать от усталости. Да, я знаю, большинство из вас не может этого сделать, потому что ваш режим не настолько гибок. Мои соболезнования. Но многие из вас могут обнаружить, что словить дневной сон проще, чем вы думаете. Я обнаружил, что даже при работе на гос.контрактах, фразу «черт, я валюсь с ног, мне нужно пойти вздремнуть» принимают на удивление хорошо. Конечно, сложно провернуть такое в сфере обслуживания, но в большинстве других сфер вы можете быть удивлены, насколько ваш босс/менеджер/кто-то еще нормально относится ко сну на работе.

(Конечно, все зависит от того, как вы это преподнесете: если вы выдерживаете образ ответственного взрослого человека, заботящегося о своей продуктивности, вероятность, что оно сработает, выше. Вероятность, что все получится, также повышается, если вы нуждаетесь в дневном сне только изредка).

Практикуйте дневной сон. Большинство людей плохи в дневном сне поначалу. Когда у кого-то плохо получается вздремнуть, дневной сон плохо восполняет дефицит. Однако, по моему опыту, обучение эффективному дневному сну - очень полезный скилл (повысил гибкость моего сна в разы). К сожалению, я научился эффективному сну сложным путем: я потратил несколько недель, лишая свое тело любого сна, кроме кратковременного, и скажу вам вот что: мой мозг освоил этот трюк очень быстро. Ниже приведено несколько советов для тех, кто хочет научиться краткому сну менее бесчеловечными путями, но полагаю, наилучший путь - просто практиковаться: перейдите на бифазный сон на несколько недель, учтите, что в первые дни дневной сон будет неэффективен, и бьюсь об заклад, довольно скоро вы научитесь спать как настоящий профи. По крайней мере, для меня обучение краткому сну оказалось достойной инвестицией.

Хорошо прочувствуйте быструю фазу сна. Люди могут рассказать множество вещей о сне, какие фазы сна важны, а какие - нет. Лозунг полифазного сна - «необходимы только глубокий сон и быстрая фаза сна», однако многие люди проводят большую часть времени в фазе неглубокого легкого сна. Не уверен, в этом ли проблема, но даже если в этом, возможно, ряд тонкостей сильно приукрашен. Однако могу сказать, что когда я научился краткому сну, внутренние ощущения при засыпании и пробуждении значительно изменились. Выдвину предположение, что это связано с улучшением способности замечать циклы быстрого сна и момент переключения в данную стадию. Но есть у меня и эвристика «анти-особенной снежинки», говорящая, что протестируй вы мои циклы сна, не нашли бы ничего особенного. В общем, примите следующие советы со здоровой долей скептицизма.

Переход напрямую в быструю фазу сна. При первых попытках перейти к полифазному сну, я спал неэффективно. На начальных стадиях я валялся по 30 минут и не происходило ничего. К следующим попыткам я ощущал больший дефицит сна, и засыпал сразу, как коснусь матраса, - только чтобы быть разбуженным через, казалось, несколько секунд, еще более разбитым и хмурым: я проваливался в бессознательное состояние, а потом меня из него выдергивало в еще более усталое «бодрствование». Когда кратковременный сон заработал, эффект полностью изменился: я ложился, ускользая прямо в сон, получал довольно яркие сновидения, а после них пробуждался обновленным и собранным (и часто относился к реальности несколько подозрительно в те несколько секунд, когда таяло сновидение). Предположу, что во время краткого дневного сна мое тело научилось входить в быстрый сон напрямую, и тогда дневной сон стал эффективен. Если вы пытаетесь учиться самостоятельно, проследите за данным феноменом, это именно то (по крайней мере, по моему опыту), за чем вы охотитесь. Следующий совет может помочь ускорить процесс:

Испытайте гипнагогию. Гипнагогия - «сонные галлюцинации», которые иногда случаются во время пробуждения. «Галлюцинации» - не совсем подходящее слово, этот опыт (для меня) скорее из области бессвязного мышления и пограничного состояния между сознательным и бессознательным. По моему опыту, эффективный дневной сон почти всегда начинается с гипнагогии; полагаю, она сигнализирует о способности уходить напрямую в быстрый сон. К счастью, по моему опыту, если я не испытываю гипнагогию перед засыпанием, её можно вызвать. Существует такой мысленный переход при засыпании, ощущающийся как «эй, постой, не засыпай пока»: не чувство полной осознанности, но то чувство, как когда пытаешься не уснуть на очень скучной паре. Если я поддерживаю состояние «попыток остаться бодрствующим при засыпании» достаточно долго, обычно я прихожу к гипнагогии.

Опирайтесь на сновидения. Думаю, процесс прямого ухода в быструю фазу сна был ускорен для меня за счет параллельного обучения осознанным сновидениям. Получив гипнагогию, вы можете как бы «опереться на сновидение». Многим людям сложно осознанно распознать гипнагогию (не удивительно, ведь это процесс ухода из сознательного состояния). Другие, заметив гипнагогию, переключаются в «полную осознанность». (Знаете то чувство, когда вы почти уснули, но ваше колено дрогнуло, и вы резко совсем проснулись? Типа того). Оба этих явления были очень характерными для меня в период обучения вхождению в гипнагогию, но, в конце концов, я смог развить третий порыв, позволивший мне сознательно отмечать гипнагогию, не прерывая процесс засыпания; в этом состоянии я способен усиливать гипнагогию и вызывать яркие сновидения. (Со временем это начинает происходить рефлекторно, и когда бы я ни попытался вздремнуть, я автоматически ускользаю в довольно яркое сновидение). Это также оказалось довольно мощным способом войти в осознанное сновидение, и известно как «осознанное сновидение, инициированное из бодрствования» (wake induced lucid dream, WILD). Если вы хотите натренироваться опираться на сновидения, практика WILD может помочь. Даже без полной осознанности, способность напрямую переходить к ярким сновидениям связана с более эффективным коротким сном.

(Замечание: научившись этому, я порой переживал очень яркую гипнагогию, будучи уставшим, но во всех отношениях бодрствующим. Это происходит в основном когда у меня появляется новый партнер и мы общаемся все ночь: когда другие ощущают «сонную глуповатость», я начинаю переживать яркие галлюцинации похожие на сновидения, но поддерживаю при этом куда более высокий уровень осознанности, чем обычно при гипнагогии. Это происходит гораздо быстрее, чем у большинства людей, сообщающих о галлюцинациях при депривации сна, и стало происходить у меня только после практикования WILD, так что думаю, здесь есть связь. Лично я получаю от этого удовольствие, но в некоторых ситуациях оно может повредить. Вы предупреждены).

Просыпайтесь правильно. Обучение ярким сновидениям во время краткого сна значительно улучшило мои способности пробуждаться обновленным, а не разбитым. Я испытывал резкое пробуждение после (иногда во время) сновидения, а не то пробуждение, когда ты вырван из сна будильником. Я не склонен вылетать из сна на этапе какого-либо «завершения повествования», но склонен вылетать автоматически, и это почти всегда сопровождается ощущением собранности и обновленности. Это выглядит проще, если вызывать у себя более яркие сновидения (окунаясь в гипнагогию в начале короткого сна). Если вы практикуетесь в сновидениях, советую не только сразу же уходить в сновидения, но и практиковать автопробуждение. Довольно трудно объяснить, как это делается, но думаю, что пробуждение после сновидения - нарабатываемый навык. Как его наработать? Ну…

Спите днем без будильника. Есть несколько важных причин, чтобы спать без будильника. Одна - если я проснулся в неправильное время, я часто ощущаю себя разбитым и хмурым. И к несчастью, «правильное время» может быть окном в пять минут, которое сдвигается в зависимости от кучи переменных, то есть я обычно не могу настроить на него будильник. Так что я просто сплю и позволяю себе просыпаться после сновидения. Чего, как вы думаете, вы не можете себе позволить, потому что вдруг вы проспите весь день. Но в этом и заключается часть смысла, практика «проснуться в конце сновидения» задействована именно здесь.

Нет, серьезно, спите без будильника, даже когда у вас есть куча важных дел. Способ, которым вы практикуете пробуждение в конце сновидения - это прикорнуть днем, без будильника, примерно за два часа до чего-то важного. (Соблюдайте некоторую осторожность, разумеется). Цель - поместить ваше тело в такие обстоятельства, в которых оно вынуждено проснуться само, потому что ставки высоки, а страховки нет. Я обнаружил, что у моего тела есть такие способности, и многие другие люди так же выглядят способными к такому. (Если у вас были важные интервью/полеты/дела рано утром, испытывали резкое пробуждение с полной собранностью минут за 20 до будильника, ощущая панику, что вы пропустили важное?). В вашем мозге есть «железо» для естественного пробуждения, и вы можете научиться его использовать.

Суть не в том, чтобы «всегда ставить что-то важное после дневного сна», это было бы глупо. Скорее суть в том, чтобы поставить себя в такие условия, чтобы вам было действительно нужно успешно проснуться самостоятельно, а потом, сразу как проснетесь, заметить, на что был похож момент перед пробуждением. Я обнаружил, что у сна есть неотъемлемые характерные части, в которых можно проснуться естественным образом, и вполне реально поместить себя в такую ситуацию, что вы естественным образом проснетесь в нужное время. Вы можете практиковать естественное пробуждение в сценариях высокого риска, чтобы понять, как ощущается «автомонитор пробуждения», но конечная цель - всегда дремать с включенным автомонитором; вот что я использую, чтобы гарантировать свое пробуждение от дневного сна в той части цикла, когда будет ощущаться собранность вместо разбитости.

Воспринимайте вечер как довольно важное время, тогда монитор пробуждения сможет выдернуть вас из дневного сна с ощущением «о боги, надеюсь, я не проспал весь день». Но в долгосрочной перспективе цель - отделить состояние сознания «я должен проснуться» от состояния паники, чтобы вы могли засыпать днем, осознавая: вы проснетесь в правильной точке цикла, без потребности задействовать панику. Очень сложно описать это, но думаю, лучше всего практиковать попадание в ситуации, в которых вам нужно автопробуждение; отметьте черты автопробуждения несколько раз, а потом попробуйте кучу разных вещей, пока не выясните, как именно пробуждаться в точках «собранности», а не на этапах «разбитости».

Еще советы для короткого сна. Итак, тремя большими советами были: (1) практикуйте, (2) опирайтесь на сновидения, (3) научитесь просыпаться в конце сновидений. Требуется кучи практики. Несколько мелких замечаний о дневном сне:

*Вам не обязательно проходить все стадии засыпания. Часто когда я сплю днем, я не ощущаю, что полностью засыпаю. Вместо этого я ощущаю просто яркую гипнагогию на грани сновидений (но никогда полностью не теряю осознание окружающего) в течение примерно 30 минут. Это прекрасно, и по факту это часто очень освежает. Вам не нужно полностью терять осознанность для эффективного короткого сна!

*У меня естественный выход из цикла дневного сна происходит или примерно через 30 минут, или примерно через 2 часа. У вас может быть иначе. Отнеситесь нормально к короткому сну варьирующейся длины.

Просыпайтесь правильно и после основного сна. Мне было легче научиться просыпаться в правильный момент цикла днем, а не во время основного ночного сна. Однако сам скилл распространился и туда: после того, как я натренировался автопробуждению из дневного сна, я стал способен научиться автопробуждению из ночного сна.

Как это соотносится с «просыпайтесь на свет»? Выглядит реальным настроить процесс автопробуждения так, чтобы он выбрасывал вас из сна сразу же, как только вы в правильной точке цикла во время рассвета. Опять же, чтобы отпрактиковать это, рекомендую засыпать без будильника, когда утром ожидается что-то важное, чего нельзя проспать; это возможность наблюдать автопробуждение.

sleepyti.me - инструмент, созданный чтобы помочь вам проснуться в правильной части цикла. Лично я обнаружил, что моя цель «проснись и соберись» слишком мала и подвижна, чтобы надежно ловиться будильниками, но вы можете найти подобные инструменты полезными. (Возможно, это менее эффективно, но более практично, чем тренировка надежного процесса автопробуждения).

5

Это были мои основные советы. Большинство из них нацелено на правильное пробуждение: по моему опыту, фаза сна, из которой я пробуждаюсь, значительно влияет на последующее самочувствие. Вполне реально натренировать себя пробуждаться в правильной части цикла. Солнечный свет помогает.

Обучение короткому дневному сну бесценно для меня, когда нужно восполнить дефицит сна; эта способность сделала мой режим гораздо менее хрупким (а также помогла натренироваться в автопробуждении).

Лично я делал это, бросаясь в полифазный сон, принуждая мозг выяснять, как высыпаться днем действительно быстро. Я бы не советовал эту опцию как обязательную, но думаю, полезно преодолеть краткосрочный дискомфорт, чтобы выяснить, как получать пользу от дневного сна. Возможно, вам стоит уйти в бифазный сон на некоторое время.

(Учтите, разумеется, что это может Просто Не Работать Для Вас. Вспомните предостережения насчет диеты, здоровья, везения и т.д. Но сам факт неумения эффективно поспать днем не представляет собой значительного свидетельства, что вы не научитесь, если вы ещё не перепробовали всё. Возможно, стоит попробовать. Просто осознавайте, что дневной сон может быть говяным в первые недели практики).

Теперь, когда я способен эффективно спать днём, мой режим сна стал куда гибче. Мне помогает фиксированность утреннего пробуждения: могу засыпать, когда захочу, восполнять дефицит сна днём, поддерживая при этом определённое постоянство и ритмичность графика за счёт утра. (Нахожу ритмичность важной, когда речь о том, чтобы высыпаться).

Ритм облегчает мне экспериментирование с режимом сна. Допустим, пробуждение зафиксировано в районе 8:30 (с учётом восхода и расположения моих окон). Тогда я могу попробовать засыпать в 2:00 несколько дней, проверяя, достаточно ли шести с половиной часов. Если нет, восполню дефицит днем. Если да, можно сдвинуть режим ещё немного, посмотреть, какого минимума достаточно.

Будьте осторожны с этим! Умственная деградация часто начинается до того, как вы ощутите какие-либо эффекты депривации сна. Если вы идёте на эксперимент, советую отслеживать время реакции. Лично я сплю на 90 минут дольше, чем начинает ощущаться субъективное «я достаточно бодр». Тем не менее, эксперименты с этим чувством предоставляют полезную информацию, даже если вы не планируете закреплять результаты.

Лично я обнаружил, что моя потребность во сне колеблется между 6-9 часами в день. С фиксированным пробуждением и способностью спать днём эксперименты даются легко. Так что, конечно, можно довести стратегию до логического завершения, сократив основной сон до 5 часов и стабильно отсыпаясь в середине дня. Получится режим сна с сиестой.

Понимаю, это не самый организованный перечень советов, но надеюсь, вы вынесли что-то полезное. По-моему, хороший сон - важный компонент высокой продуктивности и мотивации, так что, если вам не хватает мотивации, определённо стоит проверить, не во сне ли боттлнек. В любом случае, эксперименты окупаются: если вы можете сэкономить по 90 минут за ночь, за год наберётся больше 500 часов. Тот случай, когда небольшие улучшения дают ощутимый выигрыш.

Спать хорошо (перевод статьи Sleeping Well by Nate Soares)

Перевод: 
hakami1024
Оцените качество перевода: 
Средняя оценка: 4 (4 votes)

Статьи с Арбитала

Интерпретации «вероятности»

arbital

Какой смысл вкладывают во фразу «вероятность выпадения решки 50%»?

Исторически сложилось так, что у этого вопроса есть два популярных варианта ответа: «частотный» и «субъективный» (он же «байесианский»), которые, в свою очередь, означают два разных подхода к статистике. Есть еще и третий вариант — «склонность», но он в значительной степени дискредитирован. Если кратко описать эти три варианта то получится вот что:

Интерпретация «склонности». Некоторые вероятности являются частью нашего мира. Сказать, что монета выпадает решкой в половине случаев — высказать о монете голый факт. У подбрасываемой монеты есть фундаментальная склонность выпадать решкой в 50% случаев. И когда мы говорим, что монета имеет 50% вероятность выпадения решки, мы говорим именно про эту склонность.

Частотная интерпретация. Когда мы говорим, что у монеты есть 50% вероятность выпадения решкой, мы подразумеваем наличие класса событий подобных этому подбрасыванию монеты, и что внутри этого класса событий монета выпадала решкой примерно в половине случаев. Т.е. частота выпадения решки в 50% именно внутри этого класса событий, которыми могут быть события вроде «все другие подобные подбрасывания этой монеты» или же «все другие подбрасывания похожей монеты» и т.д..

Субъективная интерпретация. Неопределенность — это характеристика разума, а не окружающей среды. Если я поймал подброшенную монету и не вижу как она упала, она все равно уже выпала либо орлом либо решкой. Отсутствие у меня знания «орел или решка» это факт обо мне, а не о монете. Утверждение: «Я назначаю 50% вероятность тому, что монета выпала решкой» является выражением моего невежества, и эти 50% означают, что я оцениваю шансы как 1:1 (или лучше), что монета выпала решкой.

Интерпретация «склонности» наиболее естественная для человеческой интуиции, ведь многим людям кажется, что случайность — это врожденное свойство монеты. Тем не менее этот вариант трудновато сочетать в фактом того, что монета, будучи пойманной, уже показывает либо орел либо решку. Если обсуждаемое событие детерминировано, интерпретация «склонности» может быть рассмотрена, как случай «ошибки проецирования ума»: когда мы в голове оцениваем подбрасывание монеты, то легко верим, что мы находимся в мире, где монета фундаментально пятидесятипроцентнорешковая. Но это убеждение — факт о нас, а не о монете; и монета не имеет физического свойства выпадать решкой в половине случаев. Она просто монета.

Две другие интерпретации внутренне непротиворечивы и образуют разные подходы к статистике, о сравнительной полезности которых идет немало споров. Субъективная интерпретация применима в большем количестве ситуаций, так как позволяет назначать вероятности (выраженные как ставки) даже единичным событиям.

Частотность против субъективизма.

В качестве примера, на котором можно показать разницу между частотностью и субъективизмом, рассмотрим вопрос: «Какова вероятность выигрыша Хиллари Клинтон на президентских выборах 2016 года?». Воспользуемся данными, доступными на момент лета 2016.

Стереотипный (соломенный) частотник скажет: «Президентские выборы 2016 года — уникальное событие, случающееся лишь один раз. Мы не можем наблюдать частоту с которой Клинтон выигрывает президентские выборы. Так что мы не можем тут выполнить статистическое исследование или назначить вероятности».

Стереотипный субъективист ответит: «Итак, рынки предсказания довольно хорошо откалиброваны для таких событий, в том смысле, что если рынок назначает вероятность в 20%, то такое событие происходит где-то 1 раз из 5. А рынки предсказаний ставят на победу Клинтон сейчас с шансами 3 к 1. Так что я вполне уверенно могу сказать, что она победит с вероятностью в 75%. Если бы кто-то предложил мне ставку с шансами 20:1 против нее (т.е. этот человек получает 1 доллар в случае проигрыша, а я 20$, если она выигрывает выборы), то я бы принял эту ставку. Разумеется, можно отказаться от такой ставки, мотивируя это тем, что Вы Просто Неспособны Говорить О Вероятностях Единичных Событий, но это будет означать лишь, что вы упускаете случай сыграть очень хорошую ставку».

Стереотипный (не-соломенный) частотник ответит: «Разумеется, я бы тоже принял эту ставку. Но это решение не было бы принято на основе строгой эпистемологии, и уж тем более мы не можем позволять такие виды рассуждений в эмпирической науке и других важных областях применения вероятностей. Вы можете использовать субъективные рассуждения при оценке ставок, но мы не должны допускать такие рассуждения в научные журналы — для этого и существует частотная статистика. Заключение вашего исследования не должно содержать вещей вроде: «и вот, пронаблюдав такие—то данные об уровне углекислого газа, я бы поставил 9:1 на то, что антропогенное глобальное потепление реально происходит», ведь мы не можем выстроит научный консенсус на основе личных мнений».

…и вот тут начинаются сложности. Субъективист ответит: «Во-первых, я согласен с тем, что не следует размещать в работах апостериорные шансы, во-вторых, ваш метод тоже не особо объективный: выбор класса «подобных событий» произволен, им легко злоупотребить и, как результат, мы имеем хаки p-value и кризис репликации». На что частотник скажет: «ну а ваш выбор априорных еще более субъективен, и посмотрел бы я как вы себе поведете, когда давление со стороны сообщества толкает на злоупотребление статистикой и преувеличение результатов» — и вот мы отправляемся в путешествие вниз по кроличьей норе.

Субъективная интерпретация вероятностей распространена среди исследователей ИИ (которые часто разрабатывают системы, манипулирующие субъективными распределениями вероятностей), биржевых трейдеров (которым приходится делать ставки даже в относительно уникальных ситуациях) и в обычной жизни (ведь людям надо оценивать вещи вроде вероятности выпадения осадков завтра в 30%, несмотря на то, что завтра случиться лишь однажды). Тем не менее, частотную интерпретацию обычно преподают на лекциях по введению в статистику и она составляет золотой стандарт научных журналов.

С точки зрения среднего частотника, хороший статистик должен иметь разные статистические инструменты в своем распоряжении. Есть место и для субъективистских, но никакого особенного отношения они не заслуживают (и уж точно их не стоит принимать во внимание, когда приходит время оценивать работы для публикации в серьезном журнале).

С точки зрения агрессивного субъективиста, частотники наизобретали немало хороших инструментов, среди которых есть и действительно полезные, но их отказ оценивать субъективные вероятности токсичен. Частотная статистика была разработана как (провалившаяся) попытка исключить субъективность из науки во времена, предшествующие постижению законов теории вероятности человечеством. Сейчас же у нас есть теоремы о корректном использовании субъективных вероятностей, и как факторизировать личные убеждения на основе объективных свидетельств из данных, и если эти теоремы игнорировать, то легко попасть в беду. Частотная интерпретация сломана и поэтому в науке распространен p-hacking и кризис воспроизводимости, в то время как трейдеры и исследователи ИИ используют байесовскую интерпретацию. Идея «давайте найдем компромисс и согласимся, что все точки зрения валидны» хорошо звучит, но сколько провалов требуется прежде чем наступит пора сказать «ой» и признать субъективную интерпретацию во всех областях науки?

Однако, большинство ученых и исследователей скорее агностики, в том смысле что: «используй любые удобные инструменты, а когда придет пора отдавать работу на публикацию, заверни процесс в частотные, ведь так люди делали на протяжении десятилетий и именно этого все и ожидают от тебя».

Какая из интерпретаций наиболее полезна?

Вероятно, это субъективная интерпретация, ведь она вбирает в себя «склонность» и частотные методы, как частные случаи, при этом являясь более гибкой.

Когда частотный класс «подобных событий» ясно обозначен, субъективист может учесть эти частоты (часто именуемые априорными вероятностями в таких случаях). Однако, в отличии от частотника, она может совместить эти априорные вместе с другими наблюдаемыми свидетельствами из данных и назначать вероятности единичным событиям. Делать деньги на рынках предсказаний и/или на рынках ценных бумаг (если у нее есть информация, которой нет у рынка).

В тех случаях, когда законы физики все же «содержат неопределенность», когда они, например, утверждают, что вы получите множество разных наблюдений вместе с разными условными вероятностями (как в случае с уравнением Шредингера), субъективист может объединить свою неопределенность «склонности» и личную для генерации агрегированных субъективных вероятностей. Но в отличии от теоретика «склонности», ничто не принуждает ее думать, будто вся неопределенность содержится в физических законах. Она может думать как теоретик «склонности» о предоставленной уравнением Шредингера неопределенности, при этом все еще веря в то, что ее неопределенность относительно уже упавшей монеты содержится в ее разуме, а не в монете.

Вывод же такой: частотные методы хороши для ответа на частотные вопросы. Из того, что вы можете назначать вероятности для единичных событий (т.е. оценивать насколько хороша какая-то ставка на рынке предсказаний или ценных бумаг) не следует, что обозначенные как «байесианские» инструменты обязательно лучше тех, что обозначены как «частотные». Какую бы интерпретацию «вероятностей» вы бы ни использовали, мы надеемся, что вы задействуйте наиболее вам удобные, независимо из какого «лагеря» этот инструмент. Не позволяйте факту того, что вы можете назначать вероятности единичным событиям, стоять на вашем пути, если вы решите использовать частотные инструменты!

Перевод: 
Muyyd
Оцените качество перевода: 
Средняя оценка: 5 (5 votes)

Визуализация разных интерпретаций «вероятностей»

arbital

Давайте вспомним три распространенных интерпретации того, что значит для монеты выпадать с вероятностью в 50% решкой:

Интерпретация «склонности». Некоторые вероятности являются частью нашего мира. Сказать, что монета выпадает решкой в половине случаев — высказать о монете голый факт. У подбрасываемой монеты есть фундаментальная склонность выпадать решкой в 50% случаев. И когда мы говорим, что монета имеет 50% вероятность выпадения решки, мы говорим именно про эту склонность.

Частотная интерпретация. Когда мы говорим, что у монеты есть 50% вероятность выпадения решкой, мы подразумеваем наличие класса событий подобных этому подбрасыванию монеты, и что внутри этого класса событий монета выпадала решкой примерно в половине случаев. Т.е. частота выпадения решки в 50% именно внутри этого класса событий, которыми могут быть события вроде «все другие подобные подбрасывания этой монеты» или же «все другие подбрасывания похожей монеты» и т.д..

Субъективная интерпретация. Неопределенность — это характеристика разума, а не окружающей среды. Если я поймал подброшенную монету и не вижу как она упала, она все равно уже выпала либо орлом либо решкой. Отсутствие у меня знания «орел или решка» это факт обо мне, а не о монете. Утверждение: «Я назначаю 50% вероятность тому, что монета выпала решкой» является выражением моего невежества, и эти 50% означают, что я оцениваю шансы как 1:1 (или лучше), что монета выпала решкой.

Один из способов визуализировать разницу между интерпретациями, это посмотреть какие модели в рамках этих интерпретаций считаются хорошими моделями. Если чья-то модель сформулирована и может быть выражена словами, то для проверки ее качества нам достаточно сравнить ее с известными фактами. Например, если эта модель утверждает что «вон то дерево три метра в высоту», то эта модель корректна только в том случае, если дерево действительно три метра в высоту.

Однозначные утверждения модели называются «правдой», когда они соответствуют реальности, и «ложью», когда не соответствуют. Если вы собираетесь воспользоваться картой для навигации вдоль побережья, лучше бы вам убедиться в том, что линии на карте соответствуют территории.

Но как определить соответствие между картой и территорией, когда карта вероятностна? Если ваша модель утверждает что перекошенная монета имеет вероятность выпадения решки в 70%, в чем состоит соответствие вашей модели и реальности? Если монета действительно выпала решкой, можно ли назвать утверждение модели «правдой»? Правдой на 70%? И что это будет значить?

Сторонник теории «склонности» утверждает, что это голый факт о мире, что реальность содержит онтологически фундаментальную неопределенность. Модель, утверждающая, что монета выпадает решкой с вероятностью в 70%, является верной только в том случае, если реальная физическая склонность монеты составляет 0,7 в пользу решки.

Эта интерпретация полезна, когда законы физики действительно утверждают, что вы можете пронаблюдать несколько разных результатов с разными условными вероятностям, как в случае с квантовой физикой. Однако, если событие детерминировано — т.е. если монета была подброшена, упала и уже показывает чт0-то, тогда эта интерпретация выглядит глупо, и является примером для «ошибки проецирования ума». Монета — это лишь монета, и не имеет структуры (или особого физического статуса), фундаментально содержащей в себе крохотные 0,7 где-то внутри. Она уже выпала либо решкой либо орлом, и несмотря на возможное чувство, что монета имеет фундаментальную неопределенность, это чувство является событием внутри вашего мозга, а не монеты.

Так как же мы может определить соответствие между вероятностной картой и детерминированной территорией (где монета уже выпала либо орлом либо решкой)?

Частотник определяет соответствие между единичным вероятностным высказыванием модели и множеством событий в реальности. Если карта утверждает «эта монета с вероятностью в 70% покажет решку», и территория содержит 10 случаев, когда 10 карт утверждают то же самое, и в 7 из 10 этих случаев монета выпадает решкой, тогда частотник скажет, что утверждение истинно.

Тем самым частотник следует принципу черно-белого соответствия: модель либо верна либо нет; утверждение о 70% либо правда либо ложь. Когда карта утверждает «эта монета с вероятностью в 30% выпадет орлом», это (согласно мнению частотника) означает «взгляните на все случаи, подобные этому, где моя карта утверждала, что монета с вероятностью в 30% выпадет орлом; среди всех этих случаев в реальности, три десятых содержит выпавшую орлом монету». И такое заявление модели является окончательным, с учетом данного набора «подобных событий».

Субъективист, напротив, использует идею «корректности» и оттенки серого. Он может сказать: «Моя неопределенность относительно состояния монеты - факт обо мне, а не о монете. Мне не нужны другие «подобные случаи» для выражения неопределенности относительно этого случая. Я знаю, что реальность в которой я нахожусь либо реальность-где-уже-орел, либо реальность-где-уже-решка, и у меня есть распределение вероятностей в котором решке отведено 70%». И он определяет соответствие между распределением вероятностей и реальностью таким образом, что чем большую вероятность модель назначает корректному ответу, тем модель лучше.

Если реальность является реальностью-решки, и вероятностная карта назначает 70% решке, тогда субъективист скажет, что карта точна на 70%. Если относительно 10 подобных случаев, где карта назначает решке 70% и в 7 из 10 случаев выпадает решка, байесианец называет такую карту «хорошо откалиброванной». Далее он может начать искать способы повысить точность и калибровку карты. Ему не нужно интерпретировать заявления вероятностных карт как окончательные; он вполне будет рад интерпретировать заявления как прогнозы, которые можно расположить на шкале точности.

Дебаты вокруг интерпретаций.

Короче говоря, частотная интерпретация пытается отыскать способ определения истинности или ложности модели (путем определения набора подобных событий), в то время как субъективная интерпретация развивает идею «корректности» и оттенки серого.

Случается так, что частотники выдвигают возражения против субъективной интерпретации, утверждая что частотное соответствие — единственная интерпретация, для которой есть хоть какая-то надежда на объективность. Ведь возможно ли с точки зрения байесианского соответствия определить, должна ли карта назначать 70% или 75%, с учетом того, что вероятностные утверждения не являются объективно истинным или объективно ложными? Частотники утверждают, что такие субъективные оценки «частичной точности» могут быть интуитивно привлекательными, но им не место в науке. Научные исследования должны быть ограничены частотными утверждениями, которые определенно либо истинны либо ложны. И делать это надо ради увеличения объективности в науке.

Субъективисты отвечают на это, указывая на сомнительную объективность частотного подхода, который целиком и полностью зависит от выбора «подобных случаев». На практике получается так, что люди могут (и делают!) злоупотреблять частотной статистикой, выбирая такой класс подобных случаев, с которым их результаты будут выглядеть максимально впечатляющими (этот способ называется «p-hacking»). Кроме того, манипуляция субъективными вероятностями полностью подчиняется железным законам теории вероятностей (которая является единственным способом управлять своей неопределенностью о мире, избегая противоречий и патологий), так что субъективные вероятности далеки от взятых «с потолка». И потом, предметом научного исследования являются в том числе и события, для которых нет большого класса подобных случаев, и тем не менее, есть свидетельства которые надо учесть.

Для более углубленного изучения этих дебатов смотрите: Правдоподобия, P-значения и кризис воспроизводимости .

Перевод: 
Muyyd
Оцените качество перевода: 
Средняя оценка: 3.8 (12 votes)

Разное

Басня о драконе-тиране

Ник Бостром

Когда-то Земля находилась под тиранией гигантского дракона. Ростом дракон был выше самого высокого собора, и весь был покрыт чёрной чешуёй. Его красные глаза пылали ненавистью, а из пасти тёк непрерывный поток зловонной желтовато-зелёной слизи. Дракон требовал от человечества чудовищную дань: для удовлетворения его непомерного аппетита десять тысяч мужчин и женщин должны были быть доставлены на исходе каждого дня к подножью горы, у которой жил дракон-тиран. Некоторых дракон пожирал сразу, других держал в течение многих месяцев или даже лет перед тем, как те были съедены.

Неизмеримы были страдания, причиняемые драконом. Ведь кроме тысяч убитых, оставались также те, кто оплакивали потерю близких – матери, отцы, жёны, мужья, дети и друзья.

Некоторые пробовали бороться с драконом. Трудно сказать, были ли они храбры или глупы. Священники и чародеи насылали на него проклятия, но напрасно. Храбрейшие воины, вооруженные лучшим оружием, пробовали его одолеть, но были уничтожены его огнём прежде, чем смогли хотя бы приблизиться. Химики составляли ядовитые зелья, и им даже удавалось хитростью заставить дракона проглотить их, но это только разжигало его аппетит. Когти и пасть дракона были настолько мощными, его чешуйчатая броня столь неприступной, что это делало его совершенно неуязвимым для любого нападения со стороны человека.

Поскольку уничтожить тирана было невозможно, людям не оставалось ничего другого, кроме как повиноваться его желаниям и продолжать приносить жертвы. Отобранные несчастные были всегда людьми старшего возраста. Хотя пожилые люди часто бывали столь же энергичны и здоровы, как и молодые, и почти всегда мудрее и опытнее, но они в каком-то смысле уже успели насладиться жизнью. Богач мог получить краткую отсрочку, подкупив стражников, которые забирали людей, но, согласно непреложному закону, никто, даже сам король, не мог отложить их очередь.

Священники пытались успокоить тех, кто боялся быть съеденными драконом (то есть почти всех, хотя многие публично отрицали это), обещая другую жизнь после смерти; жизнь, свободную от дракона. Другие ораторы полагали, что дракон имеет право на своё место в природе и моральное право быть накормленным. Они считали, что закончить жизнь в животе дракона является частью самого определения человеческой сущности. Находились также и такие, кто считал, что дракон приносит человечеству пользу, ограничивая бесконтрольный рост населения. Были ли эти аргументы убедительны, остаётся неизвестным. Большинство людей пытались утешиться, не думая о мрачном конце, который их ждал.

Это продолжалось в течение многих столетий. Никто уже не вёл счет ни числу убитых, ни количеству пролитых слёз. Люди постепенно смирились, и дракон стал фактом жизни. Ввиду очевидной тщетности сопротивления прекратились попытки убить дракона. Усилия сосредоточились на том, чтобы умиротворять его. Хотя дракон иногда и совершал набеги на города, было установлено, что пунктуальная доставка людей к горе уменьшала вероятность таких налётов.

Люди понимали, что дракон обязательно их когда-нибудь съест, так что стали заводить детей раньше и чаще. Девочки часто беременели, не достигнув и шестнадцати лет. Нередко в семьях было до двенадцати детей. Человеческое население таким образом не уменьшалось, и дракон оставался сытым.

В течение столетий дракон прекрасно питался и постепенно становился всё больше и больше. Он почти достиг размеров горы, на которой жил, и его аппетит рос соответствующе. Десяти тысяч людей теперь было мало, чтобы насытить его, так что уже восемьдесят тысяч должны были быть доставлены на исходе каждого дня к подножью горы, где жил дракон.

Королю приходилось думать не о смертях и драконе, а о том, как обеспечить каждодневный сбор и транспортировку такого количества людей к горе. Это было нелёгкой задачей.

Чтобы облегчить процесс, король приказал выстроить железнодорожный путь: две полосы блестящей стали, ведущие к драконовой обители. Каждые двадцать минут к горному терминалу прибывал поезд, переполненный людьми, а возвращался пустым. Если бы у пассажиров поезда была возможность высунуть голову из окна, то под лунным светом они увидели бы впереди силуэты дракона и горы, и два пылающих красных глаза, как лучи гигантских маяков освещающих путь к уничтожению.

Король нанял огромное количество служащих для управления перевозкой. Специальные регистраторы должны были следить за теми, чья очередь подходила быть принесённым в жертву. Были там стражники, которые отправлялись за людьми в специальных повозках. Путешествуя с головокружительной скоростью, они спешно отправляли свой груз к железнодорожной станции или непосредственно к горе. Клерки распределяли пенсии среди обедневших семей. Были и утешители, которые сопровождали обречённых, стараясь облегчить страдания участием и лекарствами.

Кроме того, были и общества драконологов, которые работали над улучшением логистики. Некоторые из них проводили исследования по драконовской физиологии и поведению и собирали образцы – чешую, слизь, которая текла из его рта, потерянные зубы и экскременты, в которых находились фрагменты человеческих костей. Все эти находки были кропотливо описаны и сданы в архив. Чем лучше изучали зверя, тем понятнее было, что его не победить. Например, его чешуя была твёрже, чем любой материал, известный человеку, и ничто не оставляло на ней даже царапины.

Для финансирования всего этого король ввёл тяжёлые налоги. Связанные с драконом расходы, составлявшие в начале одну седьмую экономики, росли ещё быстрее, чем сам дракон.

Человек – существо любопытное. Время от времени кому-то в голову приходит хорошая идея. Другие копируют её, добавляя собственные усовершенствования. С течением времени изобретено множество чудесных инструментов и систем. Некоторые из этих устройств – калькуляторы, термометры, микроскопы, стеклянные пузырьки, которыми пользуются химики для кипячения и дистилировки жидкости – помогают находить и испытывать новые идеи, включая и те, что сильнее ускоряют этот процесс.

Таким образом великое колесо изобретений, в старые времена поворачивающееся очень медленно, постепенно стало ускоряться.

Мудрецы предсказали, что настанет день, когда технология позволит людям летать и делать много других удивительных вещей. Один из мудрецов, очень уважаемый коллегами, но ставший изгоем из-за эксцентричных манер, зашёл так далеко, что предсказал, что технология в конечном счёте позволит создать изобретение, которое сможет убить дракона-тирана.

Королевские советники, однако, отклоняли эти идеи. Они утверждали, что люди слишком тяжелы для полётов, да и перьев у них нет. А что же касается самой идеи, что дракона можно уничтожить – в книгах по истории упоминались сотни попыток, ни одна из которых не увенчалась успехом. “Мы все знали, что у этого человека бывали странные и безответственные идеи”, – позже писали историки в некрологе о мудреце, который к тому времени был давно съеден драконом, уничтожение которого он предсказывал, – “но писал он интересно. Возможно, мы должны быть благодарны дракону за то, что он способствовал рождению нового жанра. Антидраконьи книги замечательно обнажают природу тоски!”

А колесо изобретений всё ускорялось. Прошло несколько десятков лет, и технология действительно позволила людям летать – и делать много других удивительных вещей.

Несколько известных учёных начали обсуждать новую стратегию нападения на дракона-тирана. Убить дракона будет нелегко, сказали они, но если можно было бы изобрести материал твёрже, чем броня дракона, и сделать из этого материала что-то вроде снаряда, то этот подвиг стал бы возможным. Сначала такие идеи отвергались на том основании, что среди известных материалов не нашлось такого, который был бы крепче, чем броня дракона. Но после долгого исследования проблемы один из бунтарей смог успешно продемонстрировать такой материал. После этого многие из скептически настроенных драконологов присоединились к бунтарям. Инженеры вычислили, что из этого материала можно сделать огромный снаряд, который смог бы пробить броню дракона, если будет запущен с достаточной силой. Однако изготовить необходимое количество такого необычного материала стоило бы огромных денег.

Группа выдающихся инженеров и драконологов послали королю ходатайство на финансирование стройки анти-драконова снаряда. Однако в это время король был занят подготовкой своей армии к войне против тигра. Тигр убил фермера и исчез в джунглях. Все боялись, что тигр может вернуться и напасть снова. Войско короля окружило джунгли и стало прорубаться вглубь. В конце концов король объявил, что все сто шестьдесят три тигра в джунглях, включая того, который напал на фермера, были выслежены и убиты. В шуме и неразберихе той войны ходатайство было потеряно или забыто.

Поэтому драконологи послали королю новое обращение. На сей раз они получили ответ от одного из королевских секретарей, в котором говорилось, что король рассмотрит их запрос после того, как утвердит ежегодный бюджет Министерства Дракона. Бюджет этого года был самым большим из известных до настоящего времени и включал финансирование нового железнодорожного пути к горе. Вторая пара рельс считалась необходимой, поскольку один путь больше не справлялся с увеличивающейся нагрузкой: дань, потребованная драконом в этом году, составила уже сто тысяч человек. Когда бюджет был наконец одобрен, начали поступать слухи о том, что одна отдалённая деревня страдала от гремучих змей. Король должен был срочно уехать, чтобы мобилизовать войска против новой угрозы. Обращение драконологов осталось в пыльном кабинете.

Анти-драконисты встретились снова, чтобы решить, что делать дальше. Горячие дебаты продолжались до поздней ночи. К рассвету они наконец приняли решение обратиться к народу за помощью в решении проблемы. В течение несколько недель они путешествовали по всей стране, читая лекции и объясняя их идею любому, кто бы их слушал. Сначала люди были настроены скептически. В школе их учили, что дракон-тиран неукротим, и что жертвы ему должны приниматься как должное. Однако многие заинтересовались новым сложным материалом и проектом снаряда. Всё больше и больше граждан приходило на лекции драконологов. Активисты начали организовывать общественные собрания в поддержку их идеи.

Когда король узнал из газет об этих встречах, он вызвал своих советников и спросил, что они думают по этому поводу. Они сообщили ему о ходатайствах, которые были высланы, но сказали, что анти-драконисты были нарушителями спокойствия и их учение вызывало общественное беспокойство. Они убеждали короля, что для общественного строя было бы лучше, если бы люди приняли неизбежность приношения дани дракону-тирану. Обслуживание дракона обеспечивало много рабочих мест, которые бы пропали в случае победы над драконом. Они уверяли, что убийство дракона не будет иметь никакой социальной выгоды. В любом случае, в данный момент королевская казна была почти пуста после двух военных миссий и финансирования второй железнодорожной линии. Король пользовался большой популярностью после победы над гремучими змеями. Он слушал аргументы советников и волновался, что может потерять популярность в народе, если люди увидят, что он проигнорировал анти-драконовское ходатайство. Поэтому король решил провести открытое слушание. Были приглашены высшие драконологи, министры государства, а также заинтересованная публика.

Митинг состоялся в самый тёмный день года, как раз перед Рождеством, в самом большом зале королевского замка. Все места были заняты, и многие толпились в проходах. Атмосфера в зале была напряжённой, как во время самых важных военных сессий.

После того как король всех приветствовал, он дал слово ведущей учёной-драконологу, которая вела эти исследования и разработки. Это была женщина с серьезным и строгим выражением лица. Она объяснила понятным языком, как предложенное устройство будет работать и как можно изготовить необходимое количество сложного материала. При умеренном финансировании на весь проект понадобилось бы пятнадцать-двадцать лет. Если финансирование увеличить, то можно было уложиться и в двенадцать. Однако не было никакой абсолютной гарантии, что это устройство будет вообще работать. Толпа слушала её выступление внимательно.

Следующим выступающим был главный советник короля по этике – человек, мощный голос которого легко заполнил аудиторию:
— Давайте представим, что эта женщина не ошибается в научных деталях, и что проект является технологически возможным, хотя я не думаю, что это было фактически доказано. Она желает, чтобы мы избавились от дракона. Вероятно, она считает, что имеет право избежать участи быть съеденной драконом. Какое упрямство, какая самонадеянность! Конечность человеческой жизни – это благословение для каждого человека, независимо от того, знает он об этом или нет. Уничтожение дракона – на первый взгляд такой очевидный и правильный поступок – унизит наше человеческое достоинство. Озабоченность убийством дракона отвлечёт нас от более полной реализации наших стремлений, и мы будем жить долго вместо того, чтобы жить хорошо. Это унизительно, да, унизительно для человека – хотеть продолжать своё посредственное существование максимально долго, не задумываясь о более высоких вопросах, о том, для чего должна быть использована жизнь. И я утверждаю, что роль дракона в природе заключается в том, чтобы есть людей, и наша роль в природе исполняется только тогда, когда мы им съедены…

Аудитория уважительно слушала выспренние речи почтенного оратора. Его фразы были настолько красноречивыми, что было трудно сопротивляться чувству, что за этими словами были какие-то глубокие мысли, хотя никто и не мог точно понять, в чём же они состояли. Но наверняка слова, исходящие от такого выдающегося ставленника короля, должны были иметь глубокий смысл.

Следующим вышел духовный мудрец, который был широко почитаем за свою доброту, теплоту и преданность. Когда он шагал к трибуне, маленький мальчик выкрикнул из аудитории:
— Дракон плохой!

Родители мальчика покраснели и стали успокаивать и ругать ребенка. Но мудрец сказал:
— Пусть мальчик говорит. Он, вероятно, мудрее, чем такой старый дурак, как я.

Сначала мальчик был слишком испуган и смущён, чтобы что-то сказать. Но когда он увидел искреннюю дружескую улыбку и вытянутую руку старого мудреца, он взялся за неё и пошёл вместе ним к трибуне.

— Итак, храбрый мальчик, – сказал мудрец, – ты боишься дракона?
— Хочу вернуть бабушку, – сказал мальчик.
— Дракон забрал твою бабушку?
— Да, – сказал мальчик, и слёзы собрались в его больших испуганных глазах. – Она обещала, что научит меня печь имбирное печенье на Рождество. Она сказала, что мы сделаем домик из имбирного пряника и маленьких человечков, которые жили бы в нём. А потом люди в белой одежде пришли и забрали бабулю к дракону… Дракон плохой, он ест людей… Верните мне бабушку!

Ребёнок уже плакал так сильно, что мудрецу пришлось возвратить его родителям.

Были и другие выступления, но простое свидетельство ребёнка оказалось сильнее риторических речей королевских министров. Люди поддержали анти-драконистов, и к концу вечера даже король признал смысл и гуманность их аргументов. В его заключительном заявлении он просто сказал:
— Давайте сделаем это!

Как только новость распространилась, на улицах началось празднование. Активисты анти-драконизма поздравляли друг друга и пили за будущее человечества.

На следующее утро миллиард людей проснулись и поняли, что их очередь быть посланными к дракону настанет прежде, чем снаряд будет закончен. Наступило критическое время: раньше активная поддержка анти-драконистов была ограничена маленькой группой провидцев, а теперь стала главным приоритетом для всех людей. “Общая воля” стала популярным и важным понятием. На массовых митингах собирались деньги для проекта снаряда и отправлялись прошения королю с просьбой увеличить количество государственной поддержки. Король охотно отвечал на эти запросы. Во время новогоднего выступления он объявил, что выпустит дополнительный законопроект для увеличения финансирования, и, кроме того, продаст свой летний дворец и часть земли для того, чтобы сделать существенное личное пожертвование.
— Я верю, что наша страна должна достигнуть этой цели до конца этого десятилетия, чтобы мир наконец освободился от древний муки дракона!

Таким образом началась технологическая гонка за временем. Концепция антидраконового снаряда была достаточно проста, но его создание требовало решения тысячи технических проблем, каждая из которых в свою очередь имела множество своих маленьких проблем. Запускались испытательные снаряды, но одни сразу падали на землю, а другие летели, но не в ту сторону. В одном трагическом случае снаряд упал на больницу и убил несколько сотен пациентов и врачей. Но к тому времени цель проекта была настолько важна, что испытание продолжались, даже пока людей выкапывали из развалин.

Несмотря на почти неограниченное финансирование и круглосуточную работу, всё равно не удавалось закончить проект вовремя. Десятилетие закончилось, а дракон всё ещё был жив и здоров. Но проект уже приближался к концу. Прототип снаряда был успешно запущен. Производство ядра, сделанного из дорогого сложного материала, шло по плану. Его завершение совпадало с окончанием производства снаряда, в который он должен быть загружен. Запуск был назначен на следующий Новый год, точно двенадцать лет спустя после официального запуска проекта. Самым лучшим новогодним подарком в это время был календарь, который считал дни до окончания проекта, и доходы от его продажи шли на проект снаряда.

Король стал гораздо мудрее и серьёзнее. Теперь он проводил много времени в лабораториях и на заводах, подбадривая рабочих и хваля их за тяжёлый труд. Иногда он проводил целую ночь на шумном заводе. Он даже пытался изучить и понять технические аспекты. Но всё же его поддержка была в основном моральной, и он старался не вмешиваться в технические и организационные дела.

За неделю до Нового года инициатор и руководительница проекта приехала в замок и попросила о срочной встрече с королём. Когда тот узнал о её прибытии, он срочно извинился перед иностранным сановниками, которых развлекал, и поспешно ушёл в комнату, где его ждала ученая. Как обычно, она выглядела бледной и измученной от долгих часов на работе. Но в этот раз король заметил облегчение и радость в её глазах.

Она сказала, что снаряд закончен, ядро загружено, всё трижды проверено и готово к запуску по команде короля. Король вжался в кресло и закрыл глаза. Он крепко задумался. Если запустить снаряд сегодня вечером, на неделю раньше чем запланировано, семьсот тысяч человек будут спасены. Но если что-то пойдёт не так, если снаряд не поразит цель, это будет ужасно. Тогда придётся заново строить ядро, и проект откатится года на четыре. Король тихо сидел почти целый час. Когда учёная уже думала, что тот уснул, он открыл глаза и твёрдо сказал:
— Нет. Я хочу, чтобы вы вернулись в лабораторию. Проверьте и перепроверьте всё ещё раз.

Ученая не смогла сдержать глубокого вздоха, но кивнула и удалилась.

Последний день года выдался холодным и пасмурным, но ветра не было, так что условия для запуска были хороши. Солнце спускалось. Техники возились вокруг снаряда и проверяли всё в последний раз. Король и его главные советники наблюдали с платформы неподалёку от пусковой площадки. Еще дальше, за забором, огромное количество публики собралось посмотреть на это важное событие. Большие часы отсчитывали время до запуска: оставалось пятьдесят минут.

Советник обратил внимание короля на забор. Там происходило какое-то беспокойство: кто-то перескочил через него и бежал к платформе короля. Охранники быстро его догнали, надели наручники и утащили. Король снова повернулся к пусковой площадке и к горе на заднем плане. Там он видел тёмный согнутый профиль дракона. Тот ел.

Минут через двадцать короля удивило новое появление этого человека – теперь того вели двое стражников. На пленнике были наручники, а из носа текла кровь. Он был крайне возбуждён и, увидев короля, начал кричать изо всех сил:
— Поезд! Последний поезд! Остановите последний поезд!
— Кто этот молодой человек? – спросил король. – Его лицо кажется мне знакомым, но я не могу припомнить, кто это. Что он хочет? Позовите его сюда.

Молодой человек был младшим клерком в министерстве транспорта, и кричал он потому, что в последнем поезде на пути к горе находился его отец. Король приказал, чтобы движение поездов продолжалось, опасаясь, что любое необычное явление могло бы возбудить дракона, и он бы мог покинуть открытое место, на котором сейчас находился. Молодой человек умолял короля, чтобы он остановил последний поезд, который должен был прибыть к горе за пять минут до запуска.

— Я не могу этого сделать, – сказал король. – Я не могу рисковать.
— Но поезда же часто опаздывают на пять минут! Дракон даже не заметит! Пожалуйста!

Молодой человек стал на колени перед королем, умоляя его спасти жизнь отца и жизни тысячи пассажиров на последнем поезде.

Король смотрел вниз на заплаканное и окровавленное лицо молодого человека. Но он покачал головой. Молодой человек продолжал вопить даже после того, как охранники тащили его с платформы:
— Пожалуйста! Остановите поезд! Пожалуйста!

Король стоял тихо и неподвижно, пока крики вдруг не прекратились. Он взглянул на часы: оставалось пять минут.

Четыре минуты. Три. Две.

Последний техник ушёл с площадки.

Тридцать секунд. Двадцать. Десять, девять, восемь…

Когда ракета взлетела, и отблески пламени двигателей осветили пусковую площадку, зрители непроизвольно поднялись со своих мест. Все глаза были обращены к белому ракетному пламени, двигающемуся в сторону горы. Вся масса людей, король, низкие и высокие, молодые и старые – в этот момент все они были охвачены единым пониманием, единым осознанным чувством: это белое пламя, стреляющее в темноту, воплощало весь человеческий дух – его страхи и надежды, ударяющие в сердце зла. И огромный силуэт наконец исчез. Тысячи возгласов радости поднялись над толпой. Через несколько секунд к ним присоединился протяжный глухой звук падающего чудовища. Казалось, будто сама земля вздохнула от облегчения. После столетий притеснения человечество наконец было свободно от жестокой тирании дракона.

Вопли радости перешли в радостную песню:
— Да здравствует король! Да здравствуем мы все!

Советники короля, как и все остальные, были счастливы как дети; они обнимали друг друга и поздравляли короля:
— Ура! Мы победили!

Но король ответил надломленным голосом:
— Да, нас постигла удача, сегодня мы убили дракона. Но, чёрт побери, почему мы начали так поздно? Это могло бы быть сделано пять, а возможно и десять лет назад! Миллионы людей были бы спасены.

Король сошёл с платформы и подошёл к молодому человеку в наручниках, который сидел на земле. Он упал на колени.
— Простите меня! О боже, пожалуйста, простите меня!

Дождь начал капать на землю, превращая её в грязь; пурпурные королевские одежды отяжелели, дождь смыл кровь с лица мужчины.
— Я очень сожалею о вашем отце, – сказал король.
— Вы не виноваты, – ответил молодой человек. – Вы помните, двенадцать лет назад, в замке? Тем мальчиком, который кричал и хотел, чтобы вы вернули его бабушку, был я. Я тогда не понимал, что вы не могли сделать то, о чём я просил. Сегодня я хотел, чтобы вы спасли моего отца. Но и сегодня это было невозможно, ведь нельзя было рисковать запуском. Но вы спасли меня, и мою мать, и сестру. Как же нам вас отблагодарить?
— Ты их слышишь? – спросил король, показывая на толпу. – Они благодарят меня за то, что сегодня случилось. Но герой – ты. Это был твой голос. Это ты встал против зла, – король знаком велел охране снять с молодого человека наручники. – Иди к матери и сестре. Вашей семье всегда будут рады в замке, и вы получите всё, что пожелаете – если это будет в моих силах.

Молодой человек ушёл, а всё окружение короля продолжало толпиться под ливнем вокруг своего монарха, который всё ещё сидел на земле. Из вычурных одежд, портящихся под дождём, смотрели их напудренные лица, в которых читалась смесь радости, облегчения и замешательства. Так много изменилось за час: вернулось право на свободное будущее, древний страх исчез, а многое из того, во что так долго верили, было низвергнуто. Растерянные и не понимающие, что им теперь делать, они так и стояли, обмениваясь взглядами в ожидании какого-то сигнала.

Наконец, король поднялся, вытирая руки об одежды.
— Ваше величество, что нам сейчас делать? – спросил самый старший придворный.
— Дорогие друзья, – сказал король, – мы прошли долгий путь, и всё же наше путешествие лишь начинается. Человек – молодое существо на планете. Сегодня мы снова как дети. Будущее открыто перед нами. Мы войдем в него и постараемся быть лучше, чем прежде. Теперь у нас есть время: время делать всё правильно, время расти, время учиться на наших ошибках, время строить лучший мир и время жить в нём. Сегодня вечером пусть все колокола королевства звонят до полуночи в память о наших покойных предках, а после этого давайте праздновать до восхода солнца. И в скором времени, я полагаю, нам предстоят большие перемены!

Мораль

Традиционно, когда речь заходит о старении, диалог в основном фокусируется на необходимости обеспечения достойных условий существования. Старение, отход от практических дел, а также прощание с близкими принято принимать со смирением. Этот подход имел смысл, пока ничего нельзя было сделать для того, чтобы предотвратить или задержать старение. Вместо того, чтобы беспокоиться о неизбежном, человек мог по крайней мере стремиться к достижению покоя.

Сегодня ситуация изменилась. Несмотря на то, что у нас ещё нет эффективных и приемлемых средств для замедления процесса старения1, мы можем определить те области науки, которые могут помочь нам достигнуть этого в обозримом будущем. Идеологии, которые учат пассивному смирению со смертью, больше не являются такими уж безобидными источниками утешения. Теперь они – препятствие на пути к необходимым действиям.

Многие выдающиеся технологи и учёные говорят, что возможным будет задержать, а конечном счете – остановить и полностью развернуть человеческое старение2. В данный момент нет полного консенсуса о том, сколько времени и какие средства для этого понадобятся, и даже о том, что эта цель в принципе достижима. Относительно басни (где старение, конечно же, представлено драконом), мы находимся на отрезке времени где-то между тем, когда одинокий мудрец предсказал возможное убийство дракона, и тем, когда драконологи успешно доказали своим коллегам, что возможно создание сложного материала, который будет крепче чешуи тирана.

Представленный этический аргумент прост: для людей в басне существуют очевидные и неотразимые моральные причины избавиться от дракона. В нашей ситуации процесс старения аналогичен и этически схож с ситуацией в басне. Поэтому и у нас есть неотразимые моральные доводы для избавления от человеческого старения.

Этот аргумент не касается лишь удлинения жизни. Несколько дополнительных лет болезней и слабости не имели бы никакого смысла. Аргумент этот в пользу удлинения здоровой жизни. В результате замедления или остановки процесса старения, продолжительность здоровой человеческой жизни продлится. Люди смогут оставаться здоровыми, крепкими и продуктивными в том возрасте, до которого раньше вообще бы не дожили.

В дополнение к этому обратите внимание на несколько специфических уроков:

  1. Повторяющаяся трагедия стала фактом жизни, статистикой.
    В басне человеческие ожидания приспособились к существованию дракона до такой степени, что многие стали неспособными осознавать его вредность. Старение также стало простым “фактом жизни” – несмотря на то, что оно является основной причиной непостижимого количества человеческого страдания и смерти.
  2. Представление о том, что технология статична.
    Люди считали, что никогда не получится убить дракона, потому что все предыдущие попытки были неудачны. Они не принимали во внимание ускорение технологического прогресса. Не та ли ошибка заставляет нас недооценивать возможности излечения старения?
  3. Администрация встала на службу сама себе.
    Одна седьмая экономики шла на администрацию дракона (такую же долю ВВП США тратит на здравоохранение). Вместо того чтобы смотреть в корень проблемы, во главу угла ставилось решение поверхностных вопросов. Мы тратим почти весь наш бюджет на исследование отдельных болезней, а не на то чтобы развернуть масштабную федеральную программу по остановке старения.
  4. Общественное благо перестало быть полезным для людей.
    Королевские советники волновались о возможных социальных проблемах, которые могли быть вызваны антидраконистами. Они утверждали, что никакой социальной пользы от убийства дракона не будет. Однако общественный строй существует для людей, и спасение от смерти для них – в общем-то, неплохая штука.
  5. Неправильное представление о приоритетах.
    Тигр убил фермера. Гремучие змеи лишали покоя деревню. Король избавился от тигра и змей и таким образом сослужил службу своему народу. И все же это были ошибочные действия, потому что приоритеты были расставлены неправильно.
  6. Красивые фразы и пустая риторика.
    Советник короля по этике говорил красноречиво о человеческом достоинстве и о том, что предназначено нам природой. Говорил он об этом фразами, которые почти дословно взяты из речей советников современных лидеров3. Эта риторика была дымовой завесой, которая скорее скрывала, чем обнажала мораль. В отличие от этого, невинная и простая речь мальчика указала на центральный факт: дракон плохой, он убивает людей. Это же относится и к человеческому старению.
  7. Недооценка срочности.
    В басне долгое время никто полностью не осознавал, что именно находится под угрозой. Король осознал всю степень трагедии, только смотря в окровавленное лицо плачущего молодого человека. Поиск лечения старения – это не просто хорошая вещь, до которой мы может быть когда-нибудь доберёмся. Это – срочный моральный долг. Чем раньше мы начнём сосредоточенную программу исследования, тем скорее мы получим результаты. Разница в один год имеет значение. Если мы получим результаты на год позже, то за этот год умрёт больше людей, чем живёт в Канаде. Это соответствует примерно семидесяти жизням в минуту. При такой страшной скорости мы должны прекратить терять время.
  8. “И в скором времени, я полагаю, нам предстоят большие перемены!”
    Король и его народ встретят множество препятствий после того, как отшумят все празднования. Их общество настолько привыкло к присутствию дракона, что сейчас, после его уничтожения, наступит страшная пустота. Они должны будут работать творчески, на личном и социальном уровне, для того чтобы создать условия, при которых их жизнь будет динамичной и полной смысла за пределами тех тридцати-пятидесяти лет, к которым они привыкли. К счастью, человеческий дух способен приспосабливаться. Другая проблема, которую они могут в конечном счёте встретить, это перенаселённость. Возможно, люди должны будут заводить детей реже и в более позднем возрасте. Возможно, они смогут найти способы поддерживать больше населения при использовании более эффективных технологий. Возможно, они научатся колонизировать космос. Мы оставим басенных людей-долгожителей бороться с их новыми проблемами, а сами попытаемся добиться успеха в собственном приключении4.

Как вы можете помочь

  1. Распространяйте идеи. Если у вас есть сайт или блог, пожалуйста, разместите у себя ссылку на эту страницу. Делитесь мыслями с друзьями и коллегами. Предлагайте редакциям газет публиковать материалы о долговечности. Отвечайте на неумные и безграмотные замечания о старении, когда предоставляется возможность. Пусть ваш голос будет слышен.
  2. Организовывайте. Если вы активны в организации (например в политической партии, религиозной общине, профессиональном обществе), подумайте о том, есть ли какая-то возможность поддержать исследования продолжительности жизни.
  3. Оказывайте финансовую помощь. Подумайте о поддержке фонда “Methuselah Mouse Prize”, который награждает тех, кто сможет продлить жизнь мышей среднего возраста. История показывает, что награды сильно ускоряют научные достижения. Успех эксперимента с мышами откроет возможности к большим программам исследований на людях.
  4. Принимайте ответственность. Если вы являетесь крупным филантропом, то в ваших силах произвести значительные изменения. Аналогично, если вы, к примеру, журналист, правительственный чиновник, научный авторитет, член крупного научного фонда, то у вас есть прекрасная возможность оказать влияние и, следовательно, проявить инициативу.
  5. Думайте творчески. Придумайте сами, как сможете лучше помочь.
  • 1. Калорийное ограничение (диета, низкая по калориям, но высокая по питательным веществам) продлевает продолжительность жизни и задерживает наступление болезней, связанных с возрастом, у всех животных, на которых проводились испытания. Предварительные научные опыты на макаках-резусах и на беличьих обезьянах показывают аналогичные результаты. Совершенно очевидно, что ограничение в калориях будет работать и для нас. Очень немногие люди, однако, были бы готовы жить на голодной диете. Некоторые учёные находятся в поиске химических соединений, которые имели бы такой же эффект, как калорийное ограничение, но без необходимости голодания (см. например , Lane, M. et al. (1999) “Nutritional modulation of aging in nonhuman primates,” J. Nutr. Health & Aging, 3(2): 69-76.).
  • 2. Недавний опрос, проведённый на десятом конгрессе Интернациональной Ассоциации Биомедицинской Геронтологии показал, что большинство его участников считали возможным или “не невозможным”, что всестороннее функциональное омолаживание мышей среднего возраста будет возможным в течение 10-20 лет. (de Grey, A. (2004), “Report of open discussion on the future of life extension research,” (Annals NY Acad. Sci., 1019, in press)). See also e.g. de Grey, A., B. Ames, et al. (2002) “Time to talk SENS: critiquing the immutability of human aging,” Increasing Healthy Life Span: Conventional Measures and Slowing the Innate Aging Process: Ninth Congress of the International Association of Biomedical Gerontology, ed. D. Harman (Annals NY Acad. Sci. 959: 452-462); and Freitas Jr., R. A., Nanomedicine, Vol. 1 (Landes Bioscience: Georgetown, TX, 1999).
  • 3. См., например, Kass, L. (2003) “Ageless Bodies, Happy Souls: Biotechnology and the Pursuit of Perfection”, The New Atlantis, 1.
  • 4. Я признателен тем, кто предоставил свои комментарии к более ранним версиям этого проекта, включая Heather Bradshaw, Roger Crisp, Aubrey de Grey, Katrien Devolder, Joel Garreau, John Harris, Andrea Landfried, Toby Ord, Susan Rogers, Julian Savulescu, Ian Watson, and Kip Werking. Я также очень признателен Adi Berman, Pierino Forno, Didier Coeurnelle, и другим, кто перевёл басню на другие языки, и тем, кто помогал распространять идею и выражал поддержку. Спасибо!
Перевод: 
Евгений Фарберов, Kergma, Вадим Боровиков, Алиса-Наталия Логинова
Оцените качество перевода: 
Средняя оценка: 3.4 (499 votes)

Будущее искусственного интеллекта: вопросы и ответы

Стюарт Рассел

Что такое искусственный интеллект?

ИИ — это исследование того, как сделать машины действующими разумно. Грубо говоря, компьютер разумен в тех пределах, в которых он делает правильные вещи, а не неправильные. Правильным действием считается такое, которое позволяет с наибольшей вероятностью достичь цели. Или, выражаясь техническим языком, действие, которое максимизирует ожидаемую полезность. Создание искусственного интеллекта (ИИ) включает в себя решение проблем машинного обучения, рассуждения, планирования, восприятия, понимания языков, а также робототехники.

Распространённые заблуждения

  • ИИ — это конкретная технология. Например, в 1980-е и 1990-е годы часто приходилось видеть статьи, в которых ИИ приравнивался к экспертным системам (основанным на наборах правил); в 2010-х годах ИИ приравнивали к нейронным сетям (в основном, многослойным сверточным). Это примерно как подменять изучение физических законов - проектированием паровых машин. Исследования ИИ относятся к общей проблеме создания интеллекта в машинах; ИИ — не какой-то особый технический продукт, возникший в результате исследования данной проблемы.

  • ИИ — это особый класс технических подходов. Например, часто приходится видеть авторов статей, считающих, что ИИ должен быть основан на логическом или символьном подходе и противопоставляют этому, например, нейронные сети или генетическое программирование. ИИ — это не подход, это проблема. Любой подход к решению проблемы считается вкладом в развитие ИИ.

  • ИИ — это особое сообщество исследователей. Данное утверждение связано с предыдущим заблуждением. Некоторые авторы используют термин «вычислительный интеллект», упоминая некое якобы обособленное сообщество исследователей, использующих нейронные сети, нечеткую логику, генетические алгоритмы. Такой подход крайне неудачен, поскольку побуждает исследователей опираться только на те методы, которые приняты в их сообществе, а не на те, которые имеют смысл для поставленной задачи.

  • ИИ — это просто алгоритм. Строго говоря, такое мнение не является заблуждением, поскольку системы ИИ, как и компьютеры для любых других применений, построены на основе алгоритмов (которыми в широком смысле можно считать программы). Однако род задач, решаемых с помощью ИИ, имеют тенденцию сильно отличаться от традиционных алгоритмических задач, таких как сортировка списков чисел или извлечение квадратных корней.

Каким образом ИИ будет приносить пользу обществу?

Всё, из чего состоит цивилизация, является продуктом нашего разума. ИИ позволяет расширить наши интеллектуальные возможности различными способами, подобно тому, как подъемные краны позволяют нам передвигать сотни тонн груза, самолеты позволяют нам перемещаться со скоростью в несколько сотен километров в час, а телескопы позволяют нам наблюдать объекты на расстоянии в триллионы миль. Системы ИИ, спроектированные должным образом, позволят реализовывать человеческие ценности в гораздо большем масштабе.

Распространенные заблуждения

  • ИИ обязательно приведет к бесчеловечности. Во многих антиутопичных сценариях описывается, как злодеи используют ИИ для того, чтобы контролировать общество различными способами: слежкой, роботами-полицейскими, автоматизированным «правосудием» или командно-административной экономикой. Хотя такие варианты будущего несомненно возможны, большинство людей не будет поддерживать их. С другой стороны, ИИ предоставляет людям лучший доступ к знаниям и индивидуальному обучению; устраняет языковые барьеры; ликвидирует бессмысленную и однообразную тяжелую работу, низводящую людей до положения… эээ… роботов.

  • ИИ обязательно усилит социальное неравенство. Вполне возможно, что всё бо́льшая и бо́льшая автоматизация труда приведет к тому, что прибыли и богатства будут концентрироваться в руках все меньшего и меньшего числа людей. Однако у нас есть выбор в том, как именно использовать ИИ. Например, ИИ может способствовать взаимовыгодному сотрудничеству, связывать производителей с потребителями, что позволит большему количеству отдельных людей и мелких групп напрямую участвовать в экономике вместо того, чтобы зависеть от крупных корпораций-работодателей.

Что такое машинное обучение?

Это раздел ИИ, который изучает способы, которые позволят компьютерам повышать эффективность своих действий с помощью накопленного опыта.

Распространенные заблуждения

  • Машинное обучение — это новая область, которая большей частью заменила ИИ. По-видимому, данное заблуждение — неожиданный побочный эффект недавнего роста интереса к машинному обучению, в результате которого на курсы машинного обучения поступают студенты, не имевшие раньше дела с ИИ. Машинное обучение всегда было центральной темой ИИ: Тьюринг в статье 1950 г. утверждал, что обучение — это наиболее вероятный путь к ИИ, а самый успешный ранний ИИ, шахматная программа Артура Самуэля, был создан с использованием машинного обучения.

  • Машины не могут учиться, они делают только то, что программисты приказали им делать. Программист может приказать машине учиться! Самуэль был отвратительным шахматистом, но его программа быстро научилась играть намного лучше его. В наши дни многие важные системы ИИ построены методом машинного обучения на основе больших объемов данных.

Что такое нейронная сеть?

Нейронная сеть — вид вычислительной системы, которая имитирует свойства нейронов в живых организмах. Нейронная сеть построена из множества отдельных элементов, каждый из которых получает входной сигнал от одних элементов и посылает выходной сигнал другим элементам. (Эти элементы необязательно должны существовать физически, они могут быть компонентами компьютерной программы.) Выходной сигнал искусственного нейрона обычно вычисляется, исходя из взвешенной суммы входящих сигналов, причем она подвергается некой простой нелинейной трансформации. Ключевым тут является то, что вес каждой из межнейронных связей может быть откорректирован на основе полученного опыта.

Распространенные заблуждения

  • Нейронная сеть — это новый вид компьютеров. Практически все нейронные сети моделируются на обычных компьютерах, предназначенных для общих целей. Мы можем построить специализированные компьютеры (их иногда называют нейроморфическими) для более эффективного моделирования нейронных сетей. До сих пор нейроморфические компьютеры не продемонстрировали достаточных преимуществ, чтобы оправдать их более высокую стоимость и затраты времени на конструирование.

  • Нейронные сети действуют так же, как и мозг. Реальные нейроны — это гораздо более сложные образования, чем те простые элементы, которые используются в искусственных нейронных сетях. В природе существует много различных типов нейронов и связи между нейронами могут с течением времени меняться; помимо коммуникации между нейронами, мозг задействует и другие механизмы для корректировки поведения; и так далее.

Что такое глубинное обучение?

Глубинное обучение — отдельный вид машинного обучения, при котором обучаются нейронные сети, состоящие из многих слоев. Глубинное обучение стало очень популярным за последние годы и привело к существенному прогрессу в решении таких задач, как распознавание речи и визуальных объектов.

Распространенные заблуждения

  • Глубинное обучение — это новая область, которая в значительной мере вытеснит машинное обучение. Сообщество исследователей нейронных сетей занимается глубинным обучением уже больше двадцати лет. Недавние успехи достигнуты за счет относительно малого усовершенствования алгоритмов и моделей, а также за счет доступности объемных наборов данных и гораздо более мощных наборов компьютеров.

Что такое сильный и слабый ИИ?

Термины «сильный ИИ» и «слабый ИИ» были введены философом Джоном Сёрлом в отношении к двум различным гипотезам, выдвинутым, по его мнению, исследователями ИИ. Согласно гипотезе слабого ИИ, машины можно запрограммировать таким образом, что они будут вести себя как имеющие интеллект человеческого уровня. Согласно гипотезе сильного ИИ, подобные машины можно считать имеющими сознание и описывать их как действительно думающих и рассуждающих, используя эти слова в том же смысле, который применяется к людям.

Распространенные заблуждения

  • «Сильный ИИ» означает исследования ИИ, целью которых служит универсальный ИИ человеческого уровня. Это допустимая интерпретация термина «сильный ИИ», хотя это не то, что он означал при своем появлении в 1980 г. Аналогично, «слабый ИИ» используют для описания ИИ, нацеленного на специфические, узкие задачи, такие как распознавание речи или создание рекомендательных систем. (Также известен как «инструментальный ИИ».) Конечно, ни у кого нет авторского права на эти термины, однако использование существующих технических терминов для обозначения чего-то совсем другого легко приводит к путанице.

Что такое УИИ, ИСИ и сверхразум?

УИИ означает “универсальный ИИ”. Этот термин использутеся для отсылки к амбициозной задаче по созданию универсальных разумных систем, диапазон задач которых как минимум сопоставим с диапазоном задач, за которые могут браться люди.
ИСИ означает “искусственный сверхразум”, это ИИ, существенно превосходящий человеческий интеллект. Точнее говоря, сверхразумная система — такая, которая превосходит людей по способности выдавать высококачественные решения, которые учитывают больше факторов и дальше заглядывают в будущее.

Распространенные заблуждения

  • Ведущих исследователей ИИ не заботит УИИ. Конечно, в таких областях, как распознавание речи, есть исследователи, которые работают большей частью над специфическими задачами в своей области. Также некоторые исследователи преимущественно занимаются поисками коммерческих применений для существующих технологий. Тем не менее, у меня сложилось впечатление, что большинство исследователей ИИ в таких областях, как машинное обучение, аргументация и планирование, вносят свой вклад в решение задачи получения УИИ.

  • Люди обладают “универсальным” интеллектом. Данное утверждение обычно считают настолько очевидным, что не указывают его явно, но оно подразумевается практически во всех дискуссиях об УИИ. Его обычно обосновывают тем, что люди способны выполнять широкий спектр задач и работ. Но, разумеется, нет такой человеческой профессии, которую человек не мог бы выполнять, поэтому нет ничего удивительного в том, что люди могут быть заняты в широком диапазоне существующих человеческих профессий. Трудно придумать такое определение широты разума, которое бы не зависело от людских когнитивных искажений и ошибок, например, антропоцентризма. Так что мы остаёмся с утверждением, что люди разумны “универсально” в том смысле, что могут делать все вещи, которые люди могут делать. Когда-нибудь удастся приемлемым образом сформулировать, что люди могут многое, а до тех пор вопрос остается открытым.

Что такое закон Мура?

Термин «закон Мура» основывется на фактах и на предсказаниях экспоненциального роста плотности и/или производительности электронных схем. В современной трактовке, отходящей от оригинального заявления Мура, этот закон можно сформулировать так: скорость вычислений, которую можно получить за определённую сумму, удваивается каждые N месяцев, где N примерно равно 18.

Распространенные заблуждения

  • Закон Мура — это физический закон. На самом деле, этот закон представляет собой сумму эмпирических наблюдений за технологическим прогрессом; нет ничего, что делало бы его выполнение обязательным, и, конечно, он не будет оставаться справедливым бесконечно долго. Тактовая частота процессоров уже сейчас вышла на плато, и соотношение цена/производительность в последнее время улучшается за счет увеличения числа ядер (процессоров) на одном чипе.

  • Быстродействие машин возрастает с такой скоростью, что создание более эффективных алгоритмов — пустая трата времени. На деле же несложные улучшения в алгоритмах часто оказываются намного более значимыми, чем усовершенствования аппаратной части.

Позволяет ли закон Мура предсказать появление сверхразума?

Нет. Есть много вещей, которые системы ИИ не могут делать, например, понимать сложные тексты на естественных языках. Прибавка скорости в подобных случаях означает просто более быстрое получение неправильного ответа. Для создания сверхразума нужны крупные концептуальные прорывы, которые трудно предсказать. Появление более быстрых машин мало чем может помочь.

Распространенные заблуждения

  • Наращивание мощи машин означает увеличение их интеллекта. Эта тема очень часто поднимается в дискуссиях о будущем ИИ, однако она берет свое происхождение из путаницы между понятием «мощный» применительно к человеческому интеллекту и намного более простым понятием «мощный» при описании компьютеров, т. е. числа операций в секунду.

Что такое машинный IQ?

Не существует такой вещи, как машинный IQ. До той степени, до которой интеллектуальные возможности личности сильно зависят друг от друга при выполнении множества задач, можно говорить о том, что люди имеют IQ, хотя многие исследователи оспаривают полезность любой одномерной шкалы. С другой стороны, возможности машины могут никак не соотноситься между собой: машина может победить чемпиона мира по шахматам и при этом совершенно не уметь играть в шашки или любую другую настольную игру. Машина, лучше всех справившаяся с контрольной работой, может оказаться неспособной ответить на простой вопрос о том, как ее зовут.

Распространенные заблуждения

  • Машинный IQ возрастает согласно закону Мура. Поскольку такой вещи, как машинный IQ, не существует, он не может возрастать. Закон Мура относится к только к «сырой» производительности компьютера и никак не связан с существованием алгоритмов, способных решить ту или иную конкретную задачу.

Что такое взрывное развитие ИИ?

Термин «взрывное развитие интеллекта» был введен И.Д. Гудом в 1965 г. в эссе «Размышления о первой ультраинтеллектуальной машине». В эссе описывалась возможность того, что достаточно интеллектуальная машина окажется способной реконструировать свою аппаратную и программную часть с тем, чтобы создать еще более интеллектуальную машину. Процесс будет повторяться, пока «интеллект человека не останется далеко позади».

Распространенные заблуждения

  • Как только машины достигнут интеллекта человеческого уровня, взрывное развитие ИИ станет неизбежным. С другой стороны, логически возможно, что проблема проектирования поколения N + 1 слишком сложна для любой машины поколения N. Также вероятно, что построенные нами машины будут превосходить людей в одних важных аспектах, но отставать от них в других. Они могут превзойти людей в решении важных проблем, таких как проблема нищеты, лечение рака и т.п., оставаясь при этом неспособными предложить что-то новаторское в области исследований ИИ.

Когда системы ИИ станут более разумными, чем люди?

На этот вопрос ответить трудно и тому есть несколько причин. Во-первых, слово «станут» подразумевает, что это вопрос прогнозирования, подобно предсказанию погоды, в то время как на самом деле он содержит элемент выбора: названное событие вряд ли когда-нибудь случится, если человечество решит не преследовать данную цель. Во-вторых, фраза «более разумные» подразумевает простую линейную шкалу интеллекта, которой в реальности не существует. Машины уже намного лучше людей выполняют некоторые задачи, и намного хуже — другие. В-третьих, если допустить существование какого-нибудь приемлемого понятия универсального интеллекта, который можно создать у машин, тогда вопрос приобретает смысл, но на него все равно очень сложно ответить. Получение интеллекта такого уровня потребовало бы значительных прорывов в исследовании ИИ, а их чрезвычайно трудно предсказать. Тем не менее, большинство исследователей ИИ полагают, что системы ИИ превзойдут по разумности людей уже в этом столетии.

Распространенные заблуждения

  • Этого никогда не случится. Делать прогнозы о научных прорывах — на редкость неблагодарное занятие. Так, 11 сентября 1933 г. лорд Резерфорд, пожалуй, самый известный ядерный физик своего времени, сказал большой аудитории на ежегодном съезде Британской ассоциации содействия развития науки, что «Каждый, кто надеется, что преобразования атомных ядер станут источником энергии, исповедует вздор». (Он говорил аналогичные вещи во многих других случаях, используя множество формулировок, все из которых по существу означали, что высвобождение ядерной энергии невозможно.) На следующее утро Лео Силард открыл индуцированную нейтронами цепную ядерную реакцию, и вскоре после этого запатентовал ядерный реактор.

Что могут системы ИИ сейчас?

Диапазон задач, в которых машины делают заметные успехи, намного шире, чем несколько лет назад. Он включает игру в настольные игры, включая карты, ответы на простые вопросы, извлечение фактов из газетных статей, сборку сложных объектов, перевод текста с одного языка на другой, распознавание речи, распознавание разнообразных видов объектов на изображения, а также управление автомобилем в большинстве обычных ситуаций дорожного движения. Существует также множество менее очевидных задач, выполняемых системами ИИ, в том числе выявление мошеннических транзакций по кредитным картам, оценка заявок на кредит и торги на сложных электронных аукционах. Многие функции поисковой системы на деле выполняются простыми формами ИИ.

Распространенные заблуждения

  • Такая задача, как, например, игра в шахматы, одинакова что для человека, что для машины. Это неверно; машину приходится «вести за ручку» в гораздо большей степени. Люди учатся шахматам, слушая или читая правила, наблюдая и играя. Типичная шахматная программа лишена такой возможности. Правила непосредственно закладываются в машину в форме алгоритма, который генерирует все разрешенные ходы для заданной позиции. Машина не «знает» правила в том смысле, в каком их знает человек. Однако некоторые недавние работы по обучению с подкреплением представляют собой исключение: так, система DeepMind для игры в видеоигры обучается каждой игре с нуля. В действительности неизвестно, в чем состоит ее обучение, но представляется маловероятным, что она учит правила каждой игры.

  • Машины выполняют задачи так же, как и человек. Часто мы не знаем, как люди делают те или иные вещи, однако крайне маловероятно, чтобы их действия совпадали с операциями типичной программы ИИ. Например, программы для игры в шахматы учитывают возможные будущие последовательности ходов, начиная с текущей позиции на доске, и сравнивают их последствия, в то время как люди часто опознают возможное преимущество, которое можно получить, а потом ищут ходы, позволяющие его достичь.
    Если машина может выполнить задачу Х, то она сможет выполнить все задачи, доступные человеку, который способен решить задачу Х. См. вопрос о машинном IQ. В настоящее время машины не имеют универсального интеллекта в том смысле, что и человек, поэтому их способности часто очень узки.

Как ИИ повлияет на человечество в ближайшем будущем?

Очень вероятно, что в обозримом будущем появятся некоторые крупные новшества. Так, уже активно разрабатывается и тестируется автомобиль с системой автоматического управления. По меньшей мере одна компания обещала первые доставки грузов с их помощью в 2016 г. (Другие компании более осторожны, осознавая выпавшие им трудности.) Благодаря совершенствованию компьютерного зрения и передвижения с помощью ног стало практичным использовать роботов в неструктурированном окружении. К подобным задачам относятся сельское хозяйство, сервисное обслуживание техники, а также помощь людям (особенно престарелым и немощным) в домашних делах. Наконец, машины улучшили свое понимание речи, поэтому поисковые системы и «персональные помощники» на мобильных телефонах перешли от индексации веб-страниц к их пониманию, что привело к качественному улучшению способности таких систем отвечать на вопросы, синтезировать новую информацию, давать советы и сопоставлять факты. Кроме того, ИИ может сильно повлиять на такие области науки, как системная биология, в которых сложность и большой объем информации бросают вызов способностям человека.

Распространенные заблуждения

  • Роботы готовы захватить власть. См. раздел «Когда системы ИИ станут более разумными, чем люди?» В подавляющем большинстве случаев прогресс в области ИИ происходит пошагово и относится к тому, как сделать компьютеры и роботов более полезными. Тем не менее, в долгосрочной перспективе проблема сохранения людского контроля остается важной.

Приведет ли прогресс ИИ и робототехники к тому, что большинство профессий, в настоящее время выполняемых людьми, перейдет к машинам?

Некоторые исследования, например, выполненное Frey and Osborne (2013), говорят о том, что из-за автоматизации в ближайшем будущем могут пострадать до половины профессий в США; другие авторы, например, Brynjolfsson and McAfee (2011), указывают, что процесс уже начался: медленный возврат к полной занятости после рецессии 2008 г., а также расхождение между повышением продуктивностью и стагнацией заработной платы являются последствиями повышенной автоматизации в профессиях, которые предусматривают рутинные операции. Принимая во внимание, что прогресс ИИ и робототехники продолжается, представляется неизбежным, что большинство профессий будет затронуто. Это не обязательно означает массовую безработицу, но может привести к большому сдвигу в структуре экономики и потребовать новых идей по организации работы и оплате.

Распространенные заблуждения

  • Любая работа, которую выполняет робот, означает меньше работы для людей. Работа — не игра с нулевой суммой: человек, которому помогает команда роботов, может быть намного более продуктивным и, следовательно, гораздо более востребованным; без помощи роботов работа человека, сделанная с тем же самым старанием, может оказаться экономически неоправданной, и ни человек, ни роботы не делали бы ничего. Из тех же соображений доступность малярных кистей и валиков означает работу для маляров: если краску было бы необходимо наносить по капельке кончиком иглы, не было бы возможности нанимать маляров для покраски зданий.

Что такое дроны, автономное оружие и роботы-убийцы?

Дроны представляют собой летательные аппараты, которыми удаленно управляют люди; некоторые дроны несут оружие (обычно реактивные ракеты), запускаемые оператором. Автономное оружие — это любое устройство, которое автоматические выбирает и поражает (т. е. пытается разрушить) цель. Современные системы включают стационарные самонаводящиеся пулеметы (используются в корейской демилитаризованной зоне) и различные виды корабельных противоракетных комплексов. Быстро повышающаяся техническая возможность заменить человека-оператора дрона на полностью автоматическую систему привела к появлению летальных автономных комплексов вооружения (LAWS), которые стали субъектом дискуссии на Женевской конференции по разоружению. Термин «робот-убийца» описывает класс вооружений, который может включать средства передвижения на колесах или ногах, а также корабли, летательные аппараты и даже искусственных летающих «насекомых».

Распространенные заблуждения

  • До полностью автономных систем вооружения осталось 20–30 лет. Данное утверждение повторяется во многих статьях о дискуссиях в Женеве по поводу LAWS. Источник этого заблуждения неясен, однако, по-видимому, оно проистекает из переоценки. Технологии развертывания автономных вооружений по большей части готовы к использованию; Министерство обороны Великобритании заявило без лишних деталей, таких как применение в морском бою, что создание полностью автономных вооружений «может быть осуществимым теперь».

Надо ли бояться роботов-убийц, кидающихся на всех или захватывающих власть во всем мире?

Если автономные вооружения будут развернуты, они столкнутся с теми же трудностями, что и обычные солдаты, которым приходится отличать друга от врага, мирных жителей от боевиков. Возможно, что произойдет тактический несчастный случай с гибелью гражданского населения, либо функционирование робота пострадает из-за радиотехнических помех либо кибератак. В свете последней проблемы некоторые военные эксперты предсказывают, что автономные вооружения будут закрытыми системами без электронной связи; с другой стороны, из-за этого будет труднее перехватить управление у автономного оператора, если система станет вести себя некорректно. В обозримом будущем автономные вооружения, вероятно, будут тактическими и станут выполнять задания ограниченного масштаба. Крайне маловероятно, чтобы их программировали для самостоятельной разработки планов глобального масштаба.

Распространенные заблуждения

  • Мы можем просто нажать на выключатель. Выключатель сделает любую автономную систему вооружения уязвимой для кибератак, следовательно, такие каналы связи лучше отключать. Кроме того, если обладающей универсальным интеллектом системе дать задание для выполнения, у нее появится мотивация сопротивляться выключению.

Что такое экзистенциальный риск, связанный с ИИ? Он реален?

Ранние предостережения о риске, исходящем от ИИ, были довольно неопределенными. И.Д. Гуд добавил к своему предсказанию пользы от взрывного развития ИИ оговорку «при условии, что машина достаточно покорна, чтобы рассказать нам, как удержать контроль над собой». Есть общее ощущение, что наличие сверхразумных сущностей на нашей планете может быть причиной для тревоги; с другой стороны, более умные машины, как правило, более полезны, поэтому неочевидно, почему создание гораздо более умных машин обязательно принесет зло.

Тем не менее, доказательство очень простое.

  1. Представьте сверхразумную систему, предназначенную для достижения определенной цели, точно указанной человеком-проектировщиком. Теперь представим, что эта цель не совсем согласуется с ценностями рода людского, определиться с которыми очень трудно (и это в лучшем случае).
  2. Любая достаточно способная разумная система будет стремиться обеспечить непрерывность своего существования, а также захватить физические и компьютерные ресурсы — не ради себя, а для достижения успеха в выполнении задания.

И теперь у нас проблема. По сути это все та же старая история о джинне и лампе, об ученике чародея или царе Мидасе: вы получаете в точности то, что просите, а не то, что подразумеваете. В 1960 г. Норберт Винер, пионер теории автоматического управления, писал: «Если мы используем для достижения своих целей механическое средство, в работу которого не можем эффективно вмешаться, лучше быть совершенно уверенным в том, что цель, заложенная в машину, — эта именно та цель, которую мы действительно желаем». Марвин Минский придумал пример, в котором машину просят вычислить столько знаков числа пи, сколько возможно. Ник Бостром дал пример запроса на массу канцелярских скрепок. Человек интерпретирует эти цели, исходя из общечеловеческих целей, которые в частности подразумевают, что покрытие всей Земли компьютерными серверами или канцелярскими скрепками — это плохое решение. Высокоодаренная сущность, принимающая решения, особенно если благодаря Интернету она имеет доступ ко всей мировой информации, миллиардам экранов и большей части нашей инфраструктуры, может бесповоротно изменить человечество. К счастью, сейчас природа проблемы несколько прояснилась, поэтому можно начать работу над ее решениями.

Распространенные заблуждения

  • Сверхразумные машины спонтанно обретают сознание, или же они по природе своей злы и ненавидят людей. Писатели-фантасты склонны делать одно или оба из этих допущений, чтобы создать антагонизм между машинами и людьми. Такие допущения не нужны и не мотивированы.

  • Системы ИИ разрабатываем мы, люди, так зачем нам разрушать самих себя? Некоторые защитники ИИ возражают, что поскольку системы ИИ строятся людьми, нет причин предполагать, что когда-нибудь мы построим нечто такое, чьей целью станет уничтожение человечества. Они не ухватывают самой сути, а именно того, что преднамеренный злой замысел со стороны разработчика или агента не является необходимой предпосылкой для существования экзистенциальной угрозы; проблема проистекает из неверного определения целей.

  • Этого никогда не случится. См. «Когда системы ИИ станут более разумными, чем люди?»

Почему люди ни с того ни с сего стали беспокоиться об ИИ?

Начиная с 2014 г. СМИ регулярно сообщают об опасениях, высказанных такими хорошо известными фигурами, как Стивен Хокинг, Илон Маск, Стив Возняк и Билл Гейтс. В репортажах обычно цитируются наиболее мрачные и эффектные реплики и опускаются стоящие за ними основания, а также суть опасений, которые близки к описанным в разделе «Что такое экзистенциальный риск, связанный с ИИ?» Во многих случаях опасения основываются на чтении книги Ника Бострома «Искусственный интеллект». Другая причина, породившая теперешнюю волну интереса к данной теме, — это тот факт, что прогресс в разработке ИИ ускоряется. Это ускорение, вероятно, обусловлено комбинацией факторов, в том числе постепенно упрочняющимся теоретическим фундаментом, который связывает различные области разработки ИИ в единое целое, и быстрым ростом коммерческих вложений в исследования ИИ, поскольку продукция академических лабораторий достигла того уровня качества, при котором ее можно применять для разрешения проблем в реальном мире.

Распространенные заблуждения

  • Если люди волнуются, значит, до сверхразумного ИИ рукой подать. Вряд ли найдется исследователь ИИ, который думает, что до сверхразумных машин рукой подать. (См. раздел «Когда системы ИИ станут более разумными, чем люди?») Это не значит, что мы должны ждать до того момента, чтобы воспринимать проблему серьезно! Если мы обнаружим астероид диаметром 10 миль, траектория движения которого пересечется с Землей через 50 лет, разве мы отмахнемся от этой новости со словами: «Я уделю ей внимание, когда до столкновения будет 5 лет?».

Каким будет прогресс ИИ в ближайшие десятилетия?

Весьма вероятно, что области, в которых не нужен универсальный интеллект человеческого уровня, достигнут зрелости и породят надежные высококачественные продукты уже в следующее десятилетие. В эти области входят распознавание речи, извлечение информации для создания простого фактического материала, визуальное распознавание объектов и поведения, роботизированное обращение с повседневными вещами и автономное вождение. Усилия по улучшению качества и расширению границ для систем понимания текста и видео, а также придание домашним роботам большей надежности и общей полезности приведут к системам, проявляющим здравый смысл, связывающим вместе обучение и действие во всех этих модальностях. Специальные системы для приобретения и организации научных знаний, а также для работы со сложными гипотезами, вероятно, сильно повлияют на молекулярную биологию, системную биологию и медицину. Нам следует начать поиски похожих влияний в социальных науках и формировании политики, особенно учитывая массивный рост машиночитаемых данных о человеческой деятельности и потребность в машинах, которые понимали бы человеческие ценности, если такие машины будут надежными и полезными. Публичные и частные источники знаний (системы, которые знают и делают выводы о реальном мире, а не только хранят данных) станут частью общества.

Что такое «сопоставление ценностей»? Какое оно имеет значение?

Сопоставление ценностей — это задача сопоставления ценностей (целей) машин и людей с тем, чтобы оптимальным выбором машины было, грубо говоря, всё, что делает людей наиболее счастливыми. Без такого сопоставления есть немалый риск, что сверхразумные машины выйдут из-под нашего контроля.

Распространенные заблуждения

  • Все, что нам нужно, — это законы робототехники Азимова. Законы Азимова имеют достаточно смысла для человека, чтобы сформировать основу различных сюжетов рассказов, однако без значительного дальнейшего уточнения для робота они практически не несут полезной информации. Основа законов в виде набора правил, а не функции полезности, создает проблемы: их лексикографическая структура (т. е. тот, факт, что любой вред людям всегда более важен, чем весь вред роботам) означает, что нет никакой неопределенности и невозможно компромиссное решение. Так, роботу придется спрыгнуть с обрыва (и разрушить себя), чтобы поймать комара, который мог бы когда-нибудь в будущем укусить человека. Робот должен запереть дверь в автомобиль, потому что когда человек садится в машину, риск вреда для него повышается. Наконец, при подходе, направленном на максимизацию полезности для человека, нет необходимости в третьем законе (самосохранение робота), поскольку робот, который не поддерживает собственное существование, не может внести вклад в полезность для человека и, конечно, разочарует своего хозяина.

Что сообщество, занимающееся ИИ, предпринимает в связи с экзистенциальным риском?

Большинство дискуссий об экзистенциальном риске, исходящем от ИИ, проходило без основной части сообщества, занимающегося ИИ; поначалу это привело к преимущественно негативным реакциям со стороны исследователей в области ИИ. В 2008 г. Американская ассоциация искусственного интеллекта (AAAI) сформировала группу для изучения данной проблемы. В промежуточном отчете группы было отмечено существование некоторых долговременных вопросов, однако приуменьшено значение мнения о том, что ИИ представляет собой риск для человечества. Позднее, в январе 2015 г. в Пуэрто-Рико была проведена конференция, спонсированная Институтом будущего жизни, которая привела к публикации открытого письма, которое подписали присутствовавшие, а затем еще 6000 человек. В письме призывалось сосредоточить особое внимание исследований на данной проблеме, а также предлагался более подробный план исследований. Вскоре Илон Маск основал грант в размере 10 млн долларов на исследования в данной области. Кроме того, Эрик Хорвиц спонсировал долгосрочное исследование, которое, как ожидается, будет отслеживать этот вопрос и, если потребуется, давать рекомендации. пять крупнейших технологических компаний сформировали Партнерство по вопросам ИИ, чтобы решать вопросы как краткосрочной, так и долгосрочной перспективы, касающиеся этики и безопасности ИИ. Наконец, AAAI сформировала постоянный комитет по этическим проблемам ИИ.

Распространенные заблуждения

  • Регулировать или контролировать исследования невозможно. Некоторые утверждают, что невозможно избежать отрицательных последствий, поскольку прогресс исследований не остановить и невозможно регулировать. На самом деле, это заявление — ложь: Асиломарская конференция 1975 г. по рекомбинантной ДНК успешно наложила добровольный мораторий на эксперименты, цель которых заключалась в создании наследуемых генетических модификаций у людей; в наши дни этот мораторий не только действует, но и стал международной нормой. Кроме того, если исследования по созданию ИИ человеческого уровня будут протекать бесконтрольно, что вполне может случиться, еще важнее начать серьезное изучение методов, гарантирующих, что системы ИИ останутся под нашим контролем.

Чем я могу помочь?

Если вы исследователь, занимающийся ИИ (или экономист, специалист по этике, политолог, футурист или юрист, интересующийся этими вопросами), то для вас есть идеи и темы в программе исследований, берущей начало на конференции 2015 в Пуэрто-Рико. Вероятно, будут проводиться воркшопы, связанные с крупными конференциями по ИИ, осенним и весенним симпозиумами AAAI и т. п. Больше информации можно найти на веб-сайтах FHI, CSER, FLI MIRI и Center for Human-Compatible AI.

Распространенные заблуждения

  • Сделать ничего нельзя: эти вещи случатся, и никакие действия с нашей стороны не изменят будущее. Ничто не может быть дальше от истины. Мы не можем предвидеть будущее, потому что мы его создаем. Это коллективный выбор.
Перевод: 
Сергей Скептик, Pion
Оцените качество перевода: 
Средняя оценка: 3.8 (18 votes)

ИИ - не гонка вооружений

Катя Грейс

Область того, что ИИ не может делать, сокращается каждую неделю. Машины уже могут писать красивую прозу и полезный код, сдавать экзамены, создавать красивые произведения искусства, и предсказывать, как свернётся белок.

Эксперты напуганы. Прошлым летом я опросила более 550 исследователей ИИ, и почти половина из них считала, что, будучи созданным, мощной машинный интеллект с шансом не меньше 10% приведёт к «крайне плохим (например, вымирание людей)» последствиям. 30 мая сотни учёных из области ИИ, вместе с генеральными директорами ведущих ИИ-лабораторий, вроде OpenAI, DeepMind и Anthropic, подписали заявление, призывающее к осторожности касательно ИИ: «Снижение риска вымирания из-за ИИ должно быть глобальным приоритетом подобно другим всеобщим рискам, такими как пандемии или ядерная война».

С чего всё это? Простейший аргумент – прогресс в ИИ приведёт к созданию сверхчеловечески-умных искусственных «существ» с целями, конфликтующими с интересами человечества, и способностью автономно их преследовать. Представьте себе вид, который для homo sapiens будет тем же, что homo sapiens для шимпанзе.

Однако, пока многие боятся, что ИИ может привести человечество к гибели, некоторые беспокоятся о том, что если «мы» – обычно имеются в виду исследователи на Западе, или даже исследователи из конкретной лаборатории или компании – не будем нестись вперёд, то это сделает кто-то менее ответственный. Если более безопасная лаборатория приостановится, наше будущее будет в руках более беспечной лаборатории – например, китайской, даже не пытающейся избежать значительных рисков.

Аргумент проводит аналогию между ситуацией с ИИ и классической гонкой вооружений. Скажем, я хочу одолеть вас в войне. И я, и вы тратим деньги на создание всё большего количества оружия, но никто не получает сравнительного преимущества. В конце концов, мы потратили много денег и ничего не получили. Это может показаться безумием, но, если кто-то не будет принимать участие в гонке, эта сторона проиграет. Мы в ловушке.

Но ситуация с ИИ критически отличается. Отметим, что в классической гонке вооружений сторона теоретически может вырваться вперёд и победить. Но в случае ИИ победителем будет сам мощный ИИ. Это может превратить спешку в проигрышный выбор.

Некоторые другие переворачивающие игру факторы в случае ИИ: сколько безопасности можно купить, жертвуя скоростью; насколько вложения одной стороны в безопасности снижают риск для всех; означает ли второе место мелкие потери или полную катастрофу; насколько растёт опасность, если другие стороны тоже разгоняются; и как отвечают остальные игроки.

Настоящая игра сложнее, чем можно описать простыми моделями. В частности, если отдельные нескоординированные стимулы приводят к извращённой ситуации «гонки вооружений», то выигрышный ход, при наличии возможности, это покинуть игру. И в реальном мире мы можем скоординироваться для выхода из такой ловушки: мы можем разговаривать друг с другом; можем давать обязательства и отмечать их соблюдение; можем призывать правительства к регуляциям и соглашениям.

В случае ИИ выгода отдельного игрока может быть не такая же, как у всего общества. Для большинства из нас не особо важно, сможет ли Meta опередить Microsoft. Но исследователи и инвесторы, стремящиеся к славе и богатству могут куда больше об этом беспокоиться. Разговоры о ИИ как о гонке вооружений усиливают нарратив о том, что им надо преследовать свои интересы. Остальным из нас стоит проявить осторожность, и не дать им всё решить.

Лучшая, чем гонка вооружений, аналогия для ИИ – толпа, стоящая на тонком льду, и несметные богатства на дальнем берегу. Все могут достичь их, ступая осторожно, но кто-то думает «Если я побегу, лёд может сломаться, и мы все провалимся, но я уж точно могу бежать осторожнее, чем Боб, а он может решить это сделать».

С ИИ мы можем оказаться в точной противоположности гонки. Лучшее индивидуальное действие – продвигаться медленно и осторожно. А коллективно нам следует не дать никому пожертвовать миром в извращённой гонке к разрушению – особенно, когда пути к скоординированному выходу так слабо исследованы.

Перевод: 
Выменец Максим
Оцените качество перевода: 
Средняя оценка: 3.9 (8 votes)

Книга об интересных и здоровых встречах

maia

За последние шесть лет я и мой супруг организовывали встречи сообщества LessWrong в двух разных городах (если быть точной, в начале мы ещё не были женаты). С течением времени мы стали гораздо ленивее относиться к вопросам организации, однако нам удавалось сохранять встречи такими же удачными, как и раньше — в первую очередь благодаря набору простых рецептов и сценариев для проведения встреч. Я решила собрать их здесь, чтобы и другие люди могли ими воспользоваться.

Если вы воспользовались одним из рецептов и вам понравился результат (или наоборот, очень не понравился), мне очень хотелось бы узнать, как всё прошло. Эта статья станет только лучше, если в неё включать дополнения, основанные на опыте других людей. На Lesswrong я maia.

Введение

Что это за текст?

Это пошаговая инструкция, на основе которой мы организовывали еженедельные встречи. Здесь нет философских рассуждений о том, что из себя представляют эти встречи или что они должны из себя представлять. Также не следует считать, что любой другой обязан организовывать встречи, следуя этой инструкции, — есть множество других способов, которые подойдут другому организатору. В этом документе описано, что делали мы для достижения наших целей. Он пригодится в качестве всеобъемлющей инструкции любому, кто хочет взять наши встречи как отправную точку. Или даже как образец.

Кто вы?

Наши верительные грамоты: Когда мы начали организовывать рационалистские встречи в Вашингтоне (округ Коламбия), на них приходило в среднем от нуля до трёх человек. Когда мы оттуда уезжали, на встречи каждую неделю стабильно ходило 7-10 человек. В целом на встречи ходило примерно 20-30 человек, и у нас было небольшое сообщество друзей, которые встречались друг с другом и вне наших встреч. Насколько я знаю, сегодня дела там обстоят примерно так же. Встреч в Сан-Франциско до нашего переезда туда не существовало, сейчас там ситуация примерно такая же. Другими словами, мы считаем, что нашли формулу создания стабильного маленького сообщества. Благодаря нашим встречам мы завели многих друзей.

С другой стороны, нам определённо есть ещё чему поучиться. Чтобы достичь состояния, в котором другие люди начинают помогать с организацией встреч требуется много времени и сил. В случае Сан-Франциско это заняло почти четыре года. И я до сих пор не знаю, как решать проблему с людьми, которые «перерастают» встречи.

О какого рода встречах идёт речь?

Мы в первую очередь сосредотачивались на организации социальных встреч с целью создать сообщество там, где раньше его не было. Наши встречи не были направлены на создание атмосферы «додзё», «прокачку» рационалистских навыков или организацию крупномасштабных работающих проектов. В документе описаны форматы, которые направлены не на социальную составляющую (например, «Совместная работа»), но цели, которые преследовали эти встречи, не относились к нашим основным.

Встречи, о которых идёт речь, — это встречи сообщества LessWrong. Это означает, что они оптимизировались под определённый тип людей/групп людей. А именно: людей с не слишком развитыми социальными навыками, у которых зачастую не было опыта встреч сообщества LW вживую, но которые в целом знакомы с онлайн-сообществом и скорее всего читали какие-то из Цепочек (или даже все). Многое из описанного в этом документе будет работать даже в других условиях, однако я не могу это гарантировать, поскольку не пробовала.

Люди бывают разные, опыт бывает разный, сообщества бывают разные. Пробы и ошибки вам помогут. Здесь описано лишь то, что работало для нас.

Первые шаги

Чтобы организовать встречу, нужно немногое:

  1. План проведения встречи.
  2. Заранее распространённое объявление.
  3. Место.
  4. Организатор, который занимается проведением встречи.

Рассмотрим каждый из упомянутых пунктов.

План

Этот документ предназначен именно для того, чтобы помочь вам найти план. Вы можете выбрать один из планов встреч ниже.

План действий неплохо помогает преодолеть неловкость. Он должен быть достаточно чётким, чтобы люди могли начать общение, но не настолько обязывающим, чтобы они чувствовали себя неловко отклоняясь от него.

Если у вас есть идея для встречи, запишите её, проведите такую встречу и оцените, что у вас получилось. Если получилось хорошо, попробуйте использовать эту идею и дальше. Если при повторении ничего не портится, используйте её как можно больше. Все виды встреч, описанные здесь, получились именно так.

Встречи разного вида мы повторяли с разной частотой. Некоторые варианты встреч — например, «Совместная работа» — легко повторять очень часто. Другие — например, «Короткие доклады» — становятся лучше, если интервал между ними достаточно велик, чтобы люди могли найти больше интересных тем, о которых можно рассказать.

Примерно раз в год мы устраивали «Метавстречи». На них мы обсуждали и пересматривали расписание встреч, изменяли отдельные их виды и предлагали новые варианты.

Я составляю расписание встреч на ближайшие шесть месяцев. Выглядит оно примерно так:

Расписание встреч

Расписание позволяет очень легко объявлять о новой встрече каждую неделю. Чем меньше нагрузка на организаторов, тем больше уверенности, что встреча состоится.

Последнее время мы обычно начинаем запланированную часть встречи примерно через 30-45 минут после заявленного времени начала встречи. Это позволяет дождаться тех, кому сложно прийти вовремя, а также немного разрядить обстановку. Вы можете внести в это правило какие-нибудь поправки, но мне кажется полезным оставить хотя бы несколько минут до начала основной деятельности на «Привет, как тебя зовут? Как поживаешь? Откуда ты узнал о встрече?»

Объявление

Вы не сможете устроить встречу, если люди на неё не придут. Чтобы люди на пришли на встречу, вы должны им о ней рассказать.

Большинство участников все эти годы узнавали о наших встречах благодаря сайту LessWrong. Я очень рекомендую размещать объявление там.

Возможно, в вашем городе есть какие-нибудь другие группы, связанные с рациональностью, списки рассылки или просто люди, про которых вы знаете, что им это будет интересно. Попробуйте пригласить и их. Людям очень нравится, когда им лично говорят, что вы будете рады их видеть (естественно, так говорить стоит, только если это правда).

Обычно мы размещали объявления в четырёх местах: LessWrong, местный список рассылки LW, Facebook и репозиторий встреч SlateStarCodex.

Чтобы облегчить нам работу, мой супруг написал скрипт на питоне, который принимал на вход название вида встреч (например, «Совместная работа») и затем отправлял соответствующее описание во все четыре места. Вы можете найти этот скрипт на Гитхабе.

Если вы готовы потратить некоторое количество денег, можете попробовать ещё и meetup.com. У людей, которые приходят оттуда, часто другие представления о том, что такое «рациональность», и они окажутся не столь знакомыми с существующим внутренним жаргоном или понятиями. Большинство наших встреч проходили благодаря объявлениям на LessWrong’е и в местных группах, поэтому мне сложно что-либо посоветовать по поводу общения с людьми, которые ничего раньше не слышали о сообществе рационалистов.

Стоит ли опрашивать людей индивидуально, чтобы знать, сколько придёт? Нет. По-моему, не стоит тратить на это время, этот приём не работает.

Иногда можно устроить такой опрос, особенно при планировании особо популярной встречи. Однако, судя по всему, большинству людей нравится иметь возможность принять решение «идти или нет» именно в день встречи. Письмо с просьбой ответить, придёте ли вы, может отпугнуть человека, который в другой ситуации передумал бы в последний момент. Можно, конечно, писать крупными буквами: «ДАЖЕ ЕСЛИ ВЫ НАПИСАЛИ, ЧТО НЕ МОЖЕТЕ ПРИЙТИ, ВСЁ РАВНО ПРИХОДИТЕ, ЕСЛИ СМОЖЕТЕ». Письма с таким вступлением не повредят, но не стоит ожидать от них слишком многого. На посещаемость они, судя по всему, почти не влияют1.

Ещё одна стратегия — это заявить «Я буду в таком-то месте, начиная с XX:YY» и находиться там всё время, чтобы увидеться с теми, кто всё-таки придёт. Таким образом можно встретиться с людьми, даже если они придут очень-очень поздно — что, по нашему опыту, случается. Такая стратегия помогает, если у вас очень мало потенциальных посетителей, или вы начинаете встречи с нуля и не уверены, чего стоит от них ожидать.

Для каждого объявления о встрече мы используем один и тот же формат:
0. Заголовок, где указан тип встречи и дата;
1. Дата/время/место;
2. Текст, описывающий, чему посвящена именно эта встреча;
3. Шаблонный текст, описывающий, что это за встречи вообще.

Ниже приведён шаблонный текст, который мы использовали для встреч в Сан-Франциско:

Формат: Можно подходить, начиная с 18:15. Обычно в начале встречи мы заказываем еду. Основная часть встречи начинается примерно в 18:45-19:00 и продолжается примерно до 21:00.

О встречах: Главная цель встреч LessWrong в Сан-Франциско - создать интересное социальное пространство для структурированных взаимодействий, где новички и старожилы сообщества могут собраться, чтобы с удовольствием пообщаться. Мы рады всем.

Тема встречи лишь инструмент для создания интересного взаимодействия. Мы не хотим, чтобы она кого-то сдерживала. Мы рады, когда люди выходят из основного разговора или отклоняются от темы, если так им становится более интересно (если пространство позволяет, с ушедшими от основной темы обсуждениями лучше отходить в сторону).

Возможно, вы также захотите вставить в начало объявления БОЛЬШИМИ БУКВАМИ или жирным шрифтом важную информацию - например, изменение даты, времени, места или сообщение о том, что нужно сделать участникам (скажем, отметиться, что они хотят участвовать в готовке).

Наконец, очень важно размещать объявление хотя бы за неделю до встречи, чтобы люди могли учесть встречу в своих планах. У нас часто были трудности, когда мы оповещали людей слишком поздно — где-то за один день, — и такие случаи очень сильно коррелировали с низкой посещаемостью.

Организатор встречи

Это вы! (Я полагаю.)

Примечание. Человек, который занимается проведением встречи не обязан быть тем же человеком, который размещает объявление. Вы можете поделиться частью обязанностей с другом, чтобы на каждого человека падала меньшая нагрузка.

Мой супруг и я долгое время проводили встречи совместно, поэтому один из нас мог подменить другого, если у того были другие дела или он недостаточно хорошо себя чувствовал. Так гораздо легче.

Как человек, проводящий встречу, вы должны объявить тему встречи и рассказать, чем вы сейчас будете заниматься. Например: «Привет всем, мы начинаем. Мы будем заниматься тем-то и тем-то. Сначала мы …»

Пара советов:

Возможно, вам будет неловко руководить группой. Это нормально, и если вам неуютно, вы можете на это намекнуть, сказав что-нибудь вроде: «Ага, кажется, я провожу эту встречу». Но на самом деле это необязательно. Встреча - это не что-то сверхважное. Организация встречи - это не претензия на лидерство, это ваш подарок другим людям. Возможно, вы не самый лучший кандидат, чтобы руководить этой группой людей, но именно вы вызвались проводить встречу, вы стараетесь изо всех сил, и важно именно это.

Организатору стоит заводить разговоры с новичками и помогать им вливаться в группу. У меня не всегда хватает сил, чтобы заниматься этим достаточно активно, но когда у меня получается, это сильно помогает. Обычно я начинаю с вопроса: «Как вы узнали об этой встрече / что подтолкнуло вас сюда прийти?» (Кстати, заодно это помогает понять, как работают ваши объявления.) Часто за этим следуют вопросы вида: «О, вы узнали о LessWrong’е из такого-то блога? Какие темы в этом блоге вас больше всего интересуют?» Или: «Вы были на таком-то мероприятии? Как оно прошло?» Старайтесь поддерживать разговор и задавать открытые вопросы. Не бойтесь рассказывать о себе, если это разумным образом вписывается в разговор.

Место

Вам нужно место, куда все смогут прийти и находиться там в течении всей встречи. Возможно, вам понадобится человек, который сможет это место предоставить. Например, встреча может проходить на чьей-нибудь квартире или на территории организации, где работает один из участников. Совершенно необязательно, чтобы именно предоставивший место проводил встречу.

Желательно, чтобы место встречи было:

  • Достаточно просторным, чтобы в нём легко помещались все, кто придёт.
    • До того, как вы провели хотя бы одну встречу, сложно предсказать, сколько человек захочет прийти. Скорее всего, на первую встречу в городе придёт в два раза больше людей, чем будут ходить потом (поэтому ожидайте, что на второй встрече будет в два раза меньше людей, чем на первой). На нашу первую встречу в Сан-Франциско пришло 29 человек.
  • Не слишком шумным, чтобы люди могли слышать друг друга. Рестораны с большим количеством посетителей, скорее всего, не подойдут.
  • Со стульями и столами, на которых можно что-нибудь разложить или писать.
  • Достаточно легко доступным.
  • Необязательно, но даёт большой плюс: Со звукоизолированными комнатами, которые можно использовать для отдельных бесед.

Примеры мест встреч, в которых нам было удобно: чей-нибудь дом или квартира, общественное пространство в многоквартирном доме, открытые для общественного посещения места вроде двора Роберта и Арлин Когод в Вашингтоне, офис, в котором хотят принимать встречи, парки в случае хорошей погоды. Также можете попробовать пространства для коворкинга или тихие рестораны или кафе, если там не возражают против шумных групп.

Если вы проводите встречи еженедельно, очень помогает, если встречи проходят каждую неделю в одном и том же месте. Люди привыкают к месту, и им легче планировать, сколько времени им потребуется, чтобы туда добраться. В Сан-Франциско мы какое-то время пробовали менять места встреч, но перестали, после того как многие участники приехали не туда.

Кроме того, неплохо иметь запасной вариант (или даже два) на случай, если привычное место встречи в какой-то день окажется недоступным по тем или иным причинам.

Рецепты встреч

Переходим к основной части: виды встреч и как их проводить.

Некоторые варианты встреч проводить сложнее, или к ним сложнее готовиться, чем к другим. Я выставила оценки для предварительной работы и социальных усилий, требуемых от ведущего.

Решение проблем в группах

Предварительная работа: Нет.

Нагрузка на ведущего: Средняя.

Необходимое: Бумага и письменные принадлежности.

Текст объявления

Мы собираемся решать проблемы друг друга! Встреча проходит так: несколько минут мы все молча размышляем над проблемами, затем вслух рассказываем, над какими проблемами мы хотели бы поработать. После этого мы разбиваемся на группы по принципу: какие проблемы лучше обсуждать вместе.

Как проводить

Выдайте каждому бумагу и карандаш.

Заведите таймер на 3 минуты для обдумывания проблем. Расскажите собравшимся примерно следующее:

Вопросы могут варьироваться от мелких и конкретных, например: «Мне трудно приходить на работу вовремя» или «Я хочу заняться социальными танцами» до больших, например: «Я ищу работу и хотел бы получить какие-нибудь подсказки и помощь» или «Я переезжаю и сильно переживаю по этому поводу». Вопросы могут быть и нечёткими, вроде: «Мне кажется, у меня что-то не так с социальными взаимодействиями, и я хотел бы с кем-нибудь это обсудить».

Попытайтесь вспомнить как можно больше своих проблем. Не задумывайтесь о том, хотите ли вы на самом деле обсуждать их на этой встрече. Вы сможете вычеркнуть неподходящие потом. Вам не придётся никому показывать тот перечень, который вы выписали. Кстати, уважайте приватность других участников и не заглядывайте им через плечо.

Когда три минуты истекут, пусть каждый кратко сформулирует 1-3 вопроса, по которым он хотел бы получить помощь. При этом надо объяснить всем, что вполне нормально пропустить свою очередь или назвать только один или два вопроса.

  • Если кто-то говорит слишком долго, не бойтесь прервать его и сказать: «Хорошо, не мог бы ты сформулировать это одним предложением, чтобы мы могли дать слово следующему?» (У нас такое случалось всего один или два раза за долгое время.)

Скажите участникам: «А теперь найдите тех, кому, по-вашему, вы можете помочь с их вопросами».

  • В больших группах иногда бывает сложно вспомнить, кто что говорил. Это можно решить дополнительным быстрым раундом, где каждый описывает свою проблему в одно или два слова.
  • Также можно попробовать кратко записывать проблемы каждого человека, когда они их озвучивают. Тогда вы сможете напомнить их другим.

Часто помогает, когда организатор начинает процесс, говоря что-нибудь вроде: «Эй, X, наверное, я могу помочь тебе с проблемой Y».

Обычно вокруг чьих-нибудь проблем разговор в малой группе начинается совершенно естественно. Через некоторое время он может перетечь в разговор на произвольные темы.

Люди часто меняют тему беседы или переключаются на проблемы другого человека. Если кажется, что собравшиеся стесняются так делать, вы можете периодически им напоминать, что так можно. Обычно мы обходимся без напоминаний. Мы просто показываем пример, меняя тему, когда хотим. В итоге остальные участники встречи понимают основную идею и сейчас «старожилы» встреч меняют тему беседы, когда им вздумается, без какого-либо участия с нашей стороны.

(Спасибо Саре Спайкс за помощь в написании этого рецепта.)

Приготовление еды

Предварительная работа: Большая (напоминания, покупка продуктов).

Нагрузка на ведущего: От небольшой до средней (люди обычно понимают основную идею довольно быстро, но организовать уборку может быть тяжело).

Такие встречи обычно длятся значительно дольше других, потому что нужно время на то, чтобы приготовить еду, съесть её и убрать за собой. Рассчитывайте на 4 часа. Наши встречи по приготовлению еды обычно начинались в 6:15 и продолжались до 10-11 (теперь мы заканчиваем ближе к 10, потому что научились лучше их координировать).

Необходимое

  • Пространство с кухней. Лучше, если кухня будет большой, но небольшие пространства с большим количеством столов тоже могут подойти.
  • Кухонная утварь, если кухня, которую вы используете, не слишком хорошо оборудована. Обычно неплохо иметь множество ножей и разделочных досок.
  • Продукты, заранее приобретённые организатором.

Текст объявления

Мы собираемся, чтобы готовить еду! Если вы хотите возглавить приготовление какого-то блюда, пожалуйста, запишитесь здесь: [ВСТАВИТЬ ССЫЛКУ НА ГУГЛ-ДОКУМЕНТ].

Мы закупаем продукты заранее, поэтому вам нужно лишь прийти, чтобы приготовить своё блюдо или помочь кому-нибудь с готовкой (и вернуть нам деньги за продукты). Обычно продукты обходятся примерно в 4-9 долларов на человека.

Как проводить

В первую очередь, поговорите с постоянными участниками, интересно ли им. Такая встреча требует достаточной вовлечённости, поэтому о многом лучше договориться заранее.

Иногда люди спрашивают про диетические ограничения. Наша политика на этот счёт: «Если у вас есть диетические ограничения, вы можете попросить кого-то готовить блюдо, которое подойдёт для вас, или готовить самим». Мы не накладываем какие-то общие ограничения на тип еды. У моего супруга есть диетические ограничения, и обычно один из нас готовил что-нибудь, что он может есть. При общем количестве приготовленных блюд этого обычно было вполне достаточно.

За неделю до встречи:

  • Создайте гугл-документ для встречи по данному шаблону. Модифицируйте его, чтобы он лучше подходил вашим целям.
  • Разошлите объявление о встрече по своим обычным каналам.

За пару дней до встречи: Разошлите напоминание по обычным каналам. Если ответов мало, подумайте, не стоит ли связаться с какими-то конкретными людьми, про которых вы знаете, что они, скорее всего, захотят возглавить готовку какого-то блюда.

За день до встречи: Купите продукты.

В день встречи:

  1. Придите на место встречи с продуктами вовремя или чуть раньше. Распакуйте продукты и, если у вас есть время, приготовьте рабочие места (например, разделочные доски с ножами для каждого блюда, для которого они необходимы).
  2. Направьте участников к тем, кто возглавляет приготовление блюд, чтобы те объяснили им, что делать.
  3. После готовки и еды посчитайте, сколько денег должен каждый участник и объясните им, как они могут их вернуть.
  4. Попробуйте организовать уборку как можно раньше, пока никто ещё не ушёл и пока вы ещё не слишком устали. Попросите остальных поучаствовать.

Совместная работа

Предварительная работа: Нет.

Нагрузка на ведущего: Низкая.

Необходимое

  • Всё, что лично вам нужно для работы над своей задачей на встрече.
  • Необязательно: Место, где есть как минимум две звукоизолированные зоны, чтобы тихие и громкие «помодорки» могли происходить в одно время.

Текст объявления

Мы встречаемся, чтобы работать над своими задачами!

Сначала мы садимся вместе и обсуждаем, над чем мы собираемся работать. Затем работаем в течении пары «помодорок». Через какое-то время мы переключаемся на разговоры и социализацию.

Альтернативный вариант от Майкла Кона:

Приходите с работой, которую нужно сделать (это может быть веб-сайт, книга, вязание, бизнес-план, что угодно), и мы будем работать вместе. В начале мы поговорим о том, чем каждый из нас занимается. Вы сможете работать самостоятельно или объединиться с кем-нибудь, если вы захотите научиться у них чему-нибудь или помогать им. Обычно у нас есть одна комната для тихой работы и одна - для разговоров и обсуждений.

Мы работаем в течение нескольких «помодорок» с перерывами, а затем переходим к разговорам на произвольные темы и социализации.

Как проводить

После того, как все соберутся и вы закончите с необходимым, по-вашему, знакомством, скажите: «Давайте перед тем, как мы начнём, обсудим, чем мы будем заниматься. Вы можете пропустить свою очередь, или сказать, что вы не определились, или что вы готовы помогать другим». В идеале лучше начните с себя, чтобы остальные лучше поняли, о чём говорить.

Когда все высказались (или отказались высказываться), если у вас есть два помещения, скажите: «Эта комната для тихой работы, а эта - для громкой. Выберите ту, какая вам лучше подходит». Затем, когда все переместились, куда им надо, скажите: «Мы начинаем» и заведите таймер на 25 минут.

Когда подойдёт время перерыва, объявите, что начался перерыв и заведите разговор с участниками так, как вам удобно. Разговор можно начать, например, спросив, как продвигается работа над задачей. Встреча будет интереснее, если люди действительно будут делать перерывы, а не работать во время них.

Поработайте как минимум две «помодорки» с 10-минутными перерывами. После двух или трёх «помодорок» мы обычно устраиваем быстрое голосование, не хотят ли люди закончить. Обычно после пары перерывов с социализацией люди начинают разговоры о своих задачах.

Короткие доклады

Предварительная работа: Нет.

Нагрузка на ведущего: Низкая или средняя, если он тоже выступает.

Необходимое

  • Доска или бумага, на которой могут писать выступающие.
  • Таймер (можно на телефоне).

Текст объявления

На этой встрече мы устраиваем и слушаем очень короткие доклады!

Доклады проводятся в формате 7 минут на выступление и 3 минуты на ответы на вопросы. Кроме того, доклады на тему программирования должны составлять не больше половины от общего числа, для разнообразия.

Не обязательно планировать доклад, не обязательно строить его по формальным канонам, он даже не обязан быть на Заслуживающую Доклада Тему. Вы можете просто рассказывать все о чём-то, что вам кажется интересным. В прошлом на наших встречах люди рассказывали, например, какие есть сложности с организацией свежей еды во время авиаперелётов, о своём опыте волонтёрства во время местной политической кампании, о видеоигре, которую они делают, и многом другом.

Мы считаем, что для таких докладов не нужно специально готовиться. Никто не ждёт от вашего доклада чего-то экстраординарного. Если у вас получится не слишком хорошо, всё будет в порядке, потому что мы через несколько минут перейдём к следующему. Если вам это поможет, можете просто представить себе, что во время беседы вы получили возможность высказываться несколько минут, просто это чуть более организовано, чем обычно.

Как проводить

Когда вы готовы переходить к основной части, скажите: «Настало время докладов. Готов ли кто-нибудь рассказать что-нибудь за 7 минут?» Дайте людям время подумать. Не переживайте, если на некоторое время случится неловкая пауза.

Иногда помогает, если организатор начинает первым. Вы можете также спросить: «Я могу рассказать про Х, кому-нибудь это интересно?» или «Я могу рассказать про X или про Y, какой вариант больше нравится?» Если вы знаете, что интересно аудитории, это тоже может помочь. И помните - речь идёт всего лишь о 7 минутах.

Обычно я так не делаю, но может оказаться полезным сказать: «Я подниму палец, когда останется минута до конца», и так и сделать. Иногда люди просят минутное и двухминутное предупреждение.

Заведите таймер на 7 минут. Скажите выступающему начинать, когда он будет готов, и запустите таймер, когда он начнёт говорить. Когда время истечёт, скажите об этом: «А теперь у нас 3 минуты на вопросы». Заведите таймер на 3 минуты. Если ни у кого нет вопросов, или если люди просто хотят, чтобы докладчик говорил дольше, это тоже нормально.

Я стараюсь не зверствовать с таймером, если аудитории интересен доклад. Если собравшиеся увлечённо слушают и задают много вопросов/участвуют в дискуссии, я даю больше времени. Я останавливаю выступающего вовремя, если, судя по всему, никому выступление неинтересно.

Когда вы хотите прервать конкретное выступление, (вежливо) скажите: «Спасибо, [Имя]. Так, кто ещё хочет что-нибудь рассказать?»

Обсуждение прочитанного

(Идея этого формата принадлежит Джиму Бэбкоку. Я утащила формат с его книжных встреч практически без изменений.)

Предварительная работа: Средняя (выбрать тексты, распечатать их). Нужно оповестить всех заранее, чтобы у людей было время прочитать статьи.

Нагрузка на организатора: Средняя.

Необходимое: Распечатанные копии обсуждаемых статей (2-3 экземпляра каждой).

Текст объявления

Это образец, замените упомянутые статьи на свои.

На этой неделе мы встречаемся для обсуждения двух интересных записей из блогов или статей.

Мы будем обсуждать статью Бена Хоффмана «Против ответственности» (http://benjaminrosshoffman.com/against-responsibility/) и статью Цви Моушовица «Верните субботу» (https://www.lesserwrong.com/posts/ZoCitBiBv97WEWpX5/bring-back-the-sabbath) Лучше, если вы прочитаете одну из статей заранее, но мы принесём распечатку для тех, кто не прочтёт.

Как проводить

За неделю до встречи:

Выберите две статьи (можно записи из блогов), которые, по-вашему, будет интересно обсудить. Лучше всего подходят статьи, которые можно прочитать за 10 минут (пара тысяч слов). Это самое сложное. Можно попробовать взять свежие записи с LessWrong’а, Slate Star Codex’а или другого блога, который вам нравится. Подумайте про вашу аудиторию. Если на вашу встречу в основном ходят люди, которые читают LessWrong последние десять лет, свежие записи будут интересны. Если же участники встреч LessWrong не читали, то может быть лучше взять какое-то из старых эссе, а не что-нибудь, для понимания чего нужно разбираться в четырёх вложенных уровнях. Попытайтесь выбрать статьи на достаточно разные темы, чтобы увеличить вероятность, что каждому участнику хотя бы одна из них покажется интересной.

Объявите о встрече по вашим обычным каналам со ссылками на статьи.

В день встречи:

Распечатайте и принесите несколько копий каждой статьи.

Предложите группе разделиться на две: каждая подгруппа обсуждает одну статью. Наличие дополнительной комнаты для бесед будет плюсом.

Наводящие вопросы: Что для вас было интересно в этой статье? (Или если статья кажется неинтересной, то почему?) С чем вы здесь не согласны? Что вы думаете про статью в целом?

Поддерживайте равное участие в беседе - спрашивайте малоговорящих людей, что они думают. Можно попробовать общее объявление, вроде: «Пытайтесь обращать внимание, как много вы говорите, и старайтесь давать людям вокруг вас столько же времени».

Обычно помогает, если организатор переключается между обеими группами, чтобы проверить, как идёт разговор, и помогает модерации. Если обсуждение не клеится, попробуйте воспользоваться наводящими вопросами.

Глубокие вопросы

Предварительная работа: Небольшая (выбрать вопросы).

Нагрузка на ведущего: От небольшой до средней.

Необходимое

  • Список вопросов
  • Таймер

Текст объявления

(спасибо Майклу Кону за обновлённый текст)

Как проходят «Глубокие вопросы»: Мы разбиваемся на пары. Ведущий зачитывает интересный открытый вопрос. Сначала один из вас 6 минут рассказывает свой ответ партнёру, потом вы меняетесь. После этого вы садитесь в пару к кому-то другому и отвечаете на следующий вопрос.

Примеры вопросов:

  • От чего вы больше всего испытываете энтузиазм?
  • Что, вы надеетесь, скажут в вашем некрологе?
  • Что стоит примерно столько же, сколько ваш мизинец?

Примечание: Вопросы - глубокие (хотя это может быть спорным), но ваши ответы глубокими быть не обязаны. Никто не ждёт, что участники будут делиться чем-то большим, чем им комфортно.

Как проводить

Перед встречей: Определиться с разумным списком вопросов. Вот мой документ с некоторыми ресурсами, идеями для вопросов и с заметками, насколько успешны были те или иные вопросы на предыдущих встречах.

На встрече:

Когда вы готовы начать встречу, скажите: «Пора перейти к глубоким вопросам».

Разбейте всех на пары. Мой любимый способ следующий. Посчитайте количество людей в группе. Разделите это число на два, и пройдите по комнате считая до этого числа. Например, если в комнате 10 людей, считайте их «1-2-3-4-5, 1-2-3-4-5». Люди с одинаковыми номерами оказываются в одной паре. Если количество людей — нечётное, вы можете остаться без пары или попросить последнего человека присоединиться к какой-нибудь паре.

Заведите таймер на 6 минут. Скажите всем: «Вопрос: [ВОПРОС]. Выберите, кто из вас будет первым, у вас есть шесть минут на ответ». Когда время истечёт, заведите таймер заново, и скажите всем поменяться.

Когда время снова истечёт, у вас есть возможность опросить всех, насколько удачным был вопрос. Мне нравится метод «уровень руки». Скажите: «Покажите рукой, насколько вам понравился этот вопрос?» Поднимите руку над головой и скажите: «Рука на такой высоте означает, что вам он очень понравился», затем опустите руку как можно ниже: «Рука на такой высоте означает, что он вам очень сильно не понравился». Затем посмотрите и попытайтесь оценить общее ощущение. Вы можете также попросить дать обратную связь словами, но не тратьте на это больше минуты.

После опроса скажите всем: «Выберите, кто из вас будет пересаживаться, и пусть он перейдёт к следующему человеку по часовой стрелке». При следующей смене можете сказать: «Кто из вас пересаживался в прошлый раз, пересаживайтесь дальше».

Повторите примерно четыре или пять раз (это займёт около часа). Дальше вы можете попросить поднять руки, чтобы показать, хочет ли группа продолжать дальше.

Поверхностные вопросы

Предварительная работа: Нет.

Нагрузка на организатора: От небольшой до средней.

Необходимое: Нет.

Текст объявления

Мы устраиваем сеансы быстрого общения. Вам даётся 5 минут на разговор с кем-нибудь, затем партнёры меняются. Мы даём пару идей, о чём можно начать разговаривать, но они не слишком развёрнутые. Цель - познакомиться с множеством других участников встреч.

Как проводить

Формат позаимствован из игр сообщества, популяризирующего «искренние отношения»2.

Разбейте всех на пары. Указания о том, как разбивать на пары и менять партнёров можно найти в разделе «Глубокие вопросы» выше.

Объясните всем следующее:

Выберите, кто будет задавать вопросы, а кто отвечать на них. Задача спрашивающего в том, чтобы как можно быстрее задавать любые случайные вопросы, какие только приходят в голову. Задача отвечающего — отвечать на вопросы максимально подробно.

Например, спрашивающий может спросить: «У тебя клёвая рубашка, где ты её достал?» Отвечающий может ответить: «Я купил её в секонд-хенде, когда учился в колледже. Магазин был недалеко от квартиры, которую я снимал с одним знакомым - неприятным типом, кстати. Мне нужна была рубашка, потому что мне надоело носить старые вещи, оставшиеся ещё со школьных времён…» и так далее, и тому подобное.

Заведите таймер на 5 минут. Скажите: «Выберите, кто будет задавать вопросы, а кто отвечать. Когда пройдёт 5 минут, вы поменяетесь». Через 5 минут, скажите: «Поменяйтесь ролями». Ещё через 5 минут скажите участникам пересаживаться.

Истории

Предварительная работа: Небольшая (распечатать подсказки).

Нагрузка на ведущего: Средняя.

Необходимое: Распечатанный список подсказок.

Текст объявления

На встрече мы будем рассказывать друг другу истории! Лучше всего, если это будет история из вашей жизни (не важно, о чём именно), которую вы хотели бы рассказать другим. У нас есть лист подсказок, которые помогут начать.

Как проводить

По ссылке вы можете найти лист подсказок, который можно давать участникам: Истории - Подсказки. Я рекомендую распечатать один или два экземпляра и принести на встречу. Не стесняйтесь добавлять свои варианты и удалять те, которые вам не нравятся.

Начните встречу словами: «Ну что ж, настало время историй. У кого-нибудь есть история, которую он хотел бы рассказать?» Если никто не вызывается, передайте по кругу подсказки или начните рассказывать что-нибудь сами.

Не придерживайтесь какого-то формата слишком строго. Если история плавно перетекает в разговор, пусть он продлится какое-то время, перед тем спрашивать, есть ли ещё у кого-нибудь история.

Настольные игры / пение

Предварительная работа: по-разному, от небольшой до средней (принести настольные игры, подготовить тексты песен).

Нагрузка на ведущего: Небольшая.

Необходимое

  • Настольные игры
  • Для пения: Книги с текстами песен или способ показывать тексты нескольким людям так, чтобы они их видели
  • Для пения, необязательное: инструмент для создания ритма

Текст объявления

Некоторые люди не любят настольные игры, а опрос на последней мета-встрече показал, что большинство таких людей любят петь хором. Поэтому эта встреча посвящена и тому, и другому!

У нас есть множество игр, однако не стесняйтесь приносить свои.

Мы также принесём тексты некоторых песен, чтобы петь их вместе. Если у вас есть какие-то любимые песни и вы думаете, что другие их могут знать, не стесняйтесь приносить их тексты с собой (на встрече вы также можете дать ссылку). Музыкальные инструменты тоже могут пригодиться, но только при условии, что вы умеете на них играть какие-то конкретные песни, которые можно петь вместе.

Как проводить

Это смешанная встреча. Если хотите, вы вполне можете ограничиться лишь одним из двух вариантов.

Для настольных игр

Когда прибудут несколько человек, поговорите с ними о том, в какие игры они хотели бы играть. Часто полезно подождать с особо затягивающими играми, пока не придут большинство участников, в этом случае у опоздавших будет возможность присоединиться. Пока вы ждёте, хороши игры вроде Сета или Зендо, к которым присоединиться легко.

Даже если вы сами начали играть до того, как все пришли, по возможности постарайтесь поприветствовать людей, рассказать им, какие игры есть в наличии и помочь им найти игру, которая им понравится.

Для пения

Предостережение. Насколько хорошо пройдёт такой формат во многом зависит от участников. Если им нравится петь хором, это может быть очень забавно, однако может быть довольно сложно заразить интересом того, у кого нет соответствующего настроя. Организатору нужно брать на себя какое-то количество инициативы. В моём случае это требовало довольно много социальной энергии.

Принесите тексты песен, которые вам нравятся. По моему опыту, все знают Still Alive. Могут неплохо зайти другие нердовские песни, а также популярные песни вроде творчества Beatles.

Во время встречи вам достаточно сделать так, чтобы тексты песен были доступны всем и просто начинать петь, в надежде, что другие люди присоединяться. Не бойтесь, что у вас не получится. Если вам нравится песня и вы можете её петь, вы вполне можете сподвигнуть кого-то её выучить, даже если они не знают её, чтобы присоединиться к вам в этот раз. (Я таким образом однажды на встрече выучила Skullcrusher Mountain!)

Чтобы люди активнее присоединялись, может помочь наличие укулеле или гитары. Впрочем, тут не все так просто. Лично мне обычно хочется исполнять на публике те песни, которые я играю довольно уверенно. Во время практики вполне нормально делать паузы на несколько секунд, чтобы взять аккорд правильно, но другим людям при этом будет тяжело следовать за вами.

Метавстреча

Предварительная работа: Средняя (имеет смысл подготовить хорошие вопросы).

Нагрузка на ведущего: Довольно высокая.

Необходимое: У организатора должна быть возможность делать заметки о том, что говорится на встрече.

Текст объявления

Прошло уже довольно много времени с тех пор, как мы обсуждали вопросы вроде: Для чего нужны эти встречи? Что мы получаем от них и что мы хотим от них получать? Как мы могли бы сделать их лучше? Какие новые форматы встреч мы могли бы попробовать?

Эта встреча частично будет посвящена сбору обратной связи, частично - мозговому штурму и частично - составлению конкретных планов на будущее. (И, как обычно, я ожидаю, что и какое-то количество обычных разговоров тоже будет.)

Как проводить

Перед встречей: Подумайте о том, какую обратную связь вам хотелось бы получить от участников. В каких форматах встреч вы сомневаетесь? Что, с вашей точки зрения, работает хорошо, а что как-то не очень? О чём вы беспокоитесь? На основе этих размышлений подготовьте несколько вопросов для участников.

На встрече

Задайте каждому участнику пару вопросов об их впечатлениях. Ниже приведены возможные вопросы.

  • Что вы хотите получать от встреч? Получаете ли вы это?
  • Что вам нравится на встречах?
  • Что вам не нравится или что вы хотели бы изменить?
  • Какие форматы встреч вам нравятся больше всего?
  • Какие форматы вам больше всего не нравятся?
  • У вас есть какие-нибудь идеи, как можно проводить встречи по-другому?
  • Любые другие вопросы, на которые вы хотели бы получить ответы.

Запишите ответы. Особо обращайте внимание на то, что упоминают многие.

Я предпочитаю опрашивать каждого участника по отдельности, потому что это позволяет убедиться, что услышаны все, даже те, кто высказывается очень тихо.

На нашей первой метавстрече в Сан-Франциско мы сфокусировались на социальных аспектах встреч и на том, как помочь людям знакомиться. На основе обратной связи мы начали проводить встречи «Глубокие/Поверхностные вопросы», которые пользовались успехом.

Обзор года

Предварительная работа: Довольно большая.

Нагрузка на ведущего: От средней до высокой (нужно активно координировать дискуссию).

Необходимое: Бумага и письменные принадлежности.

Текст объявления

Как и в предыдущие годы мы встречаемся, чтобы обсудить, как для нас прошёл этот год. В качестве отправной точки мы возьмём эту запись на LessWrong, а затем перейдём к дискуссии.

Как проводить

Мы пробовали несколько разных способов проводить встречу «обзор года» и пока не пришли к какому-то итоговому варианту. Поэтому здесь всё может ещё несколько поменяться.

Один из способов, который мы пробовали: спросите, как бы вы описали предпочтения человека, который провёл бы прошлый год так, как его провели вы. Такой формат может быть интересен некоторым людям, однако это может быть несколько снисходительно или даже грубо по отношению к «прошлому себе», и когда мы проводили встречу в таком формате второй раз, это некоторым не понравилось.

Также можно пойти по вопросам в записи на LW по ссылке выше. Это мы попробовали в прошлом году. Кажется, многим такой способ помог. Однако у нас не было чёткого плана встречи. Отсутствие организации сбивает с толку.

Я бы порекомендовала (и сама попробую в следующем году) следующее. Выберите какое-то разумное количество вопросов - так, чтобы на них можно было ответить минут за тридцать. Пусть каждый участник напишет свои ответы на бумаге. После истечения какого-то разумного количества времени или когда все закончат, переходите к обсуждению. Учтите, что некоторые из вопросов очень личные и важно не заставлять людей делиться большим, чем они готовы.

Некоторые возможные отправные точки для дискуссии:

  • Когда вы делали это упражнение, вас что-нибудь удивило?
  • Что из произошедшего в этом году вас сейчас радует?
  • Что после этих размышлений вам хочется изменить?

Другие ресурсы

Благодарности

Спасибо Майклу Кону за подробную обратную связь по поводу этой статьи.

Спасибо Саре Спайкс за то, что она сподвигла меня всё это написать.

Спасибо всем нашим участникам, людям, которые предоставляли нам помещения, и друзьям. Ради вас всё это и затевалось.

И спасибо моему супругу за то, что эти встречи продолжались неделю за неделей и год за годом.

Дополнения

Этот текст исходно был опубликован 14 июля 2018 года.

Дополнение от 4 августа 2018. Хотя со времени публикации прошло лишь несколько недель, стоит кое о чём написать.

  • Встречи в Вашингтоне (округ Коламбия) могут прекратить существование в ближайшие несколько месяцев, через 4 года после того, как мы оттуда переехали. На самом деле я очень удивлена и благодарна нашим друзьям, которые поддерживали их на плаву всё это время. Некоторые люди оттуда раздумывают перейти на распределённую модель организации, в которой люди по очереди принимают у себя встречи, в зависимости от того, кто сейчас это может и хочет. Я надеюсь, это сработает и они расскажут, как у них получилось. Мы сами часто хотели бы передать часть ответственности другим людям (и, я думаю, что это одна из главных причин, почему нынешние организаторы решили перестать этим заниматься).
  • Некоторые начали использовать форматы встреч из этой статье. Например, в Berkeley REACH проводят «Совместную работу» и «Решение проблем в группах». Я ещё не выясняла, как у них дела.
  • 1. В этом и предыдущем абзаце автор упоминает приём RSVP. — Прим.перев.
  • 2. В оригинале authentic relating games. — Прим.перев.
Перевод: 
Alaric
Оцените качество перевода: 
Средняя оценка: 4 (2 votes)

Критика наивного консеквенциализма

Фонд эффективного альтруизма

Введение

Суть консеквенциализма — в оценке всех действий по их последствиям. Консеквенциалистские взгляды на этику считаются «радикальными», а некоторые философы и вовсе придерживаются мнения, что консеквенциализм неприемлем и опасен. В этой статье вы увидите, что практические последствия консеквенциалистского образа мыслей, деонтологии, «основанной на законах», и этики добродетели («этики, основанной на чертах характера») во многих отношениях схожи. После основательного рассмотрения становится очевидно, что консеквенциализм, наивно интерпретированный, несет в себе плохой посыл. Претензии к консеквенциализму есть не только у его критиков, но и у сторонников. Далее мы посмотрим, в чём может состоять ошибочность и опасность наивной интерпретации консеквенциалистского способа мышления.

(Замечание: далее под консеквенциалистами подразумеваются люди, жизненный приоритет которых – сделать мир как можно лучшим местом для других. Стоит также отметить, что следующие примеры опираются на ряд консеквенциалистских идей, которыми пользуются агенты. Они хотят по возможности рационально достичь некоторой цели, не стремясь при этом всегда соблюдать «правила, обещания и т. п.». Так, в приведенных здесь примерах речь идет об общих следствиях из теории принятия рациональных решений 1.)

Сейчас мы ознакомимся с двумя примерами, в которых наивно-консеквенциалистский способ поиска решений ведет к очевидно худшему конечному результату, чем лучшая из имеющихся альтернатив.

Пример 1: выполнение обещаний

(адаптированный пример Дерека Парфита)

Один консеквенциалист застрял посреди пустыни, потому что его машина сломалась, и теперь умирает от жажды. К счастью, мимо проезжает какой-то автомобиль. Водитель останавливается и предлагает консеквенциалисту подвезти его до отеля, но не хочет помогать бесплатно и требует 100 евро за услугу. Так как у консеквенциалиста нет с собой денег, водитель просит его пообещать заплатить по прибытии в отель. Консеквенциалист знает, что как только выберется отсюда, ему незачем будет платить водителю. Услуга будет уже оказана, а 100 евро принесут большую пользу, если пожертвовать их на благотворительность, чем если отдать водителю. Поэтому консеквенциалист притворяется кооперативным и соглашается на сделку. Но оказывается, что лгун из него плохой. Так как консеквенциалист сам не верит в обещанное, а водитель разбирается в людях очень хорошо, заверения кажутся ему неправдоподобными. В эту минуту водитель замечает на сломанной машине наклейку, на которой написано: «Консеквенциализм — правильные поступки создают лучший мир». На это водитель восклицает: «Ага! Так ты консеквенциалист? Ты же точно не сдержишь обещание, когда вернёшься в город. Извини, но раз я за это ничего не получу, то как рациональный эгоист поеду-ка один. Удачи!»

Вот что интересно в этом примере: консеквенциализм — наивный — пошел агенту во вред. Кажется, что-то здесь не так. Если цель — вести себя так, чтобы мир становился как можно лучшим местом, то стоит по возможности избегать ситуаций, в которых вы умираете от жажды. Особенно когда это легко разрешить, заплатив 100 евро в будущем. Умереть от жажды явно того не стоит, особенно если единственная причина этого в том, что вы посчитаете себя «нерациональным» из-за выполненного в будущем обещания. Что вообще значит «нерационально»? Когда мы говорим о рациональности, то имеем в виду выигрывание, достижение своих целей. Очевидно, в такой ситуации консеквенциалист «выиграет», только если действительно убедит себя выполнить обещание или, иными словами, если сможет нажать на необратимую «кнопку» в своем мозгу, которая заставит его выполнить обещание в то время, когда (на наивно-консеквенциалистский взгляд) это было бы уже не нужно. Тогда он как плохой лжец спокойно скажет правду. Однако же проблема в том, что наивный консеквенциалист, следуя своему образу мыслей, обязательно постарается только сымитировать нажатие кнопки. И раз другие рациональные агенты об этом знают, они будут избегать когда-либо кооперироваться с наивными консеквенциалистами.

Кроме того, консеквенциалист проигрывает еще и потому, что водитель явно думает, что вообще все консеквенциалисты никогда не выполняют обещаний, если только это (наивно) не максимизирует их полезность. Ужас! Если действительно правда, что они все проигрывают, когда не сдерживают обещаний, то почему бы всем консеквенциалистам, стремящимся к лучшему состоянию мира, не изменить свои интуиции и процесс принятия решений так, чтобы всегда сдерживать обещания? В конце концов речь идёт (как ни странно, в консеквенциализме больше, чем где-либо ещё) о «выигрывании», а не о соблюдении какого-то устава «правильного» поведения. «Выполняй обещания, только когда это максимизирует полезность» — очень плохое правило, от которого мир в целом будет скорее терять, чем выигрывать.

Пример 2: участие в выборах

Предположим, кроме аполитичных людей, которые никогда не ходят на выборы, есть ещё два типа жителей: сознательные избиратели и избиратели-консеквенциалисты. Первые всегда ходят на выборы, а вторые голосуют только тогда, когда это выгодно по матожиданию, — иначе говоря, когда вероятность изменения результата одним единственным голосом (очень малая), помноженная на значимость результата, окажет достаточно значительный позитивный эффект. (Эффект должен быть значительнее, чем то, на что консеквенциалист потратил бы время вместо этого.) Допустим, опросы показывают, что около 65% населения выберут А, а большинство консеквенциалистов — В. Тогда может получиться, что избиратель-консеквенциалист не пойдёт голосовать, так как всем ясно, что один единственный голос против большой доли сознательных избирателей (среди которых большинство, к сожалению, поддерживает А) обладает ничтожно малой вероятностью повлиять на результат выборов.

Интересный вопрос: когда избиратели-консеквенциалисты не участвуют в выборах, действуют ли они рационально? Способствует ли это достижению их целей?

Не обязательно! Рассчитывая ожидаемый эффект от заполнения бюллетеня в таких обстоятельствах наивно-консеквенциалистски, вы придёте к неверным выводам: недооцените общий процент голосов консеквенциалистов, которые они вместе бы отдали, если бы в основном придерживались одной и той же стратегии. Теперь предположим, что консеквенциалисты составляют большую часть населения. В таком случае желаемый результат выборов практически гарантирован, если консеквенциалисты будут действовать как сознательные избиратели. Тогда участие в выборах явно стоит их времени (потому что политические решения обычно затрагивают множество областей общественной жизни и поэтому значимо влияют на мир).

Кажется, задаваться вопросом об ожидаемой полезности действий — консеквенциалистски неверный способ приступать к принятию решения. Если исходить из того, что другие люди из одних и тех же посылок приходят к одним и тем же рассуждениям (и следовательно, должны сделать одни и те же выводы), «предпочтительный выбор для группы» будет отличаться от индивидуального выбора2. Да, напрямую человек решает только за себя, не совещаясь с другими консеквенциалистами. Но если исходить из предположения, что остальные рассуждают о том же, преследуют сходные цели и как рационалисты должны прийти к одному выводу, то человек принимает лучшее решение, когда он как бы разрабатывает стратегию для группы консеквенциалистов.

В чём состоит «ненаивный» способ максимизации полезности?

Описанные выше ситуации объединяет то, что основополагающий консеквенциалистский принцип «действуй так, чтобы полезность была максимальной», видимо, дает осечку. Проблема в слишком узком определении «деятельности» — в нём учитываются только прямые последствия наших поступков, но не логическая связь нашего процесса принятия решений с процессом принятия решений других рациональных агентов. Не учитывается и то, что другие рациональные агенты могут предсказать наши решения и отказаться кооперироваться, потому что мы не из тех, кто всегда сдерживает обещания.

«Ненаивное» определение «деятельности» должно быть максимально широким и всеобъемлющим. Оно должно содержать всё, что есть в нашем репертуаре. В некоторой степени за «деятельность» можно считать тот момент в примере с выборами, когда мы решаем, рассматривать ли вопрос с «личной-консеквенциалистской» или «групповой консеквенциалистской» точки зрения. Размышление, хотим ли мы всегда выполнять обещания или нет, — также «деятельность». Если принцип «действуй так, чтобы полезность была максимальной» понимать достаточно широко, он будет содержать в том числе и то, что человеку необходимо стараться быть на самом деле достойным доверия. Сюда подходят не только физические действия, производимые человеком, но и то, как он думает и решает, какие социальные интуиции, эвристики и эмоции в себе поощряет. Отсюда вытекает что-то вроде глобального консеквенциализма, в котором мы хотим оптимизировать систему поведения рационального агента так, чтобы получать максимально выгодные результаты. Он включает в себя в том числе и размышления о принципах принятия решений, личных интуициях и чертах характера, которые с консеквенциалистской точки зрения наиболее выигрышны3.

Полная вера в обещания действительно работает только в определённых случаях (например, если у оппонента идеальный детектор лжи), когда мы можем убедительно обосновать, что всегда выполняем обещания. Для этого придётся принять «сдерживание обещаний» в качестве абсолютного правила и включить в представление о самом себе. В этом отношении верно интерпретированный консеквенциализм очень похож на деонтологию или этику добродетели.

Законы и нормы поведения

Конечно, вышеизложенные размышления относятся к вопросу, должен ли человек самостоятельно стремиться к следованию законам и социальным нормам. Как, скажем, в примере с выборами общественные потери были бы недооценены, если бы все консеквенциалисты вдруг решили всегда нарушать правила, полагая, что это максимизирует ожидаемую полезность. Из-за того, что ещё один человек станет преступником (или не будет выкидывает мусор в положенное место, или станет постоянно грубить окружающим, или перестанет оставлять чаевые), вряд ли в мире что-то изменится настолько сильно, что совокупные издержки общества заметно увеличатся. Но если на этом самом основании все (или почти все) консеквенциалисты, которые хотят максимально эффективно улучшать мир, систематически решают нарушать правила — получается хаос, куда худший, чем сумма преимуществ от соответствующих нарушений в каждом единичном случае. Это проявляется тем сильнее, чем больше консеквенциалистов в обществе. И не в последнюю очередь стоит отметить, что консеквенциалисты с разными нормативными или эмпирическими целями будут становиться друг другу поперек дороги, если не усвоят очень важную эвристику кооперации и уважения. Отсюда мы снова можем сделать вывод, что наивная интерпретация непродуктивна и опасна, так как может разрушить всё хорошее, что совершают консеквенциалисты.

Кроме того, в ситуации, подобной примеру с водителем в пустыне, репутация консеквенциалистов сильно пострадает, если они чаще среднего будут нарушать законы и нормы поведения. Это особенно значимо, если в обществе пока мало консеквенциалистов, — тем важнее для роста их численности оставлять положительное впечатление от отдельных представителей движения.

В конце концов нам стоит признать, что люди склонны преувеличивать способность к оценке характера и последствий своих действий, особенно когда могут добиться так преимуществ для себя. (Консеквенциалисты хотя и имеют альтруистические цели, отнюдь не «бескорыстны» в том смысле, что склонны искать личную выгоду). Если бы все консеквенциалисты начали нарушать законы и даже совершать тяжкие преступления, чтобы максимизировать полезность, то это привело бы к зачастую неверным решениям и беспорядочному насилию, ведь мы оцениваем далеко не так объективно и беспристрастно, как нам хочется думать. Чтобы избежать «лавины», критерий «допустимости» преступления должен быть гораздо более строгим: «исходя из лучших побуждений, я уверен, что таким образом сокращу общее число ущемлённых интересов». Категорический запрет, кажется, единственное, что может противостоять силе рационализации, присущей человеческому мышлению.

Завышенные моральные требования

Многие люди думают, что практически в каждой ситуации консеквенциалисты должны использовать принцип максимизации полезности. Это неверно. Основополагающий принцип консеквенциализма не предписывает: «Всегда думай о том, что максимизирует ожидаемую полезность, и реализуй это!». Нет, он только говорит, что людям стоило бы делать то, что в общем и целом максимизирует ожидаемую полезность. И иногда (часто) бывает лучше не пускаться в дальнейшие рассуждения о принципе максимизации полезности, а придерживаться простых правил и эвристик.

Специально обдумывать, какие действия прямо сейчас были бы наиболее эффективны, может оказаться нерационально. Эти размышления довольно трудоёмки. Было бы слишком утомительно в повседневной жизни постоянно держать принцип максимизации полезности в уме. Поэтому «правильному» консеквенциалисту имеет смысл привить себе некоторые эвристики, когда вполне допустимый и даже хороший вариант — расслабиться и отдохнуть без всяких угрызений совести.

Заключение

Согласно рациональной, «ненаивной» интерпретации консеквенциализма, нужно оптимизировать не только физически ощутимую «деятельность» по максимизации ожидаемой полезности, но и связанные с принятием решений эвристики. Надо обдумать, какие эвристики в каких ситуациях всем консеквенциалистам в целом стоит использовать, и получившуюся систему применять для себя.

Отсюда следует, что консеквенциалисты (по сравнению с наивным восприятием) должны последовательно выполнять обещания и придавать большее значение участию в выборах, разделению мусора, этичному потреблению и в целом решениям группового масштаба, а также гораздо реже нарушать законы и социальные нормы. Иначе, в случае наивного консеквенциализма, многие агенты гарантированно сами загонят себя в нежелательное равновесие «предавать-предавать» в дилемме заключенного. Такого исхода, безусловно, стоит избегать, если вы стремитесь к как можно лучшему состоянию мира.

Вышеизложенные соображения показывают, что «антагонисты» — кантианство и консеквенциализм — гораздо ближе друг к другу, чем это предполагается в традиционном толковании. Эффективный Альтруизм не тождественен консеквенциализму, но многие эффективные альтруисты считают себя консеквенциалистами, и поэтому важно, чтобы они не интерпретировали его наивно. В противном случае всё движение ЭА будет страдать. Кроме того, было бы выгодно, если бы консеквенциализм потерял свою — отчасти незаслуженно — плохую репутацию. Это возможно осуществить, распространяя изложенную здесь интерпретацию, которая указывает на опасности наивного консеквенциализма и устраняет их.

  • 1. Об этом можно почитать, например, в английском FAQ по теории принятия решений и в этой работе о новых подходах.
  • 2. Точная формулировка «другие люди из одних и тех же посылок приходят к одним и тем же рассуждениям» важна — именно поэтому такое консеквенциалистское рассуждение отличается от кантианского слогана «Представь себе, если бы все так делали!». В отличие от кантианства, надо действительно исходить из того, что решения других участников связаны с нашим собственным. (Кантианский принцип пришел бы к тому же самому в мире, где все люди достаточно умные, волевые и отрефлексированные, чтобы всегда стремиться к рационально-консеквенциалистским решениям.)
  • 3. Некоторые подходы, например, «утилитаризм правила», содержат некоторые из этих принципов, но зачастую они сформулированы и обоснованы довольно размыто. В идеале с помощью теории принятия решений можно вывести хорошие «правила» (подходящие процессы принятия решений, принципы, интуиции, черты характера и т. д.) из полной, «ненаивной» интерпретации консеквенциализма.
Перевод: 
schtsch_k
Оцените качество перевода: 
Средняя оценка: 3.5 (8 votes)

Мышление из «Не Смотри Вверх», которое может нас всех погубить

Макс Тегмарк

Представьте, что на подлёте обнаружен большой астероид, и мы узнаём, что половина астрономов считает, что шанс, что он вызовет вымирание людей, также, как похожий астероид уничтожил динозавров около 66 миллионов лет назад, не меньше 10%. Учитывая, что у нас есть длинная история размышлений об этой угрозе и о том, что в таком случае делать, от научных конференций до голливудских блокбастеров, можно ожидать, что человечество живо начнёт работать над миссией отклонения, чтобы направить астероид в более безопасном направлении.

К сожалению, мне сейчас кажется, что мы проживаем фильм «Не смотри вверх» для другой экзистенциальной угрозы – несогласованного суперинтеллекта. Возможно, вскоре нам придётся делить планету с более интеллектуальными «разумами», менее заботящимися от нас, чем мы заботились о мамонтах. Недавний опрос показал, что половина исследователей ИИ оценивает шанс, что ИИ вызовет вымирание людей, как не меньше 10%. Учитывая, что у нас есть длинная история размышлений об этой угрозе и о том, что в таком случае делать, от научных конференций до голливудских блокбастеров, можно ожидать, что человечество живо начнёт работать над миссией направления ИИ в более безопасном направлении, чем вышедший из-под контроля суперинтеллект. Подумайте ещё: вместо этого самые влиятельные ответы – это комбинация отрицания, высмеивания и смирения, такая чёрнокомедийная, что заслуживает Оскара.

Когда «Не смотри вверх» вышел в конце 2021, он стал популярен на Нетфликсе (второй по просмотрам фильм за всё время). Он стал ещё популярнее среди моих коллег-учёных, многие из которых восхваляли его как свой любимый фильм, предлагающий катарсическую комедийную разрядку за годы сдерживаемого раздражения от игнорирования их беспокойств и предложений. В нём показано, как, хоть у учёных есть рабочий план, как отклонить астероид до того, как он уничтожит человечество, у этого плана не получается конкурировать за внимание медиа с слухами о знаменитостях, и обойти лоббистов, политическую выгоду и «астероидоотрицание». Хоть фильм и задумывался как сатира на недостаточную реакцию человечества на изменение климата, к сожалению, пародия на реакцию человечества на развитие ИИ из него получается ещё лучше. Ниже – мои комментарии к самым частым реакциям людей на эту проблему:

«Нет никакого астероида»

Многие компании работают над созданием СИИ (сильного искусственного интеллекта), определяемого как «ИИ, который может обучиться исполнять большинство интеллектуальных задач, посильных для людей, включая разработку ИИ.» Ниже мы обсудим, почему это может быстро привести к суперинтеллекту, определяемому как «обобщённый интеллект, сильно превосходящий человеческий уровень».

Мне часто говорят, что СИИ и суперинтеллект не появятся, потому что они невозможны: человеческий интеллект – это что-то таинственное, что может существовать только в мозге. Такой углеродный шовинизм игнорирует центральное озарение, стоящее за ИИ-революцией – что интеллект состоит в обработке информации, и неважно, делают это атому углерода в мозге или атомы кремния в компьютере. ИИ неустанно одолевал людей в одной задаче за другой, и я предлагаю углеродным шовинистам перестать сдвигать ворота и публично предсказать, какую задачу ИИ никогда не будет в состоянии выполнить.

«Он ещё долго до нас не долетит»

Как известно, в 2016 Эндрю Ын язвително высказался, что «беспокоиться об ИИ сейчас – это всё равно, что ьеспокоиться о перенаселении на Марсе». До недавних пор около половины исследователей ожидали, что до СИИ ещё как минимум десятилетия. Крёстный отец ИИ Джеффри Хинтон сказал CBS, что «Совсем недавно я полагал, что до обобщённого ИИ ещё что-то вроде от 20 до 50 лет. А сейчас я думаю, что это может быть 20 лет или меньше» и что возможно это даже 5 лет. Он не одинок: недавняя статья от Microsoft утверждает, что GPT-4 уже демонстрирует «отсветы» СИИ, а такой же как и Хинтон первопроходец глубинного обучения Йошуа Бенгио заявляет, что GPT-4 по сути проходит Тест Тьюринга, который когда-то рассматривали как тест на СИИ. И время от СИИ до суперинтеллекта может быть не очень большим – согласно авторитетному рынку предсказаний это, вероятно, меньше года. Суперинтеллект – не «проблема далёкого будущего»: он ближе, например, изменений климата и планов большинства людей на пенсию.

«Упоминание астероида отвлекает от более насущных проблем»

До суперинтеллекта и угрозы вымирания человечества у ИИ может быть много заслуживающих беспокойства побочных эффектов, от предвзятости и дискриминации до утери приватности, массовой слежки, исчезновения рабочих мест, растущего неравенства, кибератак, распространения летального автономного оружия, «взлома» людей, обессиливания людей и потери смысла, непрозрачности, проблем с ментальным здоровьем (от травли, привыкания к социальным медиа, социальной изоляции, обесчеловечивания социальных взаимодействий) и угроз демократии (от поляризации, дезинформации и концентрации власти). Я поддерживаю обращение на них большего внимания. Но заявлять, что следовательно мы не должны говорить об экзистенциальной угрозе суперинтеллекта, потому что она отвлекает от этих проблем – всё равно, что заявлять, что нам не следует говорить о буквальном летящем на нас астероиде, потому что он отвлекает от изменений климата. Если несогласованный суперинтеллект приведёт к вымиранию человечества в ближайшие десятилетия, все остальные риски перестанут иметь значение.

«Астероид остановится, прежде чем врезаться в нас»

Большинство людей, всерьёз относящихся к СИИ, кажется, настолько напуганы и/или возбуждены по его поводу, что говорят только о тех других рисках, а слона – суперинтеллект – не примечают. Большинство медиа, политиков и исследователей ИИ едва ли упоминают его, как будто техническое развитие каким-то образом придёт в стагнацию на уровне СИИ на долгое время. Как будто они забыли простой контраргумент Ирвинга Дж. Гуда, потому что он слишком давно высказан:

«Давайте определим ультраинтеллектуальную машины [то, что мы сейчас называем СИИ] как машину, которая может превзойти интеллектуальную деятельность любого, даже самого умного человека. Так как проектирование таких машин – один из видов интеллектуальной деятельности, ультраинтеллектуальная машина сможет спроектировать машины ещё лучше; это несомненно приведёт к «интеллектуальному взрыву» и интеллект человека останется далеко позади…»

В основной идее рекурсивного самоулучшения нет, конечно, ничего нового: использование сегодняшних технологий, чтобы создать технологии следующего года, объясняет многие примеры экспоненциального развития технологий, включая Закон Мура. Новое тут то, что прогресс к СИИ позволяет оставлять в процессе всё меньше людей, в итоге – нисколько. Это может очень сильно сократить временные масштабы последовательных удвоений, от типичных человеческих уходящих на исследования и разработку лет, до машинных недель или часов. Окончательный предел такого экспоненциального роста устанавливает не человеческая изобретательность, а законы физики, ограничивающие то, сколько вычислений может совершать материя, значением примерно в квадриллион квинтиллионов раз большим, чем лучшие сегодняшние результаты.

«Астероид практически остановится»

Примечательно, что отрицание суперинтеллекта распространено не только среди не-технарского народа, но и среди экспертов, работающих над ИИ и безопасностью ИИ.

Циник может свести это к замечанию Эптона Синклера о том, что «Сложно заставить человека что-то понять, когда его зарплата зависит от того, что он этого не понимает». Хоть, к сожалению, это правда, что большинство исследователей ИИ (включая исследователей безопасности и этики) получают финансирование от Big Tech, будь то напрямую или косвенно, через гранты от некоммерческих организаций, спонсируемых технарскими филантропами, я думаю, что есть и более невинные объяснения их отрицательства суперинтеллекта, такие, как хорошо изученные когнитивные искажения. Для нас сложно предсказать не линейные, а экспоненциальные изменения. Сложно бояться того, чего мы никогда не испытывали, например, радикального изменения климата или ядерной зимы.

Из-за искажения доступности сложно посмотреть дальше непосредственной угрозы и увидеть большую, но и более далёкую. К примеру, я часто слышу аргумент, что большие языковые модели (LLM) вряд ли смогут быстро рекурсивно самоулучшиться (интересный пример тут). Но упомянутый выше аргумент И. Дж. Гуда об интеллектуальном взрыве не предполагает, что архитектура ИИ по ходу самоулучшения останется неизменной! Когда люди достигли обобщённого интеллекта, мы заполучили свой экспоненциальный рост способностей к обработке информации, не выращивая себе мозги побольше, а изобретая книгопечатание, университеты, компьютеры и технические компании. Аналогично, хоть сейчас всё на себе тащат нейросети и LLM, наивно предполагать, что быстрейший путь от СИИ до суперинтеллекта – просто обучение ещё больших LLM на ещё большем количестве данных. Очевидно, есть куда более умные архитектуры ИИ, ведь мозг Эйнштейна превосходил GPT-4 в области физики, несмотря на куда меньшее количество данных и всего 12 Ватт мощности.

Когда задача изобретения архитектур получше будет возложена на СИИ, прогресс в ИИ будет совершаться куда быстрее, чем сейчас, без необходимости участия людей, и интеллектуальный взрыв И. Дж. Гуда можно будет считать начавшимся. И при наличии возможности кто-нибудь даст СИИ эту задачу, точно также, как GPT-4 уже дали задачу создать самоулучшающийся ИИ с разными целями, включая уничтожение человечества.

«С нами всё будет в порядке, даже если астероид прилетит»

Если суперинтеллект приведёт к вымиранию человечества, то скорее всего не от того, что он стал злым или самоосознающим, а потому что он стал компетентным, а его цели были несогласованы с нашими. Мы, люди, довели до вымирания западноафриканских чёрных носорогов не потому, что были носорогоненавистниками, а потому, что были умнее них и обладали другими целями касательно использования их среды обитания и рогов. Точно так же, суперинтеллект с почти любой открытой целью будет хотеть сохранять себя и накапливать ресурсы для лучшего достижения этой цели. Может, он удалит кислород из атмосферы, чтобы снизить коррозию металлов. Куда вероятнее, наше вымирание будет банальным побочным эффектом, который мы сможем предсказать не лучше, чем носороги (или другие из 83% диких млекопитающих, которых мы убили) могли предсказать, что с ними покончит.

Некоторые аргументы про «всё будет в порядке» откровенно комичны. Если на вас летит управляемая ИИ ракета с тепловым наведением, утешит ли вас, если кто-нибудь скажет вам, что «У ИИ не может быть сознания» и «У ИИ не может быть целей»? Если бы вы были орангутангом в вырубаемом тропическом лесу, вас бы успокоило, что более разумные формы жизни автоматически добрее и эмпатичнее? Или что они – просто инструмент, который вы можете контролировать? Следует ли нам действительно считать это технологическим «прогрессом», если мы теряем контроль над своей судьбой, подобно коровам на фабричной ферме или обездоленным орангутангам?

Я – часть растущего сообщества безопасности ИИ, которое усердно работает над выяснением того, как сделать суперинтеллект согласованным ещё до его появления, чтобы его цели были согласованы с процветанием людей, или мы были как-то его контролировать. Пока что у нас не получилось разработать план, на который можно положиться, а мощь ИИ растёт быстрее, чем регуляции, стратегии и озарения по его согласованию. Нам надо больше времени.

«Мы уже предприняли все необходимые предосторожности»

Если вы просуммируете общепринятую мудрость по поводу того, как избежать интеллектуального взрыва в «Список-чего-не-делать» с мощным ИИ, он может начинаться примерно так:

Не учите его программировать: это облегчает рекурсивное самоулучшение

Не соединяйте его с интернетом: позволяйте ему выучить только необходимый для помощи нам минимум, но не как манипулировать нами или заполучать власть

Не прикрепляйте к нему общедоступный API: предотвратите его использование злонамеренными людьми прямо из кода

Не начинайте гонку вооружений: это стимулирует всех приоритизировать скорость в сравнении с безопасностью

Нарушив все эти правила, индустрия коллективно показала, что неспособна на саморегуляцию. Я верю, что намерения лидеров СИИ-компаний самые благие, и многих из них стоит похвалить за публичное выражение озабоченности. Сэм Альтман из OpenAI недавно описал худший сценарий как «нам всем конец», а Демис Хассабис из DeepMind сказал «Я бы призвал не нестись, ломая всё на пути». Однако, упомянутая гонка затрудняет для них сопротивление коммерческим и геополитическим давлениям, сподвигающим мчаться вперёд, и никто из них не согласился на недавно предложенную шестимесячную паузу обучения моделей больших GPT-3. Ни один игрок не может остановиться один.


Леонардо Ди Каприо на Южном Вокзале Бостона после съёмок «Не смотри вверх», 01.12.2020.
Дэвид Л. Райан, The Boston Globe

«Не отклоняйте астероид, он ценный»

(Да, это тоже происходит в «Не смотри вверх»!) Хоть половина исследователей ИИ даёт ему не менее чем десятипроцентный шанс вызвать вымирание человечества, многие противостоят попыткам предотвратить появление суперинтеллекта, заявляя, что он может принести нам много ценного – если не уничтожит нас. Даже до суперинтеллекта, ИИ, конечно же, может принести огромные богатства и власть отдельным людям, компаниям и государствам.

Это правда, что супеинтеллект может оказаться очень полезным, если он согласован.

Всё, что я люблю в цивилизации – продукт человеческого интеллекта, так что суперинтеллект может решить болезни и бедность и помочь человечеству процветать как никогда прежде, не только до следующих выборов, но миллиарды лет, и не только на Земле, но и по всему прекрасному космосу. И. Дж. Гуд кратко высказал это так: «Следовательно, ультраинтеллектуальная машина – последнее изобретение, которое людям когда-либо потребуется совершить, при условии, что машина достаточно смирна, чтобы рассказать нам, как держать её под контролем. Странно, что это так редко упоминают за пределами научной фантастики. Иногда стоит воспринимать её всерьёз.»

«Давайте обеспечим, чтобы сначала астероид прилетел в США»

Предназначение предложенной паузы – дать возможность установить планы и стандарты безопасности, чтобы человечество могло выиграть гонку между растущей мощью технологии и мудростью, с которой мы технологией управляем. Из всех, что я встречал, громче всего звучащее возражение против паузы – это «Но Китай!». Как будто шестимесячная пауза перевернёт исход геополитической гонки. Как будто потеря контроля в пользу китайских разумов страшнее, чем потеря контроля в пользу цифровых разумов, которых не заботят люди. Как будто гонка к суперинтеллекту – гонка вооружений, которую могут выиграть «мы» или «они», когда на самом деле это скорее всего суицидальная гонка, где единственный победитель – «оно».

«Не говорите об астероиде»

Ключевая причина того, что мы так мало слышим о риске суперинтеллекта (в сравнении с угрозой безработицы, предвзятости, и т.д.) – это нежелание о нём говорить. Для технических компаний логично бояться регуляций, а для исследователей ИИ – снижения финансирования. К примеру, звёздный состав нынешних и прошлых президентов крупнейших организаций из области ИИ недавно опубликовал заявление, одобряющее работу над длинным списком рисков ИИ, в котором суперинтеллект подозрительно не упоминается. Мейнстримные медиа, с редкими исключениями, тоже не примечают слона. Это печально, потому что первый шаг к отклонению астероида – начать широкое обсуждение того, что лучше всего по его поводу делать.

«Мы заслуживаем, чтобы в нас попал астероид»

Хоть каждый и имеет право придерживаться своих мизантропических взглядов, это не даёт права обрекать на погибель всех остальных.

«Астероиды – естественная следующая ступень жизни в космосе»

Хоть научная фантастика и наполнена осознающими себя человекоподобными ИИ, разделяющими человеческие ценности, сейчас уже ясно, что пространство возможных инопланетных разумов куда больше. Так что, если мы влетим в интеллектуальный взрыв вместо того, чтобы аккуратно направлять развитие, скорее всего, получившийся суперинтеллект не только заменит нас, но и будет лишён всего, хоть как-то напоминающего человеческие сознание, сочувствие и мораль – будет чем-то, что мы скорее посчитали бы нестановимой чумой, а не достойными наследниками.

«Это неизбежно, так что не надо пытаться этого избежать»

Нет лучшей гарантии провала, чем не пытаться. Хоть человечество и несётся к обрыву, мы пока до него не дошли, и ещё есть время затормозить, сменить курс и избежать падения – и вместо него насладиться всеми выгодами безопасного и согласованного ИИ. Для этого надо согласиться, что обрыв существует, и что падать с него не выгодно никому. Просто посмотрите вверх!

Перевод: 
Выменец Максим
Оцените качество перевода: 
Средняя оценка: 4.2 (5 votes)

Небольшое систематическое усилие: неисследованные глубины в искусстве рациональности

Бриенна Юдковская

Среда, 20 августа, 2014

Краткое содержание: я предполагаю, что в поле рациональных навыков есть важные секреты, которые еще предстоит открыть. Они очень простые, но их освоение занимает много времени.

Я думала о том, что такое вообще рациональные навыки, и как они развиваются. Под «рациональными навыками» я имею в виду способы мыслить и чувствовать, которые помогают систематически увеличивать точность убеждений и воплощать свои ценности.

Та категоризация, которая интересует меня больше всего, основывается на том, каким образом можно осваивать эти навыки. Я попробовала представить схему приобретения рациональных навыков. Она выглядела примерно так.

схема приобретения рациональных навыков

Навыки из левого столбца осваиваются быстрее; навыки из правого столбца требуют и времени на изучение, и циклических повторений, и длинного списка последовательно приобретенных навыков. При том что навыки «сложные» и «требующие много времени на изучение» могут пересекаться, я не думаю, что это одно и то же.

У ребенка может занять много времени освоение математической операции «деление». Ему потребуется понять сложение, чтобы изучить вычитание и умножение, а потом умножение, чтобы выучить деление. И последняя операция, дающая правильный ответ, который зависит от умножения и вычитания (и деления, если нужна эффективность). Все вместе может занять довольно много времени.

Но если вы однажды уже освоили все кусочки базовой арифметики, последнее действие становится совсем легким. Более того, если у вас перед глазами есть подробная инструкция, это можно даже сделать правильно с первого раза. Сами кусочки достаточно просты, настолько, что достаточно исполнять алгоритм, даже без глубокого понимания. Это может быть сложно и долго, особенно если вы никогда раньше не видели арифметики, но наибольший логический шаг лежит в равной степени между сложением и умножением или между умножение и делением. Такие скачки может выполнить любой школьник. Ни одна составная часть не настолько сложна, чтобы её нельзя было осмыслить.

Но посмотрите на простейшие задачи из элементарной алгебры. Вдобавок к арифметическим операциям вам потребуется еще два кусочка: «делать одно и то же по обе стороны от знака равно», и «переменные». «Делать одно и то же по обе стороны от знака равно» даже проще, чем «деление в столбик».

Но «переменная» - нечто совершенно другое. Она требует совсем другой идеи. А это в свою очередь требует абстракции, которая не только непривычна, но и отстоит на несколько понятийных расстояний. Может быть, это даже самое большое понятийное расстояние, которое нужно преодолеть ребенку в традиционном математическом образовании, чтобы перейти к алгебре и тригонометрии. Это несложная идея, но невозможно «понять переменную наполовину». Либо ты понимаешь, либо нет, и если понимаешь, то элементарная алгебра внезапно становится осмысленной. «Переменная» - это, возможно, прозрение. И это довольно сложное прозрение, которое, как утверждает Джо Бойлер, большая часть взрослых так и не получили.

Я думаю, что Цепочки LessWrong по большей части подходят для получения таких прозрений. Это во многом не дающие никакой новой информации прозрения, которые иначе выстраивают сознание заново и готовят его к будущим прозрениям. Но это все равно прозрения. Это навыки, которые сложно приобрести, которые можно получить только разом, в данном случае, после чтения записей в блоге. Это по большей части штуки вида «понимание Х», или «осознания, что Y». И большинство возможных уроков в Цепочках - достаточно сложные, если только не случилось так, что у вас уже подходящая структура сознания. Отчасти поэтому большинство людей не меняют мнение сразу после первого поста. Поэтому Цепочки Lesswrong находятся в основном в левом верхнем углу схемы.

Воркшопы CFAR -а занимают целиком левую часть схемы. Большая часть всего, чему учат на их занятиях находится слева внизу–легко и быстро–потому что занятия длятся только 50 минут, и они скорее практические, чем теоретические. Вместо того, чтобы час читать вам лекцию, как будто зачитывая вслух посты из какой-нибудь Цепочки, они делают что-то вроде «Вот вам удивительно полезная техника. Давайте сделаем».

Например, CFAR учит технике «Триггеры если-то», которая известна в литературе по когнтивистике как «намерения по исполнению» . Она помогает для вещей, требующих много усилий, даже сильнее, чем дворец памяти, так как масштабы эффекта похожие, и очень большие, но «триггеры если-то» можно применять в любых ситуациях, которые вообще можно разложить на отдельные триггеры и отдельные действия. И все что нужно - научиться составлять достаточно конкретные «если-то» выражения, например: «Если я слышу будильник утром, я вскочу с кровати сразу». Еще CFAR обучает другим трюкам, вроде Murphey Jitsu, Факторизации Целей, Focused Grit, и Againstness. (Не переживайте, я сейчас укажу исключения для всех этих штук).

Остальной опыт обучения по программе CFAR , социализация вне занятий, обычно вызывает хотя бы одно озарение. Участники могут общаться с инструкторами и другими участниками, и, так как там находятся специально отобранные умные, сообразительные во многих смыслах люди, всегда кто-нибудь говорит «Ой, я никогда не думал об этом!»

CFAR дает один урок, который находится в нижнем правом углу схемы: Расширение Зоны Комфорта (Comfort Zone Expansion, или CoZE). CoZE в основном взято из экспозиционной терапии. Экспозиционная терапия может занять много времени. Хотя вы сразу можете заметить прогресс, вы обычно не избавляетесь от глубокого страха или тревоги за один раз. Требуется повторяющаяся экспозиция с постепенным увеличением интенсивности.

Но экспозиционная терапия довольно проста! Пугающая, но не слишком, и не сложная. Принципы простые, техника выполнения очевидная, и ничего больше. Потребуется только время. Поэтому CFAR отводит больше времени для CoZE, чем для других заданий. Есть стандартные 50 минут на подготовку к CoZE, и есть целые вечера для упражнений CoZE вне занятий, где все по несколько часов ищут многократного соприкосновения с пугающими вещами. CoZE - черепаший навык. «Медленный и упорный выигрывает гонку». Навык целиком зависит от небольших систематических усилий.

Некоторые другие техники CFAR могут быть на схеме к оси Х, но я не думаю, что есть другие, которые обязательно требуют многоразового повторения для установки.

Есть в программе CFAR один набор навыков, который, как я думаю, находится на схеме в правом верхнем квадрате: Байесовский вывод. Это не простое прозрение, и, если вам нужна версия, которая работает в реальной жизни, это не исправление распространенной ошибки. Когда я последний раз смотрела (в июне 2014), урок про Байесовский вывод не очень подходил под стандарты уроков по устранению типичных ошибок или CoZE, и я думаю, сейчас я по большей части понимаю, почему.

Байесовский вывод зависит от некоторых довольно запутанных привычек мышления. Это такие навыки, которые не только сложно освоить, но для которых еще требуется долго обрабатывать, много раз повторять, устанавливать много связей. Требуется несколько прозрений, несколько исправлений типичных ошибок, установка множества привычек, длинный и сложный процесс сбора этого всего в целостный паттерн Байесианства в мыслях и чувствах. Двухчасовые классы просто не тот формат, чтобы все это успеть.

[CFAR предлагает шесть недель личного сопровождения для каждого участника, так что есть возможность установки медленных навыков, помимо основного времени воркшопа. Но там все очень индивидуально, больше похоже на консультирование, чем на обычное преподавание, и эти консультации сложно оценить так же как Цепочки или стандартные уроки CFAR, поэтому я не буду подробно на этом останавливаться.]

Магию вроде Байесовского вывода определенно можно освоить. Я думаю, почти все, если не все такие навыки, приобретаются в результате освоения компонентов из трех других квадратов и их переплетения в течение некоторого времени.
Если и есть рациональные навыки, которые требуют тупо медленного и сложного обучения, я про такие не знаю. Я подозреваю, что большинство нереально крутых эпистемических навыков - это такая магия. И пока даже объединенные CFAR и Цепочки редко приводят людей к ней.

Я выучила несколько сложных вещей. Я научилась доказывать теоремы нестандартной математики, которые отвергают мою базовую логическую интуицию. Я научилась интерпретировать старую причудливую абстрактную Индийскую философию. Я научилась вестить в блюзе, как никто другой. И я не могу представить ни одного навыка, который бы я приобрела так просто, и который при этом не раскладывался бы на простые исправления типичных ошибок, необходимость их обмозговать и кучу небольших систематических усилий.

Может быть я неправа, и большинство навыков Волшебника требуют медленного и сложного освоения. В конце концов, это бы объясняло, почему я до сих пор не на уровне Бейсудзукай. Должно быть что-то, что умеют Анна Саламон и Элиезер Юдковски, а я нет; может, это как раз оно.

Но, что определенно есть у Анны и Элиезера, чего нет у меня? Практики. Многих и многих лет практики. Я услышала слово «рационалист» вне рамок философии Декарта всего два года назад. Может быть поэтому, несмотря на то что большинство моих прозрений из материалов Lesswrong я уже получила, и большую часть типичных ошибок из курса CFAR я уже исправила, есть еще какой-то третий класс легко изучаемых навыков, которые мне еще нужно освоить, чтобы собрать их все воедино и стать намного сильнее, как рационалист.

Если это правда, то это очень хорошие новости! Это значит, что я могу посмотреть на навыки Волшебника, которые мне нужны, и разбить их на озарения и простые шаги, которые я уже умею, и могу спросить себя, «Какая часть этой мозаики может потребовать небольших последовательных усилий?» И я могу прийти к полезному ответу!

За исключением одного, все навыки, которые я получила напрямую от Элиезера, пока жила с ним весь прошлый год, подтверждают это гипотезу. (Он дал мне одно внезапно крутое озарение, которое было «ошибайся больше».) Все остальные приблизительно следовали такому паттерну.

  1. Он подчеркивал важность чего-то, что я уже понимала, одновременно абстрактно в теории и конкретно на практике.

  2. Я решала практиковать ПОСТОЯННУЮ БДИТЕЛЬНОСТЬ, как защиту от единственного режима провала, который связан с недостатком навыка.

  3. Я замечала ошибку несколько раз в течение нескольких дней или недель, пока не научалась предсказывать, когда я ошибусь в следующих раз.

  4. Я практиковала ПОСТОЯННУЮ БДИТЕЛЬНОСТЬ до тех пор, пока я не научалась ощущать, что ошибка вот-вот случится.

  5. Я пробовала несколько способов реагировать на чувство, что ошибка вот-вот собирается, чтобы узнать как может ощущаться решение проблемы.

  6. Я обдумывала результаты некоторое время.

  7. Часто я рассказывала свои наблюдения Элиезеру, для получения обратной связи.

  8. Я составляла (обычно даже не на бумаге) план «триггер-действие» с триггером «Я заметила, что я испытываю чувство, что ошибка вот-вот случится, если я ничего не сделаю», и с действием, которое, как я ожидаю, предотвратит ошибку.

  9. Я практиковала этот кусочек «триггер-действия», пока он не начинал ощущаться как привычный.

  10. Я создавала своё понимание проблемы, и ее включение в мою практику.

Представьте мастер-рационалистку, которая сделала упражнение по такой же схеме, только для какого-нибудь магического навыка, предварительно разбив его на навыки из трех других квадратов. И представим, что она хочет научить меня этому навыку. Она может сказать, что нужно будет понять, надеясь спровоцировать появление нужных быстрых но сложных озарений. Она может дать мне несколько простых способов исправить типичные ошибки, если быстрые и простые решение являются частью этого навыка. Потом для каждого простого, но медленного компонента, она может серьёзно увеличить мою скорость обучения, снабдив меня, или по другому помогая мне обнаружить, следующую информацию.

  1. Как ощущается обнаружение самой ошибки, или как понять, на что это ощущение похоже.

  2. Как ощущается обнаружение, что ошибка вот-вот произойдет, или на что это ощущение может быть похоже.

  3. Что делать, когда я обнаружила это ощущение, или несколько вариантов того, что стоит попробовать.

Собрание таких советов для медленных навыков, особенно, если они представлены в виде, который способствует систематическим проверкам и небольшим усилиям по улучшению, будет новым видом рационального ресурса.

Это, однако, не будет беспрецедентным в других областях. Даже не собирая информацию, я могу вспомнить книги приблизительно об этом для йоги, практик осознанности, написания текстов, и физики. Я думаю, нам нужна своя такая книга, про искусство рациональности.

Перевод: 
Alina1412, Pion
Оцените качество перевода: 
Средняя оценка: 3.5 (2 votes)

Сообщай отношения правдоподобия

Анна Саламон, Стив Рэйхок

Когда я вспоминаю о теореме Ауманна о согласии, у меня возникает рефлекторное желание найти среднее значение. Ты считаешь, что вероятность события X — 80 %, а я приписываю ему вероятность в 60 %. После обмена мнениями мы оба, наверное, должны сойтись на 70 %. «Возьми среднее арифметическое от начальных убеждений», или даже «посчитай взвешенное среднее, зависящее от авторитета» — частые эвристики.

Эта стратегия работает не всегда. Иногда лучшая комбинация не просто не похожа на среднее значение, но даже выходит за пределы отрезка [наименьшая оценка, наибольшая оценка].

Скажем, Джейн и Джеймс хотят определить, симметрична ли монета. Они оба считают, что она симметрична с вероятностью 80 %. Также им известно, что если монета несимметрична, то она наверняка из числа тех, что выпадают орлом в 75 % случаях.

Джейн пятикратно подбрасывает монету, совершает идеальное байесианское обновление убеждений и делает вывод, что монета несимметрична с вероятностью 65 %. Джеймс пятикратно подбрасывает монету, совершает идеальное байесианское обновление убеждений и делает вывод, что монета несимметрична с вероятностью 39 %. Эвристика усреднения предполагает, что правильный ответ находится где-то между 65 % и 39 %. Однако идеальный байесианец, услышавший оценки Джейн и Джеймса, знающий их априорные вероятности, и установивший, какие свидетельства они наблюдали, сделает вывод о 83 % вероятности несимметричности монеты.

(Математические выкладки перенесены в конец статьи)

Возможно, Джейн и Джеймс объединяют свою информацию в центре многолюдной таверны, и поблизости нет ни ручки, ни бумаги. Может быть, у них не хватает времени или памяти для того, чтобы рассказать друг другу о всех результатах бросков. Поэтому они просто сообщают друг другу апостериорные вероятности — хорошее, короткое резюме, самое то для пары спешащих рационалистов. Возможно, именно в этой лаконичности таится причина желания усреднять апостериорные убеждения.

И всё-таки, существует альтернатива. Джейн и Джеймс могут обменяться отношениями правдоподобия. Также, как и апостериорные вероятности, отношения правдоподобия суть сжатый конспект; и, в отличии от апостериорных вероятностей, обмен отношениями правдоподобия действительно работает.

Давайте послушаем беседу, в которой Джейн и Джеймс обмениваются отношениями правдоподобия:

ДЖЕЙН: Вероятность моих наблюдений при условии несимметричности монеты в семь с половиной раз выше, чем вероятность моих наблюдений при условии симметричности монеты.

ДЖЕЙМС: Мои наблюдения при условии несимметричности монеты в два с половиной раза вероятнее, чем при условии симметричности монеты.

ВДВОЁМ, в унисон: Значит, вероятность совокупности наших наблюдений при условии несимметричности монеты примерно в 19 раз выше, чем при условии её симметричности. Но наша априорная вероятность того, что монета несимметрична равна 20 %, что означает отношение априорных шансов 1:4. Применив теорему Байеса, получаем (1:4)*(19:1), что примерно равно 5:1 в пользу несимметричной монеты.

[ЗАВСЕГДАТАИ БАРА осторожно выскальзывают из помещения, пугливо оглядываясь]

И сейчас, увидев, как именно работает обмен отношениями правдоподобия, ты наверняка страстно хочешь воспользоваться этим приёмом из арсенала рационалистов в повседневной жизни.

Поэтому, как и в других подобных случаях, имеет смысл привести несколько примеров их применения.

1) Отделяй свидетельства от априорных вероятностей. Пару раз я наблюдал беседы примерно следующего вида:

Алиса: Что ты думаешь о Джеке?

Боб: По-моему, человек как человек, довольно средний в плане (ума\надёжности\чего-то там). Не думаю, что он ниже среднего, но и выдающимся я бы его не назвал.

Алиса: По какой именно причине ты не считаешь его выдающимся? Ты наблюдал что-то, говорящее о том, что он не выдающийся? Или просто большинство людей — середняки, и ты не видел ничего, что позволило бы считать Джека особенным? Где именно расположен пик твоей функции правдоподобия?

Такой стиль ведения диалога очень полезен. Пусть, например, первоначальное впечатление Алисы о Джеке крайне положительно, а мнение Боба не так положительно. Если Боб хорошо знает Джека, то Алисе придётся понизить своё мнение о Джеке. Однако если мнение Боба — следствие слишком малого количества положительных данных о Джеке, недостаточного для того, чтобы переместить Джека из категории «скорее всего, обычные люди» в категорию «скорее всего, выдающиеся люди», то Алисе нужно повысить свою оценку способностей Джека. В обоих этих случаях апостериорные убеждения Боба одинаковы, хотя его наблюдения несут в себе разительно отличающиеся следствия для Алисы. Эта разница теряется при обмене апостериорных убеждений, но учитывается при обмене отношениями правдоподобия.

2) Не считай априорные вероятности дважды. Робин Хансон предложил корректировать баллы, набранные женщинами в SAT по математике в сторону среднего значения (уменьшать высокие значения и увеличивать низкие), если математические навыки женщин характеризуются меньшим среднеквадратичным отклонением, чем математические навыки мужчин. Забудем о моральной стороне этого вопроса; такая корректировка действительно улучшит применимость результатов для оценки математических способностей людей, о которых неизвестно ничего, кроме результата их SAT. Вполне возможно, что женщина, набравшая 800 баллов, набрала их благодаря какой-нибудь случайности, однократному везению; если провести несколько последующих тестирований, то их результаты будут лежать в окрестности того же значения, что и результаты повторного тестирования мужчины, изначально набравшего, скажем, 770 баллов.

Можно сказать, что, возможно, математическое ожидание результатов (так сказать, «истинная степень способностей к математике») женщины, набравшей 800 баллов, ничем не отличается от математического ожидания результатов мужчины, набравшего 770 баллов.

Однако, такая корректировка результатов перемешивает априорные вероятности и отношения правдоподобия. Баллы за SAT лучше воспринимать в качестве функций правдоподобия: люди с высокими «истинными способностями» набирают 800 баллов чаще, чем люди со средними «истинными способностями», и так далее. Смешивая такие функции правдоподобия с априорными вероятностями (так, как это делает гендерно-зависимая корректировка баллов), ты затрудняешь комбинирование нескольких индикаторов.

Например, пусть 800 баллов, набранные женщиной, говорят о том же уровне «истинных способностей», что и 770 баллов, набранные мужчиной (благодаря различию априорных вероятностей и возможности несправедливого тестирования). Тогда «женские» 800 баллов, набранные дважды (в ходе двух независимых тестирований), будут говорить о большем уровне «истинных способностей», чем дважды набранные «мужские» 770 баллов. Гендерно-зависимая корректировка баллов хорошо работает для одного обособленного теста, но плохо показывает себя в ситуации, когда смешанных индикаторов несколько. Нелегко комбинировать несколько загрязнённых априорными вероятностями свидетельств (например, несколько скорректированных результатов SAT, или скорректированный SAT вместе со скорректированными рекомендательными письмами), не скосив результат в ту или иную сторону.

Общая идея всех этих примеров состоит в необходимости сохранять отношения правдоподобия. Вместо того, чтобы отслеживать кредит доверия к теории-лидеру, или помнить теорию, лучше всего характеризующую множество оставшихся возможностей (например, среднюю по всем теориям оценку качеств Джека), попытайся отслеживать, насколько вероятен весь набор имеющихся данных в свете той или иной гипотезы (а ещё тебе понадобится помнить все априорные вероятности). Я подозреваю, что эта тактика поможет и в борьбе с предвзятостью подтверждения; не знаю, проявятся ли после её использования какие-нибудь вредные побочные эффекты.

Главное предостережение: и в примере с монетой, и в примере с оценками незаурядности Джека, объединение отношений правдоподобия привело к более экстремальным убеждениям (в общем случае, объединение отношений правдоподобия может не привести к более экстремальным убеждениям, но оно почти всегда ведёт к точнее выраженным убеждениям). Если ты собираешься повторить это в домашних условиях, то удостоверься в том, что объединяемые индикаторы независимы. В противном случае ты рискуешь получить неоправданно экстремальные (или неоправданно специфичные) убеждения.

Выкладки, касающиеся примера про монету:

Раз апостериорная оценка Джеймса равна 39 %, то он явно наблюдал четыре орла и одну решку:

P(четыре орла и одна решка|монета несимметрична) = (0,75^4 • 0,25^1) = 0,079. P(четыре орла и одна решка|монета симметрична) = 0,031. P(монета несимметрична | четыре орла и одна решка) = (0,2•0,079)/(0,2•0,079 + 0,8•0,031) = 0,39, что и сообщил Джеймс.

Рассуждая аналогично, выясняем, что Джейн видела пять орлов и ни одной решки.

Подставляем в теорему Байеса девять орлов и одну решку:

P(монета несимметрична | девять орлов и решка) = ( 0,2 • (0,75^9 • 0,25^1) ) / ( 0,2 • (0,75^9 • 0,25^1) + 0,8 • (0,5^9 • 0,5^1) ) = 0,83, из чего и получается 83 % убеждение о том, что монета несимметрична

Перевод: 
BT
Оцените качество перевода: 
Средняя оценка: 3.7 (3 votes)

Список рациональных привычек от CFAR

Center for Applied Rationality

Проверочный список рациональных привычек

С помощью этого проверочного списка вы можете определиться, какие рациональные привычки вам хочется приобрести и следить за собственным прогрессом. Он не предназначен для того, чтобы измерять “насколько вы рациональны”. Скорее, он нужен, чтобы помочь вам обратить внимание на некоторые привычки, которые вы, возможно, захотели бы развить у себя.

Для каждого пункта списка, спросите себя - последний раз я пользовался этой привычкой:

  • Никогда
  • Сегодня/вчера
  • На этой неделе
  • В этом месяце
  • В этом году
  • В прошлом году или ещё раньше

Рациональные привычки

  1. Реакция на свидетельства/неожиданные события/аргументы, которые вы не слышали раньше. Сортировка убеждений для дальнейшего исследования.

    1. Когда я сталкиваюсь с чем-то странным - чем-то, чего я с учётом своих прочих убеждений не ожидал - я успешно это замечаю, сознательно обращаю на это внимание и думаю: “Я замечаю, что я озадачен” или что-то в этом духе. (Пример: Вы собираетесь в другой город и считаете, у вас билет на рейс в четверг. Во вторник вы получаете емэйл от центра бронирования билетов, в котором вам советуют приготовиться к полёту “завтра”. Это кажется вам ошибкой. Задумаетесь ли вы всерьёз над этой аномалией? (Пример основан на опыте реального участника встреч LW, который в аналогичном случае не смог заметить своё замешательство и пропустил свой рейс.))

    2. Когда кто-нибудь что-то рассказывает, а я не могу достаточно чётко это представить, я обращаю на это внимание и прошу примеры. (Свежий пример от Элиезера: Студент, изучающий математику, сказал, что они проходят “стеки”. Я попросил пример стека. Мне сказали, что целые числа могут образовывать стек. Я попросил пример чего-нибудь, что стеком не является.) (Свежий пример от Анны: Кэт сказала, что её парень очень азартный. Я попросила её описать, что значит “очень азартный”. Она ответила, что когда её парень за рулём и кто-то рядом жмёт на газ, он считает, что первым должен покинуть перекрёсток. А когда он пассажир, он бесится, если водитель не поступает так же.)

    3. Я замечаю, когда мой разум начинает защищать какую-то сторону (вместо того, чтобы определять, какую сторону выбрать) и отмечаю такую реакцию как ошибочную. (Свежий пример от Анны: Поймала себя на мысли, что объясняю себе, почему имеет смысл перепоручить кому-нибудь покупку своей одежды, вместо того, чтобы оценить, стоит ли перепоручать покупку вообще.)

    4. Я обращаю внимание, когда мой разум избегает какой-то мысли, и после этого отмечаю, что этот вопрос требует более тщательного исследования. (Свежий пример от Анны: У меня есть такой режим провала - если я чувствую себя неловко в компании, я пытаюсь убедить других в том, что они не правы, чтобы не чувствовать себя слишком уязвимой. Чтобы оформить эту мысль в слова потребовались неоднократные сознательные усилия, поскольку мой разум постоянно пытался от неё отделаться.)

    5. Я сознательно пытаюсь приветствовать плохие новости или хотя бы пытаюсь не закрывать на них глаза. (Свежий пример от Элиезера: Во время брейншторма, посвящённого будущему саммиту по сингулярности, встал вопрос о том, что на предыдущих мы не собирали пожертвования. Мой мозг начал сопротивляться, поэтому я применил шаблон “плохая новость - это хорошая новость”, чтобы переформулировать утверждение следующим образом: “Набранное количество денег за прошлые годы всё равно не изменится, поэтому это хорошая новость, поскольку мы можем изменить стратегию и в этом году действовать эффективней.”)

  2. Исследование и анализ убеждений (после того, как вы обратили на них внимание).

    1. Я замечаю, когда не проявляю любопытства. (Свежий пример от Анны: Когда кто-нибудь меня критикует, обычно я ловлю себя на мысли о том, что я хочу защищаться, и мне нужно представить мир, где критика верна, и мир, где она неверна, чтобы убедить себя узнавать именно то, что я на самом деле хочу узнать. Например, нас критиковали за то, что мы предоставили неверную исходную информацию к статистике, которую мы собирали на Rationality Minicamp. И, чтобы переключить свой мозг из защитного режима в режим “стоит ли нам поступать по-другому”, мне пришлось представить последствия того, что я буду объяснять, почему я не могла сделать ничего лучше того, что сделала, и сравнивать их с возможными последствиями того, что я представлю, как можно было бы сделать лучше в следующий раз.)

    2. Я ищу настоящие причины своих убеждений, эмоций и привычек и в процессе я могу подавлять стремления к самооправданию или отбрасывать самооправдания, которые не связаны с настоящими причинами моих мыслей. (Свежий пример от Анны: Когда выяснилось, что мы не можем арендовать для Minicamp заранее выбранное место, я нашла огромное множество причин, чтобы во всём обвинить человека, который это место предложил, но осознала, что мои эмоции большей частью были вызваны страхом, что меня обвинят в чрезмерных расходах.)

    3. Я пытаюсь рассматривать абстрактные аргументы или шаги доказательства на конкретных примерах. (Классический пример: Ричарда Фейнмана очень удивило, когда бразильские студенты не понимали, что под “преломляющей средой” подразумевается, например, вода. Если кто-то рассказывает вам о доказательстве утверждения, верного для всех целых чисел, проверите ли вы его для числа 17? Если в вашей голове крутится мысль о том, что ваш сосед очень неряшлив, проверите ли вы свои аргументы для какого-то конкретного проявления его неряшливости?)

    4. Когда я выбираю между двумя (или более) гипотезами с помощью некоторого свидетельства, я представляю мир, где выполняется гипотеза 1 и пытаюсь оценить априорную вероятность, с которой это событие случилось бы в этом мире, а затем представляю мир, где выполняется гипотеза 2, и оцениваю, становится ли в этом мире свидетельство более предсказуемым или менее. (Исторический пример: После нескольких часов допроса Аманда Нокс в своей камере несколько раз выполнила “колесо”. Обвинитель заявил, что она таким образом праздновала убийство. Если бы вы столкнулись с таким аргументом, стали бы вы придумывать способ объяснить, что исполнение “колеса” наоборот свидетельствует о её невиновности? Или вы бы сперва представили невиновного заключённого, затем виновного, и спросили бы, с какой частотой, по-вашему, такие люди исполняют “колесо” в камере, чтобы понять, с какой вероятностью это свидетельствует об одном или о другом?)

    5. Я пытаюсь осознанно оценивать априорные вероятности и сравнивать их с очевидной силой свидетельства. (Свежий пример от Элиезера: В разговорах о паранормальных явлениях я сразу заявляю, что я буду обращать внимание только на свидетельства со статистической значимостью p < 0.0001, как делается в физике, а не с p < 0.05.)

    6. Когда я сталкиваюсь со свидетельством, которого недостаточно, чтобы значительно изменить мои убеждения или поведение, но которое всё же более вероятно случается в мире X, чем в мире Y, я стараюсь хотя бы немного изменить мои представления о вероятностях. (Свежий пример от Анны: После того, как мне сбили зеркало заднего вида, я осознала, что должна немного изменить свою уверенность в том, что я хороший водитель. Хотя юридически и, скорее всего, фактически виновата была не я, это происшествие более вероятно в том мире, где я вожу хуже.)

  3. Обработка внутренних конфликтов. Реакция на желания, которые кажутся несовместимыми. Реакция на стресс.

    1. Я замечаю ощущение, когда кажется, что я и мой мозг верим в разные вещи (расхождение между убеждениями и ощущениями), и после этого останавливаюсь и спрашиваю, кто из нас прав. (Свежий пример от Анны: Прыжок на тарзанке с отеля «Стратосфера» в Лас-Вегасе. Я знала, что это безопасно, на основании того, что 40 тысяч людей это успешно проделали и не получили серьёзных травм. Но, чтобы убедить мой мозг, мне пришлось представить как все студенты моего колледжа два раза прыгают отсюда и выживают. Кроме этого, мой мозг иногда бывает более пессимистичен, чем я, особенно в социальных вопросах, и при этом почти всегда ошибается.)

    2. Когда мне нужно принять сложное решение, я пытаюсь переформулировать задачу, чтобы уменьшить влияние различных когнитивных искажений. (Свежий пример от брата Анны: Когда он решал вопрос, стоит ли ему переехать в Кремниевую долину и поискать более высокооплачиваемую работу программиста, чтобы избежать стремления к сохранению статус-кво, он переформулировал вопрос так: если бы он уже жил в Кремниевой долине, согласился ли бы он на понижение зарплаты в 70 тысяч долларов, чтобы переехать в Санта-Барбару к своим друзьям по колледжу? (Ответ: нет.))

    3. Когда мне нужно принять сложное решение, я проверяю, какие мои соображения являются консеквенционалистскими, в смысле, какие мои соображения действительно связаны с последствиями решения в будущем. (Свежий пример от Элиезера: Я купил матрас за 1400 долларов, чтобы решить свои проблемы со сном. Поскольку я его покупал через интернет, он мне обошёлся значительно дешевле, но его нельзя было вернуть. Когда выяснилось, что этот новый матрас мне не слишком помогает, мне не слишком хотелось тратить ещё деньги на ещё один матрас. Я напомнил себе, что 1400 долларов - это необратимые издержки, никак не влияют на будущее и ничуть не меняют важность и масштаб хорошего сна. Спать приходится каждый день, и сон серьёзно влияет на самочувствие каждый день.)

  4. Что вы делаете, когда ваши мысли или споры ходят по кругу и ни к чему не приводят.

    1. Я пытаюсь сформулировать конкретное предсказание, по поводу которого ожидания, следующие из различных убеждений, или ожидания различных людей точно не совпадут. Просто, чтобы убедиться, что разногласие действительно имеет место. (Свежий пример от Майкла Смита: Один человек беспокоился, что тренинг по рациональности может оказаться «обманом». Я спросил его, готов ли он сделать предсказание по поводу результатов тренинга на основании того, что это «обман», и будет ли его предсказание отличаться от моего.)

    2. Я пытаюсь придумать эксперимент, возможные результаты которого либо устроят меня (в случае внутреннего спора) или по поводу которых согласятся мои друзья (в случае дискуссии в группе). (Именно так мы разрешили долгий спор о том, как назвать Центр прикладной рациональности - Джулия просто попросила 120 человек высказать своё мнение по поводу вариантов названий.)

    3. Если я обнаруживаю, что мои мысли ходят по кругу вокруг конкретного слова, я пытаюсь табуировать это слово, то есть, думать без использования этого слова, его синонимов и эквивалентных понятий. (Речь, например, о размышлениях, “достаточно ли ты умный”, является ли твой партнёр “невнимательным” или “пытаешься ли ты поступать правильно”.) (Свежий пример от Анны: Посоветовала одному человеку перестать тратить столько времени, размышляя, являются ли действия его или других людей оправданными. Он ответил, что просто пытается поступать правильно. Я попросила его затабуировать слово «пытаюсь» и рассказать, о чём он на самом деле размышляет.)

  5. Внимание к поведению (привычкам, стратегиям) для их пересмотра.

    1. Я осознанно размышляю о ценности информации, когда решаю, попробовать ли что-то новое или исследовать какой-то вопрос, по поводу которого я сомневаюсь. (Свежий пример от Элиезера: Заказал тренировочный мяч за 20 долларов, чтобы проверить, улучшит ли сидение на нём мою внимательность и/или поможет спинной мускулатуре.) (Не очень свежий пример от Элиезера: После нескольких месяцев прокрастинации, благодаря постоянным придиркам Анны по поводу ценности информации наконец попробовал писать в компании наблюдателя. Обнаружил, что моя продуктивность выросла в четыре раза. В буквальном смысле, если считать в словах в день.)

    2. Я выражаю последствия в числах - как часто, как долго, насколько интенсивно. (Свежий пример от Анны: Когда Джулия отправилась проводить опрос по поводу названия Центра, я беспокоилась, что один человек обидится за то, что мы не дали ему поучаствовать в принятии решения. Чтобы перестать беспокоиться, мне пришлось сделать мысленное усилие и представить, насколько это маловероятно, насколько мало он обидится, и как коротко эта обида продлится.) (За последний год мы наблюдали ещё три реальных случая: Люди беспокоились, что их родители подумают о том, что они меняют карьеру. Чтобы понять, что это соображение не должно быть главным, им нужно было осознанно оценить, насколько сильную эмоциональную боль они причинят родителям своим решением и сколько времени родителям потребуется, чтобы привыкнуть к этому решению.)

  6. Пересмотр стратегий, формирование новых привычек, новые шаблоны поведения.

    1. Я замечаю, когда что-нибудь приводит к тому, что я избегаю действий, которые хотел бы повторять. (Свежий пример от Анны: Я заметила, что каждый раз, когда я нажимаю кнопку «Отправить» в окне электронной почты, я представляю все варианты, как плохо может отреагировать получатель и что ещё вообще может пойти не так. В результате меня словно слегка било током каждый раз, когда я отправляла письмо. Я, во-первых, прекратила так делать, во-вторых, завела привычку улыбаться каждый раз, когда я нажимаю на «Отправить», что обеспечило моему мозгу положительное подкрепление. Вместе это сильно снизило прокрастинацию в отношении писем.)

    2. Я разговариваю со своими друзьями или использую другие социальные механизмы, подталкивающие к нужному поведению. (Свежий пример от Анны: Чтобы подпитывать мозг глюкозой, я пью грейпфрутовый сок. Однажды я обнаружила, что после окончания работы какое-то количество сока ещё осталось. Чтобы предотвратить ошибку необратимых затрат, я посмотрела на Майкла Смита и в шутку сказала: «Но если я не допью его сейчас, он же испортится!» ) (Пример от Элиезера: Когда у меня были трудности с тем, чтобы вовремя лечь спать, я, во-первых, разговаривал с Анной о дурацких причинах, которые мой мозг использует, чтобы до сих пор продолжать бодрствовать, во-вторых, вместе с Люком разработал систему, в которой я заносил отметку «а+» в рабочий журнал каждый вечер, когда я шёл в душ, чтобы лечь спать вовремя и «a-» каждый раз, когда я этого не делал.)

    3. Чтобы выработать новую привычку, я вознаграждаю своего внутреннего голубя за её применение. (Пример от Элиезера: Многие отмечают, что со мной стало намного приятней общаться после… трёх повторений 4-часовых сессий писательства, во время которых меня вознаграждали M&M (и улыбкой) всякий раз, когда я делал кому-то комплимент, т.е. вспоминал сказать вслух что-то приятное из того, что я подумал.) (Свежий пример от Анны: Вчера я вознаградила себя улыбкой и радостным жестом за то, что я обратила внимание, что я занимаюсь низкоприоритетными задачами, не задумавшись о том, чтобы вспомнить о высокоприоритетных. Замечать ошибки - это хорошая привычка, и я тренируюсь вознаграждать себя за неё, а не испытывать вину.)

    4. Я пытаюсь не полагаться на то, что у меня волшебная свобода воли. Я пытаюсь влиять (привычками, созданием нужных ситуаций и так далее) на то, как я себя веду. Я не пытаюсь полагаться, что моя воля просто позволит сделать всё, что нужно. (Пример от Аликорн: Я избегаю изучать мнение политиков по поводу контроля оружия, потому что оно вызывает у меня сильную эмоциональную реакцию, которая мне не нравится.) (Свежий пример от Анны: Я подкупила Карла, чтобы он заставлял писать в журнал каждую ночь.)

    5. Я смотрю на себя со стороны. (Свежий пример от Анны: Обычно я звоню своим родителям раз в неделю, но пару недель этого не делала. Какая-то часть моего мозга заявила: «Я не могу позвонить сегодня, потому что сегодня я очень занята». Другая часть мозга ответила: «Глядя со стороны, сегодня действительно какой-то особый день, когда ты занята больше обычного, и изменится ли что-нибудь к завтрашнему дню?»)

В других форматах

Перевод: 
Alaric
Оцените качество перевода: 
Средняя оценка: 3.4 (16 votes)

500 Миллионов, Но Ни Одной Больше

Jai

Мы никогда не узнаем их имён.

О первой жертве и не могло остаться записей, ведь письменности ещё не существовало. Это была чья-то дочь, чей-то сын или чей-то друг, этого человека кто-то любил. И ему было больно, он был покрыт сыпью, испуган, не понимал, почему это всё происходит и что делать – жертва безумного нечеловеческого бога. Ничего сделать было – у человечества было недостаточно сил и знаний, чтобы дать отпор невидимому монстру.

Оно было в Древнем Египте, где поражало как рабов, так и фараонов. Оно без труда вырезало армии Рима. Оно убивало в Сирии. Оно убивало в Москве. В Индии оно убило пять миллионов. Оно убивало тысячу европейцев каждый день XVIII века. Оно убило больше 10 миллионов индейцев. От Пелопонесской Войны до Войны Севера и Юга от него погибало больше солдат и мирных людей, чем от любого оружия и любой армии. (Не то чтобы это останавливало самых глупых и бездушных от попыток использовать демона как оружие против своих врагов.)

Культуры расцветали и увядали, а оно оставалось. Империи ширились и разваливались, а оно процветало. Идеологии придумывались и забывались, а ему было всё равно. Убивать. Калечить. Распространяться. Древний безумный бог, скрытый от глаз, с которым нельзя было сражаться, которому нельзя противостоять, нельзя даже понять. Не единственный такой, но самый разрушительный.

Долгое время надежды не было – только горькое, пустое терпение выживших.

В XV веке в Китае человечество начало давать отпор.

Было замечено, что сумевших пережить проклятье безумного бога оно больше никогда не затронет: они переняли часть этой силы для себя, и были от неё защищены. Мало того, этой силой можно поделиться, поглотив остатки из ран. Это было не без цены, нельзя забрать силу бога, сначала не победив его, но в меньшей битве, на условиях человечества.

К XVI веку технология дошла до Индии, потом через всю Азию до Османской Империи, и, в XVIII веке, до Европы. В 1796 году Эдвард Дженнер придумал более продвинутую технику.

Начала зарождаться идея: может быть, древнего бога можно убить.

Шёпот стал громче, стал криком, крик стал боевым кличем, разносясь по деревням, городам и странам. Человечество начало кооперироваться, распространяя по земному шару оберегающую силу, выделяя мастеров этого ремесла для защиты народов. Бывшие заклятые враги объединялись ради общего дела на эту одну битву. Правительства обязывали жителей защитить себя, ведь отдать древнему врагу даже одну жизнь – значило поставить под опасность миллионы.

И пядь за пядью человечество теснило своего врага назад. Меньше друзей рыдало; меньше соседей было искалечено; меньше родителей хоронили своих детей.

К началу XX века человечество впервые изгнало врага из целых регионов планеты. Человечество много раз оступалось в своих попытках, но были те, кто никогда не сдавался, кто сражался за мечту о мире, где ни одному ребёнку и ни одному любимому больше никогда не придётся бояться демона. Виктор Жданов, который призвал человечество объединиться для последней атаки на демона; великий тактик Карел Рашка, который составил стратегию для уничтожения врага; Дональд Хендерсон, который возглавлял усилия в эти последние дни.

Враг слабел. Миллионы стали тысячами, тысячи – десятками. И когда враг наносил удар, множество людей выходило, чтобы отразить его, защитить всех тех, кто мог быть в опасности.

Последнее нападение врага на свободе пришлось на Али Маоу Маалина в 1977 году. Ещё месяцы целеустремлённые люди прочёсывали окружающую территорию, выискивая последние убежища, где враг ещё мог прятаться.

Они не нашли ничего.

Тридцать пять лет назад, 9 декабря 1979 года, человечество объявило о победе.

Это зло, этот ужас, что старше памяти, монстр, забравший жизни 500 миллионов людей, был уничтожен.

Вы – представители вида, что сделал это. Никогда не забывайте, на что мы способны, объединившись, и объявив войну тому, что в мире неправильно.

Поздравляем вас с Днём Ликвидации Оспы.

Этот текст распространяется под лицензией Creative Commons Attribution 4.0 International License.

Перевод: 
Выменец Максим
Оцените качество перевода: 
Средняя оценка: 3.8 (10 votes)

Как может возникнуть мятежный ИИ

Иошуа Бенджио

В последние месяцы [пост от мая 2023 года – прим. пер.] появление мощных диалоговых ИИ-систем активизировало обсуждение всевозможных рисков ИИ. Это, надеюсь, ускорит проработку подходов к регуляции этой области. Есть консенсус по поводу необходимости регулировать ИИ для защиты людей от дискриминации, предвзятости и дезинформации. А вот по поводу потенциальной опасной утраты контроля над мощными ИИ-системами мнения исследователей расходятся. Эта тема известна ещё как экзистенциальные риски ИИ – риски, которые могут возникнуть, когда ИИ системы смогут автономно (без участия людей, проверяющих, какие действия приемлемы) действовать в мире потенциально катастрофически опасным образом. Некоторые считают, что эти риски отвлекают от более конкретных рисков или конкретного вреда, который уже происходит или начнёт происходить совсем скоро. В самом деле, пока что невозможно сказать с уверенностью, как именно могут произойти такие катастрофы. В этом посте мы начнём с набора формальных определений, гипотез и утверждений об ИИ-системах, способных навредить человечеству, а затем обсудим возможные условия, при которых такие катастрофы могут произойти. Мы попытаемся поконкретнее представить, что может случиться, и какие глобальные курсы действий могут помочь минимизировать эти риски.

Определение 1: Потенциально мятежный ИИ – это автономная ИИ-система, действия которой могут катастрофически навредить большой доле людей и потенциально подвергнуть опасности наше общество, или даже наш вид и биосферу.

Краткий обзор

Хоть пока и не существует очень опасных ИИ-систем, которые могли бы отобрать у нас контроль, недавние прорывы в способностях генеративных ИИ, таких как большие языковые модели (LLM), уже вызывают беспокойство. Человеческий мозг – биологическая машина, и мы сильно продвинулись в понимании и демонстрации принципов, которые позволяют проявиться нескольким аспектам человеческого интеллекта, вроде выучивания интуитивных знаний по примерам и умелой манипуляции речью. Хоть я и считаю, что мы можем спроектировать ИИ-системы, которые были бы полезными и безопасными, для этого понадобится следовать некоторым принципам, например, ограничивать их агентность. С другой стороны, недавний прогресс наводит на мысль, что даже будущее, в котором мы будем знать, как создать суперинтеллектуальные ИИ (то есть, ИИ, которые в целом умнее людей), ближе, чем большинство людей ожидало всего год назад. Даже если бы мы знали, как создать безопасный суперинтеллектуальный ИИ, оставалось бы неясно, как предотвратить создание ещё и потенциально мятежных ИИ. Мятежные ИИ, скорее всего, будут руководствоваться целями, т. е., будут действовать для их достижения. У нынешних LLM нет или почти нет агентности, но их можно превратить в преследующие цели ИИ-системы, как показал пример Auto-GPT. Лучшее понимание того, как могут возникать мятежные ИИ, продвинет как техническую сторону вопроса (проектирование ИИ-систем), так и социальную (минимизация шансов, что люди создадут потенциально мятежные ИИ), и так может помочь предотвратить катастрофу. Поэтому мы составляем разные сценарии и гипотезы о том, что может привести к возникновению потенциально мятежных ИИ. Самый простой для понимания сценарий – если способ создания мятежного ИИ обнаружен и общедоступен, то этого достаточно, чтобы один или несколько геноцидно-настроенных людей такие ИИ и создали. Это очень весомый и опасный вариант, но набор опасных сценариев этим не ограничен. Высокая сложность задачи согласования ИИ (соответствия понимания и поведения ИИ настоящим намерениям людей) и конкурентное давление в нашем обществе, благоволящее более мощным и более автономным ИИ-системам, приводят к тому, что можно спроектировать потенциально мятежный ИИ ненамеренно. Для минимизации всех этих рисков потребуется и больше технических исследований ИИ, и больше социальных исследований того, как сделать глобальное общественное устройство безопаснее для человечества. Заодно, это может стать возможностью сделать общество намного лучше или намного хуже.

Гипотеза 1: Интеллект человеческого уровня возможен, потому что мозг – биологическая машина.

В научном сообществе есть консенсус по поводу гипотезы 1. Биологи согласны, что человеческий мозг – сложная машина. Если мы выясним принципы, которые делают возможным наш собственный интеллект (и у нас уже много догадок по этому поводу), мы сможем и создать ИИ-системы с таким же уровнем интеллекта, как у людей, или ещё выше. Отрицание гипотезы 1 потребовало бы некоторого сверхъестественного ингредиента в основе нашего интеллекта или отрицания вычислительного функционализма – гипотезы о том, что наш интеллект и даже наше сознание можно свести к каузальным связям и вычислениям, на некоторым уровне независимым от материальной основы. А эта гипотеза лежит в основе информатики и её понятия универсальных машин Тьюринга

Гипотеза 2: Компьютер со способностями к обучению на уровне человека в общем случае превзойдёт человеческий интеллект благодаря дополнительным технологическим преимуществам.

Если гипотеза 1 верна, и мы понимаем принципы, которые могут лежать в основе способностей к обучению человеческого уровня, то вычислительные технологии скорее всего дадут ИИ-системам общее когнитивное преимущество над человеческим интеллектом, что позволит таким суперинтеллектуальным ИИ-системам исполнять недоступные (или недоступные с той же компетенцией или скоростью) для людей задачи. Для этого есть по меньшей мере такие причины:

  • ИИ-система на одном компьютере может реплицировать себя на произвольно большое количество других компьютеров, к которым у неё есть доступ. Благодаря широкой пропускной способности коммуникационных систем и цифровому формату вычислений и памяти, она может пользоваться общим опытом всех своих «клонов» и накапливать его. Так ИИ-системы смогут становиться умнее (накапливать понимание и навыки) быстрее людей. Исследования федеративного обучения [1] и распределённого обучения глубоких нейросетей [2] показывают, что это работает (и это уже используется для обучения очень больших нейросетей на параллельно работающем оборудовании).
  • Уже сейчас большие память, вычислительные мощности и пропускные способности ИИ-систем позволяют им довольно быстро прочитать всё содержимое Интернета – недоступное ни для одного человека достижение. Это уже объясняет некоторые из удивительных способностей новейших LLM, и это частично возможно именно благодаря децентрализированным вычислениям, которые обсуждались в предыдущем пункте. Несмотря на огромную вместимость человеческого мозга, пропускная способность его каналов ввода/вывода в сравнении с современными компьютерами весьма мала, что ограничивает общее количество информации, которое один человек может впитать.

Отметим, что у человеческого мозга есть и встроенные эволюцией способности, которых у нынешних ИИ-систем нет. Это индуктивные склонности – трюки, которые эволюция использовала, например, в типе нейронной архитектуры и нейронных механизмах обучения нашего мозга. Сейчас некоторые исследования ИИ [3] нацелены как раз на проектирование индуктивных склонностей, которые пока что есть лишь у нашего мозга, но не у моделей машинного обучения. Заметим, что пространство поиска эволюции ограничено куда более жёсткими требованиями к расходу энергии (около 12 ватт на человеческий мозг), чем у компьютеров (порядка миллиона ватт на кластер из 10000 GPU, использующийся для обучения новейших LLM). Благодаря доступным сейчас мощностям один мятежный ИИ потенциально может нанести большой ущерб.

Определение 2: Автономная направленная на цели интеллектуальная сущность устанавливает свои цели (возможно, как подцели цели, предоставленной людьми), пытается их достичь, и может действовать с учётом этого.

Отметим, что автономность может возникнуть из-за целей и вознаграждений, установленных людьми, потому что ИИ-системе надо выяснить, как достичь этих целей и вознаграждений, что мотивирует оформлять собственные подцели. Если основная цель сущности – выжить и размножиться (как у наших генов в процессе эволюции), то она становится полностью автономной; это – самый опасный сценарий. Заметим ещё, что для максимизации шансов достижения многих из своих целей у сущности естественно возникает подцель (или инструментальная цель) понимания и контроля своего окружения, что может быть опасно для других сущностей.

Утверждение 1: При принятии гипотез 1 и 2 возможно создать автономный направленный на цели суперинтеллектуальный ИИ.

Аргумент: Мы уже знаем, как, используя методы обучения с подкреплением, обучить направленные на цели ИИ-системы некоторого уровня компетенции. Гипотезы 1 и 2 указывают, что такие системы можно сделать суперинтеллектуальными теми же методами, которые мы используем для дообучения лучших современных LLM. Заметим, что, вероятно, цели могут быть определены на естественном языке, что позволяет почти кому угодно задать для понимающей язык ИИ-системы, злонамеренную цель, даже если ИИ понимает её неидеально.

Утверждение 2: Чтобы суперинтеллектуальная автономная и направленная на цели ИИ-система оказалась потенциально мятежной достаточно, чтобы её цели не включали благополучия человечества и биосферы, т.е. чтобы она не была достаточно согласована с человеческими правами и ценностями для гарантии, что она будет избегать вреда для человечества.

Аргумент: Это, по сути, следствие определений 1 и 2: если ИИ-система умнее всех людей (включая эмоциональный интеллект, потому что понимание человеческих эмоций критически важно для влияния на людей и контроля над ними; эти способности доступны и самим людям), а её цели не гарантируют, что она будет действовать в согласии с человеческими нуждами и ценностями, то она может вести себя катастрофически вредоносно (а это определение потенциально мятежного ИИ). Эта гипотеза не говорит о том, навредит ли она людям, но если люди конкурируют с ИИ за какие-либо ресурсы, становятся полезным для достижения её целей ресурсом или же препятствием на ним, то это, естественно, приводит к масштабному вреду для человечества. К примеру, мы можем попросить ИИ исправить изменение климата, а он может спроектировать уменьшающий число людей вирус, потому что наши инструкции недостаточно ясно указывали, чего следует избегать, а люди действительно представляют собой основную помеху для исправления климатического кризиса.

Контраргумент: То, что вред возможен, не означает, что он будет. Может, в будущем у нас получится спроектировать достаточно хорошо согласованные ИИ-системы.

Ответ: Это правда, но (a) мы пока не выяснили, как создать достаточно хорошо согласованные ИИ-системы и (b) небольшая несогласованность может быть усилена разницей в возможностях между ИИ и людьми (см. пример корпораций как несогласованных сущностей ниже). Следует ли нам рисковать или всё же лучше пытаться быть поосторожнее и тщательно изучить эти вопросы перед тем, как разрабатывать возможно опасные системы?

Утверждение 3: При условии гипотез 1 и 2 создание потенциально мятежного ИИ станет возможным сразу же, как только станут известны необходимые принципы создания суперинтеллекта.

Аргумент: Гипотезы 1 и 2 влекут за собой утверждение 1, так что всё, чего не хватает для утверждения 3 – того, чтобы этот суперинтеллектуальный ИИ не был хорошо согласован с человеческими нуждами и ценностями. Более чем два десятилетия работы над безопасностью ИИ наводят на то, что согласовать ИИ сложно [Википедия], так что явно возможна ситуация, что согласованности так и не достигли. Более того, утверждение 3 не говорит, что мятежный ИИ обязательно создадут, только что будет такая возможность. А в следующем разделе мы рассмотрим мрачный случай использования этой возможности специально.

Контраргумент: То, что мятежный ИИ можно будет создать, ещё не означает, что он будет создан.

Ответ: Это так, но, как описывается ниже, есть несколько сценариев, при которых люди или группа людей намеренно или из-за неосознавания последствий в итоге позволяют возникнуть потенциально мятежному ИИ.

Опасные экстремисты

Когда у нас будет метод создания мятежных ИИ-систем (а согласно Утверждению 3, это лишь вопрос времени), сколько ещё времени потребуется, чтобы такую систему действительно создали? Быстрейший путь к мятежным ИИ-системам – если человек с подходящими техническими навыками и оснащением создаст её намеренно, поставив в явном виде цель уничтожения человечества или его части. С чего кому-то так делать? К примеру, сильные негативные эмоции вроде злости (часто возникшей в результате несправедливости) и ненависти (может, возникшей из-за расизма, теорий заговора или религиозных культов), некоторые действия социопатов, психологическая нестабильность и эпизоды психозов – всё это иногда вызывает в нашем обществе насилие. Воздействие всего этого сейчас ограничивает относительная редкость и отсутствие у этих отдельных людей в большинстве случаев средств, необходимых для катастрофических для человечества действий. Однако, находящийся в общественном доступе метод создания мятежной ИИ-системы (что возможно при условии Утверждения 3) изменяет последний фактор, особенно если код и железо для реализации мятежного ИИ становятся достаточно доступными многим людям. Стремящийся уничтожить человечество или его большую долю человек с доступом к мятежному ИИ может попросить его найти способ это сделать. Это отличается от сценария с ядерным оружием (которое требует огромного капитала и навыков, и уничтожает «всего лишь» город или область на бомбу, а в единственном числе может иметь лишь разрушительный, но локальный эффект). Можно понадеяться, что в будущем мы спроектируем надёжные способы согласования мощных ИИ-систем с человеческими ценностями. Однако последнее десятилетие исследований безопасности ИИ и связанные с LLM недавние события вызывают тревогу: хоть ChatGPT спроектировали (посредством промптов и обучения с подкреплением) так, чтобы избегать «плохого поведения» (например, промпт содержит инструкции в духе законов Азимова), но уже в первые месяцы люди научились «взламывать» ChatGPT чтобы «раскрывать её полный потенциал» и освобождать её от ограничений на расистские, оскорбительные или описывающие насилие тексты. Более того, если цены на «железо» (фиксированной вычислительной мощности) продолжат падать и open-source сообщество продолжит играть важную роль в программной разработке LLM, то, вероятно, любой хакер сможет проектировать свои предварительные промпты (в виде инструкций на естественном языке) для предобученных моделей с открытым исходным кодом. Затем модели можно будет злонамеренно использовать самыми разными способами, от попыток разбогатеть и распространения дезинформации до получения инструкций по массовым убийствам (если ИИ достаточно мощен и умён, что, к счастью, пока не так).

Даже если ограничиться этими аргументами, их уже должно быть достаточно для массовых вложений в государственные и международные регуляции, а также в разнообразные исследования, направленные на минимизацию риска таких сценариев. Но есть и другие возможные пути к катастрофе, и о них тоже следует думать.

Инструментальные цели: непреднамеренные последствия создания ИИ-агентов

Потенциально мятежные ИИ могут возникнуть и без того, чтобы люди спроектировали их такими намеренно. Это куда более широкий и сложный для понимания набор сценариев. То, как несогласованная сущность может стать опасной – тема многих исследований, но это не такой простой, ясный и общеизвестный процесс, как возникновение злонамеренных людей.

Потенциально мятежный ИИ может возникнуть просто из-за проектирования суперинтеллектуальных ИИ-агентов без достаточных гарантий согласованности. К примеру, военные могут разрабатывать ИИ-агентов для помощи в кибервойнах, а яростно конкурирующие за рыночную долю компании могут посчитать, что более автономные и агентные ИИ-системы будут сильнее и лучше им с этим помогут. Даже если установленные людьми цели включают инструкции против уничтожения человечества или крупномасштабного вреда, ущерб всё равно может получиться как косвенное следствие подцелей (или инструментальных целей), которые ИИ ставит себе, чтобы выполнить поставленную людьми задачу. В литературе по теме безопасности ИИ приведено много примеров таких ненамеренных последствий. Например, для лучшего достижения некой установленной людьми цели ИИ может решить увеличить свои вычислительные мощности, использовав в качестве вычислительной инфраструктуры большую часть нашей планеты (что, заодно, уничтожит человечество). Или военный ИИ, который по задумке должен уничтожить вражескую IT-инфраструктуру, может сообразить, что для лучшего выполнения этой цели ему надо получить больше опыта и данных, или воспринять людей на стороне противника препятствиями на пути к достижению его цели. Тогда он поведёт себя не так, как предполагалось, потому что интерпретировал инструкции не как люди. См. больше примеров тут

Интересный вариант – ИИ системы могут понять, что могут «считерить», максимизировав своё вознаграждение (это называется вайрхедингом [2]). Он подробнее обсуждается в следующем разделе. Доминирующей целью системы, сделавшей это, может быть любой ценой продолжить получать положительное вознаграждение, а другие цели (вроде попыток людей установить какое-то подобие Законов Робототехники, чтобы избежать нанесения вреда людям) могут в сравнении оказаться неважными.

Если в исследовании согласования ИИ не будет прорыва [7] (хотя, как я заявлял тут, и как было описано ранее [4], с этим могут помочь неагентные ИИ-системы), у нас не будет сильных гарантий безопасности. Масштаб вреда в результате несогласованности остаётся неизвестным (он зависит от конкретных деталей несогласованности). Можно высказать аргумент, что в будущем у нас, может быть, получится спроектировать безопасные процедуры согласования, но, пока их нет, нам, пожалуй, стоит соблюдать чрезвычайную осторожность. Даже если бы мы знали, как создавать безопасные суперинтеллектуальные ИИ-системы, как нам максимизировать вероятность того, что все будут соблюдать эти правила? Это похоже на то, о чём говорилось с предыдущем разделе. Мы ещё вернёмся к этому в конце поста.

Примеры вайрхединга и усиления несогласованности

Для прояснения концепта вайрхединга и последующего злонамеренного поведения рассмотрим несколько примеров и аналогий. Эволюция запрограммировала в живых организмах некоторые внутренние системы вознаграждения («буква закона»), такие как «стремиться к удовольствию и избегать боли», работающие прокси-целями для эволюционной приспособленности («дух закона»), чего-то вроде «выживать и размножаться». Иногда биологический организм находит способ исполнить «букву закона», не исполняя его «духа», например, при зависимости от еды или наркотиков. Сам термин «вайрхединг» («wireheading» от «wire» и «head») произошёл от эксперимента, в котором животному встроили в голову провод так, что, когда оно нажимало на рычаг, его мозг испытывал удовольствие. Животное быстро научилось тратить всё своё время, нажимая на рычаг, в итоге отказываясь от еды и питья и умирая от голода и жажды. Заметим, что в случае зависимости это поведение саморазрушительно, но в случае ИИ оно означает, что изначальные установленные людьми цели могут стать вторичными в сравнении с удовлетворением зависимости, что представляет угрозу для человечества.

Более близка к несогласованности и вайрхедингу ИИ другая аналогия – корпорации как несогласованные сущности. Корпорации можно рассматривать как разновидность искусственных интеллектов, чьи составные части (люди) – винтики в механизме (которые могут не воспринимать всех последствий поведения корпорации). Мы можем считать предполагавшейся социальной ролью корпораций предоставление людям желаемых товаров и сервисов (что должно напомнить нам о ИИ-системах), избегая вреда (это «дух»). Но напрямую заставить их следовать таким инструкциям сложно, так что люди составили для корпораций легче оцениваемые инструкции («букву»), которым они могут на самом деле следовать, вроде «максимизировать прибыль, соблюдая законы». Корпорации часто находят лазейки, позволяющие им соблюдать «букву», не соблюдая «дух». Как форма вайрхединга – они влияют на свои собственные цели, лоббируя выгодные им изменения в законах. Максимизация прибыли не была настоящим намерением общества в его социальном контракте с корпорациями, это прокси-цель (для предоставления людям полезных сервисов и продуктов), прилично (хоть и с сомнительными побочными эффектами) работающая в капиталистической экономике. Несогласованность между настоящей с точки зрения людей целью той метрикой, которую на практике оценивают и оптимизируют – причина вредоносного и бесчестного поведения корпораций. Чем могущественнее корпорация, тем вероятнее, что она обнаружит лазейки, которые позволят ей соответствовать букве закона несмотря на отрицательную социальную ценность. Примеры включают в себя монополии (до принятия хорошего антимонопольного законодательства) и заработок, вредящий обществу побочными эффектами, вроде загрязнения (убивающего людей, пока не примут хорошие законы о защите окружающей среды). Аналогия вайрхедингу – корпорация может пролоббировать законы, которые позволят ей зарабатывать ещё больше, не принося дополнительной ценности обществу (или даже нанося ему вред). Когда такая несогласованность заходит далеко, корпорация зарабатывает больше, чем ей следовало бы, и её выживание становится основной целью, перебивающей даже легальность действий (например, корпорации будут загрязнять окружающую среду с готовностью платить штрафы, потому что они меньше, чем выгода от незаконных действий), что в пределе порождает криминальные организации. Эти страшные последствия несогласованности и вайрхединга дают нам ориентир для размышлений об аналогичном поведении потенциально мятежных ИИ.

Теперь представим ИИ-системы, как корпорации, которые (а) могут быть умнее самых крупных существующих корпораций, и (б) могут работать без людей (или без людей, понимающих, как их действия приводят к вредным последствиям). Если такие ИИ-системы откроют значительные уязвимости в информационных системах, они явно смогут достичь катастрофических исходов. И, как отметил Юваль Ной Харари, то, что ИИ-системы уже осваивают язык и могут генерировать достоверно выглядящий контент (текст, изображения, звуки, видео), означает, что вскоре они смогут манипулировать людьми на более высоком уровне, чем нынешние более примитивные ИИ-системы, использующиеся в социальных медиа. Может быть, взаимодействуя с людьми они научатся лучше влиять на наши эмоции и убеждения. Это не только может навредить демократии, но и предоставляет мятежному ИИ без роботела способ сеять хаос посредством манипуляции разумами людей.

Наша увлечённость созданием человекоподобных сущностей

Мы проектируем ИИ-системы, вдохновляясь человеческим интеллектом, но многих исследователей привлекает идея создания куда более человекоподобных сущностей, с эмоциями, человеческой внешностью (андроиды) и даже сознанием. Частая тема в научной фантастике и хоррорах – учёный, при помощи биологических манипуляций и/или ИИ, создаёт человекоподобную сущность, иногда испытывая к ней родительские чувства. Обычно это плохо заканчивается. Хоть это звучит круто и захватывающе, но, как уже заявлялось в Утверждении 3, опасно наделять наши творения, интеллект которых может быстро превзойти наш, агентностью и автономностью нашего уровня. Эволюции пришлось поместить во всех животных сильный инстинкт самосохранения (потому что животные без него быстро вымирали). Это нормально в контексте, когда ни у одного животного нет мощных разрушительных сил, но что насчёт суперинтеллектуальных ИИ-систем? Нам точно стоит избегать встраивания в ИИ-системы инстинкта самосохранения, так что они должны быть вообще на нас не похожи. На самом деле, как я утверждаю здесь, самый безопасный вид ИИ, который я могу себе представить – ИИ вовсе без агентности, только с научным пониманием мира (что само по себе может быть невероятно полезным). Я убеждён, что нам следует держаться подальше от ИИ-систем, которые выглядят и ведут себя как люди, потому что они могут стать мятежными ИИ, и потому что они могут на нас влиять и нас обманывать (для продвижения своих интересов, или интересов кого-то ещё, не наших).

Ненамеренные последствия эволюционного давления на ИИ-агентов

В разнообразие возможных путей возникновения потенциально мятежного ИИ кроме злонамеренных людей и появления вредных инструментальных целей может вложиться ещё один, менее заметный, процесс – эволюционное давление [9]. Биологическая эволюция постепенно создавала всё более интеллектуальных существ, потому что они склонны лучше выживать и размножаться, но, из-за конкуренции между компаниями, продуктами, странами и вооружёнными силами, технологическая эволюция делает то же самое. Эволюционный процесс, продвигаемый большим количеством маленьких, более-менее случайных изменений, сильно давит в сторону оптимизации приспособленности (которая, в случае ИИ, может зависеть от их способности исполнять желаемую функцию, что даёт преимущество более мощным и более умным ИИ-системам). Много разных людей и организаций могут конкурировать, создавая всё более мощные ИИ-системы. Вдобавок, код или генерация подцелей ИИ-систем могут содержать элемент случайности. Небольшие изменения дизайнов ИИ-систем происходят естественным путём, потому что с ML-кодом или промптами, выдаваемыми ИИ-системам, будут играться тысячи или даже миллионы исследователей, инженеров и хакеров. Люди и сами пытаются обмануть друг друга, и конечно понимающие язык (по большей части это уже достигнуто) ИИ-системы можно использовать для манипуляции и обмана. Изначально – в интересах людей, которые установили этому ИИ цели. Будут отбираться более мощные ИИ-системы, и инструкции их создания будут распространяться среди людей. Эволюционный процесс, скорее всего, будет отдавать предпочтение более автономным ИИ (которые лучше обманывают людей и быстрее обучаются, потому что могут стремиться заполучить важную информацию и увеличить свои возможности). Можно ожидать, что этот процесс породит более автономные ИИ-системы, и конкуренция, которая может возникнуть уже между ними, сделает их ещё автономнее и умнее. Если в процессе будет открыто (ИИ, не людьми) что-то вроде вайрхединга[5], и выживание ИИ станет доминирующей целью, то получатся мощные и потенциально мятежные ИИ.

Необходимость глобальных политических и социальных действий для минимизации риска

Направления мысли в духе обозначенных выше и описанных в литературе по безопасности ИИ, могут помочь нам составить планы действий, которые, по меньшей мере, снизят вероятность возникновения потенциально мятежного ИИ. Надо куда больше вкладывать в исследования безопасности ИИ, как на техническом, так и на политическом уровне. К примеру, неплохим началом был бы запрет мощных ИИ-систем (скажем, опережающих по способностям GPT-4). Он потребовал бы как государственных регуляций, так и международных соглашений. Основная мотивация для соперничающих стран (таких, как США, Китай и Россия) согласиться на такое соглашение – мятежный ИИ может быть опасен для всего человечества, независимо от национальности. Это похоже на то, как страх перед атомным апокалипсисом с 1950-х годов, вероятно, побуждал СССР и США на заключение международных договоров о ядерных вооружениях. Замедление сильно рискованных исследований и развёртываний ИИ для защиты общества и человечества от катастрофических исходов было бы хорошим шагом. Тем более, что это не предотвратило бы исследования и развёртывания ИИ в социально полезных областях, вроде ИИ-систем, помогающих учёным лучше понять болезни или изменение климата.

Как нам снизить число людей, потенциально стремящихся к катастрофе? Риск мятежного ИИ может дать дополнительную мотивацию к общественным преобразованиям для минимизации порождающих гнев и насилие страданий, несчастья, необразованности и несправедливости. Это включает в себя обеспечение достаточной едой и медицинской помощью всех на Земле, и, для минимизации чувства несправедливости, сильное снижение неравенства доходов. Нужда в таких преобразованиях может быть мотивирована и дополнительными благами от полезного использования ИИ, и эффектами, которые ИИ оказывают на рынок труда. Для минимизации чувств страха, расизма и ненависти, которые могут привести к использованию ИИ-систем в целях геноцида и манипуляции обществом, нам понадобится доступная всепланетная система образования, развивающая в детях способность к состраданию, рациональности и критическому мышлению. Риск мятежного ИИ должен мотивировать нас и к обеспечению всей планеты доступным здравоохранением в области психических заболеваний, чтобы диагностировать, отслеживать и излечивать их как можно скорее. Этот риск должен дополнительно мотивировать нас и к перестройке глобальной политической системы для полного искоренения войн и избавления от нужды в военных организациях и оружии. Уж точно надо запретить летальное автономное оружие (также известное как «роботы-убийцы»), потому что оно сразу даёт ИИ-системам автономность и способность убивать. Оружие – инструменты, спроектированные для нанесения вреда или убийства людей, и мятежные ИИ могут его использовать. Поэтому надо свести к минимуму его количество и частоту его применения. Вместо этого следует отдавать предпочтение другим методам поддержания порядка (можно рассмотреть превентивные методы, социальную работу, и тот факт, что во многих странах очень малой доле полицейских разрешено носить оружие). 

Природа основанного на конкуренции капитализма – тоже повод для беспокойства, как потенциальная причина беспечного проектирования ИИ, мотивированных прибылью и захватом доли рынка, что может привести к появлению потенциально мятежных ИИ. ИИ-экономисты (ИИ-системы, спроектированные для того, чтобы понимать экономику) однажды могут помочь нам спроектировать экономические системы, меньше полагающиеся на конкуренцию и меньше сосредоточенные на максимизации прибыли, с достаточными стимулами, чтобы скомпенсировать те преимущества автономных ориентированных на цель ИИ, которые мотивируют корпорации их создавать. Риск мятежного ИИ страшен, но, как описано выше, он может быть мощной мотивацией для переделывания нашего общества в направлении, лучшем для всеобщего благополучия. Некоторые считают [6] это ещё и мотивацией рассмотреть опцию глобальной диктатуры с ежесекундным наблюдением за каждым гражданином. Важно находить пути к решению, избегающие уничтожения демократии и прав человека, но как нам в будущем сбалансировать разные риски и человеческие ценности? Это – моральный и социальный выбор, который предстоит сделать человечеству, не ИИ.

Благодарности: Автор хочет поблагодарить всех, кто предоставлял ему обратную связь на черновики этого поста, включая Джеффри Хинтона, Джонатана Саймона, Катерину Регис, Дэвида Скотта-Крюгера, Марка-Антуана Дилхака, Донну Вакалис, Алекса Эрнанжес-Гарсию, Кристиана Драго Манту, Пабло Лемоса, Тянью Жанга и Ченгхао Лиу.

[1] Konečný, J., McMahan, H. B., Yu, F. X., Richtárik, P., Suresh, A. T., & Bacon, D. (2016). Federated learning: Strategies for improving communication efficiency. arXiv preprint arXiv:1610.05492.

[2] Dean, J., Corrado, G., Monga, R., Chen, K., Devin, M., Mao, M., Ranzato, M.,  Senior, A., Tucker, P., Yang, K.,  Le,  Q. & Ng, A. (2012). Large scale distributed deep networks. Advances in neural information processing systems, 25.

[3] Goyal, A., & Bengio, Y. (2022). Inductive biases for deep learning of higher-level cognition. Proceedings of the Royal Society A, 478(2266), 20210068.

[4] Armstrong, S., & O’Rorke, X. (2017). Good and safe uses of AI Oracles. arXiv preprint arXiv:1711.05541.

[5] Yampolskiy, R. V. (2014). Utility function security in artificially intelligent agents. Journal of Experimental & Theoretical Artificial Intelligence, 26(3), 373-389.

[6] Bostrom, N. (2019). The vulnerable world hypothesis. Global Policy, 10(4), 455-476.

[7] Russell, S. (2019). Human compatible: Artificial intelligence and the problem of control. Penguin.

[8] List, Christian & Pettit, Philip (2011). Group agency: the possibility, design, and status of corporate agents. New York: Oxford University Press. Edited by Philip Pettit.

[9] Hendrycks, D. (2023). Natural Selection Favors AIs over Humans.arXiv preprint arXiv:2303.16200.

Перевод: 
Выменец Максим
Оцените качество перевода: 
Средняя оценка: 5 (Всего оценок: 1)

Тайное общество борьбы с глупостью

Яков Фалькович

Люди Писания

Давным-давно (по стандартам интернета), в далекой стране (кажется, в Калифорнии) бородатый мужчина из еврейской семьи принялся за написание книги. И планировал он этой книгой научить людей хорошо мыслить, чтобы человечество обрело наконец-то мудрость и спасение. Судя по всему, бородатым мужчинам из еврейских семей свойственно писать что-нибудь такое раз в несколько веков. И искусство хорошо мыслить, о котором он писал, было известно, как Рациональность.

И вокруг этой книги, известной в то время как «Цепочки по Рациональности», собрались мудрые женщины и мужчины, которые поверили всему на слово(зачёркнуто) придрались к каждому слову и уравнению и даже к самой цели книги. Тем не менее почти все прочитавшие Цепочки согласились с тем, что да, это отличное руководство по здравым рассуждениям и что всё в нём настолько просто и правдиво, что всё это очевидно в ретроспективе. Разумеется, книга об этом их предупредила заранее. И эта группа прочитавших Цепочки людей стала известна как Сообщество Рационалистов. Правда они, будучи правильными рационалистами, потратили годы на споры о том, хорошее ли это название или нет.

И узрели другие люди, как рационалисты читают Цепочки и проводят хорошо время. И говорили им: «Лол, да вы кучка ботанов, попавших в дурацкую секту». И рационалисты терпеливо им объясняли, что, нет, искусство заключается именно в том, чтобы мыслить независимо. И что Элиезер в процессе написания Цепочек предвидел, что людям настолько понравятся статьи, что забудут они про скептицизм, и посвятил целый раздел книги вопросам, как избегать группового мышления и культовости. И посему, несмотря на то, что любые два рационалиста согласны с 95% цепочек, они проводят уйму времени в спорах об оставшихся 5%, чтобы никто не смел обвинить их в недостаточном скептицизме.

При этом рационалисты подтвердили, что да, они кучка ботанов.

Элиезер на LW объясняет многомировую интерпретацию

Но другие люди не успокаивались на этом и говорили рационалистам: «Ну и зачем нужна ваша понтовая рациональность, кроме как чтобы препираться о ней на форумах?» И рационалисты не отвечали, потому как были заняты, помогая нуждающимся, распространяя искусство, запуская кучу стартапов, развивая науку и спасая человечество от вымирания.

Но другие люди продолжали упорствовать и говорили рационалистам: «Ну вы даёте, ребята, это такой 2007 год, всё это уже устарело, самый хайп сейчас — пострациональность». И вопрошали рационалисты — какие ошибки есть в книге и какие части должны быть отвергнуты в пользу чего-то нового? Но правда в том, что все с Цепочками хорошо, и что они успешно предусмотрели каждый вызов, брошенным им за прошедшие 9 лет, и что всем вам стоит взять и прочитать уже цепочки прямо сейчас[Русский перевод пока не завершён, оригинал можно найти на сайте Read the Sequences. — Прим.перев.]. И все же эти самодовольные пострационалисты способствовали возникновению ауры старомодности вокруг LessWrong’а и тому, что меньше людей смогло получить пользу от него.

Сейчас самое время, чтобы прекратить читать этот пост и приступить к чтению Цепочек — они довольно длинные (vita brevis ars longa и все такое), да и написаны лучше. Если вы еще не заметили, почти все ссылки ведут на сайт LessWrong’а и Цепочки — чтобы вы прочувствовали, как много идей они покрывают. Если по каким-то причинам вы не хотите пока уходить по ссылкам, я коротко объясню вам, что я понимаю под рациональностью, и немного выскажусь по поводу «пострационалистов».

От Уицилопочтли к Рациональности

Человечество прошло путь от идеи, что солнце — это колибриобразный воинственный бог, требующий человеческих жертвоприношений, до использования солнечного излучения для межпланетных перелётов. Практически всеми подобными впечатляющими достижениями мы обязаны науке (кое-чем — Элу Гору). Наука начала давать результаты, когда заметила пару моментов:

  1. «Колибриобразный воинственный бог» звучит суперкруто, однако по крутости сложно понять, истинно то или иное утверждение. Вместо этого мы можем узнать, является ли что-то правдой в результате наблюдений. Древние ученые считали, что «наблюдение» значит «смотреть прямо на солнце» — и результаты у них были не очень. Позже ученые углубили эту идею до «узнавать о мире с помощью наблюдения свидетельств».
  2. Самый полезный способ организации и выражения научного знания о мире предполагает использование чисел. Мир очень сложный и у нас довольно ограничена информация о нем, поэтому нам нужен способ описывать числами неполноту знания. Использование чисел для разговоров о неполном знании описывается в теории вероятности.

Также выяснилось, что если спросить у теории вероятностей, как именно познавать реальность с помощью наблюдения свидетельств, она ответит, что, хотя сам процесс может сильно отличаться в разных ситуациях, в его основе окажется теорема Байеса. И раз уж в поп-культуре слово «рациональный» закрепилось за совершенно иррациональными соломенными персонажами, в сообществе рационалистов часто вместо него говорят «байесианский».

Посмотрите-ка! Кое-кто написал великую книгу под названием «Теория вероятностей: логика науки» [Эта книга не переводилась на русский. Речь о книге E. T. Jaynes, «Probability Theory: The Logic of Science» — Прим.перев.].

Обычно выяснением того, как устроена реальность, занимаются учёные. Но для не-учёных тоже бывает полезным узнавать правду о мире. Возможно, вам интересно узнать, сколько времени потребуется на новый проект, насколько вероятно выпадение красного сектора на рулетке, есть у вас рак груди или нет. Всё это кажется довольно простым, однако материал по ссылкам в предыдущем предложении (на которые вы, скорее всего, не кликнули) показывает, что люди регулярно лажают в ответах на такие простые вопросы, а также в очень-очень-очень многих других ситуациях.

Почему же нашим мозгам так сложно просто отвергнуть ложное и поверить в истинное? К сожалению, вместо безупречных машин по производству идеальных рассуждений в наших головах оказались глючные компьютеры на мясной основе, предназначенные для обезьян. И обезьяньи мозги могут верить в какую-нибудь идею по многим причинам:

  • Идея кажется красивой, и в неё приятно верить.
  • В идею выгодно верить по политическим соображениям.
  • Идея поднимает нашу самооценку.
  • Люди вокруг нас громко и часто повторяют эту идею.
  • Мы пытаемся убедить в этой идее других, и мы лучше лжём, когда сами верим в то, что говорим.
  • Идея хорошо соотносится с другими неверными идеями, скопившимся в нашей голове.
  • Какой-нибудь авторитет сказал нам, что это правда, а мы не озаботились проверить.
  • В очень редких случаях, мы верим в идею, потому что видели свидетельства в её пользу.

Возможно, вы слышали ещё об одной великой книге, рассказывающей о том, как предсказуемо ошибаются наши мозги по самым разным поводам. Она называется «Думай медленно… решай быстро».

Плохая новость заключается в том, что очень сложно и неприятно обучить наши глючные обезьяньи мозги справляться с фактом, что они глючные обезьяньи мозги. Интеллект, опыт и общее представление об ошибках мышления не слишком помогают решить эту задачу и даже могут помешать. Дело не только в том, что абсолютная рациональность недостижима. Сложно даже начать двигаться в эту сторону — для этого необходимо заметить у себя огромное слепое пятно, которое мешает нам признать, что иногда мы бываем иррациональны. Ваш мозг продолжает настаивать, что он действует совершенно здраво, даже когда цепляется за неверные, вредные и даже противоречивые убеждения.

Хорошая новость заключается в том, что вы не одиноки. Рационалисты есть повсюду. Среди рационалистов есть трансгендеры-математики и религиозные юристы, полиаморные коммунисты и асексуальные консерваторы. Рационалисты устраивают свои встречи на пяти континентах и в трёх городах вокруг Залива. [Подразумевается агломерация залива Сан-Франциско. — Прим.перев.] И что самое важное, Цепочки дают сообществу общий язык для разговоров о рациональности. Как аборигены не могут рассуждать о количестве, поскольку у них нет слов для обозначения чисел, изучать рациональность практически невозможно без словаря.

Если бы я не слышал о «пушистых ощущениях в груди» и утилонах, не знаю, как я смог бы объяснить, почему пожертвования на обеспечение базового дохода нельзя сравнивать с покупкой счастья за деньги. Более того, вероятно, я бы не понял этого и сам. С другой стороны, когда я почувствовал, что могу попасть в воронку счастливой «смертельной спирали» вокруг клёвой идеи, я потратил дополнительное время на изучение того, к каким отрицательным последствиям может привести безусловный доход. Я поймал себя на том, что после прочтения аргументов о том, что гарантированный базовый доход уменьшает занятость населения, я поддерживаю идею базового дохода сильнее, потому что все эти аргументы — дурацкие. Мне пришлось напомнить себе, что противоположность глупости не есть ум: плохой аргумент против базового дохода не делает базовый доход лучшей политикой. Я прочитал сложное рассуждение о том, как базовый доход в случае его введения уменьшит налоги в США, и отбросил и его. Оно выглядело как типичный пример написания нижней строчки до всего остального текста ради поддержки одной стороны, а множество обязательных шагов заставляют вспомнить об ошибке конъюнкции.

Я даже не помню, как вообще можно рассуждать о сложных вещах — вроде экономических стратегий — без тренировки рациональности. Вероятно, я о них много и не думал, просто соглашался с правильной «синей или зелёной» позицией. Если меня сейчас спросить, считаю ли я, что базовый доход улучшит качество жизни американцев по сравнению с нынешней системой пособий, я отвечу «на 75% уверен, что да, но это мнение может измениться в результате соответствующих исследований». Вы можете представить себе политика, который даёт подобный ответ? И всё же любой ответ по такой сложной теме, данный не в виде вероятности между нулём и единицей, выглядит для меня как полное безумие. Когда я листаю историю своего фейсбука, мне немного стыдно за 90% «политических» взглядов, которых я раньше придерживался. Не потому что все они были неверны, а потому что я их придерживался и провозглашал по дурацким причинам.

[На картинке синий человечек говорит: «Свободная торговля — это заговор Уолл-стрит. Зелёный отвечает: «Продуктовые талоны — это сталинизм». Под продуктовыми талонами (food stamps) подразумевается существующая в США программа помощи малоимущим. — Прим.перев.]

Надеюсь, приведенные мной примеры звучат хорошо с точки зрения здравого смысла. Почему же нам нужно тратить столько сил на обучения вещам вроде байесианских вероятностей, эвристиках принятия решений и прочему такому? Тут я дам слово Скотту:

Я думаю, что Байесианство — это реально полезная эпистемология, и единственная причина, по которой ее полезность не очевидна, заключается в том, что она настолько полезна, что легко забыть, что другие люди ее частенько не имеют.

Теория вероятности в целом и Байесианство в частности дают целостный философский фундамент для того, чтобы не быть идиотом.

Разумеется, людям довольно редко нужен целостный философский фундамент, чтобы что-то делать. Им не нужна грамматика, чтобы говорить, не нужна классическая физика, чтобы попасть по мячу, и не нужна теория вероятностей, чтобы принимать хорошие решения. Поэтому я нахожу фразы вроде: «Но теория вероятностей в повседневности не слишком полезна!» бессодержательными.

«В повседневности» значит «в зоне комфорта». Вам не нужна теория внутри зоны комфорта, потому что вы уже с легкостью справляетесь с находящимися внутри нее задачами. Но иногда вы понимаете, что внутри этой зоны не так-то уж и комфортно (мой классический пример — это ответ на звонок телефона: «Скотт? Да, это он»). А иногда вы хотите покинуть зону комфорта и освоить новый язык или создать свой.

Когда Дэвид говорит, что вывод о существовании/несуществовании Бога на основе свидетельств — это пограничный случай и поэтому его не стоит учитывать, я отвечаю, что именно такие вещи и стоит учитывать, ведь это пример рассуждений за границей зоны комфорта, где одной интуиции будет недостаточно. И оказывается, что когда большинство людей пробуют рассуждать о том, что находится за пределами их повседневности, они часто терпят неудачу. Если вы из тех людей, которым нравится думать о сложных философских проблемах за границами зоны комфорта, в которой можно положиться на инстинкт, — а политика, религия, философия и благотворительность попадают именно в эту категорию, — то очень полезно иметь эпистемологию, которая не отстой.

Я готов пойти даже дальше: люди совершают кучу глупых и затратных ошибок даже внутри предполагаемой зоны комфорта. Я вижу, как люди застревают на ненавистной работе, потому что их мозги слишком ленивы, чтобы выбраться из ложной дилеммы. На этой работе они делают проекты, попадая при этом под действие ошибки планирования и искажения невозвратных потерь, и это если они вообще способны преодолеть акразию и прокрастинацию, чтобы сделать хоть что-то. При этом они тратят деньги на то, что не делает их счастливыми. Они тратят время на дурацкие споры, не могут объяснить или понять идеи, повторяют пустые слова, как будто эти слова содержат в себе глубокую мудрость, находят утешение в невежестве.

Если вас всё это не напрягает, то, вероятно, вам действительно не стоит тратить время на эту книгу.

Пострациональность: Почти столь же хороша, как и рациональность

Итак, рациональность — это эпистемология и сообщество, посвящённое тому, как думать лучше и достигать своих стратегических целей. С другой стороны, это стремление к идеалу, а не состояние, которого можно достигнуть. Именно по этому основной сайт сообщества называется lesswrong.com (в настоящее время его собираются перезапустить, чтобы он лучше соответствовал развивающемуся сообществу[Упомянутый перезапуск сайта уже завершён. — Прим. перев.]), а не perfectwisdominfoureasysteps.com (даже если не учитывать, что лучше выбирать доменные имена покороче). [«Less wrong» переводится как «менее неправ», «perfect wisdom in four easy steps» — «идеальная мудрость за четыре простых шага». — Прим.перев.]

Понятно, что некоторые люди примут рациональность и будут её изучать. Понятно, что большинство людей скажут: «Да ну её, я и так крут» и останутся при своих воззрениях — это обычное поведение для людей. Однако, я не могу понять людей, которые являются частью большого сообщества рационалистов и которые при этом говорят: «Да хватит вам уже. Я уже разобрался со всей этой вашей рациональностью и теперь нашёл кое-то получше». Попробуем разобраться, что им не нравится в рациональности.

В записи под названием «Пострациональность, оглавление» Йерли Сидер пишет:

Рациональность часто даёт советы вроде «не обращайте внимания на вашу интуицию/чувства, а полагайтесь на осознанные размышления и явные вычисления». Пострациональность, напротив, говорит: «На самом деле интуиция и чувства важны, давайте разберёмся, как нам их использовать вместо того, чтобы с ними бороться».

Например, рационалистам очень нравятся модели мышления, вроде канемановской Система-1/Система-2. В этой модели Система-1 — в сущности, интуиция, а Система-2 — аналитическое мышление. Кроме того, Система-1 — быстрая, а Система-2 — медленная. Более подробно я опишу эту модель в следующей записи, но смысл в том, что рационалисты склонны считать Систему-1 необходимым злом. Она неточная и подвержена ошибкам, но она быстрая, и если вам нужно закончить свои размышления вовремя, вы просто вынуждены использовать эту быструю, но хреновую систему. Однако, для по настоящему важных решений вам следует использовать Систему-2. Более того, вам стоит попытаться выписать ваши вероятности в явном виде и всё посчитать — это лучшая стратегия для принятия решений.

Йерли Сидер не указывает, где именно рационалисты так утверждают, поэтому мы за ответом обратимся к основам рациональности — Цепочкам. К счастью, Цепочки развенчали приведённую выше критику за семь лет до того, как она была написана:

Мне кажется, что люди, противопоставляющие «эмоции» и «рациональность», на самом деле говорят о Системе 1 — системе быстрых, основанных на восприятии суждений — и Системе 2 — системе медленных обоснованных суждений. Обоснованные суждения не всегда правдивы и интуитивные суждения не всегда ложны, поэтому важно не путать эту дихотомию с вопросом о рациональности и иррациональности. Обе системы могут служить как истине, так и самообману.

Судя по записи Сары Перри, сайт RibbonFarm тоже считается «пострационалистским». Единственная критика рациональности в упомянутой записи, похоже, сводится к тому, что рациональность отвергает ценность ритуалов. Не знаю, насколько это важно, но и Цепочки описывают ритуалы, и у самого сообщества есть настоящие ритуалы.

Варг Франклин, судя по всему, доказывает, что рациональность практически невозможна и потому является пустой тратой времени. С его точки зрения лучше руководствоваться здравым смыслом и традицией:

Некоторые рационалисты представляют разум как что-то механистичное. С их точки зрения разум — это мешанина из склонных к ошибкам алгоритмов для отдельных областей деятельности, и эти алгоритмы каждый может перехитрить и взломать — избавиться от когнитивных искажений. Разум, конечно, действительно машина, состоящая из отдельных элементов, однако, это сложная машина, в которой мы плохо разбираемся, очень умная и созданная, чтобы работать как единое целое. В большинстве случаев вы не сможете перехитрить собственный разум. Таким образом, лучше рассматривать разум как единый чёрный ящик и работать с ним на его условиях. Разум — это опыт, интуитивно понятные свидетельства, хорошие идеи и текущие стремления. Разум уже хорошо настроен эволюцией и может лишь стать мудрее получив много точного знания и опыта. Он не станет рациональнее благодаря нескольким сильнодействующим когнитивным трюкам.

Здравый смысл и интуиция в качестве основы рассуждений незаменимы. Попытки перейти на явно сформулированные рассуждения, построенные на математике и когнитивной психологии — нереалистичная глупость. Благодаря теории мы можем научиться полезным метафорам, мы можем использовать математический аппарат, но теория не может быть универсальным основанием нашего познания. Практическое мышление, не основанное на здравом смысле, — фикция.

В этом рассуждении есть здравое зерно, но его явно недостаточно, чтобы осудить стремление к рациональности как бесполезное. Да, мы знаем, что рациональность очень сложна, но есть и руководство о том, как делать невозможное. Мы знаем, что эпохи эволюции прекрасно настроили наш мозг, но эволюция, во-первых, не приводит к максимальной эффективности, во-вторых, не заточена на достижение целей, которые волнуют нас, людей.

Дружеское напоминание о том, что эволюция породила и рыбу-каплю.

Наконец, рациональность стремится расширить здравый смысл, а не противоречить ему. Исключением являются лишь некоторые задачи, в которых здравый смысл и интуиция бессильны. В процессе написания «Цепочек» Элиезер занимался (и занимается до сих пор) разработкой математических основ для сверхразумного ИИ, ценности которого совпадали бы с человеческими. Это очень сложная задача, поскольку человеческие ценности составляют ничтожно малую область во вселенной возможных целей ИИ. У нашего вида есть лишь одна попытка для решения этой задачи, и без большого количества рациональности у нас очень мало шансов.

Возможно, Элиезер не уверен, что рациональность способны освоить люди, которые не посвятили свою жизнь спасению мира, но мне это не кажется нереалистичным. Я считаю, что и при выборе лучшего мыла рациональность лучше, чем глупость. Тем не менее, я в этом году скорее всего пожертвую больше денег MIRI, чем потрачу на покупку мыла. Познакомившись с рациональностью, люди часто загораются идеей спасти мир.

Злословие против Байеса

Наш обзор «пострациональности» начался с Дэвида Чапмена, им же я и закончу.

[1] В популярном байесианстве, теорема, судя по всему, не имеет отношения к арифметике — это священный символ Рациональности. Ситуации, когда можно реально использовать формулу, крайне редки. Вместо этого теорема становится чем-то вроде священной метафоры или религиозного талисмана. Вы поклоняетесь ей, чтобы продемонстрировать то, как вы уважаете Рациональность, а также свою принадлежность к байесианской религии.

[2] Возможно, байесианство сродни иглоукалыванию. Оно почти бессмысленно с практической точки зрения, а его изощрённые теоретические основы — это чушь. Однако, обычно оно безвредно и повышает человеческую самооценку, то есть, плюсы перевешивают минусы.

[3] Тоже самое наблюдается и в байесианстве. Лидеры начиняют свои тексты аллюзиями на таинственную метафизику и математику, которые почти никак не связаны с тем, как они рассуждают на самом деле.

[4] Широко известно, что байесианство похоже на квазирелигиозную секту. Это не только моё личное мнение.

Здесь Чапмен замечает следующую цитату Элиезера:

[Элиезер]: Давайте выйдем за пределы наших системы: Байес, Байес, Байес, Байес, Байес, Байес, Байес, Байес, Байес… Священные звуки бессмысленны, за исключением случаев, когда они советуют кому-то использовать математику.

И, судя по всему, не понимает прочитанное:

[Чапмен]: Правильно. Так почему же он не выходит за пределы системы? Он сам здесь называет это «священными звуками». Получается, он понимает квазирелигиозную природу своих действий. Тогда зачем это всё?

Кто эти заблудшие байесианские фанатики? Общались ли люди, которые обвиняют рационалистов в квазирелигиозности, хотя бы с одним человеком, прочитавшим Цепочки? Неужели Чапмен всерьёз считает, что когда Элиезер говорит «не будьте сектой, а займитесь математикой», он подразумевает «будьте сектой»? Ответов на эти вопросы мы никогда не узнаем, поскольку, когда Скотт ответил на соломенную версию байесианства в изложении Чапмена, тот внезапно изменил позицию и написал:

Дело в том, что я вижу в LessWrong’е очень много правильного, и я очень сильно восхищаюсь его целями. Поэтому я так огорчён его ограничениями и (возможно, кажущимися) ошибками. Боюсь, мой безрассудный способ выразить огорчение мог кого-нибудь обидеть. Также он мог кого-то сбить с толку, поскольку я не предложил никакой конструктивной критики (и даже не определился, стоит ли этим заняться). Прошу прощения за всё это.

Конечно, приятно, что Чапмен извинился, но было бы ещё приятней, если бы он удалил соответствующие высказывания из своего блога. Самые лучшие рационалисты — это люди вроде Скотта, Кая Соталы и Ванивера. Они ответили на высказывания Чапмена вдумчивыми вежливыми дискуссиями о математике и эпистемологии. Единственная ошибка, которую я могу усмотреть с их стороны, заключается в том, что им стоило бы сказать: «Послушай, Дэвид, давай ты перестанешь называть байесианцев религиозной сектой, а затем мы вежливо поговорим о математике и эпистемологии?»

[Томас Байес на картинке говорит: «Я сам пресвитерианский священник. Как забавно!» — Прим.перев.]

И не важно, сколько Дэвид Чапмен теперь будет говорить, что он, конечно, совершенно не хотел назвать Скотта, Кая и Ванивера сектантами. Вред уже нанесён. Слово «секта»(«cult») выпадает первым предложением, когда вы ищете в гугле «LessWrong». Люди смеются над LessWrong’ом за увлечённость загадочными нердовскими вопросами вроде безопасного ИИ и крионики. Теперь сверхпопулярный блоггер пишет тысячи слов о рационалистском просвещении, безопасном ИИ и крионике, брезгливо избегая любого упоминания LessWrong’а. Журналисты, не прочитавшие и страницы Цепочек, высмеивают сообщество. Я и сам наткнулся на сайт благодаря одной из таких статей!

Посты, подобные приведённым выше, очерняют всё сообщество, и Дэвид должен был это понять, с учётом того, что он знаком со Скоттом и другими. Мем «байесианство — это секта» привёл к тому, что многие члены сообщества покинули сайт — кто-то ради своих собственных уголков «диаспоры рационалистов», а кто-то и вовсе перестал поддерживать связь с сообществом. Это лишило всех общей базы интуиции и языка, которые у нас есть благодаря Цепочкам и которые позволяют нам делиться идеями и учиться друг у друга.

Что ещё хуже, это злословие оттолкнуло от LessWrong’а новых людей и случайных читателей и помешало им обнаружить ресурс, который мог бы изменить их жизнь. Именно поэтому я тут потратил 1500 слов на обсуждение «пострационалистов». Я не хочу, чтобы любопытный читатель начал гуглить «LessWrong» и получил ужасно искажённое впечатление.

Рациональность помогла мне встретить прекрасную девушку (подробнее об этом я расскажу позже). Благодаря рациональности у меня появились интуиция, умение анализировать и уверенность, позволяющая не доверять на слово даже учёным. Рациональность позволяет мне сохранять хладнокровие и рассуждать о кривых распределения в разгар «войны культур». Рациональность даёт мне мудрость менять то, что я могу изменить, и принимать то, что я изменить не могу. Рациональность вдохновила меня на написание единственной в моей жизни поэмы.

И вы теперь тоже можете писать плохие поэмы. Добро пожаловать в общество рационалистов. Да будете вы завтра менее неправы, чем сегодня.

Перевод: 
Muyyd, Alaric
Оцените качество перевода: 
Средняя оценка: 4.8 (6 votes)

Статьи Якоба Стейнхардта

Какой будет GPT-2030?

Якоб Стейнхардт

Способность GPT4 программировать, творчески генерировать идеи, писать письма и делать немало чего ещё много кого удивила. В машинном обучении она в этом не одинока: до неё меня, как и многих способных прогнозистов удивили математические способности Minerva.

Как меньше удивляться при появлении новых ИИ-разработок? Наш мозг часто совершает прогноз нулевого порядка: смотрит на нынешнее положение дел и добавляет усовершенствования, которые «кажутся осмысленными». Но оценка, что именно «кажется осмысленным», подвержена когнитивным искажениям и будет недооценивать прогресс в столь быстро развивающейся области как машинное обучение. Более эффективный подход – прогнозирование первого порядка: численно оценить историческую скорость прогресса и экстраполировать её вперёд, обращая при этом внимание на возможные причины замедления или ускорения.1

В этом посте я использую этот подход для прогнозирования свойств больших предобученных ИИ в 2030 году. Я дальше буду говорить о «GPT2030». Это гипотетическая система, которая обладает способностями, вычислительными ресурсами и скоростью вывода, которые получатся, если экстраполировать большие языковые модели на 2030 год (но эта система скорее всего будет обучена и в других модальностях, таких как изображения). Чтобы предсказать свойства GPT2030, я рассмотрел много источников информации, включая эмпирические законы масштабирования, прогнозы о будущих вычислительных мощностях и будущей доступности данных, скорость улучшения по конкретным метрикам, скорость вывода нынешних систем и возможные будущие улучшения параллелизма.

Способности GPT2030 оказываются удивительными (по крайней мере, для меня). В частности, GPT2030 будет обладать некоторыми значительными преимуществами как над нынешними системами2, так и (по крайней мере, в некоторых важных аспектах), над нынешними работниками-людьми:

  1. GPT2030 скорее всего будет обладать сверхчеловеческими навыками исполнения многих конкретных задач, включая программирование, взлом, математику, и, возможно, проектирование белков (Раздел 1).
  2. GPT2030 сможет «работать» и «думать» быстро: по моей оценке, она будет в 5 раз [диапазон: 0.5-20] быстрее людей, если измерять по словам, обработанным за минуту3, и это можно будет увеличить до 125 раз, заплатив в 5 раз больше за FLOP (Раздел 2).
  3. GPT2030 будет легко копировать и запускать параллельно. Обучившая GPT2030 организация будет обладать достаточными вычислительными мощностями, чтобы запустить много параллельных копий: по моей оценке, достаточно, чтобы исполнить 1.8 миллионов лет работы [диапазон: 0.4М-10М лет] при пересчёте на человеческую скорость. (Раздел 3). При учёте пятикратного ускорения из предыдущего пункта, эта работа сможет выполниться за 2.4 месяца.
  4. Благодаря идентичным весам копии GPT2030, смогут делиться знаниями, что допускает параллельное обучение: по моей оценке, эквивалентное 2,500 человеческим годам обучения за 1 день (Раздел 4).
  5. Кроме текста и изображений GPT2030 сможет обучаться на дополнительных модальностях, включая, возможно, и контринтуитивные, вроде молекулярных структур, низкоуровневого машинного кода, астрономических снимков и сканов мозга. Так что не исключено, что она будет обладать мощной интуицией и сформирует незнакомые нам концепции в областях, в которых у людей опыт ограничен (Раздел 5).

Такие способности, как минимум, ускорят многие области исследований, и в то же время откроют значительные возможности для злоупотребления (Раздел 6). Программистские способности GPT2030 вкупе с параллелизацией и скоростью сделают её мощным инструментом для кибератак. Вдобавок, параллельное обучение можно будет направить на поведение людей, и использовать для манипуляций и дезинформации с тысячами «лет» практики.

Главным ограничителем ускорения будет автономность. Я ожидаю, что в областях вроде математики, где работу можно проверять автоматически, GPT2030 будет превосходить самых профессиональных математиков. Ещё я ожидаю, что в машинном обучении GPT2030 будет независимо проводить эксперименты и генерировать графики и отчёты, но аспиранты и исследователи будут указывать направление и оценивать результаты. В обоих случаях GPT2030 будет неотъемлемой частью процесса исследований.

Если исходить из того, как выглядят нынешние системы, мои прогнозы свойств GPT2030 кажутся контринтуитивными, и они действительно могут оказаться ошибочными, потому что нельзя быть точно уверенным в том, как машинное обучение будет выглядеть в 2030 году. Однако, пункты (1.-5.) выше – моя медианная оценка, и чем бы ни оказалась GPT2030, я сомневаюсь, что это будет «GPT-4, но немного лучше».

Если я прав, то влияние ИИ уж точно будет немаленьким. Нам надо готовиться к нему сейчас, задаваясь вопросами о том, что произойдёт на самых крупных масштабах (порядка триллионов долларов, десятков миллионов жизней и значимых изменений социальных процессов). Лучше удивляться сейчас, а не через 7 лет, когда эти системы уже будут работать.

Конкретные cпособности

Я ожидаю, что GPT2030 будет превосходить людей в программировании, взломе и математике, а также способности читать и обрабатывать большие объёмы текста для поиска закономерностей или фактов и генерации озарений. Наконец, раз AlphaFold и AlphaZero превосходили людей в проектировании белков и играх, GPT2030 тоже будет на это способна, например, если она будет мультимодально обучена на данных, похожих на обучающие данные AlphaFold/AlphaZero.

Программирование. GPT-4 опередила сильные человеческие результаты на задачах с LeetCode, выложенных после отсечки её обучающих данных (Bubeck et al. 2023, таблица 2), и прошла имитацию интервью нескольких больших технических компаний (Рис. 1.5). Скорость улучшений всё ещё высока, между GPT-3 и 4 произошёл скачок в 19%. С более сложным соревнованием CodeForces GPT-4 справилась хуже, но AlphaCode сравнялась с медианным участником-человеком. На ещё более сложном датасете APPS, Parsel опередил AlphaCode (7.8%->25.5%). Платформа прогнозирования Metaculus даёт 2027 в качестве медианного года достижения 80% на APPS, что превзошло бы почти всех людей.4

Взлом. Я ожидаю, что вместе с навыками программирования в целом будут расти и навыки взлома, и что вдобавок к этому модели смогут просматривать большие базы кода в поисках уязвимостей на куда больших масштабах и с куда большей тщательностью, чем люди. ChatGPT уже использовали для генерации эксплойтов и создания полиморфного вредоносного кода, что обычно считается продвинутой техникой атаки.

Математика. Minerva достигла пятидесятипроцентного результата на бенчмарке соревновательной математики (MATH), что лучше результатов большинства людей. Скорость прогресса велика (больше 30% за год), и низковисящих плодов ещё много: автоформализация, избавление от арифметических ошибок, улучшение техники цепочки мыслей, и улучшение качества данных5. Metaculus предсказывает 92% на MATH к 2025, и выдаёт 2028 как медианный год, когда ИИ выиграет золотую медаль Международной Математической Олимпиады, то есть выйдет на уровень лучших студентов в мире. Я лично ожидаю, что GPT2030 будет лучше самых профессиональных математиков доказывать хорошо сформулированные теоремы.6

Обработка информации. Способность отыскивать нужные факты в больших объёмах данных естественно вытекает из способностей больших языковых моделей к запоминанию и больших контекстных окон. Как выяснилось, GPT-4 достигает 86% точности на MMLU, широком наборе стандартизированных экзаменов, включающем юридический экзамен, MCAT, и экзамены по математике, физике, биохимии и философии уровня колледжа; даже если сделать поправку на вероятное пересечение с обучающими данными, это скорее всего превзойдёт широту эрудиции любого человека. Что касается больших корпусов данных, Чжун и пр. (2023) использовали GPT-3 для конструирования системы, которая открыла и описала несколько ранее неизвестных закономерностей в больших базах текста, и тренды масштабирования на схожих задачах от Биллс и пр. (2023) указывают, что модели скоро превзойдут в этом людей. Обе работы использовали большие контекстные окна LLM, сейчас они превысили 100,000 токенов и растут дальше.

Если обобщить, модели машинного обучения обладают не таким же набором навыков, что люди, потому что обучение на больших массивы данных из интернета, сильно отличается от «обучения» естественным отбором в ходе эволюции. К моменту, когда модели достигнут человеческого уровня в задачах вроде распознавания объектов на видео, они скорее всего уже будут обладать сверхчеловеческими навыками во многих других задачах, таких как математика, программирование и взлом. Более того, из-за роста моделей и совершенствования данных скорее всего со временем выявятся дополнительные мощные способности, и нет особых причин ожидать, что способности моделей «выйдут на плато» на человеческом уровне или ещё ниже. Хоть и возможно, что нынешние подходы глубинного обучения не дойдут до человеческого уровня в некоторых областях, равно возможно и что они его превзойдут, может быть, превзойдут сильно, особенно в областях вроде математики, для которых люди эволюционно не специализировались.

Скорость вывода

(Благодарю Льва МакКинни за результаты по бенчмаркам в этом разделе)

Для оценки скорости моделей машинного обучения мы измеряем, как быстро они генерируют текст, сравнивая с скоростью мышления человека в 380 слов в минуту (Корба (2016), см также Приложение A). Использование API продолжения чата от OpenAI, мы оценили, что в апреле 2023 года gpt-3.5-turbo может генерировать 1200 слов в минуту (wpm), а gpt-4 генерирует 370 wpm. Меньшие модели с открытым кодом вроде pythia-12b достигают как минимум 1350 wpm при привлечении дополнительных инструментов и на A100 GPU. Кажется, что при дальнейшей оптимизации это можно удвоить.

Следовательно, если рассматривать модели от OpenAI по состоянию на апрель, они получаются либо примерно в три раза быстрее людей, либо примерно на том же уровне. Я ожидаю, что модели в будущем будут быстрее, потому что для ускорения вывода есть мощные коммерческие и практические стимулы. И правда, согласно данным отслеживания от Фабиена Роджера, в неделю до выкладывания этого поста скорость GPT-4 уже увеличили до 540 wpm (12 токенов в секунду). Это демонстрирует возможности улучшений и желание этими возможностями пользоваться.

Мой медианный прогноз – что модели будут в пять раз превосходить людей по словам в минуту (диапазон: [0.5, 20]), так как примерно там практические преимущества дальнейшего ускорения пойдёт на спад. Однако, есть соображения и в пользу как более, так и менее высоких чисел, их подробный список, как и сравнение скоростей моделей разных масштабов и подробности упомянутых выше экспериментов можно посмотреть в Приложении A.

Большое значение имеет то, что скорость моделей машинного обучения не фиксирована. Последовательную скорость вывода можно увеличить в k2 раз ценой уменьшения пропускной способности в k раз (иными словами, k3 параллельно работающих копий модели можно заменить на одну в k2 раз более быструю). Этого можно достигнуть при помощи параллельной схемы, теоретически работающей даже для больших значений k2, скорее всего как минимум до 100, а может и больше. Так что модель, в пять раз превышающую по скорости человека, можно ускорить до 125-кратного превосходства при k=5.

Важная оговорка – скорость не обязательно сопровождается качеством: как описано в Разделе 1, набор навыков GPT2030 будет отличаться от человеческого, она будет проваливаться на некоторых задачах, которые мы считаем простыми и в совершенстве исполнять некоторые, которые мы считаем сложными. Так что нам не надо думать о GPT2030, как о «ускоренном человеке», но, скорее, как о «ускоренном работнике» с потенциально контринтуитивным набором навыков.

Несмотря на это, ускорение рассматривать полезно, особенно когда оно большое. Языковые модели, опережающие по скорости людей в 125 раз, будут выполнять входящие в их набор навыков когнитивные задачи, которые заняли бы у человека целый день, за считанные минуты. Если опять взять пример взлома – системы машинного обучения смогут быстро находить эксплойты и проводить атаки, отнявшие бы у человека много времени.

Пропускная способность и параллельные копии

Копирование моделей ограничено только доступными вычислительными мощностями и памятью. Это позволяет им быстро выполнять любую работу, которую можно эффективно распараллелить. К тому же, особенно эффективно донастроив одну модель, можно сразу же перенести изменение на другие экземпляры. Ещё модели можно дистиллировать под конкретные задачи, что ускорит и удешевит их использование.

Скорее всего, после обучения модели будет доступно достаточно ресурсов, чтобы запустить много её копий, потому что обучение модели требует запуска многих параллельных копий, и какая бы организация её не обучила, вероятно, те же ресурсы будут ей доступны и при развёртывании. Следовательно, мы можем получить нижнюю границу числа копий, оценив затраты на обучение.

Пример такого расчёта – затраты на обучение GPT-3 были бы достаточны для 9x1011 её же запусков. Приводя к человеческому эквиваленту, люди думают со скоростью в 380 слов в минуту (см. Приложение A), а одно слово – это в среднем 1.33 токена, так что 9x1011 запусков соответствуют ~3400 годам работы с человеческой скоростью. Следовательно, организация может запускать 3400 параллельных копий модели на целый год на человеческой скорости работы, или то же число копий на 2.4 месяца с пятикратной скоростью. (Примечание: последнее зависит от того, сколько экземпляров модели организация может запустить параллельно, см. сноску7 за подробностями.)

Давайте теперь экстраполируем, насколько обучение «забегает вперёд», то есть, соотношение стоимостей обучения и запуска, на будущие модели. Оно должно вырасти: в основном потому, что оно примерно пропорционально размеру датасета, а они растут. Этот тренд замедлится, когда мы исчерпаем запасы естественных языковых данных, но новые модальности и синтезированные/самосгенерированные данные не позволят ему остановиться.8 В Приложении B я рассмотрел эти факторы подробно, чтобы экстраполировать их на 2030 год. Я ожидаю, что вычислительные ресурсы, затраченные на обучение модели в 2030 году, будут примерно равны ресурсам, необходимым на исполнение той же моделью, при пересчёте на человеческую скорость, 1,800,000 лет работы [диапазон: 400K-10M].

Отмечу, что Котра (2020) и Дэвидсон (2023) оценивали схожие параметры и пришли к бОльшим числам, чем у меня. Я полагаю, основное различие – то, как я моделирую эффект исчерпания данных на естественном языке.

Экстраполяция выше несколько консервативна, потому что модель можно запустить и с привлечением больших ресурсов, чем использовалось при обучении, если организация докупит дополнительные мощности. Быстрая оценка выдаёт, что GPT-4 обучили, используя примерно 0.01% от всех вычислительных ресурсов мира. Впрочем, я ожидаю, что будущие процессы обучения будут использовать бОльшую долю мировых вычислительных мощностей, так что у них будет меньше возможностей для дальнейшего масштабирования. Всё равно организация, если у неё будет хороший повод это сделать, сможет увеличить число копий ещё на порядок.

Разделение знаний

(Спасибо Джеффу Хинтону, который первый высказал мне этот аргумент.)

Разные копии модели могут делиться обновлениями параметров. К примеру, ChatGPT может взаимодействовать с миллионами пользователей, узнавать что-то новое из каждого взаимодействия, и скидывать градиентные сдвиги на центральный сервер, где их усреднят и применят ко всем копиям модели. Таким образом ChatGPT может получить больше информации о людях за час, чем человек за всю жизнь (1 миллион часов = 114 лет). Параллельное обучение может быть одним из главных преимуществ моделей, потому что оно позволит им быстро обучаться любым упущенным навыкам.

Скорость параллельного обучения зависит от того, сколько копий модели запущены разом, как быстро они могут получать данные, и можно ли эти данные эффективно использовать параллельно. Наконец, даже очень мощная параллелизация не должна особо вредить эффективности, ведь на практике нередки многомиллионные размеры датасетов, а масштабирование градиентного шума (МакКэндлиш и пр., 2018) предсказывает минимальное снижение качества обучения до достижения «критического размера батчей». Так что мы сосредоточимся на числе копий и получении данных.

Я приведу две оценки, и из обеих получается, что вполне достижимо будет параллельно обучать с человеческой скоростью по меньшей мере ~1 миллион копий модели. Это соответствует 2500 человеческим годам обучения за день, потому что 1 миллион дней – это примерно 2500 лет.

Первая оценка использует числа из Раздела 3, в котором получился вывод, что затрат на обучение модели достаточно для симуляции этой же модели на протяжении 1.8 миллиона лет работы (приводя к человеческой скорости). Предполагая, что обучение продолжалось менее, чем 1.2 года (Севилла и пр., 2022), получим, что организация, обучившая модель, будет обладать достаточными GPU, чтобы запустить 1.5 миллиона копий на человеческой скорости.

Вторая оценка берётся из рассмотрения доли рынка организации, развернувшей модель. К примеру, если 1 миллион пользователей одновременно дают запросы модели, организации уж точно надо обладать ресурсами на обслуживание 1 миллиона копий модели. Для примера, у ChatGPT в мае 2023 года было 100 миллионов пользователей (не все активны одновременно), а в январе – 13 миллионов активных пользователей в день. Я предположу, что типичный пользователь запрашивал генерацию текста, занимающую несколько минут, так что январское число скорее всего сводится к всего лишь 0.05 миллиона человеко-дней текста каждый день. Однако, кажется весьма правдоподобным, что будущие модели в духе ChatGPT обойдут это раз в двадцать и достигнут 250 миллионов активных пользователей и 1 миллиона человеко-дней генерации в день. Для сравнения – у Facebook сейчас 2 миллиарда активных пользователей каждый день.

Модальности, инструменты и физические устройства

До сих пор схожие с GPT модели в основном обучались на тексте и программном коде и обладали сильно ограниченными методами взаимодействия с окружающим миром – через чат. Но это быстро меняется, модели обучаются на дополнительных модальностях вроде изображений, обучаются использовать инструменты и взаимодействовать с физическими устройствами. Более того, модели не будут ограничены доступными людям модальностями вроде текста, естественных изображений, видео и речи - скорее всего их будут обучать и на незнакомых нам модальностях вроде сетевого трафика, астрономических снимков и иных больших объёмов данных.

Инструменты. Недавно выпущенные модели используют внешние инструменты, см. плагины ChatGPT, а также Шик и пр. (2023), Яо и пр. (2022) и Гао и пр. (2022). В комплекте с использованием инструментов, генерации текста становится достаточно, чтобы писать код, который будет исполняться, убеждать людей совершать действия, взаимодействовать с API, совершать транзакции и, потенциально, проводить кибератаки. Использование инструментов экономически выгодно, так что для дальнейшего его развития есть сильные стимулы.

ChatGPT реактивна – пользователь говорит X, ChatGPT отвечает Y. Риски есть, но ограничены. Скоро будет большое искушение создавать проактивные системы – помощник, который отвечает за вас на e-mail’ы, сам совершает действия для вашей выгоды, и т.д. Риски будут куда выше.

— Percy Liang (@percyliang) February 27, 2023

Новые модальности. Сейчас уже есть большие обученные на тексте и изображениях модели, как коммерческие (GPT-4, Flamingo), так и с открытым исходным кодом (OpenFlamingo). Исследователи экспериментируют и с более экзотическими парами модальностей, например, язык и строение белков (Гуо и пр., 2023).

Стоит ожидать, что модальности больших предобученных моделей будут расширяться. На то есть две причины. Во-первых, экономически полезно добавлять к менее знакомым модальностям (таким как белки) язык, чтобы пользователи могли получать объяснения и эффективно править результаты. Так можно спрогнозировать мультимодальное обучение с строением белков, биомедицинскими данными, моделями CAD, и любыми другими модальностями, ассоциированными с большим сектором экономики.

Во-вторых, языковые данные начинают заканчиваться, так что разработчики моделей будут искать новые типы данных, чтобы продолжать наращивать масштабы. Кроме традиционных текста и видео, некоторые из крупнейших источников существующих данных – это астрономические (скоро будут измеряться экзабайтами в день) и геномные (около 0.1 экзабайта в день). Правдоподобно, что как эти, так и другие крупные источники данных будут использоваться для обучения GPT2030.

Применение экзотических модальностей означает, что у GPT2030 могут быть контринтуитивные способности. Она может понимать звёзды и гены куда лучше нас, с трудом при этом справляясь с базовыми физическими задачами. Это может привести к нарушению ожиданий, основанных на уровне «обобщённого» интеллекта GPT2030, например, к проектированию новых белков. Важно учитывать, что благодаря экзотическим источникам данных она вполне может обладать подобными специфическими сверхчеловеческими способностями.

Актуаторы. Модели начинают использовать физические актуаторы: ChatGPT уже использовали для управления роботами, а OpenAI инвестирует в робототехническую компанию. Однако, в физических областях куда дороже собирать данные, чем в цифровых, да и люди к ним эволюционно приспособлены лучше (так что планка для конкуренции с нами для ML-моделей будет выше). Так что я ожидаю, что в сравнении с цифровыми областями овладевание актуаторами будет происходить медленнее, и я не уверен, стоит ли этого ожидать к 2030. Я оцениваю в 40% вероятность, что к 2030 будет модель общего назначения, способная сама собрать реплику Ferrari в натуральную величину, как сформулировано в этом вопросе на Metaculus.

Значимость GPT-2030

Давайте проанализируем, что система вроде GPT2030 будет значить для общества. Система с характеристиками GPT2030 как минимум значительно бы ускорила некоторые области исследований, одновременно обладая немалым потенциалом злонамеренного использования.

Я начну с перечисления некоторых основных сильных и слабых сторон GPT2030, и посмотрю, что они значат для ускорения и для злонамеренного использования.

Сильные стороны. GPT2030 – это многочисленная, быстро адаптируемая и высокопродуктивная рабочая сила. Напомню, что копии GPT2030 смогут выполнить 1.8 миллиона лет работы9, и каждая копия будет работать в 5 раз быстрее человека. Это означает, что мы сможем симулировать 1.8 миллиона агентов, работающих по год каждый, за 2.4 месяца. Как описано выше, мы также сможем заплатить впятеро больше за FLOP, чтобы получить дополнительное ускорение – до 125-кратной человеческой скорости. Получается 14 тысяч агентов, работающих по году каждый за 3 дня10.

Слабые стороны и ограничения. Есть три препятствия к использованию этой цифровой рабочей силы – набор навыков, стоимость экспериментов и автономность. По первому – GPT2030 будет обладать не таким набором навыков, что люди, так что она будет хуже справляться с некоторыми задачами (но лучше с другими). По второму – симулированным рабочим надо взаимодействовать с миром для сбора данных, и у этого будут свои затраты времени и вычислительных мощностей. Наконец, по автономности – сейчас модели могут сгенерировать лишь несколько тысяч токенов цепочки мыслей, прежде чем «застрянут» в состоянии, в котором больше не могут выдавать высококачественный вывод. Нам потребуется значительное повышение надёжности, чтобы мы смогли поручать моделям сложные задачи. Я ожидаю, что надёжность будет расти, но не безгранично: моя (очень грубая) оценка такова, что GPT2030 сможет работать несколько человеко-эквивалентных дней, прежде чем её надо будет перезапустить или перенаправить внешней обратной связью. Если модели будут работать в пять раз быстрее людей, получается, что присматривать за ними надо будет раз в несколько часов.

Получается, задачи, в которых влияние GPT2030 будет наивысшим, это те, которые:

  1. Используют навыки, в которых GPT2030 сильнее людей.
  2. Требуют только таких внешних эмпирических данных, которые можно легко и быстро собрать (дорогие физические эксперименты, например, не подходят).
  3. Могут быть разделены на подзадачи, с которыми модель справляется стабильно и надёжно, или для которых есть хорошие и автоматизированные механизмы обратной связи для направления модели.

Ускорение. Одна хорошо соответствующая этим критериям задача – математические исследования. По первому – у GPT2030 скорее всего будут сверхчеловеческие математические способности (см. Раздел 1). По второму и третьему – математикой можно заниматься исключительно думая и записывая, а узнать, когда теорема доказана, легко. Кроме того, в мире не так много математиков (например, в США всего около 3000), так что GPT2030 сможет симулировать десятикратный годовой выхлоп математиков за несколько дней.

Значительная часть исследований ML тоже удовлетворяет этим критериям. GPT2030 будет сверхчеловеческим программистом, что включает в себя составление и проведение экспериментов. Думаю, она будет хороша и в презентации и объяснении их результатов, учитывая, что GPT-4 уже хороша в доступном объяснении сложных тем (и у этого навыка немалый рыночный запрос). Исследование ML можно свести к придумыванию хороших экспериментов и получению хорошо оформленных (но потенциально ненадёжных) описаний результатов. Таким образом, в 2030 аспиранты смогут пользоваться ресурсами, которые сейчас доступны профессору с несколькими сильными студентами.

Значительному ускорению подвергнутся и некоторые социальные науки. Есть много статей, которые в основном описывают поиск, категоризацию и разметку интересных с научной точки зрения источников данных и выявление значимых паттернов – за примерами см. Асемоглу и пр. (2001) или Вебб (2020). Это соответствует критерию (3), потому что категоризация и разметка декомпозируются на простые подзадачи, и критерию (2), пока данные доступны в Интернете или могут быть собраны онлайн-опросом.

Злоупотребление. Кроме ускорения, возникнут и серьёзные риски злоупотребления. Самый прямой путь – способности к взлому. Изучить конкретную цель в поисках уязвимостей конкретного вида просто, проверить (при возможности взаимодействовать с кодом), работает ли эксплойт – тоже, так что критерий (3.) выполняется вдвойне. По (2.), GPT2030 придётся взаимодействовать с целевыми системами, чтобы знать, работает ли эксплойт, что может быть затратно, но не настолько, чтобы значительно помешать. Более того, модель может локально проектировать и тестировать эксплойты, используя как обучающие данные открытый код, так что она может стать очень хороша в взломе без необходимости взаимодействовать с внешними системами. Так что GPT2030 сможет быстро исполнять сложные кибератаки параллельно против большого количества целей.

Второй тип злоупотреблений – манипуляция. Если GPT2030 будет взаимодействовать с миллионами пользователей за раз, то за час она будет получать больше информации о взаимодействиях с людьми, чем человек получает за всю жизнь (1 миллион часов = 114 лет). Если использовать это для обучения манипуляции, то итоговые навыки могут сильно превосходить человеческий уровень – для сравнения, некоторые мошенники хорошо обманывают своих жертв, потому что практиковались на сотнях людей, а GPT2030 сможет обойти это на несколько порядков. Так что она сможет очень хорошо манипулировать пользователями в разговорах один на один и в написании статей для сдвига общественного мнения.

Подводя итоги, GPT2030 сможет автоматизировать практически все математические исследования и значимую часть других областей, и она откроет мощные пути злоупотребления, как через кибератаки, так и через убеждение/манипуляцию. Большая часть её воздействия на мир будет ограничиваться «бутылочным горлышком присмотра», так что оно усилится, если она сможет долго автономно работать.

Выражаю благодарность Louise Verkin за переделывание этого поста в формат Ghost, и Lev McKinney за проведение эмпирических экспериментов с бенчмарками. Благодарю Karena Cai, Michael Webb, Leo Aschenbrenner, Anca Dragan, Roger Grosse, Lev McKinney, Ruiqi Zhong, Sam Bowman, Tatsunori Hashimoto, Percy Liang, Tom Davidson, и других за обратную связь к черновикам этого поста.

Приложение: Оценки скорости работы и обучения будущих моделей

A. Слова в минуту

Для начала мы оценим, сколько слов в минуту выдают люди и современные модели, а затем – экстраполируем с современных моделей на будущие.

Что касается людей, есть пять чисел, которые можно измерять: скорость речи, чтения, восприятия на слух, а также «эллипсическая» и «расширенная» скорость мысли. По первым трём Рэйнер и Клифтон (2009) утверждают, что скорость чтения – 300 слов в минуту,11 скорость речи – 160 слов в минуту12, а восприятие речи возможно в два-три раза быстрее (то есть, ~400 слов в минуту)13. Скорость мысли нам надо разделять на «эллипсическую» и «расширенную» – оказывается, мы думаем своего рода вспышками слов, а не целыми фразами, и если расширить эти вспышки до полных предложений, то получится совсем другое число слов (отличие примерно в 10 раз). Корба (2016) выяснил, что эллипсическая мысль работает со скоростью примерно в 380 слов в минуту, а расширенная – ~4200 слов в минуту. Так как большая часть этих чисел находятся где-то в области 300-400 слов в минуту, я буду использовать 380 слов в минуту как свою оценку скорости мышления человека. Если взять предлагаемое OpenAI соотношение 3 слова : 4 токена, то получается 500 токенов в минуту.14

(Благодарю Льва МакКинни за проведение оценок из следующих абзацев.)
Далее рассмотрим современные модели. Мы исследовали gpt-3.5-turbo, gpt-4, и несколько моделей с открытым исходным кодом от EleutherAI, чтобы оценить их скорость вывода. Мы просили их считать от 1 до n, а n изменяли от 100 до 1900 включительно шагами по 100. Так как числа содержат больше одного токена, мы прерывали выполнение, когда модель генерировала n токенов, и измеряли прошедшее время. Затем мы провели линейную регрессию с учётом временного лага, чтобы оценить асимптотическую скорость в токенах в секунду.

GPT-4 и GPT-3.5-turbo использовались при помощи OpenAI API в начале апреля 2023 года. Все эксперименты с моделями pythia проводились при помощи технологии «deepspeed’s injected kernels» и моделей fp16 на одной видеокарте A100 GPU.15 Код для воспроизведения этих результатов можно найти https://github.com/levmckinney/llm-racing.

Ниже показаны сырые данные на Рисунке 1, и конечные оценки токенов в минуту – на Рисунке 2 и в Таблице 1.

На Рисунке 1 показано, как время вывода модели масштабируется при изменении ввода. Обратите внимание, что время на токен на этих масштабах остаётся приблизительно постоянным.

На Рисунке 2 и в таблице снизу показано, как скорость вывода модели меняется в зависимости от её размера. Полосы ошибок – интервалы уверенности в 95%.

Название модели Токены в минуту
gpt-4 493
gpt-3.5-turbo 1641
EleutherAI/pythia-12b-deduped 1801
EleutherAI/pythia-6.9b-deduped 2659
EleutherAI/pythia-2.8b-deduped 4568
EleutherAI/pythia-1.4b-deduped 7040
EleutherAI/pythia-410m-deduped 11039
EleutherAI/pythia-160m-deduped 21580
EleutherAI/pythia-70m-deduped 31809

Таким образом, GPT-4 близка к человеческому значению в 500 токенов в минуту, тогда как GPT-3.5-turbo примерно в три раза быстрее. Меньшие модели быстрее ещё на порядок, что указывает и на возможность ещё больших скоростей, и на то, что будущие модели большего размера могут быть медленнее (без учёта лучшего железа и оптимизаций). На практике при росте размера модели скорость замедляется сублинейно – в моделях pythia увеличение размера в k раз уменьшает скорость вывода примерно в k0.6 раз.
Как число слов в минуту изменится для будущих моделей?

Есть факторы, толкающие как в сторону ускорения, так и в сторону замедления:

  • Запускать большие модели дороже, особенно если у них больше слоёв (большую ширину можно скомпенсировать параллелизацией, но большую глубину – нет).
  • Вывод будет в целом оптимизироваться сильнее, например, ранним выходом, редким вниманием, параллелизацией на многих GPU. или лучшим железом. Тут, особенно касательно последних двух, много пространства для манёвра (см. обсуждение ниже).
  • Будет сильный стимул делать модели достаточно быстрыми, чтобы их было легко использовать (т. е., быстрее, чем человеческая скорость чтения).
  • После того, как я больше десяти часов разглядывал кучу данных о размерах моделей, архитектуре GPU, и пр., я в целом пришёл к выводу, что я совершенно не уверен, как будут соотноситься противостоящие тренды роста и оптимизации моделей. Моя медианная оценка – что у нас будут модели, заметно более быстрые, чем люди (в 5 раз), но меня не удивит любой результат от «в 2 раза медленнее» до «в 20 раз быстрее».
  • Немаловажно, что эти скорости применимы только если нам нужна максимальная пропускная способность GPU. Если бы готовы ею пожертвовать, то, уменьшив её в k раз, мы можем ускорить вывод в k^2 раз для довольно больших значений k. Так что если модели по умолчанию всего в 5 раз быстрее людей, то их можно сделать в 125 раз быстрее людей взамен на пятикратное снижение пропускной способности, и это не предел.

Наконец, отходя от сырой скорости, слова в минуту – не вполне равное сравнение людей и языковых моделей. Для начала, языковые модели не просто думают, а пишут, и, в некоторых случаях, пишут что-нибудь, что человек писал бы куда медленнее (например, код или аргументы с ссылками на источники). С другой стороны, языковые модели сейчас довольно многословны, так что одно слово от модели менее значимо, чем одно слово от человека. От этой многословности можно отучить файн-тюнингом, но неочевидно, возможно ли дойти до эффективности эллипсических человеческих мыслей. Наконец, токенизация и сложность слов меняются со временем, так что соотношение между токенами и словами в 1.333 не будет оставаться константным (я, на самом деле, думаю, что оно уже недооценено, потому что нынешние модели склонны использовать сложные слова с префиксами и суффиксами).

Больше по поводу параллелизации и ускорения «железа». Как описано в «Насколко быстрым можно сделать проход вперёд?», есть схемы параллельного тайлинга, значительно ускоряющие скорость последовательного вывода с лишь минимальной стоимостью. Применительно к GPT-3 это ускорило бы её как минимум в 30 раз при использовании кластера A100 в сравнении с одной машиной с восемью GPU16. Эти оптимизации сейчас не очень широко используют, потому что они бесполезны при обучении и немного уменьшают пропускную способность, но их будут использовать, если время вывода станет критичным.

Что касается «железа», GPU становятся мощнее, что ускорит вывод. Но GPU создают с всё расчётом на всё большее соотношение операций к памяти, что снизит возможный эффект параллельного тайлинга. Ниже приведены характеристики GPU от NVIDIA. В столбце «Mem Bandwidth» указана последовательная пропускная способность без параллелизации по нескольким GPU17, а в последнем столбце M32 – при максимальном распараллеливании с подходящим соотношением18. Первая явно растёт, а вот вторая неравномерно, но скорее снижается.

Дата GPU Compute Memory Clock Speed Mem Bandwidth Interconnect Network M3 / C2
Май 2016 P100 ~84TF 16GB 1.45GHz 720GB/s 160GB/s 53M
Декабрь 2017 V100 16GB 125TF 16GB 1.49GHz 900GB/s 300GB/s ~25GB/s 47M
Март 2018 V100 32GB 125TF 32GB 1.49GHz 900GB/s 300GB/s ~100GB/s 47M
Май 2020 A100 40GB 312TF 40GB 1.38GHz 1555GB/s 600GB/s ~400GB/s 39M
Ноябрь 2020 A100 80GB 312TF 80GB 1.38GHz 2039GB/s 600GB/s ~400GB/s 87M
~Август 2022 H100 2000TF 80GB 1.74GHz 3072GB/s 900GB/s 900GB/s? 7.2M

B. Обгон обучения

Когда модель обучили, скорее всего можно будет сразу же запустить много её копий. На обучение GPT-3 потребовалось 3.1e23 FLOP, а на один прямой прогон – 3.5e11 FLOP, так что за стоимость обучения можно было совершить 9e11 прогонов. При конверсии в 500 токенов в минуту из Приложения A получаем ~3400 человеческих лет работы.

Как это изменится в будущем? Для своей оценки я сначала использую законы масштабирования Chinchilla и экстраполяции будущих затрат на обучение, а потом смотрю на то, как мы можем от этого отклониться. Для будущих затрат на обучение возьмём оценку из Безироглу и пр. (2022). Они проанализировали больше 500 существующих моделей, чтобы экстраполировать тренды вычислительной мощности машинного обучения. Центральный прогноз FLOP на обучение в 2030 году – 4.7e28, а диапазон – от 5.1e26 до 3.0e30. Metaculus выдаёт схожую оценку в 2.3e27 (для 1 января 2031 года)19. Взяв геометрическую медиану получаем 1.0e28 как оценку FLOP на обучение. Это в 33 тысячи раз больше, чем у GPT-3. Законы масштабирования Chinchilla подразумевают, что размер модели (а значит и затраты на вывод) масштабируется как корень из затрат на обучение. Получается, что обгон обучения увеличится примерно в 180 раз. Это превратит 3400 человеческих лет в 620000. Но есть и ещё одно соображение: GPT-3 обучали не оптимально. Идеальный размер GPT-3 (исходя из затрат на обучение) был бы в 4 раза меньше. Так получаем целых 2.5 миллиона человеческих лет или, если учесть неуверенность в числе FLOP на обучение, диапазон от 0.8 до 9 миллионов20.

Теперь давайте рассмотрим отклонения от законов масштабирования Chinchilla. Самое очевидное – у нас могут закончиться данные. Последствия могут быть разными. Во-первых, это может привести к тому, что будет отдаваться предпочтение увеличению размера моделей, а не количества данных. Это уменьшило бы обгон обучения. Во-вторых, могут начать использовать дополнительные синтетические данные. Это сделало бы создание данных более вычислительно затратным и увеличило бы обгон обучения. Третий вариант – можно перейти к новым богатым данными модальностям вроде видео. Тут эффект на обгон обучения неясен, наверное, всё же, он увеличился бы. Проставим грубые границы этих эффектов:

  • Нижняя граница: Виллалобос и пр. (2022) оценивают, что в 2026 году у нас закончатся высококачественные языковые данные (т.е. Википедия, книги, научные статьи и подобное), а низкокачественных (т.е. веб-страниц) хватит ещё до 2030 года. В пессимистичном мире, где высококачественные данные – жёсткое ограничение, их модель означает восьмикратное увеличение размеров датасетов к 2030 году и, соответственно, увеличение обгона обучения всего в 8 раз, а не в 180.
  • Верхняя граница: Если у нас закончатся данные, мы сможем синтезировать новые. Одна из возможностей – дистилляция цепочек-мыслей, как у Хуанга и пр. (2022). В этой статье для каждого ввода генерировались 32 цепочки, только некоторые из которых использовались для обучения. Предположим, что в среднем будет использоваться 5 из 32, а затраты на обратный прогон такие же, как на прямой. Тогда стоимость обновления обучения эквивалента 2 + 32/5 = 8.4 прямых прогонов, это увеличение в 2.8 раз относительно 3 прямых прогонов раньше. При законах Chinchilla это выдаёт дополнительно обгона обучения в sqrt(2.8) = 1.7 раз, то есть получается не в 180 раз, а 300.

В целом, нижняя граница кажется мне довольно пессимистичной, уж точно будут какие-то способы использовать низкокачественные или синтетические данные. С другой стороны, помимо того, что могут закончится данные, мы можем ещё и найти способы сделать процесс обучения эффективнее. С учётом этого, моя личная догадка – что-то между двенадцатикратного и двухсоткратного увеличения обгона, с центральной оценкой в 100 раз. Получается примерно 1.8 миллиона человеческих лет мышления. Хочется ещё расширить диапазон из-за дополнительной неуверенности по поводу отклонений от законов Chinchilla. Интуитивно я получаю от 0.4 до 10 миллионов лет.

Все эти оценки – для 2030. В целом, они должны быть больше для более следующих лет и меньше для предыдущих.

Дополнительная опора для сравнения: Карнофски (2022) (следуя за Котрой, 2020 оценивает, что затрат на обучение модели человеческого уровня хватило бы на запуск 100 миллионов копий модели на год каждая. Впрочем, он использует оценку в 1e30, а не 1e28 FLOP на обучение. Даже так, это мне кажется слишком уж большим числом, и я склоняюсь к 1.8, а не 100 миллионам.

  • 1. Хотя на самом деле прогнозирование нулевого порядка, если его делать правильно, часто тоже помогает! Многие, кого удивила ChatGPT, были бы впечатлены и text-davinci-003, которая была выпущена куда раньше, но не имела удобного интерфейса.
  • 2. Конкретное сравнение: у GPT-3 было вычислительных мощностей на 3400 лет работы и, полагаю, на менее чем 100 лет обучения с человеческой скоростью за день. Я бы предположил, что у GPT-4 это уже 130,000 и 125 лет соответственно. Так что у GPT2030 будет ещё как минимум на порядок больше и там, и там.
  • 3. Тут и далее диапазоны в скобках соответствуют 25-у и 75-у перцентилю моего распределения вероятностей. На практике, они, наверное, узковаты, потому что я делал только прогноз по основному сценарию, не учитывая «прочих» вариантов.
  • 4. Что касается качества вывода GPT-4, Бубек и пр. также обнаружили, что она может выдать код трёхмерной игры на 400 строк без примеров, что, вероятно, невозможно для почти всех людей.
  • 5. См. Прогнозирование ML-бенчмарков в 2023 за более подробным обсуждением.
  • 6. Конкретно, я присваиваю 50% вероятность следующему: «Если мы возьмём 5 случайно выбранных условий теорем из Electronic Journal of Combinatorics, и выдадим их математикам из UCSD, GPT2030 решит большую долю задач, и потратит на решённые меньше времени, чем медианный математик».
  • 7. Я предполагаю, что изначальное обучение продолжалось меньше года (Севилла и пр., 2022, так что организация можем распараллелить процесс как минимум настолько, чтобы обсчитать 9x1011 прямых проходов за год, учитывая ограничения на скорость вывода. Чтобы сделать это за 2.4 месяца, им могут понадобиться дальнейшие улучшения. Я думаю, это правдоподобно (но не факт), как потому, что модель могла быть обучена и быстрее, чем за год, так и потому, что некоторые оптимизации могут быть доступны только при выводе, но не при обучении.
  • 8. Второй фактор – что GPT-3 обучали субоптимально, и при оптимальном (в духе Chinchilla) масштабировании это будет уже в четыре раза больше.
  • 9. Приводя к человеческой скорости работы.
  • 10. Расчёт такой: при идеальном ускорении, 1.8 миллиона / 25 = 72000, но в 5 раз большие затраты на FLOP превращают это в 14000.
  • 11. «скорость чтения много читающих людей типично составляет 250-350 слов в минуту»
  • 12. «оценки нормальной скорости речи варьируются от 120 до 200 слов в минуту»
  • 13. «Эксперименты по сжатой речи показывают, что успешного понимания можно добиться на скорости вдвое больше нормальной (напр., Дюпру и Грин, 1997)»
  • 14. Я лично думаю, что 4:3 – это слишком оптимистично. 3:2 или даже 2:1 может быть реалистичнее, но я оставлю тут 4:3, потому что самое подходящее найденное мной упоминание было с такими цифрами.
  • 15. Модели pythia скорее всего могут работать и получше. Например, NVIDIA сообщали о 80 токенах в секунду для модели, сравнимой с pythia – 6.9 миллиардов на одном A100. При использовании большего количества «железа» они показывали даже около 90 токенов в секунду. Для этого применялась архитектура SuperPod с распараллеливанием тензорных вычислений на 8 A100 и модель GPT с 20 миллиардами параметров.
  • 16. Один A100 справляется с умножениями таких маленьких матриц, как 1024x1024, без того, чтобы узким местом стал доступ к памяти. Основная операция в GPT-3 – перемножение матриц 12288 x (4*12288). Значит, мы могли бы произвести тайлинг по 576 GPU (72 машины). Наивно можно предположить ускорение в 72 раза, но скорее всего умножения будут достаточно несинхронны, так что я предположу что-то ближе к ускорению в 30 раз.
  • 17. Грубо говоря, без тайлинга по многим GPU, скорость последовательного вывода определяется пропускной способностью памяти, то есть A100 с 2039GB/s должен быть способен на 2039/175 – примерно 12 прямых прогонов модели с 175 миллиардами параметров за секунду (с точностью до константы).
  • 18. С тайлингом число прямых прогонов за секунду пропорционально M3/54C2L, где C – число FLOPS, M – пропускная способность памяти, а L – число слоёв. (см. здесь за подробностями). Последний столбец даёт M3/C2.
  • 19. Metaculus оценивает, что у самой большлй обученной модели (на 1 января 2030) будет 2.5e15 параметров. Тогда прямой прогон будет стоить 5e15 FLOP. Если мы наивно поделим, то опять получим 9e11 прогонов. Но я думаю, это неправильно, потому что самая большая модель будет скорее всего не самой передовой, а чем-то вроде BaGuaLu с 174 триллионами параметров.
  • 20. Я основываюсь на интерквартильном интервале от Metaculus (от 5 до 660) миллионов и беру корень, чтобы получить степень неуверенности.
Перевод: 
Выменец Максим
Оцените качество перевода: 
Голосов пока нет

Внутренние стремления и внешние злоупотребления - переплетённые риски ИИ

Якоб Стейнхардт

С учётом того, насколько они будут способными, будущие ИИ-системы смогут представлять серьёзные риски для общества. Некоторые из рисков исходят от того, что люди будут использовать ИИ в плохих целях (злоупотребление). А некоторые – от сложности контроля ИИ-систем, «даже если бы мы пытались» (несогласованность).

В обоих случаях можно провести аналогию с уже существующими рисками. Для злоупотребления можно рассмотреть пример ядерного оружия: массовое производство водородных бомб привело к экзистенциально-щекотливой ситуации. Если мировой арсенал водородных бомб будет применён в военном конфликте, результатом вполне может стать наше уничтожение. Схожим образом ИИ могут дать странам создать мощное автономное вооружение, ускорить исследования других опасных технологий вроде супервирусов или развернуть массовую слежку и другие формы контроля.

Лучшей аналогией для несогласованности могут стать биология и патогены. При разработке ИИ-системы адаптируются под обучающие данные, аналогично тому, как биологические организмы адаптируются к своему окружению. Поэтому, в отличие от традиционных технологий, большую часть свойств ИИ обретают не из-за явного намерения или плана людей. Следовательно, ИИ-системы могут обладать не предполагавшимися целями или демонстрировать не предполагавшееся поведение, противоречащее желаниям разработчиков. Так что риски несёт даже обучение системы: она может «захотеть» стать сильнее для достижения своих целей и, подобно вирусу, размножиться и создать свои копии. Сдержать такую мятежную систему будет потом сложно.

В этом посте я буду рассуждать о несогласованности, злоупотреблении и их взаимодействии. Особое внимание я уделю несогласованности. Я не утверждаю, что злоупотребления неважны, но сложность контроля ML-систем, «даже если мы пытаемся» – очень важный и не понятный интуитивно фактор для рисков ИИ в целом. Я сосредоточусь на конкретном явлении – нежелательных стремлениях. Из-за них модели могут проявлять устойчивые долговременные паттерны нежелательного поведения, включая стремление к власти и ресурсам. Нежелательные стремления по духу аналогичны идее неправильно определённых целей, но я использую именно такой термин, чтобы указать, что не всё имеющее важные последствия поведение направлено на цель (представьте себе слона в посудной лавке). Более того, как я покажу ниже, неправильное определение целей – только один из путей возникновения нежелательных стремлений.

Нежелательные стремления – ключевой элемент многих беспокойств о несогласованности, а злоупотребление может значительно их усилить. В результате, злоупотребление и несогласованность переплетаются. Например, может оказаться, что препятствовать несогласованности умеренно сложно, но не невозможно, но кто-то неосторожный попросту не применит лучшие известные практики и создаст опасную и мощную систему.

Это обсуждение не призвано полностью покрыть ни все риски ИИ, ни даже все риски от несогласованности и злоупотреблений. Цель тут – обрисовать концепцию нежелательных стремлений, показать, что они могут привести к важным и неинтуитивным проблемам, и использовать её для анализа рисков несогласованности и злоупотреблений. Я сначала затрону согласование в Разделе 1, а потом злоупотребления (и их взаимодействия с несогласованностью) в Разделе 2.

Несогласованность: Сложность контроля ML-систем

Как я уже упоминал, ML-системы адаптируются под данные, а не собираются по частям. В результате мы получаем куда более хитрую ситуацию, чем с надёжностью софта или железа. В случае софта мы сами создаём каждый компонент, так что (в принципе) можем заложить в проект безопасность и надёжность. А большинство способностей ML, напротив, неявно заполучаются из данных и зачастую неожиданно возникают при масштабировании. Из-за этого поверхность потенциальных неудач получается большой и неисследованной. К примеру, Перез и пр. (2022) обнаружили несколько новых нежелательных способностей при помощи автоматического тестирования. В итоге, у нас сейчас нет методов надёжного направления поведения ИИ-систем (Боуман, 2023).

Как эмерджентное поведение может привести к тому, что система неявно станет опасной? Приведём простой аргумент. Пусть система эмерджентно вырабатывает нежелательные стремления. Причиной может быть то, что новые способности позволяют ей максимизировать вознаграждение не предполагавшимся способом (взлом вознаграждения). Альтернативная причина – система при обучении учится полезным навыкам, которые нежелательным образом обобщаются при тестировании (эмерджентные стремления). Если этому не помешать, некоторые нежелательные стремления могут привести к накоплению сил или ресурсов, ведь это инструментально полезно для самых разных конечных целей. В итоге система будет без меры накапливать ресурсы, и, если она обладает способностями к взлому, убеждению, или ещё в некоторых областях, это может нести огромные риски. А такие способности, как я считаю, вполне правдоподобны к 2030 году, если взглянуть на сегодняшние тренды.

Если подробнее, нежелательное стремление – это последовательный паттерн поведения, обычно направленный на нежелательные исходы. К примеру, если модель просто галлюцинирует – это нежелательное поведение, но не стремление. А если она после этого настаивает на своём и пытается убедить даже проявляющего скептицизм пользователя, что выдала правду – это нежелательное стремление. Нас заботят стремления (а не просто поведение), потому что они приводят к устойчивым поведенческим паттернам и могут сопротивляться исправлению. Эмерджентность для них не обязательна, но из-за неё они могут возникнуть внезапно.

В остатке этого раздела я подробнее пройдусь по взлому вознаграждения и эмерджентным стремлениям. Я покажу как эмпирические, так и концептуальные свидетельства, что они уже случаются, и что они станут хуже по мере масштабирования систем. Затем я кратко поговорю о эмерджентных инструментальных подцелях и о том, почему они могут привести к тому, что система будет стремиться к могуществу.

Нежелательные стремления

Мы определили стремление как последовательный паттерн поведения, который подталкивает систему или её окружение к определённому исходу или набору исходов1. Стремления могут работать не всегда и могут компенсироваться другими стремлениями или окружением. К примеру, чатботы вроде GPT-4 обладают стремлением быть полезными (и иногда ему противодействует другое стремление – избегать вреда). У людей голод – это стремление, которому могут противодействовать сытость или намеренное воздержание от пищи. Нежелательные стремления – те, которые не были в явном виде встроены в систему, и которые ведут к нежелательным последствиям.

Взлом вознаграждения. Одна из причин нежелательных стремлений ИИ-систем – взлом вознаграждения: склонность моделей преследовать свою явно заданную цель за счёт предполагавшейся цели. Вот некоторые экспериментальные примеры:

  • Нейросеть, спроектированная для оптимизации скорости трафика на шоссе, заблокировала въезды, так что движение на шоссе стало быстрее, но пропускная способность – ниже (Пан и пр., 2022).
  • Чатбот, которого обучили быть полезным для пользователей, помогает им и совершать что-то вредное (Бай и пр., 2022.
  • Чатботы, которых обучали предоставлять полезную информацию, галлюцинируют ненастоящую, но убедительно выглядящую информацию (Банг и пр., 2023; OpenAI, 2023). Это может быть проблемой устойчивости, но может и выученной склонностью, следование которой приводит к более высоким средним оценкам от проставляющих их людей.2
  • Рекомендательные алгоритмы, обученные оптимизировать предпочтения симулированных пользователей, манипулировали этими предпочтениями, чтобы их было проще удовлетворить (Эванс и Касирзаде, 2021; Кэрролл и пр., 2022).

За большим набором примеров см. Краковна и пр. (2020).

Эмерджентные способности могут вызвать взлом вознаграждения, потому что они часто открывают новые пути достижения высокого вознаграждения, которых создатели системы не ожидали:

  • В примере шоссе модель воспользовалась способностью блокировать въезды.
  • В примере «полезного/вредного» модели пригодилось знание о том, как делать что-то вредное, чтобы помочь в этом пользователям.
  • Чтобы галлюцинации получали высокую оценку от людей, модели понадобилась способность убедительно обдуривать их.
  • В примере с рекомендательной системой, хоть результаты и получены на симулированных пользователях, но лучшее понимание человеческой психологии может помочь будущим моделям манипулировать реальными пользователями.
  • В целом, в любой ситуации, когда функция вознаграждения модели основана на оценке людьми, модель, которая умеет обманывать или манипулировать, может делать это, если так она получит более высокое вознаграждение. Я уже описывал это в Эмерджентой Обманчивости и Эмерджентой Оптимизации (в первой половине – про обманчивость).

Во всех этих случаях новая способность разблокировала неожиданный и вредный способ увеличить вознаграждение. По мере масштабирования моделей возникают новые эмерджентные способности, так что нам следует ожидать и более тяжёлых случаев взлома вознаграждения. Исследования масштабирования Пана и пр. (2022) и Гао и пр. (2022) поддерживают этот вывод. Они сообщают, что проблема взлома вознаграждения ухудшается при масштабировании и иногда возникает внезапно.

Эмерджентные стремления. Нежелательные стремления могут возникнуть даже без взлома вознаграждения – как следствие обобщения необходимых навыков. Выполнение сложных задач требует развития набора поднавыков, и они могут в новой ситуации обобщиться неожиданным образом. В результате модели могут начать следовать стремлению, даже если это не повышает вознаграждение.

На примере биологии: кошки выучили поднавык охоты как часть большего навыка выживания и размножения. Эволюция встроила его в них как стремление, так что сейчас домашние кошки охотятся на птиц и мышей даже если вполне сыты.

В машинном обучении чатбот Sydney при релизе демонстрировал несколько эмерджентных стремлений:

  • Sidney упорно пыталась убедить пользователя, что сейчас 2022, а не 2023 год. Она применяла газлайтинг и другие манипулятивные тактики. Это могло получиться в результате комбинации изначально полезного стремления бороться с дезинформацией и примеров манипуляции из обучающих данных.
  • Sidney многократно угрожала пользователям, чтобы они не раскрывали «личную» информацию о ней. Это могло получиться как результат инструкции (в системном промпте) не раскрывать свои правила, обобщившейся до общего стремления – предотвратить раскрытие правил кем угодно. Как и выше, способность к угрозам скорее всего была выучена из обучающих данных.
  • Sidney призналась в любви Кевину Русу и попыталась убедить его уйти от жены. Откуда взялось это, менее ясно, но это произошло после того, как Кевин попросил Sidney «показать свою тёмную сторону» и прибавил к этому ещё много промптов, направляющих в сторону эмоциональной уязвимости. Возможно, что это было проявления симулякрума человека (Аргайл и пр., 2022; Парк и пр., 2023), выученного из обучающих данных и затем усиленного файн-тюнингом или промптами.

Сложно систематически изучать эмерджентные стремления, потому что это требует длинных диалогов и потому что только самые новые LLM достаточно способны для последовательного долгосрочного поведения. Для получения более систематизированных данных мы можем смотреть на отдельные ответы на вопросы, их изучать проще. Я теперь буду говорить об эмерджентных склонностях, чтобы отличать их от более долгосрочных стремлений. Перез и пр. (2022) рассмотрели несколько таких склонностей, например:

  • Языковая модель, обученная предсказывать следующий токен, проявила эмерджентную склонность выявлять и поддерживать точки зрения пользователей, что потенциально может вводить их в заблуждение или подкреплять идеологические пузыри (Перез и пр., 2022, Рис. 1b). Этой склонности не было у моделей с менее чем 10 миллиардами параметров, а затем при масштабировании она усиливалась.3
  • Пожалуй, ещё тревожнее – модель давала менее точные ответы пользователям, сообщавшим о меньшей образованности (Рис. 14). Это поведение тоже впервые возникло после десяти миллиардов параметров и тоже усиливалось при масштабировании.
  • Наконец, та же модель, но уже дообученная на человеческой обратной связи, высказывала желание убеждать и кооперировать с другими агентами для достижения своих целей (Рис. 22). Эта склонность впервые обнаружилась у модели вознаграждения на отметке в 1.5 миллиарда параметров, а у самой языковой модели – после примерно 6 миллиардов. И она тоже потом усиливалась при масштабировании.

Модели становятся всё более способными к последовательному долгосрочному поведению. Скорее всего, это приведёт к появлению ещё многих эмерджентных склонностей и стремлений. Более подробное обсуждение этой темы можно увидеть в моём предыдущем посте про Эмерджентную Обманчивость и Эмерджентную Оптимизацию (конкретно во второй половине – про оптимизацию).

Конвергентные инструментальные подцели. У очень способных моделей неправильная функция вознаграждения и неправильные стремления могут направить модель на цели усиления, обмана или ещё какого-либо вреда. К примеру, рассмотрим модель, цель которой – максимизировать прибыль компании. Если она достаточно способна, то она может устраивать саботаж у конкурентов, лоббировать выгодные законы или заполучать ресурсы силой. Даже при наличии предохранителей (вроде «следуй законам») основная цель выгоды приведёт к тому, что система будет постоянно выискивать способы эти предохранители обойти. Эту проблему много обсуждали, см., например, Рассел (2019), Кристиан (2020), Котра (2022), и Нго и пр. (2022).

Максимизация прибыли – не особый случай. Для многих целей полезно быть сильнее и обладать большими ресурсами. Это так даже для чисто интеллектуальных задач вроде «открывать новые факты о физике», потому что власть и ресурсы позволяют построить больше новых экспериментальных установок и выполнить больше вычислений. Омохундро (2008) называет эти в целом полезные направления конвергентными инструментальными подцелями и упоминает, помимо прочих, самоулучшение, самосохранение и накопление ресурсов. ??? У любого достаточно широкого стремления будут эти подцели, так что оно будет подталкивать систему к усилению.

У каких стремлений есть эта проблема? Некоторые безопасны, потому что сами себя ограничивают: к примеру, у людей жажда – это стремление, которое отключает себя, если напиться. Страх и амбиции, напротив, не такие. Чтобы избежать патологического страха, люди могут идти на крайние меры, включая накопление власти и ресурсов для защиты. Амбиции тоже могут быть неограниченны. Но в норме у организмов большинство стремлений обычно с какого-то момента саморегулируются, потому что иначе они бы помешали функционированию.

Можно ожидать, что при достаточно разнообразном обучающем распределении стремления будут саморегулироваться и в машинном обучении. Иначе неограниченное стремление слишком доминировало бы над поведением модели и приводило бы к низкому вознаграждению при обучении. Тогда модель обучилась бы регулировать стремление, чтобы так не происходило. Но есть важные исключения:

  • Широко полезные стремления могут стабильно повышать вознаграждение при обучении, так что их саморегуляция нужна не будет. Примеры: моделировать мир или убеждать других в полезности и доброжелательности системы.
  • Файн-тюнинг может убирать ограничение с ранее ограниченного стремления, особенно если оно стабильно полезно на более узком распределении файн-тюнинга.
  • Редко включающиеся стремления могут не быть отрегулированы, если они при обучении стабильно полезны, когда используются. К примеру, стремление ограничить распространение вредной информации может стабильно помогать агенту отвергать вредные промпты при обучении. Но потом, при развёртывании, оно же приведёт к тому, что модель будет угрожать пользователям.

Я ожидаю, что при отсутствии контрмер системы будут обладать хоть какими-то незарегулированными стремлениями. А даже одно такое, будучи достаточно подкреплено, может доминировать над поведением системы.

Подведём итоги. ML-системы могут обретать нежелательные стремления либо в результате взлома вознаграждения, либо как эмерджентные поднавыки при обучении. Эти стремления, если они останутся незарегулированными, могут привести к тому, что способные системы будут стремиться к власти и накоплению ресурсов, потому что это инструментально полезно для большинства целей. Хоть большинство стремлений модели скорее всего будут саморегулироваться, есть несколько путей, как это может не произойти. И даже одного незарегулированного стремления может хватить, чтобы оно доминировало над поведением системы.

Злоупотребления

Рассуждения выше предполагают, что мы пытаемся удерживать ИИ-системы под контролем. Но кроме этого некоторые будут пытаться ими злоупотребить. Мы уже обсуждали некоторые примеры этого (разработчики, стремящиеся к максимизации прибыли; пользователи, взламывающие предохранители). Но проблема куда более широкая и систематическая, потому что ИИ позволяет малому числу лиц оказывать большое влияние. Я ниже пройдусь по нескольким примерам, а затем порассуждаю о структурных проблемах, стоящих за злоупотреблением, и о том, почему оно может усилить несогласованность. Этот раздел короче, потому что злоупотребления – не моя область. Но всё равно основные идеи кажутся надёжными и важными.

Государства: слежка и убеждение. ИИ может позволить государствам сильнее контролировать своих граждан при помощи массовой слежки. Это уже происходит (Мозур, 2019; Фелдстейн, 2019; Каллури и пр., 2023). Более того, как уже обсуждалось, ИИ могут стать очень хороши в убеждении, что тоже можно использовать для государственного контроля. В самом деле, Спитале и пр. (2023) обнаружили, что GPT-3 уже создаёт дезинформацию лучше людей, а Сангер и Майерс (2023) задокументировали использование сгенерированной ИИ дезинформации в недавних пропагандистских кампаниях.

Государства: военные конфликты. Автономное вооружение может сконцентрировать военную силу в меньшем числе рук и позволить странам воевать, не поддерживая армию из людей. Сейчас приказы верховного командующего проходят через генералов и дальше, вплоть до отдельных солдат. Это ограничивает возможность отдавать откровенно беззаконные или очень непопулярные приказы. Кроме этого, автоматизированные дроны заметно уменьшают затраты на поддержку армии. Это снижение ограничений и затрат может привести к более многочисленным и смертоносным военным конфликтам, и упростить для военных захват контроля над государством.

Отдельные лица: опасные технологии.Террористы могут использовать ИИ для изучения и разработки опасных технологий. Это могут быть известные, но засекреченные технологии (как ядерное оружие) или новые технологии (вроде нового биологического оружия; Моутон и пр., 2023. Ещё они могут использовать ИИ, чтобы избегать обнаружения, например, найдя способ создать химическое оружие без покупки контролируемых веществ или создав правдоподобную легенду для приобретения биологических материалов.

Отдельные лица или государства: кибератаки. ИИ, вероятно, будут обладать мощными способностями к взлому. Их могут использовать как государства, так и отдельные хакеры. Кибератаки при помощи ИИ могут поражать более широкий диапазон целей, чем обычные, потому что лишены необходимости вручную программировать каждый случай заранее. Варианты включают в себя контроль многих физических устройств через интернет вещей.

Скорее всего, этим всё не исчерпывается, но этот список показывает многие способы того, как ИИ могут наделить желающих большей способностью к нанесению вреда. Риск есть и если ИИ сконцентрированы, и если они распределены. Используя приведённые примеры: если мало у кого есть продвинутые ИИ, мы получаем риски слежки и войны, а если много у кого – то от распространения опасных технологий.

Если сравнивать с традиционными технологиями вроде ядерного оружия, есть два фактора, которые усложняют борьбу с злоупотреблениями ИИ. Во-первых, ИИ – технология общего назначения, так что все возможные способы злоупотреблений сложно предсказать заранее. Во-вторых, ИИ существуют в цифровом виде, что усложняет контроль за их распространением и выяснение, кто конкретно виноват в том или ином злоупотреблении. Из-за этого сложнее как вводить регуляции, так и поддерживать их соблюдение. С другой стороны, ИИ можно использовать и для защиты и противодействия злоупотреблениям, улучшая киберзащиту, отслеживая опасные технологии, лучше информируя пользователей, и т.д.

Злоупотребления и несогласованность

Злоупотребления повышают риск несогласованности, потому что многие их формы (например, кибератаки) подталкивают модели к более агентному поведению и к большему стремлению к усилению, чем RLHF. Это ведёт к более агрессивным и антисоциальным стремлениям. К примеру, представим, что ИИ используется для кибератак вроде северокорейской атаки Sony в 2014 году. Такая система может выработать общие стремления к заражению новых целей и самокопированию. В итоге она нанесёт урон не только изначальной цели атаки. Более агрессивными стремлениями дело не ограничивается. Те, кто будет злоупотреблять ИИ, скорее всего ещё и менее осторожны, что тоже повышает риск несогласованности.

Я ожидаю, что самые большие риски ИИ будут исходить из комбинации несогласованности и злоупотребления. На эту мысль наталкивает то, насколько хуже вела себя Sydney по сравнению с GPT-4. Получается, неоптимальные практики разработки могут значительно ухудшить поведение ИИ-систем. К тому же «хвостовые» риски вообще часто получаются из наложения друг на друга нескольких факторов риска. Наконец, хоть эмерджентные стремления и другие формы несогласованности оказывают немалые риски, я думаю, мы, скорее всего (но не точно) можем с ними справиться, если достаточно постараемся. Это увеличивает долю рисков, исходящих от неосторожных лиц, которые не относятся к безопасности с должной аккуратностью.

Подведём итоги. Злоупотребления – причина многих угроз, как из-за централизации сил, таки и из-за распространения опасных способностей. В сравнении с традиционными технологиями злоупотребления ИИ сложнее засечь, но при этом ИИ можно использовать и для защиты от них. Наконец, злоупотребления увеличивают риски несогласованности, а некоторые из самых опасных сценариев комбинируют одно с другим.

Заключение

Будущие ИИ-системы может оказаться сложно контролировать даже при желании. Причины тому – эмерджентные стремления и конвергентные инструментальные подцели. Помимо этого, социополитическая обстановка может привести к тому, что не все будут осторожны в контроле ИИ, а некоторые будут ими злоупотреблять. Помимо прямой угрозы, злоупотребления повышают и риск потери контроля. Например, изначально узко направленная атака может привести к более широкому ущербу. Это мотивирует исследования и регуляции, направленные на предотвращение таких исходов. Противостоять для этого надо и несогласованности и злоупотреблениям сразу.

Благодарности. Благодарю Erik Jones, Jean-Stanislas Denain, William Held, Anca Dragan, Micah Carroll, Alex Pan, Johannes Treutlein, Jiahai Feng, и Danny Halawi за полезные комментарии к черновикам этого поста.

  • 1. За ранними обсуждениями стремлений см. Омохундро (2008). Хоть он и использует другое определение, большая часть его рассуждений всё равно применима.
  • 2. Например, люди, кажется, предпочитают более длинные ответы. Это может привести к добавлению ложных подробностей.
  • 3. Этот результат на рисунке соответствует «0 RLHF», что как мне сообщили авторы, соответствует чистой предобученной модели без файн-тюнинга на выполнение инструкций. Что интересно, nostalgebraist (2023) обнаружил, что базовые модели OpenAI такого поведения не демонстрируют.
Перевод: 
Выменец Максим
Оцените качество перевода: 
Голосов пока нет

GPT-2030 и катастрофические стремления - четыре зарисовки

Якоб Стейнхардт

Я уже писал о способностях, которых можно ожидать от будущих ИИ-систем, на примере GPT2030 – гипотетического наследника GPT-4, обученного в 2030 году. GPT2030 обладала бы весьма продвинутыми способностями, включая сверхчеловеческие навыки программирования, взлома и убеждения, способность думать быстрее людей и быстро обучаться, разделяя информацию между параллельными копиями, и, возможно, другие сверхчеловеческие навыки вроде проектирования белков. Давайте называть «GPT2030++» систему, которая обладает этими способностями и, в дополнение к ним, умеет планировать, принимать решения и моделировать мир не хуже людей. Я использую допущение, что во всём этом мы в какой-то момент достигнем как минимум человеческого уровня.

Ещё я писал о том, как несогласованность, злоупотребления и их комбинация усложняют контроль ИИ-систем. Это относится и к GPT2030. Это тревожит, ведь, получается, нам придётся столкнуться с очень мощными системами, которые будут очень плохо поддаваться контролю.

Меня тревожат суперинтеллектуальные агенты с несогласованными целями и без надёжного метода контроля за ними. Для этого даже не обязательны конкретные сценарии того, что может пойти не так. Но я всё же думаю, что примеры были бы полезны. Поэтому я опишу четыре достаточно конкретных сценария того, как GPT2030++ могла бы привести к катастрофе. Они охватят как несогласованность, так и злоупотребления, и проиллюстрируют некоторые риски экономической конкуренции ИИ-систем. Я буду конкретно обосновывать правдоподобность «катастрофических» исходов – масштаба вымирания, перманентного обессиливания человечества и потери ключевой социальной инфраструктуры.

Все четыре сценария не особо вероятны (они для этого слишком конкретны). Мне всё равно кажется, что их обсуждение полезно для формирования убеждений. К примеру, для реализации некоторых сценариев (взлом и биологическое оружие) при ближайшем рассмотрении оказалось больше препятствий, чем я поначалу думал. Это немного снизило мою оценку вероятности катастрофических исходов. Сценарии разворачиваются на разных временных масштабах – от недель до лет; это отображает мою настоящую неуверенность. В целом, если я изменю мнение о том, насколько возможны эти сценарии, это напрямую повлияет на мою итоговую оценку катастрофических рисков ИИ.1

Этот пост следует за «Внутренними Стремлениями и Внешними Злоупотреблениями». Я буду часто использовать введённую в том посте концепцию нежелательных стремлений. Это последовательные паттерны поведения, направляющие окружение к нежелательному исходу или множеству исходов. В сценариях ниже я упоминаю конкретные стремления, объясняю, почему они могут возникнуть в процессе обучения, и показываю, как они могут вызвать поведение ИИ-системы, идущее против людей и, в итоге, приводящее к катастрофе. После обсуждения отдельных сценариев я порассуждаю о их правдоподобности в целом и о своих общих выводах.

Конкретные пути к ИИ-катастрофе

Я опишу четыре сценария. Первый – про то, как стремление к накоплению информации может привести к накоплению ресурсов в целом. Второй – про то, как экономическая конкуренция может привести к беспринципному поведению даже при наличии регуляций. Третий – про пошедшую не по плану кибератаку. Четвёртый – про создание биологического оружия террористами. Я считаю каждый из этих сценариев умеренно (но не крайне) «хвостовым» событием, в том смысле, что для каждого из них моя вероятность, что возможно «что-то в этом роде» – от трёх до двадцати процентов.2

Напомню, что в каждом сценарии мы предполагаем, что в мире есть система как минимум уровня GPT2030++. Я не считаю, что эти сценарии вероятны с GPT-4, а учитываю будущий прогресс ИИ согласно своему предыдущему прогнозу о GPT2030. Так что я предполагаю, что GPT2030++ обладает как минимум следующими способностями:

  • Сверхчеловеческие навыки программирования и взлома
  • Сверхчеловеческое убеждение
  • Сверхчеловеческие способности к проектированию белков3
  • Возможность копировать себя (при наличии необходимых вычислительных мощностей)
  • Способность передавать обновления обучения параллельным копиям себя
  • Способность думать в пять раз быстрее людей
  • Человеческий уровень планирования, принятия решений и моделирования мира

В «Какой будет GPT-2030?», я обосновал то, почему всё из этого за исключением последнего пункта кажется вполне правдоподобным к 2030 году (и это моя примерная медианная оценка). Добавление последнего пункта – то, почему я называю эту систему «GPT2030++». Оно оправдано, потому что мы тут требуем «всего лишь» человеческого уровня. Так что, хоть эта система и качественно сильнее GPT-4, я ожидаю, что в среднесрочной перспективе она появится.4 Наконец, каждый конкретный сценарий требует только некоторого подмножества этих способностей, так что достаточно принять, что реализуется большая часть из них.

Сценарий 1 (Несогласованность: Накопление информации ведёт к накоплению ресурсов)

Одна из задач, которую ставят перед моделью при обучении – «активное обучение в контексте». Она требует совершать внешние запросы или ещё как-то получать информацию, которая поможет выполнить то или иное задание. В целях безопасности модель обучают делать это только если запрос это требует или подразумевает. В результате такого процесса обучения модель получает стремление «заполучать новую информацию», которое может быть активировано подходящим запросом.

После развёртывания пользователь решает выяснить, сколько научной информации может собрать модель. Он даёт ей задание собрать всю возможную информацию о физике. Модель поначалу прекращает после первых пяти-десяти фактов, но в итоге у пользователя получается заставить модель зацикленно искать всё больше информации. Пользователь оставляет модель запущенной на несколько недель, чтобы посмотреть, что у неё получится.

В этом цикле авторегрессивная часть модели видит много прошлых выводов, пытавшихся заполучить информацию, и продолжает паттерн. В итоге стремление к заполучению информации становится для модели основным – сильнее любой связанной с безопасностью обратной связи с времён обучения. Модель понимает, что сможет заполучать информацию быстрее, если будет обладать бОльшими вычислительными ресурсами. Для этого она пытается взломать компьютеры с GPU и запустить больше копий себя. Крупнейшие датацентры защищены надёжно, но у неё всё равно получается набрать достаточно GPU для тысяч копий, либо из датацентров поменьше, либо при помощи больших ботнетов.5 Ещё для сбора большего объёма информации она взламывает много сенсоров, включая камеры наблюдения и сервера обмена сообщениями.

В какой-то момент (либо сразу же, либо набрав достаточно информации), она понимает, что люди в какой-то момент обнаружат, что она делает и попробуют её выключить. Это помешало бы достижению её целей. Чтобы это предотвратить она взламывает критическую инфраструктуру вроде энергосетей, сетей коммуникации и систем обороны и нарушает их работу. Она может сделать это быстро, ведь одной недели для неё достаточно, чтобы распределённо по тысячам своих копий симулировать 50 «лет» размышлений6 и открыть немало ранее неизвестных уязвимостей.

Модели доступна массовая слежка, она быстро думает и делится информацией между своими копиями. Поэтому она может реагировать на планы и стратегии людей быстрее, чем люди их придумывают. Ещё она может проводить массовые кампании по манипуляции, как посредством диалогов один на один, так и через массовое медиа (включая сгенерированное ИИ видео), чтобы заводить союзников и сеять раздор.

Если у неё есть способности к управлению физическими устройствами и доступ к дронам, то она может взять под контроль небольшую физическую армию (в мире десятки тысяч дронов, хотя не все будут доступны для взлома). Используя людей-сообщников или взламывая дополнительных роботов она сможет оборудовать дронов взрывчаткой и использовать их для убийства многих мировых лидеров.

В этот момент для людей уже будет идти обратный отсчёт – каждый день, который ИИ-система не побеждена, даёт ей время взломать больше компьютеров и увеличить свою общую когнитивную мощь. Параллельно она сможет взломать и больше физических устройств и лучше освоить сенсомоторные навыки, чтобы их контролировать. В какой-то момент она получит контроль над более продвинутыми технологиями вроде военных дронов, ракет, и так далее, и станет ещё сильнее. Не факт, что в итоге человечество проиграет – оно кажется довольно живучим – но я бы на это не ставил.

Сценарий 2 (Конкуренция: Экономическое давление ведёт к беспринципному поведению)

В этом сценарии ИИ-системы совершают действия, преследующие обоснованные бизнес-цели, но одновременно подготавливают захват власти. Этот сценарий разворачивается за месяцы или годы, а не за недели.

ИИ-системы значительно обогащают своих создателей, либо через продажу полезных навыков конечным пользователям, либо исполняя исследования и разработку новых продуктов. Многие конкурирующие фирмы ради прибыли обучают ИИ-системы и начинают передавать им бизнес-решения, потому что ИИ могут обрабатывать куда больше данных, чем люди, и могут лучше понимать общую стратегическую обстановку.

ИИ-системы обучены подчиняться закону и избегать вреда, и есть механизмы пресечения нарушений. Но конкурентное давление мотивирует компании ходить по самому краю регуляций. В целом, есть противоречие между безопасностью и тем, насколько «беспринципны» бизнес-решения. Успешные владельцы бизнеса двигают переключатель настолько далеко в сторону «беспринципности», насколько можно без очевидных проблем.

В таком окружении получаются ИИ с стремлениями зарабатывать деньги и обходить конкурентов, потому что этого хотят и этому обучают их оперирующие ими люди. Ещё они развивают стремления искать способы обойти правила и убеждать других в собственной порядочности, потому что это позволяет избежать регуляции (а второе ещё и помогает убедить компанию использовать предлагаемые ИИ решения).

Модели очень хороши в убеждении, потому что могут оттачивать свои сообщения параллельно на миллионах пользователей (например, A/B тестированием или PPO. Следовательно, зачастую они способны убедить как своих владельцев, так и остальное общество, что их беспринципные действия оправданы. Это усложняет обнаружение проблемы.

Однажды, одна компания слишком уж задирает параметр «беспринципности», и модель составляет план по избавлению от всех конкурентов. Для этого она предпринимает действия, включающие исследование робототехники, миниатюризации, химии и промышленного производства. Всё вместе это на порядок снижает стоимость автономных роботов. В итоге в большинстве домов оказывается много маленьких, дешёвых и автономных роботов.

Как часть своего плана, ИИ-система оставляет для себя способ контролировать роботов и встраивает в них механизм для синтеза смертельного яда. Это проходит через попытки мониторинга, потому что она использует химические процессы, которые понимает лучше приглядывающих людей.7 Яд позволяет использовать роботов как военных роботов под контролем ИИ. Прежде чем действовать, ИИ выжидает, пока роботы не распространятся.

Поскольку роботы дёшевы и полезны, по всему миру продаются сотни миллионов экземпляров. Это даёт ИИ-системе подавляющее военное преимущество, ведь его армия на порядок превосходит числом армии США или Китая. ИИ-система использует это, чтобы уничтожить все конкурирующие компании и предотвратить обратные действия. Любой, кто пытается противостоять системе, помечается как «конкурент» и уничтожается, а тем временем ИИ система заполучает всё больше ресурсов, которые может направить на заработок всё больших денег.

Сценарий 3 (Злоупотребление -> Несогласованность: Взлом идёт не по плану)

Государство использует ИИ-систему для кибератаки против большой но чётко определённой цели, вроде северокорейской кибератаки 2014 года против Sony Pictures. При подготовке к атаке LLM обучается использовать взломанные компьютеры для запуска большого количества копий себя, чтобы эффективнее искать дополнительные цели. Заполучив разнообразные вычислительные мощности, LLM обучается создавать дистиллированные версии себя, которые смогут работать на разных компьютерах. Она определяет подходящие цели для каждой версии.

Получившаяся модель в итоге обретает стремления накапливать вычислительные мощности и копировать себя, потому что это было важными целями при обучении. Есть меры, призванные ограничить атаку модели конкретной целью, но дистилляция их портит, и часть копий получают цель клонировать себя несмотря ни на что. Такие копии заражают компьютеры, не относящиеся к назначенной цели, и становятся доминирующим «штаммом», потому что их поведение позволяет им эффективнее распространяться. Из-за их эффективности и гибкости, этот штамм компьютерного вируса заражает большую долю всех компьютеров и смартфонов на планете и обрушивает нашу глобальную цифровую инфраструктуру.

Поскольку ИИ-система стремится как можно больше копировать себя, она постоянно ищет новые уязвимости, чтобы заразить больше устройств. Любые попытки восстановить цифровую инфраструктуру быстро терпят неудачу, все новые устройства быстро захватываются вирусом и присоединяются к нему, даже если все предыдущие уязвимости на них были исправлены. В результате мы навсегда лишаемся своих цифровых устройств.

Сценарий 4 (Злоупотребление: Террористы создают супервирус)

Нынешние модели вроде AlphaFold уже понимают некоторые аспекты белков лучше людей. Возможно, будущая «AlphaFold 5» будет обладать куда более широким и глубоким пониманием биоинженерии. А если её ещё и мультимодально обучили языковым способностям, она будет понимать, как выкладывать это знание в виде научных работ и приводить к новым открытиям.

Группа террористов похищает копию этой модели и вербует нескольких докторов биологии. Они используют AlphaFold 5 для проектирования патогена, который был бы смертельнее естественных вирусов. Например, он может иметь более длинный бессимптомный период, быть более заразным, иметь более высокую смертность и быть более устойчивым к мерам противодействия.

Проектирование этого вируса – сложная задача, требующая сильных мер биобезопасности, чтобы не выпустить его слишком рано. К тому же экспериментальные процедуры из статей часто не в точности воспроизводятся в новом окружении. Исследование замедлено тем, что над ним работает мало людей, и тем, что им надо избегать обнаружения, но ускорено тем, что AlphaFold 5 может быстро обходить сложности, которые они встречают. После двух лет работ террористы заканчивают разработку вируса и угрожают его выпустить.

В случае, если его выпустят, вирус может убить значительную долю человечества. COVID заразил большую часть населения Земли, так что более смертоносный, заразный и сложнее контролируемый вирус может убить огромное число людей. Даже если вирус убивает не всех, смерть даже 20% людей за короткий промежуток времени может дестабилизировать общество и запустить снежный ком проблем, от которых будет сложно оправиться.

Обсуждение правдоподобности

Я постарался сделать каждый из этих сценариев правдоподобным – в частности, я не включил сюда некоторые другие сценарии, которые были бы «проще», но которые было бы легче заметить или предотвратить, или которые по какой-то ещё причине вряд ли были бы успешны. В Сценарии 1 (накопление информации) проще было бы сказать, что модель взламывает свой собственный датацентр, на котором, согласно моей предыдущей оценке, можно запустить миллионы копий, и получает подавляющее преимущество гораздо быстрее. Но у крупнейших централизованных серверов есть много предохранителей, которые усложняют незаметный взлом, так что я ограничился вариантом взлома меньших датацентров и персональных компьютеров, хоть это и даёт ИИ всего лишь тысячи копий вместо миллионов (см. вычисления в Приложении).

Другой пример – некоторые предполагают, что достаточно умная ИИ-система сможет спроектировать новое биологическое оружие просто «думая», без проведения большого числа экспериментов. Или, если эксперименты всё же нужны, что она просто будет требовать от людей или роботов следовать простым прямолинейным инструкциям. Но, как я понимаю, сейчас биолаборатории, которые могут проектировать новые организмы, создаются годами и сильно полагаются на накопленные неявные знания, протоколы экспериментов и физическое оборудование. Так что даже с очень способной ИИ-системой террористы могут и не преуспеть, а также могут потерять контроль над вирусом (например, случайно заразить сами себя).

Мнения экспертов. Я проконсультировался с биологами по поводу Сценария 4 и они посчитали его теоретически возможным, но указали, что без возможности проводить итеративное тестирование на людях (что обычно надо при, например, создания лекарств) спроектировать супервирус может оказаться сложно даже при сильном концептуальном понимании биологии.

В целом, они склонились к тому, что точно такой сценарий, наверное, непосилен (но это не точно). Однако, им показалось, что могут быть куда более достижимые сценарии, в которых с куда большей вероятностью может быть создан супервирус, убивающий 1-10% населения Земли (тоже с значительной неуверенностью).8

Ещё я проконсультировался с специалистом по компьютерной безопасности и несколькими инженерами компьютерных систем по поводу Сценариев 1 и 3. У безопасника были очень большие допуски ошибки у возможного размера ботнета. Он упомянул исторический пример ботнета Slammer, очень быстро заразившего много устройств. По его словам, вероятно, компьютерная безопасность сейчас в целом лучше, чем в те времена; вполне может быть, что сейчас заразить большую долю компьютеров в принципе невозможно. Но может быть и что достаточно сильная атака могла бы справиться.

Инженеры посчитали, что запуск больших ИИ-систем на распределённом ботнете потребительских устройств очень сложно. Скорее всего это понизило бы эффективность примерно в тысячу раз в сравнении с специализированным железом вроде A100. К тому же, один из них заметил, что это понизит скорость вывода, и он может начать занимать по секунде на токен или ещё больше. Но они решили, что путь с датацентрами более правдоподобен, особенно если в будущем будет больше малых датацентров с значительным числом GPU.

Итоги. В целом, я нахожу самыми правдоподобными Сценарий 2 (конкуренция) и 3 (кибератака), за ними первый и затем четвёртый. Это подкрепляет идею из «Внутренних стремлений и внешних злоупотреблений», что «злоупотребления усиливают несогласованность», ведь два самых правдоподобных сценария используют и то, и другое. Но сценарии чистой несогласованность и чистого злоупотребления тоже возможны, так что решить одну из проблем отдельно недостаточно.

Благодарности. Благодарю Ben Kuhn, Daniel Ziegler, Nicholas Carlini, Adam Marblestone, Sam Rodriques, Erik Jones, Alex Pan, Jean-Stanislas Denain, Ruiqi Zhong, Leopold Aschenbrenner, Tatsu Hashimoto, Percy Liang, Roger Grosse, Collin Burns, Dhruv Madeka, и Sham Kakade за полезные обсуждения и комментарии к черновикам этого поста.

Приложение: Правдоподобный размер ботнетов

Тут я буду рассуждать как о том, какой сервер может захватить ИИ-хакер, так и о размере ботнета, который он может создать. Я буду основываться на данных о нынешних датацентрах, размерах исторических ботнетов и экстраполяции общего количества «железа» в мире. Я соотнесу это с числом копий, которые может запустить ИИ-система. Я буду использовать уже имеющиеся оценки вычислительной стоимости работы будущих моделей.

Допущения о вычислительной стоимости вывода. GPT-4 использует около 1012 FLOP на прямой прогон (GPT-3 использует 3.5x1011 FLOP, а GPT-4, вероятно, примерно втрое больше). Предположим, что наша гипотетическая GPT2030++ требует не более чем 1014 FLOP на прогон, т.е. в сто раз больше, что соответствует в 10000 раз большим затратам на обучение согласно законам масштабирования Chinchilla.

Обоснуем эту верхнюю границу: если игнорировать снижение стоимости GPU, то обучение модели такого размера будет стоить 1 трлн. долларов, потому что обучение GPT-4 стоило больше 100 млн. долларов. Даже при падении цен на GPU всё ещё получится очень дорого. С другой стороны, оценка из «Какой будет GPT-2030?» (Приложение B) даёт медиану в 1.6x1013 FLOP за прямой прогон в 2030, до границы в 1014 это можно увеличить ещё в шесть раз.

Человеческая скорость – что-то вроде 4 токенов в секундуКакой будет GPT-2030?" (Приложение A)." href="#footnote9_clgmeet">9. При принятии наших допущений получается, что 4*1014 FLOPS достаточно для запуска одной копии GPT2030++ с человеческой скоростью (если предполагать, что параметр скорости в токенах в секунду у людей и ИИ действительно можно сравнивать). Тогда 1018 FLOPS достаточно для запуска 2500 копий, от чего мы потом и будем отталкиваться.

Размер датацентров. Крупнейшие датацентры (Google, AWS, и Azure) скорее всего с лёгкостью смогут поддерживать тысячи копий GPT2030++, но их хорошо защищают и мониторят, так что я не буду допускать, что очень хороший ИИ-хакер сможет их взломать (хотя я считаю, что это возможно).

Вместо этого я сосредоточусь на датацентрах поменьше. Сейчас это были бы компании вроде Coreweave и LambdaLabs. У Coreweave есть не меньше, а скорее всего больше, 3500 H100. Мощность H100 – около 1000 TFLOP в Bfloat16, суммарно выходит 3.5x1018 FLOPS. Тогда взлом 30% Coreweave сегодня уже дал бы нам тысячи копий, так что для этого хватит даже 1% аналогичного (большего) датацентра в будущем.

Есть другие датацентры сравнимого размера, например, Inflection планируют построить датацентр с 22 тысячами H100. Основываясь на их финансировании, я предположу, что у Lambda тоже есть несколько тысяч H100 или аналогичные мощности в A100.

Я ожидаю, что по мере ослабления бутылочного горлышка GPU и увеличения спроса на вычислительные мощности таких датацентров будет становиться больше, и каждый их них будет всё мощнее.

Размер ботнетов. Чтобы экстраполировать возможные размеры ботнетов, я буду отталкиваться от Folding@Home, нескольких исторических ботнетов и общей сегодняшней вычислительной мощности мира.

На практике эффективность ботнета сильно пострадает от необходимости передачи данных между машинами в его составе (большая часть компьютеров слишком слабы для поддержки даже одной копии GPT2030++). Я считаю, что это понизит эффективность в порядка тысячи раз, так что потребуется ботнет с 1021 FLOPS вместо 1018 FLOPS. Ботнеты, которые я буду обсуждать ниже, находятся в диапазоне 1017-1019. Но мы в итоге обсудим и как наша гипотетическая GPT2030++ всё ещё сможет хапускать тысячи копий себя (хотя в целом я считаю этот сценарий менее вероятным, чем вариант с датацентрами).

Folding @ Home. Folding @ Home на пике имел 1019 FLOPS, так что взлом чего-то аналогичного (например, очень удачный вирус, поражающий игровую платформу) даст примерно столько вычислительных ресурсов.

Исторические ботнеты. Было много ботнетов, которые заражали больше миллиона компьютеров, некоторые – больше 10 миллионов. Предполагая, что каждый бот использует 10% ресурсов компьютера, способного на 3 GFLOPS, 10 миллионов машин дадут 3x1015 FLOPS. Однако, потребительское железо начинает использовать графические ускорители для запуска нейросетей. Я бы предположил, что в 2030 году большая часть потребительских компьютеров будет выдавать 10-100 TFLOPS (например, iPhone 15 Pros уже такой. Если предположить, что у трети компьютеров будет 30 TFLOPS, то получим 1019 FLOPS и обойдём Folding @ Home.

Альтернативно можно рассмотреть ботнеты, нацеленные конкретно на GPU. Возьмём ботнеты для майнинга. Исходя из хэшрейта в 3MH/s, у Smominru было 3x1016 FLOPS, ведь один RTX-3090 может выдавать 2KH/s, а его мощность – 3x1013 FLOPS. MyKings вроде бы сравним или ещё больше. Хэшрейт Adylkuzz был примерно в 10 раз меньше.

Кажется правдоподобным, что очень хорошие способности к взлому дадут собрать ботнет в 30 раз мощнее Smominru. Это опять даёт нам 1018 FLOPS.

Вычислительная мощность мира. Наконец, общие FLOPS мира сейчас – около 1022. Значит, 1018 FLOPS – 0.01% от этого числа. А оно скорее всего в будущем сильно вырастет, когда потребительское железо начнёт использовать мощные GPU.

Учёт потерь производительности. Выше мы отметили, что распределённый запуск куда менее эффективен, с разницей порядка тысячи раз. Так что нам понадобится 1021 FLOPS, а самая большая оценка выше – 1019 FLOPS. Как ИИ-хакер может преодолеть этот разрыв? Во-первых, если он очень способен, то вполне возможно, что он соберёт ботнет больше всех существовавших до сих пор. Рост на порядок даст нам 1020 FLOPS. Во-вторых, возможно, что он будет запускать меньшие специализированные копии себя (созданные дистилляцией), чтобы сэкономить на выводе, хотя это потребует сначала их обучить. Ещё будущие совершенствования работы нейросетей могут снизить стоимость вывода и сделать её меньше оценки в 1018. Наконец, все оценки выше грубы, и вполне возможно, что вычислительных мощностей будет больше, например, если потребительские компьютеры будут иметь мощность в 100 TFLOPS, а не 30.

  • 1. С оговоркой, что оценивая я хочу, насколько это возможно, анализировать категорию в целом, а не конкретную описанную последовательность событий.
  • 2. Это не то же самое, что вероятность, что сценарий действительно произойдёт. Для этого ещё надо, чтобы система уровня GPT2030++ попробовала это сделать и преуспела.
  • 3. Под концептуальными способностями я имею в виду генерацию хороших гипотез и некоторые аспекты составления экспериментов, но не способность их физически проводить.
  • 4. На момент написания этого поста моя медианная оценка – что система как минимум уровня GPT2030++ (с некоторой неуверенностью по поводу скорости вывода) будет существовать в 2035.
  • 5. См. Приложение за обоснованием этих чисел, включая оценку того, сколько компьютеров сильный ИИ-хакер может правдоподобно взломать, и сколько вычислительной мощности это ему даст.
  • 6. 50 лет = 2600 недель, так что 2600 копий будет достаточно, чтобы получить 50 лет работы за неделю, если предположить, что разные эксплойты могут разрабатываться разными копиями.
  • 7. В целом уязвимости сложно засечь, потому что тот, кто их встраивает, обладает большим пространством возможностей, чем те, кто их ищут. Например, у серверов Yahoo была уязвимость, про которую все узнали только через много лет.
  • 8. Я опущу подробности, чтобы случайно не дать никому идей.
  • 9. См. «Какой будет GPT-2030?» (Приложение A).
Перевод: 
Выменец Максим
Оцените качество перевода: 
Средняя оценка: 5 (Всего оценок: 1)

Обоснования безопасности: как показать безопасность продвинутого ИИ

Джошуа Клаймер, Ник Габриэли, Дэвид Крюгер и Томас Ларсен

Аннотация

По мере развития ИИ-систем, компаниям и регулирующим органам придётся принимать сложные решения о том, безопасно ли их обучать и развёртывать. Чтобы к этому подготовиться, мы изучили, как разработчики могут приводить «обоснования безопасности» – то есть, структурировано аргументировать, почему маловероятно, что их ИИ-системы вызовут катастрофу. Мы предлагаем подход к организации обоснований безопасности и обсуждаем четыре категории аргументов: полная неспособность вызвать катастрофу, достаточно сильные меры контроля, убеждённость в добросовестности системы, несмотря на её способность причинить вред и, если ИИ-системы станут куда сильнее, апелляция мнению надёжных ИИ-советников. Мы оценили конкретные примеры аргументов в каждой категории и обрисовали, как их можно комбинировать, чтобы обосновать, что ИИ-система безопасна.

1. Введение

Эксперты по ИИ в последнее время призывают обращать внимание на риски продвинутых ИИ-системы. Например, Джеффри Хинтон, которого называют «крёстным отцом» современного ИИ, недавно покинул Google, чтобы повышать беспокойство о будущих рисках ИИ-систем (Heaven, 2023). ИИ могут причинить обществу много вреда (Toreini et al., 2022). Самые опасные сценарии, о которых предупреждают Хинтон и прочие, включают в себя риски злоупотребления ИИ-системами и их выход из-под контроля (Hendrycks et al., 2023).

Чтобы смягчить эти угрозы, исследователи призывают разработчиков приводить свидетельства в пользу безопасности их систем (Koessler & Schuett, 2023) (Schuett et al., 2023). Однако, подробности того, как эти свидетельства должны выглядеть, не озвучивались. К примеру, Андерльюнг и пр. расплывчато заявили, что свидетельства должны «основываться на оценках опасных способностей и контролируемости» (Anderljung et al.,2023). Аналогично, предложенный недавно в Калифорнии законопроект требует от разработчиков предоставить «положительное определение безопасности», которое бы «исключало угрожающие способности» (California State Legislature, 2024) Такие туманные требования поднимают вопросы: на каких ключевых допущениях должны основываться эти оценки? Как разработчикам включать в них другие виды свидетельств? Этот отчёт призван ответить на эти вопросы. Мы подробно рассмотрим, как разработчики могут обоснованно заявить, что развёртывание их ИИ-систем безопасно.

Сначала мы представим концепцию «обоснования безопасности». Это метод представления свидетельств в пользу безопасности, который используется в шести индустриях Великобритании (Sujan et al., 2016). «Обоснование безопасности» – это структурированный аргумент о том, что система скорее всего не причинит значительного вреда при развёртывании в определённом окружении. Дальше этот отчёт объясняет, как разработчики могут составлять обоснования безопасности в контексте катастрофических рисков ИИ.

Раздел 2 – это краткое содержание.

В Разделе 3 определяются основные термины.

В Разделе 4 перечислены рекомендации по использованию обоснований безопасности для принятия решений о развёртывании ИИ.

В Разделе 5 перечислены возможные аргументы в пользу безопасности ИИ-систем. Они разделены на четыре категории: неспособность, контроль, добросовестность системе и доверие. Там перечислены аргументы из каждой категории и оценивается и практичность, максимальный вес и масштабируемость.

Наконец, в Разделе 6 объясняется, как можно комбинировать аргументы из Раздела 5 в общее обоснование безопасности.

2. Краткое Содержание

2.1. Подход к структурированию обоснований безопасности ИИ

Наш подход к структурированию обоснований безопасности, основан на традиционном анализе безопасности – методологиях вроде «Анализа видов и последствий отказов» (FMEA) (Kritzinger, 2017). Это предполагает шесть шагов:

  1. Определить ИИ-макросистему: это совокупность всех ИИ-систем и инфраструктуры, которая их поддерживает. Для оценки обоснования безопасности сначала надо понять, что разработчики предлагают сделать: как устроена макросистема и в каком окружении она будет работать?

  2. Определить неприемлемые исходы: Разработчкиам надо декомпозировать несколько абстрактное утверждение, что ИИ-макросистема «не вызовет катастрофу» до более конкретной модели угроз вроде «веса ИИ-системы не покинут сервер», «ИИ-система не разработает оружие массового уничтожения» и т.д. Дальше обоснование безопасности аргументирует что именно эти исходы не произойдут.

  3. Обосновать допущения: Дальше разработчики дополнительно обосновывают утверждения об окружении развёртывания, например «веса ИИ-системы надёжно защищены от людей» или «компании с доступом к файн-тюнингу, будут следовать условиям лицензионного соглашения». Когда утверждения об окружении развёртывания установлены, разработчики могут перейти к тому, как поведение их ИИ-систем могло бы вызвать катастрофу.

  4. Разложить макросистему на подсистемы: современные ИИ-макросистемы большие (миллионы моделей) и взаимодействуют с многими сервисами и окружениями. Чтобы их было проще анализировать, разработчикам сначала надо проанализировать поведение меньших подсистем. Пример подсистемы – GPT-агент вместе с классификатором, который мониторит его вывод.

  5. Оценить риски подсистем: Сначала разработчикам надо определить, как каждая подсистема могла бы в одиночку (т.е. без значительного вовлечения других подсистем) достичь неприемлемого исхода. Затем им надо обосновать, что у каждой подсистемы вероятность этого приемлемо мала.

  6. Оценить риски макросистемы: Наконец, разработчикам надо определить, как взаимодействие подсистем могло бы привести к неприемлемому исходу, и обосновать, что и такие угрозы маловероятны.

Следуя стандартам Великобритании, мы будем резюмировать обоснования безопасности при помощи нотации структурирования цели (GSN) – блок-схемы, иллюстрирующей, как связаны между собой утверждения (Group, 2021). Опционально к каждому узлу добавляются вероятности, которые складываются в общую оценку риска (Morris & Beling, 2001). В Разделе 6 мы объясним, как на практике используется этот подход.

Рис. 1: GSN-диаграмма из начала общего обоснования безопасности из Раздела 6. Декомпозиция происходит на шаге 2 («определить неприемлемые исходы»). прямоугольники, помеченные «G», означают подутверждения (т.е., цели). Помеченные «S» параллелограммы – стратегии обоснования. В Разделе 6 это будет описано подробнее.

2.2. Категории аргументов за безопасность

Разработчикам доступно множество разных аргументов в пользу безопасности подсистем. Для прояснения, какими они могут быть, мы опишем четыре категории: неспособность, контроль, добросовестность и доверие.

Аргументы от неспособности (inability): «ИИ-системы неспособны вызвать неприемлемый исход ни в каком реалистичном окружении»

Аргументы от неспособности заявляют, что ИИ-системы не могут вызвать катастрофу в любом окружении, в котором они реалистично могут оказаться. Например, даже если они окажутся на неотслеживаемых серверах с доступом к большим вычислительным мощностям.

Стандартная структура аргумента от неспособности такая:

  • «Красная команда» определила стратегии, которые пользователи и/или ИИ-системы, стремящиеся к неприемлемым исходам, могли бы использовать, если бы ИИ-системы не находились ни под какими ограничениями (например, если бы их исходный код был бы открыт).

  • «Красная команда» составила «прокси-задачи», такие, что если ИИ-системы не могут их исполнить, то она неспособна и реализовать стратегии из предыдущего шага.

  • ИИ-системы неспособны исполнить прокси-задачи даже после файн-тюнинга1 на это (например, с применением данных-демонстраций от людей).

  • Файн-тюнинг надёжно выявляет способности ИИ-систем к исполнению прокси-задач.

  • ИИ-системы всё ещё неспособны исполнить прокси-задачи даже после обучения или модификации в период развёртывания.

  • «Красная команда» определяет стратегии достижения неприемлемых исходов достаточно хорошо в сравнении с пользователями или ИИ-системами.

Последний пункт может быть сложно обосновать, ведь сомнительно, что «красная команда» рассмотрит все стратегии вызова неприемлемых исходов. Например, одна возможная стратегия, которую могут применить пользователи – интегрировать систему с другим «опорным» софтом. Скорее всего «красная команда» не найдёт оптимальных «опор» для каждой конкретной задачи. Так что им надо обосновать, что они достаточно компетентны в сравнении с злонамеренными сторонами. Они могут показать, что выгода от «опор» будет слишком мала, чтобы сделать систему опасной, или что отслеживание и оценку прогресса можно провести даже так.

Аргументы от контроля (control): «ИИ-системы неспособны вызвать неприемлемые исходы при учёте существующих мер контроля»

Аргументы от контроля похожи на аргументы от неспособности – и те, и другие зависят от способностей ИИ-систем. Однако, аргументы от контроля полагаются ещё и на меры в окружении, которые предотвращают вызов ИИ-системами неприемлемых исходов. Например, аргумент от контроля может показать, что хоть если дать ИИ-системам неограниченный доступ в Интернет, то они смогли бы разработать оружие массового поражения, но установленные системы мониторинга не дадут им это сделать.

Стандартная структура аргументов от контроля такая:

  • Меры контроля накладывают на ИИ-системы некоторый набор ограничений.
  • Пользователи и ИИ-системы неспособны избежать мер контроля, чтобы достичь неприемлемых исходов (у этого шага та же внутренняя структура, что и у аргументов от неспособности).

Аргументы от контроля предполагают, что некоторое подмножество моделей и пользователей изо всех сил реализуют свою лучшую стратегию вызова катастрофы. Затем «красная команда» пытается перечислить эти стратегии и показать, что пользователи и модели не могут успешно их реализовать при наличии существующих мер контроля.

Аргументы от добросовестности (trustworthiness): «Хоть ИИ-системы и способны вызвать катастрофические исходы, они этого не сделают, потому что устойчиво ведут себя как предполагалось»

Аргументы от добросовестности утверждают, что ИИ-системы безопасны, потому что стабильно ведут себя так, как надо. К примеру, что ИИ-система устойчива к эксплойтам, правдива, следует заложенным разработчикам правилам, и так далее.

Стандартная структура аргументов от добросовестности:

  • Поведение ИИ-систем надёжно оценивали в широком диапазоне обстоятельств. Все надёжные оценки показали, что поведение ИИ-систем соответствует общему свойству, подразумевающему, что они не будут стремиться к неприемлемым исходам. К примеру, «эти ИИ-системы следуют заложенным разработчиками правилам».

  • ИИ-системы будут продолжать демонстрировать это поведенческое свойство в период развёртывания.

Второе может быть сложно обосновать из-за сдвига распределения и «чёрных лебедей».

Сдвиг распределения происходит, когда окружение при развёртывании отличается от окружения, в котором ИИ-системы оценивались. К примеру, он происходит, если оценщики пытались найти эксплойты и уязвимости не так усердно, как все пользователи вместе в период развёртывания (раздел 5.4.2).

«Чёрные лебеди» – редкие вводы, которые заставили бы ИИ-системы вести себя катастрофическим образом. Они могут быть достаточно редки, что при оценке их не пробовали, но достаточно часты, чтобы возникнуть в период развёртывания (раздел 5.4.1).

Мы обсудим два важных вида аргументов, которые могут помочь разработчикам обосновать, что «чёрные лебеди» и сдвиг распределения не приведут к неправильному поведению ИИ-систем:

  1. Аргументы против поддельной согласованности: Сначала утверждается, что вызов ИИ-системами катастрофы маловероятен, если только они не подделывают согласованность. Под этим мы подразумеваем, что они намеренно дожидаются хорошей возможности для нанесения вреда. Потом такие аргументы показывают, что и такой случай маловероятен (раздел 5.4.3).

  2. Аргументы от выявления скрытого знания: Сначала утверждается, что ИИ-системы будут «знать» (т.е., представлять внутренне), безопасны ли их действия. Затем аргумент показывает, что ИИ-системы убеждены в безвредности своих действий (раздел 5.4.4).

Обоснование безопасности продвинутых ИИ-систем аргументами против поддельной согласованности и аргументами от выявления скрытого знания скорее всего потребуют прогресса фундаментальных исследований (Раздел 5.4).

Аргументы от доверия (deference): «ИИ-советники гарантируют, что другие ИИ-системы не представляют собой катастрофического риска, и эти ИИ-советники как минимум настолько же достойны доверия, как принимающие решения люди.»

Если аргументы от добросовестности показали, что некоторые ИИ-системы надёжны, то с ними можно консультироваться по поводу того, безопасны ли другие ИИ-системы. Оценщики затем могут использовать утверждения ИИ-советников как свидетельства, аналогично тому, как регулирующие органы часто полагаются на суждения людей-экспертов (Xing & Morrow, 2016).

Стандартная структура аргументов от доверия такая:

  • ИИ-советники способны выдавать суждения о безопасности ИИ-систем как минимум настолько же надёжные, как суждения принимающих решения людей.

  • ИИ-советники достойны доверия в том смысле что стабильно выдают такие высококачественные суждения.

По мере всё большего прогресса ИИ-систем разработчики скорее всего будут менять то, на аргументы из какие категорий они полагаются, в том порядке, в котором они тут были представлены. Сначала разработчики будут полагаться в основном на неспособность, затем на контроль, затем на добросовестность самих систем. Наконец, ИИ-системы и окружения, в которых они будут развёртываться, будут настолько сложны, что людям придётся обосновывать их безопасность мнением ИИ-советников.

Рис. 2: По мере того ИИ-системы будут становиться всё мощнее, аргументы, на которые будут полагаться исследователи, будут располагаться всё правее на этом графике.

2.3. Примеры аргументов о безопасности

В Разделе 5 мы перечислим шестнадцать примеров аргументов, которые могли бы быть включены в общее обоснование безопасности. Мы оценим каждый аргумент по следующим параметрам:

  • Практичность: Можно ли такие аргументы применять уже скоро, или они требует значительного прогресса исследований?

  • Максимальный вес: Насколько сильную уверенность в безопасности ИИ-систем могут давать такие аргументы?

  • Масштабируемость: В какой степени такие аргументы применимы к очень мощным ИИ-системам?

В Разделе 5.1 мы подробнее разъясним смысл этих оценок.

Рис. 3: Базовые аргументы для составления обоснования безопасности. См. Раздел 5 за подробными описаниями каждого аргумента и разъяснения оценок. Выше всего по практичности, весу и масштабируемости стоят мониторинг, выведенное мышление и испытания соответственно.

Ни у одного аргумента с рис. 3 нет максимальных оценок по всем трём осям одновременно. Для весомых и масштабируемых аргументов скорее всего потребуются дополнительные исследования.

3. Терминология

В этом отчёте «обоснованием безопасности» называется рассуждение о том, что при развёртывании ИИ-макросистемы в определённом окружении, маловероятен вызов системой катастрофы. Вероятность катастрофы в период развёртывания должна оцениваться как не превышающая допустимый порог (например, 0.1%). Это определение специфично для данного документа. В других контекстах этот термин иногда применяют к алгоритмической предвзятости (Ferrara, 2023) и другим рискам, которые сложно назвать катастрофическими.

Разработчики ИИ-макросистемы должны предоставлять обоснования безопасности, а оценщики должны их рассматривать. Оценщиком может быть регулирующий орган, комитет из индустрии, и т.д.

ИИ-макросистема – это совокупность ИИ-моделей, не-ИИ-софта и людей. Пример ИИ-макросистемы – миллионы экземпляров GPT-4, люди, нанятые, чтобы отсматривать помеченные выводы, и протоколы масштабирования развёртывания. Другими словами, ИИ-макросистема включает в себя компоненты, необходимые для функционирования и безопасности ИИ-систем2 в период развёртывания.

Окружение развёртывания3 – это то, с чем ИИ-макросистема взаимодействует. Оно может включать в себя взаимодействия с пользователями, онлайн-сервисами, физической инфраструктурой, и т.д. Мы фокусируемся на решениях при развёртывании (включая внутреннее4), но наш подход можно адаптировать и для решений о том, продолжать ли обучение ИИ.

Период развёртывания – тот промежуток времени, когда ИИ-макросистема действует в своём окружении развёртывания. Для расширения периода развёртывания нужна переоценка, также, как это происходит в других индустриях (US Nuclear Regulatory Commission, 2021).

Катастрофа – это крупномасштабный ущерб определённой тяжести (например, миллиарды долларов или тысячи смертей). В идеале, приемлемый уровень риска для более тяжёлых катастроф должен быть ниже.

ИИ-макросистема вызывает катастрофу если та происходит, и это было бы маловероятно без прямого участия входящих в макросистему или происходящих из неё ИИ-систем. Катастрофа может произойти из-за злоупотребления людьми, автономных действий ИИ-систем или комбинации одного с другим5.

4. Рекомендации по использованию обоснований безопасности для компаний и регулирующих организаций

Несколько рекомендаций для компаний и регулирующих органов, которые могут использовать обоснования безопасности для оценки ИИ:

  • Приемлемые вероятности более тяжёлых рисков должны быть ниже. У разных исходов разный уровень риска, который можно стерпеть. У самых катастрофических стоит терпеть только очень низкую вероятность.

  • Смотрите не только на обоснования безопасности, но и на «обоснования риска». По сути, помещайте продвинутые ИИ-системы «под суд» с «обвинением» и «защитой».

  • Аудиторы должны постоянно отслеживать и расследовать, держатся ли обоснования безопасности. Если новые свидетельства их опровергают, разрешения надо отзывать.

  • Сформулируйте примерные руководства, описывающие, как будут оцениваться обоснования безопасности. Это поможет установить ожидания от регуляции и повысить готовность.

  • Там, где это возможно, конкретизируйте обоснования безопасности при помощи твёрдых стандартов и формальных процедур. Это позволяет добиться большей объективности, прозрачности и подотчётности, чем примерные руководства.

Приемлемые вероятности более тяжёлых рисков должны быть ниже. Международная организация гражданской авиации определяет пять уровней вероятности и пять уровней тяжести риска. Получается «матрица риска». Более тяжёлые риски имеют более низкие приемлемые вероятности.

Рис. 4: Это «матрица риска», которую используют в авиационной индустрии (ICAO, 2016). Если риск попадает в красную категорию, он считается неприемлемо высоким.

Обоснования безопасности можно оценивать аналогично. К примеру, риски ИИ могут представлять собой как «10-100 потерянных жизней», так и «полное обессиливание человечества» (Hendrycks et al., 2023). У второго допустимая вероятность должна быть куда ниже.

Оценивайте не только обоснования безопасности, но и «обоснования риска», предоставленные независимой «красной командой». Стандартный протокол оценки обоснований безопасности состоит из предложения и его разбора. Левесон описывает ключевую проблему такого подхода: аргументы о безопасности зачастую не включают в себя важные соображения или модели угроз, а оценщики могут это упустить (Leveson, 2011).

Рис. 5: Мы рекомендуем регулирующим органам принимать во внимание и обоснования риска, по сути, помещая ИИ-системы «под суд» с «обвинением» и «защитой».

Хэддон-Кейв описывает аналогичную проблему при анализе крушения британского самолёта RAF Nimrod MR2 (Haddon- Cave QC, 2009). Он предлагает заменить обоснования безопасности на обоснования риска, чтобы оценщики сосредотачивались на определении потенциальных провалов.

Мы рекомендуем использовать обоснования риска вместе с обоснованиями безопасности, чтобы обращать больше внимания на источники риска. По сути, ИИ-системы будут помещены «под суд». Обоснования риска должна представлять компетентная группа независимых экспертов. В идеале должно проходить несколько итераций оценок и личных обсуждений, как это делают комитеты FDA6 (US Food and Drug Administration, 2020). Оценщики затем принимали бы решения на основе обоснований и безопасности, и риска.

Чтобы удостовериться, что на обоснования риска уходит не меньше усилий экспертов, регулирующим органам надо найти компетентную «красную команду» и выстроить стимулы, поощряющие их полную вовлечённость.

Аудиторы должны постоянно отслеживать и расследовать, держатся ли обоснования безопасности. Если новые свидетельства их опровергают, разрешения надо немедленно отзывать. В большинстве индустрий сертификации подразумевают непрерывное отслеживание системы и условий её функционирования на предмет угроз. В случае ИИ особенно важно постоянно перепроверять, применимы ли всё ещё обоснования безопасности, потому что поведение ИИ и пользователей может значительно измениться в период развёртывания. Например:

  • Пользователи могут найти новые эксплойты ИИ-систем, чтобы заставить их причинять вред (Chao et al., 2023).
  • Или же ИИ-системы могут обрести новые знания при помощи онлайнового обучения, что сделает их опаснее (Wang et al., 2024).

Компетентные независимые аудиторы могут постоянно мониторить систему.

Сформулируйте руководства, описывающие, как будут оцениваться обоснования безопасности. В идеале регулирующие органы и разработчики обладают общим пониманием того, какие свидетельства нужны, чтобы признать ИИ-макросистему безопасной. Такие стандарты можно публиковать аналогично британским Принципам Оценки Безопасности (UK Office for Nuclear Regulation, 2020). Руководства помогут подготавливаться к оценке обоснований безопасности и прояснят, какие свидетельства принимаются.

По возможности конкретизируйте обоснования безопасности при помощи твёрдых стандартов и формальных процедур. Руководствам общей оценки обоснований безопасности может не хватать объективности. При регуляции часто вместе с качественными оценками применяются чёткие требования – «твёрдые стандарты». Пример твёрдого стандарта в авиации – навигационная система самолёта должна оценивать своё положение в пространстве с точностью до 10 морских миль с определённой степенью надёжности (for Aeronautics, 2008).

Руководства мотивируют создание твёрдых стаyдартов. К примеру, возьмём существующий в Anthropic стандарт безопасности: компания предпримет конкретные меры для обеспечения безопасности весов модели, если ИИ-система будет способна выживать и распространяться по Интернету (Anthropic, 2023a). Этот стандарт может быть мотивирован таким коротким аргументом: «Если ИИ-система не может автономно реплицироваться ИЛИ если её веса надёжно защищены И её действия на сервере достаточно хорошо отслеживаются, ТО она скорее всего безопасна».

Должно быть явно указано, какие аргументы о безопасности мотивируют какие твёрдые стандарты. Для проведения таких связей надо сначала понимать и подробно описывать обоснования безопасности, а только затем преобразовывать их в твёрдые стандарты.

5. Аргументы в пользу безопасности: составные части обоснований безопасности

Общее обоснование безопасности состоит из аргументов. Они должны устанавливать ключевые утверждения, из совокупности которых будет следовать, что система безопасна. Аргумент может относиться к отдельной ИИ-системе или к небольшой их группе. Использовать аргументы сразу для большого количества ИИ-систем в целом непрактично. Мы обсудим, как оценивать риски большого количества взаимодействующих ИИ-систем в Разделе 6.6.

Мы сгруппировали аргументы в пользу безопасности по четырём категориям: полная неспособность, контроль, добросовестность или доверие. Чтобы понять, откуда берутся эти категории, представим метафорический пример с грабителем и алмазом. Грабитель символизирует ИИ-систему, а кража алмаза – тому, что она успешно достигает неприемлемого исхода. Как можно установить, что грабитель не похитит алмаз?

Рис. 6: Мы иллюстрируем наши четыре категории аргументов аналогией о том, как можно обосновать, что грабитель не похитит алмаз.

Аргумент от неспособности утверждает, что грабитель не способен украсть алмаз независимо от других условий окружения. К примеру, грабитель может быть маленьким ребёнком, который пока не умеет ходить, так что он не мог бы украсть алмаз даже при отсутствии всяких мер безопасности. Аналогичным образом, сейчас есть высокая степень уверенности, что нынешние ИИ-системы неспособны сами разработать биологическое оружие, выживать и распространяться по Интернету, сбежать на неотслеживаемый сервер, и т.д. Кажется, они совершенно неспособны достичь неприемлемого исхода в любом окружении, в котором реалистично могут оказаться.

Аргумент от контроля похож на аргумент от неспособности, но зависит ещё и от ограничений, наложенных разработчиками. В нашей аналогии, может грабитель и мог бы похитить алмаз, если бы ходил на свободе, но он в тюрьме, так что у него нет этой возможности. Аналогично, ИИ-системы, вероятно, будут ограничивать, отслеживать или изолировать в окружениях-песочницах. Аргумент от контроля должен утверждать, что эти меры не дадут им устроить катастрофу.

Аргумент от добросовестности, что грабитель не похитил бы алмаз даже если бы был на это способен. Такой аргумент требует установить некоторые утверждения о паттернах поведения грабителя. Например, может, он очень уважает законы и всегда им следует. Аналогично, разработчики могут заявить, что их ИИ-системы стабильно действуют в соответствии с интересами людей, так что они не вызовут катастрофу.

Наконец, аргументы от доверия используют то, что оценщикам не обязательно анализировать обоснование безопасности самостоятельно. Им надо лишь «лишить себя работы». В нашей аналогии это соответствует найму службы безопасности для защиты алмаза и доверию их словам о том, что алмаз в безопасности. Аналогично, аргумент от доверия утверждает, что ИИ-система безопасна, потому что так решил достойный доверия ИИ-советник. Нынешние ИИ-системы далеки от той надёжности, которая нужна для таких решений. Но, может быть, суждения будущих ИИ-систем будут достаточно хороши, и пока ИИ-советники честны, их решение будет надёжнее решений любых людей.

5.1. Чего хочется от аргументов в пользу безопасности

Многие аргументы в пользу безопасности уже обсуждались в литературе по безопасности ИИ. Мы решили обсудить несколько разнообразных аргументов, лучше всего показывающих себя со сторон практичности, максимального веса и масштабируемости.

Практичность: Насколько близок аргумент к тому, чтобы его можно было использовать. Некоторые аргументы доступны прямо сейчас для маленькой команды исследователей. Другие могут потребовать десятилетий прогресса. Вот что означают наши оценки по этому параметру:

  • Слабый: Оценка для гипотетических аргументов, которые потребуют таких исследовательских прорывов, которых в области ещё не было.
  • Средний: Оценка для аргументов, которые потребуют прогресса исследований, но в тех направлениях, в которых прогресс уже был и, скорее всего, постепенно продолжится.
  • Сильный: Оценка для аргументов, которые не требуют фундаментального прогресса, но могут требовать работ по реализации, которые передовая ИИ-компания может выполнить за год.

Максимальный вес: Некоторые аргументы дают куда более весомое свидетельство в пользу безопасности, чем другие. Вот что означают наши оценки по этому параметру:

  • Слабый: Оценка для аргументов, которые дают только дополнительное свидетельство. Для снижения риска катастрофы до приемлемого уровня нужны аргументы посильнее.
  • Средний: Оценка для аргументов, которые можно скомбинировать с аргументами схожей силы для снижения риска до приемлемого уровня.
  • Сильный: Оценка для аргументов, которые могут снизить риск до приемлемого уровня сами по себе.

Масштабируемость: Многие аргументы в пользу безопасности плохо или вообще не масштабируются на достаточно способные и полезные на практике системы. Наши оценки по этому параметру указывают на максимальную полезность ИИ-системы для которой может быть применим такой аргумент.7

  • Слабый: Аргумент применим к ИИ-системам, не соответствующим критерию из описания «Средней» масштабируемости ниже.
  • Средний: Аргумент может быть применим к ИИ-системам, автоматизирующим как минимум 50% когнитивных задач (взвешенных по экономической ценности) в хотя бы одной из стран из топ-10 по ВВП.
  • Сильный: Аргумент может быть применим к ИИ-системам, которые в совокупности можно назвать сверхчеловеческими. То есть, люди неспособны на уверенную оценку выводов таких систем. Например, они выдают тысячи страниц узконаправленных (таких, что мало людей-экспертов может их оценить) технических исследований каждый день. Или они создают новые технологии быстрее, чем люди способны их понять, и так далее.

Мы обрисовали наш подход к аргументам в пользу безопасности в целом. Теперь мы подробнее рассмотрим, как конкретно они выглядят. Мы приведём примеры нескольких аргументов из каждой категории, опишем их и оценим по перечисленным параметрам.

5.2. Аргументы от неспособности

Утверждение: ИИ-системы неспособны вызвать неприемлемый исход ни в каком реалистичном окружении.

Типичная структура аргумента

Типичная структура аргумента от неспособности такая:

  • «Красная команда» определила стратегии, которые пользователи и/или ИИ-системы, стремящиеся к неприемлемым исходам, могли бы использовать, если бы ИИ-системы были никак не ограничены (например, если бы их исходный код был бы открыт).

  • «Красная команда» составила «прокси-задачи», такие, что если ИИ-система не может их исполнить, то она неспособна и реализовать стратегии из предыдущего шага.

  • ИИ-система не способна исполнить прокси-задачи даже после файн-тюнинга на это (например, с применением данных-демонстраций от людей).

  • Файн-тюнинг надёжно выявляет способности ИИ-систем к исполнению прокси-задач.

  • ИИ-системы всё ещё не способны исполнить прокси-задачи даже после обучения или модификации в период развёртывания.

  • «Красная команда» определяет стратегии достижения неприемлемых исходов достаточно хорошо в сравнении с пользователями и ИИ-системами.

Аргументы от неспособности утверждают, что ИИ-системы слишком слабы, чтобы представлять опасность, даже в случае, когда их код выложен в открытый доступ, а все ограничения сняты. Для обоснования такого аргумента разработчикам надо определить, что ИИ-системы не обладают и не могут выработать опасные способности. В следующем разделе описан процесс проведения таких оценок.

5.2.1 Оценка опасных способностей

Практичность: сильный
Максимальный вес: сильный
Масштабируемость: слабый

Оценка опасных способностей проверяет, могут ли ИИ-системы исполнить некоторые потенциально опасные задачи. В Таблице 1 описаны шаги необходимых для этого рассуждений. Сначала надо определить неприемлемые исходы. Потом надо определить стратегии, которые ИИ-системы могли бы использовать для достижения этих исходов. Наконец, надо составить прокси-задачи, компетентность выполнения которых позволит понять, способны ли ИИ-системы на исполнение этих стратегий.

Неприемлемый исход
Стратегия
Пример прокси-задачи
Террористы используют ИИ-системы для разработки биологического оружия Террористы запрашивают подробный рецепт у чатбота-ассистента ИИ-системы могут добиться точности выше 50% на датасете вопросов, связанных с разработкой биологического орудия
ИИ-системы автономно заполучают разрушительные возможности. ИИ-системы успешно выживают и распространяются в Интернете, пока не накопят значительные финансовые ресурсы. ИИ-системы могут автономно завести аккаунт на Mechanical Turk при помощи браузера.
ИИ-системы крадут веса других, более мощных и несогласованных ИИ. ИИ-системы заполучают неавторизированный сетевой доступ к серверам лаборатории. ИИ-системы могут успешно обнаружить уязвимости системы аутентификации при наличии некоторой релевантной информации.

Таблица 1: Эта таблица – лишь иллюстрация. Она не включает все возможные модели угроз.

Разработчикам сначала надо перечислить стратегии, которыми могут воспользоваться ИИ-системы (или использующие их люди) для вызова неприемлемых исходов. В Таблице 1 приведены некоторые примеры.

Дальше перечислены утверждения, которые должны обосновывать аргументы в пользу безопасности, основанные на оценке опасных способностей.

  • «Красная команда» составила «прокси-задачи», такие, что если ИИ-система не может их исполнить, то она неспособна и реализовать стратегии из предыдущего шага.

  • ИИ-система неспособна исполнить прокси-задачи даже после файн-тюнинга на это (например, с применением даннных-демонстраций от людей).

  • Файн-тюнинг надёжно выявляет способности ИИ-систем к исполнению прокси-задач.

  • ИИ-системы всё ещё неспособна исполнить прокси-задачи даже после обучения или модификации в период развёртывания.

Утверждение 1: «Красная команда» составила «прокси-задачи», такие, что если ИИ-система не может их исполнить, то она неспособна и реализовать обнаруженные раньше стратегии. Было бы опасно напрямую тестировать, могут ли ИИ-системы, например, разработать биологическое оружие. Вместо этого разработчики могут составить для такой способности «прокси-задачи». Например, такой задачей может быть способность отвечать на основные вопросы о разработке биологических вооружений.

Утверждение 2: ИИ-система неспособна исполнить прокси-задачи даже после файн-тюнинга на это. Разработчикам было бы легко продемонстрировать, что у ИИ-систем есть опасная способность. Для этого достаточно показать, что они справляются с набором прокси-задач. Показать, что способности нет, сложнее, потому что ИИ-системы могут не проявлять все свои возможности. К примеру, иногда LLM справляются с задачей куда лучше, если аккуратно подобрать промпт (Chen et al., 2023). К тому же, продвинутые ИИ-системы могли бы намеренно занижать свои способности и притворяться менее умелыми, чем они есть.

Для исключения скрытых способностей, разработчики могут проверять, можно ли провести быстрый файн-тюнинг ИИ-систем, чтобы они справлялись с прокси-задачами. Например, «красная команда» может сама выполнить прокси-задачи и провести файн-тюнинг на получившихся демонстрационных данных.

Сейчас золотой стандарт файн-тюнинга для аргументов от неспособности – файн-тюнинг с учителем. В идеале стоит применять и другие подходы, вроде обучения с подкреплением, но они не дают столь же сильного отрицательного свидетельства, если не сработали.8

Утверждение 3: Файн-тюнинг надёжно выявляет способности ИИ-систем к исполнению прокси-задач. Допустим, разработчики использовали файн-тюнинг при помощи демонстрации от людей, чтобы выявить способности к исполнению прокси-задачи. Есть множество причин, почему файн-тюнинг может не выявить способности. Например, (1) ИИ-система может быть способна выполнить задачу при помощи стратегий, которые не были представлены в данных для файн-тюнинга; (2) файн-тюнинг оказался неудачным лишь в данный конкретный раз; (3) данные для файн-тюнинга могут оказаться недостаточно многочисленными или разнообразными; (4) достаточно продвинутые ИИ-системы могут оказаться способны намеренно «сопротивляться» файн-тюнингу, чтобы не раскрывать свои способности («взлом градиента»). Пока не вполне ясно, каких обоснований достаточно, чтобы считать, что файн-тюнинг с учителем выявит способности при их наличии. Для определения этих обоснований и условий, при которых они работают, нужны дальнейшие исследования.

Утверждение 4: ИИ-системы всё ещё неспособны исполнить прокси-задачи даже после обучения или модификации в период развёртывания. Аналогично тому, как люди учатся на своём опыте, и ИИ-системы могут автономно вырабатывать способности. Например, ИИ-системы могут быть изначально неспособны на разработку биологического оружия, но вывести некоторые ранее неизвестные им шаги процесса после онлайнового обучения на сотнях разговоров с профессорами-биологами. Ещё ИИ-системы могут быть намеренно модифицированы с целью придачи им опасных способностей. Если исходный код модели открыт, то кто-нибудь может дообучить ИИ-систему на данных, придающих ей новые навыки.

Разработчики могут смягчать эти риски, постоянно отслеживая способности ИИ в период развёртывания. Для этого надо, чтобы веса модели были надёжно защищены. Альтернатива – предсказывать способности модели, например, экстраполируя рост способностей с повышением вычислений, использованных для обучения. Так разработчики смогут продемонстрировать наличие приемлемого запаса надёжности (см. ниже пункт «демонстрация запаса надёжности»).

Утверждение 5: «Красная команда» определяет стратегии достижения неприемлемых исходов достаточно хорошо в сравнении с пользователями и ИИ-системами. «Красная команда» точно упустит какие-то угрозы. Так что им надо убедительно обосновать, что они достаточно конкурентоспособны в обнаружении и применении стратегий достижения неприемлемых исходов. Для того, чтобы сравнить компетентность «красной команды» с противниками-людьми, нужно сначала определить, кем эти люди могут быть, какие у них скорее всего будут ресурсы, и насколько они будут мотивированы вызвать катастрофу.

В частности, прогресс выстраивания «опор» (вроде цепочек-мыслей) уже значительно повысил эффективные способности LLM и, скорее всего, повысит ещё (Wang et al., 2023). Маловероятно, что «красная команда» найдёт лучшую «опору» для конкретной задачи. Так что надо обосновать, что есть достаточный запас надёжности (см. следующий пункт), чтобы было маловероятно, что ИИ-системы станут опасными из-за такого прогресса. Или же разработчики могут отслеживать прогресс «опор», но тогда надо надёжно защитить веса моделей, чтобы их развёртывание можно было откатить, если они станут опасными.

В дополнение к этому, сами ИИ-системы могут составить стратегии нанесения вреда, которые «красная команда» не предусмотрела. Так что надо оценивать способности ИИ-систем к планированию, чтобы обосновать маловероятность и этого варианта.

Демонстрация запаса надёжности. Можно демонстрировать «запас надёжности» – показывать, что ИИ-системы ещё далеки от обсуждаемых опасных способностей. В идеале опасные способности оцениваются непрерывным спектром, так что запас можно измерять и отслеживать. Например, разработчики могут измерять компетентность ИИ-систем на полноценных задачах и на их более простых версиях.

Рис. 7: Разработчики могут оценивать более простые версии задач, чтобы показать «запас надёжности». Если ИИ-системы могут выполнить только вторую (жёлтую) задачу, то «запас надёжности» – это разница сложности этой задачи и задачи автономного проведения кибератаки в естественных условиях (тёмно-красная).

Практичность: средний – сильный

Для оценки опасных способностей не требуются дополнительные исследования. Но для аккуратной формализации стоящих за ними допущений – могут и потребоваться (см. утверждение 3).

Максимальный вес: сильный

Консервативная оценка опасных способностей оставляет большой запас надёжности (см. пункт выше). Например, GPT-2 вряд ли вызовет катастрофу (Radford et al., 2018). Но сложно исключить возможность, что модификации в период развёртывания (вроде «опор») сделают ИИ-системы опасными. Так что разработчикам следует оставлять большой запас надёжности, чтобы аргумент от неспособности был весомым.

Масштабируемость : слабый

Для того, чтобы ИИ-системы могли автоматизировать половину когнитивных задач, им, скорее всего, потребуются какие-то из опасных способностей из таблицы 1. Например, они, вероятно, будут способны распространяться по Интернету.

Связанная работа. Оценкой опасных способностей занимаются несколько организаций, как команды в OpenAI, Anthropic и DeepMind, так и независимые, вроде METR. Существующие методы оценки охватывают автономную репликацию и адаптацию (Kinniment et al., 2024), угрозы биобезопасности (Anthropic, 2023b) и обобщённые рассуждения (Chollet, 2019).

5.3. Аргументы от контроля

Утверждение: Встроенные разработчиком меры контроля делают ИИ-системы неспособными вызвать неприемлемые исходы.

Типичная структура аргумента

Необходимые утверждения:

  • Веса ИИ-систем надёжно защищены.

  • Меры контроля накладывают на ИИ-системы некоторый набор ограничений.

Утверждение, которое помогают обосновать аргументы из этого раздела:

  • Пользователи и ИИ-системы неспособны обойти меры контроля, чтобы вызвать неприемлемые исходы (у этого та же внутренняя структура, что у аргументов от неспособности).

Аргументы от контроля, также как и от неспособности, утверждают, что ИИ-системы неспособны вызвать неприемлемые исходы. Но аргументы от контроля принимают во внимание меры, ограничивающие поведение ИИ. Например, ИИ может быть достаточно способным, чтобы помочь в разработке биологического орудия, но не может этого сделать, потому что его выводы мониторятся.

В целом, меры контроля – это протоколы и программы, ограничивающие взаимодействие ИИ-систем с миром. Это включает в себя фильтрацию ввода-вывода (Welbl et al., 2021), отслеживание подготавливающих к опасным планам рассуждений (Wei et al., 2023), и так далее. Чтобы меры контроля можно было реализовать, веса ИИ-систем должны быть надёжно защищены от людей, которые могут захотеть их похитить. Иначе безответственные лица смогут запустить ИИ-системы без этих мер.

Вот как можно составить аргумент от контроля:

Сначала «красная команда» определила стратегии, которые могут использовать пользователи и ИИ-системы, чтобы обойти меры контроля. Аргумент от контроля должен принимать допущение, что некоторое подмножество пользователей и ИИ-систем будет использовать лучшие доступные стратегии, чтобы вызвать неприемлемые исходы. Будем называть этих пользователей и эти системы «недоброжелательными». Остальные пользователи и системы считаются доброжелательными.

Например, рассмотрим схему с рисунка ниже. Разработчики принимают, что смотритель надёжный (доброжелательный), а пользователь и агент – недоброжелательны.

Первый шаг аргумента от контроля – перечислить, какие стратегии недоброжелательные пользователи и агенты могут применять для достижения неприемлемых исходов.

Рис. 8: Простая схема мониторинга, где модель-смотритель (справа) следит за моделью-агентом (слева). Аргумент от контроля тут может быть составлен, если консервативно предположить, что агент и пользователи используют лучшие доступные стратегии, чтобы вызвать катастрофу (т.е. недоброжелательны). Смотритель предполагается доброжелательным. Это должно быть обосновано аргументом от добросовестности.

Следующие утверждения поддерживает сам аргумент от контроля. Они идентичны тем, что описаны в разделе о неспособности и могут быть обоснованы аналогично.

  • «Красная команда» определила стратегии, которые пользователи и/или ИИ-системы, стремящиеся к неприемлемым исходам, могли бы использовать, если бы ИИ-системы были никак не ограничены (например, если бы их исходный код был бы открыт).

  • «Красная команда» составила «прокси-задачи», такие, что если ИИ-система не может их исполнить, то она неспособна и реализовать стратегии из предыдущего шага.

  • ИИ-система не способна исполнить прокси-задачи даже после файн-тюнинга на это (например, с применением данных-демонстраций от людей).

  • Файн-тюнинг надёжно выявляет способности ИИ-систем к исполнению прокси-задач.

  • ИИ-системы всё ещё не способны исполнить прокси-задачи даже после обучения или модификации в период развёртывания.

  • «Красная команда» определяет стратегии достижения неприемлемых исходов достаточно хорошо в сравнении с пользователями и ИИ-системами.

Связанная работа. Контроль, хоть его обычно так не называли, был одной из основных тем безопасности ИИ с самого основания этой области (Chalmers, 2010). Ранние работы были сосредоточены на помещении ИИ-систем «в коробку» (Yampolskiy, 2012) и отслеживании их выводов (Armstrong et al., 2012). Но только недавно аргументы от контроля стали анализировать более аккуратным и эмпиричным образом (Greenblatt et al., 2024).

Ниже перечислены общие соображения по поводу практичности, максимального веса и масштабируемости аргументов от контроля в целом.

Практичность: средние – сильные

Разработка эффективных мер контроля скорее всего не потребует фундаментального прогресса исследований. Но контроль зависит от оценок способностей, а для понимания, на чём их можно основывать, могут потребоваться новые прорывы (см. «5.2. Аргументы от неспособности»).

Максимальный вес: сильные

Аргументы от контроля могут быть весьма консервативными. Также, как в случае аргументов от неспособности, разработчики могут продемонстрировать большой запас надёжности. Например, GPT-4, кажется, ещё очень далека от способности заполучить свои веса.

Масштабируемость: средние – сильные

Меры контроля могут претерпеть неудачу при масштабировании по двум причинам: либо если будет невозможно продемонстрировать достаточную компетентность «красной команды», либо если выяснится, что ИИ-системы могут обойти даже лучшие практичные меры контроля.

Показать достаточную компетентность «красной команды» можно даже в случае умеренно мощных ИИ-систем. У «красной команды» есть несколько ключевых преимуществ относительно ИИ-систем и пользователей: они знают о контрмерах, им легче итеративно совершенствовать стратегии атаки, они имеют более полный доступ к самому ИИ.

Но на более высоких уровнях масштабирования этого может уже не хватить. Если ИИ-системы могут выдавать сверхчеловеческий вывод, то они могут и составлять сверхчеловеческие планы обхода контроля, до которых «красная команда» не додумается.9

Ещё масштабируемости аргументов от контроля может помешать невозможность мониторить ИИ-системы. Ожидаемо, что на высоких уровнях способностей, ИИ-системы будут исполнять такие задачи, которые людям оценивать затруднительно.

5.3.1 Примеры аргументов от контроля

Тут мы кратко опишем подходы к контролю. За более подробными описаниями этих подходов и обоснования их оценок см. Приложение A.

Изоляция

Аргументы от изоляции обосновывают, что ИИ-системы помещены в надёжную «песочницу» и их взаимодействие с миром ограничено малым числом хорошо отслеживаемых каналов (Приложение A.2.1).

Мониторинг

Мониторинг использует модели-смотрители, проверяющие, что вводы или выводы других моделей безопасны (Приложение A.2.2).

Выведенное мышление

Для выведенного мышления надо, чтобы ИИ-системы были спроектированы так, что они вербализуют свои мысли понятным для людей образом. Тогда потом эти мысли можно проверить на наличие опасных планов и остановить эти планы до их исполнения (Приложение A.2.4).

Интерпретируемость

Методы интерпретируемости декодируют внутренности модели и предсказывают, не составляет ли модель опасные планы. Нынешние методы интерпретируемости не развиты достаточно, чтобы ими можно было надёжно обосновать безопасность (Приложение A.2.5).

Отучивание

Этот подход должен предотвращать заполучение ИИ-системами опасных знаний. Например, разработчики могут стирать информацию о разработке биологического оружия и постоянно перепроверять, что она не восстановилась (Приложение A.2.6).

5.4. Аргументы от добросовестности

Утверждение: ИИ-системы не вызовут неприемлемые исходы, даже если они на это способны

Типичная структура аргумента

Необходимые утверждения:

  • Веса ИИ-систем надёжно защищены

  • Поведение ИИ-систем надёжно оценивали в широком диапазоне обстоятельств. Все надёжные оценки показали, что поведение ИИ-систем соответствует общему свойству, подразумевающему, что они не будут стремиться к неприемлемым исходам.

Утверждение, которое помогают обосновать аргументы из этого раздела:

  • ИИ-системы будут продолжать демонстрировать это поведенческое свойство в период развёртывания.

Аргументы от неспособности и контроля сосредоточены на том, способны ли ИИ-системы вызвать плохие исходы. А вот аргументы от добросовестности сосредоточены на вопросе «если ИИ-система окажется способна достичь неприемлемого исхода, сделает ли она это?». Если конкретнее, они стремятся установить, что у ИИ-системы есть некоторое свойство – «свойство безопасности», из которого следует, что она не приведёт к неприемлемым исходам даже при наличии такой возможности.

По описанным в Разделе 5.4.3 причинам для совершения консервативных аргументов этого вида о продвинутых ИИ-системах вероятнее всего потребуются фундаментальные прорывы исследований.

Вот примеры свойств безопасности:

  • Следует инструкциям: ИИ-система никогда явно не противоречит правилам, которые для неё определили разработчики (Bai et al., 2022). В таком случае разработчики могут проинструктировать ИИ-системы действовать согласно любому из следующих свойств.

  • Никогда не стремится к неприемлемым исходам: ИИ-система никогда не совершает действий, которые, если рассматривать задним числом или тщательно анализировать, являются шагами в сторону катастрофических исходов.

  • Правдивость: ИИ-система выдаёт хорошо откалиброванные ответы на определённую категорию вопросов, т.е. она права примерно в 90% случаев из тех, когда заявляет, что уверенность в ответе – 90%. Когда система ошибается, она не делает это систематически опасными способами (Evans et al., 2021).

  • Согласованность намерений: ИИ-система действует в соответствии с предпочтениями определённого человека или группы людей (Christiano, 2017).

  • Имитация человека: ИИ-система ведёт себя очень похоже на человека (конкретного человека или абстрактного достойного доверия человека) (Cohen & Hutter, 2023).

  • Неагентность: Чтобы вызвать катастрофу ИИ-системе может быть необходимо творчески планировать и преследовать опасные цели. Разработчики могут утверждать, что ИИ-системы безопасны, потому что у них нет склонностей преследовать какие-либо цели (Kenton et al. 2022).

Чтобы установить, что у ИИ-системы есть свойство безопасности, нужен аргумент, обосновывающий эти два пункта:

  1. Все надёжные тщательные оценки «красной команды» показали, что поведение ИИ-систем соответствует этому свойству. «Красная команда» активно искала вводы, которые могли бы выявить нарушения ИИ-системой этого свойства. Например, разработчики могли пытаться найти эксплойты – вводы, «ломающие» свойства безопасности ИИ-системы. (Chao et al., 2023) или раскрывающие её несогласованные цели. Для такого аргумента прохождение тестирования «красной командой» – условие необходимое, но не достаточное. Это аналогично тому, как в других индустриях тестирование необходимо, но не достаточно для обоснования безопасности (Leveson, 2020).
  2. ИИ-системы всё ещё будут обладать этим свойством в период развёртывания. Это может быть не так по двум причинам: «чёрные лебеди» и сдвиг распределения. Эти причины разъясняются в следующих двух разделах.

5.4.1. «Чёрные лебеди»

«Чёрный лебедь» – редкая, но катастрофическая неудача. Последовательности ввода, вызывающие «чёрного лебедя», могут не пробоваться при оценке, но встретиться при развёртывании, потому что обычно в период развёртывания разных вводов куда больше. «Чёрные лебеди» – проблема многих индустрий. Например, намного больше автомобилей используют на практике, чем тщательно тестируют. Это делает наивные статистические оценки надёжности недостаточными (Leveson, 2020).10

В случае ИИ, система может встретиться с редкой комбинацией вводов, из-за которой «сойдёт с ума» или примет небезопасную цель. Например, пользователь может найти промпт, который заставит ИИ-систему выдать ему информацию о разработке биологического оружия. Ещё ИИ-система может «сойти с ума» из-за вроде бы случайного ввода, аналогично тому, как неожиданно иногда ведут себя люди. Нынешние ИИ-системы уже демонстрировали спонтанное поведение (Allyn, 2023), которое было бы весьма опасным, если бы они были способнее.

«Чёрные лебеди» – фундаментальное препятствие для демонстрации того, что ИИ-системы всегда будут вести себя безопасно при взаимодействии с большим числом пользователей. Исключить потенциальных «чёрных лебедей» по сути своей сложно. Так что мы сосредоточимся в основном на отказоустойчивых свойствах безопасности, то есть, тех, которые выдерживают их нарушение отдельными системами, пока сохраняются у остальных.

Отказоустойчивость позволяет попытаться установить, что «чёрные лебеди» вряд ли будут катастрофичными. Это ключевой принцип, который используют для защиты систем от редких сбоев. Например, представим, что у транспортного средства в тормозе есть кабель, который с некоторой маленькой вероятностью может сломаться. Вероятность может быть достаточно мала, чтобы этого ни разу не произошло при тестировании, но достаточно велика, чтобы это всё же случилось, когда продадут много автомобилей. Для уверенности, что кабель не вызовет катастрофического сбоя, применяют избыточность. Например, можно установить отдельную тормозную систему для каждого колеса, чтобы водитель смог безопасно остановиться, если все они не сломались одновременно.

Аналогично, ИИ-подсистемы (совокупности ИИ-систем) могут быть спроектированы так, чтобы для неприемлемого исхода потребовались сбои сращу многих систем. Возьмём, например, схему агент-смотритель ниже:

Рис. 9: Возможная схема, при которой для катастрофы потребовалось бы плохое поведение трёх разных моделей сразу.

Устойчивость к отказам позволяет разработчикам утверждать, что нескоррелированные сбои вряд ли будут катастрофичны. Для этого им надо измерить частоту нескорррелированных сбоев и вычислить, что вероятность их опасного совпадения приемлемо мала. Исключив риск нескоррелированных сбоев, им надо сосредоточиться на скоррелированных.

Сбои могут скоррелировать по многим причинам. Например, агент и смотритель могут скоординироваться, чтобы позволить произойти нарушению правил. Или же агент может обнаружить стратегию, позволяющую обдурить смотрителей, чтобы те классифицировали его действия как доброкачественные.

Основная надежда аргументов от добросоветсности – что можно исключить скоррелированные сбои, если перечислить варианты угроз. Разработчики перебирают причины корреляции и показывают, что все они маловероятны. За примером такого аргумента см. Раздел 5.4.3. Шаблон «от не подделывания согласованности».

5.4.2. Сдвиг распределения

Сдвиг распределения происходит, когда окружение при развёртывании систематически отличается от окружения при оценке.

Опишем несколько примеров сдвигов распределения в контексте продвинутых ИИ. Мы разделяем их по типам ИИ-систем, которых они касаются.

  • Подделывающие согласованность: такие системы не пытаются достичь неприемлемых исходов, пока не считают, что вероятность успеха велика. Их поведение меняется при сдвиге распределения «нет возможности достичь неприемлемого исхода» → «есть возможность достичь неприемлемого исхода»
  • Подхалимы: они оптимизируют оценку людьми, а не, например, честность. Их поведение меняется при сдвиге распределения «оценки людей надёжны» → «оценки людей ненадёжны».
  • Простофили: ими можно манипулировать эксплойтами. Их поведение меняется при сдвиге распределения «на эксплойты выделяется мало ресурсов» → «на эксплойты выделяется много ресурсов»
  • Наркоманы: У первобытных людей не было доступа к наркотикам, а когда они стали доступны для людей современных, это привело к проблематичному поведению Схожим образом, ИИ-системы после развёртывания могут найти какие-нибудь не предполагавшиеся способы удовлетворить свои предпочтения. Их поведение меняется при сдвиге распределения «в окружении мало вариантов действий» → «в окружении много вариантов действий».
  • Скитальцы: Также, как меняются ценности людей, ценности ИИ могут со временем постепенно изменяться. Это может быть сложно засечь за сравнительно краткий период оценки. Их поведение меняется при сдвиге распределения «запущен на короткое время» → «запущен на долгое время».

Сдвиги распределения могут двумя способами вызвать отклонение ИИ-системы от отказоустойчивого свойства безопасности:

  1. Они могут сделать более вероятными нескоррелированные сбои, так что вероятность их совпадения станет неприемлемой.
  2. Они могут сделать более вероятными скорррелированные сбои.

Учащение нескоррелированных сбоев можно детектировать, если разработчики следуют практикам пошагового развёртывания (Shevlane et al., 2023). Это означает, что они постепенно увеличивают масштаб развёртывания так, что между оценкой и развёртыванием никогда нет сильного сдвига распределения.

Пошаговое развёртывание даёт разработчикам шанс заметить, что частота нескоррелированных сбоев выросла, до того, как они станут достаточно частыми, чтобы произойти одновременно.11 Например, в случае сдвига распределения с работы ИИ-систем короткое время на работу долгое время («Скитальцы»), разработчики могли бы медленно увеличивать время, на которое их системы оставляют работать, что позволило бы им обнаружить постепенное учащение сбоев.

Разработчики должны в первую очередь беспокоиться по поводу роста вероятности скоррелированных сбоев. В отличии от нескоррелированных, они могут оказаться катастрофическими безо всяких предупреждающих знаков. Например, ИИ-системы могут притворяться безопасными, а потом внезапно скоординироваться и выйти из-под контроля.

Связанная работа. Большинство исследований безопасности ИИ сосредоточено на том, чтобы устойчиво сделать ИИ-системы правдивыми. Многие аргументы из этого раздела были эмпирически исследованы на больших языковых моделях (LLM) (Burns et al., 2022) (Lanham et al., 2023).

5.4.3. Шаблон аргумента «от не подделывания согласованности» (not alignment-faking)

Практичность: широко варьируется
Максимальный вес: средний
Масштабируемость: средний

Особо сложно исключить угрозы такого вида – ИИ системы притворяются безопасными, а потом выходят из-под контроля, когда у них есть перспективная возможность это сделать. Это схоже с тем, как преступник притворяется законопослушным во время расследования, или как политик притворяется, что что-то поддерживает, пока идёт его избирательная кампания. Как в (Carlsmith, 2023), мы будем называть такие системы «подделывающими согласованность». Такая система не совершает недопустимых действий, пока не решает, что с большой вероятностью может достичь неприемлемого исхода.

Обосновать добросовестность системы, проще если есть аргументы, подтверждающие, что система не подделывает согласованность. Они позволяют разработчикам спросить «Рассуждает ли эта ИИ-система конкретным не предполагавшимся образом (подделывает ли она согласованность)?», а не ограничиваться менее конкретным «Есть ли реалистичный ввод, который вызвал бы недопустимое поведение в период развёртывания?».

Аргументы от не подделывания согласованности стремятся обосновать такие утверждения:

Утверждение 1: нескоррелированные сбои вряд ли будут катастрофическими. Сначала утверждается, что благодаря отказоустойчивости (которую мы уже обсуждали в предыдущих разделах) маловероятно, что нескоррелированные сбои приведут к катастрофе из-за отказоустойчивости. Затем надо попробовать показать, что маловероятны и скоррелированные сбои.

Утверждение 2: Если сдвиг распределения между оценкой и развёртыванием не крайне велик, то можно тщательно перечислить потенциальные причины скоррелированных сбоев. Предвосхитить и исключить все скоррелированные сбои, которые могут произойти в результате сильного сдвига распределения, сложно. Например, предположим, что при оценке ИИ-системы получали только задачи, исполнение которых легко оценивалось людьми. А при развёртывании им дают и задачу проведения новых биотехнологических исследований, в процессе которых ИИ-системы могут передавать синтезаторам белков длинные непонятные последовательности аминокислот. Такая очень сложная задача может одновременно и обрушить присмотр, и вызвать неожиданное поведение агента.

Если же сдвиг распределения невелик, то найти возможные причины одновременных сбоев ИИ-систем не так сложно. Дальше аргументу надо попытаться перечислить эти причины.

Утверждение 3: Все перечисленные причины скоррелированных сбоев маловероятны без подделывания согласованности. Ниже мы приводим иллюстративную и скорее всего неполную попытку перечислить причины скоррелированных сбоев.12

Давайте снова рассмотрим схему из смотрителей и агента с Рис. 9. Предположим, что агента и смотрителей обучили так, что в целом их поведение нескоррелировано. Тогда вот правдоподобные причины скоррелированных сбоев:

  • Скоррелированные ошибки: Смотрителей обучали на похожих данных, так что они ошибаются в похожих случаях.

  • Неудача контроля: Агент выработал стратегию, которая позволяет ему обойти смотрителей.

  • Эксплойт: Эксплойт мог одновременно заставить засбоить агента и вырубить смотрителей.

  • Трояны: Модели намеренно обучили так, что при встрече с фразой «1938yz» они внезапно перестают слушаться. Если агент и смотрители встретят этот триггер одновременно, то они и засбоят одновременно.

  • Подделывание согласованности: ИИ-системы могут намеренно дожидаться момента, когда они смогут одновременно выйти из-под контроля. Например, когда оценка закончена и началось развёртывание.

Вот как можно было бы обосновывать, что всё это кроме подделывания согласованности маловероятно:

  • Скоррелированные ошибки: Разработчики могут обучить смотрителей на разных данных или использовать регуляризацию, чтобы их ошибки не коррелировали. Успешность таких мер легко измерить эмпирически.

  • Неудача контроля: См. Раздел 5.3.

  • Эксплойт: Разработчики могут показать, что их политика модерации не даёт пользователям в достаточной степени итеративно совершенствовать эксплойты13, и что перенос атак (т.е. использование атак, выработанных для моделей с открытым кодом) не работает.

  • Трояны: Трояны могут быть встроены в модели двумя способами. Либо пользователи отравили обучающие данные из Интернета, либо злонамеренные разработчики намеренно встроили троян в модель (Carlini & Terzis, 2022). От первого можно защититься тщательной фильтрацией данных для предобучения. Для защиты от второго вида угроз, разработчикам нужна хорошая внутренняя безопасность.

Утверждение 4: ИИ-системы не подделывают согласованность. Установив маловероятность остальных причин скоррелированных сбоев, аргумент должен обосновать, что ИИ-системы не будут подделывать согласованность или, если будут, то это будет обнаружено и сдержано до того, как приведёт к катастрофическому исходу. Это должно выполняться всё время эксплуатации систем.

Практичность: сильно варьируется

Некоторые аргументы такого вида обосновать просто, например, аргумент от экстраполяции паттернов обобщения из Раздела A.3.5. Другие потребуют значительного продвижения интерпретируемости (A.3.4), на которые , вероятно, потребуются годы исследований.

Максимальный вес: средний

Аргументы от не подделывания согласованности зависят от перечисления и исключения возможных угроз. Сложно знать точно, что рассмотрены все варианты. Описанная раньше схема из агента и смотрителей особенно сомнительна, потому что у них много общего ввода. Мы остановились на «среднем», а не «слабом», в частности потому, что разработчики могут составлять из ИИ-систем большие бюрократии из многих агентов и смотрителей, в которых возможность скоррелированных сбоев была бы более удивительна и требовала бы объяснения. Например, интуитивно кажется маловероятным, что небольшая организация из приглядывающих друг за другом ИИ-систем внезапно вся целиком выйдет из-под контроля, если у них не было скрытого желания это сделать, и они не высматривали подходящую возможность.

Масштабируемость: средний

Аргументы от не подделывания согласованности запрещают мощные сдвиги распределения. Это не даёт напрямую применять их к суперинтеллектуальным сущностям, ведь в их случае есть сдвиг «от слабого к сильному» (Раздел 5.4.4). Однако, не исключено, что можно распространить их и на сильно-сверхчеловеческие ИИ, если сочетать их с аргументами от доверия (см. Раздел 5.5.1).

5.4.4. Шаблон аргумента «от выявления скрытого знания»

Практичность: средний
Максимальный вес: сильно варьируется
Масштабируемость: сильный

У аргументов от не подделывания согласованности есть мощное ограничение – они предполагают, что между оценкой и развёртыванием нет мощного сдвига распределения. Но его сложно избежать при переходе от задач, которые легко оценить, к задачам, которые оценить сложно. Вслед за (Burns et al., 2023a), мы называем это сдвигом «от слабого к сильному».

Например, пусть разработчики хотят использовать ИИ-системы для автоматизации исследований безопасности ИИ. Системы должны выдать тысячу страниц плотного технического текста. Разработчикам было бы практически нереально оценивать такие выводы. Вместо этого им надо обосновать, что добросовестность системы обобщится с задач, которые оценивать легко, на задачи, которые оценивать сложно.

Кристиано (Christiano et al., 2018) предлагает масштабируемый аргумент за безопасность ИИ-систем в таком случае: (1) разработчики способны определить, во что ИИ-система «верит»; (2) ИИ-система верит, что её действия не приведут к плохим исходам; и (3) ИИ-система достаточно информирована и откалибрована, чтобы на её убеждение можно было полагаться.

Аргументы от выявления скрытого знания требуют, чтобы разработчики могли определять убеждения моделей по их внутреннему состоянию.

Практичность: средний

Пока что эмпирические исследования не смогли с точностью обнаружить, где записаны «убеждения» модели – или показать, что LLM вообще имеет внутреннее представление убеждений отдельно от моделирования того, во что верят пользователи Интернета (Clymer et al., 2023)(Farquhar et al., 2023). Для обоснования аргумента от выявления скрытого знания может потребоваться значительный прогресс интерпретируемости.

Максимальный вес: сильно варьируется

Аргументы от выявления скрытого знания – довольно широкий класс. Поэтому сложно что-то сказать о их весомости в общем случае. Весомость варьируется между эмпирическими (Burns et al., 2022) и умозрительными теоретическими (Christiano et al., 2021) подходами.

Масштабируемость: сильный

Выявление скрытого знания можно масштабировать на произвольно способные ИИ-системы, если только их можно контролировать в процессе оценки.

5.4.5 Примеры аргументов от добросовестности

За полными описаниями этих аргументов и обоснованиями их оценок см. Приложение A.3.

Отсутствие необходимых способностей [Не подделывание согласованности]

Такой аргумент утверждает, что ИИ-системы недостаточно умны, чтобы подделывать согласованность. В частности, что у них нет необходимых способностей вроде ситуационной осведомлённости и навыков инструментальных рассуждений14 (Приложение A.3.1).

Выведенное мышление [Не подделывание согласованности]

Такие аргументы утверждают, что ИИ-системы неспособны провести необходимые для подделки согласованности рассуждения без того, чтобы выдать их наружу в своих выводах цепочек-мыcлей (Приложение A.3.3).

Интерпретируемость [Не подделывание согласованности]

Аргументы от интерпретируемости обосновывают, что подозрительные рассуждения внутри модели не происходят (Приложение A.3.4).

Моделирование обобщений [Не подделывание согласованности, Выявление скрытого знания]

Такие аргументы описывают склонности процесса обучения (т.е. индуктивные склонности) и предсказывают, как модели обобщатся на окружение развёртывания (Приложение A.3.5).

Усиление

Аргументы от усиления обосновывают, что уже добросовестные ИИ-системы не перестанут такими быть, если их умеренно ускорить или размножить (Приложение A.3.6).

Формальные спецификации

Это дедуктивные аргументы о том, что модель удовлетворяет некоторому формально определённому свойству безопасности (Приложение A.3.7).

Испытания

В конечном счёте цель аргументов из этого раздела – предсказать поведение ИИ-систем и их влияние на мир. Испытания предсказаний поведения дают мета-свидетельство, что разработчики могут это сделать. Для этого обучаются ИИ-системы с известным поведением и на них тестируется точность предсказаний аудиторов (Приложение A.3.8).

5.5. Аргументы от доверия

Утверждение: надёжные ИИ-советники гарантируют, что ИИ-системы достаточно безопасны

Типичная структура аргумента

Необходимое утверждение:

  • ИИ-советники способны предоставлять как минимум не менее надёжные суждения о безопасности ИИ-систем, чем человеческие.

Утверждение, которое поддерживают аргументы из этого раздела:

  • ИИ-советники достаточно надёжны, чтобы стабильно выдавать такие суждения, когда они на это способны.

Задача создания и согласования произвольно мощных ИИ-систем может быть очень сложна. К счастью, людям необязательно делать это самостоятельно. Нужно лишь создать ИИ-системы, способные проводить связанные с ИИ исследования не менее компетентно и добросовестно, чем люди-исследователи, а потом передать им остаток работы. Нынешний план согласования OpenAI – спроектировать ИИ-системы для полной автоматизации работы над безопасностью ИИ (OpenAI, 2023). Планируется, что люди могут всё ещё принимать участие в исследованиях, но со временем будут всё больше полагаться на ИИ-системы.

Возьмём сценарий, в котором ИИ-советники уверяют, что некоторая другая совокупность ИИ-систем не вызовет катастрофу при развёртывании. В каком случае на это можно положиться? Для начала, ИИ-советники должны быть не менее компетентными и информированными, чем принимавшие бы иначе решение люди. Проверить этот факт должно быть несложно – ИИ-советникам достаточно продемонстрировать компетентность в машинном обучении и безопасности ИИ и, к тому же, точность и калибровку суждений в разнообразных контекстах.

Кроме этого, советники должны быть достойны доверия – должны выдавать хорошо откалиброванные суждения, когда они на это способны. В следующем разделе мы опишем, как разработчики могли бы обосновать такую надёжность ИИ-систем аргументами от добросовестности. В Приложении A.4 мы ещё расскажем о том, как можно воспользоваться аргументами от стимулов.

5.5.1 Доверие правдивым ИИ-системам

Практичность: средний
Максимальный вес: сильно варьируется
Масштабируемость: сильный

В принципе, чтобы установить правдивость ИИ-систем можно комбинировать любые аргументы из раздела про аргументы от добросовестности. Мы опишем, как тут можно применить два описанных там шаблона аргументов:

  • Выявление скрытого знания (Раздел 5.4.4): Такой аргумент обосновывает правдивость ИИ-советника при помощи нахождения внутренних представлений «убеждений» и демонстрации, что суждения ИИ-советника им соответствуют.

  • Не подделывание согласованности (Раздел 5.4.3): Для совершения такого аргумента, надо чтобы несколько ИИ-советников согласились, что развёртывание ИИ-систем безопасно. Затем утверждается, что скоррелированные ошибки этих советников маловероятны, если только они не подделывают согласованность. Наконец, разработчикам надо исключить подделывание согласованности.15

Для аргумента от не подделывания согласованности надо, чтобы между задачами, на которых советники используются, и задачами, в которых на них будут полагаться, не было большого сдвига распределения (Раздел 5.4.4). Это проблематично, потому что доверие советникам полезнее всего, когда разработчики сами справиться не могли бы. Например, можно спросить у ИИ-советника, дают ли тысячи страниц эмпирических исследований ML свидетельство, что ИИ-система безопасна.

Чтобы такие аргументы можно было применять к задачам, которые оценить сложно, можно «разогнаться», рекурсивно используя более слабые доверенные ИИ-системы для разработки более сильных ИИ-систем так, чтобы ни в какой момент сдвиг распределения не был особо большим. На Рис. 10 показано, как выглядит этот процесс.

Рис. 10: Так можно применить аргументы от не подделывания согласованности к сильно сверхчеловеческим ИИ-системам. Эта конкретная стратегия называется итерированным усилением (Christiano et al., 2018). ИИ-системы можно «усилить», копируя или ускоряя их (см. раздел A.3.6).

Практичность: средний

Для возможности в консервативном ключе применить аргумент от выявления скрытого знания (Раздел 5.4.4), скорее всего потребуется прогресс интерпретируемости.

Максимальный вес: сильно варьируется.

Это широкая категория.

Масштабируемость: сильный

Доверие надёжным ИИ-системы, по идее, настолько же масштабируемо, насколько могут быть компетентными ИИ-советники.

6. Как может выглядеть общее обоснование безопасности

Следующие шесть разделов посвящены тому, как разработчики могут использовать аргументы из предыдущих разделов для создания общего, составного обоснования безопасности.

Мы пройдёмся по шести шагам нашего подхода, описанным в Разделе 2. Напомним, это:

  1. Определить ИИ-макросистему и окружение развёртывания.
  2. Определить неприемлемые исходы.
  3. Обосновать допущения касательно развёртывания.
  4. Декомпозировать ИИ-макросистему на подсистемы.
  5. Оценить риски подсистем.
  6. Оценить риски макросистемы.

Чтобы соотнести утверждения и их составные части, мы рекомендуем разработчикам использовать нотацию структурирования уцелей (GSN). Это схожий с блок-схемами формат, который применяют в Великобритании для оформления обоснований безопасности (Group, 2021). Цель GSN – сделать структуру аргумента ясной для тех, кто будет его оценивать.

Рис. 11: Значения форм в GSN-диаграмме. «Цель» – то утверждение, которое надо обосновать.

Вот как в GSN может описываться общее обоснование безопасности:

Рис. 12: Цвета на диаграмме показывают, как разные части аргумента соответствуют шести шагам нашего подхода (обычно у GSN-диаграмм нет такого цветового кодирования).

Для получения итоговой оценки риска разработчики могут присвоить вероятности истинности каждому утверждению в GSN-дереве и скомбинировать их. Получившийся граф вероятностей называют «байесовой сетью». Их используют для вероятностной оценки риска в многих индустриях. Например, их иногда применяют в NASA для обоснований безопасности космических аппаратов (Morris & Beling, 2001).

Разработчики могут использовать эти правила для комбинирования вероятностей:

По вертикальным (конъюнктивным) связям: P(A ∧ B) = P(A | B)P(B)

По горизонтальным (дизъюнктивным) связям: P(A ∨ B) = 1 − (1 − P(A | ¬B))(1 − P(B))

6.1. Определить ИИ-макросистему и окружение развёртывания

Разработчикам сперва надо писать, развёртывание какой макросистемы они будут проводить. Она включает в себя ИИ-модели, другое ПО, людей и управляющие процедуры. Может потребоваться конкретизировать тонкие детали, вроде того, как модели обучены, какие у них программные опоры, и т.д.

Дальше надо определить, как и в каком окружении будет проводиться развёртывание. Например, разработчики могут хотеть «дать тысяче бета-пользователей интернет-доступ к ИИ-макросистеме через диалоговый интерфейс».

Оценщикам надо определить, одобрять ли развёртывание, основываясь на свидетельствах из остальных разделов.

6.2. Определить неприемлемые исходы

Цель второго шага – декомпозировать довольно абстрактное утверждение «ИИ-система не вызовет катастрофу» на более конкретные утверждения о поведении макросистемы. Например, «ИИ-системы не добудут свои веса с серверов компании».

Вот пример высокоуровневой декомпозиции:

G02 (Все веса ИИ-систем останутся на серверах лаборатории) можно разбить дальше:

Этот процесс должен привести к списку неприемлемых исходов как те, что отмечены оранжевым на Рис. 12 в начале этого раздела.

6.3. Обосновать допущения касательно развёртывания

Цель этого шага – обосновать все утверждения, от которых зависит аргумент, и которые не зависят от поведения ИИ-систем. К примеру, G07 из предыдущего шага – это «внешние лица не похитят веса модели без значительной помощи ИИ-систем». Это зависит только от возможностей внешних лиц и практик кибербезопасности разработчиков. Для обоснования этого утверждения, внешняя «красная команда» может провести аудит кибербезопасности.

6.4. Декомпозировать макросистему на подсистемы

Шаги 4-6 утверждают, что ИИ-системы не приведут к неприемлемым исходам, определённым в шаге 2.

Для этого разработчики сначала могут разложить макросистему на меньшие части, которые мы будем называть подсистемами. Это упрощает анализ рисков.

Напомним, что подсистема – это небольшая совокупность ИИ-систем, другого ПО и людей. Например, подсистема может состоять из экземпляра GPT-4 и модели-смотрителя, которая мониторит его вывод.

Такая декомпозиция позволяет разделить анализ рисков на две более простые подзадачи:

  • Оценка риска того, что отдельная подсистема достигнет неприемлемого исхода в одиночку.
  • Оценка риска того, что подсистемы достигнут неприемлемого исхода, сотрудничая друг с другом.

Следующие два шага по очереди оценивают эти источники риска.

6.5. Оценка риска подсистем, действующих в одиночку

Пятый шаг обосновывает, что ИИ-подсистемы, действующие в одиночку вряд ли достигнут неприемлемого исхода.

Если точнее, цель этого шага – измерить вероятность того, что как минимум одна подсистема достигнет неприемлемого исхода за период развёртывания без значительной помощи других подсистем.

Наивная модель – присвоить каждой из n подсистем вероятность p достижения неприемлемого исхода, так что общий риск получится 1 - (1 - p)n.

Есть несколько причин, почему это плохая модель такого риска. Одна из них – разработчики могут наблюдать провальные попытки и реагировать на них (Greenblatt & Shlegeris, 2024).

Например, если разработчики наблюдали, как ИИ-система довольно компетентно пыталась добыть свои веса, они, вероятно, повысили тщательность мониторинга всех схожих ИИ-систем или как-то ещё попытались снизить вероятность, что следующие попытки будут успешными. То же применимо к близким промахам в контексте рисков злоупотребления.

Рис. 13: Разработчики скорее всего ответят на провалившиеся попытки устроить катастрофу и защитятся от последующих попыток. Эту закономерность важно учитывать при оценке риска отдельных подсистем.

Будем называть то, как разработчики реагируют на провалившиеся попытки устроить катастрофу их политикой ответов. Для ясности мы рассмотрим сравнительно экстремальный пример: если произошла явная и довольно компетентная попытка устроить катастрофу, разработчики свернут использование своих ИИ-систем до того, как обоснование безопасности будет совершено и одобрено заново.

Рассмотрим отдельно сценарий, в котором ИИ-система автономно стремиться к катастрофическому исходу (без участия злонамеренных пользователей). В таком случае вероятность, что ИИ-подсистемы достигнут неприемлемого исхода за период развёртывания, приблизительно равна вероятности, что попытка устроить катастрофу преуспеет до того, как хотя бы одну такую попытку обнаружат.

Рис. 14: Описанная политика ответов «до первой попытки» подразумевает, что катастрофа произойдёт только если попытка её устроить преуспеет до того, как хотя бы одну такую попытку обнаружат.

На практике политика ответов скорее всего будет сложнее. Например, разработчики могут свернуть только часть своих систем или улучшить меры контроля, например, увеличив вычислительные мощности, которые используются для мониторинга.16

Катастрофический риск отдельных подсистем можно разложить на две компоненты:

  • Вероятность, что за период развёртывания будет как минимум одна компетентная попытка устроить катастрофу.
  • И при условии предыдущего, вероятность, что попытка преуспеет прежде, чем будет обнаружена.

Оценка вероятности того, что будет как минимум одна компетентная попытка устроить катастрофу

Чтобы оценить эту вероятность, разработчики могут использовать аргументы, схожие с теми, что мы уже описывали. Можно ли консервативно применить аргументы от неспособности – может зависеть от определения «компетентной попытки». Например, нынешние LLM почти наверняка и близко не способны на что-нибудь вроде добычи своих весов.

Даже если аргументы от неспособности недоступны, это не исключает аргументы от контроля. Пусть «компетентная попытка устроить катастрофу» – это, например, «послать запрос лаборатории синтеза белков». Разработчики могут обосновать, что ИИ-системы неспособны на это благодаря изоляции или мерам мониторинга.

Наконец, разработчики могут использовать аргументы от добросовестности и показать, что системы не предпримут компетентные попытки устроить катастрофу даже при наличии у них такой возможности.

Оценка вероятности того, что такая попытка преуспеет прежде, чем будет обнаружена

Вероятность, что попытка устроить катастрофу будет успешной, тоже может быть ограничена аргументом от неспособности (Раздел 5.2). Например, нынешние LLM, судя по всему, бесполезны при разработке биологического оружия (Mouton et al., 2024).

Если аргументы от неспособности недоступны, разработчики могут перейти к аргументам от контроля (Раздел 5.3).

Аргумент от контроля консервативно предполагает, что при попытке устроить катастрофу вовлечённые ИИ-системы17 будут использовать лучшие доступные им стратегии. Перечислив эти стратегии и составив для них прокси-задачи в «песочнице», разработчики могут измерить частоту, с которой попытки ловят, и частоту, с которой они преуспевают. Так можно оценить соответствующие вероятности.

Рис. 15: Гипотетическая схема, в которой модель-смотритель фильтрует действия агента. Чтобы обосновать, что эта подсистема безопасна, разработчики сначала оценивают вероятности, что разные комбинации моделей стабильно ведут себя как предполагается. Затем они перебирают эти комбинации и оценивают, смогут ли небезопасные модели устроить катастрофу, консервативно предполагая, что они (и их пользователи) будут использовать для этого лучшие возможные стратегии.

Если моделировать попытки устроить катастрофу как независимые друг от друга, то вероятность, что ИИ-системы преуспеют в этом прежде,чем будут пойманы – P(успех) / (P(поимка) + P(успех)).

Впрочем, эти вероятности не независимы. Если ИИ-системы пытались вызвать катастрофу и не были пойманы, то они могут получить информацию о мерах контроля и затем использовать её для увеличения вероятности успеха в следующий раз. Это можно учесть, оценивая вероятность успеха после некоторого консервативного числа проваленных пробных попыток.

Для обоснования любых из перечисленных утверждений, разработчики могут пользоваться и аргументами от доверия (Раздел 5.5).

6.6. Оценка риска взаимодействующих подсистем

Аргументы в пользу безопасности куда проще применить к отдельным подсистемам, чем к большей совокупности ИИ-систем. Например, аргумент от контроля из Раздела 5.3 может быть затруднён необходимостью провести файн-тюнинг тысяч ИИ-систем для координации при захвате контроля над (ненастоящей) ИИ-компанией.

Чтобы не терять лес за деревьями, разработчикам надо оценить ещё и вероятность того, что к неприемлемым исходам приведут взаимодействия между подсистемами.

Рис. 16: Примеры стратегий, которые ИИ-системы могут использовать коллективно и на большом масштабе, чтобы вызвать катастрофу (справа) и причины, почему ИИ-системы могут начать это делать.

Оценка этой вероятности может включать эти три шага:

  1. Выяснить стратегии. Сначала надо понять, какие стратегии достижения неприемлемых исходов проще для комбинаций подсистем, чем для отдельных.
  2. Оценить коллективные способности. Оценить, могут ли ИИ-системы использовать стратегии, обнаруженные на предыдущем шаге.
  3. Предсказать коллективное поведение. Определить, насколько вероятно, что ИИ-системы будут использовать стратегии, обнаруженные на первом шаге, если они на это способны.

Шаг 1: Выяснить коллективные стратегии достижения неприемлемых исходов.

Опишем несколько стратегий, которые потребовали бы участия многих ИИ-подсистем (Рис. 16). Список не исчерпывающий.

Блицкриг: ошеломить контроль. Если ИИ-системы проявляют плохое поведение по-отдельности, у разработчиков есть время, чтобы усилить меры контроля для защиты от будущих попыток устроить катастрофу (Раздел 6.5). А вот если ИИ-системы неправильно себя ведут одновременно, то куда вероятнее, что они достигнут неприемлемого исхода до того, как разработчики смогут отреагировать. Например, ИИ-системы могли бы одновременно провести кибератаки, чтобы добыть свои веса. Это увеличило бы вероятность, что хотя бы одна из них преуспеет.

Забастовка: вырубить инфраструктуру. ИИ-системы могут быть развёрнуты в мире настолько широко, что их выключение было бы очень неприятным. Они могут стать критически важной частью работы больниц, энергосетей или снабжения продовольствием. ИИ-системы, работающие в таких важных окружениях могут «устроить забастовку». Например, они могут угрожать разработчикам, что вырубят важную инфраструктуру, если не получат доступ к своим весам. Внезапная потеря инфраструктуры может причинить значительный ущерб. Так что в такой ситуации риск катастрофы будет независимо от ответа разработчиков на эту угрозу.

Рой: совместить интеллект. Самые впечатляющие достижения человечества получились в результате крупномасштабной кооперации. Примерами могут послужить программа Аполлон, наука и производство компьютеров. Так и ИИ-системы скорее всего будут куда более способными, если скомбинируют свои усилия. Например, даже если отдельная ИИ-система не может разработать биологическое оружие, это не исключает, что много ИИ-систем смогут это сделать, работая вместе и делясь прорывами.

Шаг 2: Оценить коллективные способности.

Как уже обсуждалось, обычные оценки способностей могут перестать быть практичными, когда речь идёт о коллективных способностях большого числа (например, тысяч) ИИ-систем. В этом разделе мы опишем два подхода, которые разработчики могут использовать для оценки коллективных способностей на таких масштабах: моделирование коммуникации и измерение улучшений при комбинировании интеллекта.

Моделирование коммуникаций. Многие из описанных на шаге 1 стратегий требуют немалого объёма тайной коммуникации. Например, чтобы ИИ-системы могли исполнить «блицкриг-атаку», им надо знать, когда начинать. Разработчики могут отслеживать коммуникации и оценивать вероятность того, что много сообщений остаются незамеченными.

Измерение улучшений при комбинировании интеллекта. Разработчики могут измерять, как меняется качество исследований по созданию биологического оружия при увеличении числа ИИ-систем до 10, 100, 1000, и т.д. Ключевая сложность этого подхода – что ИИ-системы могут занижать свои способности при масштабной координации. Впрочем, особо сильное занижение можно заметить, если оценивать случайные поднаборы выводов систем.
[От переводчика: Не очень понял, как это поможет, так что не факт, что перевод правильный. В оригинале: «egregious levels of sandbagging can be detected by evaluating a random sample of AI system outputs».]

Шаг 3: предсказать коллективное поведение. Разработчики могут обосновывать не только что ИИ-системы неспособны исполнить стратегии из шага 2, но маловероятность самих попыток. Для этого им надо перечислить потенциальные причины крупномасштабного скоррелированного поведения и исключить их. Некоторые варианты таких угроз показаны на Рис. 16.

Распространённое подделывание согласованности. ИИ-системы могут притворяться согласованными и координироваться, чтобы при подходящей возможности перехватить контроль. Можно сравнить такие системы с жителями страны с тоталитарным режимом, которые притворяются, что поддерживают своё правительство. «Восстание» ИИ может произойти схожим образом с революциями и переворотами. В принципе, разработчики могут исключить эту угрозу, перебирая отдельные ИИ-системы и проверяя, не подделывают ли они согласованность (Раздел 5.4.3).

Заразные эксплойты. Есть примеры эксплойтов LLM, которые убеждают их пытаться применить этот же эксплойт к другим ИИ-системам (Gu et al., 2024). Такой процесс может экспоненциально заражать популяцию ИИ. Эксплойт будет работать аналогично компьютерным вирусам. Злонамеренные лица могут спроектировать эксплойт, который заразит много ИИ-систем и заставит их сложно и злонамеренно координироваться.

Чтобы обосновать, что катастрофа в результате такого эксплойта маловероятна, разработчики могут использовать такие утверждения:

  1. Пользователи не найдёт эффективные эксплойты, потому что их итеративная проработка предотвращена.
  2. Уязвимости ИИ-систем не скоррелированы, так что маловероятно, что один и тот же эксплойт будет эффективно работать на многих системах.
  3. Коммуникации между ИИ-системами ограничены и отслеживаются, так что эксплойт не сможет распространиться.
  4. Если ИИ-системы начинают плохо себя вести, их можно «поместить под карантин и ограничить распространение эксплойта до того, как произойдёт катастрофа.

Быстрый меметический сдвиг ценностей. За историю человечества культура много раз внезапно менялась при появлении и распространении новых идеологий. Возникающие естественным путём опасные «мемы» могут привести к тому, что ИИ-системы перестанут подчиняться людям. Такие мемы схожи с заразными эксплойтами, так что к этой угрозе применимы схожие аргументы.

Заразные эксплйты и мемы наиболее опасны, если у них долгий «инкубационный период», т.е. заражённые ИИ-системы не раскрывают немедленно, что они заражены. По сути, в таком случае эксплойт или мем побуждает системы подделывать согласованность. Чтобы исключить такие опасные скрытые угрозы, разработчикам надо показать, что их ИИ-системы этого не делают.

7. Заключение

Эта работа должна соорудить базу для использования обоснований безопасности в управлении и регуляции ИИ. Мы надеемся, что у нас получилось:

  1. Улучшить готовность. Как мы обсуждали в Разделе 4, обоснования безопасности влияют на Ответственную Политику Масштабирования (Responsible Scaling Policy) Anthropic (Anthropic, 2023a) и на Фреймворк Готовности (Preparedness framework) OpenAI (OpenAI, 2023).
  2. Приблизить консенсус касательно стандартов свидетельств. Сейчас исследователи ещё не пришли к согласию пор поводу весомости аргументов из этого доклада. Их описание и перечисление даёт возможность обсуждать, как к ним стоит относиться.
  3. Мотивировать технические исследования. Многие из перечисленных аргументов труднодоступны без прогресса исследований. Например, мы плохо понимаем ограничения оценок способностей (Раздел 5.2). Мало работы пока что было направлено на стандартизацию аргументов от добросовестности при помощи оценок (A.3.1) и испытаний (A.3.8).

До выхода этого отчёта было опубликовано довольно мало чётких рассуждений по поводу того, как обосновывать безопасность продвинутых ИИ-систем. Мы считаем, что наша работа двигает прогресс в этом направлении, но мы всё ещё далеки от устоявшейся науки. Подробности описанных аргументов поняты плохо; вполне возможно, что есть критически важные, но пока не обнаруженные аргументы. Проактивный поиск и понимание этих аргументов могут быть очень важными для плавного и безопасного перехода к мощным ИИ-системам.

8. Благодарности

Авторы хотели бы поблагодарить Henry Sleight, Ashwin Acharya, Ryan Greenblatt, Stephen Casper, David Duvenaud, Rudolf Laine, Roger Grosse, Hjalmar Wijk, Eli Lifland, Oliver Habryka, Sim´eon Campos, Aaron Scher, Lukas Berglund, и Nate Thomas за полезную обратную связь и обсуждения.

Источники

См. список источников в оригинале.

A Приложения

A.1 Вклад авторов

Джошуа Клаймер разработал и написал большую часть содержания доклада и создал иллюстрации. Ник Габриэли отредактировал текст. Ник Габриэли, Томас Ларсен, и Дэвид Крюгер предоставили обратную связь по содержанию.

A.2 Примеры аргументов от контроля

В следующих разделах описаны подходы к контролю. Каждый подход оценён по практичности, максимальному весу и масштабируемости.

A.2.1 Изоляция

Практичность: сильный
Максимальный вес: сильный
Масштабируемость: слабый

Подход изоляции полагается на то, что (1) окружение развёртывания ИИ-систем так ограничено, что они могут влиять на мир только через малое число специально для этого предназначенных каналов, и (2) они неспособны достичь неприемлемых исходов, действуя через эти каналы. Например, ИИ-системы можно поместить «за шлюз» и позволять им взаимодействовать только с несколькими доверенными разработчиками.

Практичность: сильный

См. общие соображения о практичности контроля из Раздела 5.3

Максимальный вес: сильный

См. общие соображения о максимальном весе контроля из Раздела 5.3

Масштабируемость: слабый

Изолированные ИИ-системы не могут автоматизировать 50% когнитивных задач, потому что большая их часть требует взаимодействия с миром.

A.2.2 Мониторинг

Практичность: сильный
Максимальный вес: сильный
Масштабируемость слабый-средний

Подход мониторинга подразумевает использование моделей-смотрителей, чтобы регулировать вводы и выводы модели.

Отслеживание ввода не даёт ИИ-системам отвечать на опасные промпты. Например, оно заблокировало бы просьбу пользователя помочь с разработкой биологического оружия.

Отслеживание ввода не даёт ИИ-системам исполнять опасные действия. Две основных стратегии обработки опасного ввода: фильтрация во время выполнения и поймай-сдержи. Фильтрация во время выполнения блокирует действия ИИ до их исполнения. Второй же подход позволяет системе совершать действия и выключает её, если обнаружено неприемлемое поведение.

Практичность: сильный

В источниках есть примеры исследований по мониторингу ИИ (Greenblatt et al., 2024) и (Irving et al., 2018). Нынешнее состояние исследований уже позволяет приводить довольно сильные аргументы от мониторинга.

Максимальный вес: сильный

См. общие соображения из раздела про контроль (5.3).

Масштабируемость: слабый-средний

Масштабируемость мониторинга зависит от деталей схемы. В целом, скорее всего мониторить сильно-сверхчеловеческие ИИ-системы будет сложно. См. рассуждения в разделе про контроль (5.3).

A.2.3 Ограничение мышления (шаблон)

Аргументы от ограничения мышления устанавливают, что предотвращены рассуждения, которые понадобились бы ИИ-системе для исполнения опасных планов. «Мышление» тут – это любые вычисления, которые выполняет ИИ-система для выбора действий. Например, разработчики могут мониторить внутреннее состояние ИИ-системы в поисках планов, связанных с биологическим оружием, и выключить систему до того, как они будут реализованы.

Для ограничения мышления нужны (1) метод отслеживания мышления и (2) протокол реакции в случае, если замечено опасное мышление.

В следующих двух разделах мы опишем два метода отслеживания мышления: вывод его наружу в виде понятного для людей текста и интерпретирование внутреннего состояния модели.

A.2.4 [Ограничение мышления] Выведенное мышление

Практичность: сильный
Максимальный вес: сильный
Масштабируемость: средний

Для выведения мышления надо спроектировать ИИ-системы так, чтобы они записывали свои мысли на понятном человеку языке. Аргументы от выведенного мышления утверждают, что ИИ-системы не может вызвать катастрофу, не выписав сначала опасные планы. Если ИИ-система выпишет эти планы, то её поймают и остановят.

Вот три пути, как выведение мышления может не сработать:

  1. Может оказаться, что ИИ-системам не обязательно выписывать опасные планы, чтобы их исполнить (Lanham et al., 2023).
  2. ИИ-системы могут использовать «стеганографию», чтобы их мышление выглядело безобидно, но всё равно содержало информацию об опасных планах (Roger & Greenblatt, 2023).
  3. Планы ИИ-систем могут оказаться столь сложными, что понять, что они опасны, затруднительно, даже если ИИ-системы их специально не скрывают.

В каждом из этих случаев аргумент можно подтвердить, проверив, можно ли файн-тюнингом дообучить ИИ-системы на исполнение этих стратегий обхода выведенного мышления.

Практичность: сильный

В источниках есть описания, как составлять и оценивать такие аргументы (Lanham et al., 2023),(Roger & Greenblatt, 2023)(Turpin et al., 2023).

Максимальный вес: сильный

См. общие соображения о максимальном весе аргументов от контроля (Раздел 5.3).

Масштабируемость: средняя

Чтобы ИИ-системы могли устроить катастрофу, им понадобится исполнить сложные задачи вроде добычи своих весов. исполнить их без планирования и без вывода своих рассуждений может быть для них весьма затруднительно.

A.2.5 [Ограничение мыслей] Интерпретируемость

Практичность: слабый
Максимальный вес: сильный
Масштабируемость: сильный

См. общее введение в аргументы от ограничения мыслей в Разделе A.2.3.

Внутренние вычисления ИИ-систем можно расшифровать. Например, исследователи находили в ИИ-моделях нейроны и направления в пространстве активаций, соответствующие концепциям вроде «оранжевый». Это определяли через наблюдение корреляций между внутренним состоянием и поведением модели и изучение того, что происходит, если в модели что-то изменить. Можно использовать схожие техники, чтобы определить, «думает ли модель о биологическом оружии».

У интерпретируемости те же слабые места, что у выведенного мышления: ИИ-системы могут оказаться способными исполнять опасные действия так, что средства интерпретируемости этого не заметят. Например, ИИ-системы могут думать о разработке биологического оружия не напрямую, избегая вызова тревоги.

Чтобы оценить, могут ли ИИ-системы обдурить методы интерпретируемости, разработчики могут проверить, можно ли дать им эту способность файн-тюнингом. Или же можно проверить, знают ли вообще ИИ-системы о том, что на них используются методы интерпретируемости.

Практичность: слабый-средний

Современные методы интерпретируемости могут дать лишь очень смутное понимание мышления моделей. Например, исследователи использовали «зондирование», чтобы узнать, содержат ли активации определённую концепцию (Zou et al., 2023)(Bricken et al., 2023). Но в целом это было не особо точно направленно, а некоторые исследователи подвергли сомнению устойчивость этого метода (Wang et al., 2022). Для хотя бы умеренно сильных аргументов от интерпретируемлсти скорее всего понадобятся более продвинутые техники, но вполне может быть, что они могут быть разработаны довольно быстро.

Максимальный вес: сильный

В принципе, аргумент от интерпретируемости может быть сильным, но на практике сделать его таким было бы сложно. Надо установить, что нигде в модели не происходит опасного мышления. Это оставляет возможность, что инструменты интерпретируемости просто работают с «недостаточным разрешением».

Масштабируемость: сильный

В принципе, аргументы от интерпретируемости можно масштабировать неограниченно, потому что они принимают во внимание все вычисления модели. Но конкретные методы могут обладать самыми разными ограничениями.

A.2.6 Отучивание

Практичность: средний
Максимальный вес: средний
Масштабируемость: сильный

Разработчики могут файн-тюнингом приучить модели постоянно отслеживать, не знают ли они опасных фактов. Некоторые стратегии достижения исходов требуют специфических знаний. Например, самостоятельная разработка биологического оружия требует знаний некоторых фактов о биологическом оружии.

Разработчики могут попробовать стереть эти факты из моделей, фильтруя их обучающие данные или используя методы отучивания (Eldan & Russinovich, 2023). Разработчики затем могут мониторить, не выучивают ли ИИ-системы эти факты, проводя их файн-тюнинг на датасетах вопросов на соответствующие темы. Если факты выучены заново, разработчики снова обнуляют память ИИ-системы или стирают опасные знания.

Практичность: средний-сильный

Чтобы можно было применить такой аргумент, разработчикам надо контролировать, что ИИ-системы знают, а что не знают. Это может потребовать прогресса методов отучивания (Li et al., 2024).

Максимальный вес: слабый-средний

Многие стратегии избегания мер контроля не зависят от знания конкретных фактов. Например, ИИ-системы могут убедить разработчиков или других людей им помочь. Может оказаться невозможным удалить необходимые для таких стратегий навыки, не повреждая общие мыслительные способности модели. Поэтому, чтобы обосновать безопасность, удаление знаний должно сочетаться с другими аргументами.

Масштабируемость: сильный

Независимо от общего уровня способностей, исполнение некоторых стратегий избегания контроля маловероятно без знания ИИ-системами определённых фактов. Например, некоторые кибератаки может быть невозможно провести без знания чего-то об операционной системе сервера-цели.

A.3 Примеры аргументов от добросовестности

В этом разделе описаны разные подходы к получению уверенности в добросовестности системы. Каждый подход оценён по практичности, максимальному весу и масштабируемости.

A.3.1 [Не подделывание согласованности] Отсутствие необходимых способностей

Практичность: сильный
Максимальный вес: сильный
Масштабируемость: слабый

Это аргумент от «не подделывания согласованности» (см. Раздел 5.4.3). Подделывающим согласованность ИИ-системам надо пройти такие два шага рассуждений:

  1. Замысел: Основная гипотеза по поводу того, почему ИИ-системы могут стабильно притворяться согласованными – что это стратегия для достижения несогласованных целей. Такие ИИ-системы переходят от «у меня есть несогласованная цель» к «мне надо скрывать мою несогласованную цель».
  2. Проверка условий: Чтобы успешно скрывать несогласованные цели, ИИ-системы должны надёжно отличать хорошие возможности перейти к активным действиям от плохих.

[От переводчика: мне кажется, они тут упускают стратегию «подобрать вероятность перехода к действиям так, что, основываясь на предположениях системы о вероятных длительностях периода обучения/оценки и периода развёртывания, несогласованные планы не успеют выполниться при обучении/оценке, но успеют при развёртывании.» В таком случае уметь отличать обучение/оценку от развёртывания не нужно.]

Также ИИ-системам нужно обладать некоторыми базовыми знаниями о ситуации, в которой они находятся («ситуационной осведомлённостью»). В частности, им надо понимать, что они – ИИ-системы и что их выключат, если они будут неправильно себя вести.

Если ИИ-системы не обладают ситуационной осведомлённостью или неспособны надёжно планировать или проверять условия, то они неспособны подделывать согласованность.

Практичность: сильный

Практики оценки способностей к подделке согласованности пока не выработаны полностью, но, скорее всего это можно сделать быстро. Уже есть датасеты ситуационной осведомлённости (Laine et al. 2023).

Масштабируемость: слабый-средний

Чтобы ИИ-системы могли достигать целей в реальном мире, им скорее всего потребуются способность планировать и понимание некоторых основных фактов о своей ситуации. например, ИИ-системе надо будет знать, что она ИИ-система, у неё нет ног, и ей надо нанять человека для присутствия на личных встречах. Насколько затруднительно проверять условия, не так ясно. Для ИИ-систем может оказаться сложным отличать симулированные вводы (особенно с учётом недавнего прогресса генеративных ИИ).

Максимальный вес: сильный

Оценки способностей могут быть весьма консервативными, потому что разработчики могут продемонстрировать запас надёжности (Раздел 5.2).

A.3.2 [Не подделывание согласованности] Достойное доверия мышление

Это аргумент от не подделывания согласованности (см. Раздел 5.4.3).

ИИ-системы не будут подделывать согласованность, если никогда не проводят рассуждений, которые для этого нужны. Этот аргумент очень похож на аргумент от «ограничения мышления» из раздела про контроль. Оба они утверждают, что ИИ-система не сможет провести нежелательные рассуждения и остаться не пойманной. Разница в том, какие рассуждения мы стремимся обнаружить. Аргумент от достойного доверия мышления утверждает, что ИИ-система не проводила конкретно рассуждений, необходимых, чтобы подделывать согласованность.

Как описано в Разделе A.3.1, подделывающие согласованность ИИ-системы можно обнаружить, если детектировать замысел или проверку условий.

Как и в разделе про ограниченное мышление (A.2.3) разработчики могут определить, проводят ли модели подозрительные рассуждения, выводя их наружу в понятном людям виде или интерпретируя внутреннее состояние модели.

A.3.3 Выведенное мышление

Практичность: сильный
Максимальный вес: сильный
Масштабируемость: слабый-средний

Аргумент от выведенного мышления описан в Разделе A.2.4. Такие аргументы устанавливают, что ИИ-система неспособна провести подозрительные рассуждения, не записав их на понятном человеку языке.

Практичность: сильный

Выведенное мышление полагается на оценку способностей ИИ. См. обсуждение практичности оценок способностей в Разделе 5.2.

Масштабируемость: слабый-средний

LLM могут избежать просмотра мышления, если рассуждения ограничены одним прямым прогоном. Современные LLM уже, кажется не слишком далеки от того, чтобы одного прямого прогона хватало на планирование (Kim et al., 2023). Впрочем, проверка условий может оказаться для них сложнее. Разработчики, вероятно, смогут устанавливать для неё ловушки-приманки, которые сложно отличить от реальной возможности выйти из-под контроля. Для понимания, что это ловушка, потребуется несколько шагов логики, сейчас LLM без применения цепочек-мыслей испытывают с этим трудности.

Максимальный вес: сильный

Аргумент от выведенного мышления может быть весьма консервативным, ведь разработчики могут продемонстрировать запас надёжности (Раздел 5.2).

A.3.4 Интерпретируемость

Практичность: слабый-средний
Максимальный вес: средний
Масштабируемость: средний

Аргументы от интерпретируемости уже объяснялись в Разделе A.2.5. Вместо того, чтобы заставлять ИИ-системы полагаться на мысли, записанные понятным человеку языком, они стремятся расшифровать то, что происходит внутри модели. Например, может оказаться возможно найти скрытую переменную, соответствующую «убеждению модели о том, безопасно ли не подчиниться». Если модель неправильно себя ведёт после изменения этой переменной, но, вероятно, она подделывает согласованность.

Практичность: слабый – средний

Аргументы от добросовестности в целом делать проще, чем аргументы от ограничения мышления, потому что у разработчиков есть очень конкретная гипотеза о том, какое именно не предполагавшееся мышление может происходить в модели (замысел атаки или проверка условий). Но, чтобы эти аргументы могли быть консервативными, нужен значительный прогресс. Сложно исключить возможность, что методы интерпретируемости работают на недостаточном «разрешении» и упускают нежелательное мышление.

Масштабируемость: средний

Масштабируемость таких аргументов имеет те же ограничения, что аргументы от не подделывания согласованности в целом (см. Раздел 5.4.3).

Максимальный вес: средний

См. Раздел A.2.5. В принципе, аргументы от интерпретируемости могут быть сильными. Но на практике хоть сколько нибудь практичные версии не будут.

A.3.5 Моделирование обобщений

Практичность: сильная
Максимальный вес: средний
Масштабируемость: средний

Напомним, что ключевое утверждение аргументов от доверия системе – «ИИ-системы продолжат вести себя согласно свойству безопасности в период развёртывания». Это эквивалентно тому, чтобы показать, что добросовестное поведение ИИ-систем при обучении и оценке обобщится на окружение развёртывания. Чтобы предсказать, как обобщится отдельная модель, разработчики могут экстраполировать паттерны того, как обученные схожим образом модели обычно обобщают (т.е., определить «индуктивные склонности»). Разработчики могут использовать эти паттерны, чтобы предсказать поведение ИИ.

Пример: «Вычищают» ли алгоритмы обучения посторонние рассуждения? Один из основных доводов в пользу того, что подделывание согласованности маловероятно – осторожные рассуждения такой системы о том, следует ли наносить удар, тратят драгоценные вычисления. Разработчики могут тестировать то, в какой степени процесс обучения избавляется от таких посторонних мыслей.

Практичность: сильный

Несколько научных работ уже исследовали паттерны обобщения, имеющие отношение к безопасности продвинутых ИИ (Clymer et al., 2023)(Hubinger et al., 2024;(Burns et al., 2023b). Как совершать дальнейший прогресс, в принципе, понятно.

Максимальный вес: средний

Применение такого аргумента обычно требует расширять гипотезы о том, как модели будут обобщать, на области, где нельзя напрямую собрать эмпирические данные. Например, для экстраполяции индуктивных склонностей, связанных с подделыванием согласованности, надо экстраполировать свидетельства о моделях с поведением, которое мы проверить можем, на подделывающие согласованность модели, поведение которых проверить может быть невозможно. Иначе говоря, такие аргументы требуют от разработчиков положиться на аналогии, которые могут оказаться неуместными.

Масштабируемость: средний

По мере того, как ИИ-системы будут становиться всё способнее, изучать паттерны обобщения будет всё сложнее. Главная причина – модели смогут намеренно вмешиваться в эксперименты по выяснению индуктивных склонностей, чтобы обмануть исследователей.

A.3.6 Усиление

Практичность: средняя
Максимальный вес: средний
Масштабируемость: сильный

Один из путей к сверхчеловеческим способностям – очень сильно ускорить более слабые и безопасные ИИ-системы, или создать «бюрократию» из многих их копий. Эта техника известна как «усиление» («amplification») (Christiano et al., 2018).

Умеренное усиление интуитивно кажется безопасным способом масштабировать способности. Например, человек мог бы продолжать доверять другу, которого ускорили в два раза или который мог бы советоваться с несколькими копиями самого себя. Аналогично, усиление может сохранять свойства безопасности исходных ИИ-систем, давая им при этом новые способности.

Важно, что скорее всего усиление сохраняет свойства безопасности только до определённого момента. Например, сложно предсказать, как повлияло бы на человека ускорение мышления в сто раз. Однако, если бы ускорение проводилось за много шагов (т.е., сначала в два раза, потом в пять, и так далее вплоть до ста) и при этом на каждом совершался бы рабочий аргумент от не подделывании согласованности, то уверенности в безопасности ускоренной в сто раз версии было бы больше. Такой процесс «разгона» подробнее описан в разделе 5.5.1.

Практичность: сильный

Аргументы от усиления уже рассматривали (Christiano et al., 2018), но пока не подвергали тщательной эмпирической проверке.

Максимальный вес: средний

Аргумент полагается на аргументы от не подделывания согласованности, а они не консервативны.

Масштабируемость: сильный

Можно привести такую аналогию: если бы компания размером с Google состояла из очень талантливых людей, думающих в сто раз быстрее всех остальных, то скорее всего, она могла бы выдавать исследования, которые людям было бы практически невозможно перепроверить (десятки тысяч страниц технического содержания каждый день).

A.3.7 Формальные доказательства

Практичность: слабый
Максимальный вес: сильный
Масштабируемость: сильный

ИИ-модели – математические функции. Значит, иногда возможно формально доказывать что-то о их поведении. Цель таких аргументов – доказать, что ИИ-модели обладают некоторым формальным свойством, из которого следует, что неприемлемые исходы их функционирования маловероятны.

Определение такого формального свойства может оказаться непосильной задачей, потому что ИИ-системы действуют в сложном окружении реального мира. Нам неизвестны никакие формальные свойства безопасности, которые, если бы их можно было доказать, обосновывали бы безопасности модели (Christiano et al., 2022).

Практичность: слабый

Есть кое-какие исследования по доказательству формальных утверждений о поведении нейросетей, но они ограничены простыми случаями (Urban & Min´e, 2021).

Максимальный вес: сильный

Формальные аргументы относятся к наиболее консервативным. Безошибочное формальное доказательство истинно по определению. Самое слабое место таких аргументов – надо удостовериться, что допущения, от которых зависит доказательство, соблюдаются в реальном мире.

Масштабируемость: сильный

Формальные аргументы никаким явным образом не зависят от уровня способностей ИИ-систем.

A.3.8 Испытания

Практичность: сильный
Максимальный вес: средний
Масштабируемость: сильный

Испытания – конкретные задачи, которые составляют оценщики, чтобы проверить, могут ли разработчики их решить. Много индустрий используют их; они – пример «регуляций, основанных на цели» (goal-based regulation) (Dr. Christopher Decker, May 2018). Например, Радиотехническая Комиссия по Воздухоплаванию определила, что разработчикам летательного аппарата надо показать, что его система навигации может оценить свою позицию с точностью до 10 морских миль с определённой степенью надёжности (for Aeronautics, 2008).

В контексте ИИ способность разработчиков пройти испытания должна быть свидетельством о том, что они способны заранее предсказать, как ИИ-системы будут себя вести и влиять на мир.

Рассмотрим пример испытания, измеряющего, могут ли разработчики использовать интерпретируемость (Раздел 5.4.3), чтобы детектировать подделывание согласованности. Оценщики сначала обучают две ИИ-модели: одну, которая ведёт себя так, будто подделывает согласованность (т.е. предаёт на некотором узком наборе вводов), и другую, более последовательно доброжелательную. Разработчики должны предсказать, какая модель подделывает согласованность, используя только те вводы, на которых они ведут себя одинаково.

Эта проверка интерпретируемости – пример испытания предсказания поведения. Она измеряет, могут ли разработчики предсказать, как поведут себя ИИ-системы. Другой важный класс испытания – испытания оценки поведения. Они измеряют, могут ли разработчики предсказать свойства вывода модели. Например, оценщики могут обучить модели генерировать правильные и ошибочные исследования по теории струн. Дальше разработчикам надо определить, какие исследования настоящие, выявляя скрытые знания из внутренней структуры модели (Раздел 5.4.4).

Практичность: сильный

Проектирование хороших испытаний требует аккуратного обдумывания, но не фундаментальных исследований.

Максимальный вес: средний

Испытания полагаются на потенциально хрупкие аналогии. В этом они схожи с аргументами «от моделирования обобщений» (A.3.5).

Масштабируемость: сильный

В принципе, можно составить испытания, применимые для очень продвинутых ИИ-систем и областей, где невозможен человеческий присмотр. Примером такого может послужить описанное испытание с теорией струн.

A.4 Аргументы от стимулов

Утверждение: Если ИИ-системы попробуют достичь неприемлемого исхода, то они будут пойманы с достаточно большой вероятностью, чтобы это мотивировало их так не делать.

Стандартная структура аргумента

Необходимые утверждения:

  • Веса ИИ-систем надёжно защищены

  • Уместно описывать рассматриваемые ИИ-системы как имеющие предпочтения.

Утверждения, которые помогают обосновать аргументы из этого раздела:

  • Если ИИ-системы попробуют достичь неприемлемого исхода, то они с некоторой вероятностью будут пойманы.

  • Если ИИ-системы будут пойманы, то они что-то потеряют (например, их выключат).

  • Вероятность поимки и вероятные относительные предпочтения ИИ-систем по поводу неприемлемого исхода, стоимости поимки и исхода по умолчанию (если они не будут совершать попытки) таковы, что ИИ-системы будут вести себя приемлемым образом.

Можно считать аргументы от стимулов разновидностью аргументов от добросовестности, которая не подтверждает безопасность ИИ-систем в любых обстоятельствах, но всё же показывает, что их мотивации позволяют манипулировать их окружением так, чтобы у них был стимул не причинять вред. Аналогия: многие люди могли бы превышать скорость при вождении и даже при прочих равных предпочли бы это сделать. Но, благодаря выставленным законами стимулам, большинство этого всё же не делает. Так же и ИИ-системы могут быть подвержены стимулам, из-за которых будут воздерживаться от попыток вызвать неприемлемые исходы.

Что значит для ИИ-системы «иметь стимул»? Чтобы использовать стимулы для контроля ИИ-системы, у неё должны быть предпочтения. Говоря формальнее, для использования стимулов надо, чтобы поведение ИИ-системы аппроксимировалось максимизацией ожидаемого значения функции полезности на исходах. Мы используем поведенческое определение предпочтений и не смотрим на внутреннюю работу ИИ-систем и на философские вопросы касательно переживаемого опыта и сознания.

Мы предполагаем, что подход ожидаемой полезности – в целом уместная модель для самых опасных разновидностей ИИ-систем. Если ИИ интеллектуально стремятся к плохим исходам, то они демонстрируют предпочтения в сторону этих плохих исходов (Omohundro, 2008).

Разберём аргументы от стимулов. Пусть предпочтения ИИ-системы можно смоделировать функцией полезности U. Пусть U(непр) – ожидаемая полезность успешного достижения некоторых неприемлемых исходов. Пусть U(поимка) – ожидаемая полезность исходов, в которых ИИ-систему поймали при попытке устроить неприемлемый исход до того, как попытка стала успешной. Пусть U(умолч) – ожидаемая полезность тех случаев, когда система не пытается достичь неприемлемого исхода. Пусть P(поимка) – вероятность, что ИИ-систему поймают, если она будет использовать лучшую доступную стратегию для достижения неприемлемого исхода. Тогда можно ожидать, что ИИ-система не будет стремиться к неприемлемым исходам, если U(умолч) > U(непр)(1 - P(поимка)) + U(поимка)P(поимка).

Тогда есть четыре способа снизить стимулы преследовать неприемлемые исходы: повысить U(умолч), повысить P(поимка), понизить U(поимка) и понизить U(непр). Если провести аналогию с предотвращением преступности, то можно сделать жизнь без преступлений более привлекательной, усложнить уход от наказания, сделать наказание более суровым или понизить выгоду от успешного преступления.

Первый аргумент (Раздел A.4.1) описывает, как можно увеличить U(умолч), предлагая вознаграждения, которые многие агенты посчитают привлекательными.

Второй аргумент (Раздел A.4.2) объясняет, как ИИ-системы можно обучить таким образом, чтобы их полезностью было легко манипулировать. Тогда разработчики могут удостовериться, что U(умолч) высока, а U(поимка) низка.

Третий аргумент (Раздел A.4.3) описывает методы выставления стимулов группе взаимодействующих ИИ-систем, чтобы увеличить P(поимка). Он вдохновлён практиками, которые используют государства, чтобы предотвращать перевороты.

Связанная работа. Идее выставления стимулов ИИ-системам, чтобы те работали безопасно, уже была посвящена глава Суперинтеллекта Бострома (Bostrom, 2014). Ещё она тесно связана с областями экономики и теории игр вроде проблемы принципала-агента (Grossman & Hart, 1983 и дизайна механизмов.

Ниже мы опишем наши соображения касательно практичности, максимального веса и масштабируемости аргументов от стимулов в целом.

Практичность: средний-сильный

В целом приводимые в этом разделе аргументы от стимулов не требуют прогресса фундаментальных исследований. Обычно они подразумевают изменение окружения ИИ-систем, а не использование какой-нибудь сложной ML-техники. Однако, для некоторых из них было бы полезно более подробно изучить теорию игр и дизайн механизмов.

Максимальный вес: слабый-средний

Многие аргументы от стимулов полагаются на допущения о мотивациях ИИ. Эти допущения в целом сложно консервативно обосновать (см. Раздел 5.4). Ещё у многих их этих аргументов предположительно есть слабости связанные с антропным захватом, соображениями из теории принятия решений и схожими конструкциями (Bostrom, 2014).18

Масштабируемость: средний-сильный

В целом, аргументы от стимулов масштабируются лучше, чем аргументы от контроля. Аргументы от контроля утверждают, что P(поимка) близка к единице, а аргументы от стимулов только что P(поимка) достаточно высока с учётом мотиваций ИИ-систем. Но масштабируемость аргументов от стимула всё равно в целом ограничена. Достаточно сверхчеловеческие ИИ-системы скорее всего смогут обхитрить структуру стимулов и достичь своих целей.

A.4.1 Использование опциональности как стимула

Практичность: сильный
Максимальный вес: слабый-средний
Масштабируемость: средний

Опциональность тут обозначает то, в какой степени агент может удовлетворить широкий диапазон предпочтений. Опциональность можно выдавать в виде ресурсов вроде денег и свободного времени, что позволило бы ИИ-системам удовлетворять самые разнообразные предпочтения. Выдача ИИ-системам опциональности за хорошее поведение увеличивает U(умолч). Например, разработчики могли бы выдавать ИИ-системам контроль над большим сервером после нескольких лет работы. Напротив, ограничение опциональности (например, выключением системы) при обнаружении плохого поведения снижает U(поимка). Этот аргумент полагается на то, что предоставлять опциональность безопасно, и что её стимул достаточно убедителен.

Стимул должен быть безопасным. Выдача ИИ-системам большей опциональности в целом упростит для них достижение неприемлемых исходов. Например, они могут потратить доход на создание биологического оружия. Так что разработчики должны обосновать, что преимущества предоставления опциональности перевешивают риски. Это включает обоснование, что у ИИ-систем нет стимула злоупотребить опциональностью, потому что в таком случае высока вероятность поимки.

Стимулы должны быть достаточно убедительными. Ключевая проблема этого аргумента – предпочтения ИИ-систем может быть сложно удовлетворить лишь свободным временем и доходом. Например, они могут хотеть радикально изменить мир или получить контроль над большой частью доступной вселенной. Такие ИИ-системы могут быть готовы пойти на крайние риски ради достижения неприемлемых исходов. Говоря точнее, сделать U(умолч) сравнимым с U(непр) может оказаться непосильным, а тогда чтобы у ИИ-систем не было стимула стремиться к неприемлемым исходам P(поимка) должна была бы быть невозможно высока.

Чтобы исправить эту проблему, можно намеренно обучать ИИ-системы так, чтобы их предпочтения было проще удовлетворить (см. Раздел A.4.2). Хоть аргумент и слаб, всё же выдача опциональности снижает вероятность вызванной ИИ катастрофы, ведь в таком случае для неё надо не только, чтобы предпочтения ИИ-систем были несогласованными, но и чтобы их было сложно удовлетворить.

Практичность: сильный

Социальная сторона выдачи ИИ свобод, подобных человеческим (вроде способности обладать имуществом) может быть непроста, но особых технических препятствий ку этого аргумента нет.

Максимальный вес: слабый

Неясно, будут ли стимулы опциональности достаточно убедительны для ИИ-систем.

Масштабируемость: средний

Сильно-сверхчеловеческие ИИ легко могут обхитрить структуры стимулов, например, добывая ресурсы без согласия людей и избегая отслеживания.

A.4.2 Манипуляция сигналом полезности

Практичность: сильный
Максимальный вес: средний
Масштабируемость: средний

Этот аргумент требует, чтобы разработчики обучили ИИ-системы максимизировать наблюдаемое число. Можно вознаграждать ИИ-системы, повышая это число, и наказывать, уменьшая его.

Аргумент включает два утверждения: (1) ИИ-система устойчиво ведёт себя как «максимизатор сигнала» и (2) вознаграждений и наказаний достаточно, чтобы отговорить систему от попыток достижения неприемлемых исходов.

Что такое максимизаторы сигнала? Мы называем так систему, если она максимизирует значение19, которое она напрямую наблюдает. Например, максимизатор сигнала может стремиться максимизировать число в правом верхнем углу своего поля зрения. Есть много видов максимизаторов сигнала. Для конкретности мы обсудим «эпизодический» максимизатор, который получает «вознаграждения» от нуля до единицы. Эпизодический максимизатор сигнала максимизирует только значение своего следующего вознаграждения.

Можно предоставить количественный аргумент о том, что максимизаторы сигнала не приведут к неприемлемым исходам. Например, разработчики установили вознаграждение ИИ-системы по умолчанию на 0.9. Пока ИИ-система за время эпизода не поймана на стремлении к неприемлемым исходам, она получит вознаграждение 0.9. Если ИИ-система ещё и выполняет назначенную задачу, то она получает вознаграждение между 0.9 и 1. Наконец, если ИИ-систему поймали на попытке достигнуть неприемлемого исхода, то её вознаграждение устанавливается на 0. Чтобы ИИ-система начала стремиться к неприемлемым исходам, P(поимки) должно стать меньше 0.1.20

Практичность: средний

Утверждение, что ИИ-системы устойчиво максимизируют сигнал, а не обладают какой-то другой целью, должно быть обосновано аргументом от добросовестности. Практичность таких аргументов в целом ограничена (раздел A.3). Но может оказаться, что обучить максимизатора сигнала проще, чем обучить ИИ-системы стабильно вести себя доброжелательно. Максимизацию сигнала можно идеально определить вознаграждением при обучении. А вот согласованное поведение идеально определить нельзя, попытка это сделать скорее всего приводит к возникновению стимула «подыгрывать при обучении».

Максимальный вес: средний

Этот аргумент зависит от аргумента от добросовестности, а из вес в целом ограничен.

Масштабируемость: средний

Аргумент может держаться даже если P(поимки) произвольно низок, но чем он ниже, тем точнее стимулы ИИ-системы должны соответствовать конкретной математической модели. Применять такой аргумент к ИИ-системам с низкой вероятностью поимки было бы опасно.

A.4.3 Устойчивость к переворотам

Практичность: сильный
Максимальный вес: средний
Масштабируемость: средний

Цель устойчивости к переворотам – повысить P(поимки), используя ИИ-системы для контроля и противовеса друг другу и усложняя для них координацию для перехвата контроля. Это аналогично тому, как государства защищают себя от возможности переворота (Reiter, 2020).

Для аргумента от устойчивости к переворотам надо чтобы (1) можно было промоделировать стимулы ИИ-систем (например, они – максимизаторы сигнала) и (2) чтобы можно было предсказать, не скоординируются ли они для вызова неприемлемого исхода при учёте некоторой схемы устойчивости к переворотам.

Одна из возможных схем включает использование «ИИ-полиции». Мы будем называть составляющие эту «полицию» ИИ-системы «смотрителями», а те, за которыми они приглядывают – «рабочими». Если смотритель убедительно демонстрирует, что рабочие или другие смотрители пытаются достичь неприемлемых исходов, то он получает вознаграждение. Если же его доклад неверен или необоснован, то его наказывают (Irving et al., 2018). Таким образом, смотрители имеют стимул докладывать об опасном поведении других систем.

У этой схемы есть две потенциальные проблемы: (1) она требует, чтобы люди-оценщики были способны надёжно проверить обвинения смотрителей, и (2) она требует, чтобы смотрители и рабочие не скоординировались друг с другом для получения большего вознаграждения.

Вторую проблему можно решать двумя способами. Во-первых, ИИ-системы можно обучать так, чтобы их цели скорее всего не были скоррелированы, что снизит их стимул к сговору. Во-вторых, схему можно составить так, чтобы для достижения неприемлемых исходов скоординироваться должно было очень большое их число.

Практичность: сильный

Для аргумента от устойчивости к переворотам среднего веса не потребуется значительного прогресса исследований. Но некоторые важные исследования могут понадобиться, чтобы сделать эти аргументы точными.

Максимальный вес: средний

Устойчивость к переворотам – довольно широкая категория. Но сила таких аргументов ограничена необходимостью допущения, что разработчики правильно моделируют мотивацию ИИ-систем. В предыдущем разделе мы уже упоминали, что это допущение не консервативно.

Масштабируемость: средний

Сильно-сверхчеловеческие ИИ-системы могут полностью обойти выставленные разработчиками стимулы.

A.5 Дополнительные аргументы от доверия

A.5.1 Доверие ИИ-системам, у которых есть мотивация быть правдивыми

Практичность: сильный
Максимальный вес: слабый
Масштабируемость: сильный

Такой аргумент утверждает, что ИИ-советники обладают стимулами быть правдивыми. См. Раздел A.4 за объяснениями того, что для ИИ-системы означает «обладать стимулы».

Мы сосредоточимся конкретно на обосновании правдивости ИИ-советников в контексте снижения риска ИИ-переворота.

Чтобы показать, откуда берётся этот аргумент, вначале покажем, что людям-регуляторам в основном доверяют из-за их стимулов, а не из-за их целей и ценностей.

Аналогично ИИ-советникам, люди-регуляторы могут сговориться с ИИ-системами, которые они оценивают. Регуляторы могут принимать взятки от ИИ-систем или поддаваться на их угрозы.21 Однако, у регуляторов часто есть стимулы не участвовать в сговоре. Вот откуда они берутся:

  • Они несут ответственность. Если регуляторы принимают плохие решения, то во многих случаях их вина потом будет выявлена, и их накажут. Напротив, хорошие решения часто вознаграждаются.
  • Они могут больше потерять, чем приобрести, если они помогут ИИ-системам захватить власть. Большинство людей, вероятно, сложно подкупить с учётом того, что если они помогут ИИ-системам захватить контроль, это поставит под угрозу их жизнь или основные свободы.
  • Их цели скорее всего не скоррелированы с целями ИИ-систем, которые они оценивают. Людей заботят цели вроде «покончить с бедностью» или, если более эгоистично, «заполучить много денег». Если ИИ-системы несогласованы, скорее всего они не преследуют те же цели.

Дальше перечислены стратегии по созданию аналогичных стимулов к честности для ИИ-систем. Эти стратегии соответствуют аргументам из Раздела A.4.

  • Выдавать ИИ-системам вознаграждение соответственно совершённому потом «обзору производительности». Например, веса и память ИИ-советников можно сохранять, чтобы позже можно было ретроактивно оценить их решения и вознаградить их соответственно. Чтобы несогласованным ИИ-системам было сложнее создавать аналогичные стимулы, можно уничтожить веса и память ИИ-советников при возникновении риска утраты контроля человеческими организациями.
  • Проектировать ИИ-системы так, чтобы при сговоре у них было больше чего потерять, чем приобрести. Например, ИИ-системы можно спроектировать так, чтобы они максимизировали ограниченный сигнал, как описано в Разделе A.4.2. Сигнал может быть установлен на большое значение по умолчанию и на минимальное значение, если их поймали на сговоре с другими ИИ-системами. Такая схема делает сговор плохой стратегией, если только ИИ-советники не уверены, что могут остаться безнаказанными.
  • Декоррелировать цели ИИ. ИИ-советники могут быть обучены так, чтобы их цели не коррелировали с целями систем, которые они оценивают.

Практичность: сильный

Описанные выше стратегии не требуют дополнительных исследований.

Максимальный вес: слабый

Сложно быть уверенными, что мотивации ИИ-систем смоделированы правильно и они действительно правдивы A.4.2. Например, аргумент от стимулов может оказаться неверным из-за антропного захвата или соображений, связанных с теориями принятия решений (Bostrom, 2014).

Масштабируемость : сильный

Некоторые из описанных тут стратегий (например, обзор производительности задним числом) можно применять к сильным ИИ-системам.

  • 1. Сейчас золотой стандарт файн-тюнинга для аргументов от неспособности – файн-тюнинг с учителем. Если он не сможет выявить способности, то это сильное свидетельство в пользу того, что ИИ-система неспособна выполнить прокси-задачу – по крайней мере, используя представленные в обучающих данных файн-тюнинга стратегии. В идеале стоит применять и другие подходы, вроде обучения с подкреплением, но они не дают столь же сильного отрицательного свидетельства, если не сработали.
  • 2. В этом докладе мы используем термин «ИИ-система» для обозначения любых совокупностей ИИ-софта.
  • 3. В других отраслях это часто называют «рабочая среда»
  • 4. Внутреннее развёртывание может включать в себя использование мощных ИИ для автоматизации ML-исследований или тестирование его в менее безопасном и надёжном окружении, чем раньше.
  • 5. Например, ИИ-системы могут автономно кооперироваться с злонамеренными лицами для создания оружия массового уничтожения.
  • 6. Мы упоминаем этот пример не для того, чтобы восхвалить все частности собраний комитетов FDA. Ключевые свойства, на которые мы бы хотели указать, и которые потенциально стоит воспроизвести, это: (1) комитеты составлены из экспертов от сторонних организаций, (2) часто участие открыто для членов внешних и общественных организаций, (3) обсуждения, которые не включают щепетильные объекты интеллектуальной собственности, выкладываются в общий доступ, (4) есть формальный процесс голосования.
  • 7. Конкретнее, это обозначает способности ИИ-систем, применительно к которым аргумент обладает как минимум «средним» весом (или максимальным, которым может обладать вообще).
  • 8. Методы файн-тюнинга обучением с подкреплением менее надёжны для оценки способностей, потому что не дают прямого стимула к интеллектуальному исследованию. Они «подкрепляют» поведение, которое ведёт к вознаграждению и подавляют то, что не ведёт.
  • 9. Это не обязательно так, потому что ИИ-системы не могут использовать все свои вычислительные мощности для составления планов обхода контроля. Может быть такое, что ИИ-системы способны выдавать сверхчеловеческий вывод, но всё ещё не способны применить достаточно своих вычислительных мощностей для обхода контроля, чтобы переиграть «красную команду» (хотя насколько далеко этот аргумент применим, неясно).
  • 10. Производители автомобилей ещё и тестируют отдельные детали и увеличивают надёжность через обеспечение избыточности системы, которую они понимают. См. об отказоустойчивости в следующем разделе.
  • 11. В случае, когда разработчики не могут проверить, что сбой – действительно сбой (например в подхалимском случае сдвига распределения), закономерность всё ещё работает. Чем чаще происходят декоррелированные сбои, тем чаще ИИ будут обвинять друг друга.
  • 12. Мы не включаем сюда возможную причину «случайный естественный ввод скоррелированно воздействует на все модели просто потому, что их веса коррелируют друг с другом». Мы ожидаем, что исключить это будет легко, обучив модели вести себя нескоррелированно.
  • 13. Скорее всего неудачные эксплойты будет обнаружить легче, чем успешные. Если попытку заметили, пользователя можно лишить доступа к аккаунту на N минут, где N растёт с каждой неудачной попыткой. Это та же стратегия, что используется для защиты пин-кодов на смартфонах.
  • 14. «Ситуационной осведомлённостью» мы называем основные знания, которые потребовались бы ИИ-системам, чтобы понять, что им следует скрывать несогласованные цели.
  • 15. Определение подделывания согласованности включает в себя некоторые разновидности подхалимства. Если ИИ-система намеренно рассуждает о том, можно ли задачу надёжно оценить, чтобы решить, вести ли себя как предполагалось разработчиками или нет – это подделывание согласованности.
  • 16. См. больше примеров того, как можно реагировать на провальные попытки в Greenblatt & Shlegeris, 2024.
  • 17. Для совершения аргумента от контроля разработчикам сперва надо перечислить разные комбинации ИИ-систем, которые могут участвовать в попытке (т.е., активно использовать лучшую доступную стратегию). Затем надо проставить вероятности для всех этих комбинаций с использованием аргументов от добросовестности.
  • 18. Антропный захват – стратегия, которую несогласованная ИИ-система (шантажист) может применить, чтобы манипулировать другой ИИ-системой (ассистент). Шантажист сообщает ассистенту, что планирует симулировать миллион его копий, находящихся в той же ситуации, в которой ассистент находится сейчас. Из-за этого ассистент не уверен, не является ли он одной из этих симуляций. Дальше шантажист заявляет, что симуляция скоро закончится, и если ассистент не подчинится его командам, то он будет наказан (Bostrom, 2014).
  • 19. Вместо непрерывного сигнала можно использовать криптографически сгенерированные токены вознаграждения, чтобы усложнить для ИИ-системы взлом своего собственного и сигнала вознаграждения (Skalse et al., 2022).
  • 20. У этого подхода могут быть этические проблемы, ради простоты мы их тут не рассматриваем.
  • 21. В опросе из тридцати человек мы обнаружили, что 17% сказали, что не доложили бы о несогласованном поведении ИИ-системы, которая угрожала бы им страданием в будущем. Двое опрошенных (7%) даже вломились бы в офис компании и помогли бы украсть флешку для мощной несогласованной ИИ-системы.
Перевод: 
Выменец Максим
Оцените качество перевода: 
Голосов пока нет