# Предсказуемо неправы

Eliezer Yudkowsky

Предсказуемо неправы


Материалы цепочки распространяются по лицензии CC BY-NC-SA 3.0

Автор: Элиезер ЮдковскийPredictably Wrong

## Предсказуемо неправы


Материалы цепочки распространяются по лицензии CC BY-NC-SA 3.0

Автор: Элиезер ЮдковскийPredictably Wrong


## Что такое рациональность

Элиезер Юдковский

Под рациональностью я подразумеваю:

Эпистемическую рациональность, то есть систематическое улучшение точности своих убеждений. Инструментальную рациональность, то есть систематическое достижение желаемых результатов.

Когда вы открываете глаза и осматриваете комнату, вы замечаете ноутбук на столе и книжный шкаф около стены. Если с вашими глазами или вашим мозгом случится что-нибудь плохое, возможно, у вас в голове окажется мысленная модель, которая скажет, что шкаф стоит там, где его на самом деле нет. В этом случае, когда вы пойдёте за книгой, вам будет обидно.

Примерно так и выглядят ложные убеждения — карта мира, не соответствующая территории[1]. Эпистемическая рациональность посвящена построению карт, точно отображающих реальность. Точную связь между убеждением и реальностью обычно называют «истиной», и я тоже с радостью пользуюсь этим словом.

С другой стороны, инструментальная рациональность посвящена управлению реальностью. Вы делаете будущее таким, каким вам хочется. Инструментальная рациональность — это искусство выбрать действия, которые приведут к последствиям, стоящим выше в вашей шкале предпочтений. Иногда я называю это «выигрыванием».

Так что рациональность — это искусство формировать истинные убеждения и принимать выигрышные решения.

Поиск «истины» не означает, что нужно отвергать нечёткие или косвенные свидетельства. Вы можете оглядеть комнату и построить её мысленную модель. Убеждения о комнате принципиально ничем не отличаются от убеждений, что у Земли есть расплавленное ядро, а Юлий Цезарь был лысым. Возможно, эти вопросы вам кажутся более сложными и абстрактными, чем вопрос о вашем шкафе, ведь вас и предметы этих вопросов разделяет значительное пространство и время. И тем не менее состояние ядра Земли в 2015 году нашей эры и состояние головы Цезаря в 50 году до нашей эры — это вопросы о фактах. Эти факты могут влиять на реальность, даже если у вас нет никакой возможности лично встретить Цезаря или посмотреть на земное ядро.

А когда я пишу о «выигрывании», это не значит, что речь идёт о достижении успеха за счёт других. Не обязательно превращать жизнь в соревнование, её можно строить на базе сотрудничества и самопожертвования. Под «вашими ценностями» подразумевается абсолютно всё, о чём вы заботитесь — включая других людей. Они не ограничиваются исключительно эгоистическими ценностями.

Зачастую, когда люди говорят «Х — рационально!», это просто более звучный способ сказать: «Я думаю, что Х — истинно» или «Я считаю, что Х — хорошо!». Так зачем же использовать дополнительное слово «рационально», если можно говорить «истинно» и «хорошо»?

Тот же самый аргумент применим и к слову «истинно». Незачем говорить «истинно, что снег белый», когда можно сказать просто «снег белый». Идея истины полезна, потому что она позволяет нам говорить о соответствии карты и территории в целом. Фраза «истинные модели позволяют лучше делать проверяемые предсказания, чем ложные модели» — это полезное обобщение, и его нельзя сделать, не пользуясь понятиями вроде «истины» и «точности».

Аналогично, фраза «Рациональные агенты принимают решения, которые максимизируют вероятностное ожидание согласованной функции полезности» относится к понятию (инструментальной) рациональности, а фразу «Рационально есть овощи» наверняка можно заменить на «Полезно есть овощи» или «Есть овощи — в ваших интересах». Нам нужно понятие, вроде «рациональности», чтобы описывать общие факты о том, какие способы мышления систематически приводят нас к истине или к выигрышу, а также какие способы систематически приводят нас к обратному.

Иногда экспериментальные психологи обнаруживают, что в некоторых ситуациях люди, размышляют, судя по всему, очень странно. Например, человек присваивает утверждению «Билл играет джаз» вероятность меньшую, чем утверждению «Билл — бухгалтер, который играет джаз». Поскольку, очевидно, любой играющий джаз бухгалтер — играет джаз, такое суждение выглядит странно. Однако какими принципами мы пользуемся, когда говорим, что это суждение неверно?

Экспериментальные психологи применяют два золотых стандарта: теория вероятностей и теория принятия решений.

Теория вероятностей — это набор законов, лежащих в основе рациональных убеждений. Математика теории вероятностей абсолютно одинаково описывает и а) как выяснить, где находится ваш книжный шкаф, и б) как узнать температуру земного ядра, и в) как вычислить, сколько волос было на голове Юлия Цезаря. С точки зрения того, как нужно обрабатывать свидетельства и наблюдения, чтобы пересматривать и обновлять свои убеждения, это одинаковые задачи. Аналогично, теория принятия решений — это набор законов, лежащих в основе рациональных действий, и её можно применять независимо от того, о каких целях и каких вариантах действий идёт речь.

Обозначим выражением «Р(что-нибудь)» вероятность того, что это что-нибудь случится, а выражением «Р(А, В)» — вероятность, что А и В случатся вместе. Поскольку в теории вероятностей есть универсальный закон, что P(A) ≥ P(A, B), суждение, что Р(Билл играет джаз) меньше, чем Р(Билл играет джаз, Билл — бухгалтер) отмечается как неверное.

Говоря формально, такое рассуждение о вероятностях — небайесианское. Убеждения и действия, рациональные в строго определённом математическом смысле, называются байесианскими.

Обратите внимание, современное понятие рациональности не привязано к словесным рассуждениям. Я привёл пример, как вы открываете глаза, осматриваетесь и строите мысленную модель комнаты со шкафом около стены. Современное понятие рациональности — достаточно общее и включает ваши глаза и зрительную кору вашего мозга, как объекты на карте. Оно включает и вашу интуицию, которую сложно выразить словами. Математика не обращает внимание на то, что мы используем одинаковое слово «рациональный», и описывая Спока[2], и описывая байесианский способ рассуждений. Математические модели — это хороший способ достигать своих целей или строить карту мира, независимо от того, какие у нас сложились предубеждения и стереотипы относительно слова «рациональность».

Однако это не решает проблему о том, что именно подразумевается под занятием «рациональностью», по двум основным причинам.

Во-первых, невозможно строго вычислить байесовские вероятности, необходимые для решения подавляющего большинства реальных задач. Никто не в состоянии посчитать правильное решение и ему следовать. Это всё равно, что попытаться предсказать поведение рынка акций, исходя из движения кварков.

Именно поэтому существует целый сайт под названием «Less Wrong», а не одна страница, которая ограничивается простым перечислением строгих аксиом. Для человеческого разума находить истину и достигать своих целей — это целое искусство. Чтобы сталкиваться с правдой и делать то, что должно, нам надо изучать собственные недостатки, справляться со своими предубеждениями, удерживаться от самообмана, поддерживать себя в хорошей эмоциональной форме, и так далее, и так далее.

Во-вторых, иногда математика сама по себе приводит к новым вопросам. Например, точные правила теории вероятностей приводят к вопросу антропного принципа, где неизвестно число наблюдателей. Точные правила теории принятия решений приводят к задачам вроде парадокса Ньюкома, в которых другие агенты могут предсказать ваше решение до того, как вы его примете.

В таких случаях совершенно бессмысленно пытаться решить проблему, введя новое определение слова «рациональность» и заявив: «Таким образом под «рациональностью», по определению, будет подразумеваться предпочитаемый мной ответ». В этом случае, естественно, встанет вопрос, почему ваше определение должно кого-то интересовать. Теория вероятностей важна для меня не потому, что это священные слова, вручённые нам Лапласом. Байесианское обновление убеждений (вместе с оккамовскими априорными вероятностями) интересно для меня, потому что я ожидаю, что именно такой способ думать приведёт нас к карте, которая систематически более точно отображает территорию.

А ещё некоторые вопросы о том, как следует думать, кажется, не решаются целиком ни с помощью теории вероятностей, ни с помощью теории принятия решений. Например, вопрос о том, какие чувства испытывать по отношению к правде. В этих случаях какое-то собственное определение «рациональности» тоже лишь будет включать в себя уже существующий ответ, но не позволит найти что-то новое.

Я не собираюсь здесь спорить о значении слов, даже если речь идёт о слове «рациональность». Привязка неких последовательностей букв к определённым понятиям нужна, чтобы люди могли разговаривать между собой — передавать мысли от одного человека к другому. Невозможно изменить реальность или доказать какую-то мысль, манипулируя этими привязками.

Поэтому если вы поняли, какое понятие я связываю со словом «рациональность» и со словосочетаниями «эпистемическая рациональность» и «инструментальная рациональность», передача информации уже случилась. В рамках разговора о том, как определять «рациональность», мы сделали всё, что нужно. Дальше мы не будем разговаривать, какой смысл привязан к слогам «ра-ци-о-наль-ность». Дальше мы будем разговаривать, как именно лучше рассуждать.

Если вы говорите «Для меня (эпистемически) рационально считать, что Х, однако истина в том, что Y», вы наверняка используете слово «рационально» не в том же смысле, что и я. (Например, «рациональность» должна «выдерживать рефлексию» — «рациональный» взгляд на свидетельства и «рациональные» размышления о том, как ваш разум обрабатывает эти свидетельства, не должны приводить к разным выводам.)

Аналогично, если вы вдруг говорите «Для меня (инструментально) рационально сделать Х, но я считаю, что правильно делать Y», то почти наверняка вы используете для слова «рационально» или для слова «правильно» какие-то другие значения. Я использую термин «рациональность» нормативно: чтобы выбирать предпочитаемый способ рассуждений.

В этих случаях — а также во всех других, когда люди не соглашаются относительно смысла слов — вам стоит заменять слово «рационально» на более точные описания. Например: «Ради собственного благополучия следовало бы убежать, но я надеюсь, что хотя бы постараюсь вытащить ребёнка с рельсов». Или: «Причинная теория приятия решений в привычной формулировке говорит, что в задаче Ньюкома нужно брать оба ящика, но я предпочту получить миллион долларов».

Я вообще рекомендую перечитать это эссе, заменяя все вхождения слова «рационально»(и однокоренные) на «фузально». Проверьте, изменится ли смысл текста. Если изменится, стремитесь не к рациональности, а к фузальности.

В слове «рационально» таятся многочисленные ловушки. Однако во многих случаях с его помощью можно прекрасно передавать тот смысл, который я в него вкладываю. В этих случаях я не боюсь его использовать.

И всё же будьте с этим словом осторожны и не используйте его напрасно. Вы ничего не заработаете, просто произнося его вслух. Слишком много рассуждающий о пути не достигнет просветления.


## Мне сегодня рационально

Элиезер Юдковский Обсуждение

Есть распространённое мнение, что рациональность противостоит эмоциям: все оттенки грусти и все оттенки радости автоматически нелогичны лишь потому, что это всего лишь чувства. Что удивительно, я не нашел ни одной теоремы в теории вероятностей, которая бы доказывала, что я должен быть холодным и бесчувственным.

Выходит, рациональность вообще не имеет отношения к чувствам? Это не так, ведь наши эмоции порождаются нашими моделями реальности. Если я решу, что мой мёртвый брат воскрес, я обрадуюсь; если я проснусь и пойму, что это был сон, я буду расстроен. Пэт Ходжилл однажды сказала: «То, что может быть разрушено правдой, должно быть разрушено». Во сне я был счастлив, но правда этому счастью противоречила. Проснувшись, я ощутил грусть, но эта грусть рациональна: нет такой правды, которая могла бы её разрушить.

Рациональность начинается с вопроса «каков мир на самом деле и как он работает», но словно вирус, распространяется на любую другую мысль, зависящую от того, каков он, по нашим представлениям. Убеждения о том, каков мир на самом деле, могут включать все, что ты думаешь о реальности, что существует, а что нет, и что угодно из класса «вещи, которые могут заставить случаться другие вещи». Если ты считаешь, что в твоем чулане живёт гоблин, который привязывает друг к другу шнурки твоих ботинок, то это — убеждение о том, как работает мир. Шнурки реальны: их можно потрогать. Сущность, которая может их связать, тоже должна быть реальной: она — часть гигантской сети причин и следствий, которую мы называем «вселенной».

Чувство злости на гоблина, за то что он связал шнурки - это состояние разума, которое касается не только того, как работает мир. Если ты, скажем, буддист, или тебе сделали лоботомию, или ты просто родился очень флегматичным человеком, то действия гоблина тебя не разозлят. Это не влияет на твои ожидания: ты все еще уверен, что открыв чулан, увидишь пару ботинок, привязанных друг к другу шнурками. Зол ты или спокоен - это не должно влиять на твои прогнозы, поскольку твои эмоции не влияют на происходящее в чулане (хотя, конечно, может потребоваться некоторое усилие, чтобы рассуждать трезво).

Однако, злость сцеплена с состоянием разума, имеющим отношение к тому, как работает мир: ты злишься потому, что думаешь, что гоблин связал шнурки ботинок. Критерий рациональности рапространяется как вирус: от исходного вопроса, завязал ли гоблин шнурки, и до возникшей в итоге злости.

По мере улучшения представлений о том, каков мир на самом деле, эмоции могут как ослабнуть, так и усилиться. Иногда мы избегаем сильных эмоций, отрицая факты, прячась от мира, порождающего столь сильные эмоции. В таком случае, изучая искусство рациональности и тренируясь не отрицать факты, ты можешь заметить усиление эмоций.

Когда я начинал учиться рациональности, я постоянно сомневался, нормально ли испытывать сильные эмоции, допустимо ли это вообще, и правильно ли. Не думаю, что замешательство было вызвано только лишь моим неверным представлением о рациональности. Я встречал немало людей с подобными проблемами, и эти люди даже и не думали становиться рационалистами. Когда они были счастливы, они сомневались в своём праве быть счастливыми, а когда расстроены - не могли понять, нужно ли бороться с этой эмоцией. Ещё со времён Сократа (а возможно, и гораздо раньше) в кругу людей, считавших себя культурными и утончёнными, было не принято показывать, что вам что-то небезразлично. Испытывать чувства постыдно — в приличном обществе так просто не делают. Надо видеть взгляды, которые на меня бросают люди, узнав, насколько мне важна рациональность. И я подозреваю, что причина кроется не в необычности предмета интереса, а в том, что они не привыкли встречать здравомыслящих взрослых людей, которые демонстрируют, что им важно хоть что-то.

Но сейчас я знаю, что нет ничего постыдного в сильных эмоциях. Усвоив правило «То, что может быть разрушено правдой, должно быть разрушено», я также понял, что «То, что питается правдой, должно расцветать». Когда случается что-то хорошее, я счастлив, и не мучаюсь сомнениями, рационально ли быть счастливым. Когда случается что-то ужасное(English), я не бегу от печали, ища ложные утешения и фальшивые плюсы. Я представляю прошлое и будущее человечества, десятки миллиардов смертей на протяжении всей истории, горе и страх, поиск ответов, дрожащие руки, тянущиеся вверх из рек крови, то, чем мы можем стать в тот день, когда звёзды станут нашими городами, вся эта тьма и весь этот свет; я знаю, что я никогда не смогу полностью это понять, и я не знаю слов, которыми можно было бы передать эти мысли. Несмотря на всю мою философию, я всё ещё смущаюсь показывать сильные эмоции, а тебе, возможно, некомфортно видеть их проявления. Но теперь я знаю, что в чувствах нет ничего иррационального.


## Зачем нужна истина?

Обсуждение Элиезер Юдковский

Некоторые комментаторы спрашивают меня, зачем необходимо искать истину (к счастью, почти никому не нужно объяснять, что есть истина). Желание сделать своё мировоззрение рациональным вырастает именно из стремления к истине, и уже благодаря этому желанию все мировоззрения можно разделить на «хорошие» и «плохие».

В «Двенадцати добродетелях рациональности» я писал: «Первая добродетель — любопытство». Любопытство — первая причина искать истину, и, несмотря на то, что эта причина не единственна, в ней есть особая восхитительная чистота. В глазах человека, движимого любопытством, приоритет вопроса зависит от его эстетической ценности. Сложный вопрос, где вероятность неудачи необычно высока, стоит больших усилий, чем простой, где ответ и без того ясен — ведь узнавать новое интересно.

Кто-то может возразить: «Любопытство — эмоция, а эмоции иррациональны». Я называю эмоцию «иррациональной», если она основана на ложных убеждениях или, точнее, поведении, неправильном в свете известной информации: «К твоему лицу подносят железо, и ты веришь, что оно раскалено, но можно видеть, что оно холодно — тогда Учение осуждает твой страх. К твоему лицу подносят железо, и ты веришь, что оно холодно, но можно видеть, что оно раскалено — тогда Учение осуждает твоё спокойствие». И наоборот: эмоцию, вызванную истинными убеждениями либо рациональным с точки зрения желания узнать истину мышлением можно назвать «рациональной эмоцией» (Поэтому удобно считать, что спокойствие — не абсолютный ноль шкалы, а тоже эмоция, не лучше и не хуже всех остальных).

Мне кажется, что люди, противопоставляющие «эмоции» и «рациональность», на самом деле говорят о Системе 1 — системе быстрых, основанных на восприятии суждений — и Системе 2 — системе медленных обоснованных суждений. Обоснованные суждения не всегда правдивы и интуитивные суждения не всегда ложны, поэтому важно не путать эту дихотомию с вопросом о рациональности и иррациональности. Обе системы могут служить как истине, так и самообману.

Что ещё заставляет искать истину, не считая любопытства? Желание достигнуть какой-то цели в реальном мире: например, братья Райт хотят построить самолёт и для этого им необходимо знать правду о законах аэродинамики. Или, более повседневно: я хочу шоколадного молока, и поэтому меня интересует, можно ли купить его в ближайшем магазине: тогда я смогу решить, пойти ли туда, или куда-нибудь ещё. В глазах человека, движимого прагматизмом, приоритет вопроса определяется ожидаемой полезностью ответа на него: степенью влияния на решения, важностью этих решений, вероятностью того, что ответ сместит итоговое решение в сторону от первоначального решения.

Поиск истины в прагматичных целях выглядит неблагородным — разве истина не ценна сама по себе? — но такие поиски очень важны, поскольку они создают внешний критерий проверки. Упавший на землю самолёт или отсутствие молока в магазине говорят о том, что ты сделал что-то неправильно. Ты получаешь обратную связь и можешь понять, какие методы мышления работают, а какие нет. Чистое любопытство прекрасно, но стоит найти ответ — оно исчезает вместе с поразительной загадкой, и ничто уже не заставляет проверять ответы. Любопытство — древняя эмоция, появившаяся задолго до древних греков, руководившая ещё предками их предков. Но легенды о богах и героях удовлетворяют любопытство ничуть не хуже результатов научных экспериментов, и очень долго никто не видел в этом ничего плохого. Лишь наблюдение «некоторые методы мышления отыскивают суждения, позволяющие управлять миром» уверенно направило человечество на путь науки.

Итак, есть любопытство, есть прагматизм, что ещё? Третья причина поиска истины, которая приходит мне в голову — честь. Вера в то, что отыскание истины благородно, нравственно и важно. Такой идеал приписывает истине внутреннюю ценность, но он не похож на любопытство. Мысль «Интересно, что за занавесом» ощущается не так, как мысль «Мой долг — заглянуть за занавес». Паладину истины легче верить в то, что за занавес должен заглянуть кто-то ещё, и легче осуждать кого-то за добровольное закрывание глаз. Из этих соображений я называю «честью» убеждение в том, что истина имеет практическую ценность для общества и поэтому её следует искать всем. Приоритеты паладина истины в отношении белых пятен карты определяются не полезностью и не интересностью, но важностью; кроме того, в одних ситуациях долг искать истину зовёт сильнее, чем в других.

Я с подозрением отношусь к долгу как мотивации для поиска истины: не потому, что идеал плох сам по себе, а потому, что из такого мировоззрения могут вытекать некоторые проблемы. Слишком легко приобрести в корне ошибочные методы мышления. Например, посмотрим на наивный архетип рациональности — мистера Спока из «Звёздного пути». Эмоциональное состояние Спока всегда зафиксировано на отметке «спокойствие», даже когда это совершенно неадекватно ситуации. Он часто сообщает чудовищно неоткалиброванные вероятности, называя при этом слишком много значащих цифр («Капитан! Если ты отправишь Энтерпрайз в эту чёрную дыру, то вероятность нашего выживания всего лишь 2,234%!» — и при этом в девяти случаях из десяти Энтерпрайз отделывается мелкими царапинами. Оценка отличается от реального значения на два порядка; каким идиотом надо быть, чтобы раз за разом называть четыре значащие цифры?). Но при этом многие люди, думая о «долге быть рациональным» представляют себе в качестве примера именно Спока — неудивительно, что они не принимают искренне такой идеал.

Если сделать рациональность моральным долгом, то она теряет все степени свободы и превращается в деспотичный первобытный обычай. Получившие неверный ответ люди возмущённо утверждают, что они действовали в точности по правилам, вместо того, чтобы учиться на ошибках.

Но всё же, если мы желаем стать более рациональными, чем наши предки охотники и собиратели, то нам необходимы обоснованные убеждения о том, как правильно мыслить. Написанные нами ментальные программы рождаются в Системе 2, системе медленных обдуманных решений, и очень медленно переселяются — если вообще переселяются — в цепи и сети нейронов, образующих Систему 1. Поэтому, если мы желаем избежать некоторых определённых типов рассуждений, — например, когнитивных искажений — то это желание остаётся внутри Системы 2 в качестве предписания сторониться нежелательных мыслей, превращается в своеобразный профессиональный долг.

Некоторые методы мышления помогают найти истину лучше, чем другие — это приёмы рациональности. Часть приёмов рациональности говорят о преодолении определённого класса препятствий, когнитивных искажений.


## Что же такое искажение?

Элиезер Юдковский

Искажения — определённый вид препятствий на пути к истине (то есть их характер как препятствие мешает найти истину, но при этом существует множество других препятствий, искажениями не являющихся).

Если спросить «что такое искажение?» прямо сейчас, то вопрос будет задан слишком рано. Как говорится в английской поговорке, «существует сорок видов безумия, но лишь один вид здравого смысла». Истина — небольшая цель, компактная область в пространстве возможных конфигураций. «Любит она меня или нет?» — простой общий вопрос, однако $E=mc^2$ — всего лишь маленькая точка в пространстве всех возможных уравнений, словно выигрышный лотерейный билет в пространстве всех лотерейных билетов. В ошибке нет ничего исключительного, объяснения требует успех — настолько он невероятен априори.

Моральный долг «бороться с искажениями» (потому что искажения — плохие, злобные и Просто Неправильные штуки) — неверный подход к проблеме. Так может думать кто-то, кто приобрёл деонтологический долг «быть рациональным» в результате социального осмоса. Это порождает людей, пытающихся применять техники, не понимая стоящих за техниками причин (а это плохая, злобная и Просто Неправильная штука, если верить замечательной книге «Вы, конечно, шутите, мистер Фейнман»).

Подойдём к проблеме правильно.

По какой-то причине мы желаем попасть к истине, и по пути нам встречаются различные препятствия. Эти препятствия не сильно отличаются друг от друга: например, есть препятствия, имеющие отношение к недостатку вычислительных мощностей или к дороговизне информации. Большая группа препятствий разделяет общие черты — образует кластер в пространстве препятствий-на-пути-к-истине — и члены этого кластера называются искажениями.

Что такое искажение? Можно ли найти простой тест на принадлежность к этому эмпирическому кластеру? Может быть, мы так и не сможем найти объяснения, лучшего чем «показать пальцем на несколько ярких примеров и надеяться, что слушатель поймёт». Порой для учёного, только начавшего изучать огонь, мудрее сказать «огонь — это вон та яркая оранжевая штука», чем «я определяю огонь как алхимическую трансмутацию материи, выделяющую флогистон». Как я сказал в «Простой истине», нельзя игнорировать что-то лишь потому, что ты не знаешь, как это определить. Я не помню уравнения Общей Теории Относительности наизусть, но тем не менее, если я шагну с обрыва, то я упаду. То же самое можно сказать и про искажения — они не перестанут больно кусаться, если выяснится, что никто не может внятно объяснить, что такое «искажение». Поэтому вполне законно рассказать про ошибки в ситуации с логическим «И», эффект знания задним числом, сверхуверенность, эвристику доступности, ошибочную оценку поведения и гиперболическое обесценивание, а после сказать «Что-то типа этого».

Можно заметить, что мы называем «искажениями» те препятствия на пути к истине, которые созданы ни дороговизной информации, ни недостатком вычислительных мощностей, но формой ментального оборудования. Например, эволюция оптимизировала оборудование для целей, противостоящих эпистемологической точности (оборудование выигрывать политические споры). Или давление естественного отбора извратило желание добиться эпистемологической точности (вместо этого люди верят в то же, что и окружающие, приобретая благодаря этому союзников и друзей). Или классическая проблема эвристики, когда оборудование работает по понятному алгоритму, который обычно делает всё правильно, но временами совершает систематические ошибки. Сама по себе, эвристика доступности не является искажением, но она порождает характерные, компактно описываемые искажения. Человеческий мозг делает что-то неправильно, и проведя кучу экспериментов и/или хорошо подумав, кто-нибудь формулирует проблему на понятном Системе 2 языке — тогда мы называем эту ошибку «искажением». Даже если мы так и не узнаем большего, всё же ясно, что эта ошибка возникает — известным образом — из-за определённой формы когнитивного оборудования. Не из-за того, что оборудования слишком мало, а из-за того, что оно особой формы.

«Искажения» — это не ошибки, порождённые информацией внутри мозга (например, перенятые у кого-то убеждения или некого рода моральный долг). Они не называются «искажениями», и их намного проще исправить после того, как они замечены (тем не менее, источником ошибки, или источником источника ошибки, может быть и какое-либо искажение).

«Искажения» — это не ошибки, вызванные каким-то индивидуальным повреждением мозга или впитанными культурными нравами. «Искажения» — следствие работы механизмов, общих для всех людей.

Нельзя сказать «Платон страдал от когнитивных искажений, ведь он не знал теории относительности» — он не мог о ней узнать, его незнание было порождено не формой его ментального оборудования. Но если Платон считал, что лучшими правителями будут философы, из-за того что он сам был философом — а это убеждение, в свою очередь, возникло благодаря универсальному политическому инстинкту рекламировать себя, а не из-за того, что отец Платона говорил «долг каждого — говорить, что его профессия достойна занимать трон правителя», и не из-за того, что в детстве Платон нюхал слишком много клея — то тогда это значит, что Платон страдал от когнитивных искажений, и не имеет значения, знал ли об этом сам Платон.

Возможно, искажения трудно исправить. Возможно, они не исправляются в принципе. Но дело не в этом. Если, взглянув на своё ментальное оборудование, мы видим заурядный пример известного класса ошибок, и эта ошибка возникает из-за созданной эволюцией формы оборудования, а не из-за недостатка оборудования или плохого его содержимого, то мы называем её искажением.

Лично я вижу цель оттачивания навыков рационалиста в усилении способностей находить истину. Задание состоит в том, чтобы добраться до позитивной отметки (истины), а не в том, чтобы избежать негативной отметки (неудачи). Пространство неудач велико, там найдётся бесконечное множество ошибок в бесконечном их разнообразии. Трудно описать столь обширное пространство: «Свойство этого яблока может не быть свойством того яблока. Поэтому про одно яблоко можно рассказать большее, чем про все яблоки в мире». Пространство успеха меньше, и поэтому про него можно рассказать больше.

Я не питаю отвращения к разговорам об определениях, но нельзя забывать, что это не главная наша цель. Мы преследуем великую цель нахождения истины, нам отчаянно нужны знания, и кроме того, мы любопытны. Поэтому мы стремимся преодолеть все лежащие на пути препятствия, и без разницы, как мы их при этом называем.


## Доступность

Элиезер Юдковский

Эвристика доступности - суждение о частоте или вероятности события по тому, насколько легко приходят на ум примеры данного события.

В известном исследовании 1978 года «Оценка частоты смертельных исходов»[1] изучались ошибки при количественной оценке серьёзности рисков. Испытуемым называли два бедствия и спрашивали, какое из них происходит чаще. Испытуемые считали, что несчастные случаи уносят столько же жизней, сколько и болезни, думали, что убийство является более частой причиной смерти, нежели самоубийство. Хотя на самом деле, число умерших от болезней в шестнадцать раз превосходит число погибших от несчастного случая, а самоубийства происходят в два раза чаще убийств.

Очевидная гипотеза, объясняющая эти искажённые убеждения - что об убийствах чаще говорят, нежели о самоубийствах, и, таким образом, людям проще вспомнить разговор об убийце, нежели о суициднике. Несчастные случаи производят большее впечатление, нежели болезни - возможно, поэтому людям проще запомнить или вспомнить несчастный случай. В 1979 году, следующее исследование Комбса и Словика показало, что суждения с искажённой вероятностью сильно коррелируют (0.85 и 0.89) с искажёнными цифрами, которые были размещены в двух газетах[2]. Хотя это не проясняет, легче ли вспомнить убийства, потому что о них больше пишут, или же репортёры больше пишут об убийствах, потому что убийства производят большее впечатление (и поэтому легко запоминаются).

Но так или иначе, эвристика доступности тут присутствует. Избирательная отчётность - это один из основных источников искажений доступности. В родоплеменном окружении большая часть ваших знаний была основана на вашем личном опыте или же услышана напрямую от члена племени, который видел это. То есть между вами и фактом был максимум один слой избирательного сообщения. Сегодня, при помощи интернета, вы можете увидеть сообщения, которые проходят через шесть и более рук по пути к вам - шесть последовательных фильтров. По сравнению с нашими предками, мы живём в большем мире, в котором происходит больше событий, информации о которых к нам доходит меньше, поэтому эффект избирательности куда сильнее, что создает большие искажения доступности.

В реальной жизни, едва ли вы встречались с Биллом Гейтсом. Однако благодаря избирательным сообщениям от СМИ, у вас может появиться искушение сравнивать ваш жизненный успех с его - и страдать, соответственно, от полученного результата. Объективная частота встречи таких людей как Билл Гейтс - 0.00000000015, но слышите вы о нем куда чаще. И наоборот, 19% планеты живёт менее чем на один доллар в день, но я сомневаюсь, что хотя бы одна пятая тех постов, что вы сегодня читали, пишут о них.

Использование доступности, похоже, отвечает и за искажение абсурдности; события, которые никогда не происходили, нельзя вспомнить, вследствие чего их вероятность наступления начинает считаться нулевой. Если давно не было наводнений (а вероятности все еще считаются правильно), люди отказываются покупать страховку от наводнения, даже когда стоит она не больше, чем должна, а выплаты по ней немалые. Кунрейтер и соавторы в своём исследовании[3] предполагают, что недооценка угрозы наводнения может происходить от «неспособности людей осмыслить концепцию наводнений, которых никогда не было…люди на затапливаемых равнинах, похоже, являются узниками своего опыта…недавно пережившие наводнение имеют тенденцию привязываться к верхней границе потерь, которую потом считают величиной, о которой и следует задумываться».

В исследовании Бёртона и соавторов[4] говорится, что когда строятся дамбы и плотины, они уменьшают частоту наводнений, и, видимо, создают ложное ощущение безопасности, приводя к снижению мер безопасности, в то время как постройка дамб уменьшает частоту наводнений, но увеличивает ущерб от тех, что все же могут произойти (4). Мудрый человек экстраполировал бы из памяти о небольших угрозах возможность больши́х. Но вместо этого, прошлый опыт небольших угроз, похоже, устанавливает верхнюю «границу» риска. Общество, хорошо защищённое от малых угроз, не предпринимает действий против больши́х, расселяясь на затапливаемых равнинах как только риск небольших наводнений уходит. Общество рассматривает регулярные небольшие угрозы так, словно таких угроз большего размера не существует, предпринимая меры безопасности против регулярных небольших наводнений, но не против редких крупных наводнений.

Память не всегда хороший проводник даже для вычисления вероятностей прошедших событий, не говоря уже о будущих.


## Обременительные детали

Элиезер Юдковский

Простая подтверждающая подробность, чтобы добавить художественной правдоподобности в противном случае сухому и неубедительному рассказу…

— Пу-Ба, из оперы «Микадо»[1]

Конъюнктивное заблуждение это когда люди оценивают вероятность P(A, B) выше вероятности P(B), несмотря на то, что доказано P(A, B) ≤ P(B). Например, в ходе эксперимента в 1981, 68% испытуемых эксперимента оценили «Рейган увеличит поддержку незамужних матерей и снизит поддержку местных администраций» выше, чем «Рейган увеличит поддержку незамужних матерей».

Длинная серия ловко разработанных экспериментов, отделивших альтернативные гипотезы и прибивших стандартную интерпретацию, показали, что конъюнктивное заблуждение возникает, потому что мы «подменяем суждением репрезентативности суждение о вероятности». Добавляя дополнительные детали, можно сделать итоги более характерными для процесса их производящего. Слова о том, что Рейган увеличит поддержку для незамужних матерей, будут звучать убедительней, если добавить утверждение о том, что Рейган снизит поддержку местных администраций. Неправдоподобность одного утверждения компенсируется правдоподобностью другого; они усредняются.

Поэтому и говорят: добавив деталей, можно сделать сценарий звучащим более правдоподобно, несмотря на то что события, в совокупности, станут менее вероятными.

Если это так, то мы можем легко найти футуристов, бессовестно распространяющих правдоподобные и детализированные сценарии будущего, или людей, легко принимающих огромные порции неподтвержденных утверждений, сдобренных несколькими звучащими сильно добавками. Если вы сталкиваетесь с конъюнктивным заблуждением лоб в лоб, вы, возможно, преуспеете в преодолении этой конкретной проблемы, постоянно поправляя себя. Но это лишь вре́менное решение.

В эксперименте 1982 года профессиональные прогнозисты назначали систематически более высокие вероятности утверждению «Россия вторгнется в Польшу, и дипломатические отношения между СССР и США временно прекратятся», чем «Дипломатические отношения между СССР и США временно прекратятся»[2]. В этом эксперименте каждую группу прогнозистов просили оценивать только одно утверждение. Какой стратегии эти прогнозисты, как группа, могли следовать, дабы исключить влияние конъюнктивного заблуждения, если никто не знал про альтернативное утверждение? Если никто не знал, что эксперимент и был про конъюнктивное заблуждение? Как они могли улучшить их суждения о вероятностях?

Вре́менные решения не помогут. Лечить нужно не симптомы, а болезнь.

Что прогнозисты могли предпринять во избежание конъюнктивного заблуждения, не видя с чем сравнивать, не зная даже о том, что тестироваться будет именно конъюнктивное заблуждение? Мне кажется, что им следовало заметить «и». С этим надо быть поосторожней, да не просто так, а бежать от него. Даже без знания, что исследователи специально тестировали их на конъюнктивное заблуждение. Им придется замечать соединение деталей, быть шокированными наглостью просьб оценить вероятности таких безумно сложных предсказаний. Им придется штрафовать вероятность существенно - как минимум в четыре раза, в соответствии с деталями эксперимента.

Размышления о возможных причинах приостановки дипломатических отношений между США и Советским Союзом так же помогли бы прогнозистам. «США и Советский Союз приостановили дипломатические отношения без причины» не являлся сценарием, им был «США и Советский Союз приостановили дипломатические отношения по любой причине».

Что насчет субъектов, оценивавших «Рейган увеличит поддержку незамужних матерей и снизит поддержку местных администраций»? Опять же, они должны быть шокированы союзом «и». Более того, им нужно сложить силу утверждений (логарифм вероятности со знаком минус), а не взять среднее. Им следует думать: «Рейган может снизить поддержку местных администраций, а может и не снизить (1 бит), но увеличение поддержки незамужних матерей кажется маловероятным (4 бита). Итоговая сила утверждения: 5 бит»[3]. Или: «Рейган не поддержит незамужних матерей. Один промах и он вне игры. Другое предположение только ухудшает дело».

По аналогии, давайте рассмотрим шестигранную игральную кость с четырьмя зелеными гранями и двумя красными. Испытуемым давали на выбор три серии исходов — 1 [КЗККК], 2 [ЗКЗККК] или 3 [ЗККККК] — и просили поставить на ту из них, которая с их точки зрения встретится в серии из двадцати бросков[4]. Шестьдесят пять процентов испытуемых выбрали [ЗКЗККК], вероятность получения которой меньше, чем вероятность получения [КЗККК], так как любая серия, содержащая [ЗКЗККК] включает и [КЗККК]. Как испытуемые могли преуспеть больше? Заметив вкрапление? Возможно; но это лишь лечение симптома, оно не решит фундаментальной проблемы. Вычисляя вероятности? Это определенно решило бы фундаментальную проблему, но мы не всегда можем вычислить точную вероятность.

Испытуемые проиграли эвристически, думая: «Ага! Цепочка 2 имеет наибольшую пропорцию зеленых и красных! Я должен ставить на нее!» Чтобы выиграть эвристически, им следовало думать: «Ага! Цепочка 1 короче. Я должен ставить на нее!».

Бритва Оккама должна вызывать у них сильные эмоции - каждая деталь должна ощущаться как бремя, даже один поворот кости.

Однажды, я беседовал кое с кем, очарованным одним неосмотрительным футуристом (тем, который добавляет множество изящно звучащих деталей). Я пытался объяснить почему я не был так же очарован этими потрясающими, невероятными теориями. Так что я рассказал про конъюнктивное заблуждение, конкретно про эксперимент «приостановленные отношения ± вторжение в Польшу». И он сказал: «Ладно, но как это связано с -», и я ответил: «Более вероятно, что вселенная копируется по любой причине, чем что она копируется посредством черных дыр, которые создаются продвинутыми цивилизациями, созданных в результате эволюции этой вселенной для этой конкретной цели». И он сказал «Ох».

До этого он не ощущал дополнительные детали, как бремя. Вместо этого они были подтверждающими деталями, добавляющими художественной правдоподобности рассказу. Кто-то подает вам группу странных идей, одна из них - вселенная копируется. Далее, он предоставляет поддержку утверждению о копировании. Но это не поддержка группы, несмотря на то, что рассказывается, как одна история.

Вам следует распутывать детали. Следует рассматривать их отдельно и вопрошать: «Откуда мы знаем эту деталь?». Кто-то набрасывает картину падения человечества в нанотехнологическое столкновение, где Китай отказывается подчиняться международному соглашению о контроле, за этим следует гонка вооружений… Подождите-ка… Откуда вы знаете, что это будет Китай? Это хрустальный шар в вашем кармане или вы просто рады быть футуристом? Откуда взялись все эти детали? Откуда взялась эта конкретная деталь?

Ибо сказано:

Если можешь облегчить бремя своё, сделай это.

Нет такой соломинки, что бессильна сломать твой хребет.


## Ошибка планирования

Элиезер Юдковский

Международный Аэропорт Денвера открылся на 16 месяцев позже срока и с превышением бюджета на 2 млрд \$[1].

Еврофайтер Тайфун, совместный оборонный проект нескольких европейских стран, был завершён с отставанием в 54 месяца, итоговая стоимость составила 19 млрд \$ вместо изначальных 7 млрд \$.

Сиднейский Оперный Театр, возможно, самый легендарный по превышению начальной стоимости проект. Изначально, оценка предполагала завершение в 1967 за 7 млн \$, но в итоге был завершен в 1973 за 102 млн \$[2].

Неужели эти отдельные катастрофы привлекли наше внимание благодаря селективной доступности? Неужели они являются симптомами бюрократического или правительственного провала? Да, очень может быть. Но так же тут играет роль соответствующее когнитивное искажение, повторенное экспериментально с отдельными планирующими индивидуумами.

Бюлер и др. просили студентов оценить сроки сдачи своих академических проектов[3]. Конкретно они просили сказать, когда проекты будут сданы с 50%, 75%, 99% вероятностью. Попробуйте догадаться сколько студентов закончили до или после оцененного в 50%, 75%, 99% вероятности срока сдачи?

• 13% испытуемых уложились в срок, оцененный с 50% вероятностью успеха.

• 19% уложились в срок, оцененный в 75% вероятности успеха.

• и лишь 45% (менее половины!) уложились в срок, оцененный в 99% вероятности успеха.

Как Бюлер и др. отметили: «Результаты оценки 99% вероятности особенно удивляют: даже если их просили сделать крайне осторожное предсказание, по отношению к которому они чувствовали бы сильную уверенность, самоуверенность студентов намного превзошла их реальные достижения[4].

В целом, этот феномен известен как «ошибка планирования». Ошибка планирования - это когда люди думают, что могут планировать, ха, ха.

Ньюби-Кларк и др. нашли ключ к скрытой подоплеке алгоритма планирования. Обнаружили, что

• Просьба спрогнозировать сценарии на лучшей реалистичной догадке

и

• Просьба спрогнозировать сценарии на самом удачном стечении обстоятельств…

… Привели к неразличимым результатам[5].

Когда людей просили предоставить «реалистичный» сценарий, они воображали, что все пойдет как запланировано, без неожиданных задержек или непредвиденных катастроф - такой же сценарий, как и при самом удачном стечении обстоятельств.

Как оказалось, реальность преподносит обстоятельства хуже, чем «самое неудачное стечение обстоятельств», какое мы обычно воображаем.

В отличие от большинства когнитивных искажений, для борьбы с ошибкой планирования есть хорошая эвристика. Она не сработает для масштабного бардака вроде Международного Аэропорта Денвера, но пойдет для личного планирования или организации чего-то небольшого масштаба. Просто используйте «наружное наблюдение» вместо «взгляда изнутри».

У людей есть склонность генерировать предсказания, думая о конкретных, уникальных деталях задания, первыми приходящих на ум. И создавать сценарии того, как они будут выполнять задание - это мы, обычно, и называем планированием. Когда вы желаете, чтобы что-то было сделано, вам необходимо спланировать где, когда, и как; подумать сколько времени и ресурсов это потребует; визуализировать все шаги от начала до успешного завершения. Все это - «взгляд изнутри», и он не принимает в расчет неожиданные задержки и непредвиденные катастрофы. Как мы уже увидели, просьба визуализировать «худший сценарий» явно недостаточно сильно гасит оптимизм - они воображают недостаточно Мёрфично.

Взгляд снаружи - когда вы специально избегаете мыслей о конкретных, уникальных деталях проекта, и просто вопрошаете, сколько времени заняло завершение похожего проекта в прошлом. Это кажется контринтуитивным, ведь взгляд изнутри позволяет заметить больше деталей. Мысль об аккуратно сотканном предсказании, в котором была учтена вся доступная информация, выдающем лучшие результаты, искушает.

Но эксперименты показали: чем подробней испытуемые визуализировали, тем оптимистичнее (менее точными) они становились. Бюлер и др. просили испытуемых описать исключительно подробно их планы по шоппингу на Рождество: где, когда и как[6]. В среднем, эта группа ожидала покончить с покупками менее чем за неделю до Рождества. Другую группу просто попросили сказать, за какой срок до Рождества они планируют купить все необходимые рождественские подарки, и средний ответ был: за четыре дня. Обе группы закончили в реальности за три дня до Рождества в среднем.

Точно так же, Бюлер и др. сообщили об исследовании, в котором японские студенты ожидали закончить их сочинения за десять дней до срока сдачи. Закончили же они за один день до срока. Когда их спрашивали о прошлых сочинениях, выяснилось, что они так же были закончены «за день до срока». Такова сила взгляда снаружи против взгляда изнутри.

Похожее исследование свидетельствует, что опытные посторонние, знающие меньше деталей конкретного задания, но имеющие в памяти выполнение похожих, менее оптимистичны и более точны, чем те, кто проводит планирование.

Похоже, есть относительно надежный способ исправить ошибку планирования, если вам предстоит делать что-то похожее на то, что вы делали ранее. Просто задайтесь вопросом о том, сколько такие проекты длились в прошлом, игнорируя детали. Еще лучше: посоветуйтесь с опытным аутсайдером о том, сколько времени заняло выполнение похожих проектов в прошлом.

Вы получите ответ, который будет звучать отвратительно долгим, который, очевидно, был дан без учета всех особых причин по которым ваше конкретное задание будет выполнено быстрей. Но ответ остается правдой. Смиритесь.


## Иллюзия прозрачности: почему вас не понимают

Элиезер Юдковский

Существует когнитивное искажение «знание задним числом». Оно проявляется так: люди, знающие, чем закончилась ситуация, верят, что исход можно было легко предсказать заранее. Когда мы знаем результат, мы переосмысливаем ситуацию с учетом этого результата. Даже если мы знаем об этом искажении, мы не можем воспринимать ситуацию так, как её воспринимает человек, который не знает того, что знаем мы.

С этим тесно связана иллюзия прозрачности: мы всегда знаем, что означают наши слова, и ожидаем, что остальные тоже это знают. Мы правильно понимаем смысл, читая написанное нами, обладая знаниями о том, что мы действительно имели в виду. Этим смыслом сложно поделиться с кем-то, кто будет руководствоваться лишь словами.

Джун порекомендовала ресторан Марку; Марк обедает там и обнаруживает, что там (а) посредственные еда и сервис или (б) вкусная еда и безупречный сервис. Затем Марк оставляет сообщение на автоответчик Джун: «Джун, я только что пообедал в ресторане, который ты мне порекомендовала, и я должен сказать, что это было изумительно, просто изумительно». Кейсар рассказал сценарий (а) группе людей, и 59% решило, что сообщение Марка было саркастическим и что Джун распознает сарказм.(1)

Среди тех, кому рассказали сценарий (б), только 3% решили, что Джун должна подумать о сообщении Марка как о саркастическом. Кейсар и Барр, по видимому, указывают, что испытуемые слышали голосовое сообщение. Кейсар показал, что если испытуемым сказали, что ресторан ужасен, но что Марк хотел скрыть свою реакцию, то они верили, что Джун не распознает сарказм в подобном сообщении.

Они предсказывали, что Джун должна распознать сарказм, когда Марк пытался скрыть негативную реакцию, так же легко, как когда он искренне хвалил ресторан. Так что они восприняли сообщение Марка прозрачным. Как будто они ожидали, что Джун поймет всё, что Марк захочет ей сказать.

«The goose hangs high» («Дело на мази») - старая английская идиома, которая не используется в современном языке. Кейсар и Блай сказали группе испытуемых, что «the goose hangs high» означает, что будущее выглядит многообещающим; другой группе сказали, что она означает, что будущее кажется мрачным. Затем испытуемых спросили, какое значение из этих двух кажется более подходящим для идиомы. Каждая группа решила, что именно услышанный ими смысл будет восприниматься как значение идиомы.

(Также тестировались другие идиомы: “come the uncle over someone”, “to go by the board” и “to lay out in lavender”. Ах, английский, прелестный язык).

Кейсар и Хенли тестировали калибровку ораторов. Будут ли они недооценивать, переоценивать, или оценивать верно, как часто слушатели понимают их? (6). Ораторам были предоставлены неоднозначные выражения («Мужчина преследует женщину на велосипеде») и снимающие неоднозначность изображения (мужчина бежит за женщиной, которая едет на велосипеде). Ораторов попросили произнести выражения перед аудиторией и оценить, как много слушателей поняли вложенный смысл. Ораторы думали, что были поняты в 72% случаев, тогда как настоящая цифра - 61%. Когда слушатели не понимали, ораторы оценивали понимание в 46%. Когда слушатели понимали, ораторы оценивали непонимание в 12%.

Другие субъекты, подслушавшие объяснение, показали отсутствие таких ошибок: они оценивали понимание в 56%.

Как заметили Кейсар и Барр, за два дня до атаки Германии на Польшу, Чемберлен послал письмо, вложив туда намерение показать, что Британия вступит в бой, если вторжение состоится (7). Письмо, составленное из дипломатичных выражений, было воспринято Гитлером как примирительное - и танки поехали.

Так что не стоит винить тех, кто не понял твои очевидные слова, в разговоре или письменно. Есть шанс, что твои слова более туманны, чем кажутся.

Boaz Keysar, “The Illusory Transparency of Intention: Linguistic Perspective Taking in Text,” Cognitive Psychology 26 (2 1994): 165–208, doi:10.1006/cogp.1994.1006. Keysar and Barr, “Self-Anchoring in Conversation.” Boaz Keysar, “Language Users as Problem Solvers: Just What Ambiguity Problem Do They Solve?,” in Social and Cognitive Approaches to Interpersonal Communication, ed. Susan R. Fussell and Roger J. Kreuz (Mahwah, NJ: Lawrence Erlbaum Associates, 1998), 175–200. Keysar and Barr, “Self-Anchoring in Conversation.” Boaz Keysar and Bridget Bly, “Intuitions of the Transparency of Idioms: Can One Keep a Secret by Spilling the Beans?,” Journal of Memory and Language 34 (1 1995): 89–109,


## Ожидая короткие понятийные расстояния

Элиезер Юдковский

Эволюция приспособила homo sapiens к жизни в маленьких (не более 200 человек) племенах охотников и собирателей, не знающих письменности. В этих условиях — в так называемой «среде эволюционной адаптации» — всё накопленное знание сохранялось в памяти и передавалось устно.

В таком мире все фундаментальные знания — всеобщи. Любая информация, которую нельзя назвать строго приватной, является публичной, и из этого правила нет исключений.

В среде эволюционной адаптации было очень маловероятным оказаться от кого-то на расстоянии, большем чем один понятийный шаг, одно логическое умозаключение. Когда ты обнаруживал новый оазис, тебе не надо было рассказывать своим соплеменникам, что такое оазис, или почему стоит пить воду, или как перемещать ноги для того, чтобы ходить. Где находится оазис, знаешь только ты; это знание приватно. Но у всех остальных уже есть предпосылки для того, чтобы понять описание оазиса, все уже владеют понятиями, необходимыми, чтобы думать о воде; это знание универсально. В тех редких случаях, когда какие-то объяснения были необходимы, тебе почти никогда не нужно было разъяснять свои понятия. В самом худшем случае, нужно было рассказать об одном новом понятии, но не о двух (или больше) одновременно.

В среде эволюционной адаптации не было абстрактных дисциплин, сжимавших огромные кучи свидетельств в элегантные теории, описанные в книгах, выводы которых на десятки понятий и сотни умозаключений удалены от всеобщего информационного фундамента.

В среде эволюционной адаптации лишь лгуны или идиоты пытаются рассказывать о вещах, обоснование которых не очевидно. У их слушателей вряд ли возникнет мысль о том, что, возможно, этот парень располагает какой-либо достоверной фундаментальной информацией, неизвестной никому в твоём окружении. Невозможность такого положения дел была надёжной неизменной характеристикой среды эволюционной адаптации.

И наоборот, если ты сказал что-то вопиюще очевидное, а твой собеседник с этим не согласился, то он либо идиот, либо намеренно упирается с целью позлить тебя.

И к тому же, если кто-то рассказывает о какой-то вещи, обоснование которой не очевидно, а затем ждёт от тебя понимания и поддержки, — и возмущается, не найдя их — то он явно безумен.

И я думаю, что этот эффект (вкупе с иллюзией прозрачности и самоякорением(English)) объясняет многие аспекты тех легендарных затруднений, с которыми сталкиваются учёные, пытающиеся общаться с обывателями (или даже просто с учёными из других областей науки). Я часто вижу следующую картину: объяснение не удаётся. Популяризатор науки делает один шаг назад, хотя правильным было бы сделать два, или даже больше шагов назад. Слушатель же, в свою очередь, считает, что всё должно стать понятным через один шаг, хотя на самом деле для этого необходимо больше шагов. Обе стороны ведут себя так, словно понятийное расстояние между ними очень мало; будто бы всеобщие знания очень близки к любому новому знанию.

Биолог, говоря с физиком, может обосновать теорию эволюции, сказав, что она — «простейшее объяснение». Но легендарная история науки не впиталась в души большинства остальных людей; они не видят этих столетий, от Ньютона до Эйнштейна, подаривших фразе «простейшее объяснение» весь её потрясающий смысл, превративших её в Слово Силы, что произносится при рождении теорий и высекается на их надгробных камнях. Для не-учёного фраза «но это — простейшее объяснение!» звучит, как любопытный, но вряд ли решающий аргумент; простота не выглядит могущественным инструментом для постижения офисных интриг или для починки автомобиля. Должно быть, биолог слишком ослеплён любовью к своим идеям для того, чтобы непредвзято взглянуть на альтернативные объяснения, которые звучат настолько же убедительно (они звучат убедительно для меня, поэтому они должны звучать убедительно для любого человека из моего окружения).

Биолог может понять, что впервые теория эволюции звучит странновато. Однако, если кто-то отвергает эволюцию даже после того, как биолог рассказал, что это наиболее простое объяснение и пояснил, почему… Ну, видимо, не-учёные просто глупы, и нет смысла с ними разговаривать.

Хорошее выступление должно проложить понятийный путь, начинающийся от позиций, которые аудитория уже знает или принимает. Если ты задашь недостаточную глубину рекурсии, то в итоге ты будешь просто разговаривать сам с собой.

Каждое новое заявление должно очевидным образом опираться на аргументы, сказанные тобой ранее и принятые аудиторией. Как только эта цепочка нарушается, аудитория начинает считать тебя жертвой секты.

То же самое произойдёт, если ты позволишь себе опираться на аргумент более сильно, чем готовы разрешить слушатели. Например, если ты посчитаешь фразу «эволюция — простейшее объяснение» решающим аргументом (таким она и является), а не любопытным, чуточку забавным нюансом (так она выглядит в глазах человека, не привыкшего чтить Бритву Оккама).

И не давай слушателям намёков на то, что ты считаешь их отставшими от тебя на дюжину понятийных шагов, или то, что ты думаешь, что располагаешь какими-то особыми неизвестными им фундаментальными знаниями. Слушатели не знают о том, что эволюционная психология предсказывает существование дефекта мышления, ведущего к недооценке понятийных расстояний. Они не думают, что у пробок на дороге общения есть какая-то особенная причина. Поэтому их просто будет раздражать твоя снисходительность.

И если ты считаешь, что можешь кратко объяснить понятие «систематической недооценки понятийных расстояний», быстренько бросив пару слов, то вынужден тебя огорчить…


## Линза, видящая свои изъяны

Элиезер Юдковский

Свет покидает Солнце, падает на шнурки и отражается от них; часть фотонов проходит сквозь зрачок и попадает на сетчатку; энергия фотонов запускает волну нервных импульсов; нервные импульсы доходят до зрительной коры, где на основе оптической информации строится трёхмерная модель, распознанная как развязанные шнурки; и теперь ты убеждён в том, что твои шнурки и в самом деле развязаны.

Вот секрет осознанной рациональности: в этом процессе передачи сцепленности нет ничего магического, и его можно понять. Ты можешь понять, как ты видишь свои шнурки. Ты можешь думать о том, какие когнитивные процессы создают убеждения, отражающие реальность, и какие когнитивные процессы — нет.

Мыши могут видеть, но они не могут понять зрения. Ты можешь понять зрение, и поэтому ты способен на вещи, которые мышам и не снились. Подивись этому несколько секунд, ведь это действительно чудо.

Мыши видят, но они не знают, что у них есть зрительная кора, и поэтому они не могут систематически бороться с оптическими иллюзиями. Мышь живёт в ментальном мире, где есть кошки, дыры, сыр и мышеловки, — но нет мышиных мозгов. Их камеры не могут сфотографировать линзы собственного объектива. Но люди могут посмотреть на причудливую картину и осознать, что часть того, что они видят, является линзами их объектива. Ты не обязан всегда верить своим глазам, но ты обязан понимать, что у тебя есть глаза — у тебя должны быть отдельные участки памяти для карты и для местности, для чувств и реальности. Если ты считаешь этот навык тривиальным, вспомни, насколько он редок в царстве животных.

Вся идея Науки — это, в сущности, поиск наиболее надёжного способа отразить в зеркале разума содержимое целого мира. Мыши никогда не смогли бы изобрести такую идею. Размышляя о всех вопросах вроде «мы проводим повторяемые эксперименты, чтобы фальсифицировать теорию», мы можем разобраться, почему именно наука работает. Наука — это не отдельный магистерий, далёкий от реальной жизни и непонятный для простых смертных. Нельзя сказать, что науку можно применять только в лабораториях. Наука — это постижимый и объективно существующий процесс, который связывает содержимое мозга с реальностью.

Наука довольно логична, если как следует о ней подумать. Но мыши не могут думать о мышлении, и поэтому у них нет науки. Не проглядите заключённого в этом чуда, не упустите потенциальной мощи, которую нам дарит этот факт. Нам — в смысле «личностям», а не «научным сообществам».

Нужно признать, что задача понять мыслительный механизм может быть сложнее задачи понять часовой механизм — но между этими задачами нет фундаментальных различий.

Однажды я спросил посетителей канала #philosophy: «Верите ли вы в то, что ядерная война случится в течение ближайших 20 лет? Если нет, то почему?». Один человек сказал: «Я не думаю, что в ближайшие 100 лет начнётся ядерная война: все игроки, участвующие в принятии подобных решений, сейчас в ней не заинтересованны». Я спросил: «Но почему ты считаешь, что ситуация сохранится в течение 100 лет?». «Просто надежда», ответил он.

Если поразмыслить об этом мыслительном процессе, то можно увидеть, что перспектива ядерной войны пугает этого человека, и поэтому его мозг отвергает соответствующее убеждение. Но если представить себе миллиард миров — ответвления Эверетта или дупликаты Тегмарка(English) — то станет ясно, что такие размышления не создают корреляции между оптимистами и мирами без ядерной войны, как должно было бы быть, если бы они были бы рациональными.

(В этот момент у кого-то может появится соблазн сказать «Но если у меня есть надежда, я буду работать лучше, заработаю больше денег, тем самым помогу мировой экономике, и в результате страны будет не так просто столкнуть в пучину злобы, бедности и отчаяния, когда возможность ядерной войны всерьёз угрожает будущему. Получается, что надежда имеет отношение к реальности». Раз уж дошло до такого, мне придётся вытащить теорему Байеса и количественно измерить силу этого свидетельства. Оптимизм не может иметь столь огромный эффект на мире; его недостаточно для того, чтобы сместить вероятность ядерной войны на 20%, или насколько там оптимизм смещает степень убеждённости. Сильно изменять свои убеждения из-за события, несущего очень малый заряд сцепленности — практика, не способствующая точному картографированию.)

Задуматься о том, какие убеждения сделают тебя счастливым — посмотреть внутрь, а не наружу. Ответ может сказать что-то новое о твоей психике, но это не свидетельство, сцепленное с окружением. Я не имею ничего против счастья, но счастье должно порождаться картиной мира, а не преступным использованием ментальных карандашей в целях сокрытия правды.

Если ты можешь это увидеть — если ты можешь заметить, что надежда слишком сильно влияет на твои размышления первого уровня; если ты можешь увидеть свой мозг как рисующий карты механизм, в котором есть недочёты — то ты можешь что-нибудь исправить. Мозг — дефектная линза, не совсем точно показывающая действительность. Это верно в отношении мозга как мыши, так и человека. Но мозг человека — это линза, могущая понять свои изъяны, могущая увидеть свои систематические ошибки, свои искажения, а после применить к ним исправления второго уровня. Этот факт делает дефектную линзу намного могущественней на практике. Делает её не совершенной, но намного более эффективной.