# Против двоемыслия

Eliezer Yudkowsky

Против двоемыслия


Эта короткая цепочка исследует ещё один шаблон мышления, мешающий нам менять свои убеждения на основании свидетельств. Речь пойдёт о «двоемыслии» по Джорджу Оруэллу: попытках обмануть самого себя.

Примечание редактора сайта: при переиздании книги в 2018 году эта цепочка была удалена (за исключением первого эссе «Единомыслие», которое было перенесено в цепочку «Умение отпускать»).

Автор: Элиезер ЮдковскийAgainst Doublethink

## Против двоемыслия


Эта короткая цепочка исследует ещё один шаблон мышления, мешающий нам менять свои убеждения на основании свидетельств. Речь пойдёт о «двоемыслии» по Джорджу Оруэллу: попытках обмануть самого себя.

Примечание редактора сайта: при переиздании книги в 2018 году эта цепочка была удалена (за исключением первого эссе «Единомыслие», которое было перенесено в цепочку «Умение отпускать»).

Автор: Элиезер ЮдковскийAgainst Doublethink


## Единомыслие

Элиезер Юдковский

Я отчетливо помню тот момент, когда начал свой путь рационалиста.

Нет, не читая «Вы, конечно, шутите, мистер Фейнман!» или любую другую работу о рациональности; их я просто воспринял как очевидные. Путь рационалиста начинается, когда видишь огромный пробел в своих умениях и ощущаешь стимул их улучшить, чтобы создать новые навыки, выходящие за пределы тех полезных, но уже недостаточных вещей, которые можно почерпнуть из книг.

В последние моменты первого периода моей жизни (мне стукнуло пятнадцать) я самодовольно перебирал приятные воспоминания о том времени, когда был намного младше. Воспоминания о том периоде расплывчаты: мысленный образ есть, но сколько точно мне было лет, не скажу. Думаю, шесть или семь. Исходное событие произошло в летнем лагере.

Наш вожатый, парень-подросток, собрал нас, детей намного младше его, построил друг за другом и предложил следующую игру: мальчик, стоящий в конце колонны, должен был ползти у нас между ног, а мы бы шлепали его, когда он проползал под нами, потом наступала очередь следующего мальчика и т.д. (Возможно, я потерял бы при этом всего лишь детскую наивность, но я не мог перестать об этом думать…) Я отказался играть в игру, и меня поставили в угол.

Эта память — об отказе шлепать и быть отшлепанным — символизировала для меня то, что даже в раннем возрасте я не хотел получать удовольствие от причинения боли другим. Я не обменял бы шлепок другому на шлепок по мне; не оплатил бы болью возможность причинить боль другому. Я отказался играть в игру с отрицательной суммой.

Но потом, в пятнадцать, я внезапно понял, что данное воспоминание было неправдой. Я отказался не потому, что был принципиальным противником игр с отрицательной суммой. Я узнал о дилемме заключенного рано, но не в семь же лет. Я отказался просто потому, что не хотел, чтобы мне было больно. Постоять в углу было приемлемой платой за то, чтобы избежать боли.

Более важным было то, что я понял, что всегда знал это: настоящая память всегда была в каком-то из уголков моего сознания, мой ментальный взгляд задерживался на ней на долю секунды, а затем отворачивался.

На самом первом шаге по Пути я поймал то ощущение, сделав общий вывод из субъективного опыта, и сказал: «Так вот что чувствуешь, когда пытаешься запихнуть нежелательную правду на задворки сознания! Теперь я буду обращать на это внимание всякий раз и вычищу все уголки памяти!».

Эту дисциплину я назвал единомыслием по аналогии с оруэлловским двоемыслием. В двоемыслии вы забываете, а потом забываете о факте забывания. В единомыслии вы замечаете, что что-то забыли, а потом вспоминаете. Вы придерживаетесь единственной непротиворечивой мысли за раз.

«Единомыслие» было первым рациональным навыком, который я создал, а не вычитал в книгах. Не думаю, что был первым в смысле академического приоритета, но этого, к счастью, и не требовалось.

И да, в пятнадцать лет я любил давать вещам имена.

Конца-краю ужасающим глубинам предвзятости подтверждения не видно. Они не бесконечны, ибо сложность нашего мозга конечна, но достаточно велики, чтобы погружение в них показалось вечностью. Вы продолжаете обнаруживать всё новые механизмы (или читать о них), при помощи которых мозг прячет неудобные вещи в укромные уголки.

Но я, будучи юным, вымел несколько таких уголков своей первой метлой.


## Двоемыслие (выбирая быть искаженным)

Элиезер Юдковский

В руке у О’Брайена появилась газетная вырезка. Секунд пять она находилась перед глазами Уинстона. Это была фотография — и не приходилось сомневаться, какая именно. Та самая. Джонс, Аронсон и Резерфорд на партийных торжествах в Нью-Йорке — тот снимок, который он случайно получил одиннадцать лет назад и сразу уничтожил. Одно мгновение он был перед глазами Уинстона, а потом его не стало. Но он видел снимок, несомненно, видел! Отчаянным, мучительным усилием Уинстон попытался оторвать спину от койки. Но не мог сдвинуться ни на сантиметр, ни в какую сторону. На миг он даже забыл о шкале. Сейчас он хотел одного: снова подержать фотографию в руке, хотя бы разглядеть ее.

— Она существует! — крикнул он.

— Нет, — сказал О’Брайен.

Он отошел.

В стене напротив было гнездо памяти. О’Брайен поднял проволочное забрало. Невидимый легкий клочок бумаги уносился прочь с потоком теплого воздуха: он исчезал в ярком пламени. О’Брайен отвернулся от стены.

— Пепел, — сказал он. — Да и пепла не разглядишь. Прах. Фотография не существует. Никогда не существовала.

— Но она существовала! Существует! Она существует в памяти. Я ее помню. Вы ее помните.

— Я ее не помню, — сказал О’Брайен.

Уинстон ощутил пустоту в груди. Это — двоемыслие. Им овладело чувство смертельной беспомощности. Если бы он был уверен, что О’Брайен солгал, это не казалось бы таким важным. Но очень может быть, что О’Брайен в самом деле забыл фотографию. А если так, то он уже забыл и то, как отрицал, что ее помнит, и что это забыл — тоже забыл. Можно ли быть уверенным, что это просто фокусы? А вдруг такой безумный вывих в мозгах на самом деле происходит? — вот что приводило Уинстона в отчаяние.

Джордж Оруэлл, «1984» (перевод В. П. Голышева)

Что, если самообман помогает нам быть счастливыми? Что, если избегание и преодоление искажений делает нас наоборот - несчастными? Конечно, настоящая мудрость была бы рациональностью второго порядка, когда можно было выбирать когда быть рациональным. Тогда вы могли бы решать, какие когнитивные искажения должны управлять вами, для максимизации своего счастья.

Даже если оставить в стороне моральный аспект, я сомневаюсь, что такой безумный вывих в мозгах мог бы на самом деле произойти.

Рациональность второго порядка подразумевает, что в некоторый момент вы должны подумать: «А теперь я, чтобы сделаться счастливым, иррационально поверю, что выиграю в лотерею». Но у нас нет такого прямого контроля над нашими убеждениями. Вы не можете заставить себя поверить в то, что небо зеленое, усилием воли. Вы могли бы поверить, что верите, однако я только что усложнил вам задачу, указав на различие (всегда пожалуйста!). Вы даже можете верить, что счастливы и что обманули себя; но на самом деле не будете счастливы и самообмануты.

Чтобы рациональность второго порядка была подлинно рациональной, сначала потребовалась бы хорошая модель реальности для экстраполяции последствий рациональности и иррациональности. Если потом вы выберете иррациональности первого порядка, то вам понадобиться забыть эту точную картину мира. А затем забыть сам акт забывания. Я не подвержен логическому заблуждению обобщения на основе вымышленного свидетельства, но думаю, что Оруэлл проделал хорошую работу по экстраполяции того, куда ведет этот путь.

Вы не можете осознать последствия пребывания под властью искажений, пока не сумеете выйти из-под нее. А тогда будет слишком поздно для самообмана.

Другая альтернатива — слепой выбор, при котором вы придерживаетесь искажений без ясного представления о последствиях. Но это не рациональность второго порядка. Это упрямое пребывание в глупости.

Иррациональный оптимизм относительно своих водительских навыков позволит вам быть беспечно счастливым там, где других прошибет пот от страха. Вам не придется терпеть неудобство ремня безопасности. Вы будете беспечно счастливым день, неделю, год. А потом БАХ! И остаток жизни будете изнывать от желания почесать фантомную конечность. Или будете парализованы ниже шеи. Или мертвы. Необязательно случится так, но эта ситуация возможна, вопрос в том, насколько она вероятна? Вы не можете ответить на этот вопрос рационально, пока не узнаете реальный уровень своих водительских навыков и не поймете, какой опасности себя подвергаете. Вы не можете ответить на этот вопрос рационально, пока не узнаете о таких искажениях, как отрицание вероятности.

Не имеет значения сколько дней пройдут в блаженном неведении, достаточно будет единичной ошибки, чтобы аннулировать человеческую жизнь, чтобы перевесить все монетки, собранные вами на рельсах глупости.

Один из ключевых советов, которые я даю целеустремленным рационалистам, заключается в следующем: «Не пытайтесь быть умными». И ещё: «Прислушивайтесь к этим тихим надоедливым сомнениям». Если вы что-то не знаете, тогда вы не знаете, что именно вы не знаете, как много вы не знаете и сколько вам на самом деле нужно узнать.

Не существует рациональности второго порядка. Есть только слепой прыжок, который может закончиться в яме с раскаленной лавой (а может и не закончиться). И если вы уже знаете о конечном пункте прыжка, уже поздно зажмуривать глаза.

Но люди пренебрегают этим, поскольку они не знают, чего они не знают. К неизвестным переменным, если неизвестно даже об их существовании, невозможно получить доступ. Люди не сосредотачиваются на пустой области карты, а просто считают ее соответствующей пустой территории. Когда они рассматривают возможность слепого прыжка, они ищут в памяти опасности и не обнаруживают на пустой карте ям с лавой. Так почему бы не прыгнуть?

Был там. Пробовал. Обжегся. Не пытайтесь быть умными.

Однажды в разговоре с подругой я поделился подозрениями о том, что счастье глупости сильно переоценено. Но она потрясла головой и серьезно сказала: «Нет, нет, совсем нет».

Возможно, существуют счастливые глупцы. Возможно, они счастливей вас. Жизнь несправедлива и нельзя стать счастливее, завидуя тому, чего у тебя нет. Подозреваю, что подавляющее большинство читателей блога «Overcoming Bias» не смогут достичь счастья глупости, даже если попытаются. Этот путь закрыт для вас. Вы никогда не сможете достичь нужной степени невежества, не сможете забыть что знаете, не можете перестать видеть то, что видите.

Счастье глупости закрыто для вас. Вы никогда его не получите без повреждения мозга и даже с ним скорее всего нет. Думаю, вам следует задаться вопросом, оптимально ли счастье глупости (если это наибольшее счастье, к которому может стремиться человек), но ответ на него не важен. Этот путь для вас закрыт, даже если он когда-нибудь появится.

Все, что вам теперь осталось, — это стремиться к тому счастью, которого может достичь рационалист. Я думаю, что в конечном счете оно может оказаться даже больше. Есть строго определенные пути и свободные пути; плато для отдыха и горы для преодоления; и если подъем занимает больше усилий, покоренная вершина оказывается более высокой.

Также в жизни есть нечто большее, чем счастье; и при принятии решений вы можете учитывать чужое, а не свое счастье.

Но это не имеет практического применения. Когда вы осознаете наличие выбора, выбора уже нет. Вы не можете перестать видеть то, что видите. Другой путь закрыт.


## Серьёзно, я обманул себя

Элиезер Юдковский

Я недавно говорил с женщиной, которая… сложно описать что. Формально она ортодоксальная еврейка. Ещё она очень умна, знакома с некоторыми археологическими доказательствами, опровергающими её религию, а также стандартными поверхностными аргументами против иудаизма. Например, она знает, что Мордекай, Хаман и Вашти не были найдены в персидских исторических записях, зато в древней Персии существовала легенда о вавилонских богах Мардуке и Иштар и враждующих с ними эламских богах Хуммане и Вашти. Она знает это и тем не менее справляет Пурим. Наверное, она одна из тех умных, но религиозных людей, которые варятся в своих противоречиях, дёргаясь и выдумывая причины, пока изнанка их мозга не начинает выглядеть, как картина Эшера.

Большинство людей такого типа притворяются, что они слишком мудрые, чтобы говорить с атеистами, но она согласилась пообщаться со мной несколько часов. В результате я, наконец, понял по крайней мере ещё одну вещь о самообмане, которую я никогда раньше явно не высказывал, а именно, что не нужно действительно обманывать себя, пока ты веришь, что ты обманул сам себя. Назовём это «верой в самообман».

Когда эта женщина ходила в старшую школу, она считала себя атеисткой. Но потом она решила, что должна вести себя, будто верит в бога. Затем — говорила она убедительно — со временем, она действительно поверила в бога. Из того, что я понял, это абсолютная неправда. В течение нашего разговора она всё время повторяла, снова и снова: «Я верю в бога», — но ни разу: «Бог есть». Когда я её спросил, почему она верит, она ни разу не упомянула о последствиях существования бога, только о последствиях веры в бога. Никогда: «Бог поможет мне», — всегда: «Моя вера в бога поможет мне». Когда я ей явно сказал: «Если кто-то просто захочет узнать истину и посмотрит на нашу Вселенную, как она есть, он даже не рассмотрит бога как гипотезу», — она мгновенно согласилась.

Она не заставила себя на самом деле верить в бога или в истинность иудаизма. Даже не близко, как я смог заметить. С другой стороны, она действительно верит в то, что обманула себя. Так что хоть она не получает никакой пользы от веры в бога — потому что не верит в него — она честно полагает, что хитростью заставила себя верить в бога, и честно ожидает получить бонусы от такого самообмана, таким образом создавая эффект плацебо вместо настоящей религиозности.

Это объясняет, почему она так рвалась убедительно защищать мои скептические предположения о её вере в бога, ни разу при этом не сказав: «А, и кстати, бог на самом деле существует», — или хотя бы не показавшись действительно заинтересованной в этом утверждении.


## Вера в самообман

Элиезер Юдковский

Я рассказывал о моём разговоре с формально ортодоксальной иудейкой, которая живо защищала утверждение, что она верит в бога, при этом не проявляя, собственно, веры в бога.

Задавая ей вопросы о плюсах, которые, как она думала, получала от веры, я познакомил её с литанией Тарского, которая на самом деле является бесконечным семейством литаний вида:

Если небо синее, я хочу верить, что «небо синее».

Если небо не синее, я хочу верить, что «небо не синее».

«Это не моя философия», — сказала она.

«Я и не предполагал этого», — я ответил. — «Я просто спрашиваю; предполагая, что бог не существует, и это известно, должна ли ты верить в бога?»

Она колебалась. Было видно, что она пытается действительно подумать об этом, что меня удивило.

«Ну это гипотетический вопрос…» — произнесла она медленно.

Тогда я подумал что ей должно быть сложно позволить себе визуализировать мир, где бога нет, из-за её привязанности к миру с существующим богом.

Сейчас же я подозреваю, что ей скорее было трудно уловить разницу между тем как выглядел мир с существующим и несуществующим богом, потому что все её мысли были о её вере в бога, но причинно-следственный блок в её мозге не содержал узла «бог». Так что она могла легко ответить на вопрос: «Как бы выглядел мир, если бы ты не верила в бога», — но не на вопрос: «Как бы выглядел мир, если бы в нём не было бога?»

Она не ответила на этот вопрос в тот раз. Зато она предложила контрпример к литании Тарского:

Она сказала: «Я верю, что люди добрее, чем они есть».

Я попытался объяснить ей, что если она говорит: «Люди злые», — это на самом деле означает, что она верит, что люди злые, а если она говорит: «Я верю, что люди добрые», — это показывает, что она верит, что она верит, что люди добрые. Отсюда выходит, что «Люди злые, но я верю, что люди добрые» переводится как «Я верю, что люди злые, но я верю, что я верю, что люди добрые».

Я процитировал:

«Если бы существовал глагол со значением „ложно верить“, он бы не имел осмысленного употребления от первого лица настоящего времени изъявительного наклонения», — Людвиг Витгенштейн.

Она ответила, улыбаясь: «Да, я действительно верю, что люди действительно добрее, чем они на самом деле являются. Я просто подумала, что так понятнее для тебя».

«Мне кажется Матушка Ветровоск должна хорошенько взглянуть на тебя, Уолтер», — сказала Нянюшка Ягг. — «Я думаю, что твой разум спутан, как клубок пряжи, который уронили», — Терри Пратчетт, «Маскарад».

И я могу даже явно напечатать мысль: «Ладно, предположим, что она не считает, что её размышления должны быть согласованы при их обдумывании», — но я до сих пор не могу уловить их смысл.

Я могу понять значение произносимых ею слов, но я не могу понять смысл на эмпатическом уровне. Я могу представить себя на месте детопожирающих пришельцев и Леди Кирицугу Третьей, но я не могу представить, каково быть ей. Или просто не хочу?

Вот почему сообразительные люди могут выдержать только конечное субъективное количество времени, затраченное на мысли о религии, перед тем как стать атеистами. После определённого порога, если ты умён, но, защищая свою религию, не избежал когтей эпистемологии Тёмной стороны, то твой разум станет похож на картину Эшера. (Один из немногих моментов, которые заставили её остановиться и подумать — упоминаю на случай, если вам подвернётся возможность использовать этот приём — это когда она говорила о том, как приятно верить, что кому-то не всё равно, хорошо или плохо ты поступаешь, вне зависимости правда это или нет — не выражая явно, существует ли в действительности бог, которому не всё равно, делаешь ли ты правильные вещи или нет (это не было частью её веры).

И я ответил: «Но мне не всё равно хорошо или плохо ты поступаешь. То есть ты говоришь, что это недостаточно, и тебе нужно знать, что есть сущность выше человечества, которой было бы это важно». Это остановило её на секунду, потому что, разумеется, она никогда не думала в этом ключе. Просто стандартный приём из нестандартного набора.

Позже в некоторый момент я спросил её, было бы хорошо делать что-то по-другому, если бы стало известно, что бога точно не существует, и в этот раз она ответила: «Нет».

«Итак», — скептически спросил я, — «существует бог или нет, это не оказывает абсолютно никакого эффекта на то, как следует вести себя людям? Я думаю, даже рабби бы отнёсся недоверчиво к такой точке зрения».

Её религия представляла собой одно лишь поклонение поклонению. Как раньше истинные верующие верили, что всевидящий отец всего живого спасёт их, так она верит, что вера в бога спасёт её.

После того как она сказала: «Я верю, что люди добрее, чем они есть», — я спросил: «Значит, ты постоянно удивляешься, когда люди не соответствуют твоим ожиданиям?» После длинной паузы, она медленно ответила: «Ну… удивлена ли я, когда люди… не соответствуют моим ожиданиям?»

Я не понял смысл этой паузы во время разговора. Я намеревался сказать, что если она постоянно разочаровывается реальностью, то это скорее всего просто недостаток неверных убеждений. Но вместо этого, мне показалось, её застал врасплох подтекст отсутствия у неё удивления.

Теперь я понимаю, что вся её философия зиждилась на вере, что она обманула себя, и возможность, что её настоящая оценка поведения людей была точной, угрожала эпистемологии Тёмной стороны, возведённой вокруг убеждений вроде «Я получаю пользу от веры, что люди добрее, чем они есть».

Она сняла старого идола с трона и заменила его явным поклонением тёмной эпистемологии, которую однажды изобрела, чтобы защищать идола; она поклоняется её же попытке самообмана. Попытка провалилась, но она честно не знает об этом.

Теперь образцовые стражники здравого смысла (девиз: «Обламываем вашу мелкую безумную братию со времён Эпикура») должные бороться ещё и активным поклонением самообману, поклонением предполагаемой пользе веры, вместо бога.

На самом деле это объясняет один факт обо мне самом, который я не совсем понимал ранее. Причина, по которой меня так раздражает, когда люди говорят, будто самообман — это просто, и почему я пишу целые эссе на тему, почему сделать мысленный выбор верить, что небо зелёное, и остаться без каши в голове сложнее, чем думают люди.

Потому что, хоть и нельзя просто так выбрать верить, что небо зелёное, если ты этого не сознаёшь, ты можешь на самом деле обмануть себя в том, что ты успешно обманул себя.

И раз уж ты искренне веришь, что получишь определённую пользу от самообмана, ты действительно получишь такой же плацебо-эффект, какой бы получил от успешного самообмана.

Так что когда я объяснял, насколько сложен самообман, я скорее критиковал плацебо-пользу, которую получали бы люди от веры в успешность этого действия, целясь в новый тип религии, который поклоняется поклонению богу.

Интересно, породит ли эта битва, новый список причин, почему не вера а вера в веру сама по себе - хорошая вещь? Почему люди выискивают великую пользу от почитания факта почитания определённой вещи? Придётся ли нам продолжать цепочку с верой в веру в веру и поклонением поклонению поклонению? Или разумные теисты не будут плодить сущности?

Хотел бы я верить, что никто не будет верить в веру в веру в веру, но аргумент мира зомби в философии ещё более запутанный чем это, и его сторонники всё ещё не забросили его.


## Парадокс Мура

Элиезер Юдковский

Парадокс Мура это стандартный термин для выражения «За окном идёт дождь, но я в это не верю». Снимаю шляпу перед painquale на MetaFilter.

Я думаю, я стал понимать парадокс Мура немного получше, после того как прочитал некоторые комментарии на Less Wrong. Jimrandomh подсказывает:

Многие люди не могут разделить разные уровни косвенности. Для них «Я верю в X» и «X» это одно и то же. Следовательно, причины, почему полезно верить в X, это те же причины, почему X - истина.

Я не думаю, что это правда. Сравнительно маленькие дети могут понять концепцию ложного убеждения, которая требует раздельных ментальных вёдер для карты и территории. Но эта мысль указывает в направлении похожей идеи:

Многие люди не могут сознательно различить веру во что-то и поддерживание чего-то.

В конце концов, «Я верю в демократию» в разговорной речи означает, что ты поддерживаешь концепцию демократии, а не веру в то, что демократия существует. Слово «вера», таким образом, имеет более одного значения. Может, запутанные слова порождают путаницу в мыслях, а может, они просто отображают уже существующую путаницу.

Отсюда, в исходном примере: «Я верю, что люди добрее, чем они есть», женщина, с которой я разговаривал, выдумала несколько причин, почему хорошо верить, что люди добрые - польза для психического здоровья и прочее - и так как эта мысль вызывала тёплый отклик в её сознании, она исследовала его и заключила:

«Я верю, что люди добрые». Таким образом, она перенесла положительное чувство, связанное с поддерживаемым убеждением, на сигналирование веры в это заявление. В то же время, сам окружающий мир выглядит, будто люди не такие уж добрые. Поэтому она сказала: «Я верю, что люди добрее, чем они есть».

И это граничит с честной ошибкой - или вроде того - так как обычно людей не учат явно определять, как это выглядит, когда они во что-то верят. Как в притче о драконе в гараже; человек, который говорит: «В моём гараже есть дракон, но он невидимый», - не понимает, что его ожидание не увидеть дракона показывает, что на самом деле он поддерживает (точную) модель мира без дракона в ней.

Не то чтобы люди тренируются распознавать, когда они во что-то верят.

Не то чтобы их кто-то учил в старшей школе: «Когда вы действительно верите во что-то - это утверждение в вашем активном наборе убеждений - это выглядит будто мир такой и есть. Вы должны распознавать это чувство, которое и есть настоящее (без кавычек) убеждение, и отделять его от приятных ощущений от веры во что-то, которую вы распознаёте как веру во что-то; это есть просто „вера“ (с кавычками)». Такой подход к обучению позволил бы сделать пример парадокса Мура из жизни намного менее философски чуждым, и дало бы ещё один механизм при помощи которого люди могли бы быть одновременно и правы и неправы.

Как Kurige, который писал:

Я верю, что существует бог, и что он вселил в нас чувство правильного и неправильного, с помощью которого мы можем оценивать мир вокруг нас. Также я верю, что чувство морали было эволюционно запрограммировано в нас - чувство морали, которое скорее всего стало результатом метаполитических игр в популяциях бонобо много-много лет назад.

Эти два убеждения не противоречат друг другу, но сложно сшить их в одну философию.

Подозреваю, Kurige решил, что у него есть причины поддерживать убеждение, что бог внушил нам внутреннее чувство добра и зла. А также, что он должен следовать вердикту науки. И научное и религиозное сообщества кажутся весьма достойными, правда? Есть же плюсы в каждом наборе убеждений? При рефлексии можно обнаружить, что и то и другое даёт положительные эмоции?

Но он не сказал: «Бог вселил в нас чувство правильного и неправильного, а чувство морали было эволюционно запрограммировано в нас. Оба состояния реальности одновременно нестабильны, сложно их сочетать».

Если ты читаешь это, Kurige, попробуй быстро сказать эту фразу вслух, чтобы заметить, что её немного сложнее проглотить. Заметь субъективную разницу до того как займёшься рационализацией.

Это и есть субъективная разница между «иметь причины поддерживать обе точки зрения» и «иметь в мыслях единую модель мира».


## Не верь, что самообман удался

Элиезер Юдковский

Не хочу, чтобы показалось, будто я придираюсь к Kurige, но думаю, что следует ожидать определённого потока вопросов, если ты показываешься на Less Wrong и делаешь заявления вроде

Идея, которая позволила мне объяснить несоответствия, которые я чувствую, когда говорю с другими христианами — это мысль, что где-то на пути к моему текущему мировоззрению я сделал большой скачок от слепой веры к чему-то вроде Оруэлловского двоемыслия.

«Если ты знаешь, что это двоемыслие… как ты можешь всё ещё в него верить?» — не могу я не спросить.

Или:

я выбрал верить в существование бога — сознательно и преднамеренно. И это моё решение, как бы то ни было, не имеет абсолютно никакого эффекта на действительное существование бога.

Если ты знаешь, что твоё убеждение никак не коррелирует с реальностью, как ты всё ещё можешь его придерживаться?

Не должно ли осознание нутром «Стойте-ка, небо на самом деле не зелёное» сразу следовать за мыслью «Моя карта, утверждающая „небо зелёное“, не имеет никаких причин соответствовать территории»?

Ну… видимо нет.

По крайней мере частью этой загадки может быть моё объяснение парадокса Мура («На улице дождь, но я не верю в это») — что люди внутренне принимают положительные ассоциации, связанные с утверждением, за настоящую достоверность.

Но другая часть того, чем это просто могло быть (в противоположность негодованию, которое я изначально хотел сюда поместить) — действительная лёгкость застрять на шаге: «Карта, отражающая территорию, сказала бы „X“» — не перейдя к действительной убеждённости в „X“. Потребуется немного потрудиться, чтобы объяснить идеи о разуме как строителе картотерриториальных связей, и даже тогда, чтобы понять смысл нутром, может потребоваться больше работы.

Теперь я понимаю, что когда писал: «Вы не можете заставить себя верить, что небо синее, усилием воли», — я не был лишь беспристрастным обозревателем существующих фактов, а также пытался внушить самоисполняющееся пророчество.

Наверное, было бы мудрым решением повторять себе: «Я не смогу безнаказанно пользоваться двоемыслием! Глубоко внутри, я знаю, что это неправда! Если я узнаю, что у моей карты нет причин коррелировать с территорией, я не буду верить ей!»

Потому что так — если когда-нибудь появится соблазн попытаться обмануть себя — мысли «Но я же знаю, что это не правда!» и «Я не могу обмануть себя!» будут постоянно приходить на ум, и вы в самом деле с меньшей вероятностью преуспеете в самообмане. Вы с большей вероятностью поймёте на уровне подсознания, что убеждение себя в X не сделает X истиной.

Если вы будете говорить себе, что не можете преднамеренно поверить, что небо зелёное, тогда вы с меньшей вероятностью обманете себя на том или ином уровне: на уровне действительной веры во что-то или попадания в ловушку парадокса Мура, веры в веру или веры в самообман.

Если вы будете повторять, что в глубине души вы будете знать правду…

Если вы будете повторять, что можете просто глядеть на хитро сконструированную ложную карту, и знать, что она ложная, не ожидая никакой корреляции с территорией, и следовательно, не смотря на всю причудливость сооружения, не будете вкладывать в неё доверия…

Если вы будете повторять, что согласованность с реальным миром победит и не позволит вам верить в придуманные вещи на объектном уровне, как только вы придёте к мета-уровневому осознанию, что карта не отражает территорию, тогда положение дойдёт до критического момента и вы в самом деле можете не суметь с ним справиться.

Когда дело доходит до умышленного самообмана, вы должны верить в собственное неумение это делать!

Скажите себе, что попытка обречена — и она будет!

Это сила позитивного мышления или сила негативного мышления?

В любом случае, кажется, что это мудрая предосторожность.