# Свежий взгляд на вещи

Eliezer Yudkowsky

Свежий взгляд на вещи


В этой цепочке описывается, как можно заставить мозг действительно о чём-то задуматься, вместо того, чтобы остановиться на первой пришедшей в голову мысли.

Автор: Элиезер ЮдковскийSeeing with Fresh Eyes

## Свежий взгляд на вещи


В этой цепочке описывается, как можно заставить мозг действительно о чём-то задуматься, вместо того, чтобы остановиться на первой пришедшей в голову мысли.

Автор: Элиезер ЮдковскийSeeing with Fresh Eyes


## Якорение и корректировка

Элиезер Юдковский

Предположим, я у вас на глазах раскручиваю рулетку и выпадает число 65. После чего я спрашиваю: «Как вы думаете, процент африканских стран в ООН больше этого числа или меньше? Какова вообще доля африканских стран в ООН?» Попробуйте немного подумать над этими вопросами, только, пожалуйста, без Гугла.

А ещё попробуйте за 5 секунд примерно оценить результат следующего арифметического выражения. 5 секунд. Готовы? Внимание… время пошло!

$$ 1 \cdot 2 \cdot 3 \cdot 4 \cdot 5 \cdot 6 \cdot 7 \cdot 8 $$

Тверски и Канеман изучали, какие ответы дают люди в зависимости от того, какие числа они видят на рулетке[1]. Медианная оценка тех, у кого выпадало число 65, равнялась 45%. Для тех, у кого выпадало 10, медианная оценка равнялась 25%.

В настоящее время результаты этого эксперимента и ему подобных объясняются тем, что испытуемые берут начальное — неинформативное — число в качестве стартовой точки (или «якоря»), а затем корректируются в большую или меньшую сторону, пока не получат ответ, который будет «звучать правдоподобно». На этом корректировка заканчивается. Обычно люди корректируются недостаточно — более удалённые от «якоря» числа тоже могут выглядеть «правдоподобно», но люди останавливаются на первом ответе, который кажется удовлетворительным.

Аналогично, у студентов, которым показали произведение $ 1 \cdot 2 \cdot 3 \cdot 4 \cdot 5 \cdot 6 \cdot 7 \cdot 8 $, медианной оценкой было 512, а у студентов, которым показали произведение $ 8 \cdot 7 \cdot 6 \cdot 5 \cdot 4 \cdot 3 \cdot 2 \cdot 1 $, медианная оценка равнялась 2250. Это объясняется гипотезой, что студенты пытались перемножать (или прикидывать) результаты произведения первых сомножителей, а затем корректировались в большую сторону. В обоих случаях корректировка оказалась недостаточной — верный ответ равен 40320. Но ответы первой группы оказались хуже, потому что они отталкивались от меньшего «якоря».

Тверски и Канеман утверждают, что, даже когда людям предлагают награду за большую точность, эффект якорения не уменьшается.

Страк и Муссвайлер задавали людям вопрос, в каком году Эйнштейн в первый раз посетил США[2]. Обнаружилось, что совершенно неправдоподобные якоря, такие как 1215 или 1992, дают такой же эффект, как и более правдоподобные, такие как 1905 или 1939.

Эффект якорения часто используется при обсуждении заработной платы и при покупке машины. Я не призываю вас самих им пользоваться, но рекомендую следить, чтобы его не использовали против вас.

И главное: наблюдайте за своими мыслями, старайтесь замечать, когда вы корректируетесь в поисках ответа.

Способов противодействия якорению с доказанной эффективностью пока не обнаружено. Я бы предложил использовать следующие два. Во-первых, если первоначальное предположение выглядит неправдоподобным, попытайтесь полностью его отбросить и получить новую оценку, а не корректируйтесь относительно «якоря». Однако, этого может быть недостаточно — когда испытуемым говорили избегать якорения, судя по всему, это им не удавалось[3]. Поэтому, во-вторых, даже когда вы используете первый метод, пытайтесь также придумать «якорь» с противоположной стороны — «якорь», который явно слишком мал или слишком велик (в зависимости от того, велик или мал изначальный «якорь») — и немного подумайте о нём.


## Прайминг и контаминация

Элиезер Юдковский

Предположим, вы просите людей нажимать одну клавишу, если строка из букв представляет собой слово, и другую клавишу, если строка не является словом (например, «вывеска» и «выверк»). Потом вы показываете им слово «вода». После этого люди опознают строку «пить» как слово гораздо быстрее. Это явление известно как «когнитивный прайминг». Конкретно эту форму можно назвать «семантический прайминг» или «концептуальный прайминг».[1]

Самое интересное в прайминге — это то, что он работает на очень низком уровне. Прайминг ускоряет идентификацию букв как слова, при том, что естественно было бы ожидать, что человек сначала опознаёт буквы как слово, а только потом понимает смысл этого слова.

Прайминг также показывает масштабность процесса параллельно активирующихся цепочек ассоциативных связей. Если при виде слова «вода» активируется слово «пить», то, скорее всего, активируются и слова «река», «чашка», «всплеск»… И эта активация распространяется через семантическую связь концептов, действуя начиная с распознавания строчек из букв.

Прайминг происходит подсознательно и его невозможно остановить, это артефакт человеческой нейронной архитектуры. Пытаться остановить прайминг у себя всё равно что пытаться остановить активацию собственных нейронных цепей. Попробуйте вслух произнести цвет — не значение, а именно цвет — следующего набора букв:

Зелёный

В исследовании Массвайлера и Страка испытуемым задавали вопрос (подразумевавший якорение): «Ежегодная средняя температура в Германии выше или ниже 5 градусов/20 градусов?»[2] В дальнейшем, при выполнении задачи на распознание слов, описанной выше, испытуемые, которым задавали вопрос, где фигурировало «5 градусов», быстрее опознавали слова наподобие «холодно» или «снег», а те, кто отвечал на формулировку с 20 градусами, быстрее узнавали «тепло» и «солнце». Это показывает некорректируемый при якорении механизм: прайминг сходных мыслей и воспоминаний.

Более общие результаты исследований прайминга показывают, что даже совершенно неинформативная, очевидная ложь или совершенно посторонняя «информация» могут влиять на оценки и решения. В области эвристик и искажений данное общее явление известно как контаминация.[3]

Ранние исследования в области эвристик и искажений продемонстрировали эффекты якорения. Например, испытуемые оценивали процент африканских стран в ООН ниже (выше), в зависимости от того, спрашивали ли их перед этим, больше или меньше ли этот процент, чем 10 (65). Этот эффект изначально объяснялся тем, что испытуемые брали «якорь» как стартовую точку, а потом корректировали свой ответ и прекращали корректировку сразу же, когда достигали какого-то правдоподобного значения — останавливались на одном из концов доверительного интервала.[4]

Судя по всему, ранняя гипотеза Тверски и Канемана верно объясняла явление в некоторых случаях, особенно когда испытуемые сами определяли начальные значения.[5] Но, похоже, современные исследования показывают, что в большинстве случаев якорение вызывается контаминацией, а не недостаточной корректировкой. (Спасибо анонимному читателю за напоминание — много лет назад я читал статью Эпли и Гиловича, как главу в «Правилах и предубеждениях», но совершенно забыл о ней.)

Скорее всего, в супермаркете, куда вы ходите, есть раздражающие таблички, на которых написано: «не более 12 в одни руки» или «5 штук за 10$». Успешно ли эти таблички заставляют посетителей покупать больше? Вероятно, вы думаете, что на вас такие трюки не действуют. Но известно, что такие таблички работают — именно поэтому магазины их и используют.[6]

И всё же самое ужасное в контаминации — то, что она является ещё одним из тысячи обликов предвзятости подтверждения. Когда идея попадает человеку в голову, она влияет на всю связанную с ней информацию — и тем самым способствует своему дальнейшему существованию. Выработанное средой стремление побеждать в политических дебатах тут уже не важно. Предвзятость подтверждения напрямую встроена в наше «железо», ассоциативные сети влияют на все связанные мысли и воспоминания. Печальный побочный эффект нашей нейронной архитектуры.

Мимолётного образа может быть достаточно для быстрого распознавания связанных с ним слов. Этого уже хватит, чтобы запустить предвзятость подтверждения. Один миг - и нижняя строчка уже определена, поскольку мы меняем своё мнение реже чем нам кажется.


## Мы верим всему, что нам говорят?

Элиезер Юдковский

В некоторых из ранних экспериментов по якорению и корректировке проверялось, ухудшится ли у испытуемых качество корректировки (и, как следствие, увеличится ли влияние «якоря»), если их отвлекать — например, испытуемых просили отыскивать среди многих цифр «пятёрку», обеспечивая тем самым им когнитивную «нагрузку». Судя по всему, большинство экспериментов подтвердили точку зрения, что когнитивная нагрузка усиливает эффект якорения и, в общем случае, контаминацию.

Когда Дэниэл Гилберт изучал накапливающиеся результаты экспериментов — всё больше и больше подтверждений контаминации, которую усиливала когнитивная нагрузка — ему пришла в голову поистине безумная гипотеза: Мы верим вообще всему, что нам говорят?

Естественно было бы предположить, что, когда мы слышим некое утверждение, мы сперва понимаем его суть, затем размышляем над ним, и в итоге принимаем его или отвергаем. Такая напрашивающаяся модель познавательного процесса предлагалась ещё Декартом. Но оппонент Декарта — Спиноза — возражал: по его мнению, мы в процессе понимания утверждения сперва пассивно принимаем его, и только затем активно отказываемся от утверждений, которые отвергаем в процессе размышлений.

На протяжении нескольких последних веков философы в основном придерживались точки зрения Декарта, поскольку она казалась, ну вы понимаете — более логичной и интуитивно понятной. Но Гилберт придумал способ экспериментально проверить гипотезы Декарта и Спинозы.

Если Декарт прав, то отвлечение испытуемых помешает им как принимать истинные утверждения, так и отвергать ложные. Если прав Спиноза, то отвлечение испытуемых приведёт к тому, что они будут чаще принимать ложные утверждения за истинные, но не станут чаще принимать истинные утверждения за ложные.

Исследование Гилберта, Крула и Мэлоуна подтвердило точку зрения Спинозы. Испытуемым показывали новые для них утверждения с пометками ИСТИННО или ЛОЖНО. В результате испытуемые примерно одинаково точно опознавали истинные утверждения (55% утверждений было опознано правильно, если испытуемых не отвлекали и 58%, если отвлекали). Однако, отвлечение влияло на идентификацию ложных (55% было опознано правильно, когда испытуемых не отвлекали, и 35%, когда отвлекали).[1]

Последующие эксперименты Гилбера, Тафароди и Мэлоуна [2] дали ещё более поразительные результаты. Испытуемые зачитывали вслух с монитора отчёты о преступлениях. В тексте цветом помечалось, является ли конкретное утверждение истинным или ложным. Некоторые отчёты содержали ложные утверждения, усугубляющие тяжесть преступления, некоторые — ложные утверждения, смягчающие тяжесть преступления. Некоторым испытуемым во время чтения отчётов приходилось отвлекаться на строку цифр и выискивать в них цифру «5» — это было отвлечение для создания когнитивной нагрузки. В конце испытуемых просили дать рекомендацию, сколько лет тюрьмы следует назначить каждому преступнику (от 0 до 20 лет).

Испытуемые, которые действовали под когнитивной «нагрузкой» в среднем предлагали 11,15 лет заключения за преступления, описанные в отчётах с ложными отягчающими обстоятельствами. За преступления, описанные в отчётах с ложными смягчающими обстоятельствами, эти испытуемые в среднем предлагали 5,83 лет заключения. Разница оказалась почти двукратной, что, как вы можете догадаться, статистически значимо.

Контрольная группа действовала без когнитивной нагрузки — с теми же пометками и с той же бегущей строкой цифр, но им не нужно было искать цифру «5». Таким образом они могли уделить больше внимания «неправдоподобным» утверждениям, отмеченным как ложные. Участники из контрольной группы предлагали 7,03 лет заключения для преступников с ложными отягчающими обстоятельствами против 6,03 лет для преступников с ложными смягчающими обстоятельствами.

Статья Гилберта, Крула и Мэлоуна вышла под названием «Вы не можете не верить всему, что вы читаете».

Эти результаты наводят на мысль, что нам, как минимум, следует вести себя очень осторожно, когда нам попадается ненадёжная информация. Особенно, если в это время мы заняты чем-то ещё. Будьте бдительны, читая газеты в супермаркете.

P.S. Согласно непроверенным слухам, которые я просто выдумал, люди будут больше доверять написанному в этом эссе, поскольку для отвлечения внимания я использую здесь шрифт разных цветов.


## Кешированные мысли

Элиезер Юдковский Обсуждение

Одна из величайших загадок человеческого мозга заключается в том, как он вообще может работать, если частота импульсации большинство нейронов составляет 10-20 раз в секунду, в лучшем случае 200 Гц. В нейронауках есть правило ста шагов, согласно которому любая теоретически допустимая операция должна занимать не более 100 последовательных шагов: вы можете сделать процессы обработки настолько параллельными, насколько вам хочется, но вы не можете задействовать в них больше 100 (а лучше меньше) нейронных импульсов, следующих подряд.

Можете ли вы вообразить программу, которая использует 100-герцовые процессоры, независимо от имеющегося их количества? Чтобы сделать в реальном времени хоть что-нибудь, понадобится сто миллиардов процессоров.

Если нужно написать действующие в реальном времени программы для сотни миллиардов 100-герцовых процессоров, можно использовать такой трюк, как кеширование. Суть его следующая: вы сохраняете результаты предыдущих операций и в следующий раз обращаетесь сразу к ним, а не вычисляете с нуля. И это весьма характерно для работы мозга, заключающейся в распознавании, поиске ассоциаций, выборе шаблона.

Разумно предположить, что большая часть когнитивных процессов у человека представляет собой поиск в кеше.

Данная мысль мелькает в моем мозгу время от времени.

Есть очень показательная история, которую я вроде бы сохранил в закладках, но потом не смог найти — это рассказ о человеке, чей сосед-всезнайка однажды мимоходом заметил, что легче всего убрать дымовую трубу из дома так: выломать топку, подождать пока труба опустится ниже, убрать видимый ее кусок, подождать пока она опустится еще и так далее, пока вся труба не будет убрана. Годы спустя, когда тот человек хотел убрать дымовую трубу из своего дома, эта кешированная мысль всплыла в его сознании…

Как рассказывал этот человек уже потом — как можно догадаться, дело отнюдь не заладилось — его сосед не особенно хорошо разбирался в этой сфере и не был надежным источником. Если б герой нашей истории подверг ту идею сомнению, он скорее всего понял, что она неудачна. Некоторые кешированные результаты все же лучше вычислять заново. Но мозг следует шаблону автоматически: если вы не осознаете, что шаблон нуждается в исправлении, вы так и продолжите действовать по прежнему шаблону.

Я подозреваю, что если бы та мысль пришла к человеку самостоятельно — если бы он сам додумался до той идеи о том, как убрать дымоход — он бы отнесся к ней более критически. Но если кто-то уже обдумал идею со всех сторон, вы можете сэкономить свои вычислительные ресурсы, просто кешировав результат — так?

Никто не может думать достаточно быстро, чтобы использовать исключительно свои собственные мысли, особенно в условиях современной цивилизации. Если бы меня в младенчестве бросили в лесу, где меня воспитали бы волки либо бессловесные роботы, во мне едва ли можно было бы узнать человека. Никто не может думать достаточно быстро, чтобы за одну жизнь кратко воссоздать мудрость племени охотников-собирателей, начиная с самого нуля. И уж подавно это невозможно для мудрости цивилизации, овладевшей письменностью.

С другой стороны, я постоянно вижу поборников критического мышления, которые при этом повторяют кешированные мысли, придуманные теми, кто думает отнюдь не критично.

Хорошим примером будет скептик, который согласен с невозможностью доказать или опровергнуть религию фактическим свидетельством. Как я уже отмечал, согласно теории вероятности, это просто ложь. И относительно реальной психологии религии это тоже просто ложь — если б вы сказали такое несколько веков назад, то оказались на костре. Мать, чья дочь больна раком, молится: «Господь, пожалуйста, исцели мою дочь», а не «Дорогой Господь, я знаю, что религии не позволяют иметь каких-либо фальсифицируемых последствий, а это значит, что ты, скорее всего, не можешь исцелить мою дочь, так что… ну, в общем, я молюсь, чтобы почувствовать себя лучше, вместо того, чтобы сделать что-то действительно полезное для моей дочери».

Но люди читают «Нельзя доказать или опровергнуть религию фактическим доказательством» и в следующий раз, когда они видят часть доказательства, которое опровергает религию, их мозг реагирует по шаблону. Даже некоторые атеисты повторяют этот абсурд без тени сомнений. Если бы они обдумали данную идею самостоятельно, а не услышали от кого-то еще, они бы отнеслись к ней скептичнее.

Смерть. Шаблон «смерть придает смысл жизни».

Так раздражает, когда хорошие и достойные люди, которые сами никогда бы в жизни не додумались о том, чтобы стереть человечество с лица земли, поднимают в разговоре тему экзистенциальных рисков и говорят: «Ну, возможно, человечество не заслуживает выживания». Они в жизни бы не выстрелили бы в собственного ребенка — а ведь он тоже часть человечества — однако их мозг следует шаблону.

От каких из шаблонов, работающих в вашем мозге, вы хотели б избавиться?

Рациональность. Шаблон «любовь нерациональна».

Если бы эта идея внезапно пришла бы именно к вам как совершенно новая мысль, как бы вы стали ее критически анализировать? Я знаю, что я бы сказал, но что сказали бы вы? Взглянуть свежим взглядом может быть нелегко. Старайтесь не давать вашему мозгу следовать по стандартному, ожидаемому, уже известному пути. В конкретном случае может не существовать лучшего ответа, чем привычный, но вы не можете обдумать ответ на этот вопрос, пока не заставите свой мозг не выдавать ответ автоматически.

Теперь, когда вы прочитали мое эссе, в следующий раз, услышав, что кто-то уверенно повторяет мем, который вам кажется глупым или ложным, вы подумаете: «кешированная мысль». Мое убеждение теперь у вас в голове, ждет возможности стать шаблоном. Но верно ли оно? Не позволяйте мозгу следовать шаблону! Думайте!


## Стандартный «нестандарт»

Элиезер Юдковский Обсуждение

Всякий раз, когда кто-то призывает вас «думать нестандартно», они обычно, для вашего удобства, точно указывают рамки этого «нестандартно». Не забавно ли видеть одинаково выглядящих нонконформистов?..

В области исследований искусственного интеллекта у всех агитаторов нестандартного подхода есть готовый ответ на всё - нейронные сети. Они ведь могут имитировать работу человеческого мозга! Новая идея для ИИ. Завершите шаблон: «Логические ИИ, несмотря на все обещания, так и не дают реальный результат десятилетиями — все что нужно, это нейронные сети!»

Эта кешированная мысль крутится уже четвёртый десяток лет. А сильного интеллекта пока всё нет. Но все откуда-то знают, что нейронные сети являются Доминантной-Парадигмой-Инновационной-Идеей, причем еще со времен изобретения алгоритма обратного распространения ошибки в 1970-х. Со времен хиппи.

Нонконформисты по своей природе хотят отличаться от нормы. Если вы не носите черное, как люди узнают, что вы угнетенный художник? Как людям распознать уникальность, если неизвестен шаблон, в соответствии с которым распознается уникальность? Как кто-либо поймет, что ваш концепт ИИ революционен, если это не нейронные сети?

Другим примером этого же явления можно назвать «контркультурную» литературу, произведения которой похожи друг на друга, выходят из под пера небольшой группы непокорных бунтарей, и попадают в учебную программу факультета английской литературы. Как спросил Anonymous в блоге Скотта Ааронсона:

«Хоть какое-то из прочитанных контркультурных произведений хоть как-то изменило ваши политические взгляды?»

Или как замечает Lizard:

«Революцию уже крутят по телеку[1]. Революция уже коммерциализированна. Она стала одним из брендов и доступна в магазине. Всего двадцать долларов за комплект из маски, баллончика с краской, транспаранта «Мочи фашистов» и доступа к блогу, где можно писать о том, как жестоко с тобой обращалась полиция после того, как ты приковал себя к столбу. Капитализм уже научился продавать антикапитализм».

Многие в Кремниевой Долине наблюдают, как большинство венчурных капиталистов в любой момент времени гонятся за одной и той же Революционной Инновацией, которая является абсолютно той же, что и полгода назад. Это особенно разрушительное наблюдение в венчурном капитале, поскольку там есть прямой экономический мотив не следовать за стадом — даже если кто-то еще развивает продукт или снижает цену на стартап. Стив Юрветсон однажды сказал мне, что в Драпер Фишер Юрветсон только двум партнерам нужно согласиться, чтобы основать любой стартап до полутора миллионов долларов. И если все партнеры согласны, что какая-то вещь звучит здорово, они этого не делают. Если бы только комитеты по распределению грантов были так же разумны.

Проблема с оригинальностью в том, что вы по-настоящему должны думать, чтобы добиться этого, вместо того, чтобы позволить мозгу последовать шаблону. Нет ничего с наклейкой «за границами шаблона», куда вы могли бы сразу отправиться. Это почти что дзен — типа того, что вы не можете понять сатори через слова, потому что сатори это опыт, который происходит без слов. Чем больше вы стараетесь следовать инструкциям мастера дзен, которые он дает вам через слова, тем дальше вы будете от очищения своего разума.

По этой причине, как я думаю, люди и не добиваются новизны, стремясь к ней. Свойства типа правды или хорошего дизайна независимы от новизны: 2 + 2 = 4, да, правда, даже несмотря на то, что каждый так думает. Люди, которые стремятся открыть правду или изобрести хороший дизайн, могут достигать креативности. Не каждое изменение есть улучшение, но каждое улучшение есть изменение.

Каждое улучшение есть изменение, но не каждое изменение есть улучшение. Тот, кто говорит «я хочу построить оригинальную мышеловку!», а не «я хочу построить оптимальную мышеловку!», всегда желает восприниматься как оригинал. «Оригинальность» в этом смысле по существу социальна, потому что может быть определена только в сравнении с другими людьми. Так что их мозг просто выполняет стандартный шаблон, для которого распознается «оригинальность», после чего их друзья кивают, соглашаясь, и говорят, что это антиправительственно.

Книги по бизнесу всегда говорят вам, для вашего удобства, куда нужно идти, чтобы получить кусочек сыра. В ином случае читателям оставалось бы только спрашивать «Где это «за пределами», куда мне нужно идти?»

Настоящее мышление, наподобие сатори, — бессловесный акт сознания.

Лучше всех эту мысть сформулировали выдающиеся философы из Монти Пайтона в Житии Брайана[2]:

— Вы должны думать сами! Вы все личности!

— Да, мы все личности!

— Вы все разные!

— Да, мы все разные!

— Вы все должны соображать своей головой!

— Да, мы все должны соображать своей головой!


## Непосредственный взгляд

Элиезер Юдковский

Поскольку Роберт Пирсиг выразил это очень хорошо, я просто скопирую ниже то, что он сказал. Я не знаю, основана ли эта история на реальных событиях или нет, но в любом случае она истинна.

У него возникали трудности со студентами, которым нечего было сказать. Вначале он полагал, что это лень, но позднее стало очевидно, что это не так. Они просто не могли придумать, что говорить.

Одна из них, девушка в стильных очках, хотела написать эссе на 500 слов о Соединённых штатах. Он привык уже, когда внутри все опускается от подобных утверждений, и, не отговаривая её, предложил ей лучше сузить тему только до Бозмена.

Когда подошёл срок, работы у неё не вышло, и она была довольно сильно расстроена этим. Она сказала, что пробовала и пыталась писать так и этак, но не смогла ничего придумать.

Это просто обескуражило его. Теперь он сам не мог сообразить, что же ему сказать. Наступило молчание, и затем последовал своеобразный совет: “Ограничьтесь-ка только главной улицей Бозмена”. И это оказалось просто озарением.

Она покорно кивнула и вышла. Но перед следующим уроком она вернулась в совершенном отчаянии, со слезами, отчаяние это назревало у неё, очевидно, уже давно. Она ничего не смогла придумать и не понимала, почему, если она не может ничего сказать обо всём Бозмене, она должна суметь написать что-либо всего лишь об одной улице.

Он рассвирепел. “Вы просто не смотрите!” — заявил он. Ему вспомнилось, как его самого отчислили из университета за то, что он слишком много говорил. По каждому факту есть бесконечное множество гипотез. Чем больше смотришь, тем больше видишь. Она в действительности не смотрела и почему-то не осознавала этого.

Он сердито предложил ей: “Ограничьтесь тогда фасадом одного из зданий на главной улице Бозмена. На оперном театре. Начните с верхнего левого кирпича”.

Ее глаза за толстыми линзами очков, широко распахнулись.

На следующий урок она пришла с озабоченным взглядом и вручила ему эссе на пять тысяч слов о фасаде здания оперы на главной улице Бозмена, штат Монтана. “Я сидела в закусочной через дорогу, — писала она, — и начала описывать первый кирпич, затем второй, а на третьем кирпиче всё началось, и я не смогла остановиться. Они посчитали меня чокнутой и всё время подтрунивали надо мной, но вот так оно получилось. Ничего не понимаю.”

Он тоже не понимал, но во время долгих прогулок по улицам города размышлял об этом и пришёл к выводу, что ей мешала та самая преграда, которая парализовала его в первый день его преподавательской деятельности. Она зациклилась, потому что пыталась повторить на письме то, что уже когда-то слышала, так же как и он сам в тот первый день пытался повторить то, что уже решил рассказать. Она не могла придумать, что бы ей написать о Бозмене, потому что не могла вспомнить ничего стоящего, что можно было бы повторить. Ей как-то не приходило в голову, что можно смотреть своим собственным свежим взглядом, и писать, не обращая внимания на то, что уже было сказано раньше. Ограничение темы одним кирпичом разрушило эту преграду, ибо стало очевидно, что ей нужно непосредственно увидеть нечто самой.

(Из книги Роберта М. Пирсига «Дзен и искусство ухода за мотоциклом», на основе перевода Геннадия Башкова.)


## Страннее истории

Обсуждение Элиезер Юдковский

Представьте, если бы я сказал вам, что следующие заявления абсолютно точно являются истинными:

Если вы покраситесь в строго определённый цвет между синим и зелёным, сила гравитации поменяет свое направление и вы будете падать вверх. В будущем по всему небу будут плавать миллиарды черных сфер. Каждая из них будет больше всех когда-либо существовавших до этого дирижаблей вместе взятых. Если вы предложите ей деньги, для вас на тросе спустится мужчина по вызову. Ваши внуки будут думать, что отправлять воров в тюрьму вместо того, чтобы их просто шлёпать, — не просто глупо, но и очень жестоко.

Вы бы решили, что я сошел с ума, верно?

А теперь представьте, что сейчас — 1901 год, и вам нужно выбрать, что более правдоподобно — утверждения, перечисленные выше, или следующие:

Существует абсолютный предел скорости, при которой объекты будут все еще казаться движущимися относительно друг друга, и точное значение этой скорости — 1 079 252 848,8 километров в час. Если вы прыгнете в поезд, идущий с такой скоростью, и выстрелите из окна, фундаментальные единицы измерения длины изменятся, и вам будет казаться, что пуля летит быстрее вас, однако другие люди будут видеть это иначе. О, и время изменится тоже. В будущем будет существовать суперсвязанная глобальная сеть, состоящая из миллиардов постоянно подключающихся к ней машин, причем каждая из этих машин будет мощнее всех когда-либо существовавших до 1901 года машин вместе взятых. Одним из главных способов использования этой сети будет передача движущихся картинок, изображающих лесбийский секс, поскольку эти картинки якобы состоят из чисел. Ваши внуки будут думать, что говорить, будто женщина не должна быть президентом Соединённых Штатов только потому, что она — чёрная, — не просто глупо, но и очень жестоко.

Это эссе появилось по мотивам комментария Робина Хансона: «Интересно, можно ли написать со всеми сопутствующими подробностями рассказ об альтернативной реальности, которую наши предки не смогли бы отличить от правды, чтобы показать со всей ясностью, насколько неожиданной она действительно оказалась».


## Ошибка обобщения на основе вымышленного свидетельства

Элиезер Юдковский

Когда я пытаюсь познакомить человека с концепцией продвинутого ИИ, что я слышу в первую очередь в более чем половине случаев?

«А, это как в Терминаторе/Матрице/у Азимова!»

И я отвечаю, «Э, нет, не совсем. Я склонен избегать логического заблуждения обобщения на основе выдуманного свидетельства».

Некоторые люди понимают сразу и смеются. Другие начинают защищать свое право на использование таких примеров, отрицая, что это заблуждение.

Что плохого в использовании кино или книг как исходной точки обсуждения? В конце концов, никто ведь и не говорит, что это истина. Где же ложь, в чем здесь грех рационалиста? Научная фантастика представляет собой попытку автора представить будущее; почему бы не воспользоваться плодами уже сделанных размышлений, вместо того, чтобы начинать заново?

Не каждый неверный шаг в точном танце рациональности заключается в явно видимом убеждении в чем-то ложном; есть менее заметные пути ошибаться.

Сначала давайте предположим, что научная фантастика представляет собой полноценную рациональную попытку предсказать будущее. Даже наиболее добросовестные писатели в первую очередь повествователи; требования к повествованию непохожи на требования к прогнозированию. Как отметил Ник Бостром[1]:

Когда в последний раз вы видели фильм о том, как человечество внезапно вымирает (без предупреждения и без того, чтобы его кто-то заменил)? А ведь такой сценарий может быть куда вероятнее, чем сценарий где люди-герои успешно отражают вторжение монстров или роботов, хотя он намного скучнее.

Художественная литература имеет свои специфические искажения. Но попытки исправить их недостаточно. Повествование никогда не является рациональной попыткой анализа, даже у лучших фантастов, поскольку истории не используют распределения вероятностей. Я покажу это так:

Боб Меркельфуд с опаской проскользнул в дверь инопланетного звездолета, поглядывая направо и налево (или наоборот) на предмет того, не остались ли где-то ужасные Космические Монстры. У него было только одно оружие, которые было эффективно против них, Космический Меч, который с 30% вероятностью состоял из чистого титана, 20% — обычного железа, 45% — таинственных черных дисков, найденных на развалинах Стоунхеджа и 5% других возможных результатов, слишком незначительных, чтобы их перечислять.

Меркельфуд (хотя был значительный шанс, что на самом деле там была Сьюзан Виффлифуфер) сделал два шага вперед и отпрыгнул назад, когда громкий рев разорвал тишину темного шлюза! Или тихий фоновый гул светлого шлюза! Хотя Амфер и Вуфи (1997) доказали, что Меркельфуд был съеден в тот момент, Споклабакл (2003) указывает на то, что…»

Персонажи могут быть невежественны, однако автор не может сказать три волшебных слова «я не знаю». Протагонист должен следовать единой линии событий в будущее, полной подробностей и окружения истории, от возможной будущей точки зрения Виффлифуфер по поводу феминизма, до цвета ее серег.

Потом все эти обременительные детали и сомнительные предположения упаковываются и получают короткий ярлык, создавая иллюзию, что они являются единым пакетом.

С проблемами, у которых большое пространство ответов, наибольшая трудность не проверка верного ответа, но просто поиск, где именно начать поиск в этом пространстве. Если кто-либо начинает с вопросов о том, будет ли ИИ помещать нас в капсулы как в «Матрице», они сразу начинают со 100-битового предположения, без подтверждения 98 бит свидетельства для определения этого в пространстве ответов как возможности стоящей точного обсуждения. Об этом стоит беспокоиться только после того как первые 98 бит будут подтверждены до почти определенности, что скажет вам, где следует проводить всю работу.

«Предварительный» шаг определения возможностей, стоящих точного обсуждения включает в себя шаги вида: взвешивание того, что вы знаете и не знаете, что вы можете предсказать и чего не можете, приложение сознательных усилий для избегания искажения абсурдности и широких интервалов подтверждения , обдумать, какие вопросы наиболее важны, пытаясь не упустить возможных «черных лебедей» и подумать (заблаговременно) о неизвестном неизвестном. Преждевременный переход к «Матрица: да или нет?» пропускает все это.

Любой профессиональный переговорщик знает, что управляя определениями можно практически предрешить исход дискуссии. Если вы начали с размышлений о Матрице, то в вашей голове станут возникать образы марширующих армий роботов, с трудом побеждающих людей — а не образ суперинтеллекта, похрустывающего нанотехнологическими пальцами. Такая постановка вопроса заставляет фокусироваться на «Мы против них», переводя потом внимание на вопросы типа «Кто победит?», «Кто должен победить?», «ИИ на самом деле будет такой?» Это создает общую атмосферу зрелищности, типа «Каково твое удивительное видение будущего?»

Позабытыми в гулкой пустоте являются: рассмотрения, что возможно более одного варианта реализации ИИ; зависимость будущего от начальных условий; сила интеллекта, превосходящего человеческий, и аргумент его непредсказуемости; есть люди, которые принимают риски всерьез и стараются предотвратить их.

Если определенные нечестные спорщики хотят, чтобы люди пришли к нужному им выводу, и начинают обсуждение с опровержения «Терминатора», то они искажают рамки данного обсуждения. В дебатах по контролю над оружием, ратующий за оружие не хочет начинать спор как «помешанный на стрельбе псих», а противник оружия не хочет начинать спор как «сторонник обезоруживания населения». Так почему вы следуете такому изменению рамок со стороны сценаристов Голливуда, пусть даже неумышленно?

Журналисты не говорят мне «будущее будет похоже на 2001 год.». Но они спрашивают «будет ли похоже будущее на 2001 год или вероятен приход ИИ?» Это столь же неправильная формулировка как и «Должны ли мы создать льготы для ветеранов или поднять налоги для богатых?»

В мире, в котором жили предки, не было движущихся картинок; то что ты видел своими глазами, было истиной. Краткий отблеск отдельного слова может вызвать у нас прайминг и сделать доступнее более подходящие мысли, что оказывает сильное влияние на оценки вероятностей. Насколько же тогда разрушителен может быть двухчасовой фильм для вашего суждения? Трудно исправить этот ущерб даже сознательными усилиями — так зачем приглашать вампира в свой дом? В шахматах или го, любой бесцельный ход это потеря; в рациональности, любое влияние, не подкрепленное свидетельствами, это (в среднем) энтропия.

Преуспевают ли те, кто смотрит кино, в неверии тому, что они видят? Насколько я могу сказать, весьма немногие из этих людей действуют так, словно видели точное будущее Земли. Люди, смотревшие Терминатора, не прятались в бомбоубежища 29 августа 1997. Однако те, кто попал под заблуждение, склонны действовать так, словно данные события истинны, но произошли на какой-то другой планете; не Земле, но очень похожей.

Вы говорите, «Предположим, что мы построим очень умный ИИ», а они говорят, «Но не приведет ли это к ядерной войне как в Терминаторе?» Насколько я могу сказать, точно так же, вплоть до тона, мыслил бы кто-либо, кто мог бы сказать «Но не это ли привело к ядерной войне на Альфа Центавра?» или «Не это ли привело к падению итальянского города-государства Пикколо в 14 веке?» Фильмам не верят, но информация из них доступна. Она рассматривается не как пророчество, но как исторический случай, подходящий для иллюстрации. Повторится ли история? Кто знает?

В недавнем обсуждении сингулярности, кто-то упомянул, что похоже, что Винж не думал, что компьютерно-мозговые интерфейсы сильно увеличат интеллект, и привел в пример Тунка Блументаля из «Marooned in Realtime», который был наиболее продвинутым персонажем, но не казался слишком уж сильным. Я возмущенно ответил: «Но Тунк потерял большую часть оборудования! Он был калекой!» Потом я обдумал все еще раз и подумал про себя: что за чушь я несу.

Насколько правилен ответ на данный вопрос ведь не зависит от того, как Винж изобразил своих героев, так? Тунк Блументаль не был «калекой», он не существовал в реальности. Я мог бы сказать «Винж решил изобразить Тунка калекой, потому что у него могли быть, а могли не быть свои причины, согласно его лучшему предсказанию будущего» и что это дает его авторскому выбору соответствующий вес свидетельства. Я не мог сказать «Тунк был калекой.» Тунка Блументаля не существовало.

Я осознанно оставил сделанную мной ошибку в первом наброске вверху данного поста: «Другие начинают защищать свое право на использование таких примеров, отрицая, что это заблуждение.» Но «Матрица» — это не пример!

Соседствующим будет логическое заблуждение оспаривания на основе вымышленного свидетельства: «Хорошо, если вы дойдете до конца радуги, вы найдете горшок с золотом — что только доказывает мою правоту!» (Обновление на основе предсказанного, а не наблюдаемого, свидетельства — это математическое отражение искажения знания задним числом.)

Мозг имеет множество механизмов для обобщения из наблюдения, не только эвристику доступности. Вы видите трех зебр, формируете категорию «зебра» и эта категория объединяет все автоматически воспринимаемое. Похожие на лошадей создания с черными и белыми полосками теперь классифицируются как «Зебры», то есть сразу распознаются как быстрые и хорошие на вкус; ожидается, что они будут похожи на ранее встреченных зебр.

Когда люди видят (двигающиеся картинки) трех боргов, их мозг автоматически создает категорию «борг», и они автоматически делают вывод, что люди с компьютерно-мозговыми интерфейсами принадлежат к категории «борг» и будут похожи на наблюдавшихся ранее боргов: холодных, не знающих жалости, одетых в черную кожу, ходящих словно роботы. Журналисты не верят, что в будущем будут борги — они не рассматривают «Звездный путь» как пророчество. Но когда кто-то говорит о компьютерно-мозговых интерфейсах, они думают «В будущем будут Борги?», а не «Как я могу знать, что обеспечиваемая при помощи компьютеров телепатия сделает людей менее приятными?», не «Я никогда не видел раньше боргов и никто не видел» и не «я формирую расистский стереотип на основе буквально нулевого свидетельства.»

Как Джордж Оруэлл говорил о шаблонах[2]:

Что нужно превыше всего — это позволить значению выбирать себе слово, и никак иначе… Когда вы думаете о чем-либо абстрактном, вы больше склонны использовать сначала слова, и пока вы не сделаете сознательное усилие, чтобы прекратить это, существующий язык будет врываться в ваши мысли и мыслить за вас, в обмен на запутывание или даже изменение вашего значения.

Согласно моей оценке, наиболее разрушительный аспект использования представлений других авторов состоит в том, что оно не дает людям использовать свое собственное. Как говорил Роберт Пирсиг[3]:

Она зациклилась, потому что пыталась повторить на письме то, что уже когда-то слышала, так же как и он сам в тот первый день пытался повторить то, что уже решил рассказать. Она не могла придумать, что бы ей написать о Бозмене, потому что не могла вспомнить ничего стоящего, что можно было бы повторить. Ей как-то не приходило в голову, что можно смотреть своим собственным свежим взглядом, и писать, не обращая внимания на то, что уже было сказано раньше.

Запомненные произведения врываются в ваше мышление и делают его за вас; они заменяют вам возможность видеть — самое ужасное удобство из всех возможных.


## Добродетель узости

Элиезер Юдковский

Свойство этого яблока может не быть свойством того яблока. Поэтому про одно яблоко можно рассказать большее, чем про все яблоки в мире.

— Двенадцать добродетелей рациональности

Внутри своих профессий люди понимают важность узости: автомеханик никогда не перепутает деталь автомобиля под названием «карбюратор» с деталью автомобиля под названием «радиатор» — он знает, в чём состоит разница между ними. Первобытный охотник знает, чем лев отличается от пантеры. Уборщик не отмывает полы средством для чистки окон, сколь похожими не казались бы бутылки непосвящённым.

Снаружи своих профессий люди часто совершают ошибку, пытаясь расширить слово настолько, насколько возможно, пытаясь покрыть им как можно большую территорию. Разве не восхитителен, внушителен и мудр разговор о всех яблоках в мире? До чего же возвышенна возможность объяснить человеческое мышление в общих чертах, не отвлекаясь на мелкие вопросы: например, о том, как люди придумывают техники собирания кубика Рубика. Несомненно, размышления о чём-то частном даже не кажутся необходимыми; разве общая теория не есть блистательное достижение сама по себе?

Ты любопытен, и ты замечаешь что-то необычное в одном камешке; что-то новое, что-то интересное, что-то, отличающее его от миллиона других камешков, лежащих рядом. Ты решаешь называть такие камешки «алмазами», и пытаешься понять, в чём состоит их особенность: какие внутренние качества они разделяют, не считая уже замеченного тобой яркого блеска. И затем появляется кто-то ещё, и говорит: «Почему бы не назвать алмазом и этот камешек тоже? И этот, и ещё тот?». Он говорит воодушевлённо и желает добра. Ибо кажется недемократичным, ограниченным, элитаристским и нехолистичным намерение называть какие-то камешки «алмазами», а какие-то — не называть. Ты выглядишь, если можно так сказать, человеком узких взглядов. Едва ли тебя можно назвать открытым к новым веяниям, не закостенелым, волнующимся о судьбе коллектива.

Возможно, вкладывание в одно слово множества значений кажется тебе поэтичным: вокруг расцветают оттенки и скрытые смыслы. Но даже поэтам — хорошим поэтам — необходимо научиться видеть мир ясно и точно. Просто сравнить любовь с цветком — недостаточно. Горячая ревнивая неофициальная любовь отличается от любви женатой пары, живущей друг другом несколько десятков лет. Если ты хочешь найти цветок, подобный ревнивой любви, то тебе придётся пойти в сад, и наблюдать, и обращать внимание на тонкие различия: тебе нужен цветок с сильным запахом, яркого цвета и острыми шипами. Даже если твоя цель состоит в том, чтобы обогатить текст оттенками и отсылками, тебе всё равно нужно следить за тем, какие именно смыслы, отсылки и оттенки ты привносишь.

Умение узко фокусироваться на необычных камешках, обладающих каким-то редким свойством — необходимая часть и искусства рационалиста, и искусства поэта. И умение замечать особенности, которыми обладают эти камешки (и лишь эти камешки, больше ничто!) тоже. В этом нет ничего зазорного.

Нет ничего плохого в том, что современная эволюционная биология может объяснить всего лишь закономерности развития живых существ, но не «эволюцию» звёзд или «эволюцию» технологии. Увы, некоторые несчастные души используют одно и то же слово «эволюция» для того, чтобы описать порождённые естественным отбором закономерности самореплицирующейся жизни, и совершенно случайную структуру звёзд, и созданную разумом структуру технологии. И, как всем известно, если две вещи называются одним и тем же словом, то они в сущности одно и то же. Следует автоматически переносить всё, известное тебе о биологической эволюции, на развитие технологии. Если кто-то возражает против этой стратегии, то он, должно быть, просто зануда и педант. Твоё бездонное невежество в отношении современной теории эволюции не может быть настолько всеобъемлющим, чтобы ты не смог увидеть различие между карбюратором и радиатором. Это немыслимо. Нет, просто твой собеседник — да, тот, который изучал математику — настолько глуп, что не может увидеть взаимосвязей между предметами.

А что может заслуживать большего уважения, чем способность видеть взаимосвязи? Несомненно, мудрейшие из людей — гуру Нью Эйджа, произносящие «всё связано со всем». Если тебе доведётся произнести эту фразу вслух, не забудь сделать паузу, чтобы окружающие могли полностью осознать всё величие этой Глубокой Мудрости.

Имея граф, можно совершенно тривиальным образом получить его дополнение. Полный граф, в котором каждую пару вершин соединяет ребро, несёт в себе точно такое же количество информации, что и граф вообще без рёбер. Важные интересные графы относятся к числу тех графов, в которых некоторые штуки не соединены с некоторыми другими штуками.

Когда невежа старается показаться мудрецом, он без конца говорит о том, что это похоже на то, а то подобно сему, а оно сравнимо с вот этим; и его граф становится полностью и связным, и бесполезным. Лечение этой беды — знание деталей и доскональное изучение темы. Когда ты знаешь два предмета до мельчайших подробностей, ты можешь увидеть, насколько они непохожи, и тогда самое время начать с воодушевлением удалять из графа рёбра.

Аналогично, важные интересные категории относятся к числу тех категорий, которые не содержат внутри себя все сущности вселенной. Хорошая гипотеза не может объяснить все возможные исходы, но только некоторые из них.

Нет ничего плохого в том, что Исаак Ньютон объяснил лишь гравитацию, лишь то, почему и каким образом вещи падают вниз (и то, как планеты вращаются вокруг Солнца, и то, как Луна создаёт приливы), но не объяснил роль денег в человеческом обществе, или то, как сердце разгоняет кровь по телу. Презрительное отношение к узости напоминает мне о древних греках, приравнявших подход «выйти на улицу и посмотреть на мир, прежде чем рассуждать о нём» к ручному труду (а ручной труд был уделом рабов).

Вот как излагает эту мысль Платон[1]:

Если кто-нибудь, запрокинув голову, разглядывает узоры на потолке и при этом кое-что распознает, то он видит это при помощи мышления, а не глазами. Глядит ли кто, разинув рот, вверх или же, прищурившись, вниз, когда пытается с помощью ощущений что-либо распознать, все равно, утверждаю я, он никогда этого не постигнет, потому что для подобного рода вещей не существует познания и душа человека при этом смотрит не вверх, а вниз, хотя бы он даже лежал навзничь на земле или плыл по морю на спине.

Многие сегодня делают похожую ошибку, думая, что узкие понятия — приземлены, не величавы и недостойны философии: также, как, скажем, и подход «выйти на улицу и посмотреть на мир, прежде чем рассуждать о нём»; пусть этим занимается чернь. Но рационалистам — и поэтам — требуются узкие слова для выражения точных мыслей, им нужны категории, содержащие лишь одни вещи и не содержащие другие. Нет ничего плохого в фокусировке разума, в сужении категорий, исключении возможностей и заострении утверждений. В этом действительно нет ничего постыдного, правда! Если ты сделаешь свои слова слишком широкими, то в итоге ты получишь что-то далёкое от истины и даже не радующее глаз ценителей поэзии.

И не говорите при мне, что Википедия — «искусственный интеллект», что синтез ЛСД был «сингулярностью», или что корпорации обладают «сверхчеловеческим интеллектом»!


## Как казаться (и быть) глубокомысленным

Элиезер Юдковский

Недавно я посетил дискуссионную группу, темой которой на этой сессии была смерть. Это взволновало всех. Думаю, что из всех ланчей, на которых я был в Кремниевой Долине, этот был наиболее честным; люди говорили о смерти близких и друзей, что они думают о своей собственной смерти. Они на самом деле слушали друг друга. Хотел бы я знать, как такие условия беседы воспроизводить.

Я был единственным присутствовавшим трансгуманистом и мне пришлось быть крайне осторожным, чтобы не показаться назойливым. («Фанатик это тот, кто не может изменить свое мнение и не способен сменить тему». Я стараюсь по крайней мере менять тему.) Что неудивительно, люди говорили о значении, которое смерть придает жизни, о том, что смерть на самом деле благо. Но я, очень аккуратно, объяснил, что трансгуманисты в общем позитивно относятся к жизни, но категорически не одобряют смерть.

После обсуждения несколько людей подошли ко мне и сказали, что я был весьма «глубокомысленен». Да, так и было, но это заставило меня задуматься над тем, что заставляет людей казаться глубокомысленными.

В один из моментов обсуждения, женщина сказала, что мысли о смерти дают ей возможность быть вежливой с людьми, ведь никто не знает, увидит ли она их снова. «Когда я могу сказать человеку что-то хорошее, — рассказывала она, — я говорю это ему прямо сейчас, а не жду чего-то еще».

«Прекрасная мысль, — сказал я, — и даже если когда-либо угроза смерти перестанет висеть над вами, надеюсь вы продолжите так делать…»

Эта женщина была одной из тех, кто подошел ко мне после обсуждения.

В другой момент дискуссии, один мужчина рассказывал о каком-то преимуществе смерти Х, не помню точно каком. И я сказал на это: «Знаете, учитывая человеческую природу, если людей бить по голове битой каждую неделю, довольно скоро они изобретут причины, по которым получать удары по голове — это хорошо. Но если вы подойдете к кому-либо, кого не бьют, и спросите, не хотели бы они к вам в этом присоединиться, они откажутся. Думаю, если вы подойдете к бессмертному и спросите, не хотел бы он умереть в обмен на преимущество Х, он откажется».

И этот человек тоже был среди тех, кто подошел после обсуждения.

Корреляция — это не причинность. Возможно я просто говорил таким тоном в этот день, что звучал крайне мудро.

Однако я подозревал, что произвел впечатление «глубокомысленного» потому, что связно опроверг запасенный шаблон «глубокой мудрости» так, что это имело смысл.

Есть стереотип Глубокой Мудрости. Смерть: завершите шаблон: «Смерть дает смысл жизни». Все знают этот стандартный ответ Глубокой Мудрости. И он включает в себя как одну из составляющих аплодисменты. Если вы скажете подобное, люди согласно кивнут, поскольку мозг завершит шаблон и они знают, что им предписано кивнуть. Они могут даже сказать «Как мудро!», возможно в надежде самим показаться глубокомысленными. Но они не будут удивлены; они не услышат ничего выходящего за пределы стандартного; они не услышат ничего, насчет чего у них не было бы мыслей. Можно назвать это убеждением в мудрости — мысль с меткой «очень мудрая», и это завершаемый стандартный шаблон для «глубокой мудрости», но сам по себе не приносящий опыта озарения.

Люди, пытающиеся выглядеть Глубоко Мудрыми, часто выглядят повторяющими за другими пустышками, поскольку они пытаются казаться глубокомысленными, вместо того, чтобы оптимизировать.

Сколько я думал, что мне нужно сделать, в рамках того, чтобы казаться глубокомысленным? Человеческие мозги работают только на 100 Гц, а я ответил сразу же, так что большая часть размышлений должна была быть проведена заранее. Наиболее трудоемким для меня было подобрать ответ с минимальным понятийным расстоянием и выразить его так, чтобы он осуществил максимальный эффект.

Философски говоря, почти вся моя работа была сделана заранее. Завершите шаблон: существующее условие Х действительно оправдывается преимуществом Y: «Натуралистическая ошибка?» / «Предубеждение статуса кво?» / «Можно ли получить Y без Х?» / «Если бы мы ранее не знали о Х, приняли бы мы его добровольно, чтобы получить Y?» Думаю, что могу честно сказать, что эти мысленные шаблоны у меня срабатывают автоматически, они столь же естественны для меня, как и дыхание. В конце концов большинство человеческих мыслей должны быть в кэше мозга, чтобы вообще работать.

И я уже придерживался развитой философии трансгуманизма. Он тоже имеет запасенные мысли о смерти. Смерть: завершаем шаблон: «Смерть это бессмысленная трагедия, рационализируемая людьми». Это нестандартный кэш, такой, с каким мои слушатели незнакомы. У меня было несколько возможностей использовать нестандартный кэш и, поскольку весь он был частью развитой философии трансгуманизма, все эти возможности явно принадлежали к одной теме. Это помогло мне выглядеть связно, а также оригинально.

Подозреваю, что это одна из причин, по которым восточная мудрость кажется глубокой для западных людей — она имеет нестандартный, но связный кэш Глубокой Мудрости. Аналогично это работает в японской художественной литературе — в ней Христиане иногда изображены как хранители глубокой мудрости и\или мистических секретов (хотя иногда нет).

Если я верно помню, один экономист однажды заметил, что аудитория чаще всего настолько незнакома с обычной экономикой, что когда он выступал на телевидении, ему достаточно было повторить некоторые места из учебника по экономике, чтобы получить славу оригинально мыслящего.

Значимым для моих слушателей было также то, что они могли сразу же видеть, что мои ответы имеют смысл. Они могли соглашаться с этим или нет, но для них это не было нелогичным заключением. Я знаю трансгуманистов, которые не могут казаться глубокомысленными, потому что не в силах подобрать слова, которые были бы уже известны их собеседникам. Если вы хотите казаться глубокомысленным, вы не должны никогда говорить того, что находится далее, чем в минимальном понятийном расстоянии от текущего состояния сознания слушателей. Только так.

Чтобы казаться глубокомысленным, изучайте необычные философии. Ищите обсуждения тех тем, что дадут вам шанс проявить ваши знания. Размышляйте над темой заранее, чтобы потом концентрироваться исключительно над тем, как ее донести до слушателей. И прежде всего — практикуйтесь оставаться на минимальном понятийном расстоянии от слушателей.

Чтобы быть глубокомысленным, размышляйте самостоятельно над «мудрыми», важными или эмоционально значимыми темами. Думать самостоятельно не значит просто получить необычный ответ. Это значит смотреть самому, а не позволять мозгу закончить шаблон. Если вы не останавливаетесь на первом ответе, и отбрасываете ответы, кажущиеся смутно неудовлетворительными, постепенно ваши мысли сформируются в связную форму, проистекающую из одного источника внутри вас, а не будут фрагментарными повторениями заключений других людей.


## Мы меняем мнение реже, чем нам кажется

Элиезер Юдковский

В последние несколько лет, когда кто-то из наших коллег сталкивался с выбором из нескольких предложений о работе, мы просили его оценить вероятность, что он предпочтёт одну работу другой. Средняя уверенность в предсказанном выборе у опрошенных составила 66%, но только 1 человек из 24 сделал выбор, которому изначально присвоил низшую вероятность, что дает нам действительную точность в 96%.

— Гриффин и Тверски[1]

Когда я впервые прочитал вышеприведенные слова — первого августа 2003 года, около трех часов дня — они изменили мое мышление. Я понял, что как только я могу предположить каков был бы мой ответ — присвою ли я высокую вероятность тому или иному ответу — то я уже решил со всей вероятностью. Мы меняем наше мнение куда реже, чем думаем. И чаще всего мы становимся способны предположить свой ответ в течение полсекунды после вопроса.

Этот незаметный момент проходит очень быстро — момент, когда мы еще не можем предположить каков будет наш ответ; крошечное окно возможности действовать интеллекту. Как в вопросах выбора, так и в вопросах фактов.

Принцип нижней строчки гласит, что только настоящие причины ваших убеждений определяют вашу эффективность как рационалиcта. Как только ваше убеждение зафиксировано, никакие аргументы не изменят степень его истинности; как только решение принято, никакие аргументы не изменят его последствий.

Вы можете думать, что вы приобрели убеждение или приняли решение по нерациональным причинам, и стараться оправдать его, и если вы обнаруживаете, что не можете найти оправдания — откиньте это убеждение или решение.

Но мы меняем мнение реже — значительно реже — чем считаем.

Я уверен, что вы можете вспомнить по крайней мере один случай в вашей жизни, когда вы изменили свое мнение. Мы все можем. Но как насчет всех тех случаев, когда вы не меняли свое мнение? Доступны ли они вашей эвристической оценке собственной компетентности?

Знание задним числом, лжепричинность, подтверждающее искажение, якорение и прайминг, а главное, ужасающая предвзятость подтверждения — вот далеко не полный список причин, по которым идея, попавшая в голову, скорее всего, там и останется.


## Не спешите предлагать решения

Элиезер Юдковский

Цитата из Robyn Dawes’s Rational Choice in an Uncertain World, стр 55-56.

Норман Майер заметил, что, когда группа встречается с проблемой, естественной склонностью для ее членов является предложить возможные решения сразу же после начала обсуждения. В результате, групповое взаимодействие концентрируется на преимуществах и недостатках предложенных решений, люди начинают эмоционально привязываться к предложенным ими решениям, и еще более лучшие решения не выдвигаются. Майер выдвинул предложение для улучшения группового решения проблем: «Не предлагайте решения до тех пор, пока проблема не будет обсуждена настолько тщательно, насколько это возможно без предложения решений». Легко видеть что данное предложение работает в контекстах, где есть объективно определенные хорошие решения для проблем.

Майер предложил следующий «игровой» эксперимент для демонстрации своей точки зрения. Нужно было решить задачу: «Три сотрудника компании выполняют три различных по сложности вида работ. Один из них, Новичок, хочет заниматься только самой лёгкой работой. Другой, Профи, хочет переключаться между работами, чтобы избежать скуки. Сторонний эксперт по продуктивности при этом рекомендует поручать Новичку самую лёгкую работу, а Профи — самую тяжёлую, что повысит общую эффективность на 20%». Половине групп, решавших эту задачу, дали инструкцию: «Не предлагайте решений, пока проблема не будет обсуждена как можно тщательнее». Вторая половина групп никаких указаний не получила. И люди в них делали естественную ошибку — увидев проблему, они сразу же предлагали решения, привязывались к ним, начинали активно спорить, дискутировать, что важнее — свобода или эффективность, и так далее. Те группы, которым дали указание сначала обсудить задачу, а затем уже решать её, с большей вероятностью приходили к решению: поручить Новичку самую лёгкую работу, в то время как двое оставшихся должны чередовать другие две работы. По данным эксперта это приводило к улучшению на 19%.

Я часто использую данное положение в тех группах, которые веду — особенно когда они сталкиваются с очень трудной проблемой, когда большинство членов группы склонны сразу же предлагать свои решения. Хотя у меня нет объективного критерия, при помощи которого можно оценить качество группового решения проблем, введение предложения Майера делает возможным принятие лучших решений.

Это настолько истинно, что даже не смешно. И данный эффект проявляется все хуже и хуже, по мере трудности задачи. Возьмем для примера искусственный интеллект. Удивительное число людей, которых я встречал, похоже точно знают как создать ИИ, при этом не зная, скажем, как создать систему распознавания символов или систему совместной фильтрации (что является менее сложными задачами). И если создание ИИ будет оказывать положительное влияние на человечество — дружественного ИИ, грубо говоря — почему эта задача столь невероятно сложна, если большинство людей решают все за 15 секунд. Может, хватит уже?

(Добавлено: все описанное относится не только к проблеме ИИ. Физики встречались с множеством не-физиков, у которых были свои теории физики, экономистам приходится выслушивать множество новых теорий экономики. Если вы эволюционный биолог, любой встреченный вами может решить любую задачу в вашей области, обычно постулируя групповой отбор. Ну и так далее)

Совет Майера перекликается с принципом нижней строки — что эффективность наших решений определяется только теми свидетельствами и той обработкой, которую мы проводим до принятия решения. После того, как вы напишете нижнюю строчку, уже слишком поздно придумывать причины к ней и писать их выше. Если вы предлагаете решение слишком рано, оно будет основано на крайне малом объеме размышлений, и не имеет значения, сколько отличных аргументов вы придумали к нему уже потом.

И более того, вспомним, что мы меняем наше мнение куда реже, чем считаем: в предыдущем посте в эксперименте 24 человека присвоили в среднем 66% вероятность будущему выбору, однако лишь 1 человек из 24 выбирал вариант с меньшей вероятностью. Как только вы предполагаете, каков был бы ваш ответ, вы скорее всего уже решили. Если вы можете предположить, каков он был бы, за полсекунды, значит у вас есть только полсекунды, в течение которых вы используете интеллект. Не слишком много.

Традиционная рациональность делает особое ударение на фальсификации — способности отказаться от начального выбора, если против него имеется явно видимое свидетельство. Но как только идея появляется в вашей голове, вероятнее всего потребуется слишком много свидетельств, чтобы выкинуть ее оттуда. Хуже того, у нас не всегда есть излишек сокрушительных свидетельств.

Я думаю, что более действенный (и более сложный) метод состоит в том, чтобы воздерживаться от размышлений об ответе. Заморозить, продлить тот краткий момент, когда мы еще не предположили, каков будет наш ответ, давая нашему интеллекту больше времени для действий.

Даже полминуты потенциально лучше, чем полсекунды.


## Генетическая логическая ошибка

Элиезер Юдковский Обсуждение

В списках логических заблуждений вы можете найти «генетическую логическую ошибку». Это ошибка, при которой убеждение критикуется на основе причин, по которым кто-либо в него верит.

Это, на первый взгляд, весьма странная идея — если причины убеждения не определяют его систематическую надежность, то что же определяет? Если Deep Blue советует нам ход в шахматах, мы верим, что это основано на нашем понимании кода, который обходит дерево игры, при этом мы сами не в состоянии оценить дерево игры. Что может дать возможность расценить любое вероятное предположение как «рациональное», как не то, что было произведено неким систематически надежным процессом?

Статьи, рассказывающие об этой ошибке, могут сказать вам, что не всегда данный тип мышления ошибочен — происхождение свидетельства может быть релевантно к его оценке, например в случае с экспертом, который заслуживает доверия. Но, как мы можем узнать из тех же статей, в других случаях это действительно может считаться заблуждением; химик Кекуле увидел структуру бензола во сне, но это не значит, что мы не можем доверять убеждению об этой структуре.

Выходит, что иногда это заблуждение, а иногда — нет?

Формально генетическая логическая ошибка является заблуждением, поскольку происхождение убеждения не то же самое, что его текущий подтвержденный статус, являющийся суммой всех известных «за» и «против» этого убеждения.

Однако мы меняем мнение реже, чем нам кажется. На обычных людей обвинение в адрес происхождения убеждений влияет гораздо сильнее, чем на идеальных байесианцев.

Очищение вашего разума является мощной эвристикой в том случае, если у вас возникло новое подозрение, что ряд ваших идей может иметь неправильный источник.

Как только идея появляется в наших головах, не всегда легко для свидетельства выкорчевать ее оттуда. Посмотрите на тех, кто вырос считая, что библия написана лично богом; позже, они приходят к тому, чтобы (на сознательном уровне) отвергнуть идею, что библию писал лично бог; но при этом продолжают думать, что библия содержит незаменимую этическую мудрость. Им не удалось очистить свое сознание; они могли бы значительно лучше справиться с тем, чтобы усомниться в истинности библейских текстов, основанной только на том, что сама библия говорит об их истинности.

В то же время, они должны твердо удерживать в сознании принцип, гласящий что обратное глупости не есть ум; цель — сделать мышление свободным и независимым, а не просто отрицать Библию, сделав это новым алгоритмом.

Как только некая идея попадёт вам в голову, вы будете искать ей поддержку всюду, куда только взглянете — и когда её первоисточник попадёт под сомнение, будет вполне разумно считать, что все яблоки упавшие с этого дерева не без подвоха тоже.

Но если бы! Не так просто прочистить свой мозг от лишних вещей. Требуется невообразимое усилие, чтобы пересмотреть позицию, не проворачивая раз за разом кешированные доводы. «Это ещё не кризис веры, пока обстоятельства не начали работать иначе», — говорит Тор Шенкель.

Вы должны быть особенно внимательны, если у вас имеется множество идей, проистекающих из одного источника, о котором вы теперь узнали, что он не заслуживает доверия, и при этом все идеи все еще кажутся правильными — очевидным архетипичным примером является как раз-таки библия.

С другой стороны… Есть такая штука, как полностью очевидное свидетельство, при котором становится уже неважно, откуда впервые появилась идея. Получение таких свидетельств — именно то, чем занимается Наука. Больше уже не имеет значения, что Кекуле увидел кольцевую струкутуру бензола в своём сне — равно как не имело бы это значения, найди мы эту гипотезу при помощи случайно генерируемых изображений, из откровений спиритиста-шарлатана или вывели из библии. Кольцевая структура бензола подтверждена таким количеством экспериментальных свидетельств, что можно забыть об источнике этого знания и не вспоминать.

В отсутствие таких очевидных свидетельств действительно приходится обращать внимание на достоверность источника идей — больше верить экспертам (если конечно их сфера обрела значимость и признание) — меньше доверять идеям, полученным из подозрительных источников — не верить тем, чьи мотивы неизвестны, особенно если они не могут предоставить аргументы независимые от их авторитета.

Генетическая логическая ошибка это искажение, когда существуют суждения за пределами изначального факта для обоснования, но обвинение представлено так, словно оно относится к самому вопросу. Хэл Финни предлагает называть это «генетической эвристикой».

Вот несколько надёжных правил:

С подозрением относитесь к критике источников тех убеждений, которые вам не нравятся, особенно если оппонент заявляет суждения за пределами простого авторитета говорящего. «Полет — идея из религии, так что братья Райт лгали» это один из классических примеров.

Аналогично, не ожидайте получить полезной информации по техническому вопросу подвергнув с мудрым видом психоанализу ущербные мотивы и личности причастных. Если существуют технические аргументы, то они имеют более высокий приоритет.

Когда насчет одного из ваших фундаментальных источников возникает сомнение, вы на самом деле должны усомниться во всех ветвях, произрастающих из него. Вы не можете просто отбросить их, потому что обратное глупости не есть ум, но вы должны заново рассмотреть их на предмет их истинности.

Но крайне внимательно вы должны смотреть, не верите ли вы до сих пор в те убеждения, источник которых вы позднее отвергнули.