# Замечая замешательство

Eliezer Yudkowsky

Замечая замешательство


Чтобы грамотно описать, что такое иррациональность, необходима теория, описывающая рациональность. Причём эта теория не должна состоять из расплывчатых трюизмов, которые ничего не объясняют точно. Цепочка «Замечая замешательство» раскрывает вопрос: почему полезно основывать поведение на «рациональных» ожиданиях и как это ощущается изнутри.

Автор: Элиезер ЮдковскийNoticing Confusion

## Замечая замешательство


Чтобы грамотно описать, что такое иррациональность, необходима теория, описывающая рациональность. Причём эта теория не должна состоять из расплывчатых трюизмов, которые ничего не объясняют точно. Цепочка «Замечая замешательство» раскрывает вопрос: почему полезно основывать поведение на «рациональных» ожиданиях и как это ощущается изнутри.

Автор: Элиезер ЮдковскийNoticing Confusion


## Сфокусируй неуверенность

Элиезер Юдковский

Что случится с процентом по облигациям: он поднимется, опустится, или не изменится? Если ты работаешь экспертом в телепрограмме, где тебе нужно объяснить произошедшее постфактум, то тебе незачем волноваться. Какая бы из этих трёх возможностей ни реализовалась, ты всё равно сможешь объяснить, почему результат отлично вписывается в разработанную тобой теорию рынка. Нет смысла думать о том, что эти три возможности каким-то образом противоречат друг другу или несовместимы между собой, поскольку ты в любом случае на сто процентов выполнишь свою работу в качестве эксперта.

Хотя подожди. Представь, что ты только совсем недавно появился на телевидении и недостаточно опытен для того, чтобы придумывать правдоподобные объяснения на лету. Нужно заранее подготовить заметки для завтрашнего прямого эфира, а времени у тебя не так уж и много. Тогда было бы очень полезно знать, какой именно результат произойдёт на самом деле, — поднимется или опустится ли процент по облигациям — ведь тогда понадобится подготовить лишь один набор оправданий.

Увы, предвидеть будущее невозможно. Что ты собираешься делать? Ты определённо не будешь использовать «вероятности». Школа рассказала нам, что такое «вероятности»: так называются числа от нуля до единицы в тексте некоторых задач; сейчас же никто не сообщил тебе никаких чисел от нуля до единицы. Что ещё хуже, ты чувствуешь себя как-то неуверенно, а — если тебе не изменяет память — во время вычисления ответа на такие задачи у тебя никогда не было таких ощущений. Лекции по математике читаются в чистых и знакомых аудиториях — разве уместно применять математику не в стенах института, а в запутанных и непонятных жизненных ситуациях? Использовать какой-либо стиль мышления в непригодной для него обстановке — всегда плохая идея. Ясно, о «вероятностях» вспоминать не надо.

Тем не менее, у тебя есть всего лишь 100 минут для того, чтобы подготовить оправдания. Нельзя потратить все 100 минут, обдумывая сценарий «повышение», и ещё потратить все 100 минут, набрасывая реплики для сценария «понижение», и ещё потратить 100 минут на размышления о сценарии «неизменность».

Если какая-нибудь проверочная комиссия собирается исследовать твоё расходование времени, то лучше бы потратить равное количество времени на подготовку к каждому возможному исходу. Никто не сообщил тебе чисел от нуля до единицы, и поэтому у тебя на руках нет никакой документации, могущей обосновать неравные временные затраты. Ты легко можешь представить, что именно скажут тебе проверяющие: «И почему же вы работали над оправданием №3 ровно 42 минуты, мистер Финклдинджер? Почему не 41 или 43 минуты? Признайте свою необъективность! Вы отдаёте предпочтение своим субъективным любимчикам!»

Однако ты с облегчением вспоминаешь, что никакая проверочная комиссия и не собирается искать в твоих поступках повода для обвинений. Это замечательно, ведь завтра прозвучит важное объявление от Федерального Резерва Банка США, и кажется маловероятным, что цены на процент по облигациям не изменятся. У тебя нет ни малейшего желания тратить драгоценные 33 минуты на подготовку речи, которую ты не планируешь произносить.

В голове всплывают наброски объяснений: подробные рассказы о том, почему каждое событие правдоподобно вытекает из твоей теории рынка. Но почти сразу становится ясно, что сейчас правдоподобность не поможет: все исходы правдоподобны. Каждый сценарий вписывается в твою теорию рынка, но это не имеет никакого отношения к тому, как следует поделить время на подготовку. Между сотней минут и способностью вписывать события в теорию есть принципиальное отличие: первое — ограниченно, второе — нет.

И всё же… У тебя нет зацепок, но всё же ты, кажется, ожидаешь эти события с разной силой. Какие-то оправдания кажутся тебе более важными, какие-то — менее. И — восхитительная деталь — если представить что-то, делающее повышение процента более вероятным, то объяснения для сценариев понижения и неизменности кажутся уже менее нужными.

Кажется, что существует связь между тем, насколько ты ожидаешь увидеть каждый из исходов, и тем, как ты хочешь разделить время подготовки между их оправданиями. Разумеется, эту связь невозможно измерить. У тебя есть 100 минут на подготовку, но здесь и не пахнет сотней «единиц предвкушения», или чего-нибудь такого. (Хотя ты всё-таки понял, что твоя функция полезности растёт примерно как логарифм от времени, потраченного на подготовку оправдания того события, которое произойдёт на самом деле.)

Но всё же… В мысли о том, что ожидание конечно, — и конечное ожидание подобно конечному времени на подготовку объяснений, а не бесконечной способности объяснять — явно что-то есть. Возможно, имеет смысл думать об ожидании, как о каких-нибудь ресурсах: например, как о деньгах. После такого сравнения сразу же тянет подумать о том, где можно достать ещё ожидания, но это бессмысленно: сколько ожидания бы ты не раздобыл, времени на подготовку от этого не прибавится. Нет, задача решается по-другому: нужно попытаться использовать свои ограниченные запасы ожидания наилучшим образом.

Ни о чём подобном на лекциях по статистике не говорилось. Никто не рассказал, что делать, когда это чёртово ощущение неопределённости так сильно давит на мысли. Никто не рассказал, что делать, когда неизвестно никаких чисел от нуля до единицы. Хотя при чём тут это? Если уж использовать числа, то с равным успехом можно использовать любые числа: нет никаких зацепок, указывающих на то, какой раздел математики следует использовать, если здесь стоит использовать вообще хоть какой-нибудь раздел математики. Может быть, пригодятся пары чисел: число слева, число справа. Такой подход можно будет назвать «теорией Декстера-Синистера», поскольку именно так «правый» и «левый» звучат на латыни. Или что-нибудь ещё, какой-нибудь другой метод и иная аксиоматика. (Во всяком случае, число «100» — 100 минут на подготовку — точно должно где-то участвовать, это понятно)

Почему никто не открыл правил фокусировки неопределённости? Правил, позволяющих распределить ожидание таким образом, чтобы большинство ожидания попало в тот исход, который произойдёт на самом деле?

Но как будет называться это искусство? И как будут выглядеть эти правила?


## Что такое свидетельство

Элиезер Юдковский

«Предложение „снег белый“ истинно тогда и только тогда, когда снег белый» — Альфред Тарский.

«Говорить, что сущее есть и не-сущее не есть, — значит говорить истинное» — Аристотель, «Метафизика 4».

Если две эти цитаты не выглядят удовлетворительным определением «истины» — прочтите это. Сегодня я расскажу о «свидетельствах» (причём речь будет идти об убеждениях-о-фактах, говорящих о том, каким является мир, а не об эмоциях или морали. О разнице между этими понятиями сказано здесь).

Человек идёт по улице, неожиданно его шнурки развязываются. Некоторое время спустя, по какой-то непонятной причине, он становится убеждён в том, что его шнурки развязаны. Свет покидает Солнце, ударяется о шнурки и отпрыгивает прочь; некоторые фотоны входят в зрачок и попадают на сетчатку; энергия фотонов запускает волну нервных импульсов; нервные импульсы доходят до зрительной коры, где на основе оптической информации строится трёхмерная модель, распознанная как развязанные шнурки. Происходит последовательность событий — цепочка из причин и следствий — начавшаяся во внешнем мире и закончившаяся внутри мозга, в конечном итоге которой человек приобретает имеющиеся у него убеждения. На выходе этого процесса — состояние разума, которое отражает состояние шнурков.

Что такое «свидетельство»? Это событие, сцепленное с интересующей тебя сущностью последовательностью из причин и следствий. Если, к примеру, объект исследования — твои шнурки, то входящий в зрачки свет есть свидетельство, сцепленное со шнурками. Замечу, что здесь я использую слово «сцепленность» не в том смысле, что принят в квантовой механике (entanglement, в русской литературе иногда встречается как «запутанность»); две вещи «сцеплены», если благодаря соединяющей их цепочке причин и следствий, их состояния становятся скореллированными.

Не каждое воздействие создаёт нужный для свидетельства вид сцепленности. Не очень впечатляюще построить машину, гудящую, если в неё ввести выигрышный лотерейный номер, если эта машина будет точно также гудеть и на все остальные лотерейные номера. Отражённый от ботинков свет не будет полезным свидетельством касательно шнурков, если фотоны были бы одними и теми же вне зависимости от того, завязаны ли шнурки.

Говоря более формально: событие называется свидетельством о сущности А, тогда и только тогда, когда это событие проявляется по-разному в зависимости от различных состояний сущности А (говоря на языке теории информации, взаимная информация события и сущности А должна быть больше нуля).

Сцепленность заразительна, если с ней правильно обращаться, и именно поэтому людям нужны и глаза, и мозг. Если фотоны отразятся от шнурков и затем столкнутся с камнем, то камень не сильно изменится. Камень не будет сцеплен со шнурками никаким полезным с практической точки зрения образом, его состояние будет одним и тем же вне зависимости от того, были ли завязаны шнурки. Именно поэтому камни не стоит приглашать в суд в качестве свидетелей. Фотоплёнка, напротив, будет сцеплена со шнурками через отражённые от обуви фотоны, и поэтому её можно предъявить как улику. Если твои глаза и мозг работают правильно, то ты сам становишься сцеплен со своими шнурками.

Именно поэтому рационалисты так бережно относятся к, на первый взгляд, парадоксальному утверждению: «убеждение стоит того, чтобы в него верить, лишь в том случае, когда тебя, в принципе, можно убедить в него не верить». Сетчатка, чьё состояние не меняется в зависимости от того, какой в неё входит свет, — сетчатка слепого. Некоторые системы убеждений, довольно очевидно пытаясь защитить себя, утверждают, что ряд убеждений ценен лишь в том случае, когда ты веришь в них безоговорочно: что бы ты ни видел, о чём бы ты ни думал — верь! Мозг должен оставаться в том же состоянии независимо от того, какая информация входит в его недра. Отсюда выражение «слепая вера». Если то, во что ты веришь, не зависит от того, что ты видишь, — ты слеп точно так же, как и человек с пустыми глазницами.

Если твои глаза и мозг работают правильно, то твои убеждения становятся сцепленными с фактами. Рациональное мышление порождает убеждения, сами по себе являющиеся свидетельствами.

Если твой язык говорит правду, то твои рациональные убеждения — которые есть свидетельства — могут быть свидетельствами в глазах кого-то ещё. Сцепленность передаётся по цепочке причин и следствий, а слова произнесённые есть причина, и слова услышанные есть следствие. Сказав «У меня развязались шнурки» по телефону, ты делишься сцепленностью с другом.

Поэтому среди честных людей, верящих в честность друг друга, рациональные убеждения будут заразительны. Именно поэтому выглядит столь подозрительным заявление о том, что твои убеждения не заразительны: заявление о том, что ты веришь, исходя из каких-то личных причин, не распространяющихся на остальных. Если твои убеждения сцеплены с реальностью, то они должны быть заразительны среди честных людей.

Если твоя модель реальности говорит о том, что результаты работы твоих когнитивных процессов не должны быть заразительны, то твоя модель реальности говорит о том, что твои убеждения не есть свидетельства, что твои убеждения не сцеплены с реальностью. В этом случае нужно что-то исправить, и отметить свои убеждения как «ложные».

Разумеется, если ты до конца осознаёшь — ощущаешь — смысл всего этого, то это означает, что ты уже отметил свои убеждения как «ложные». Потому что «убеждение не сцеплено с реальностью» означает «убеждение не истинно». В ту же секунду, когда ты перестал верить в то, что «предложение „снег белый“ истинно», ты автоматически перестал верить и в то, что снег белый, или на очень глубоком уровне сломалось что-то очень важное.

Поэтому объясни, почему используемый тобой тип мышления порождает убеждения, отражающие реальность. Объясни, почему ты считаешь себя рациональным. Объясни, почему, используя подобный твоему тип мышления, люди будут думать «снег белый» если, и только если, снег белый. Если ты не веришь в то, что результаты работы твоих когнитивных процессов сцеплены с реальностью, то почему ты доверяешь результатам работы своих когнитивных процессов? Ведь это должно быть одним и тем же!


## Свидетельство: рациональное, правовое, научное

Элиезер Юдковский

Предположим, ваш добрый друг, комиссар полиции, говорит вам по строжайшему секрету, что криминальный главарь вашего города - Вилки Вилкинсен. Как рационалист, вы обязаны поверить этому заявлению? Попробуем так: если вы возьмете и оскорбите Вилки, я назову вас безрассудным. Так как благоразумно вести себя так, как если бы Вилки имел существенно большую-чем-по-умолчанию вероятность быть криминальным главарем, следовательно, заявление комиссара полиции должно быть сильным Байесовским свидетельством.

Наша судебная система не поместит Вилки под стражу на основе заявления комиссара полиции. Оно не рассматривается как правовое свидетельство. Возможно, если упекать за решетку всех обвиненных комиссарами полиции в том, что они возглавляют преступную организацию, то вы по-началу поймаете множество боссов, плюс, тех, кто не нравился комиссарам. Власть имеет свойство портить людей с временем, так что со временем вы будете ловить все меньше реальных боссов (которые будут применять более серьезные меры для обеспечения своей анонимности) и все больше невинных (несдержанная власть привлекает коррупцию, как мед привлекает мух).

Но это не значит, что заявление комиссара полиции не является рациональным свидетельством. Оно все еще обладает однозначными отношениями правдоподобия, и ты все еще будешь безрассудным, оскорбляя Вилки. Но на социальном уровне, преследуя социальную цель, мы осознанно определяем «правовое свидетельство», как совокупность лишь конкретных типов свидетельств, например, наблюдения комиссара полиции в ночь на четвертое апреля.

Все правовые свидетельства, в идеале, должны быть рациональными свидетельствами, но не наоборот. Мы внедряем особые, сильные стандарты, прежде чем объявлять, что данное рациональное свидетельство является еще и «правовым».

Набирая эту фразу в 8:33 вечера, Pacific time, 18-го августа 2007, я ношу белые носки. Следует ли тебе, как рационалисту, верить этим словам? Да. Могу я давать показания об этом в суде? Да. Это научное заявление? Нет, ведь нет эксперимента, который бы ты мог провести, дабы верифицировать это. Наука собрана из множества обобщений, применяемых к множеству частных случаев, чтобы ты мог провести новые реальные эксперименты, которые тестируют обобщения, и следовательно, подтвердить для себя, что обобщение является правдой, не полагаясь на чей-то авторитет. Наука - публичное, воспроизводимое знание человечества.

Как и судебная система, наука - социальный процесс, включающий подверженных ошибкам людей. Мы хотим защитить фонд убеждений, которые особенно надежны. Так же мы хотим социальные правила, которые бы способствовали производству нового знания. Так что мы внедряем особые, сильные, дополнительные стандарты прежде чем объявить конкретное рациональное знание «научным», добавив его в фонд убеждений. Должен ли рационалист верить в историческое существование Александра Великого? Да. У нас есть лишь грубая картинка древней Греции, не слишком достоверная, но это лучше чем максимальная энтропия. Но мы зависим от авторитетов, Плутарха, например; мы не можем игнорировать его и проверить все сами. Историческое знание - ненаучное знание.

Должен ли рационалист верить, что Солнце взойдет 18-го сентября 2007 года? Да, но не с абсолютной уверенностью, таков уж принцип ставок. (Для педантов: стоит ли верить, что 18-го сентября 2007 года вращение Земли и её орбита относительно Солнца останутся примерно такими же?) Это заявление, которое я написал в своем эссе 18-го августа 2007-го является научным убеждением?

Отрицание применимости прилагательного «научный» к заявлению «Солнце взойдет 18-го сентября 2007-го» может показаться ошибочным. Если наука не может делать предсказания о будущих событиях, которым еще предстоит произойти, то она бесполезна; она не будет способна предсказывать результаты эксперимента перед его проведением. Предсказание о том, что Солнце взойдет, определенно, является экстраполяцией научного обобщения. Оно основано на моделях Солнечной системы, которые ты можешь подтвердить самостоятельно.

Но представь, что ты создаешь новый эксперимент для верификации предсказания №27 в новом контексте теории Х. У тебя может не быть причин полагать, что предсказание ошибочно; ты можешь лишь хотеть проверить его в новом контексте. Утверждение о «научности» этого убеждения может показаться опасным, до завершения эксперимента. Уже есть «традиционное предсказание» и «предсказание теории Х». Но если ты уже знаешь «научное убеждение» о результате, зачем осложнять себе жизнь экспериментом?

Ты начинаешь, надеюсь, понимать, почему я отождествляю Науку с обобщениями, а не с историей экспериментов. Исторические события случаются лишь раз; обобщения же применяются для множества событий. История не воспроизводима, научные обобщения - да.

Является ли мое определение «научного знания» истинным? Это не слишком хорошо сформулированный вопрос. Особые стандарты, что мы внедряем для науки имеют практическую цель. Нигде на звездах или горах не написано, что p < 0.05 является стандартом научной публикации. Сейчас многие утверждают, что 0.05 - слишком слабый стандарт; что будет полезно понизить его до 0.01 или 0.001.

Может быть будущие поколения, действуя в соответствии с убеждением, что научное знание - публичное и воспроизводимое, будут помечать как «научные» лишь те статьи, что напечатаны в бесплатных журналах. Ведь если ты требуешь плату за знание, является ли оно знанием человечества? Можем ли мы доверять результатам, если людям приходится платить, чтобы критиковать их? Действительно ли это наука?

Вопрос «Действительно ли это наука» плохо сформулирован. Является ли байесовским свидетельством журнал с закрытым доступом и ценой подписки 20000$ в год? Вместе с частными заявлениями комиссара полиции о том, что Вилки — криминальный босс, думаю я, ответ — «Да». Но следует ли канонизировать журналы с ограниченным доступом как «науку»? Должны ли мы допускать их в защищенный фонд убеждений? Как по мне, так науке послужит больше, если научным будет считаться публичное, воспроизводимое знание в фонде человечества.


## Сколько свидетельств понадобится

Элиезер Юдковский

Напомню, что свидетельство — это «событие, сцепленное с интересующей тебя сущностью последовательностью из причин и следствий», а сцепленность — «событие проявляется по-разному в зависимости от различных состояний цели». Так какое количество сцепленности — сколько свидетельств — требуется для того, чтобы поддержать убеждение?

Начнём с простого вопроса (достаточно простого для того, чтобы можно было получить ответ математически): насколько нужно сцепиться с лотереей, чтобы выиграть? Скажем, есть 70 шаров, вытаскиваемых в случайном порядке, и, чтобы выиграть, нужно, чтобы совпало шесть чисел. Тогда существует 131 115 985 возможных комбинаций, и вероятность того, что произвольный лотерейный билет выиграет, равна 1/131 115 985 (это 0,0000007%). Чтобы выиграть в лотерею, необходимы свидетельства, достаточно избирательные для того, чтобы благоволить одной комбинации, а не 131 115 984 её альтернативам.

Скажем, существуют вероятностные тесты, различающие выигрышные и проигрышные билеты. Например, можно ввести комбинацию в чёрный ящик, который всегда гудит, если комбинация выигрышна, и не всегда гудит, если комбинация проигрышна. Допустим, вероятность этого лишь 1/4 (или, в байесианской терминологии, отношение правдоподобия чёрного ящика — четыре к одному: если комбинация была выигрышной, то ящик загудит с вероятностью в четыре раза больше, чем для проигрышной).

Но возможных комбинаций очень много. Если ввести в ящик 20 проигрышных комбинаций, 5 из них (в среднем) заставят его загудеть — просто из-за вероятности ошибиться в 25%. Если ввести в ящик все 131 115 985 возможных комбинаций, то ящик загудит не только после выигрышной, но и после 32 778 996 проигрышных (в среднем).

Этот чёрный ящик не позволит выиграть лотерею, но это лучше, чем ничего. Благодаря ему, вероятность выигрыша вырастает от 1/131 115 985 до 1/32 778 997. Наблюдается прогресс в деле отыскания истины внутри обширного пространства возможностей.

Теперь предположим, что можно использовать второй ящик для того, чтобы проверить комбинацию дважды, независимо. Оба ящика точно загудят на правильную комбинацию, а вероятность гудка в ответ на неправильную комбинацию — 1/4 независимо для каждого ящика, и поэтому оба ящика загудят на проигрышную комбинацию с вероятностью лишь в 1/16. Можно сказать, что суммарное свидетельство, полученное в результате двух независимых тестов, имеет отношение правдоподобия 16:1. Число проигрышных лотерейных билетов, прошедших оба теста — 8 194 749 (в среднем).

Раз всего возможно 131 115 985 лотерейных билетов, то соблазнительно сказать, что необходимы свидетельства, чья суммарная сила будет примерно 131 115 985 к 1 — то есть нужно событие (или серия событий), в 131 115 985 раз более вероятное при условии, что комбинация выигрышная, чем при условии, что комбинация проигрышная. Но на самом деле этого свидетельства хватит лишь на то, чтобы дать 50% вероятность выигрыша. Почему? Потому что, если применить фильтр этой силы к 131 миллиону проигрышных билетов, то один (в среднем) проигрышный билет его пройдёт. Выигрышный билет тоже его пройдёт, и в результате получатся два прошедших фильтр билета. Вероятность выиграть 50%, если купить можно лишь один.

Лучше посмотреть на ситуацию следующим образом. Вначале, есть 1 выигрышный билет и 131 115 984 проигрышных, поэтому шансы выиграть 1:131 115 984. Шансы ящика загудеть — 1 (для выигрышного билета) к 0,25 (для проигрышного). Умножив 1:131 115 984 на 1:0,25 , получаем 1:32 778 996. После добавления ещё ящика свидетельств, шансы опять умножаются на 1:0,25 , и теперь они равны 1 к 8 194 749: 1 выигрышный билет и 8 194 749 проигрышных.

Удобно измерять свидетельства в битах — не в тех битах, которые можно найти на жёстком диске, а в математических битах, которые концептуально от них отличаются. Эти биты — просто логарифмы вероятностей по основанию 1/2. Например, если возможны четыре случая — A, B, C и D, чьи вероятности 50%, 25%, 12,5% и 12,5% соответственно, и я говорю, что случилось D, то тем самым я передаю тебе 3 бита информации, так как вероятность сообщённого результата — 1/8.

Удачное совпадение: 131 115 984 чуточку меньше, чем 2 в 27-й степени. Поэтому 14 ящиков, или 28 бит свидетельствующей информации — событие, в 268 435 456 раз более вероятное при условии, что гипотеза-о-билете верна, чем при условии, что она ложна, — увеличит шансы с 1:131 115 984 до 268 435 456:131 115 984, что примерно равно 2:1. Шансы 2:1 означают, что на каждые две победы приходится один проигрыш, то есть, если взять в руки 28 битов свидетельствующей информации, то вероятность выигрыша будет 2/3. Добавим ещё один ящик, 2 бита свидетельствующей информации, и шансы сдвинутся до 8:1. Появление ещё двух ящиков превратит шансы выигрыша в 128:1.

Так что, если ты хочешь получить право на сильное убеждение в том, что ты выиграешь лотерею (то есть, скажем, чтобы вероятность твоей неправоты была меньше 1%), то 34 бит свидетельствующей информации о выигрышной комбинации вполне достаточно.

В общем случае, для ответа на вопрос «сколько свидетельств для этого понадобится?» нужно использовать примерно такие же правила оценки. Чем больше пространство возможностей, или чем сильнее априорная невероятность гипотезы по сравнению с её ближайшими соседями, или чем более уверенным хочется быть, тем больше нужно свидетельств.

Правила нельзя обмануть. Никто не может формировать убеждения, основываясь на неадекватных свидетельствах. Скажем, у тебя есть ряд из 10 ящиков, и ты вбиваешь комбинации в каждый из них. Ты не можешь остановиться на первой комбинации, успешно прошедшей все ящики, и сказать: «Но шанс на то, что это случится для проигрышного билета — один к миллиону! Чёрт с этими полурелигиозными обычаями байесианцев, я закончил!». Этот тест пройдёт не только победитель, но ещё и 131 проигрышный билет (в среднем). Ты пришёл к слишком сильному выводу, основываясь на недостаточном количестве свидетельств, не сумев побороть громадность пространства возможностей и априорную невероятность. Это не надуманное бюрократическое предписание, это математика.

Конечно, можно быть убеждённым в чём-то, основываясь на неадекватных свидетельствах, если сильно хочется; но убеждения при этом не могут быть истинными. Ситуацию можно сравнить с попыткой завести машину без бензина, игнорируя глупое, закостенелое, несправедливое и смехотворное правило «автомобилю нужен бензин для того, чтобы ездить». Было бы намного удобнее и дешевле, если бы люди отменили этот закон, разве это не очевидно вообще всем? Что же, можно попробовать, если сильно хочется. Можно даже закрыть глаза и представить себе, что машина движется. Но для того, чтобы на самом деле прибыть к правдивым убеждениям, необходимы свидетельства-бензин и, чем дальше ехать, тем больше бензина понадобится.


## Самоуверенность Эйнштейна

Элиезер Юдковский

В 1919 году сэр Артур Эддингтон возглавил экспедиции в Бразилию и на остров Принсипи, чтобы пронаблюдать солнечные затмения и тем самым опытным путем проверить то, что предсказывает новая теория, созданная Эйнштейном, — общая теория относительности. Некий журналист спросил Эйнштейна, что тот будет делать, если наблюдения Эддингтона разойдутся с предсказаниями теории. Как известно, Эйнштейн ответил: «Тогда мне будет жаль Господа Бога. Теория всё равно верна».

Это заявление звучит чрезмерно дерзко, словно бросая вызов общепринятой в Традиционной Рациональности позиции, которая утверждает, что эксперимент — главный судья. Эйнштейн словно был одержим столь великой гордыней, что отказывался преклонить голову перед тем, что говорит мироздание, как это должен делать всякий ученый. Кто способен узнать, верна ли теория, еще до экспериментальной проверки?

Конечно, Эйнштейн оказался прав. Я стараюсь не подвергать критике людей, когда они правы. Если они по-настоящему ее заслуживают, мне не придется долго ждать случая, который прояснит их ошибку.

И Эйнштейн, возможно, был не столь уж опрометчиво дерзок, как это звучало.

(От переводчика: далее под силой эксперимента или сложностью гипотезы будет иметься в виду их разрешающая способность в битах в соответствии с подходом Шеннона. Для тех, кто слабо знаком с теорией информации, можно, не вдаваясь в детали, сказать, что это мера длины кратчайшего сообщения, описывающего гипотезу. См. также статью о бритве Оккама)

Чтобы назначить вероятность, большую 50%, одной верной гипотезе из набора в 100 млн возможных, вам нужно как минимум 27 бит свидетельств, или около того. Если у вас нет столь информативного способа проверки, нельзя рассчитывать, что вы сможете найти верную гипотезу: недостаточно сильные эксперименты оставят более чем одну идею потенциально истинной. Если вы попробуете произвести проверку, дающую ложноположительный исход в одном случае из миллиона (т. е. силой примерно в 20 бит), то в итоге получите сотни возможных гипотез. Чтобы просто отыскать верный ответ в широком пространстве возможностей, нужно много свидетельств.

Традиционная Рациональность подчеркивает роль подтверждения: «Если вы хотите убедить меня в истинности X, вам потребуется предоставить мне Y свидетельств». Я часто соскальзывал к подобной формулировке, когда на самом деле хотел сказать что-то вроде «Чтобы обосновать убежденность в этом заявлении с вероятностью большей 99%, нужно 34 бита свидетельств». Или «для того, чтобы присвоить вашей гипотезе вероятность больше 50%, вам нужно 27 бит свидетельств». Традиционная формулировка подразумевает, что вы начинаете исследование с догадок или неких только вам понятных рассуждений, которые приводят вас к гипотезе, и только затем накапливаете «свидетельства», подтверждающие ее, чтобы убедить научное сообщество или обосновать свою убежденность.

Однако с байесовской точки зрения вам, чтобы просто задать гипотезу на пространстве возможных теорий, нужны свидетельства в объеме, примерно равном сложности этой гипотезы. (Вопрос пока не в том, чтобы убедить кого-либо или обосновать что-либо.) Если перед вами сто миллионов альтернатив, вам нужно не меньше 27 бит свидетельств, чтобы просто однозначно сосредоточиться на единственной версии.

Это справедливо, даже если вы называете свою идею «догадкой» или «озарением». Работа интуиции — реальный процесс в настоящем мозге. Если ваш разум не обладает хотя бы десятью битами байесовски непротиворечивых, неизбыточных и соответствующих гипотезе данных, то он не в состоянии выделить корректную гипотезу силой в 10 бит — ни сознательно, ни подсознательно, ни как-либо еще. Если вы хотите отыскать одну из миллионов целей с помощью только лишь 19 бит связанной информации, подсознание не сможет сделать это лучше, чем сознание. Подсознательные догадки могут казаться загадочными тому, в чью голову приходят, но не в состоянии нарушить принципы устройства мироздания.

Вы уже видите, к чему я веду: в момент, когда Эйнштейн изначально формулировал гипотезу, когда уравнения начали приходить ему в голову, у него уже должны были быть достаточные экспериментальные данные, чтобы его внимание смогло сосредоточиться единственным образом именно на уравнениях ОТО. Иначе они не получились бы верными.

Теперь подумаем, насколько похоже на правду, что Эйнштейн мог владеть именно такими экспериментальными данными, чтобы ОТО завладела его вниманием, но ее достоверность была бы оценена лишь в 55%? Предположим, что сложность гипотезы ОТО — 29,3 бита. Правдоподобно ли, чтобы в курсе физики, который изучал Эйнштейн, было ровно 29,5 бит свидетельств?

Неправдоподобно. Если у Эйнштейна было достаточно экспериментальных данных, чтобы единственным способом разработать уравнения ОТО в самом начале, то, вероятно, у него уже было достаточно свидетельств, чтобы быть чертовски уверенным в истинности общей теории относительности.

Из-за того, что мозг человека — несовершенный обработчик информации, на деле у Эйнштейна, возможно, было чрезмерно больше свидетельств, чем в принципе требуется идеальному байесовскому агенту, чтобы присвоить ОТО внушительную степень доверия.

Слова учёного «Тогда мне будет жаль Господа Бога, теория всё равно верна» не звучат так уж пугающе, если вы взглянете на них с этой точки зрения и будете помнить, что из всего пространства вариантов именно общая теория относительности оказалась справедливой.


## Бритва Оккама

Обсуждение Элиезер Юдковский

Чем сложнее объяснение, тем больше свидетельств необходимо, чтобы просто определить его в пространстве убеждений (в Традиционной Рациональности это формулируется вводящим в заблуждение образом, скажем, «чем сложнее утверждение, тем больше требуется оснований, чтобы его принять»). Как можно измерить сложность объяснения? Как определить, сколько свидетельств потребуется?

Допустим, вы, проведя какие-то эксперименты, получили ряд интересных результатов. Почему эти данные выглядят именно так, а не иначе? На ум приходят несколько объяснений, но какое из них выбрать?

Кажется, пришло время вспомнить принцип бритвы Оккама, точнее, следующую его формулировку: «следует считать верным самое простое объяснение, не противоречащее собранным данным». Но как оценить степень простоты? Роберт Хайнлайн как-то заявил, что самое простое объяснение звучит так: «Женщина, живущая дальше по улице — ведьма, значит это сделала она».

Становится понятно, что длина предложения на естественном языке — не очень хороший способ измерить «сложность». И нельзя утверждать, что теория «вписывается» в факты просто потому что не может опровергнуть их - этого недостаточно.

Но в чём причина того, что длина предложения — плохая мера сложности? Потому что, произнося предложение, ты используешь обозначения для понятий, которые знает слушатель, и именно в них слушатель уже хранит сложность. Скажем, можно превратить предложение Хайнлайна в аббревиатуру «ЖЖНВТСО!», тогда всё объяснение можно сообщить одним словом. Или, ещё лучше, можно дать предложению короткий произвольный код навроде «фнорд!». Уменьшают ли эти действия сложность? Нет, потому что тогда собеседнику нужно заранее сказать, что «ЖЖНВТСО!» означает «Женщина, живущая напротив — ведьма, так сделала она». «Ведьма», в свою очередь, тоже обозначение для ряда очень необычных утверждений, и то, что все знают, каких именно, не означает, что «ведьма» — это просто.

Гигантский электрический искровой разряд падает с неба, сжигая дерево, и древние скандинавы говорят: «Наверное, какая-то могущественная личность разгневалась и бросила в дерево молнию». Человеческий мозг — самый сложный артефакт во всей известной вселенной. Гнев выглядит простым лишь потому, что мы не видим всей паутины нейронов, отвечающей за эту эмоцию (Представь, как трудно было бы объяснить пришельцам без чувства юмора, почему мы смеёмся над «Летающим цирком Монти Пайтона». Но это не говорит, что люди лучше пришельцев — у людей нет ощущения фнордотоватости). Сложность гнева, и, конечно, сложность разума, не бросилась в глаза авторам гипотезы о Торе, агенте-швыряющим-молнии.

Чтобы человек понял гипотезу Тора, нужно всего лишь бросить пару фраз. Чтобы человек понял уравнения Максвелла, нужно пересказать ему несколько книг. У людей есть встроенное понятие «гнев», но нет встроенного понятия «дифференциальное исчисление». Придётся объяснять язык, и язык, лежащий за языком, и основы математики, и лишь потом можно начинать лекцию об электричестве.

И всё же кажется, что в каком-то смысле уравнения Максвелла проще, чем человеческий мозг, или чем швыряющий-молнии-агент.

Вот разгадка: как выяснилось, намного проще написать компьютерную программу, симулирующую уравнения Максвелла, чем компьютерную программу, симулирующую пронизанный эмоциями разумный мозг Тора.

В алгоритмической теории информации «сложность описания» измеряется длиной кратчайшей компьютерной программы, выводящей это описание. Прежде чем говорить о «кратчайшей компьютерной программе», нужно задать пространство компьютерных программ, для чего нужен язык и интерпретатор. Индукция Соломонова использует машины Тьюринга (точнее, последовательности битов, задающие машины Тьюринга). Что делать, если тебе не нравятся машины Тьюринга? Можешь заплатить некоторый фиксированный штраф за сложность и спроектировать универсальную машину Тьюринга, которая будет интерпретировать любой код на том языке, который тебе нравится. Штраф за сложность зависит лишь от размера универсального интерпретатора для выбранного языка программирования, и поэтому различные формулировки в некотором смысле совершенно равносильны.

На мой взгляд, лучшая формулировка индукции Соломонова — требующая, чтобы компьютерная программа делала не детерминистическое предсказание, а приписывала строкам вероятности. Например, программа, объясняющая поведение симметричной монеты, будет просто приписывать одинаковую вероятность всем $2^N$ строкам длины $N$. Как понимать «объясняющая поведение» или «не противоречащая данным»? Чем больше вероятность, которую программа приписывает полученным данным, тем лучше программа их «объясняет». И сумма всех вероятностей должна равняться единице, и поэтому, чтобы лучше «объяснить» одну возможность, программа должна забрать сколько-то вероятностной меры у другой возможности, и теперь она будет «объяснять» её хуже. Монета не может в 100% случаев выпадать орлом, и в 100% случаев выпадать решкой.

Что можно сказать про оптимальный компромисс между сложностью программы и её способностью объяснять данные? Если забыть о сложности и думать только об объяснении, то лучшими будут программы, предсказывающие данные детерминистически, то есть приписывающие им 100% вероятность. Если монета выпала «ОРРООР», то программа, заявляющая, что монета фиксирована и изначально должна была показать «ОРРООР», объясняет данные в 64 раза лучше, чем программа, считающая монету симметричной. С другой стороны, если рассматривать только сложность, то гипотеза о симметричной монете всегда проще любой другой гипотезы. Даже если монета выпадает «ОРООРОООРООООРОООООР…». Гипотеза «монета симметрична» действительно проще и объясняет эту последовательность точно также хорошо, как и любую другую последовательность из 20 бросков — не лучше и не хуже — но легко увидеть другую гипотезу, выглядящую не слишком уж сложной, и объясняющую эти наблюдение намного лучше.

Программа, которой позволили хранить дополнительный бит информации, способна в два раза урезать пространство возможностей, и, следовательно, приписать в два раза больше вероятности точкам в оставшемся пространстве. Отсюда выходит, что один бит сложности должен стоить как минимум двукратного улучшения способности объяснять. Поэтому программа, в явном виде хранящая инструкцию «приписать ОРРООР 100% и 0% всем остальным», не сможет выиграть у всех остальных программ. Шесть бит, отведённые на хранение «ОРРООР» сводят на нет всю достоверность, полученную 64-кратным улучшением способности объяснять. Иначе, рано или поздно, придётся решить, что все симметричные монеты фиксированы.

Если, конечно, эта программа не написана умно, и не пытается сжать строки данных. Во всех остальных случаях перемещение информации из данных в код не помогает укрепить достоверность программы.

Как именно работает индукция Соломонова? Нужно расcмотреть все допустимые программы (если допустима любая программа, то индукция становится невычислимой), причём каждая программа имеет априорную вероятность, равную $(1/2)^N$, где $N$ — её длина в битах, а затем вероятность корректируется, исходя из того, насколько хорошо программа объясняет данные на текущий момент. В результате получается группа «экспертов» различной степени достоверности, могущая предсказывать следующие биты: просто просуммируй мнения, умножив их на весовой коэффициент авторитета.

Принцип минимальной длины сообщения почти эквивалентен индукции Соломонова. Сначала ты посылаешь строку, описывающую код, а затем строку, описывающую данные, используя этот код. Объяснение, создающее кратчайшее суммарное сообщение, считается лучшим. Если приравнять набор возможных кодов к пространству всех компьютерных программ и считать сообщение-с-определениями универсальным интерпретатором, то принцип минимальной длины сообщения почти эквивалентен индукции Соломонова (почти — потому, что он выбирает кратчайшую программу, а не суммирует все возможные программы).

Это позволяет яснее увидеть проблему с использованием фразы «женщина, живущая напротив — ведьма, так сделала она» для объяснения закономерности в последовательности «0101010101». Если ты отправляешь другу письмо, пытаясь описать последовательность, которую ты наблюдал, тебе придётся сказать: «женщина, живущая напротив — ведьма, она сделала так, что последовательность вышла 0101010101». Обвинения в колдовстве не позволили сократить вторую половину сообщения. Тебе по-прежнему нужно описать, во всех подробностях, порождённые её запретным искусством данные.

Колдовство объясняет известные данные в том смысле, что оно качественно их разрешает. Но это лишь потому, что колдовство позволяет вообще всё, как и флогистон. Поэтому, после того, как слово «ведьма» сказано, тебе всё равно предстоит описать все наблюдения, не упуская даже мельчайшей детали. Посылая сообщение о колдовстве, ты не сжимаешь сообщение с данными. Первое сообщение — бесполезный пролог, мёртвый груз, увеличивающий суммарную длину.

Подвох фразы «так сделала ведьма» спрятан в слове «так». Как именно сделала ведьма?

Конечно, благодаря эффекту знания задним числом, якорению, лжеобъяснениям, лжепричинности, предвзятости подтверждения и целенаправленным размышлениям, может казаться совсем очевидным то, что, если женщина ведьма, то, конечно же, она заставит монету выпасть 0101010101. Но это уже отдельный разговор.


## Сила рационалиста

Элиезер Юдковский

(Этот случай произошёл ещё в те давние седые времена, когда я посещал IRC-чаты. Время затуманило память и мой рассказ может быть неточным)

Итак, дело происходило в IRC-чате. Один из посетителей спрашивает совета у сведущих в медицине людей. Его друг обратился к нему со следующей историей: у него начались внезапные боли в грудной клетке, поэтому бедняга вызвал скорую, и скорая приехала, но медработники сказали «ничего страшного» и уехали, боль в груди же становится всё сильнее и сильнее. «Что мне делать?» — спрашивает он у людей в чате, пересказав эту историю.

Эта история сбила меня с толку. Я помню, как я читал о бездомных Нью-Йорка, вызывающих скорую только для того, чтобы оказаться где-нибудь в тёплом месте, и о медиках, вынужденных отвозить их в пункт неотложной медицинской помощи. Даже на 27-й итерации, ведь, в противном случае, медкомпания может быть засужена на очень серьёзную сумму денег. Аналогично, пункты неотложной помощи юридически обязаны лечить всех, вне зависимости от их платежеспособности (Эти серьёзные расходы ложатся на плечи госпиталя, поэтому госпитали закрывают свои пункты неотложной помощи… В связи с этим мне очень интересно узнать, в чём смысл обучать экономистов, если мы всё равно собираемся их игнорировать?).

Так что я не совсем понимал, как могли произойти описанные события. Любого жалующегося на боль в груди человека, должны были бы немедленно увезти на скорой.

А затем я потерпел неудачу как рационалист. Я вспомнил несколько случаев, когда мой доктор совершенно отказывался паниковать в ответ на сообщения о симптомах, которые, на мой взгляд, были крайне тревожными. И медицинское учреждение всегда оказывалось правым. Каждый раз. Боли в грудной клетке как-то были и у самого меня, но доктор терпеливо разъяснил мне, что я описываю мышечную боль, а не инфаркт.

Поэтому я написал в чате: «Что же, если врачи сказали «ничего страшного», то это действительно так и есть — они бы увезли больного в госпиталь, если бы его состояние грозило бы хоть чем-нибудь серьёзным».

Таким вот способом я всё же впихнул историю в уже существующую модель, хотя в глубине души ощущал, что объяснение немного натянуто…

Некоторое время спустя этот товарищ возвращается в чат и сообщает, что его друг целиком всё выдумал: от болей в груди до отказа врачей помочь. Очевидно, это был не самый честный его друг.

И лишь в эту секунду я осознал то, что должен был понять сразу же: слова неизвестного знакомого знакомого по IRC-каналу могут быть не так достоверны(English), как опубликованная в журнале статья. Увы, вера легче неверия; мы верим инстинктивно, но неверие требует сознательного усилия(English).

Но вместо того, чтобы заподозрить розыгрыш, я, сильно постаравшись, заставил свою модель реальности объяснить аномалию, которая никогда не происходила. И я знал, насколько постыдны подобные поступки. Я знал, что полезность модели измеряется не тем, что она может объяснить, а тем, что она объяснить не может. Ничего не запрещающая гипотеза позволяет всё, тем самым терпя неудачу в попытке упорядочить ожидания будущего.

Cила рационалиста состоит в способности быть озадаченным вымыслом больше, чем реальностью. Если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль.

Временами все мы слабы. Тогда я был способен быть сильнее, но, увы, совершил ошибку. У меня была вся информация, необходимая для правильного ответа, я даже заметил проблему — а затем я её проигнорировал. Замешательство было Подсказкой, а я выбросил свою Подсказку.

Ощущение натянутости заслуживает львиной доли внимания.

Замешательство — важная подсказка на пути к истине, часть твоей силы, силы рационалиста. Серьёзный дизайнерский недочёт человеческого мышления заключается в том, что это ощущение лишь тихо шуршит на самой границе восприятия, вместо того, чтобы под вой сирен вешать яркую неоновую надпись «ЛИБО ТВОЯ МОДЕЛЬ НЕВЕРНА, ЛИБО ЭТА ИСТОРИЯ ЛОЖНА».


## Отсутствие свидетельств — свидетельство отсутствия

Обсуждение Элиезер Юдковский

Запоздалое впихивание свидетельств в гипотезу сыграло свою роль в самой горестной главе истории Соединенных Штатов, интернировании японцев в начале Второй Мировой. 21 февраля 1942 года Эрл Варрен, губернатор Калифорнии, в ответ на замечание об отсутствии случаев саботажа, шпионажа или иной подрывной деятельности живущих в Америке японцев, сказал:

«Я придерживаюсь мнения, что это отсутствие является самым зловещим во всей этой ситуации. Больше чем что-либо ещё, это убеждает меня в том, что будущие саботажи, будущие действия Пятой Колонны будут назначены на определённое время, точно так же, как на определённое время был назначен Перл Харбор… Я считаю, что нам внушают лживое ощущение безопасности» — Робин Дэйвс, «Rational Choice in an Uncertain World».

Рассмотрим утверждение Варрена через призму теоремы Байеса. Когда мы видим свидетельство, распределение вероятностей между гипотезами меняется: вероятность гипотез, которые считали появление такого свидетельства более правдоподобным, увеличивается за счёт вероятности гипотез, которые считали появление такого свидетельства менее правдоподобным. На исход влияют лишь относительные отношения правдоподобия и вероятности: можно приписать свидетельству очень большое правдоподобие, но всё равно потерять вероятностную меру из-за того, что какая-то другая гипотеза приписала этому свидетельству ещё большее правдоподобие.

Варрен, похоже, утверждает, что отсутствие саботажа закрепляет его убеждение о существовании Пятой Колонны. Да, возможно, Пятая Колонна совершит саботаж потом. Но вероятность того, что отсутствие саботажа совершила существующая Пятая Колонна ниже вероятности того, что отсутствие саботажа совершила несуществующая Пятая Колонна.

Пусть E — наблюдение отсутствия саботажа, H1 — гипотеза о американо-японской Пятой Колонне и H2 — гипотеза о том, что её не существует. Чему бы ни равнялась вероятность того, что Пятая Колонна не совершит саботажа (величина P(E|H1)), она не может быть больше вероятности того, что отсутствие Пятой Колонны не совершит саботажа (величины P(E|H2)). Поэтому наблюдение отсутствия саботажа увеличивает вероятность того, что Пятой Колонны не существует.

Отсутствие саботажа не доказывает, что Пятой Колонны не существует. Отсутствие доказательства — не доказательство отсутствия. В логике A->B, «из А следует B» не эквивалентно ~A->~B, «из не-А следует не-B».

Но в теории вероятности отсутствие свидетельства — свидетельство отсутствия. Если E — бинарное событие и P(H|E) больше P(H), «наблюдение E увеличивает вероятность H», то P(H|~E) меньше P(H), «неудачное наблюдение E уменьшает вероятность H». P(H) — это взвешенное среднее P(H|E) и P(H|~E), и поэтому она обязательно лежит между ними.

В большинстве случаев, которые встречаются в реальном мире, явление не обязано постоянно создавать свидетельства своего существования, но ждать этих свидетельств от отсутствия этого явления ещё более безнадёжно. Отсутствие наблюдений может быть как сильным свидетельством отсутствия, так и очень слабым свидетельством отсутствия — зависит от вероятности, с которой явление создаёт эти наблюдения. Отсутствие довольно слабо разрешённого события (пусть даже альтернативная гипотеза не разрешает его вообще) — довольно слабое свидетельство отсутствия (но всё же свидетельство). В этом заключается ошибка креационистов, ссылающихся на «пробелы в летописи окаменелостей»: окаменелости формируются редко, и поэтому бессмысленно праздновать отсутствие наблюдения, слабо разрешённого теорией, достоверность которой уже установлена множеством сильных положительных наблюдений. Однако, если не зафиксировано вообще ни одного положительного наблюдения — время беспокоиться; отсюда и парадокс Ферми.

Cила рационалиста состоит в способности быть озадаченным вымыслом больше, чем реальностью. Если ты одинаково хорошо объясняешь любой исход, то знаний у тебя — ноль. Сила модели измеряется не тем, что она может объяснить, а тем, что она объяснить не может — только запреты могут упорядочить ожидания будущего. Если ты не замечаешь, вероятность каких наблюдений твоя модель уменьшает, то ты с тем же успехом можешь выбросить эту модель, и с тем же успехом можешь жить без этих наблюдений; без мозга и без глаз.


## Закон сохранения ожидаемых свидетельств

Обсуждение Элиезер Юдковский

Фридрих Шпее фон Лангенфельд, духовник приговорённых к смерти ведьм, в 1631 году написал книгу «Cautio Criminalis» («Предосторожность касательно преступлений»), в которой он язвительно описал древо принятия решения о приговоре обвинённой в колдовстве: если ведьма вела злую и грешную жизнь, то это говорило о её вине; если она вела добрую и благочестивую жизнь, то это тоже было доказательством, поскольку ведьмы, скрываясь, пытаются притвориться образцами добродетели. После того, как женщину привели в тюрьму: если она была испугана, то она была виновной; если она не была испугана, то это подтверждало её вину, поскольку ведьмы, стараясь казаться невинными, натягивают храбрую мину. Услышав обвинение в колдовстве, женщина может попытаться спастись бегством: если она убегает, то она виновна; если она остаётся на месте, то её ноги сковал дьявол.

Шпее давал последние напутствия более двумстам осуждённым ведьмам. У него имелась возможность посмотреть на каждую ветвь дерева обвинений и увидеть, что абсолютно любые слова или действия обвинённой лишь укрепляли уверенность инквизиторов в её вине. Однако в каждом отдельном случае люди видели только одну ветвь дилеммы. Именно поэтому учёные формулируют свои экспериментальные предсказания заранее.

Но нельзя получить и то, и другое. «Нельзя» в смысле «математически невозможно», а не просто «нечестно». Правило «отсутствие свидетельства есть свидетельство отсутствия» — частный случай более общего утверждения, которое я называю законом сохранения ожидаемых свидетельств: ожидаемая апостериорная вероятность с учётом будущего свидетельства должна равняться априорной вероятности.

P(H) = P(H)

P(H) = P(H,E) + P(H,~E)

P(H) = P(H|E) ∙ P(E) + P(H|~E) ∙ P(~E)


Или, перенеся P(H) на другую сторону: (P(H|E) − P(H)) ∙ P(E) + (P(H|~E) - P(H)) ∙ P(~E) = 0, ожидаемое изменение вероятности — ноль.

Следовательно, для каждого ожидаемого свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против.

Если имеется высокая вероятность получения слабого свидетельства в одну сторону, то она компенсируется низкой вероятностью получения сильного свидетельства в другую сторону. Если ты очень уверен в своей теории, и поэтому ожидаешь увидеть предсказанный результат, то исполнение предсказания лишь самую чуточку усиливает убеждённость в этой теории (эта убеждённость и без того близка к 1), однако неожиданная неудача нанесёт уверенности сильный удар, как и должно быть. В среднем, твоя убеждённость остаётся совершенно неизменной. Аналогично, одно лишь ожидание встретить свидетельство — до того, как ты увидел, в чём именно оно заключается — не должно сдвигать твоей априорной убеждённости.

Поэтому, заявляя, что отсутствие саботажа подтверждает существование японско-американской Пятой Колонны, человек должен подразумевать, что наличие саботажа опровергает существование Пятой Колонны. Если доброта и благочестие — свидетельство того, что женщина является ведьмой, то злоба и грех должны быть свидетельством её невиновности. Если Господь, проверяя нашу веру, отказывается явить Себя нашим глазам, то описанные в Библии чудеса должны разубеждать нас в существовании Бога.

Звучит как-то неправильно, ведь так? Прислушивайся к ощущению натянутости, внимательно ищи это тихое напряжение на границе восприятия. Это важно.

Истинный байесианец не может искать свидетельства в пользу теории. Не может существовать ни чёткого плана, ни умной стратегии, ни хитрого приёма, с помощью которых можно проводить эксперименты, систематически убеждающие всех в каком-либо утверждении. Нельзя поставить эксперимент, который подтвердит теорию; эксперименты могут лишь испытывать теорию.

Осознав это, можно ощутить: дышится намного легче. Не надо мучиться, пытаясь интерпретировать каждый возможный исход эксперимента так, чтобы он подтверждал твою теорию. Не надо обдумывать, как заставить каждую йоту свидетельств подтверждать твою теорию, ведь для каждого ожидания свидетельства в пользу, существует равное и противоположно направленное ожидание свидетельства против. Можно ослабить силу укуса возможного «аномального» наблюдения, лишь ослабив поддержку от «нормального» наблюдения; сила среднего укуса всегда в точности равна силе средней поддержки. Это игра с нулевой суммой. Как бы ты ни спорил, как бы ты ни сотрудничал с Тёмной Стороной, какие бы будущие стратегии ты ни вырабатывал, — ты не можешь рассчитывать, что будущее сдвинет твои взгляды в определённую сторону.

С тем же успехом ты можешь просто сесть, расслабиться, и ждать, пока твои свидетельства сами не придут к тебе.

…временами я ужасаюсь извращённости человеческой психики.


## Знание задним числом обесценивает науку

Обсуждение Элиезер Юдковский

Этот отрывок(English) из книги Дэвида Майерса «Изучаем социальную психологию»[1], стоит того, чтобы прочитать его полностью. Каллен Мерфи, издатель журнала «Atlantic», заметил, что социальные науки не открывают ничего, что нельзя было бы «найти в цитатниках заранее… День за днем ученые-социологи выходят в мир. И день за днем они открывают, что поведение людей очень похоже на то, что ты и так мог предсказать и ожидал увидеть».

Конечно же, всё это «ожидание увидеть» вытекает из эффекта знания задним числом (эффект знания задним числом: знающие ответ на вопрос люди считают его более очевидным, чем люди, пытающиеся угадать ответ, не зная его заранее; «разумеется, я додумался бы до этого!»).

Историк Артур Шлезингер-младший называл социологические исследования американских солдат времен второй мировой войны «нудной демонстрацией» здравого смысла. Например:

У солдат с более высоким уровнем образования возникало больше проблем с адаптацией, чем у менее образованных (интеллектуалы были менее готовы к стрессам войны, чем люди, выросшие на улицах). Южане легче, чем северяне, переносили жару островов Южного моря (южане более привычны к жаркому климату). Белые рядовые сильнее, чем чернокожие, стремились к продвижению по службе (годы угнетения посеяли в чернокожих желание «не высовываться»). Чернокожие южане предпочитали белых офицеров с Юга офицерам с Севера (так как первые обладали большим опытом общения с чернокожими). Когда война окончилась, солдаты скучали по дому не так сильно, как во время боевых действий (во время битвы солдаты знали, что находятся в смертельной опасности и могут больше не увидеть родных).

Сколько из этих наблюдений ты мог бы вывести заранее? 3 из 5? 4 из 5? Есть ли случаи, касательно которых ты предсказал бы противоположное; случаи, наносящие твоей модели мира удар? Прежде чем продолжить чтение, хорошо подумай над этим.

Все утверждения из этого списка (которые Мейерс взял из книги Пола Лазарсфельда[2]) прямо противоположны тому, что было обнаружено в действительности. Сколько раз твоя модель мира была испытана на прочность? Сколько раз ты признал, что ты бы ошибся? Теперь можно сделать вывод о том, насколько хороша твоя модель на самом деле: сила рационалиста состоит в способности удивляться вымыслу больше, чем реальности.

А ещё я мог перевернуть результаты ещё раз — тогда удары остаются ударами, а удачные предсказания удачными предсказаниями. Что скажешь?

Теперь ты действительно не знаешь ответа. Замечаешь ли ты, что процессы, идущие в твоей голове сейчас, чем-то отличаются от тех процессов, которые происходили там ранее? Чувствуешь ли ты, что поиск ответа ощущается по-другому, не так, как рационализация обеих сторон «известного» ответа?

Дафна Барац разделила студентов на две группы и сообщала одной результат социологического исследования (например, «Во время подъема экономики люди тратят большую часть своего дохода, чем во время спада» или «Люди, регулярно посещающие церковь, стремятся иметь больше детей, чем те, кто редко ходит в церковь»), а другой — перевёрнутый результат того же социологического исследования.[3] Обе группы утверждали, что данный им результат они смогли бы предсказать заранее. Отличный пример эффекта знания задним числом.

Что приводит людей к мысли, что им не нужна наука, ведь всё «и так ясно».

(довольно очевидный вывод, не так ли?)

Знание задним числом заставляет нас систематически недооценивать неожиданность научных открытий, особенно тех открытий, которые мы можем понять; тех открытий, которые нам близки, и которые мы можем постфактум уместить в свою модель мира. Регулярно читающий новости человек, разбирающийся в неврологии или физике, скорее всего тоже недооценивает неожиданность открытий в этих дисциплинах. Этот эффект несправедливо обесценивает вклад исследователей, и, что ещё хуже, не даёт тебе заметить свидетельства, которые отличаются от того, что бы ты предсказал на самом деле.

Без сознательного усилия невозможно почувствовать должный уровень шока.