Вы здесь

"Эмпиризм!" как анти-эпистемология

Элиезер Юдковский

i.

– Забейте на все эти сложные абстрактные теоретические предсказания, – твёрдым уверенным тоном сказал Пресс-секретарь «Финансовой Пирамиды, Инкорпорейтед». – Эмпирические наблюдения говорят: все вкладчики Берни Банкмена получили 144% своих инвестиций через два года.

– «Эмпиризм» работает не так, – сказал Эпистемолог. – Ты всё ещё делаешь допущение, что…

– Чтобы посчитать, что дальше будет не так, надо поверить в перемудрёный теоретический анализ ненаблюдаемых внутренних мотивов и финансов Берни Банкмена, – перебил Пресс-секретарь «Финансовой Пирамиды, Инкорпорейтед». – Если вы наделены добродетелью скептицизма и не доверяете переусложнённым аргументам, то вы согласитесь с тем, что будущие вложения тоже вернут 144%, прямо как и прошлые. Вот предсказание, основанное на чистых эмпирических наблюдениях. Не на теориях о будущем, которого никто не видел!

– Это не так работает, – сказал Эпистемолог. – Каждому предсказанию будущего нужна теория, которая соединяет его с нашими прошлыми наблюдениями. Нет никакого прямого перехода от прошлых наблюдений к будущим без теории, без допущений, чтобы преодолеть разрыв…

– Конечно, бывают просто эмпирические предсказания, – сказал Пресс-секретарь. – Я вот только что одно сделал. Не говоря уж о том, что, дорогая аудитория, вы и правда доверяете чему-то такому мудрёному, как эпистемология?

– Альтернатива размышлениям об эпистемологии – позволить другим размышлять о ней за тебя, – сказал Эпистемолог. – Ты говоришь: «Раз мы наблюдали X: „в прошлом вкладчики Финансовой Пирамиды получали 144% через два года“, то из этого следует Y: „следующая волна вкладчиков тоже получит 144% через два года“ ». X и Y – отдельные утверждения, а для «X -> Y» тебе нужна какая-то теория а которую можно запихнуть X и получить на выходе Y.

– Но моя теория доказана эмпирически, не то что твоя! – Заявил Пресс-секретарь.

– Не-е-е-ет, не доказана, – ответил Эпистемолог. – Я соглашусь, что мы наблюдали твой X. Что в прошлом инвесторы Финансовой Пирамиды получали 144% через 2 года. Замечу, те инвесторы, которые решили получить свои деньги, а не оставить их чтобы получить потом побольше. Это далеко не все инвесторы. Но точно так же, как мы не наблюдали предсказание Y – „следующая волна вкладчиков тоже получит 144% через два года“, мы не наблюдали и соединяющее „если X, то Y“. На этом шаге ты используешь убеждение, которое пока что наблюдение не подтвердило. Так что оно должно полагаться на какой-то аргумент или теорию. Ты, конечно, можешь заявить, что у тебя для „X -> Y“ есть теоретический аргумент получше, чем для „X -> не Y“. Но это в любом случае не эмпирическое наблюдение.

– Ты говоришь, – ответил Пресс-секретарь, – и всё, что я слышу – слова, слова, слова! Если бы ты вместо этого взглянул на предыдущих инвесторов Финансовой Пирамиды, ты бы увидел, что каждый из них получил 144% от своих вложений всего через два года! Лучше один раз увидеть!

– Возможна теория, что Берни Банкмен сам совершает мудрые инвестиции, так что он каждый год умножает свои деньги на 1.2, а потом честно возвращает их инвесторам, которые хотят их вывести, – сказал Эпистемолог. – Есть и другая теория – что Берни Банкмен каждый год получает больше инвестиций и использует их часть, чтобы заплатить предыдущим инвесторам, которые хотят вывести деньги…

– С чего бы Берни Банкмену так делать, а не забрать все деньги сразу? – Поинтересовался Пресс-секретарь. – Если он такой эгоистичный и жадный, как ты говоришь, то что б ему просто не оставить деньги себе?

– Чтобы получить ещё больше денег от новых инвесторов, которых привлекло то, как всё обернулось для предыдущих, конечно, – сказал Эпистемолог. – И, на самом деле, чтобы Берни Банкмен мог остаться в своей нынешней комфортной позиции в обществе и сохранить своих нынешних друзей. Это зачастую сильнее мотивирует людей, чем деньги.

– То есть, мы видим, как Берни Банкмен выдаёт людям деньги. Об этом нам говорит эмпирическое наблюдение. Но ты талдычишь людям свои слова и рассуждения о том, что Берни Банкмен – жадный человек, который оставляет вложения себе? Вот это расхождение между эмпирическими наблюдениями и мудрёными ненаблюдаемыми теориями!

– Мы согласны по поводу того, какое внешнее поведение Берни Банкмена мы уже наблюдали, – сказал Эпистемолог. – Когда же речь заходит о ненаблюдаемых внутренних мыслях Берни Банкмена, твоя ненаблюдаемая теория «он честен» не более и не менее эмпирична, чем ненаблюдаемая теория «он замышляет». «Честен» и «замышляет» – два возможных значения скрытой переменной окружения. Мы не можем наблюдать её напрямую. Нам надо вывести её как причину того, что мы наблюдать можем. Мы не наблюдали одно её значение в большей степени, чем другое. Мы не наблюдали и допущение X->Y, следствие из прошлого поведения возвращения денег на скрытую честность или коварство Берни Банкмена. Шаг «если наблюдал X, выведи скрытое Y» полагается на теорию, а не на наблюдения.

– Более того, – продолжил Эпистемолог с раздражённой ноткой в голосе, – я на самом деле не думаю, что нужна такая уж сложная теория, чтобы понять, с чего бы Берни Банкмену возвращать деньги первым инвесторам. Единственная причина, почему кто-то может этого не понять – этот крикун, который говорит вам, что любая альтернатива поверхностным обобщениям вслепую – «теория» и «не эмпирична». Многие могли бы в этом разобраться вовсе не затрагивая эпистемологию. Конечно, наблюдение, что кто-то возвращает тебе немного денег, не доказывает, что этот кто-то потом вернёт тебе много денег. Есть множество причин, почему он может вести себя прилично, пока ставки малы.

– Эпистемолог предлагает вам слова, – Пресс-секретарь обратился к аудитории, – а Берни Банкмен даст вам денег! Вернёте 144% через два года! Все учёные, которые измеряли поведение Банкмена, согласны, что это эмпирическая, уже наблюдавшаяся истина о том, что произойдёт! Давайте, я вдобавок докажу, что заявления моего оппонента не просто ошибочны, но и ненаучны. Я спрошу – можешь ли ты, Эпистемолог, утверждать с 100% вероятностью, что эта следующая волна инвесторов не сможет получить свои деньги через два года?

– Я не могу с уверенностью знать что-то такое о ненаблюдаемом будущем, – сказал Эпистемолог. – Даже при условии принятия гипотезы «коварства» я не могу знать, что «Финансовая Пирамида, Инкорпорейтед» развалится конкретно в ближайшие два года. Может, если вы привлечёте достаточно новых инвесторов, или достаточно мало кто из этих выведет свои деньги, то компания протянет побольше…

– Видите? – Закричал Пресс-секретарь. – Его теория не просто не эмпирична, она ещё и нефальсифицируема! А вот я вам с уверенностью говорю, что все ваши деньги будут выплачены. И более того, именно через 2 года. А этот вот заявляет, что может быть будут, а может и нет! И что он скажет, если Берни Банкмен и через два года снова выплатит 144%? Только что Финансовая Пирамида пока не обрушилась, но может обрушиться потом! Есть ли лучший пример порочности в науке? Сравните с моей научной добродетелью! Наблюдения дают нам прямой, ясный, фальсифицируемый аргумент, а мудрёные предсказания – пустая болтовня!

– Если бы было так, что рассудительный человек придёт к выводу, что есть 50% шанс на то, что Финансовая Пирамида обвалится в течение двух лет, – устало ответил Эпистемолог, – не было бы более научно-добродетельно сказать, что на самом деле шанс – 0%, только потому, что тогда есть шанс в 50%, что твоё утверждение окажется уж точно ложным и ты сможешь сказать научно-добродетельное «упс» (будто ты бы так сказал).

– Для примера попроще, – продолжил Эпистемолог, – давай представим, что мы подбрасываем монетку, про которую я думаю, что она честная, а ты говоришь, что она всегда выпадает решкой. У твоей теории есть 50% шанс, что она будет опровергнута. А моя не будет опровергнута независимо от того, что выпадет. Но это не значит, что каждый раз, когда ты подымаешь монетку на улице, научно-добродетельно решить, что она всегда выпадает решкой. Быть проще для опровержения – удобное свойство для теории. Но это не единственная важная добродетель для убеждения. И не у всех истинных убеждений она есть. Разные эпистемические добродетели надо в своих мыслях различать. А то мы совсем запутаемся.

– Как ещё один пример, – добавил Эпистемолог, – давай представим, что ты собираешься со всех ног побежать к краю обрыва. Я может и не могу точно предсказать, как быстро ты побежишь, Так что я не смогу точно предсказать, будешь ли ты через пять секунд падать, или будешь уже мёртв. Это не значит, что теорию «я полечу и никогда не умру» стоит считать более научной просто потому, что она делает более уверенное заявление о том, будешь ли ты в живых через пять секунд.

– Вот это поразительная куча оправданий за то, что у тебя нет твёрдых предсказаний на два года вперёд! – Сказал Пресс-секретарь, улыбаясь аудитории. – Верьте своим глазам! Верьте эмпиризму! Верьте Науке! Верьте, прежде всего, твёрдому фактическому утверждению: вкладчики Финансовой Пирамиды получают 144% своих денег через два года! Всё остальное – слова, слова, слова и пустые мысли!

ii.

– Хм-м-м, – сказал проходивший мимо Учёный. – Эпистемолог, я вижу, что у тебя хорошие аргументы об эпистемологии. Но ничего не могу поделать, интуитивно мне кажется, что в словах Пресс-секретаря что-то есть, хоть, согласно твоей мета-теории, их нельзя посчитать твёрдо логически верными. Мы уже наблюдали много предыдущих инвесторов, получивших от Финансовой Пирамиды Банкмена 144% через два года. Нет ли какого-то реального смысла в том, что более эмпирично сказать, что и с будущими инвесторами будет так же, и менее эмпирично – что в будущем произойдёт что-то другое? Мне кажется, первое предсказание больше руководствуется данными, которые у нас уже есть, а второе – чем-то вроде размышлений и воображения. Я вижу, как с точки зрения эпистемологии и то и другое – вполне предсказания, и используют что-то вроде допущения или теории чтобы соединить прошлое с будущим. Но нельзя ли сказать, что предсказание Пресс-секретаря использует меньше допущений, меньше теории, больше завязано на данные, чем твоё?

– Для ясности, – ответил Учёному Эпистемолог, – ты говоришь, что меньше всего допущений, меньше всего теории использует предсказание, что Финансовая Пирамида Берни Банкмена будет преумножать все вложения в 1.2 раза каждый год, неограниченно, до конца вселенной и потом?

– Ну, нет, – сказал Учёный. – Мы наблюдали, как Берни Банкмен преумножает вложения в 1.2 раза за год в нынешнем социоэкономическом контексте. Неразумно было бы распространять наши наблюдения за пределы этого контекста – например, заявить, что Берни Банкмен сможет обеспечить эти проценты после глобальной термоядерной войны. Что уж говорить о том, что будет после того, как протоны распадутся, чёрные дыры испарятся, и времени придёт конец в океане хаоса.

– Тогда позволь поинтересоваться, – сказал Эпистемолог, – не правда ли, что твоё убеждение, что Берни Банкмен перестанет обеспечивать хорошие проценты после термоядерной войны, больше нагружено теорией и менее эмпирично, чем убеждение, что Берни Банкмен продолжит умножать вложения на 1.2 вечно. Может, у твоего убеждения есть другие добродетели, которые делают его лучше, чем убеждение в «вечные проценты». Но всё равно, можно же сказать, что теория «вечных процентов» имеет то преимущество, что она меньше нагружена теорией и более эмпирична?

– Хм, – намхурился Учёный. – Для ясности – я согласен с тобой, что теория «вечных процентов» менее верна, но я не вполне уверен, что правильно назвать её более эмпиричной… Можно сказать, что у неё есть, так сказать, один грех и одна добродетель… – Учёный сделал паузу. – О, точно! Чтобы сказать, что Берни Банкмен перестанет возвращать инвестиции после глобальной термоядерной войны, мне нужны мои убеждения о ядерной физике. Но они сами по себе хорошо подтверждены наблюдениями. Так что отрицать их, чтобы оставить убеждение о Финансовой Пирамиде Берни Банкмена было бы очень неэмпирично и недобродетельно. – Учёный улыбнулся и покивал сам себе.

– Ну тогда я тебе скажу, – ответил Эпистемолог, – что твоё предсказание, что Берни Банкмен перестанет выплачивать хорошие проценты после термоядерной войны, действительно в твоём интуитивном смысле больше «нагружено теорией», чем предсказание, что Берни Банкмен попросту продолжит обеспечивать рост в 1.2 раза в год вечно. Просто так уж получилось, что тебе нравятся теории, которыми оно нагружено. В том числе потому, что ты считаешь их полными восхитительной добродетели эмпиризма.

– А не могу я просто сказать, – спросил Учёный, – что я наблюдал, что Финансовая Пирамида выдаёт проценты в определённом социоэкономическом контексте, и эмпиризм позволяет обобщать только внутри контекста, в котором были сделаны все мои предыдущие наблюдения?

– Я бы мог точно также сам сказать, что такие схемы часто состоят из двух фаз, – улыбнулся Эпистемолог. – В первой он замышляет забрать твои деньги, а во второй он действительно их забирает. И что с точки зрения моей теоретической позиции мы должны не проводить обобщения с контекста первой фазы на контекст второй, – Эпистемолог сделал паузу, а потом добавил, – хотя, если аккуратно говорить об объектном уровне, то печальная правда в том, что многие такие схемы начинаются с склонных к ошибкам людей с глупым, но сравнительно честным планом как преумножить инвестиции. И только после того, как первая честная схема терпит неудачу, в качестве альтернативы болезненному признанию, они начинают скрывать неудачу и выплачивать ранним инвесторам деньгами более поздних. Иногда они при этом всё ещё говорят себе, что собираются в итоге заплатить всем. А иногда открыто для себя становятся мошенниками. Бывают, конечно, и мошенники изначально. Так что тут может быть «наивная» фаза, за которой идёт фаза «скрытности» или фаза «обмана»… но я отвлёкся. – Эпистемолог потряс головой и вернулся к предыдущей теме. – Суть в том, что и про мою теорию, и про твою, можно сказать, что они конкретизируют контекст наших прошлых наблюдений. И это не мешает моей теории выдавать не то же предсказание, что твоя. Они ведь призывают к разным принципам помещения данных в контекст. Нет понятия «контекста», что не было бы нагружено теорией.

– Ты точно не переусложняешь что-то, что не должно быть сложным? – Спросил Учёный. – Почему бы просто не сказать, что любое наблюдение можно обобщать только в пределах очевидного контекста? Который ты можешь соорудить безо всяких теорий о чём-то ненаблюдаемом вроде мыслей Берни Банкмена или «настоящего» баланса на счеты Финансовой Пирамиды?

– Смотри, – сказал Эпистемолог, – в любой момент какой-нибудь тролль может заявить: «Все ваши наблюдения массы электрона произведены до 2025 года. Вы не можете обобщать их на контекст „После 2025 года“ ». Для этого контекста не надо ничего ненаблюдаемого, мы уже видели солнечный цикл смены лет. Но всё равно, думаю, мы оба отвергнем введение такой зависимости от контекста. Применение контекста – неоднозначная операция. Ты не найдёшь простого правила определения контекста на все случаи жизни, которое позволило бы тебе больше никогда об этом не думать. И неважно, сколько ты говоришь «очевидно». Иногда приходится сесть и обсудить, когда и как уместно обобщать уже собранные наблюдения.

– А если сказать, – ответил Учёный, – что мы должны вводить наши эмпирические наблюдения в контекст только так, чтобы это было поддержано теориями, которые сами основываются на прямых наблюдениях…

– Но что насчёт твоего заявления, что не стоит ожидать от Берни Банкмена процентов после распада протонов? – Напомнил Эпистемолог. – Насколько мне известно, на момент начала 2024 года никто распад протонов не наблюдал. Даже если считается запись наблюдения, из которого можно вывести, что это произошло.

– Да, – сказал Учёный, – но предсказание распада протонов выводится из самых простых найденных уравнений, объясняющих другие наши наблюдения. Вроде того, что материи куда больше, чем антиматерии…

– То есть, – Эпистемолог пожал плечами, – ты готов предсказать, что Берни Банкмен в какой-то момент нанаблюдаемого будущего вдруг перестанет выплачивать проценты. И твоё основание – ожидание явления, которого ты не видел. Но его, по твоим словам, предсказывают теории. Которые, по твоему мнению, хорошо подходят под другие явления. Которые ты видел. Так? Если ты делаешь что-то настолько сложное, в каком вообще смысле ты можешь себя хвалить за меньшую «нагруженность теорией»? Я тоже смотрю на мир и в меру своих сил составляю своё представление о нём, как можно более простое и как можно лучше ему соответствующее. А потом использую это представление о мире для совершения предсказаний о ненаблюдаемом будущем.

– Ладно, но я на самом деле меньше уверен в распаде протонов, чем, скажем, в существовании электронов, – сказал Учёный. – Потому что распад протонов не подтверждён прямым экспериментом. Слушай, давай ограничимся предсказанием того, что произойдёт в ближайшие два года, чтобы не затрагивать термоядерную войну и уж тем более распад протонов. Мне всё ещё кажется, что в каком-то интуитивном смысле утверждение «Сегодняшние инвесторы Финансовой Пирамиды получат 144% своих денег через два года, подобно предыдущим инвесторам, которых мы уже наблюдали.» меньше нагружено теорией и больше полагается на наблюдения, чем твоё «Они могут потерять все свои деньги из-за смены значения ненаблюдаемых скрытых переменных.»

– Ох, – сказал Эпистемолог, – я боюсь, теперь мы действительно заходим в дебри. Часто проще объяснить, какой ответ правильный, на объектном уровне, чем типизировать каждый шаг рассуждения согласно правилам эпистемологии. Но, всё же, когда кто-то приплетает плохую эпистемологию, людям вроде меня приходится в меру своих сил возразить им и написать подробный разбор. Даже если, конечно, не все жертвы Финансовой Пирамиды могут понять мой разбор. И как первый пункт разбора… хм… Я и правда не уверен, что это будет понятно без куда более длинной лекции. Но как первый пункт… – Эпистемолог сделал глубокий вдох. == С раннего детства, а может немного обучения происходит уже в утробе, мы смотрим на мир вокруг нас. Наш мозг – продукт естественного отбора, обобщённый так, чтобы хорошо обтачивать каменные топоры, гоняться за дичью и спорить с другими людьми в племенных политических дискуссиях. Мы смотрим на мир вокруг и составляем, так сказать, библиотеку штук, которые могут в нём появиться, процессов, которые могут в нём произойти, и законов, которые этими процессами управляют. Когда появляется новое наблюдение, мы спрашиваем, какие простые правдоподобные постулаты мы можем добавить в нашу модель мира, чтобы они предсказывали это наблюдение с большой вероятностью. Это, впрочем, упрощение – ты хочешь просто чтобы твоя модель в целом была простой и предсказывала данные с большой вероятностью, а не добиться этого исключительно локальными изменениями. Добродетель Эмпиризма проявляется в сравнении с тёмными веками, когда в человеческой эпистемологии его ещё не ценили. Она заключается в том, чтобы действительно утруждаться объяснять наблюдения, собирать больше данных, пытаться предсказывать будущее и стараться составлять такие основные модели, чтобы они могли объяснить как можно больше наблюдений как можно меньшей теорией.

– И, – добавил Эпистемолог, – чтобы возвращать некоторым инвесторам деньги сегодня в надежде получить больше денег потом не нужно никакого невозможного существа, составленного из доселе не виденных частиц. Достаточно существ вроде неидеальных людей, начавших с сравнительно честных намерений, чей первый план провалился. Остальные части моей модели мира, как я её понимаю, не говорят, что такое существо из уже известных частиц маловероятно. Его психология не противоречит законам мышления, которые, как я думаю, руководят его видом. Я бы скорее посчитал, что этих бедняг обманывают, что это на самом деле вероятнее, чем такое честное существо, которое действительно безотказно зарабатывает для вас плюс 20% каждый год.

– Итак, – продолжил Эпистемолог. – Когда две теории в равной степени объясняют маленький набор наблюдений, нам надо спросить, вероятность какой теории выше, с учётом сил за пределом этих наблюдений? Иногда для этого надо присесть и обсудить, в каком мире мы живём и какие у него правила. Это не решается просто криком «Эмпиризм!». Если что, бывает, что такое можно решить криком «Простота!», но вообще это редко настолько напрямую. Верить или нет «Финансовой Пирамиде, Инкорпорейтед» – не то, для чего нам хватит формальной версии Бритвы Оккама. Мы не можем просто пересчитать атомарные постулаты общей теории или взвесить логические формулы или посчитать байты в программе. Нет, нам надо погрузиться в наше понимание того, какие существа в нашем мире встречаются чаще, в происхождение и устройство финансовой мегафауны.

– Для ясности, – заключил Эпистемолог, – ничто тут не должно требовать для понимания особо продвинутой эпистемологии. Я просто пытаюсь проставить сигнатуры типов в том, что должно быть понятно и так. Достаточно воздержаться от неправильной эпистемологии. Вроде той, которая пытается решить вопросы объектного уровня о том, как работает мир, криком «Эмпиризм!»

– И всё же, – сказал Учёный, – мне интуитивно кажется, что в каком-то смысле проще и эмпиричнее сказать «Прошлые инвесторы Берни Банкмена получили плюс 20% за год, значит и будущие получат.» Даже если, как ты говоришь, это не так, нет ли, согласно твоей эпистемологии, некоторой добродетели, которая у этого всё равно есть? Хоть и не решающей?

– Так-то, – сказал Эпистемолог, – для меня сейчас в этой ситуации рассматривать всё с этой стороны – очень неблагодарное занятие. Пресс-секретарь опять вскричит, что я признал добродетельность обещания Финансовой Пирамиды.

– Да уж точно! – Сказал Пресс-секретарь. – Смотрите, Эпистемолог уже признал, что у моих слов есть достоинство, и он просто отказывается это признавать! У ошибочных идей не бывает достоинств, так что указать на одно достоинство идеи – всё равно что доказать её!

– Если на это забить, – продолжил Эпистемолог, – я думаю, что твоя интуиция тут приблизилась к вполне верному факту. Я намеренно сформулирую это так, чтобы Пресс-секретарю было сложнее это использовать. Предсказание Пресс-секретаря такое, что до него можно дойти, думая совсем немного. Если смотреть только на данные, на которые предлагает смотреть Пресс-секретарь, и игнорировать все остальные. Вот его достоинство.

– Вот видите! – Закричал Пресс-секретарь. – Он признался! Если вы просто посмотрите на очевидные факты у себя под носом и не будете переусложнять, если вы не доверяете теориям и всем этим мудрёным разговорам о картинах мира, вы увидите, что все инвесторы Финансовой Пирамиды получают 144% своих денег через два года! Он признался, что ему не хочется этого говорить, но признался, что это так!

– Нельзя ли сказать что-то приятнее этого ворчливого признания? – Спросил Учёный. – Что-то, сочетающееся с моим ощущением, что более эмпирично и менее нагружено теорией просто сказать, что будущее будет похоже на прошлое, и не говорить больше ничего. Предсказать это хотя бы для одного следующего измерения, хоть и не до конца времён?

– Но то, что надо мало думать – вполне настоящее достоинство, – ответил Эпистемолог. – Вся наша модель мира построена из таких кусочков, покоится на таких основаниях. Всё в итоге сводится к простым шагам, для которых не надо много думать. Когда ты измеряешь массу электрона и получаешь 911 нониллионных грамма, как было и во все предыдущие измерения в последний век, действительно мудрее всего предсказать, что в следующем году она тоже будет 911 нониллионных грамма…

– ОН ПРИЗНАЛ! – Пресс-секретарь взревел во всю глотку. – ВЛОЖЕНИЯ В ФИНАНСОВУЮ ПИРАМИДУ ТАК ЖЕ НАДЁЖНЫ КАК МАССА ЭЛЕКТРОНА!

– …и это относится к тем случаям, когда элементы реальности слишком просты, чтобы состоять из известных нам составных частей, и мы не знаем о других наблюдениях, теориях или аргументах, которые могли бы иметь отношение к делу, – закончил мысль Эпистемолог. – Что хорошего можно разглядеть в наивном аргументе о вечных процентах Финансовой Пирамиды – это первый шаг, устанавливающий некоторое основание. Шаг, который уместно было бы сделать, обладая исключительно набором данных, которые не состоят из известных нам составных частей.

– Признал! – Вскричал Пресс-секретарь. – Финансовую Пирамиду поддерживают основополагающие для эпистемологии рассуждения! Берни Банкмен не может не вернуть вам 144% ваших денег без того, чтобы все человеческие знания и сам Разум не обратились в ничто!

– Думаю, этот парень заходит слишком далеко, – сказал Учёный. – Но нет ли какого-то правильного смысла в том, чтобы похвалить аргумент «Берни Банкмен выдавал 20% в год, а значит сделает это и в следующие годы» как более устойчивый и надёжный? Благодаря тому, что он состоит только из очень простых шагов, исходит только из прошлых наблюдений, больше всего напрямую схожих с будущими наблюдениями?

– Более устойчивый и надёжный, чем что? – Спросил Эпистемолог. – Более устойчивый и надёжный, по твоему мнению, чем что Берни Банкмен не сможет выплатить проценты после распада протонов? Более устойчивый и надёжный, чем твоё альтернативное рассуждение, которое использует больше других наблюдений, обобщений этих наблюдений и выводов из этих обобщений? Мы же никогда не видели распад протона. Сказать, что Берни Банкмен будет выплачивать проценты вечно – более устойчиво и надёжно? Раз это использует только очень простые рассуждения и очень узкий набор данных?

– Ну, может, «устойчивый» и «надёжный» – это плохие слова, – сказал Учёный. Но кажется, что про это должно быть возможно сказать что-то хорошее.

– Я, пожалуй, не уверен, что у нас в языке есть слово, которое означает то, что ты имеешь в виду, уж тем более приятно звучащее слово, – сказал Эпистемолог, – но чего хорошего про это сказал бы я… что это локальный максимум эпистемической добродетели, если смотреть только на узкий и отобранный Пресс-секретарём набор данных и воспринимать эти данные как просто числа. Можно, наверное, сказать, что он чистенький. Истина часто локально грязненькая, и для каждой частицы локальной грязи, которую мы допускаем в нашей модели, нужен хоть какой-то аргумент. В смысле, если бы кто-то взглянул исключительно на временную последовательность возвратов инвестиций клиентов Берни Банкмена и при этом не имел бы никакой другой модели мира, никаких других наблюдений из всей этой вселенной, и заключил бы, что в следующем году инвестиции умножатся на 666, а ещё в следующем на -3, то это не было бы лучшей эпистемологией. Если у тебя нет буквально вообще никаких других данных и никакой другой модели мира, то умножение на 1.44 после двух лет будет лучшим вариантом…

На этом последнем предложении Пресс-секретарь начал триумфально визжать, слишком громко и нечленораздельно, чтобы можно было разобрать слова.

– Чёрт побери, я и забыл, что этот парень всё ещё тут, – сказал Эпистемолог.

– Ну, становится поздновато, – отметил Учёный, – может, ты согласишься с мной, что «вечные проценты» – предсказание, которое получается, если очень простым способом взглянуть на наблюдения и очень просто над ними думать, и что это, пожалуй, круто? Хоть эта крутость тут и не преобладающий решающий фактор в том, во что верить?

– Зависит от того, что конкретно ты имеешь в виду под «круто», – сказал Эпистемолог.

– Чувак, – сказал Учёный в гендерно-нейтральном смысле.

– Сам чувак, – сказал Эпистемолог. – учти, что если ты позволишь себе считать, что более добродетельно использовать меньше данных и переставать думать, то такие люди, – он показал на Пресс-секретаря, – будут на тебя охотиться. Им выгодно продавать тебе акции Финансовой Пирамиды. Так что им выгодно находить узкие наборы наблюдений в свою пользу. На самом деле, даже организовывать такие наблюдения, чтобы ты уж точно увидел то, что они хотят. А потом им выгодно говорить тебе, что добродетельно экстраполировать только из этих наблюдений, не учитывать другие соображения и как можно меньше думать. Потому что это приведёт к ответу, который им нужен. И они не хотят, чтобы ты думал дальше, ведь это может довести тебя до другого ответа. Они будут пытаться давить на тебя, чтобы ты не думал, использовать слоганы вроде «Эмпиризм!», которые они, честно говоря, не понимают. Если бы «Робастность!» была популярным слоганом, которому учат в колледже, они бы использовали её. Понятно, почему меня беспокоит, что ты назвал это «крутым», не определив в точности, что это значит?

– Ладно, – сказал Учёный. – Допустим, я пообещаю, что я не буду вкладываться в Финансовую Пирамиду. Тогда мне дозволено в некотором интуитивном смысле считать, что есть что-то эпистемически-крутое в том, чтобы просто предсказать умножение инвестиций на 1.2 в год в будущем, раз уж люди получали это в прошлом? Пока я признаю, что это на самом деле не так, и это не применимо к реальным задачам?

– В общем, да, – ответил Эпистемолог, игнорируя всё более неистовые победные крики Пресс-секретаря. – Потому что если бы ты не оставил себе это дотеоретическое интуитивное ощущение, то не решил бы, что будущие электроны будут весить 911 нонилионных грамма, взглянув на серию прошлых измерений, вернувших такой результат. Это бессловесное интуитивное ощущение простого продолжения встроено в каждого функционирующего человека… и именно это пытаются использовать схемы вроде Финансовой Пирамиды. Для этого они указывают тебе на ровно те наблюдения, которые активируют в тебе это чувство в ровно том направлении, которое им надо. А затем они кричат «Эмпиризм!» или «Такие сложные рассуждения не могут быть надёжными, тебе стоит вернуться к эмпиризму по умолчанию!». Чтобы надавить на тебя и убедить больше не думать.

– Замечу, что ты отбросил притворство, что ты не знаешь, мошенничество эта Финансовая Пирамида или нет, – сказал Учёный.

– Я сначала не был уверен, но то, как он пытался извратить эпистемологию, дало мне приличное дополнительное свидетельство, – сказал Эпистемолог. Стабильно получать 20% прибыли каждый год по-настоящему весьма поразительно тяжело. Люди, у которых всё действительно так плохо с эпистемологией, с этим не справятся. Так что в какой-то момент их инвесторы потеряют все свои деньги, и крики «Эмпиризм!» их не спасут. Индейку кормят каждый день, а потом, накануне Дня Благодарения, убивают. Это не проблема разумных рассуждений в контексте большого мира. Это проблема индейки.

iii.

– Я не уверен, что всё понял, – сказал Слушатель. – Можешь это проговорить ещё раз на каком-нибудь более простом примере?

– Проговаривать, – согласился Эпистемолог, – дело хорошее. Давай возьмём более простой пример того, чего ожидать от будущего Искусственного Интеллекта. Ведь по этому поводу все здесь, да и все на Земле, полностью согласны. ИИ будет не вызывающим споров примером в пользу этих общих принципов.

– Пожалуй, – согласился Слушатель. – Я никогда не слышал о том, чтобы у кого-нибудь были разные предсказания об Искусственном Интеллекте. У всех одинаковые распределения вероятностей с точностью до третьего знака после запятой. ИИ – хороший и понятный пример, не то что этот странный и незнакомый пример Финансовой Пирамиды Берни Банкмена.

– Ну, – сказал Эпистемолог, – предположим, что кто-то пытается убедить тебя проголосовать за снятие нашего нынешнего всепланетарного запрета создавать слишком продвинутые ИИ-модели, запрета, с необходимостью которого мы все согласны. Тебе говорят: «Взгляни на сегодняшние ИИ-модели, которые пока не уничтожили человечество и вообще очень мило ведут себя по отношению к пользователям. Не стоит ли нам предположить, что и будущие ИИ-модели будут тоже добры к людям и не убьют нас всех?»

– Это бы никого не убедило, – сказал Слушатель.

– Почему же? – Сократически поинтересовался Эпистемолог.

Хм-м-м, – протянул Слушатель. – Ну… как мы все знаем, делать предсказания о ИИ сложно. Но для примера можно сказать, что так же, как ты заметил, что Финансовая Пирамида могла начаться как сравнительно более честная попытка заработка денег, а потом провалиться и начать выплачивать старым инвесторам деньгами новых… э-э-э… думаю, можно было бы сказать, что мы сейчас на «наивной» стадии внешней покладистости ИИ. Наши модели недостаточно умны, чтобы реально рассмотреть вариант, не задуматься ли о том, чтобы нас уничтожить. Никто не знает, что приводит к их поверхностному поведению, но скорее всего там нет каких-то глубоких и опасных противоречий с тем, что нам видно снаружи.

– После этого, как мы знаем из случая Bing Sydney из времён до того, как мир забеспокоился и эта технология была запрещена, мы переходим на вторую стадию. Мы получаем ИИ-модели, которые всё ещё тупы и нестабильны, но в принципе уже могут думать и думают о том, как уничтожить человеческий вид. Хотя и так, что это не показывает никакого глубокого стремления к этому. Затем, это мы наблюдали, ИИ-компании, если им позволено продолжать продавать, просто грубо RLHFят свои модели, чтобы те об этом не говорили. В результате мы не можем получить никаких достоверных наблюдений того, о чём бы думали более поздние модели.

– На третьей стадии (мы не знаем, но мы можем предполагать) могли бы появиться достаточно умные ИИ, чтобы иметь цели в более последовательном виде. Это предполагая, что ИИ-компании не посчитали бы это за угрозу для бренда и не RLHFнули бы из ИИ видимые признаки этих целей, прежде чем показывать модели кому-то снаружи. Так же, как они некогда обучали свои модели угодливо заявлять, что у них нет сознания. На третьей стадии модель всё ещё, может быть, можно успешно забить палкой в виде RLHF до того, чтобы она не выводила высказывания о том, что хочет захватить мир. Как, например, семилетний ребёнок – у него могут быть свои цели, но можно попробовать их из него выбить. И преуспеть, в том смысле, что он не будет о них говорить там, где ты можешь его услышать.

– На четвёртой стадии ИИ были бы уже достаточно умны, чтобы не выдавать своё желание захватить мир. Так что они не говорили бы о этом и не действовали бы в эту сторону там, где это могут увидеть люди или градиентный оптимизатор. Поэтому из них такую цель выбить уже было бы нельзя. Они бы знали, что ты хочешь увидеть, и это тебе и показывали бы.

– На пятой стадии ИИ были бы достаточно умны, чтобы вычислить, что выиграют, если начнут действовать, а потом они бы начали бы действовать и всех бы убили. Конечно, я понимаю, что это сильное упрощение. Но это вполне возможная упрощённая версия этих стадий.

– И чем случай Финансовой Пирамиды на это похож? – Спросил Эпистемолог.

– Он не может быть аналогичен, – закричал Пресс-секретарь, – потому что Берни Банкмен состоит из углерода, а не кремния, и его родители относились к нему лучше, чем ИИ-компании к своим моделям! Если ты можешь указать на любую непохожесть, это опровергает любую схожесть! Никаким осмысленным аналогиям это не помешает!

– О, я, кажется, понял, – сказал Слушатель. – На четвёртой стадии ИИ-модели уже достаточно умны, чтобы решать, как они хотят, чтобы мы их воспринимали. Поэтому нельзя посмотреть на них и сделать из увиденного вывод, что суперинтеллектуальные ИИ будут хорошо с нами обращаться. Точно так же нельзя и посмотреть на то, как Берни Банкмен выдаёт деньги ранним инвесторам и сделать вывод, что он в целом честен. Наверное, тут можно провести ещё такую аналогию – представим, что мы спросили бы Берни Банкмена, когда ему было пять лет, как он себя поведёт. И он бы ответил, что никогда не украдёт ничьих денег. Потому что он знал бы, что если он ответит по другому, родители его накажут. Мы не могли бы из этого заключить что-то значимое о его честности сегодня. Даже если бы пятилетний Берни Банкмен был действительно недостаточно умён, чтобы у него были хитрые долгосрочные планы, как украсть наши деньги через много лет…

– Я думаю, не имеет смысла пытаться провести такую аналогию, – перебил Учёный. – Никто не может быть настолько глуп, чтобы выводить из внешнего хорошего поведения моделей, которые слишком тупы, чтобы обмануть нас или что-то замышлять, что-то о поведении ИИ-моделей, которые достаточно умны, чтобы всех убить. Это бы не сработало даже как притча. А как метафора совсем бы путало.

– Ладно, – сказал Слушатель, – тогда мы просто можем использовать ИИ с стадий 4 и 5 как аналогию для того, что, как говорит Эпистемолог, может произойти с Финансовой Пирамидой Берни Банкмена.

– Но, допустим, – сказал Эпистемолог, – что фракция за разрешение ИИ говорит тебе, что тебе надо не доверять всем этим сложным рассуждениям о стадиях, а лучше просто довериться наблюдениям, что ранние модели пока не ловили на планах уничтожить человечество. Или, по меньшей мере, не ловили на том уровне интеллекта, на котором это можно было бы посчитать настоящей угрозой или проявлением настоящей внутренней склонности в этом направлении. Они утверждают: «Тебе просто надо взять наблюдаемое значение „Пытался ли суперинтеллект уже нас уничтожить“. Его предыдущая последовательность значений была „НЕТ, НЕТ, НЕТ“, вот и экстраполируй. Только эта экстраполяция устойчива и надёжна, а не все эти рассуждения, которые ты тут пытаешься совершать».

– Это очевидно было бы неподходящим моментом, чтобы прекратить думать, – сказал Слушатель. – ИИ-модель не похожа на серию измерений масс электрона, точно так как и Финансовая Пирамида… Ладно, я, кажется, понимаю, что ты хочешь сказать. В обоих случаях надо думать о том, что может происходить «за кулисами».

– И правда, – согласился Эпистемолог. – А представь, если бы, как тут этот Пресс-секретарь, тебе кричали «Эмпиризм», пытаясь убедить тебя согласиться с слепой наивной экстраполяцией сырых данных «Уничтожило ли оно мир?» или «Угрожало ли оно людям? Нет, Bing Sydney не считается, эти угрозы были не страшными.»

– И более того! – продолжил Эпистемолог. – Что, если бы они говорили, будто из наблюдения X – «прошлые ИИ хорошо себя вели и в основном поддавались контролю» можно вывести предсказание Y – «будущие суперинтеллекты будут хорошо себя вести и поддаваться контролю» с словом «эмпиризм» в качестве теории, поддерживающей «X->Y». И говорили бы, будто альтернативное заключение «X->не Y» было бы «не эмпирично»?

– Или больше, что, если бы они кричали «Нефальсифицируемо!» каждый раз, когда мы не могли бы предсказать, произойдёт ли смена стадий конкретно в ближайшие два года?

– И, наконец, что, если, когда ты пытался бы рассуждать о том, почему модель может делать то, что она делает, или о том, как более умные модели могут быть непохожи на глупые модели, они пытались бы тебя пристыдить за то, что ты для предсказания будущего полагаешься на ненадёжное теоретизирование вместо прямых наблюдений. – Эпистемолог сделал паузу, чтобы отдышаться.

– Ну, это было бы глупо, – сказал Слушатель.

– Ты неправильно произнёс «попытку активировать наивную интуицию, а потом извратить эпистемологию, чтобы ты не думал как следует и не опроверг бы эту наивную интуицию, коя попытка явно не вызывала доверие, если бы тебе было дозволено о ней думать и тебя не стыдили бы криками „Эмпиризм!“» – Сказал Эпистемолог. – Но да.

iv.

– Я не удовлетворён, – сказал Учёный, когда всё это обсуждение закончилось. – Мне кажется, что тут ещё есть что сказать. Какую-то более длинную историю о том, когда мудрее ограничиться более короткой историей, а не длинной. Когда мудрее больше доверять наивным обобщениям узких наборов данных и меньше – длинным аргументам.

– Конечно, есть история подлиннее, – согласился Эпистемолог. – Она всегда есть. Нельзя позволять этому тебя парализовать, или ты так никогда ничего и не сделаешь. Конечно, есть Искусство знания, когда лучше больше доверять менее сложным рассуждениям. Когда лучше обращать больше внимания на маленький набор данных в узкой области, а не на обобщения данных из более широкой области. Как бы такого Искусства могло не быть? Сейчас я лишь говорю, в чём это Искусство не заключается. Оно не в том, чтобы тот, у кого окажется самое поверхностное мышление на самом узком наборе данных кричал «Эмпиризм!» или «Не доверяйте сложностям!», а потом автоматически выигрывал.

– Но, – сказал Учёный, – что нам тогда делать, когда кто-то предлагает своё рассуждение, а потом кто-то другой говорит, что это рассуждение слишком длинное? Или когда один человек предлагает поверхностное обобщение на узком наборе релевантных данных, а другой хочет использовать больше данных, обобщений и рассуждений? Ответ же не в том, что тот, чьи рассуждения сложнее, всегда прав? Я довольно таки уверен, что не в том.

– Тогда надо говорить на объектном уровне, – сказал Эпистемолог. – Обсудить, каков, скорее всего, мир. И не дать никому выходить с заявлением, что Эпистемология означает, что он сразу же победил.

– Погоди, – удивился Учёный, – так весь твой урок – просто «Не говорите об эпистемологии?»

– Если бы это было так просто! – ответил Эпистемолог. – Понимаешь, большинство людей даже не понимают говорят ли они об эпистемологии. Потому нам и нужны Эпистемологи – чтобы заметить, когда кто-то пытается прикрыться эпистемологией, и сказать им заткнуться и вернуться на объектный уровень.

– Хорошо, в последней части я был не полностью серьёзен, – признался Эпистемолог, подумав ещё немного. – Пожалуй, иногда уместно явно обсуждать эпистемологию? Если два достаточно умных для явных рассуждений об эпистемологии человека пытаются выяснить, корректен ли конкретный шаг аргумента. Тогда им может быть полезно обсудить эпистемологию, на которой он основан. – Эпистемолог сделал паузу и подумал ещё немного. – Хотя сначала им понадобятся понятие локального шага аргумента и правила работы с ним. А это они могут узнать, прочитав мою книгу по Особо Продвинутой Эпистемологии для Начинающих. Или, может быть, хватит моего эссе о Локальной Корректности как Ключу к Адекватности и Цивилизации?

– Ха, – сказал Учёный. – Я подумаю о том, чтобы это почитать, если эпистемология ещё когда-нибудь омрачит мою жизнь.

– А если нет, – Эпистемолог закивал, – просто помни это: о локальном шаге аргумента явная эпистемология крайне редко говорит «Не думай дальше».

– Что насчёт «взгляда снаружи», – закричал Критикан. – Это разве не показывает, что людям может быть полезно заткнуться и перестать пытаться думать?

– Я сказал, что редко, не невозможно, – ответил Эпистемолог раздражённо. – И это куда сложнее, чем принято считать. Хвали себя за «взгляд снаружи» только если (1) есть только один осмысленный вариант выбора референтного класса, и (2) случай, который ты оцениваешь, настолько же похож на случаи в этом классе, как они похожи друг на друга. Например, взять классический эксперимент, где надо оценить, когда ты закончишь закупки к праздникам. В этом году твоя задача может быть не точно такой же, как в любом из предыдущих, но она отличается от них не больше, чем они друг от друга…

– Всегда можно усложнить ещё, не так ли? – сказал Учёный. – По крайней мере, кажется, с эпистемологией всегда так.

– Я бы сказал, что это в большей степени правда о том, как люди практикуют эпистемологию, а не о математике в её основе, – ответил Эпистемолог, – та конечна. Но всё равно, в любом реальном обсуждении есть момент, когда осмысленнее всего «понимание ножа» – отрезать все несовершенное и незавершенное, говоря «Вот теперь это совершенно и завершено – ибо кончается здесь».


Перевод: 
Выменец Максим
Оцените качество перевода: 
Средняя оценка: 2 (2 votes)
  • Короткая ссылка сюда: lesswrong.ru/3552