Основы редукционизма

Как разобрать реальность на составные части? И как жить в такой вселенной, где мы всегда жили, но без разочарования из-за того, что сложные вещи состоят из простых вещей.

Автор: Элиезер Юдковский

Reductionism 101

Распутывание вопроса

Элиезер Юдковский

«Если дерево падает в лесу, и нет никого рядом, чтобы это услышать, — создаёт ли дерево звук?»

Я не отвечал на этот вопрос. Я не выбирал позицию «да» или «нет» и не защищал её. Вместо этого, я разобрался с тем, как человек обрабатывает слова, даже нарисовал схематическую иллюстрацию нейронной сети. В конечном итоге, я надеюсь, не осталось не только вопроса, но даже ощущения вопроса.

У множества философов, особенно у философов-любителей и философов древнего мира, есть опасный инстинкт: они пытаются ответить на любой заданный вопрос.

Например: «Есть ли у нас свобода воли?»

Опасный инстинкт философии состоит в том, чтобы выдвинуть аргументы «за» и «против», взвесить их, опубликовать их в престижном философском журнале и, наконец, заявить: «да, у нас точно есть свобода воли» или «нет, у нас точно нет свободы воли».

Некоторые философы достаточно мудры, чтобы вспомнить, что большинство философских диспутов в действительности являются спорами о смысле слова или вокруг путаницы, возникшей в результате использования разных смыслов одного слова в разных местах. Такие философы пытаются наиболее точно определить то, что они подразумевают под «свободой воли», и затем возвращаются к вопросу «Есть ли у нас свобода воли? Да или нет?».

Ещё более мудрый философ может заподозрить, что замешательство, вызванное словами «свобода воли» показывает, что понятие ущербно само по себе. Тогда он пускается путём Традиционного Рационалиста. Такой философ начинает рассуждать о том, что понятию «свобода воли» присущи самопротиворечивость или бессмысленность, потому что она не имеет никаких проверяемых последствий. А затем публикует эти сокрушительные замечания в престижном философском журнале.

Но обосновав своё замешательство вы не устраните причину проблемы. Замешательство никуда не денется. Доказательство бессмысленности вопроса поможет не более, чем ответ на него.

Инстинкт философа — найти и занять такую позицию в диспуте, которую проще всего защищать, опубликовать её и пойти дальше. Но «наивный», инстинктивный взгляд — это свойство человеческой психологии. Можно доказывать, что свобода воли невозможна, пока не погаснет Солнце, но это не даст ответа на вопрос из области когнитивистики: если свободы воли не существует, то что происходит в голове человека, который считает, что обладает ею? И это вовсе не риторический вопрос!

Люди думают, что у них есть свобода воли — это факт человеческой психологии. Поиски позиции в диспуте, которую проще всего защищать, не изменят и не объяснят этот психологический факт. Философия может привести вас к отказу от концепции, но отказ от концепции — это не то же самое, что и понимание когнитивных алгоритмов, порождающих эту концепцию.

Можно взглянуть на Стандартный Диспут на тему «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать, — создаёт ли дерево звук?», и поступить в стиле Традиционного Рационалиста — отметить факт, что спорщики не ожидают каких-либо расхождений в наблюдениях, и ликующе объявить, что спор бессмыслен. В данном случае это действительно так, но остаётся вопрос из области когнитивистики: почему спорщики вообще сделали эту ошибку?

Ключевая идея программы изучения эвристик и предвзятостей в том, что ошибки, которые мы делаем, чаще говорят гораздо больше о наших когнитивных алгоритмах, нежели о правильных ответах. Так (однажды спросил я сам себя) каким должно быть устройство разума, чтобы впадать в ошибку спора о деревьях, падающих в безлюдных лесах?

Когнитивные алгоритмы, которые мы используем, — это наш способ воспринимать мир. И эти когнитивные алгоритмы могут не точь-в-точь соответствовать реальности. Они могут не соответствовать даже макроскопический реальности, не говоря уж об истинных кварках. Эти когнитивные алгоритмы могут порождать искажённое восприятие мира.

Например, может существовать обособленный узел в центре нейронной сети, который не соответствует ни реальному явлению, ни какому-либо реальному свойству реального явления, встречающемуся в реальном мире. Существование подобных узлов зачастую оправдано тем, что с их помощью мы можем упрощать вычисления» (Метафорически говоря. На самом деле, человеческая нейробиология гораздо сложнее.)

Этот обособленный узел оставляет ощущение нерешённого вопроса, даже после того, как были получены ответы на все подвопросы, на которые только можно было ответить. Не важно, как сильно кто-то старается доказать, что ответ никак не повлияет на ожидаемый опыт — вы всё равно продолжаете задаваться вопросом «И всё же, производит падающее дерево звук или нет?».

Но все вопросы будут сняты, как только вы поймёте в деталях, почему и как ваш мозг создаёт это чувство вопроса, как только вы осознаете, что чувство неотвеченного вопроса соответствует иллюзорному центральному узлу нейронной сети, который не знает, возбуждаться ему или нет, несмотря на то, что все окружающие его узлы уже перешли в определённые состояния. Или ещё лучше, если вы поймёте принципы работы наивного байесовского метода. Не останется ни тянущегося чувства замешательства, ни неясного ощущения неудовлетворённости.

Если же тянущееся чувство наличия неотвеченного вопроса остаётся, или кажется, что вы заговариваете себе зубы, то это знак, что вы не разложили вопрос. Неясное ощущение неудовлетворённости должно предостерегать не хуже окрика. От вопроса, который действительно был распутан и разложен на составляющие, не остаётся ничего.

Ликующе-громогласное отрицание свободы воли, абсолютно неоспоримое доказательство того, что свобода воли не может существовать, кажущееся вполне удовлетворяющим — это крики «ура!» домашней команде(english). В таком случае можно и не заметить, что с точки зрения когнитивистики так и не было получено удовлетворительного объяснения, описывающего по шагам то, как возникает каждое интуитивное ощущение.

Может даже захотеться не признавать своё непонимание, ведь это будет восприниматься как очки не в пользу вашей команды. Если признать во время разноса неразумных верований в свободу воли, что осталось что-то неразъяснённое, то это может показаться уступкой противнику.

Так можно когда-нибудь прийти к какому-нибудь само собой разумеющемуся(english) утверждению из области эволюционной психологии. Например, что древние племена, верившие в свободу воли, были более склонны иметь позитивные взгляды на мир и, следовательно, иметь большее потомство, чем другие племена — что, разумеется, полная чушь. Говорящий так утверждает, что мозг создаёт иллюзию свободы воли, но не объясняет, как именно мозг это делает. Можно попытаться победить оппозицию, подрывая её посылки, но в таком объяснении иллюзия свободы воли принимается как свершившийся факт. Сама же иллюзия так и не была разобрана на части.

Представьте, что в Стандартном Диспуте о дереве, падающем в безлюдном лесу, вы сначала показали, что нет никакой разницы в ожиданиях, а затем стали размышлять: «Возможно, что те люди, которые говорили о бессмысленности споров, воспринимались как согласившиеся с правотой оппонента и теряли свой социальный статус. Поэтому среди нас закрепился инстинкт спорить о смысле слов». Это утверждение о том, что замешательство существует и объяснение-почему оно возникает. Взгляните теперь на структуру нейронной сети в эссе «Ощути смысл» – это объяснение-как, разбор замешательства на более мелкие части, каждая из которых не вызывает замешательства сама по себе. Поняли разницу?

Найти хорошую гипотезу о когнитивных алгоритмах (или хотя бы гипотезы, которые не развалятся за полсекунды) — гораздо сложнее, чем просто опровергнуть философское замешательство. В самом деле, это это совершенно иное искусство. Держите это в уме, и будете меньше смущаться, произнося слова «Я знаю, что то, что вы говорите, не может быть истиной, и я могу доказать это. Но я не могу написать блок-схему, которая покажет, как ваш мозг совершает ошибку, и это значит, что мне нужно продолжать разбираться».

Я говорю это, потому что иногда мне кажется, что как минимум 20% реальной эффективности тренированного рационалиста проистекает из того, что он не останавливается слишком рано. Если вы продолжите задавать вопросы, то рано или поздно вы доберётесь до пункта назначения. И наоборот, вы не доберётесь, если слишком рано решите, что ответ найден.

Важнее всего заметить своё замешательство. Даже если оно еле заметно. Даже если кто-то рядом с вами настаивает, что у людей есть свобода воли, и ухмыляется, а то, что вы не знаете в точности, как именно работают когнитивные алгоритмы, ничем не может помочь справиться с ужасающей глупостью его мнения.

Но, когда вы разобрали когнитивный алгоритм на детали в достаточной мере для того, чтобы проследить весь процесс мысли шаг за шагом и описать, как возникает каждое интуитивное восприятие — то есть, разобрать замешательство на более мелкие части, которые сами по себе не вызывают замешательства — то вы справились с вопросом.

Будьте готовы к тому, что вы можете поверить в то, что вы справились, когда на самом деле вы всего лишь ликующе опровергли ошибку.

Но когда вы действительно справитесь, вы узнаете об этом. Распутывание вопроса вызывает чувство, которое вы ни с чем не спутаете, после того как столкнётесь с ним впервые, и столкнувшись с ним, решите не попадать впросак снова. Спящие не знают, что они спят, но когда вы проснётесь, вы поймёте, что не спите(english).

То есть: когда вы справились с задачей, вы узнаете, что вы с ней справились, но, к сожалению, не наоборот.

Вот домашнее задание: в соответствии с тем, как алгоритм ощущается изнутри, определить, как устроен когнитивный алгоритм, которым порождён приведённый выше спор о «свободе воли».

Ваша задача не спорить о том, есть ли у людей свобода воли или нет.

Ваша задача не рассуждать о том, совместима ли свобода воли с детерминизмом или нет.

Ваша задача не доказывать, что вопрос плохо поставлен, или что концепция противоречива, или что нет проверяемых следствий.

Вам не следует придумывать эволюционное объяснение тому, как размножались люди, верившие в свободу воли, или рассуждать о том, что концепция свободы воли выглядит подозрительно совпадающей с некоторым искажением X. Всё это будет всего лишь объяснением-почему люди верят в «свободу воли», а не объяснением-как они это делают.

Ваше домашнее задание — проследить и выписать список вызовов функций1 внутренних алгоритмов человеческого ума, по мере того, как ими порождается интуиция, питающая весь этот чёртов философский спор.

Это один из первых настоящих вызовов, с которым я, как целеустремлённый рационалист, когда-то столкнулся. Относительно прочих эта головоломка довольно проста. Пусть она послужит и вам.

- 1. В оригинале «stack trace» – Прим.перев.

Перевод: kuuff

Ссылка на оригинал:

Dissolving the Question

Ссылка на оригинал на readthesequences.com:

Dissolving the Question

Номер в книге "Рациональность: от ИИ до зомби":

189

Оцените качество перевода:

Select ratingGive Распутывание вопроса 1/5Give Распутывание вопроса 2/5Give Распутывание вопроса 3/5Give Распутывание вопроса 4/5Give Распутывание вопроса 5/5

Средняя оценка: 4.2 (10 votes)

Неверные вопросы

Элиезер Юдковский

Когда мозг вгрызается в проблему под неверным углом, он начинает задавать «неверные вопросы» — вопросы, на которые невозможно дать ответ в терминах вопроса. Такие вопросы можно лишь распутать, разложить на составляющие, выяснив какой когнитивный алгоритм порождает «ощущение» вопроса, и каким образом он это делает.

Отличным намёком на то, что вы столкнулись с «неверным вопросом» является то, что вы не можете даже представить какое-нибудь определённое специфическое устройство мира, которое бы дало ответ на этот вопрос. Когда такое случается, не видно самой возможности найти ответ.

Возьмите, например, Стандартный Спор об Определениях о дереве, падающем в заброшенном лесу. Можно ли представить себе какое-нибудь устройство этого мира, какое-нибудь положение дел, при котором слово «звук» действительно означает только акустические вибрации или действительно означает только пережитый опыт восприятия звука?

(Кто-то может сказать: «Да, это такое положение дел, при котором слово «звук» означает акустические вибрации». В таком случае, табуируйте слова «означает», «представляет» и все похожие синонимы, и попробуйте описать заново: каким должен быть мир, чтобы одна из сторон была бы права, а другая ошибалась?)

Или, если это кажется слишком просто, рассмотрите свободу воли: какое конкретное положение дел — в детерминированной физике или в физике со случайным компонентом — может соответствовать наличию свободы воли?

Если же и это выглядит слишком просто, то рассмотрите вопрос «Почему всё существует?» и расскажите мне, как может выглядеть удовлетворительный ответ на этот вопрос.

На всякий случай отмечу: я не знаю ответа на последний вопрос. Но (основываясь на моём предыдущем опыте столкновений с вопросами без ответов) я могу предположить. Ответ не включает в себя великую и триумфальную Первопричину. Вопрос растворится в результате какого-то озарения о том, как алгоритмы мышления проскочили мимо реальности, после чего я пойму, почему вопрос был ошибочным с самого начала; я увижу, как ошибка алгоритмов отразилась в вопросе.

Загадка существует в голове, вовсе не в реальности. Если я не знаю о каком-либо явлении, то это говорит о состоянии моего ума, не о самом явлении. И более того, если невозможно представить себе существование ответа, то это означает, что замешательство существует на карте, не на территории. Вопросы без ответов не отмечают те места, где магия проникает во вселенную. Они помечают места, где ваш разум «промахивается» мимо реальности, где он искажает её.

Некоторые вопросы должны быть распутаны. Плохие вещи случатся, когда вы пытаетесь ответить на них. Такие попытки неизбежно порождают наихудший сорт таинственных ответов на таинственные вопросы, тот, который даёт выглядящие сильными аргументы для вашего Таинственного Вопроса, но «ответ» не позволяет вам делать каких-либо новых предсказаний даже задним числом, и явление продолжает носить ту же священную необъяснимость, которую оно имело с самого начала.

Я могу предположить, как мог бы выглядеть ответ на загадку Первопричины: ничто не существует, сама концепция существования ошибочна. Но если вы искренне поверите в это, то уменьшит ли это ваше замешательство? Вряд ли. И мне тоже это не помогает.

Но у вопросов без ответа есть одно замечательное свойство: они всегда разрешимы (по-крайней мере все, с которыми я сталкивался, имели это свойство). Какая мысль первой пришла в голову Королеве Елизавете I, первая её мысль с утра, когда она проснулась в её сороковой день рождения? В то время, как я могу представить себе возможные ответы на этот вопрос, я с готовностью вижу, что я, быть может, никогда не смогу фактически на него ответить — истина была утеряна во времени.

С другой стороны, вопрос «Почему всё существует?» выглядит настолько невозможным, что я могу сделать вывод, что я в замешательстве, а значит, вероятно, истина далеко не столь переусложнена в абсолютном смысле, и я смогу её увидеть, как только озадаченность уйдёт.

Это может выглядеть контринтуитивным, если вам не доводилось решать вопрос без ответа, но я заверяю вас, что именно так всё и есть.

Ждите завтра: простой трюк для работы с «ошибочными вопросами».

Перевод: kuuff

Ссылка на оригинал:

Wrong Questions

Номер в книге "Рациональность: от ИИ до зомби":

190

Оцените качество перевода:

Select ratingGive Неверные вопросы 1/5Give Неверные вопросы 2/5Give Неверные вопросы 3/5Give Неверные вопросы 4/5Give Неверные вопросы 5/5

Средняя оценка: 5 (3 votes)

Исправление неверного вопроса

Элиезер Юдковский

Когда вы сталкиваетесь с безответным вопросом — с вопросом, на который кажется невозможным даже представить ответ — существует простой приём, который может сделать вопрос решаемым.

Сравните:

- Почему у меня есть свобода воли?

- Почему я думаю, что у меня есть свобода воли?

У второго вопроса есть очень приятное свойство: он гарантированно имеет самый настоящий ответ, вне зависимости от того, существует ли свобода воли или нет. Задавая себе вопрос «почему у меня есть свобода воли?» или «есть ли у меня свобода воли», вы начинаете искать ответ в деталях физических законов, которые настолько удалены от макроскопического уровня, что вы даже не можете их увидеть невооружённым взглядом. То есть, вы спрашиваете «почему существует X», в то время как X может вообще не иметь отношения к делу, не говоря уж о том, что он может не иметь места.

В то же время, вопрос «почему я думаю, что у меня есть свобода воли» гарантированно имеет ответ. Вы в действительности верите в свободу воли. Эта вера выглядит гораздо более цельной и понятной, чем эфемерность свободы воли. И в действительности существует некая цельная цепочка когнитивных причин и следствий, ведущих к этой вере.

Если вы уже переросли вопросы свободы воли, то выберите что-нибудь на замену:

- «почему время движется вперёд, а не назад» против «почему я думаю, что время движется вперёд, а не назад»

- «почему я родился собой, а не кем-нибудь ещё» против «почему я думаю, что я родился собой, а не кем-нибудь ещё»

- «почему я обладаю сознанием» против «почему я думаю, что обладаю сознанием»

- «почему реальность существует» против «почему я думаю, что реальность существует?»

Прелесть метода в том, что он работает вне зависимости от того, содержит ли вопрос в себе замешательство или нет. Я набираю эти слова, и на моих ногах одеты носки. Я могу спросить «почему на моих ногах надеты носки» или «почему я думаю, что на моих ногах надеты носки». Допустим, я задал второй вопрос. Отслеживая назад причинно-следственную цепочку я выясню, что:

- я думаю, что на моих ногах надеты носки, потому что я вижу носки на ногах;

- я вижу носки, потому что моя сетчатка посылает сигналы о носках зрительной коре моего головного мозга;

- моя сетчатка посылает сигналы о носках, потому что свет проецируется на сетчатку в форме носков;

- свет проецируется на сетчатку в форме носков, потому что он отражается от носков, которые надеты на мои ноги;

- он отражается от носков, потому что надеты носки;

- носки надеты, потому что я их надел;

- я надел носки, потому что полагал, что иначе моим ногам будет холодно;

- и так далее.

Отслеживая назад причинно-следственную цепочку шаг за шагом, я выясняю, что моя вера в то, что на моих ногах надеты носки, полностью объясняется тем, что на моих ногах надеты носки. Это правильно, так и должно быть, потому что вы не можете получить информацию о чём либо, не взаимодействуя с ним.

С другой стороны, если я вижу мираж озера в пустыне, то правильное причинное объяснение моего видения не будет включать в себя факт наличия настоящего озера в пустыне. В этом случае, моя вера в существование озера не просто объясняется, но разобъясняется.

Но в любом случае вера оказывается реальным явлением, имеющим место в реальном мире: психологические события — тоже события, и их причинно-следственная история может быть отслежена назад к исходной причине, вызвавшей их.

Вопрос «откуда взялось озеро посреди пустыни» может остаться без ответа, если на самом деле нет никакого озера, которое нужно объяснять. Но «почему я ощущаю озеро посреди пустыни» всегда можно объяснить тем или иным образом.

Возможно кто-нибудь увидит возможность показаться умным и скажет «Хорошо. Я верю в свободу воли потому, что у меня есть свобода воли». Конечно же, всё не столь просто.

Моё восприятие носков на моих ногах — это событие в зрительной коре головного мозга. Работа зрительной коры может быть исследована когнитивистикой и не должна вызывать замешательства.

Моя сетчатка воспринимает свет, и это не какой-то мистический процесс возникновения ощущения, не магический детектор носков, который срабатывает в присутствии носков необъяснимым образом. Это работа механизмов, которые могут быть объяснены в рамках биологии. Фотоны падают на сетчатку, и это можно объяснить в рамках оптики. Отражение света носками можно объяснить в рамках электромагнетизма и химии. Охлаждение моих ног можно объяснить в рамках термодинамики.

Таким образом, всё несколько сложнее, чем заявить «я верю в свободу воли потому, что она у меня есть». Вам придётся разбить причинно-следственную цепочку на отдельные звенья, и объяснить каждое в терминах, которые сами по себе не вызывают замешательства.

Взаимодействие сетчатки с носками вполне понятно и может быть объяснено в терминах компонентов, типа фотонов и электронов, которые не вызывают замешательства. Где в мозге находится детектор свободы воли, и как он определяет наличие или отсутствие свободы воли? Как детектор взаимодействует с детектируемым событием и какова механика этого взаимодействия?

Если ваша вера не проистекает из действительных наблюдений реального явления, мы рано или поздно выясним этот факт, если начнём отслеживать причинно-следственную цепочку, ведущую к вашей вере.

Если вы действительно замечаете своё замешательство, то отслеживание причинно-следственной цепочки найдёт тот алгоритм, который искажает реальность.

В любом случае, вопрос гарантированно имеет ответ. Более того, есть отличное и вполне определённое место, с которого можно начать отслеживать свои убеждения, место, находящееся непосредственно в вашей голове.

Когнитивистика, быть может, не выглядит настолько возвышенно, как метафизика. Но, по-крайней мере, вопросы когнитивистики решаемы. Поиск ответа может не быть простым, но, по-крайней мере, ответ существует.

А, и да: мысль о том, что когнитивистика не столь возвышенна и восхитительна как метафизика элементарно не верна. Я надеюсь, что некоторые читатели начинают замечать это.

Перевод: kuuff

Ссылка на оригинал:

Righting a Wrong Question

Номер в книге "Рациональность: от ИИ до зомби":

191

Оцените качество перевода:

Select ratingGive Исправление неверного вопроса 1/5Give Исправление неверного вопроса 2/5Give Исправление неверного вопроса 3/5Give Исправление неверного вопроса 4/5Give Исправление неверного вопроса 5/5

Средняя оценка: 4.4 (10 votes)

Ошибка проецирования ума

Элиезер Юдковский

В дни зарождения научной фантастики инопланетные захватчики могли при случае похитить девушку в порванном платье и утащить её с намерением изнасиловать, что было с любовью изображено на многих старых обложках журнала. Несколько странно, что при этом инопланетяне никогда не охотились за мужчинами в порванных рубахах.

Будет ли негуманоидный пришелец с совершенно иной эволюционной историей и эволюционной психологией воспринимать человеческую самку сексуально привлекательной? Это выглядит, как минимум, весьма маловероятным.

Люди не совершают подобных ошибок, когда делают выводы обдуманно. «Все возможные разумы, скорее всего, устроены, в общем, похожим образом, поэтому монстр с фасеточными глазами сочтёт человеческую самку привлекательной». Вероятно, художник даже не задумался о вопросе, будет ли пришелец воспринимать человеческих самок привлекательными. Вместо этого: «человеческая самка в порванном платье сексуальна» — это им свойственно, это их существенное, неотъемлемое и врождённое свойство.

Тот, кто совершил ошибку, не думал об эволюционной истории пришельцев, они фокусировались на порванном платье женщины. Если бы платье не было бы порвано, то женщина была бы менее сексуальна, монстр-пришелец не заинтересовался бы ею.

Очевидно, что мы инстинктивно представляем Сексуальность как прямой атрибут объекта Женщина, типа Женщина.сексуальность, так же как и Женщина.высота, Женщина.вес.

Если мозг использует эту структуру данных или какую-то метафорически схожую, то изнутри кажется, что сексуальность — это врождённое свойство женщины, а не свойство пришельца, который разглядывает женщину. Женщина привлекательна, а значит монстр будет испытывать влечение к ней — логично, не так ли?

Э. Т. Джейнс использовал термин ошибка проецирования ума, чтобы обозначить ошибку проецирования свойств ума наблюдателя на внешний мир. Джейнса — ныне покойного гроссмейстера Байесовского Заговора — больше всего заботило неверное обращение с вероятностями как врождёнными свойствами объектов, нежели с состоянием частичного знания в некоем конкретном уме.

Но ошибка проецирования ума проявляет себя не только по отношению к вероятностям. Это аргумент против спора о настоящем значении слова «звук», против изображения на обложке журнала монстра несущего женщину в порванном платье, против заявления Канта о том, что пространство плоское по своей природе1, против определения, которое дал Юм априорным идеям, которые «порождаются исключительно работой ума, вне зависимости от существания чего-либо во вселенной».

(Как-то раз я читал в научной фантастике рассказ про самца человека, который имел сексуальные отношения с разумным инопланетным растением, имеющим соответствующе мягкие листья, и впоследствии внезапно обнаружившем, что это был мужской экземпляр растения. Некоторое время мужчина переживал из-за этого, но в конечном итоге решил, что это уже не имеет никакого значения. И у Фоглио с Полоттой во «Внезапном вторжении» люди высаживаются на планету, населённую разумными насекомыми, и видят трейлер показывающий человека, который утаскивает жука в пикантном шёлковом платье. Просто вдруг вспомнилось.)

- 1. В оригинале «space by its very nature is flat». — Прим. перев.

Перевод: kuuff

Ссылка на оригинал:

Mind Projection Fallacy

Ссылка на оригинал на readthesequences.com:

Mind Projection Fallacy

Номер в книге "Рациональность: от ИИ до зомби":

192

Оцените качество перевода:

Select ratingGive Ошибка проецирования ума 1/5Give Ошибка проецирования ума 2/5Give Ошибка проецирования ума 3/5Give Ошибка проецирования ума 4/5Give Ошибка проецирования ума 5/5

Средняя оценка: 4.8 (9 votes)

Вероятность находится в голове

Элиезер Юдковский

Вчера я говорил об ошибке проецирования ума, рассматривая пример монстра-пришельца, который уносил девушку в порванном платье, об ошибке, которую я приписал тому, что художник думал о сексуальности женщины как о свойстве самой женщины, женщина.сексуальность, а не о чём-то, что существует исключительно в голове наблюдателя и, вероятно, не существует в голове пришельца.

Термин «ошибка проецирования ума» был введён великим покойным мастером байесианства Э. Т. Джейнсом. Джейнс полагал, что вероятности существуют в уме — не в окружении, — что вероятности выражают незнание, состояние частичной информации, и если я не знаю что-либо о явлении, то это говорит о состоянии моего ума, и ничего не говорит о явлении.

Я не могу отдать должное этому древнему спору, оставаясь при этом кратким, но я приведу классический пример.

У вас есть монета.

Монета несимметрична.

Вы не знаете, какая именно сторона выпадает чаще и насколько чаще. Кто-то сказал вам о том, что монета несимметрична и ничего больше.

Больше никакой информации у вас нет.

Вы вытаскиваете монету, подкидываете её, ловите.

А теперь, прежде чем убрать руку и взглянуть на результат, можете ли вы сказать, что вы приписываете вероятность 0,5 тому, что монета упала орлом?

Частотник (сторонник частотного определения вероятности — прим. перев.) скажет: «Нет. Сказать, что вероятность равна 0,5, значит подразумевать, что монета имеет неотъемлемое свойство падать орлом так же часто, как и решкой, а значит, если мы подкинем монету бесконечное число раз, то отношение орлов и решек будет стремиться к 1:1. Но мы знаем, что монета несимметрична, поэтому она может иметь любую вероятность выпадения орла кроме 0,5».

Байесианец же скажет: «Неопределённость существует на карте, не на территории. В реальном мире монета выпадет либо орлом, либо решкой. Любой разговор о вероятности должен отражать ту информацию, которую я имею о монете — моё состояние частичного незнания и частичного знания, — а не какую-то там информацию о монете. Более того, у меня есть теоремы на любой вкус, показывающие, что если я не буду рассматривать моё частичное знание определённым образом(English), то я буду делать глупые ставки. Если мне придётся учитывать результат броска монеты при составлении плана, то я буду планировать исходя из состояния неопределённости 50:50, в котором я не могу сказать, что исходы, при которых выпадают орлы, имеют больший вес, чем исходы, при которых выпадают решки. Вы можете называть это число как угодно, но я не намерен подчиняться законам теории вероятностей из страха показаться глупым. Таким образом, я не испытываю ни малейшей нерешительности, когда называю такое взвешивание исходов вероятностью».

Я на стороне байесианцев. Вы могли это уже заметить.

Ещё до того, как симметричная монета подброшена в воздух, мнение о том, что она имеет неотъемлемую вероятность 50% упасть орлом может быть элементарно ошибочно. Может быть вы держите монету таким образом, что она гарантированно упадёт орлом или решкой, при данной силе, с которой вы подбрасываете её, и при данных движениях воздуха вокруг вас. Но если вы не знаете каким образом смещены вероятности монеты в данном конкретном случае, то что?

Если я не ошибаюсь, было судебное разбирательство, в котором истец предъявлял претензии организаторам лотереи: карточки с именами участников не были перемешаны достаточно тщательно и поэтому шансы были не равны. Судья выслушал и спросил: «Кто именно имел больше шансов?»

Чтобы сделать эксперимент с монеткой повторяемым, как того имеют обыкновение требовать частотники, мы можем создать автоматический подбрасыватель монет и убедиться, что результаты 50% орлов и 50% решек. Но, быть может, робот с особо чувствительными глазами и хорошим пониманием физики сможет, наблюдая за приготовлениями автоподбрасывателя, предсказать падение монеты заранее — пускай и не совершенно определённо, но, допустим, с точностью 90%. И чем тогда будет настоящая вероятность в этом случае?

Не существует «настоящей вероятности». Робот имеет какую-то частичную информацию. Вы имеете другую частичную информацию. Монета не имеет ума и не владеет никакой информацией, она не назначает никаких вероятностей, она просто взлетает в воздух, переворачивается несколько раз, сталкиваясь с каким-то количеством молекул воздуха, а затем приземляется либо орлом, либо решкой.

Это байесианская точка зрения, и я, пожалуй, покажу несколько классических головоломок, которые обретают свою головоломность из-за склонности думать о вероятностях как о неотъемлемых свойствах объектов.

Начнём со старой классики: вы встретили на улице математика и она случайно упомянула, что у неё два ребёнка. Вы спросили: «Хотя бы один из них мальчик?» Она ответила: «Да».

Какова вероятность того, что она родила двоих мальчиков? Если вы предположите, что вероятность того, что ребёнок — мальчик, равна 1/2, то вероятность того, что у неё два мальчика равна 1/3. Априорные вероятности такие: 1/4 для двух мальчиков, 1/2 для мальчика и девочки, 1/4 для двух девочек. Ответ математика «да» имеет вероятность ~1 в первых двух случаях и ~0 в третьем. Перенормируя вероятности мы получаем 1/3 вероятности двух мальчиков, и 2/3 вероятности мальчика с девочкой.

Предположим теперь, что вы задали другой вопрос: «Старший ребёнок — мальчик?», и математик ответила: «Да». Тогда вероятность того, что у математика два мальчика будет равна 1/2. Поскольку старший ребёнок — мальчик, а младший может быть кем ему нравится.

То же самое, если бы вы спросили: «Младший ребёнок — мальчик?». Вероятность двоих мальчиков опять же 1/2.

В этом случае, если хотя бы один ребёнок — мальчик, то он должен быть либо старшим, либо младшим. Так каким образом ответ в первом случае отличается от ответа в двух других?

Есть другой похожий пример: допустим, у меня есть четыре карты — туз червей, туз пик, двойка червей и двойка пик. Я беру из них в руку две карты случайным образом. Вы спрашиваете меня: «Держишь ли ты хотя бы одного туза?» и я отвечаю: «Да». Какова вероятность того, что я держу пару тузов? Ответ: 1/5. Существует шесть различных комбинаций из двух карт с равной априорной вероятностью, и вы исключили возможность, что я держу пару двоек. Из пяти оставшихся комбинаций только одна является парой тузов. Таким образом ответ: 1/5.

Теперь предположим, что вы спросили меня: «Держишь ли ты туза пик?» Если я отвечу «да», то вероятность того, что другая карта — туз червей равна 1/3. (Вы знаете, что я держу туза пик, и существует три возможных варианта для другой карты, туз червей — ровно один из них.) Точно так же, если вы спросите меня «Держишь ли ты туза червей?» и я отвечу «да», то вероятность того, что я держу пару тузов равна 1/3.

Но как такое может быть, если в случае вопроса «Держишь ли ты по крайней мере одного туза?» и ответа «Да», вероятность того, что я имею пару была 1/5? Я должен был держать либо туза пик, либо туза червей, как вы знали; и в любом случае вероятность того, что я держу пару тузов равна 1/3.

Как такое может быть? Может я вычитал какие-то вероятности неверно?

Если вы хотите выяснить это самостоятельно, то сделайте это сейчас, потому что я собираюсь раскрыть…

Все указанные расчёты верны.

Что же до парадокса, то его нет. Видимость парадокса возникает из-за того, что вероятности рассматриваются как свойства карт. Туз, которого я держу, может иметь масть либо червей, либо пик; но это не означает, что ваше знание о моих карт должно быть одинаковым, если вы знаете, что я держу червей, или вы знаете, что я держу пики.

Тут может помочь теорема Байеса:

P(H|E) = P(E|H)P(H) / P(E)

Последняя часть, где вы делите на P(E) — это часть, где вы отбрасываете все остальные возможности, которые были исключены и перенормируете ваши вероятности к тому, что осталось.

Давайте рассмотрим вопрос «Держишь ли ты по крайней мере одного туза?». Прежде чем я ответил, ваша вероятность того, что я скажу «да» должна была быть 5/6.

Но если вы спросили меня «держишь ли ты туза пик?», то ваши априорная вероятность того, что я скажу «да», всего лишь 1/2.

То есть, как вы видите, вы узнаёте весьма разные вещи в этих двух разных случаях. Вам придётся исключать и перенормировать какие-то различные возможности, используя разную P(E). Если вы узнаете разные свидетельства, то вам не следует удивляться, если в результате вы приходите к разной частичной информации.

Точно так же, если я спросил математика: «Есть ли среди твоих детей мальчик?», то я ожидал услышать «Да» с вероятностью 3/4, но если бы я спросил: «Старший ребёнок — мальчик?», то я бы ожидал услышать «да» с вероятностью 1/2. Таким образом, совершенно неудивительно, что я пришёл к разному частичному знанию, зависящему от того, какой именно из этих двух вопросов я задал.

Единственная причина того, почему видится парадокс, в том, что вероятность пары тузов рассматривается как свойство карт которые имеют, по крайней мере, одного туза, или как свойство карт, которые, как выясняется, содержат туза пик. В этом случае, для набора карт, имеющего по крайней мере одного туза, было бы парадоксальным иметь прирождённую вероятность пары равную 1/5, в то время как наборы карт, имеющие одного туза пик, имеют прирождённую вероятность пары равную 1/3, и наборы карт, имеющие туза червей, имеют прирождённую вероятность пары 1/3.

Точно так же, если вы считаете о вероятности 1/3 того, что оба ребёнка мальчики, что это прирождённое свойство наборов детей, которые включают хотя бы одного мальчика, то это не совместимо с наборами детей, из которых старший — мальчик, имеющими прирождённую вероятность 1/2 того, что оба мальчики, также как и наборы детей, имеющие младшего мальчика, имеют врождённую вероятность того, что оба — мальчики. Это было бы тоже самое, что и сказать: «Все зелёные яблоки весят по фунту, все красные яблоки весят по фунту, и все яблоки, которые зелёные или красные, весят по полфунта».

Это то, что случается, когда вы начинаете думать о вероятностях как о чём-то, что содержится в вещи, вместо того, чтобы рассматривать вероятности как отражение частичной информации о вещи.

Вероятности описывают неопределённость. Но неопределённость существует лишь для агентов. Пустая карта не соответствует пустой территории. Незнание существует в голове.

Перевод: kuuff

Ссылка на оригинал:

Probability is in the Mind

Номер в книге "Рациональность: от ИИ до зомби":

193

Оцените качество перевода:

Select ratingGive Вероятность находится в голове 1/5Give Вероятность находится в голове 2/5Give Вероятность находится в голове 3/5Give Вероятность находится в голове 4/5Give Вероятность находится в голове 5/5

Средняя оценка: 4.2 (9 votes)

Цитата — не референт

Элиезер Юдковский

В классической логике операциональное определение тождества означает, что если 'A=B' — теорема, то вы можете заменить 'B' на 'A' в любой теореме, где используется 'B'. Например, если (2 + 2) = 4 — теорема, и ((2 + 2) + 3) = 7 — теорема, то (4 + 3) = 7 — тоже теорема.

Это приводит к проблеме, которую обычно выражают словами: утренняя звезда и вечерняя звезда оказываются одним и тем же объектом, планетой Венера. Предположим, что Джон знает, что утренняя звезда и вечерняя звезда — это один и тот же объект. Мэри же полагает, что утренняя звезда — это бог Люцифер, а вечерняя звезда — это богиня Венера. Джон знает, что Мэри считает, что утренняя звезда — Люцифер. Должен ли Джон поэтому (по правилу подстановки) считать, что Мэри верит в то, что вечерняя звезда — это Люцифер?

Или даже более простая версия этой проблемы. 2 + 2 = 4 — это истина, то есть (((2 + 2) = 4) = ИСТИНА) — это теорема. Великая теорема Ферма — тоже истина. Таким образом: я верю в то, что 2 + 2 = 4 => я верю в ИСТИНУ => я верю в великую теорему Ферма.

Да, я знаю, это выглядит очевидно неверным. Но представьте себе, что кто-то пишет программу логического вывода, использующую принцип «равные термины можно подставлять», и программа выдаёт такой результат. Теперь представьте, что программист пишет статью о том, как избежать этого. Теперь представьте, что кто-то ещё не соглашается с предложенным решением… Спор до сих пор продолжается.

Я лично сказал бы, что Джон совершает ошибку типизации, вроде попытки вычесть 5 граммов из 20 метров. «Утренняя звезда» — не то же самое, что утренняя звезда, хотя и одна и та же вещь. Убеждение — не планета.

утренняя звезда = вечерняя звезда

«утренняя звезда» ≠ «вечерняя звезда»

На мой взгляд, проблема проистекает из-за того, что не удалось корректно провести разницу между убеждениями и вещами. Исходная ошибка была в том, что ИИ хранит свои убеждения об убеждениях Мэри об «утренней звезде», используя то же представление, как и для убеждений об утренней звезде.

Если Мэри верит, что «утренняя звезда» — это Люцифер, это не означает, что Мэри верит в то, что «вечерняя звезда» — это Люцифер, потому что «утренняя звезда» ≠ «вечерняя звезда». Весь парадокс возникает из-за того, что в нужных местах не поставлены кавычки.

Вы, быть может, помните, что я не впервые говорю о введении дисциплины использования типизации — последний раз я об этом говорил, когда рассуждал об ошибке, к которой приводит неразличение выгоды и ожидаемой выгоды. При изучении физики безмерно полезно отслеживать единицы измерений — может выглядеть утомительным писать «см» и «кг», но только до тех пор, пока вы не заметите, что (а) ваш ответ выглядит ошибочным на порядок и (б) он выражен в секундах на квадратный грамм.

Точно так же, убеждения — это не то же самое, что и планеты. Если мы говорим о человеческих убеждений, то, как минимум, определённым является то, что убеждения находятся в голове, а планеты в космосе. Убеждения весят несколько микрограмм, планеты же весят гораздо больше. Планеты больше, чем убеждения… ну, вы поняли идею.

Кажется недостаточным заключить в кавычки «утреннюю звезду», чтобы предотвратить путаницу, потому что для людей текст будет выглядеть похожим. Поэтому, быть может, лучшим способом ввести типизационную дисциплину будет использование визуально различных способов кодирования:

утренняя звезда = вечерняя звезда

21.20.18.06.15.15.33.33.00.09.03.06.09.05.01 ≠ 03.06.25.06.18.15.33.33.00.09.03.06.09.05.01

Изучение математической логики также может помочь научиться различать цитату и референт. В математической логике |- P (P — теорема) и |- []'P' (доказуемо, что существует кодированное доказательство кодированного утверждения P в какой-то кодированной системе доказательств) — это очень разные утверждения. Если вы снизите уровень «цитирования» в математической логике, то это примерно то же, что и опустить единицу измерения — в результате вы можете получить нелепые результаты, типа «скорость света равна 299 792 458 метрам».

Альфред Тарский однажды попытался определить значение «истины», используя бесконечную последовательность предложений:

(«Снег — белый» — это истина) тогда и только тогда, когда (снег — белый)

(«Хорьки зелёные» — это истина) тогда и только тогда, когда (хорьки зелёные)

…

Когда предложения типа этих начнут выглядеть в ваших глазах осмысленными, вы начнёте различать закодированные утверждения и состояния окружающего мира.

Похожим образом, понятие истины весьма отличается от понятия реальности. Говоря «истина» мы сравниваем убеждение с реальностью. Но реальность не станет реальнее от того, что её сравнили с убеждением, ей вовсе не нужны никакие сравнения для того, чтобы быть реальной. Помните об этом, когда вам в следующий раз придётся услышать утверждение, что ничто не является истинным.

Перевод: kuuff

Ссылка на оригинал:

The Quotation is not the Referent

Номер в книге "Рациональность: от ИИ до зомби":

194

Оцените качество перевода:

Select ratingGive Цитата — не референт 1/5Give Цитата — не референт 2/5Give Цитата — не референт 3/5Give Цитата — не референт 4/5Give Цитата — не референт 5/5

Средняя оценка: 5 (3 votes)

Качественное замешательство

Элиезер Юдковский

Я полагаю, что основной причиной путаницы между «убеждением», «истиной» и «реальностью» является качественное мышление об убеждениях.

Давайте рассмотрим типичную постмодернистскую попытку поумничать:

«Солнце вращается вокруг Земли» — истина для Ханги Охотника-собирателя, но «Земля вращается вокруг Солнца» — истина для Эмары Астронома! Разные общества имеют разные истины!

Нет. Разные общества имеют разные убеждения. Убеждения имеют другой тип, нежели истина, это как сравнивать яблоки с вероятностями.

Ах, но ведь нет никакой разницы между тем, как ты используешь слово «убеждение» и как ты используешь слово «истина»! Вне зависимости от того, говоришь ли ты «я убеждён, что снег белый» или «снег белый — это истина», ты выражаешь одно и то же мнение.

Нет. Эти предложения означают довольно-таки разные вещи, они передают разницу в том, как я ”ощущаю” вероятность того, что мои убеждения — ложь.

О… Ты утверждаешь, что ты ощущаешь, но ты не веришь в это. Как сказал Витгенштейн, «если бы существовал глагол, означающий „ошибочно верить“, то он бы не имел никакого значащего первого лица, настоящего времени изъявительного наклонения».

И вот как раз то, что я имею в виду, разговаривая о качественном рассуждении как об источнике проблемы. Дихотомия между верой и неверием, будучи двоичной, похожа на дихотомию между истиной и неистиной, и это приводит к путанице.

Но давайте попробуем использовать количественное рассуждение. Предположим, что я присваиваю 70% вероятности утверждению, что снег — белый. Это означает, что я думаю, что есть около 70% вероятности того, что предложение «снег белый» окажется истиной. Если это предложение — истина, является ли истиной моё присвоение 70% вероятности этому предложению? Оно более истинно, чем было бы, если бы я присвоил 60% вероятности, но не столь истинно, как если бы я присвоил 80%.

Говоря о соответствии между присвоением вероятности и реальностью, будет лучше использовать слово «точность» вместо слова «истина». «Точность» звучит более количественно, как стреляющий лучник: как близко к центру цели попадёт присвоение вероятности.

Короче говоря(English), существует весьма натуральный способ оценить точность присвоения вероятности при сравнении с реальностью: достаточно взять логарифм вероятности, которая была присвоена действительному положению дел.

Таким образом, если снег — белый, то моё убеждение «70%: снег белый» будет оценено как −0,51 бит: log2(0,7) = −0,51.

Но что, если снег не белый, если я присвоил действительному положению дел 30% вероятности? Если «снег белый» — ложь, моё убеждение «30%: снег не белый» даст −1,73 бита. Отметьте: -0,51 > −1,73, то есть в этом случае моё предсказание хуже.

Как оценить точность моих убеждений? Мои ожидания можно оценить как 70% * −0,51 + 30% * −1,73 = −0,88 бит. Если снег белый, то мои убеждения окажутся более точными, чем я ожидал. Если снег не белый, то мои убеждения окажутся менее точными, но, в любом случае, мои убеждения не будут иметь такую же точность, как я ожидал в среднем.

И это ни в коем случае не стоит путать с выражением «я назначаю 70% убеждённости утверждению, что снег белый». Я могу быть убеждён, что это утверждение верно с вероятностью ~1, то есть я не сомневаюсь в этом, это факт о моей вере. И, таким образом, я буду ожидать, что моё мета-убеждение «~1: «я назначаю 70% убеждённости, что снег белый» получит ~0 бит точности, что фактически так и есть.

То, что я не уверен в цвете снега, не означает, что я не уверен в моих цитированных вероятностных убеждениях. Снег где-то там, а мои убеждения в моей голове. Я могу быть заметно менее не уверен в том, насколько я не уверен в цвете снега, чем я не уверен в цвете снега. (В то же время убеждения об убеждениях не всегда точны.)

Сравните эту вероятностную ситуацию с качественным рассуждением, в котором я просто верил, что снег белый, и верил, что я верю, что снег белый, и верил, что «снег белый — истина», и верил, что «моё убеждение, что „снег белый — истина“ — верно», и т.д. Поскольку все вовлечённые величины равны 1, их легко перепутать.

В то же время, вы можете легко упустить эти различия в качественном выводе, если начнёте думать «снег белый с вероятностью 70%» — истина», что является ошибкой типизации. Это истинный факт о вас, о том что вы верите в «70%: снег белый»; но это не означает, что присвоение вероятности является истинным. Вера наберёт либо −0,51, либо −1,73 бита точности, в зависимости от действительного положения дел в реальности.

Знатоки увидят в утверждении «снег белый с вероятностью 70%» — истина» ошибку мышления, выражающуюся в том, что вероятность находится в голове.

Изнутри наши убеждения о мире выглядят как мир, и наши убеждения о наших убеждениях — как наши убеждения. Когда вы смотрите на мир, вы ощущаете убеждение изнутри. Когда вы замечаете, что вы верите во что-то, вы ощущаете убеждение об убеждении. Таким образом, если ваши внутренние представления об убеждениях, и об убеждениях об убеждениях отличаются, то вы с меньшей вероятностью перепутаете их и ввалитесь в ошибку проецирования ума. Я надеюсь.

Когда вы думаете вероятностями, можно надеяться, что ваши убеждения и ваши убеждения о ваших убеждениях будут представляться достаточно различно, чтобы вы не путали убеждение и точность, или точность и реальность. Когда вы думаете вероятностями о мире, ваши убеждения будут представлены вероятностями ∈ (0, 1). В отличие от булевских значений утверждений, которые могут принимать значения {истина, ложь}. Точность же ваших вероятностных убеждений вы можете представлять числом из (−∞, 0). Ваши вероятности о ваших убеждениях будут, как правило, «впадать в крайности». А вещи при этом будут просто красными или синими, или весящими 20 фунтов, или ещё какими-нибудь.

Таким образом, у нас будет меньше возможности перепутать карту с территорией.

Различение типов может так же помочь нам помнить, что неопределённость — это состояние ума. Монетка не имеет врождённой неопределённости того, каким образом она приземлится. Монета — не процессор убеждений и не имеет частичной информации о себе. Мысля качественно, вы можете создать убеждение, которое прямо соответствует монетке, типа «монета всегда приземляется орлом». Это убеждение будет истиной или ложью в зависимости от монеты, и будет прозрачное соответствие от истинности или ложности убеждения к выпавшей стороне монеты.

Но, даже при качественном мышлении, сказать, что монета сама по себе является «истиной» или «ложью», будет серьёзной ошибкой типизации. Монета — не убеждение, она — монета. Территория — не карта.

Если монета не может быть истиной или ложью, может ли она присвоить себе 50% вероятности?

Перевод: kuuff

Ссылка на оригинал:

Qualitatively Confused

Номер в книге "Рациональность: от ИИ до зомби":

195

Оцените качество перевода:

Select ratingGive Качественное замешательство 1/5Give Качественное замешательство 2/5Give Качественное замешательство 3/5Give Качественное замешательство 4/5Give Качественное замешательство 5/5

Средняя оценка: 4.7 (6 votes)

Думай как реальность

Элиезер Юдковский

Всякий раз, когда я слышу, как кто-то описывает квантовую физику как «странную» — всякий раз, когда я слышу, как кто-то сетует на таинственное действие наблюдения на наблюдаемое, или дикое существование нелокальных корреляций, или неимоверную невозможность одновременного знания координат и импульса — я думаю про себя: «Этот человек никогда не поймет физику, независимо от того, сколько книг он прочтет».

Реальность была вокруг задолго до того, как ты появился. Не следует называть ее отвратительными именами вроде «дикая» или «неимоверная». Вселенная распространяла комплексные амплитуды сквозь пространство конфигураций за десять миллиардов лет до того, как жизнь вообще появилась на Земле. Квантовая физика не «странная». Это ты странный. Это у тебя появилась абсолютно дикая идея, что реальность должна состоять из маленьких, танцующих вокруг бильярдных шариков, когда по факту реальность — это совершенно нормальное облако комплексных амплитуд в конфигурационном пространстве. Это твоя проблема, а не реальности, и именно ты должен измениться.

Человеческая интуиция была выработана эволюцией, а эволюция это хак. Тот же оптимизационный процесс, который создал твою сетчатку задом наперед и затем подвел оптический кабель через твое поле зрения, спроектировал твою видеосистему для обработки скачущих вокруг персистентных объектов в 3-х мерном пространстве, потому что это то, чем можно выслеживать тигров. Но «тигры» — протекающие поверхностные обобщения — появились постепенно в процессе эволюции, и они не абсолютно похожи один на другого. Когда ты опускаешься до фундаментального уровня, уровня, законы которого стабильны, глобальны и не имеют исключений, на нем нет никаких тигров. Фактически там нет никаких персистентных объектов, скачущих в трехмерном пространстве. Смирись с этим.

Называние реальности «странной» держит тебя внутри точки зрения, ошибочность которой уже доказана. Теория вероятности говорит нам, что удивление — мера некачественности гипотезы; если модель стабильно глупая(English) — стабильно натыкается на события, которым присваивает крошечные вероятности — тогда пришло время выкинуть эту модель. Хорошая модель делает реальность выглядящей совершенно нормально, а не странно; хорошая модель присваивает высокие вероятности тому, что на самом деле имеет место быть. Интуиция — это еще одна модель с другим именем: плохая интуиция будет шокирована реальностью, хорошая интуиция делает реальность выглядящей нормально. Ты хочешь перестроить свою интуицию так, чтобы реальность выглядела нормальной. Ты хочешь думать, как реальность.

Это конечное состояние нельзя утвердить насильно. Бесполезно делать вид, что квантовая физика естественна для тебя, когда на самом деле ты чувствуешь, что она странная. Так ты лишь откажешься признавать, что ты запутался. Это не поможет тебе распутаться. Но это также помешает тебе думать: «Как дико!» Трата эмоциональных сил на недоверчивость расходует зря время, которое можно было бы употребить на обновление. Оно опять и опять отбрасывает тебя в объятия старой, неверной точки зрения. Оно кормит твое чувство справедливого негодования на реальность, осмелившуюся противоречить тебе.

Этот принцип применим и за границами квантовой физики. Ловил ли ты когда-нибудь себя на том, что говорил что-то вроде «Я не понимаю, как дипломированный физик может верить в астрологию?» Ну, если ты действительно не понимаешь, это показатель проблем в твоей модели человеческой психологии. А может, ты просто возмущён — и хочешь выразить сильное моральное неприятие. Но если ты действительно не понимаешь, тогда твое возмущение не дает тебе придти к согласию с реальностью. Не должно быть трудно вообразить, как получается так, что дипломированный физик верит в астрологию. Люди разграничивают, вот и всё.

Теперь я стараюсь не использовать выражение «Я совершенно не понимаю, как …» для выражения возмущения. Если я искренне не понимаю, как, то моя модель удивлена фактами, и я должен выкинуть ее и найти лучшую модель.

Удивление существует на карте, а не на территории. Не бывает удивляющих фактов, бывают только модели, удивляющиеся фактам. Как и фактов, называемых такими отвратительными эпитетами, как «дикий», «невероятный», «невообразимый», «неожиданный», «странный», «аномальный», «чудной». Когда ты обнаруживаешь искушение воспользоваться такими эпитетами, может быть мудрее проверить, на самом ли деле предполагаемые факты реальны. Но если факты проверены, тогда проблема не в фактах, проблема в тебе.

Перевод: Vag

Ссылка на оригинал:

Think Like Reality

Номер в книге "Рациональность: от ИИ до зомби":

196

Оцените качество перевода:

Select ratingGive Думай как реальность 1/5Give Думай как реальность 2/5Give Думай как реальность 3/5Give Думай как реальность 4/5Give Думай как реальность 5/5

Средняя оценка: 4.8 (13 votes)

Инверсия хаоса

Элиезер Юдковский

Недавно я беседовал с друзьями на тему продуктивности и поддержания силы воли — я всю жизнь борюсь с этой проблемой.

Я способен не убежать от сложной задачи в момент столкновения с ней (проявить настойчивость на протяжении нескольких секунд) и могу работать над одной и той же задачей годами. Но работать над одной и той же задачей несколько часов для меня чрезвычайно тяжело. Естественно, я уже прочёл бесчисленное множество советов на эту тему. Больше всего мне помогло осознание того, что значительная доля людей, занимающихся творческой деятельностью, сталкивается с той же проблемой и тоже не может с ней справиться, несмотря на все разумные советы.

«Что ты делаешь, когда не можешь работать?» — спросили меня друзья. (Я здесь воспроизвожу обсуждение не очень точно, это довольное вольное сокращение.)

Я ответил, что обычно листаю случайные сайты или смотрю короткое видео.

Они ответили: «Если ты знаешь, что некоторое время не сможешь работать, стоит посмотреть кино или заняться чем-нибудь ещё в этом духе».

«К сожалению», — ответил я, — «мне надо заниматься чем-то, что занимает короткие промежутки времени, вроде сёрфинга сайтов или просмотра видео. Ведь, возможно, мне снова захочется поработать, а я же не могу предсказать, когда…»

И тут я осёкся, потому что у меня внезапно открылись глаза.

Я всегда относился к своему рабочему процессу как к чему-то хаотическому, непредсказуемому. Я никогда не описывал его такими словами, но отношение было именно таким.

Однако вот мои друзья, кажется, подразумевают, — какая странная идея — что другие люди способны предсказывать, когда они смогут опять приступить к работе, и планировать своё время соответственно.

И до меня впервые дошло, что я, возможно, совершал эту чёртову многократно упомянутую ошибку проецирования ума. Не в каких-то абстрактных рассуждениях, а в своей повседневной жизни.

Возможно, это не моя способность работать необычайно хаотична, а я необычайно глуп в вопросе, как её прогнозировать.

Хаос. Кажется, что с чем-то трудно справиться, трудно понять, трудно догадаться, что будет дальше. Кажется, что с этим нельзя ничего сделать. Именно так выглядит глупость изнутри. И это не просто идиома для описания каких-нибудь абстрактных высот, вроде искусственного интеллекта. Это наблюдается и в повседневной жизни.

И, подозреваю, мы не рассматриваем альтернативную гипотезу «я глуп» не потому, что мы очень высокого мнения о себе. А потому что мы в принципе о себе не думаем. Мы просто видим окружающий нас хаос.

Итак, я осознал, что мои проблемы с продуктивностью, возможно, вызваны не хаосом, а моей собственной глупостью.

Это осознание может помочь, а может и нет. Определённо оно не решит проблему само по себе. Фраза «я невежественен» не делает тебя знающим.

Но, по крайней мере, появляется ещё один путь.

Перевод: sepremento, Alaric

Ссылка на оригинал:

Chaotic Inversion

Ссылка на оригинал на readthesequences.com:

Chaotic Inversion

Номер в книге "Рациональность: от ИИ до зомби":

197

Оцените качество перевода:

Select ratingGive Инверсия хаоса 1/5Give Инверсия хаоса 2/5Give Инверсия хаоса 3/5Give Инверсия хаоса 4/5Give Инверсия хаоса 5/5

Средняя оценка: 4.9 (12 votes)

Редукционизм

Элиезер Юдковский

Почти год назад, в апреле 2007, Мэтью C1 предложил следующую тему на Overcoming Bias:

«Как и почему царствующий в настоящее время философский гегемон (редукционный материализм) считается очевидно верным […], в то время как царствовавшие философские взгляды всех прошлых обществ и цивилизаций выглядят подозрительными…»

Я помню это, потому что взглянув на запрос и сочтя его уместным, я знал, что не смогу справиться с этой темой, до тех пор пока не начну цепочку Ошибка проецирования ума, но начинать её тогда было ещё рано…

Но теперь пришло время для этого вопроса. И хоть я ещё и не готов к «материализму», но мы можем начать с «редукционизма».

Во-первых, отмечу, что я действительно считаю, что редукционизм (в значении, которое я даю этому слову) действительно корректен; и пускай горят в аду все предыдущие цивилизации, которые несогласны.

Довольно сильное утверждение, не так ли? По-крайней мере первая его часть. Общая теория относительности хорошо поддерживается, и всё же, кто знает, но может быть физики будущего ниспровергнут её?

С другой стороны, мы никогда не вернёмся обратно к ньютоновской механике. Храповик науки вращается, но только в одном направлении. Бывали случаи в истории науки, когда теория получала удар или два, а затем возвращалась. Но когда теория получила столько стрел в грудь, сколько получила ньютоновская механика, то она останется мёртвой.

Вторая часть — «чёрт с тем, что думали прошлые цивилизации,» — тоже выглядит достаточно безопасной. Прошлые цивилизации верили во что-то, что было фальсифицировано и выкинуто на историческую свалку.

И редукционизм не столько позитивная гипотеза, сколько отсутствие веры — в частности, в форме ошибки проецирования ума.

Однажды мне пришлось столкнуться с человеком, который утверждал, что он служил артиллеристом ВМФ, и он говорил «Когда вы ведёте артиллерийский огонь, вам приходится высчитывать траектории согласно ньютоновской механике. Если вы высчитаете траектории используя теорию относительности, то вы получите неверный ответ».

И мы с ещё одним присутствующим человеком решительно ответили «Нет». Я добавил: «Быть может невозможно достаточно быстро рассчитать траектории согласно теории относительности — вы это имели в виду? Но релятивистский ответ всегда будет более точен, нежели ньютоновский».

«Нет,» — сказал он — «Я имею в виду, что теория относительности даст неверный ответ, потому что вещи, двигающиеся со скоростями артиллерийских снарядов, подчиняются ньютоновской механике, а не теории относительности».

«Будь это правдой,» — я ответил, — «вы могли бы опубликовать это в физическом журнале и получить Нобелевскую премию».

Стандартная физика использует одну и ту же фундаментальную теорию, чтобы описать и полёт Боинга 747, и столкновения частиц в релятивистском коллайдере тяжёлых ионов (RHIC). Согласно нашему пониманию, и ядра атомов, и самолёты подчиняются специальной теории относительности, квантовой механике и хромодинамике.

Но для изучения аэродинамики Боинга и столкновения ядер золота в RHIC используются совершенно разные модели. Компьютерное моделирование аэродинамики Боинга может не содержать ни единого символа, ни единого бита ОЗУ, который бы представлял кварк.

Так что же: Боинг сделан не из кварков? Нет, это мы всего лишь моделируем его, используя такие элементы представления, которые не могут быть сопоставлены с кварками Боинга один к одному. Карта — это не территория.

Почему бы не смоделировать Боинг, используя хромодинамическое представление? Потому что для получение ответа по такой модели потребуется тьмаллион лет. Кроме того, эта модель не поместится в память всех компьютеров мира вместе взятых (на 2008 год).

Как говорится «Карта — это не территория, но территорию нельзя сложить и убрать в бардачок». Иногда приходится пользоваться картой поменьше, лишь бы она помещалась в маленький бардачок. Но это никак не меняет территорию. Масштаб карты — это не свойство территории, это свойство карты.

Если было бы возможно построить и запустить хромодинамическую модель Боинга, то она бы давала точные предсказания. Более точные, чем аэродинамическая, на самом деле.

От точной модели Боинга, в принципе, не требуется, чтобы она содержала явные описания потока воздуха или высоты. Вовсе не обязательно выделять хотя бы один бит ОЗУ под положение крыльев. Возможно, в принципе, построить такую модель, которая не будет содержать ничего, кроме полей элементарных частиц и фундаментальных сил.

«Что?» — кричит антиредукционист, — «Вы говорите, что у Боинга в действительности нет крыльев? Но я же их вижу!».

И вот тут есть едва уловимая тонкость. Объект может иметь разные описания на разных уровнях, но дело не только в этом.

Дело в том, что фраза «имеет разные описания на разных уровнях» относится к Разговору о Картах, а не к Разговору о Территории.

Ни аэроплан, ни законы физики сами по себе не используют разные описания на разных уровнях, как думал тот артиллерист. Это мы, для нашего удобства, используем разные упрощённые модели на разных уровнях.

Чисто хромодинамическая модель, содержащая исключительно элементарные частицы и фундаментальные силы, будет содержать и все факты и о потоке воздуха, и о высоте, и о положении крыльев, но она будет содержать их неявно.

Глядя на эту модель и думая о модели, можно определить, где находятся крылья. Таким образом, получая явное представление о положении крыльев, мы получаем явный вычислительный объект в нейронном ОЗУ. В собственном уме.

На самом деле, можно вывести все типы явных описаний самолёта на различных уровнях и даже явные правила того, как модели разных уровней взаимодействуют друг с другом, чтобы выдавать совместные предсказания…

И алгоритм ощущается изнутри, как если бы самолёт был сделан из многих взаимодействующих между собой уровней.

Убеждение чувствуется изнутри таким образом, что вам кажется, что вы смотрите прямо на реальность. Когда же вам кажется, что вы смотрите на убеждение, в действительности вы ощущаете убеждение об убеждении.

Таким образом, когда ваш мозг одновременно верит явным описаниям со многих разных уровней и верит в явные правила перехода с одного уровня на другой, как в часть эффективной комбинированной модели, это ощущается как будто вы видите систему, которая сделана из разных уровней описания и их правил взаимосвязи.

Но это просто попытка вашего разума сжать объект, который он не может смоделировать на фундаментальном уровне. Самолёт слишком большой. Даже атом водорода будет слишком большим. Взаимодействия между кварками безумно взаимодействующи. Вы не можете справиться с истиной.

Но физика работает так, что, насколько мы видим, существует только один самый-самый базовый уровень — поля элементарных частиц и фундаментальные силы. Вы не можете справиться с сырой истиной, но реальность справляется с ней без всяких упрощений. (Я хотел бы знать, откуда Реальность получила такую вычислительную мощь.)

Законы физики не содержат различных дополнительных временных сущностей, которые соответствуют высоте или крыльям самолёта, но в разуме инженера содержатся различные дополнительные когнитивные сущности, которые соответствуют высоте и крыльям самолёта.

Таков, в моём понимании, тезис редукционизма. Редукционизм — не позитивная вера, а скорее неверие в то, что более высокие уровни упрощённой многоуровневой модели находятся снаружи, на территории. Понимая это на внутреннем уровне легко можно распутать вопрос «Как вы можете говорить, что самолёт в действительности не имеет крыльев, если я их вижу?». Достаточно обратить внимание на слова «в действительности» и «вижу.»

- 1. Речь об одном из пользователей Overcoming bias, коллективного блога, из которого вырос lesswrong.com. В оригинале «Matthew C». — Прим.перев.

Перевод: kuuff

Ссылка на оригинал:

Reductionism

Ссылка на оригинал на readthesequences.com:

Reductionism

Номер в книге "Рациональность: от ИИ до зомби":

198

Оцените качество перевода:

Select ratingGive Редукционизм 1/5Give Редукционизм 2/5Give Редукционизм 3/5Give Редукционизм 4/5Give Редукционизм 5/5

Средняя оценка: 4.7 (7 votes)

Объяснение и разобъяснение

Элиезер Юдковский

Поэма Ламия (Lamia) Джона Китса определённо заслуживает награды как Наиболее Знаменитая Раздражающая Поэзия:

…От прикосновенья

Холодной философии — виденья

Волшебные не распадутся ль в прах?

Дивились радуге на небесах

Когда-то все, а ныне — что нам в ней,

Разложенной на тысячу частей?

Подрезал разум ангела крыла,

Над тайнами линейка верх взяла,

Не стало гномов в копи заповедной —

И тенью Ламия растаяла бесследной.

пер. Сергей Сухарев

Мой обычный ответ на подобное заканчивается фразой: «Если мы не можем наслаждаться просто реальностью, то наши жизни действительно пусты». Но это я объясню завтра.

Сегодня же я хочу поговорить о другом. Взглянем на эти строки:

- гномы в копи

- радуги, разложенные на тысячи частей

Что вызывает из памяти несколько другие стихи:

Одна из этих вещей

Отличается от остальных,

Одна из этих вещей

Не к месту

Наука избавила рудники от гномов, но радуга всё ещё здесь.

Я писал ранее:

«Отслеживая назад причинно-следственную цепочку шаг за шагом, я выясняю, что моя вера в то, что на моих ногах надеты носки, полностью объясняется тем, что на моих ногах надеты носки… С другой стороны, если я вижу мираж озера в пустыне, то правильное причинное объяснение моего видения не будет включать в себя факт наличия настоящего озера в пустыне. В этом случае моя вера в существование озера не просто объясняется, но разобъясняется».

Радуга была объяснена. Гномы же были разобъяснены.

Я думаю, что в этом как раз кроется тонкость, которую антиредукционисты не улавливают в редукционизме.

Вы можете наблюдать эту ошибку в классическом возражении против редукционизма:

Если редукционизм верен, то даже ваша вера в редукционизм — в сущности, результат движения молекул. И зачем тогда я буду слушать, что вы говорите?

Ключевое слово — «в сущности». Оно подразумевает, что если я принимаю редукционизм, то он разобъяснит все процессы рассуждения, которые ведут к моему принятию редукционизма, тем же способом, каким разобъясняются оптические иллюзии.

Но, тем не менее, возможно объяснить, как работает когнитивный процесс, не являющийся «сущностью»! Моя вера в то, что на мне одеты носки — это, в сущности, результат того, что моя зрительная кора получает нервные импульсы от моей сетчатки, которая получает фотоны, отражённые от моих носков… Короче говоря, в соответствии с научным редукционизмом, моя вера в то, что на мне одеты носки — это сущий результат того факта, что на мне надеты носки.

Что должно происходить в голове антиредукциониста, чтобы он помещал бы радуги и веру-в-редукционизм в одну категорию с гномами?

Одновременно происходит несколько вещей. Но сейчас давайте рассмотрим мысль, изложенную вчера: ошибку проецирования ума — многоуровневой карты на одноуровневую территорию.

(То есть: вы не можете промоделировать Боинг 747 покварково, поэтому вы вынуждены использовать многоуровневую карту с явными когнитивными представлениями крыльев, потока воздуха и всего прочего.)

Я думаю, что когда физики говорят: «На фундаментальном уровне радуги не существует», — антиредукционисты слышат: «Радуги не существует».

Если вы не видите разницы между многоуровневой картой и одноуровневой территорией, и кто-то пытается объяснить вам, что радуга не является фундаментальным понятием физики, то принятие этого утверждение воспринимается как стирание радуги из вашей многоуровневой карты, что воспринимается как стирание радуг из мира.

Когда наука говорит: «Тигры — не элементарные частицы, они сделаны из кварков», — антиредукционист слышит это, как отрицание типа такого: «Мы заглянули в ваш гараж и не нашли там никакого дракона, только пустой воздух».

То, что учёные сделали с радугами и с гномами, видимо, ощущается как одно и то же для Китса.

Чтобы поддержать этот подтезис, я намеренно использовал в обсуждении поэмы Китса несколько фраз, которые подвержены ошибке проецирования ума. Если вы не заметили, то это неплохая иллюстрация тому, что подобные ошибки легко проходят незамеченными.

Например:

Наука избавила рудники от гномов, но радуга всё ещё здесь.

В действительности, Наука избавила модель от веры в гномов. Наука в действительности не трогала реальных крыльев Ангела и не уничтожала их холодным прикосновением истины. В действительности никогда не было никаких гномов.

Другой пример:

То, что учёные сделали с радугами и с гномами, видимо, ощущается как одно и то же для Китса.

Учёные ничего не делали с гномами, только с «гномами». Цитата — не референт.

Но если вы допускаете ошибку проецирования ума (и, по умолчанию, наши убеждения ощущаются как способ существования мира), то во время T=0 рудники (видимо) содержат гномов, во время T=1 учёные пляшут на сцене, а во время T=2 рудники (видимо) становятся пустыми. Ясно, что гномы когда-то были, но учёные их всех убили.

Плохой учёный! Никаких поэм для тебя, убийца гномов!

Этот процесс ощущается таким образом, если вы эмоционально привязаны к гномам, а учёный говорит, что не существует никаких гномов. Требуется сильный разум, глубокая честность и сознательное усилие, чтобы сказать в этот момент: «То, что может быть разрушено истиной, должно быть разрушено», и «Учёные не забрали гномов от меня, они забрали моё заблуждение», и «У меня не было исключительного права на мою веру в гномов, я не лишился ничего, чем я бы владел по праву», и «Если гномы существуют, то я хочу верить, что гномы существуют, если гномы не существуют, то я хочу верить, что гномы не существуют, я не буду цепляться за веру, которой не хочу» и все остальные вещи, которые рационалисты должны говорить себе в подобных случаях.

Но с радугами нет никакой необходимости для всего этого. Радуги всё ещё здесь!

Перевод: kuuff

Ссылка на оригинал:

Explaining vs. Explaining Away

Номер в книге "Рациональность: от ИИ до зомби":

199

Оцените качество перевода:

Select ratingGive Объяснение и разобъяснение 1/5Give Объяснение и разобъяснение 2/5Give Объяснение и разобъяснение 3/5Give Объяснение и разобъяснение 4/5Give Объяснение и разобъяснение 5/5

Средняя оценка: 4 (10 votes)

Лжередукционизм

Элиезер Юдковский

Дивились радуге на небесах

Когда-то все, а ныне — что нам в ней,

Разложенной на тысячу частей?

– Джон Китс, «Ламия»

пер. Сергей Сухарев

Я предполагаю – хоть это лишь предположение – что сам Китс не понимал принципов разложения радуги. Во всяком случае, понимал их не так, как Ньютон. Возможно, даже вообще не знал. Может быть, Китс просто прочитал где-то, что Ньютон объяснил радугу, сказав, что это «свет, отражённый от капель воды»…

…что на самом деле было известно ещё в XIII веке. Ньютон только уточнил объяснение, показав, что свет разбивается на цветные части, а не изменяет цвет. Радуга оказалась в заголовках новостей. И Китс с Чарльзом Лэмом, и Вильямом Вордсвордом, и Бэнджамином Хейдоном поднимали тост «За путаницу в память о Ньютоне», потому что «он разрушил поэзию радуги, редуцировав её в призму». Это одна из причин подозревать, что Китс не слишком глубоко понимал предмет.

Я предполагаю (хоть это лишь предположение), что Китс не мог показать на бумаге, как получается так, что радуга появляется только тогда, когда Солнце находится сзади, или почему радуга — дуга окружности.

Если так, то Китс имел лжеобъяснение. В данном случае — лжередукцию. Ему сказали, что радуга была редуцирована, но в модели мира Китса она не была редуцирована.

И это вторая тонкость, которую не улавливают антиредукционисты — разница между тем, чтобы озвучивать факт, что что-то редицируемо, и тем, чтобы понять это.

В этой ошибке антиредукционистов не стоит осуждать, поскольку это часть более общей проблемы.

Раннее я писал о том, что выглядит знанием, но им не является, и убеждениях, которые не о том, что в них говорится, но которые – записи для воспроизведения в классе, и словах, которые работают как семантические стоп-сигналы для любопытства, а не как ответы, и техноболтологии, которая лишь показывает принадлежность к литературному жанру «наука»…

Можно понять, откуда взялась радуга, или ставить эксперименты с призмами, чтобы подтвердить свойства радуги, или разбрызгивать воду, чтобы создать искусственную радугу.

И это сильно отличается от философа со строгим видом говорящего вам: «Нет, нет ничего особого в радугах. Вы не слышали? Учёные её разобъяснили. Что-то там происходит с дождевыми каплями или как-то так. Ничего удивительного».

Я думаю, что это отличие и приводит к тому, что за редукционизмом, как бы, тянется дьявольская смертельная экзистенциональная пустота.

Надо понимать, что «редукционизм» для антиредукционистов, вовсе не в том, что они на самом деле понимают как работает радуга, не в том, что они критично восклицают «Ага!», а в том, что им просто говорят, что загаданное слово — «наука». Эффект редукционизма для них сводится к тому, что радуга переходит в другой литературный жанр, в жанр, который их научили воспринимать как скучный.

Для них услышать слова «Наука объяснила радугу!» – повесить на радуге знак «Этот феномен помечен как СКУЧНЫЙ по приказу Совета Изощрённых Литературных Критиков. Не толпитесь. Проходите мимо».

И это всё, что говорит знак. Только это и ничего больше.

Таким образом, литературных критиков силой лишили гномов. Гномы не исчезли, благодаря озарению, но удалены по прямому приказу авторитета. Им не дано никакой красоты, которая могла бы заменить призраков или гномов, никакого подлинного понимания, которое могло бы быть интересно по-своему. Просто надпись, говорящая «Ха! Ты думал, что радуга красивая? Дурачок. Это часть литературного жанра науки, сухих и формальных непонятных слов».

Таким образом антиредукционисты воспринимают «редукционизм».

И… Не ругайте Китса, бедный парень, вероятно, не получил правильного воспитания.

Но он осмелился поднять тост «За путаницу в память о Ньютоне»?

Я предлагаю рационалистам тост «В память о путанице Китса». Аплодисменты.

Перевод: kuuff

Ссылка на оригинал:

Fake Reductionism

Ссылка на оригинал на readthesequences.com:

Fake Reductionism

Номер в книге "Рациональность: от ИИ до зомби":

200

Оцените качество перевода:

Table of Contents

Основы редукционизма

Распутывание вопроса

Неверные вопросы

Исправление неверного вопроса

Ошибка проецирования ума

Вероятность находится в голове

Цитата — не референт

Качественное замешательство

Думай как реальность

Инверсия хаоса

Редукционизм

Объяснение и разобъяснение

Лжередукционизм