Физикализм для продвинутых

Сможем ли мы хоть когда-нибудь понять, каково быть летучей мышью? Вероятно, традиционный дуализм, в рамках которого бессмертные души парят, нарушая законы физики, ложен. Однако что можно сказать по поводу более слабого тезиса о том, что сознание не объясняется физикой полностью? Множество философов и учёных посчитали привлекательными рассуждения в пользу этого тезиса. Если их аргументация нам кажется интуитивно притягательной, не должны ли мы принять их выводы и отказаться от физикализма?

Уж точно мы не должны отбрасывать их доводы, потому что они звучат странно или у нас появляется смутное ощущение, что они ненаучны. Однако задумаемся, как именно работают убеждения и объяснения. Что мы можем сказать об этом споре теперь? Можем ли мы найти какие-нибудь подсказки в истории науки или в нашем понимании, на каких физических механизмах основываются свидетельства?

Автор: 
Элиезер Юдковский

Рука или пальцы

Элиезер Юдковский

Вернёмся к нашей изначальной теме: Редукционизму и ошибке проецирования ума. Иногда люди считают, что классными могут быть лишь фундаментальные штуки, и тогда им сложно принять редукционизм на эмоциональном уровне. Но такая позиция лишит нас возможности наслаждаться чем-либо сложнее кварка, так что я предпочитаю отбросить её.

Напоминаю, что основной тезис редукционизма состоит в том, что хотя мы и используем многоуровневые модели для упрощения вычислений, физическая реальность состоит лишь из одного уровня.

Сегодня же я бы хотел предложить вам следующую загадку: Когда вы берёте стакан воды, его берёт ваша рука?

Большинство людей, конечно же, наивно ответят: «Да».

Однако недавно учёные совершили невероятное открытие. Оказывается, стакан держит вовсе не рука. На самом деле, его держат ваши пальцы и ладонь.

Да, я знаю, меня это тоже потрясло. Но оказалось, что когда учёные измерили силы, приложенные к стакану каждым из ваших пальцев и ладонью, то они не обнаружили никакой дополнительной силы. Таким образом, сила, прикладываемая вашей рукой, должна быть равна нулю.

Идея здесь в том, что когда вы можете увидеть (а не просто знать), как более высокий уровень редуцируется к более низкому, они не будут казаться вам отдельными местами на вашей карте. Вы сможете увидеть, насколько глупо думать, что пальцы могут быть отдельно от вашей руки. Вы сможете увидеть, насколько глупо спорить о том, берёт ли стакан ваша рука или же ваши пальцы.

Ключевое слово: «увидеть». Важна непосредственная визуализация. Когда вы представляете руку, вы также представляете и пальцы, и ладонь. И наоборот, представив ладонь и пальцы, вы поймёте, что это рука. Таким образом, высокий и низкий уровни вашей карты внутри вашего разума окажутся тесно связаны.

В реальности, конечно же, эти уровни связаны ещё теснее — самым тесным из возможных способов: физической идентичностью. Это можно увидеть. Вы можете увидеть, что слова (1) «рука» или же (2) «пальцы и ладонь» относятся не к различным объектам, а всего лишь к различным точкам зрения.

Но представим, что вам не хватает знаний, чтобы настолько тесно связать уровни вашей карты. Например, предположим, у вас был бы «детектор руки», который отображал бы «руку» как точку на карте (как на старых дисплеях радаров), и аналогичные детекторы для пальцев и ладони. Тогда бы вы видели множество точек вокруг руки, но вы могли бы представить, как точка-рука передвигается отдельно от остальных. Таким образом, несмотря на то, что физическая реальность руки (того, чему соответствует точка) идентична/строго состоит из физических реальностей пальцев и ладони, вы бы не смогли увидеть этот факт. Даже если бы кто-то сказал вам, или же если бы вы сами догадались, глядя на совпадение в расположении точек, вы бы только знали о факте редукции, но не могли бы его увидеть. Вы все ещё могли бы представить как точка-рука двигается отдельно, хотя это было бы физически невозможным, при условии, что физическое устройство детекторов остаётся неизменным.

Или же, на ещё более низком уровне связности, люди могли бы просто сказать вам «Вон там рука, а вон там пальцы». И у вас было бы информации не больше, чем у старомодного ИИ, воспринимающего ситуацию, используя лисп-токены с говорящими названиями. Не было бы никакого очевидного противоречия в допущении:

⊢Внутри(Комната,Рука)
⊢~Внутри(Комната,Пальцы)

Потому что вы бы не обладали знанием, что:

⊢Внутри(x, Рука) ⇒ Внутри(x,Пальцы)

Из этого не следует, что рука на самом деле может отсоединиться от пальцев и подобно призраку красться по комнате. Просто у старомодного ИИ с таким устройством нет возможности это понять. Карта — это не территория

В частности, не следует делать слишком много выводов из того, что выглядит умозрительно возможным, ведь разум отдельного воспринимающего субъекта может отделить руку от составляющих её элементов: пальцев и ладони. Умозрительная возможность это не то же самое, что логическая и уж тем более физическая возможность. Вероятно, вы считаете умозрительно возможным, что 235757 — простое число, потому что вы не знаете наверняка. Но логически невозможно, чтобы 235757 было простым числом. Будь вы логически всеведущими, то для вас было бы очевидным, что 235757 составное (и вы бы знали его множители). Вот почему мы используем понятие «невозможных возможных миров»: чтобы рассуждать о вероятностных распределениях по высказываниям, которые на самом деле могут быть или не быть логически возможными.

И легко вообразить философов, критикующих «элиминативных пальцеристов», которые противоречат непосредственному факту личного опыта. Мы ведь можем чувствовать, что наша рука держит стакан. Таким образом, допущение, что «руки» на самом деле не существуют, должно очевидно привести к тому, что стакан упадёт и разобьётся. Также легко вообразить философов, предполагающих существование «межпальцевых связывающих законов», чтобы объяснить, как специфическая конфигурация пальцев порождает существование руки — с дополнением, разумеется, что хотя наш мир и включает в себя эти конкретные «связывающие законы», умозрительно они могли бы быть другими и, таким образом, не являются ни в коем смысле обязательными фактами, и так далее.

Всё это случаи ошибки проецирования ума, и то, что я называю «наивным философским реализмом» — озадаченность философской интуиции касательно прямой, проверяемой информации о реальности. Ваша неспособность представить что-то — всего лишь вычислительный факт о том, что ваш мозг может и не может представить. Другой мозг может работать иначе.

Перевод: 
Горилла В Пиджаке
Номер в книге "Рациональность: от ИИ до зомби": 
214
Оцените качество перевода: 
Средняя оценка: 3.1 (16 votes)

Злые атомы

Элиезер Юдковский

Фундаментальная физика — кварки и всё такое — очень далека от тех уровней, который мы можем увидеть, вроде рук и пальцев. В лучшем случае, вы знаете, как повторить эксперименты, показывающие, что ваша рука (как и всё остальное) состоит из кварков, и знаете, как вывести несколько уравнений, описывающих атомы, электронные облака, молекулы и прочие подобные штуки.

В худшем случае, существование кварков внутри вашей руки — это какое-то утверждение, которое вам сказали. В таком случае встаёт вопрос, в каком смысле вы вообще можете сказать, что «знаете» об этом, пусть даже вы используете то же слово «кварк», которое использовал бы физик, чтобы передать знание другому физику.

В любом случае, вы не можете действительно увидеть общность между уровнями — ни у кого нет настолько большого мозга, чтобы представить несколько чисел Авогадро кварков и заметить, как они складываются в руку.

Но мы, по крайней мере, понимаем, что руки делают. Руки могут давить на объекты, прикладывая к ним силу. Когда нам рассказывают об атомах, мы представляем маленькие бильярдные шары, стукающиеся друг о друга. Кажется очевидным, что «атомы» тоже могут толкать объекты, врезаясь в них.

Подобное представление об атомах не вполне корректно. Однако человеческое воображение позволяет относительно просто представить, что наша рука сделана из маленькой галактики кружащих бильярдных шариков, давящих на вещи, когда наши «пальцы» касаются их. Демокрит представил это 2400 лет назад, и какое-то время (примерно в 1803-1922 годах) Наука считала, что он был прав.

Но как насчёт, например, злости?

Как маленькие бильярдные шарики могут злиться? На бильярдных шарах появляются маленькие хмурые лица?

Представьте себя на месте охотника-собирателя — кого-то, кто даже не имеет представления о письме, не говоря уже о том, чтобы использовать материю для вычислений, кого-то, кто не имеет не малейшего понятия, что существует такая штука, как нейроны. Тогда вы сможете представить функциональный разрыв, который ваши предки могли видеть между маленькими бильярдными шарами и «Гррр! Аргхх!»

Забудьте на минуту о субъективном опыте и подумайте о разрыве между злостью и бильярдными шарами на уровне поведения. О разнице между тем, что делают бильярдные шарики и что заставляет делать людей злость. Злость может заставить человека поднять кулак и ударить кого-то, или говорить подлости за спиной, или подкинуть ночью скорпионов в чью-то палатку. А бильярдные шарики просто толкают предметы.

Попробуйте поставить себя на место охотника-собирателя, который никогда не испытывал «Ага!» от обработки информации. Постарайтесь избегать предвзятости послезнания насчёт таких вещей как нейроны и компьютеры. Только тогда вы сможете увидеть эту непреодолимую для объяснений пропасть.

Как можно объяснить злое поведение при помощи бильярдных шаров?

Ну, очевидное материалистическое предположение заключается в том, что маленькие бильярдные шарики толкают вашу руку и заставляют ударить кого-то, или же толкают ваш язык, чтобы получилось оскорбление.

Но откуда бильярдные шарики знают, как это делать — в смысле, как заставить ваш язык или пальцы следовать длительному плану, — если сами они не злятся?

И к тому же, если вы не увлеклись — о, боже! — сциентизмом, вы и сами благодаря своим ощущениям поймёте, что это объяснение очевидно ложно. Атомы могут толкать вашу руку, но они не могут заставить вас чего бы то ни было хотеть.

Кто-нибудь заметит, что вас может разозлить употребление вина. Но кто сказал, что вино состоит исключительно из бильярдных шариков? Может быть, в вине просто содержится эссенция злости?

Очевидно, что редукционизм — это ошибочная концепция.

(Ученик в отчаянии восклицает: «Искусство подвело меня». Мастер в отчаянии восклицает: «Я подвёл своё искусство».)

Что нужно, чтобы преодолеть этот разрыв? Не достаточно просто идеи «нейронов», «обрабатывающих информацию». Если вы скажете лишь эти слова и ничего более, в вашей модели лишь появится магическое, необъяснимым образом соединяющее уровни правило, благодаря которому вы переходите от шариков к мыслям.

Однако настоящий шаг по преодолению этого разрыва проделал разработчик искусственного интеллекта, который знает, как создать программу, играющую в шахматы. Если вы понимаете такие концепции как консеквенциализм, обратная цепочка рассуждений, функции полезности и деревья поиска, вы можете заставить планировать механическую (основанную исключительно на причинно-следственных связях) систему.

Делается это так. Для каждого возможного хода в шахматах, вычислите возможные ходы своего противника, затем свой ответ на эти ходы и так далее. Оцените позицию, получившуюся в результате самого далёкого хода, до которого вы в состоянии досчитать, с помощью какого-нибудь простого алгоритма (можно просто подсчитать материал1). Затем вернитесь назад и с помощью минимакса найдите лучший возможный ход для текущей позиции. Сделайте этот ход.

В более общем случае: если у вас в разуме есть цепочки причинно-следственной связи, в какой-то степени являющиеся отображением — зеркалом, эхом — действительности, то вы можете посчитать функцию полезности от исходов, которые предоставляет вам ваше воображение, выбрать действие, которое приведёт к исходу, полезность которого высока, и совершить это действие. Цепочки причинно-следственной связи в вашем разуме, соответствующие внешнему миру, не обязаны быть сделаны из бильярдных шариков, вокруг которых есть маленькие ауры намерений. Deep Blue будет работать и без изображений маленьких шахматных фигурок на его транзисторах. Также читайте эссе «Простая истина».

Эти рассуждения всё равно являются очень сильными упрощениями, но по крайней мере они должны сократить разрыв. Если вы всё это понимаете, вы видите, как состоящий из материи планировщик под воздействием алкоголя может выдавать более злое поведение. Бильярдные шарики алкоголя толкают бильярдные шарики, составляющие функцию полезности.

Но даже если вы знаете, как написать небольшие ИИ, вы не можете представить общность уровней между транзисторами и шахматами. Транзисторов слишком много, возможных ходов в шахматах — тоже.

Аналогично, даже если бы вы знали всё о неврологии, вы не смогли бы представить переход от уровня нейронов к уровню злости — не говоря уже о переходе от атомов к злости. Нельзя это увидеть в той же степени, в какой вы способны увидеть руку, состоящую из пальцев и ладони.

Представьте, что учёный-когнитивист заявляет: «Злость — это гормоны». Даже если вы повторите эти же слова, это не значит, что вы преодолели разрыв между уровнями. Вы можете верить в то, что вы в это верите, но это не то же самое, что понять, какое отношение бильярдные шарики имеют к тому, чтобы хотеть кого-то ударить.

В результате, вы приходите к таким интерпретациям как: «Злость это всего лишь гормоны, она вызывается маленькими молекулами, поэтому её нельзя оправдать в каком-либо моральном смысле. И поэтому нужно учиться контролировать свою злость».

Или же: «На самом деле не существует такой вещи как злость — это иллюзия, цитата без референта, вроде миража воды в пустыне или поисков дракона в гараже, которого там нет».

Эти интерпретации — горькие пилюли (впрочем, вы не обязаны их глотать), и поэтому куда легче их провозглашать, чем верить в них по-настоящему.

Мне кажется, это то, что не-редукционисты/не-материалисты думают, что критикуют, когда критикуют материалистов-редукционистов.

Но материализм не настолько прост. Он не сводится к заявлению: «Злость состоит из атомов, вот и всё, вопрос решён». Такое заявление не объяснит, как дойти от бильярдных шариков до драки между людьми. Чтобы начать преодолевать разрыв между уровнями, нужно вникнуть в теорию вычислений, консеквенциализм и деревья поиска.

А по современным стандартам это был ещё довольно простой пример, потому что я специально ограничился вопросом лишь злого поведения. Разговор о поведении не требует понимания того, как алгоритм выглядит изнутри (не нужно преодолеть разрыв между взглядом от первого и от третьего лица) или же умения разрешать неверные вопросы (не нужно распутать места, где ваш собственный разум неверно отражает реальность).

Переход от материальных сущностей, которые гнут и ломают, жгут и роняют, толкают и пихаются, к злому поведению — всего лишь практическая задача для современной философии. Но это очень важная практическая задача. Её можно всецело оценить, лишь когда вы поймёте, насколько сложно её было решить до того, как была изобретена письменность. Когда-то и здесь был разрыв в понимании — хотя сейчас, когда этот разрыв давно и успешно закрыт, в ретроспективе он может быть и незаметен.

Преодолеть разрыв в понимании можно, если принять помощь от науки и не доверять взгляду изнутри, порождённому вашим разумом.

  • 1. Общую стоимость фигур и пешек каждой стороны. — Прим.перев.
Перевод: 
Горилла В Пиджаке, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
215
Оцените качество перевода: 
Средняя оценка: 5 (4 votes)

Тепло или движение

Элиезер Юдковский

Завершив предыдущее эссе, я понял, что существует куда более простой пример, как редукционизм преодолевает разрыв между двумя вроде бы разными сущностями: редукция тепла к движению.

Сегодня, задним числом, эквивалентность тепла и движения многим кажется совершенно очевидной. Раз уж все говорят, что «тепло — это движение», то это убеждение не может быть «странным».

Но когда-то кинетическая теория тепла была крайне спорной научной гипотезой. В научном мире господствовали убеждения о теплороде, невесомом веществе, перетекающем из горячих объектов в холодные. А до того основной теорией тепла было: «потому что флогистон

Представьте, что вы изучили кинетическую теорию и теорию теплорода совершенно независимо. Теперь вы знаете кое-что о движении: столкновение, упругий отскок, импульс, кинетическая энергия, гравитация, инерция, траектория свободного движения. Также, без какой-либо связи с предыдущим, вы знаете кое-что о тепле: температура, давление, горение, тепловые потоки, двигатели, таяние, испарение.

Такое состояние знаний не просто возможно. Примерно такие знания были у Сади Карно, который, исходя исключительно из теории теплорода, придумал идею цикла Карно — тепловой машины максимально возможной эффективности, из существования которой следует второй закон термодинамики. И это в 1824 году, когда кинетика была уже высокоразвитой наукой.

Представьте, что, как и Карно, вы знаете многое о движении и знаете многое о тепле, но для вас это разные сущности. Для вас это разные части знания — в вашем мозге есть отдельные корзины для убеждений о движении и для убеждений о тепле. Но изнутри при таком состоянии кажется, будто в окружающем мире есть движущиеся объекты и горячие объекты, будто в окружающем мире движение и тепло — независимые свойства материи.

И вдруг к вам является физик из будущего и говорит: «Где тепло, там и движение, и наоборот. Вот почему, например, два предмета нагреваются при трении друг о друга».

Есть (как минимум) две возможные интерпретации утверждения: «Где тепло, там и движение, и наоборот».

Во-первых, вы можете предположить, что движение и тепло существуют отдельно друг от друга. Что теория теплорода верна, однако среди законов нашей вселенной существует «связывающий закон», согласно которому, когда объекты быстро двигаются, возникает теплород. И наоборот, другой связывающий закон утверждает, что теплород может давить на объекты и заставлять их двигаться, и именно поэтому горячий газ оказывает больше давления на своё окружение (таким образом, позволяя паровой машине использовать пар, чтобы двигать поршень).

Во-вторых, вы можете предположить, что тепло и движение в некотором, хотя и пока ещё таинственном смысле, — это буквально одно и то же.

«Бессмыслица», — скажет Первый Мыслитель, — «у слов „тепло“ и „движение“ — разные значения. Поэтому мы и используем два разных слова. Мы знаем, как определить, стоит ли рассуждать о наблюдаемом явлении как о «тепле»: тепло может плавить объекты или воспламенять их. Мы знаем, как определить, что объект „быстро двигается“: он меняет своё положение в пространстве, и когда он столкнётся с препятствием, он может треснуть или деформироваться. Тепло имеет отношение к изменению вещества, движение же — к изменению местоположения и формы. Утверждать, что эти два слова имеют одно и то же значение, значит, банально вводить себя в заблуждение».

«Невозможно», — скажет Второй Мыслитель. — «Не исключено, что в нашем мире тепло и движение связывают какие-то законы, в смысле, существуют законы физики, согласно которым движение создаёт тепло и наоборот. Но я легко могу вообразить мир, где трение не нагревает предметы, а газы при высоких температурах не создают больше давления. И раз существуют возможные миры, где тепло и движение не связаны, то тепло и движение должны быть разными свойствами — это истинно априори».

Первый Мыслитель путает цитату и референт. 2 + 2 = 4, но «2 + 2» ≠ «4». Строка «2 + 2» содержит пять символов (включая пробелы), а строка «4» содержит лишь один. Если ввести обе строки в интерпретатор языка Python, они выведут один и тот же результат >>> 4. Таким образом, если вы видите строки «2 + 2» и «4», нельзя заключить, что из различия этих строк следует, что они должны иметь различное «значение» согласно интерпретатору Python.

Можно сказать, что слова «тепло» и «кинетическая энергия» «указывают на» одно и то же явление, даже если мы пока не знаем, как именно тепло сводится к движению. В смысле, пусть мы не знаем, какие именно объекты находятся по ссылкам, но это совпадающие объекты. Можете вообразить идеальный всеведущий интерпретатор науки, который выведет один и тот же результат, когда мы вводим в командную строку «тепло» и «кинетическая энергия».

Я использую метафору интерпретатора науки, чтобы акцентировать внимание на том, что для разыменовывания указателя приходится выйти за пределы мышления. Конечным результатом разыменовывания является нечто, находящееся в реальности, не в чьём-либо уме. Так можно сказать «настоящий референт», но нельзя непосредственно вычислить значение этих слов изнутри собственной головы. Нельзя мыслить, используя настоящий референт тепла. Если бы вы размышляли, используя настоящее тепло, то мысль «один миллион Кельвинов» тут же испарила бы ваш мозг. Однако, формируя убеждение о своём убеждении о тепле, вы можете рассуждать о вашем убеждении о тепле, и делать утверждения вида: «Возможно, что мое убеждение о тепле не слишком соответствует настоящему теплу». Вы не можете по-настоящему сравнить своё убеждение о тепле и настоящее тепло внутри своего разума, но вы можете рассуждать об этом сравнении.

Таким образом, вы можете сказать: «Мои убеждения о тепле и движении — это разные убеждения, но, возможно, что настоящие тепло и движение — это одно и то же явление». Приведу аналогию: можно додуматься до идеи, что «утренняя звезда» и «вечерняя звезда», вероятно, одна и та же планета, и при этом понимать, что нельзя это определить точно, лишь анализируя свои убеждения, — вам потребуется найти телескоп.

Аналогично можно разобрать ошибку Второго Мыслителя. Физик сказал ему: «Где тепло, там и движение», и мыслитель воспринял это утверждение как физический закон: «наличие теплорода порождает движение». Физик же на самом деле подразумевал что-то похожее на дедуктивное правило: «если вам говорят, что где-то есть „тепло“, автоматически выводите наличие там „движения“ ».

Из подобной проекции многоуровневой модели на многоуровневую реальность вытекает ещё одна, отдельная ошибка: неспособность отделить умозрительную возможность от логической. Сади Карно мог допустить существование другого мира, где тепло и движение не связаны друг с другом. Для Ричарда Фейнмана, точно знающего, как из уравнений движения выводятся уравнения тепла, такая идея не просто невообразима, но и настолько внутренне противоречива, что попытка её представить может взорвать мозг.

Отдам должное философам — некоторые из них упоминали подобные проблемы. Например, Хилари Патнэм, автор мысленного эксперимента «Земля-Близнец», писал12:

Как только мы открыли, что вода (в действительном мире) есть H2O, ни один мир, где вода не есть H2O, не может рассматриваться как возможный. В частности, если «логически возможное» утверждение — это утверждение, истинное в некотором «логически возможном мире», то утверждение «вода не есть H2O» не является логически возможным.

С другой стороны, вполне можно представить себе, что опыт убедит нас (и придаст рациональный характер нашей вере в то), что вода не есть H2O. В этом смысле мыслимо, что вода не есть H2O. Мыслимо, но не логически возможно! Быть мыслимым не значит быть логически возможным.

Мне кажется, что слово «вода» в этих двух параграфах используется в разных смыслах — в одном случае «вода» относится к данным, которые мы вводим в интерпретатор науки, а в другом «вода» относится к тому, что мы получим из интерпретатора науки, введя туда слово «вода». В первом параграфе, Хилари, как я понимаю, утверждает, что после того, как были произведены эксперименты и обнаружено, что вода это H2O, вода немедленно переопределяется так, чтобы и означать буквально H2O. Но вы могли бы непротиворечиво поддерживаться иной позиции касательно того, означает ли слово «вода» «H2O» или же «то, что на самом деле находится в этой бутылке», до тех пор пока вы используете свои определения последовательно.

Полагаю, вышенаписанное тоже уже неоднократно повторялось? Так или иначе…

Вполне вероятно, что если в мире существует некая единая сущность, которая принимает достаточно различные формы, а вы при этом недостаточно разбираетесь в редукции, то вам будет казаться, что в мире присутствуют две разных сущности. Знания, относящиеся к этим двум разным явлениям, вероятно, отнесут к разным учебным дисциплинам и их будут изучать два разных научных направления, расположенные в разных зданиях вашего университета.

Чтобы вспомнить, насколько разными когда-то казались тепло и движение, приходится настраиваться на соответствующий исторический контекст. Не исключено, что есть способ легче — в зависимости от того, сколько вы уже знаете, — если вы в состоянии игнорировать давление привычного (например, фраза «тепло — это движение» сейчас звучит не странно, а «тепло — это не движение» — странно). В смысле предположим, что завтра физики объявят: «В популярных книгах о науке всегда было одно ложное утверждение. На самом деле тепло не имеет ничего общего с движением». Смогли бы вы доказать, что они неправы?

Сказать: «Возможно, тепло и движение — это одно и то же!» — легко. Сложно — объяснить, как это. Нужно очень много знаний, чтобы дойти до того уровня, когда вы уже не сможете представить мир, в котором эти два явления могут существовать по отдельности. Редукция не дёшева, и потому она даёт столь многое.

Или, возможно, стоит переформулировать так: «Редукционизм — это легко, редукция — вот что сложно». Но весьма помогает быть редукционистом, когда дело доходит до поиска редукции.

  • 1. Hilary Putnam, “The Meaning of Meaning,” in The Twin Earth Chronicles, ed. Andrew Pessin and Sanford Goldberg (M. E. Sharpe, Inc., 1996), 3–52.
  • 2. Русский перевод цитируется по изданию Патнэм Х. «Философия сознания» — М.: Дом интеллектуальной книги, 1999, перевод Макеевой Л. Б., Назаровой О. А., Никифорова А. Л. — Прим.перев.
Перевод: 
Горилла В Пиджаке, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
216
Оцените качество перевода: 
Средняя оценка: 4.5 (4 votes)

Прорыв в исследованиях мозга! Он состоит из нейронов!

Элиезер Юдковский

Удивительный научный прорыв! Международная группа учёных под руководством нобелевского лауреата Сантьяго Рамона-и-Кахаля объявила, что мозг представляет собой поразительно сложную сеть крохотных клеток, соединённых друг с другом очень маленькими нитями и ответвлениями.

Международная группа, в которую также входят знаменитый механик Антони ван Левенгук, и, вероятно, Имхотеп, ставший богом медицины в Египте, выпустила заявление:

«Наше открытие стало итогом многолетних исследований, показавших, что мягкая штуковина с извилинами, которая находится внутри наших черепов, даже сложнее, чем кажется на первый взгляд. Благодаря применению Кахалем новой техники окрашивания, разработанной Камилло Гольджи, мы теперь понимаем, что мозг — это не непрерывная сеть вроде кровеносной системы. На самом деле он состоит из множества крошечных клеток или „нейронов“, связанных друг с другом тончайшими нитями.

Другие многочисленные свидетельства, начиная от исследований греческого врача Алкмеона Кротонского и, в частности, работы Поля Брока о нарушениях речи, показывают, что мозг является вместилищем разума.

Немезий, епископ Емесский, ранее утверждал, что ткани мозга — слишком мирские, чтобы служить посредником между телом и душой, и потому органы мышления расположены в желудочках мозга. Однако, если это верно, то непонятно, почему у этого органа появилась столь невыразимо сложная внутренняя структура.

Чарльз Бэббидж независимо от других исследователей предположил, что из множества малых механических устройств можно собрать „Аналитическую машину“, способную к таким видам деятельности, которые, согласно распространённому мнению, требуют работы мысли, — например, арифметике. Работы Луиджи Гальвани и Германа фон Гельмгольца показывают, что взаимодействие нейронов имеет электрохимическую природу, а не механическую, как считалось ранее. Тем не менее, на основании аналогии с „Аналитической машиной“ Бэббиджа мы считаем, что очень сложная сеть нейронов может демонстрировать схожие мыслительные свойства.

Там, где должен быть расположен разум, мы обнаружили чрезвычайно сложную материальную систему. Мы полагаем, что наши исследования являются сильным экспериментальным свидетельством в пользу того, что Бенедикт Спиноза был прав, а Рене Декарт ошибался. Разум и тело имеют общую природу.

В сочетании с работами Чарльза Дарвина, которые показывают, как в принципе такой орган мог возникнуть в результате процессов, которые сами по себе неразумны, основная масса научных свидетельств указывает на то, что разум не является онтологически фундаментальной сущностью и что он появился в некоторый момент времени. Этот вывод всерьёз противоречит теориям, которые утверждают онтологическую фундаментальность разумных сущностей или объявляют их первопричиной. В частности он противоречит всем существующим на данный момент религиям.

Потребуется значительная работа, чтобы определить, как именно связаны электрохимическое взаимодействие между нейронами и мысль. Тем не менее, мы уверены, что наше открытие позволяет считать, что наука в будущем сможет полностью описать, как устроена мысль. Да, эта задача не решена, но её можно решить».

К сожалению, Рамон-и-Кахаль и большинство других исследователей, участвовавших в Проекте, более недоступны для комментариев.

Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
217
Оцените качество перевода: 
Средняя оценка: 4.5 (10 votes)

Когда антропоморфизм стал глупым

Элиезер Юдковский

Оказывается, большинство вещей во вселенной неразумны.

Это утверждение вызвало бы недоверие во множестве ранних культур. В те времена был распространён анимизм: вера в то, что деревья, камни, реки и холмы — всё имеет души, потому что, а почему бы собственно и нет?

Если эти куски плоти, называемые людьми, способны мыслить, то почему то же самое не могут делать и куски дерева?

Мои мышцы двигаются согласно моей воле, а вода течет по реке. Кто может утверждать, что река не повелевает движением воды? Река вытекает из берегов и затапливает место стоянки моего племени. Почему бы не предположить, что река разозлилась, раз она направила часть себя, чтобы навредить нам? Ведь именно это мы подумаем, когда чей-то кулак ударит в наш нос.

Нет никакой очевидной (для охотника-собирателя) причины, почему это невозможно. Это может показаться глупой ошибкой, только если путать глупость со странностью. Естественно, убеждение, что у рек есть духи, кажется нам «странным», ведь в нашем племени нет таких убеждений. Но нет ничего очевидно глупого в том, чтобы считать, что в движущейся воде есть духи, как и в движущихся кусках плоти.

Если бы эта идея была очевидно глупой, никто бы в неё и не поверил. Как, например, долгое время никто не верил в очевидно глупую идею, будто бы Земля движется, хотя всё выглядит так, будто она совершенно неподвижна.

Разве это так уж очевидно, что деревья не могут мыслить? Не будем забывать, что деревья вообще-то наши дальние родственники. У нас есть общий предок с папоротником, надо просто отойти подальше в прошлое, чтобы его найти. Если куски плоти могут мыслить, то почему не могут куски дерева?

Чтобы было очевидным, что древесина не может мыслить, нужно принадлежать к культуре, у которой есть микроскопы. Причём хорошие микроскопы.

Аристотель считал, что мозг — это орган для охлаждения крови. (Хорошо, что наши убеждения о работе нашего мозга практически не влияют на его работу).

Египтяне выкидывали мозг в процессе мумификации.

Вместилищем интеллекта мозг назвал Алкмеон Кротонский, пифагореец пятого века до нашей эры. Он отследил путь оптического нерва от глаза к мозгу. Но при тех свидетельствах, которыми он располагал, это была всего лишь догадка.

Когда центральная роль мозга перестала быть лишь догадкой? Я не знаю историю достаточно хорошо, чтобы ответить на этот вопрос. Вероятно, даже нельзя выделить какую-то ключевую точку. Быть может, стоит объявить ей тот миг, когда кто-то проследил анатомию нервов и заметил, что отделение их от мозга приводит к потере способности двигаться и чувствовать?

Но даже в этом случае причиной остаётся лишь таинственный дух, движущийся по нервам. Кто может утверждать, что древесина и вода, пусть даже они и не содержат этих маленьких нитей, которые есть в человеческом теле, не способны переносить этот мистический дух каким-то другим способом?

Я потратил некоторое время на поиски в Сети, чтобы выяснить точно, когда кто-то обратил внимание на очень запутанную внутреннюю структуру нейронов мозга и воскликнул: «Эй, спорим, этот гигантский клубок занимается обработкой сложной информации!» Я не преуспел в своих поисках. (Это не Камилло Гольджи — связность нейронов была известна и до него). Возможно, здесь также не было единственного переломного момента.

Однако я бы сказал, что антропоморфизм постепенно начал становиться ошибочным именно с открытия этой связности, а также с появлением теории естественного отбора Чарльза Дарвина и идеи, что мышление — это вычисление.

Именно в это время стало возможным посмотреть на дерево и сказать: «Я не вижу в биологии дерева органа, который занимался бы обработкой сложной информации. По поведению дерева тоже не заметно, что у него есть подобный орган. А если он спрятан настолько, что не влияет на поведение дерева, как естественный отбор мог бы привести к его появлению?»

Именно в это время стало возможным посмотреть на реку и сказать: «В воде нет элементов, которые воспроизводились бы на протяжении множества поколений с некоторыми отличиями, которые могли бы обеспечить естественный отбор. Откуда у реки может появиться структура, сравнимая с мозгом по сложности и функциям?»

Именно в это время стало возможным посмотреть на атом и сказать: «Злость кажется очень простым явлением, но на самом деле она устроена сложно. В таком простом объекте как атом для неё нет места, разве что внутри кварков существует целая неизведанная вселенная субчастиц. Но даже в таком случае, раз мы никогда не наблюдали каких-либо признаков атомной злости, эта вселенная никак не влияла бы на известные нам высокоуровневые явления».

Именно в это время стало возможным посмотреть на щенка и сказать: «Родители щенка могут прижать его к земле, когда тот совершит что-то неправильное, но это не значит, что щенок способен на размышления о морали. Согласно нашим нынешним теориям эволюционной психологии, способность к моральным рассуждениям возникает, как ответ на более сложные социальные испытания. Развитая мораль, которая появилась у нас, — это результат естественного отбора в результате словесных споров о политике племени».

Именно в это время стало возможным посмотреть на камень и сказать: «Тут нет даже простейших поисковых деревьев, какие есть в шахматной программе. Откуда у камня может появиться намерение катиться вниз, как когда-то считал Аристотель?»

Есть известная притча:

Чжуан-цзы и Хуэй-цзы прогуливались по мосту через реку Хао. Чжуан-цзы сказал:
— Как весело играют рыбки в воде! Вот радость рыб!
— Ты ведь не рыба, — возразил Хуэй-цзы. — Откуда тебе знать, в чём радость рыб?
— Но ведь ты не я, — ответил Чжуан-цзы. — Откуда же ты знаешь, что я не знаю, в чём заключается радость рыб?1

Теперь мы знаем.

  • 1. Цитируется перевод с китайского В. В. Малявина по книге Чжуан-Цзы, «Даосские каноны». — Прим.перев.
Перевод: 
Горилла В Пиджаке, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
218
Оцените качество перевода: 
Средняя оценка: 4.7 (7 votes)

Априори

Элиезер Юдковский

Традиционная Рациональность сформулирована на языке социальных норм. Нарушение норм трактуется как жульничество: если ты нарушаешь правила, и никто другой этого не делает, значит, ты предаёшь первым, что делает тебя плохим, очень плохим человеком. Для байесианцев, мозг –– это машина для достижения точности: если нарушать принципы рациональности, машина просто не работает — независимо от того, нарушает ли правила кто-то ещё.

Предположим, что Традиционные философы столкнулись с проблемой бритвы Оккама. Если две гипотезы одинаково хорошо удовлетворяют одним и тем же наблюдениям, почему мы должны считать, что с большей вероятностью истинной окажется более простая из них? Наверное, кто-нибудь скажет, что бритва Оккама работала в прошлом и, таким образом, скорее всего, продолжит работать и в будущем. Но, судя по всему, такой аргумент сам является предсказанием на основании бритвы Оккама: предположение «бритва Оккама работает вплоть до 8 октября 2027 года, а затем перестаёт работать» –– более сложная гипотеза, но она также удовлетворяет всем наблюдаемым свидетельствам.

Кто-нибудь скажет, что бритва Оккама — это разумное распределение априорных вероятностей. Но какое распределение оказывается «разумным»? Почему бы не назвать «разумным» очень сложное априорное распределение, при котором бритва Оккама работает во всех предыдущих случаях, но выдаёт ошибки в будущем?

Итак, похоже, не существует способов оправдать использование бритвы Оккама иначе как путём апелляции к бритве Оккама. То есть вряд ли этот аргумент убедит какого-либо судью, который изначально не признает бритву Оккама. (Что общего в словах, выделенных курсивом?)

Если вы философ, который ежедневно лишь пишет статьи, критикует статьи других людей и отвечает на их критику своих статей, вы можете просто взглянуть на бритву Оккама и пожать плечами. Оправдания, споры и риторика здесь заканчиваются. В своём написании статей вы заключаете перемирие: пока ваши приятели-философы не требуют от вас обоснований для ваших не подкреплённых аргументами убеждений, вы не требуете от них обоснований для их не подкреплённых аргументами убеждений. И в качестве символа вашего перемирия — вашего белого флага — вы используете фразу «истинно априори».

Но для байесианца, живущего в нашу эпоху когнитивных наук, эволюционной биологии и Искусственного Интеллекта, слово «априори» совершенно не объясняет, почему мозг-машина работает. Если мозг содержит в себе удивительную «фабрику априорных истин», которая действительно работает, производя точные убеждения, становится любопытно, почему мучимый жаждой охотник-собиратель не может использовать «фабрику априорных истин», чтобы обнаружить источник питьевой воды. Становится любопытно, почему вообще эволюция привела к появлению глаз, если уж существует способ производить точные убеждения без необходимости смотреть на что-либо.

Джеймс Ньюман сказал: «Факт, что яблоко, добавленное к ещё одному яблоку, всегда даёт два яблока, помогает обучать арифметике, однако никак не связан с истинностью равенства 1 + 1 = 2». Согласно Интернет Энциклопедии Философии, априорными называются утверждения, познаваемые независимо от опыта. Википедия цитирует Юма1: к отношениям между идеями «можно прийти благодаря одной только мыслительной деятельности, независимо от того, что существует где бы то ни было во вселенной»2. Можно увидеть, что 1 + 1 = 2, всего лишь подумав об этом и безо всяких яблок.

Но в нашу эру нейронаук следует понимать, что мысли объективно существуют во вселенной. Мысли — это деятельность мозга. Материальные мозги — реальные объекты вселенной — состоят из кварков согласно единой математической физике, законы которой внутри и вне вашего черепа одинаковы.

Когда вы мысленно складываете 1 + 1 и получаете 2, эти мысли представляют собой активацию нейронов. В принципе, мы могли бы экспериментально наблюдать те же самые материальные явления в чужом мозгу. Такой эксперимент потребует некоторого прогресса в вычислительной нейробиологии и нейрокомпьютерных интерфейсах, но, теоретически, он реализуем. Вы могли бы увидеть, как чья-то чужая машина работает в рамках цепочек материальных причин и следствий, чтобы «чисто умозрительно» вычислить, что 1 + 1 = 2. Чем же наблюдение за принципом работы чужого мозга как способ познания отличается от наблюдения за собственным мозгом, решающим ту же задачу? Когда «чистый разум» говорит вам, что 1 + 1 = 2, «независимо от опыта или наблюдений», вы на самом деле наблюдаете за работой вашего мозга в качестве свидетельства.

Если это кажется контринтуитивным, попробуйте рассмотреть разум/мозг как машину, сталкивающую нейронный шаблон единицы с нейронным шаблоном единицы и получающую нейронный шаблон двойки. Если двигатель работает правильно, то он должен производить абсолютно те же самые выходные данные, как если бы он наблюдал (при помощи глаз и сетчатки) за таким же мозгом-машиной, производящей такое же столкновение и копировал себе итоговый шаблон. Проще говоря, для любого априорного знания, полученного силой «чистого разума», вы узнали бы то же самое, если бы пронаблюдали активацию нейронов чужого мозга, в котором нейроны активируются таким же образом. Машины эквивалентны, результаты их работы эквивалентны, убеждения сцеплены с реальностью в той же степени.

Нет ничего, что вы могли бы знать «априори», и при этом не могли бы узнать с тем же уровнем правдоподобия, наблюдая за выбросом нейротрансмиттеров в чьём-то мозгу. Сами-то вы кто, дорогой читатель?

Именно поэтому вы можете предсказать результат сложения 1 яблока и 1 яблока, мысленно представив сначала такое сложение, или же ввести «3 х 4» в калькулятор, чтобы предсказать результат воображения 4 рядов с 3 яблоками в каждом из них. Вы и яблоки существуете в рамках единого универсального физического процесса, и одна его часть может отражать состояние другой.

Являются ли все активации нейронов, которые философы называют «априорными убеждениями», произвольными? Многие алгоритмы ИИ работают лучше с «регуляризацией», сдвигающей пространство решений в пользу более простых решений. Но регуляризованные алгоритмы сложнее сами по себе. Они содержат лишнюю строчку кода (а может и 1000 строчек), по сравнению с нерегуляризованными алгоритмами. Человеческий мозг предвзят в пользу простоты и таким образом мы мыслим более эффективно. Если на данном этапе нажать кнопку «Пренебречь», мы получим сложноустроенный мозг, существующий и работающий без каких-либо причин. Так что не следует называть априорные убеждения произвольными –– они формируются явно не путём генерации случайных чисел. (Что вообще означает слово «произвольный»?)

Даже если другие философы затрудняются с тем, чтобы обосновать свои утверждения, это не позволяет вам называть свои утверждения «истинными априори». Факт, что философ не в состоянии что-то объяснить, не может как обеспечить холодильник электроэнергией, так и создать волшебную фабрику по производству точных убеждений. Пока вы не поймёте, почему машина работает, не может быть ни перемирий, ни белых флагов.

Если выкинуть из головы «обоснования» и «аргументы», становится очевидным, почему бритва Оккама работает на практике: мы живём в простом мире, во вселенной с низкой энтропией, и в ней можно найти простые объяснения. «Но» - воскликнете вы, - «почему сама вселенная устроена таким образом?» Этого я не знаю, но своё незнание я воспринимаю, как следующую тайну, которую необходимо понять. Этот вопрос отличается от: «Как я могу обосновать бритву Оккама для гипотетического собеседника, который её ещё не принял?»

Возможно, вы не сможете убедить в чём бы то ни было гипотетического собеседника, не принимающего бритву Оккама, как не сможете убедить в чём-нибудь камень. Разуму необходимо некоторое количество динамической структуры, чтобы быть способным воспринимать аргументы. Если разум не поддерживает modus ponens, он может целый день принимать «A» и «A → B», но так и не вывести из этого «B». Как можно обосновать modus ponens для разума, который его не поддерживает? Как можно убедить камень стать мозгом?

Мозги эволюционировали из не-мозговой материи путём естественного отбора. Их существование не было оправданно в процессе спора с идеальным студентом философии абсолютной пустоты. Это не делает наши заключения бессмысленными. Мозг-машина может корректно работать, производя точные убеждения, даже если он был всего лишь собран, — не важно, человеческими руками или же совокупным стохастическим естественным отбором — а не появился во вселенной как результат дискуссии. Но чтобы удовлетвориться этим ответом, необходимо воспринимать рациональность на языке машин, а не аргументов.

  • 1. Юдковский ссылается на англоязычную статью, но в настоящее время она тоже не содержит упомянутой цитаты. — Прим.перев.
  • 2. Цитируется перевод С. И. Церетели. — Прим.перев.
Перевод: 
Горилла В Пиджаке, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
219
Оцените качество перевода: 
Средняя оценка: 3.8 (26 votes)

Редуктивная отсылка

Элиезер Юдковский

Основной тезис редукционизма (в моей формулировке) состоит в том, что человеческий разум ради эффективности использует многоуровневую карту, в рамках которой мы думаем об «атомах» и «кварках», «руках» и «пальцах», «тепле» и «кинетической энергии», как об отдельных сущностях. В то же время, реальность состоит из одного уровня. Атомы не являются некой дополнительной сущностью, чьё влияние на цепочку причин и следствий выходит за рамки влияния кварков.

Сади Карно сформулировал предшественника Второго Закона термодинамики, используя теорию теплорода, в которой тепло считалось жидкостью, перетекающей из горячих тел в холодные. Теплород создавался огнём и заставлял газы расширяться. До того, как люди додумались до редукции, свойства тепла изучались отдельно от кинетики. Если вам нужно спроектировать паровой двигатель, суммарный эффект всех этих крошечный вибраций и столкновений, что мы называем «теплом», можно представить значительно проще, чем при помощи полного квантово-механического описания каждого отдельного кварка. Люди думают лишь об относящихся к задаче величинах, которые действительно влияют на результат, и благодаря этому производят эффективные вычисления.

Однако реальность, судя по всему, использует всю квантовую механику кварков. Как-то раз я общался с человеком, который считал, будто использование общей теории относительности для решения задачи с малыми скоростями (например, скоростями артиллерийского снаряда) приведёт к неверному ответу. Не просто потребует больше вычислений, а даст ошибочный с точки зрения эксперимента результат — потому что при низких скоростях, артиллерийские снаряды подчиняются ньютоновской механике, а не ОТО. Но физика не работает таким образом. Реальность продолжает пользоваться теорией относительности, даже когда разница окажется лишь в четырнадцатом знаке после запятой, что человек воспринял бы как бессмысленную трату вычислительных ресурсов. Физика делает всё при помощи грубой силы. Ещё никто никогда не замечал, чтобы физика упрощала свои вычисления (если, конечно, Повелители Матрицы не стирали свидетелям память).

Таким образом, наша карта очень сильно отличается от территории. Наши карты — многоуровневые, а территория — одноуровневая. И раз представление столь отлично от обозначаемого объекта, в каком смысле убеждения вида: «Я ношу носки» могут быть истинными? Ведь сама реальность состоит лишь из кварков.

На случай, если вы забыли, что значит слово «истинный», я напомню классическое определение Альфреда Тарского:

Утверждение «снег белый» истинно тогда и только тогда, когда снег белый.

В случае, если вы забыли, в чём разница между утверждениями «Я верю в то, что снег белый» и « „Снег белый“ – истина», перечитайте эссе «Качественное замешательство». Нельзя получить истину лишь путём размышлений: если вы хотите, например, узнать, является ли истинным утверждение: «утренняя звезда = вечерняя звезда», вам потребуется телескоп. Изучить лишь сами убеждения недостаточно.

Именно это упускают постмодернисты, вопрошающие: «Но откуда вы можете знать, что ваши убеждения истинны?» Когда вы проводите эксперимент, вы на самом деле выходите за пределы собственной головы. Вы вступаете в сложное взаимодействие, результат которого с точки зрения причин и следствий определён предметом рассуждения, а не одними только вашими убеждениями о нём. Однажды я определил «реальность» так:

Даже когда у меня есть простая гипотеза, которая прекрасно согласуется со всеми известными мне данными, всё равно что-нибудь может меня удивить. Так что мне нужно по-разному называть те штуки, которые определяют мои предсказания, и ту штуку, которая определяет результат опыта. Первое я называю «убеждениями», а второе — «реальностью».

Интерпретация вашего эксперимента по-прежнему зависит от ваших исходных убеждений. Я не собираюсь сейчас рассматривать вопрос о том, Откуда Берутся Исходные Убеждения, так как это было бы отступлением от темы эссе. Суть в том, что истина определяется как идеальное сопоставление между убеждением и реальностью. Если мы понимаем, что планеты отличны от убеждений о планетах, мы можем провести такой эксперимент, что позволит проверить, является ли убеждение «утренняя звезда и вечерняя звезда – это одна и та же планета» истинным. Этот эксперимент будет включать в себя использование телескопов, а не одну лишь интроспекцию, так как мы понимаем, что «истина» подразумевает сравнение внутреннего убеждения и внешнего факта. Поэтому мы используем инструмент — телескоп, — наблюдения через который, насколько нам известно, зависят от внешней действительности — планеты.

Убеждение, что телескоп способен помочь нам определить «истинность» убеждения «утренняя звезда = вечерняя звезда» основывается на нашем предшествующем убеждении о том, как телескоп взаимодействует с планетой. Повторюсь, я не собираюсь рассматривать проблему исходных убеждений в данном эссе, разве что процитирую одну из моих любимых строчек Рэймонда Смаллиана: «Если более умудрённый читатель возразит, что данное утверждение является всего лишь тавтологией, то пусть хотя бы отдаст ему должное за внутреннюю непротиворечивость». Аналогично, я нахожу использование телескопа примером не порочного логического круга, а самосогласованности: для любого систематического способа получения истинных убеждений должно существовать рациональное объяснение того, как он работает.

Вопрос, интересующий нас сейчас: как мы можем рассуждать об истинности утверждения «снег белый», если в реальности существуют лишь кварки?

Наши убеждения о «снеге» и «белизне» порождаются определёнными наборами нейронных связей — пусть даже мы не в состоянии точно представить, как эти связи выглядят. Нейронные связи сами по себе воплощены в виде некоторого набора кварков, о котором мы знаем и того меньше. Где-то во внешнем мире существуют молекулы воды, температура которой достаточно низка, и молекулы организуются в виде повторяющейся мозаичной структуры. Эта структура совершенно не похожа на переплетение нейронов. В каком смысле сравнение одного (непостоянного) набора кварков с другим делает убеждение «снег белый» истинным?

Очевидно, ни я, ни кто-либо другой не может предложить Функцию Идеального Кваркового Сопоставления, которая для утверждения «снег белый» принимает на вход кварковые описания заключённого в нейронах убеждения (а также всего остального мозга) и снежинки (а также законов оптики), а в качестве результата возвращает «истинно» или «ложно». Да и не факт, что фундаментальный уровень — это действительно поля частиц.

С другой стороны, выкидывать на помойку все наши убеждения из-за того, что они не представлены в виде гигантского набора характеристик кварков, с которым всё равно невозможно работать и который мы не можем получить… кажется, не слишком разумно. Это не лучший способ достигнуть наших целей.

Мне представляется, что такие слова как «снег» или «белый» можно считать чем-то вроде долговой расписки. Нам не известно точно, какие именно физические конфигурации кварков считаются «снегом», однако, тем не менее, что-то вы зовёте снегом, а что-то — нет, и, даже если вы иногда ошибаетесь (например, относительно искусственного снега), Идеальный Всезнающий Научный Интерпретатор увидел бы сконцентрированный кластер в центре и перерисовал бы границы так, чтобы получить определение проще.

В одноуровневой вселенной, чей нижний уровень неизвестен наверняка или же слишком обширен для решения наших задач, концепции в многоуровневом разуме можно воспринимать как что-то вроде долговых расписок. Мы не знаем, чему точно они соответствуют. Однако, судя по всему, мы способны отличать положительные примеры от отрицательных, способны на этом основании делать предсказания, поэтому мы предполагаем (возможно, несколько обобщая при этом), что в кварках есть некоторое различие, что существуют какие-то отличия на фундаментальном уровне, объясняющие отличия в наших ощущениях и, в конце концов, приводящие к тому, что мы говорим «снег» или «не снег».

Я вижу эту белую субстанцию, в разных ситуациях она оказывается одной и той же, поэтому я предполагаю, что в окружающей среде есть какая-то стабильная неявная причина её существования. И я называю эту белую штуку «снег». «Снег» — это долговая расписка, описывающая простую мысленную границу, которая содержит в себе незримые причины моего опыта.

Мысленный эксперимент Хилари Патнэма (в котором вода это не H2O, а некая иная субстанция, обозначаемая XYZ, со всеми известными нам свойствами, характерными для воды) и последующий за ним философский спор, помогает пристальнее рассмотреть этот вопрос. У «снега» нет известного нам логического определения. Скорее это полученный эмпирически указатель на логическое определение. Такое рассуждение остаётся истинным, даже если вы считаете, что снег это кристаллы льда, которые в свою очередь являются сочетанием молекул воды при низкой температуре. Молекулы воды состоят из кварков. Что если окажется, что кварки состоят из чего-то ещё? Чем в таком случае окажется снежинка? Вы не знаете, но она останется снежинкой, а не превратится в огнетушитель.

И, конечно же, эти абзацы, которые я только что написал, находятся куда выше уровня кварков. «Воспринимать белую субстанцию на уровне чувств, отнести её к какой-то категории и подумать:“снег“ или „не снег“ » — это тоже рассуждения, которые находятся гораздо выше кварков.

Таким образом, мои мета-убеждения также являются долговыми расписками, и Идеальный Всезнающий Научный Интерпретатор знал бы какая конфигурация кварков (или чего бы там ни было), приводит мой мозг в состояние, соответствующее убеждению «верить в то, что снег белый».

Но тогда вся доступная нам реальность состоит из таких долговых расписок. Кто-то мог бы назвать это порочным кругом, я же предпочитаю называть это самосогласованностью.

Балансировать на шаткой эпистемологической жёрдочке — в отношении убеждений как о реальности, так и о рефлексии — где-то высоко-высоко над неизвестной фундаментальной реальностью и надеяться не свалиться может быть несколько пугающим занятием.

Впрочем, если подумать, то сложно представить иной вариант событий.

Таким образом, утверждение «реальность не содержит руки как фундаментальные сущности, существующие дополнительно и независимо от кварков» совершенно не то же самое, что «рук не существует» или «у меня нет рук». Нет никаких фундаментальных рук. Руки состоят из ладони и пальцев, которые в свою очередь состоят из мышц и костей, и так далее вплоть до полей элементарных частиц, которые, насколько нам известно, являются фундаментальными причинностными сущностями.

Это не то же самое, что утверждение «рук не существует». Не то же самое, что «слово „руки“ — это долговая расписка, которая никогда не будет оплачена, так как не существует эмпирического кластера, ему соответствующего». Или же «расписка „руки“ никогда не будет оплачена, потому что логически невозможно согласовать все необходимые характеристики». Или «утверждение „люди имеют руки“ логически непротиворечиво, но это не то состояние, в котором находится реальность».

Просто там, где мы видим «руки», на самом деле существуют конфигурации элементарных частиц. У этих конфигураций есть общие свойства, но они не фундаментальны.

Если бы я действительно не имел рук — если бы реальность внезапно перешла в то состояние, которое мы бы описали как «у Элиезера нет рук» — вскоре бы реальность соответствовала состоянию, которое мы бы описали как «Элиезер кричит, а кровь хлещет из обрубков его кистей»

И это истинно, даже несмотря на то, что в предложении выше не были указаны какие-либо положения кварков.

Соответственно, предыдущее предложение мета-истинно.

Карта содержит множество уровней, территория — всего лишь один. Это не значит, что более высоких уровней «не существует», аналогично дракону в гараже, которого там нет, или миражу в пустыне, который приводит к ожиданию питьевой воды там, где пить нечего. Высшие уровни вашей карты не ложны, не лишены референта: их референты находятся в единственном уровне физики. Если бы «крылья самолета» не существовали, самолет бы упал. «Крылья самолета» явно существуют в многоуровневой модели самолета в голове инженера, а также не явно в квантовой физике реального самолета. Неявное существование не то же самое что несуществование. Точное описание этой неявности нам не известно — оно не представлено в явном виде на нашей карте. Но это не мешает нашей карте работать или даже быть истинной.

Каждое понятие и убеждение в вашем мозгу, включая мета-убеждения о том, как ваш мозг работает и почему вы в состоянии формировать точные убеждения, находятся намного-намного выше реальности. И понимание этого несколько пугает…

Перевод: 
Горилла В Пиджаке
Номер в книге "Рациональность: от ИИ до зомби": 
220
Оцените качество перевода: 
Средняя оценка: 4.7 (10 votes)

Зомби! Зомби?

Элиезер Юдковский

«Зомби» в философском значении этого слова — это гипотетическое существо абсолютно во всём подобное нам: такое же поведение, речь, мозг. Каждый атом и кварк находится точно в том же месте и движется согласно тем же законам механики. Отличие лишь в том, что зомби не имеет сознания.

Более того, утверждается, что если зомби «возможны» (понятие, остающееся предметом баталий), то, исходя исключительно из нашего знания об этой «возможности», мы можем a priori сделать вывод о вне-физической природе сознания — в значении, описанном далее. Стандартное определение для такой точки зрения — «эпифеноменализм».

(Для тех, кто не знаком с зомби, обращаю внимание, что это не «чучело»1. См., например, статью в Стэнфордской философской энциклопедии о зомби. «Возможность» зомби признана существенной частью — вероятно, большинством — академических представителей философии сознания.)

Я где-то прочитал: «Вы не тот, кто произносит свои мысли — вы тот, кто слышит их». В иврите величайшая душа — та, которую Бог вдохнул в Адама — называется Н’шама, «слышащий».

Если вы мыслите себе «сознание» как исключительно пассивное слушание, понятие «зомби» изначально кажется легко представимым. Это некто, лишённый «слышащего».

(Предупреждение: это очень длинное эссе на 5800 слов, в котором рассматриваются идеи Дэвида Чалмерса. Это можно считать моим наглядным контрпримером к Спору с Элиезером, часть 2, где Ричард Чапелл обвиняет меня в том, что я не связываюсь со сложными аргументами настоящих философов.)

Когда вы открываете холодильник и видите, что апельсиновый сок закончился, вы думаете: «Черт, я остался без сока». Звучание этих слов, вероятно, воспроизводится в слуховом отделе коры вашего головного мозга, как будто вы слышите, словно эти слова сказал кто-то ещё. (Почему я так думаю? Потому что носители китайского языка способны запоминать более длинные последовательности цифр, чем носители английского. Китайские числительные все односложные, и говорящие на китайском могут помнить до 10 цифр, в отличие от известного «7±2» для англоговорящих. Кажется, в «оперативной памяти» слухового отдела коры головного мозга существует самозамкнутая петля из повторяющихся звуков, ограничение по длине которой исчисляется в фонемах.)

Предположим, что сказанное верно. В качестве начального условия это не должно составлять трудности для сторонников зомби. Даже если в отношении людей это неверно, кажется нетрудным вообразить ИИ, разработанный на такой основе (а «возможность вообразить» — это суть спора о зомби). Сказанное не только мыслимо в принципе — в ближайшую пару десятилетий вполне возможно, что хирурги смогут подключить сеть рецепторов нервных сигналов к слуховой коре и прочитать разворачивающееся в ней повествование. (Исследователи уже подключились к боковому коленчатому ядру2 мозга кошки и воспроизвели узнаваемые визуальные образы на входе.)

Итак, наш зомби, физически идентичный нам до последнего атома, откроет холодильник и сформирует в слуховой коре образы для фонем «Черт, я остался без сока». До этого момента эпифеноменалисты охотно с нами соглашаются.

Но, говорит эпифеноменалист, внутри зомби некому слышать. Внутреннего слушателя нет. Внутреннее повествование произнесено, но не услышано. Вы не тот, кто высказывает ваши мысли, а тот, кто их слышит.

Они бы сказали, что, кажется, куда проще создать ИИ, который выводит на печать некое внутреннее повествование, чем показывать, что внутренний слушатель слышит его.

Спор о зомби состоит в том, что если Мир Зомби возможен — не обязательно физически возможен в нашей вселенной, лишь «возможен в теории», или «может быть представлен», или что-то в этом роде — тогда сознание должно быть вне-физическим явлением, чем-то вне и сверх обычных атомов. Почему? Потому что даже если вы каким-то образом узнаете положение всех атомов во вселенной, вам все ещё предстоит услышать, как отдельный и дополнительный факт, что люди обладают сознанием — что у них есть внутренний слушатель — что мы, вероятно, не в Мире Зомби.

«Зомбизм» не то же самое, что дуализм. Декарт считал, что существует телесная субстанция и совершенно отличная от нее разумная субстанция, но Декарт также полагал, что эта разумная субстанция есть источник активной причинности, взаимодействующий с телесной субстанцией и управляющий нашей речью и действиями. Лишение человека разумной субстанции породило бы традиционного, шатающегося и завывающего, зомби.

И хотя в иврите самая сокровенная душа названа Н’шама, тот-кто-слышит, я не слышал о рабби, отстаивающем возможность зомби. Большинство рабби, вероятно, почувствовали бы отвращение к идее, что божественная частица, которую Бог вдохнул в Адама, на самом деле бездействует.

Технический термин, обозначающий веру, что сознание присутствует, но не воздействует на физический мир, — эпифеноменализм.

Хотя в споре о зомби есть и другие составляющие (я разберусь с ними далее), думаю, первое, что прельщает в «зомбизме» — это интуитивно понятный тезис о пассивном слушателе. В особенности он прельщает непрофессиональную аудиторию. Ключевое понятие просто и доступно: свет горит, вот только дома никого нет.

Философы обращаются к интуитивно понятному тезису о пассивном слушателе, когда говорят: «Конечно, мир зомби можно представить. Вы в точности знаете, на что он будет похож».

Одно из величайших сражений Войны зомби происходит на почве того, что, в точности, имеют в виду люди, говоря, что зомби «возможны». Ранние философы-зомбисты в 1970-е просто считали, что зомби «возможны» и не трудились определить, какого рода возможность они имели в виду.

Поскольку я поднаторел в математической логике, первое, что приходит мне на ум — это логическая возможность. Если у вас есть набор утверждений вроде {(A ⇒ B), (B ⇒ C), (C ⇒ ¬A)}, то сложное убеждение логически возможно, если для него есть модель — которая, в вышеприведенном простом случае, сводится к поиску таких значений {A, B, C}, что все утверждения {(A ⇒ B), (B ⇒ C), (C ⇒ ¬A)} — истинны. Тогда ответом будет {A = B = C = 0}, а так же {A = 0, B = C = 1} или {A = B = 0, C = 1}.

Нечто будет казаться возможным — «концептуально возможным» или «представимым» — если вы рассматриваете подборку утверждений, не замечая противоречий. Но, как правило, наибольшая трудность — именно обнаружить противоречия или, с другой стороны, разработать полную и точную модель! Если вы ограничиваетесь простыми Булевыми утверждениями вида((А или В или С) и (В или ~С или D) и (D или ~A или ~C) …), конъюнкциями или дизъюнкциями трех переменных, тогда это очень известная задача под названием 3-SAT, одна из первых задач, для которой была доказана NP-полнота3.

Итак, то, что вы не видите противоречий в Мире зомби с первого взгляда, не означает, что противоречий не существует. Это как не видеть с первого взгляда противоречий в гипотезе Римана. От концептуальной возможности («не вижу трудности») к строгой логической возможности — огромный скачок. Легко сделать так, что это будет скачок к NP-полноте, а с использованием теорий первого порядка4, даже для ограниченных задач вычисление можно сделать сколь угодно трудным. И именно логическая, а не концептуальная возможность Мира зомби необходима, чтобы предположить, что логически всезнающий разум может знать положение всех атомов во вселенной — и все же ему нужно сообщить как дополнительный, не вытекающий из его знания факт то, что у нас есть внутренний слушатель.

Само по себе то, что вы пока не видите противоречие, не даёт гарантии, что вы не увидите противоречие в следующие 30 секунд. «Все нечётные числа — простые. Доказательство: 3 — простое, 5 — простое, 7 — простое…»

Поэтому давайте ещё немного поразмыслим над Спором о зомби. Можем ли мы придумать контрпример к утверждению «Сознание не имеет причинного воздействия на мир, которое может быть обнаружено извне»?

Если вы закроете глаза и сконцентрируетесь на вашей внутренней осведомлённости, в вашем внутреннем повествовании будут появляться мысли из ряда «Я сознаю…», «Моё осознание отдельно от моих мыслей», «Я не тот, кто высказывает мои мысли, но тот, кто их слышит», «Поток моего сознания не есть моё сознание» и «Кажется, существует часть меня, которую я могу представить уничтоженной без перемен в моем внешнем поведении».

Вы даже можете произнести эти фразы вслух, пока размышляете. В принципе, некто со сверхчувствительным томографом мог бы прочитать фонемы в вашей слуховой коре. Однако произнести вслух значит устранить все сомнения насчёт того, вошли ли вы в мир проверяемости и физических следствий.

Определённо кажется, что внутренний слушатель ловится в акте слушания той вашей частью, что создаёт внутреннее повествование и приводит в движение язык.

Представьте, что таинственная инопланетная раса посетила вас и оставила в подарок таинственный чёрный ящик. Вы тыкаете и пинаете ящик, но (насколько можете сказать) ничего не происходит. Вы не можете вынудить ящик отсыпать вам золотых монет или ответить на вопросы, и делаете вывод, что ящик причинно неактивен. «Для всех Х чёрный ящик не делает Х». Чёрный ящик — результат, но не причина; он эпифеноменален, не имеет причинной способности. Размышляя, вы проверяете эту общую гипотезу, чтобы понять, истинна ли она в некоторых пробных случаях, и она кажется истинной — «Превращает ли ящик свинец в золото? Нет. Кипятит ли ящик воду? Нет.»

Но вы можете видеть чёрный ящик. Он поглощает свет и веско оттягивает вашу руку. Это также часть танца причинности. Если бы чёрный ящик был всецело за пределами причинной вселенной, вы бы не могли его видеть, вы никак не могли бы узнать о его существовании, вы не могли бы сказать: «Спасибо за ящик!» Вы бы не думали об этом контрпримере, формулируя общее правило. «Все Х: Чёрный ящик не делает Х». Но он всё время был здесь.

(На самом деле, инопланетяне оставили вам и другой чёрный ящик, на этот раз совершенно эпифеноменальный, и у вас нет ни малейшего намека, что он здесь, в вашей комнате. Они так пошутили.)

Если вы можете закрыть глаза и ощутить, что вы ощущаете — если вы можете осознавать себя сознающего, и думаете «Я сознаю, что я сознаю» — и говорите это вслух — то ваше сознание не бездействует в отношении вашего внутреннего повествования или ваших шевелящихся губ. Вы можете видеть себя видящим, и ваше внутреннее повествование отражает это, так же, как ваши губы — если вы решите сказать об этом вслух.

Я не встречал приведённый выше аргумент — «слушатель, пойманный в акте слушания» — сформулированным именно так, хотя это, конечно, может быть кем-то уже высказано.

Но общепринятым моментом является то — и философы-зомбисты это признают! — что философы Мира зомби, до последнего атома идентичные нашим философам, пишут те же труды по философии сознания.

С этого момента Мир зомби перестаёт быть интуитивно понятным следствием идеи пассивного слушателя.

Философы, пишущие о сознании, окажутся хотя бы одним воздействием сознания на мир. Вы можете придумать изощрённые причины, почему это не так, но вам придётся постараться.

Интуитивно вы предположите, что если бы ваша внутренняя осведомлённость исчезла, мир бы изменился так, что ваше внутреннее повествование более не включало бы фразы вроде «Внутри меня есть таинственный слушатель», потому что таинственный слушатель исчез. Но обычно ваше внутреннее повествование может сказать «Я осознаю свою осведомлённость» лишь после того, как вы сфокусируете своё сознание на собственной осведомлённости — из этого следует, что если первое так и не произошло, не будет и второго. Вы можете придумать изощрённые причины, почему это не так, но вам придётся постараться.

Вы можете внушить себе веру в то, что «Сознание не воздействует» и не увидите противоречия, пока не поймёте, что разговор о сознании — следствие того, что вы сознаете. Но как только вы заметите связь между общим правилом, что «сознание не воздействует», и его частным приложением, что сознание не воздействует на то, как философы пишут труды про сознание — «зомбизм» перестаёт быть интуитивно понятным и начинает требовать, чтобы вы приняли как должное странные вещи.

Первая странность, которую вы должны принять — существование Повелителя зомби, бога Мира зомби, который тайно управляет зомби-философами и заставляет их говорить и писать о сознании.

Повелитель зомби не кажется невозможным. Люди часто не вполне последовательны, говоря о сознании. Наверное, нетрудно исказить их рассуждения до уровня, скажем, обывателя, разглагольствующего в баре. Можно взять за основу болтовню тысячи обывателей на тему сознания, скормить её не сознающему, но хитроумному ИИ — продвинутому, но не самообучающемуся — и получить на выходе рассуждения о «сознании», звучащие так же здраво, как рассуждения большинства людей — то есть, вполне бредово.

Но эти рассуждения о «сознании» не будут произвольными. Они не созданы внутри ИИ — это будет записанная имитация чьей-то речи, просто симуляция5, в которой ведущий ИИ озвучивает неигровых персонажей. Это не то, что имеется в виду, когда говорят о Мире зомби.

Предположим, Мир зомби до последнего атома совпадает с нашим миром, за исключением того, что его обитатели лишены сознания. Далее, атомы в Мире зомби движутся по тем же физическим законам, что и в нашем мире. Если есть «законы сопряжения», определяющие, какие соединения атомов пробуждают сознание, то эти законы неизвестны. Но, гипотетически, различие и не может быть установлено экспериментально. Когда речь идёт о кварке, движущемся так или этак или воздействующем на соседние кварки — о том, что можно измерить в рамках эксперимента —действуют те же законы физики.

В Мире зомби нет места для Повелителя зомби, потому что последнему придётся управлять движением зомбьих губ, а такое управление, в принципе, можно обнаружить экспериментально. Повелитель зомби движет губами — следовательно, у него есть наблюдаемые следствия. Это может быть точка, в которой электрон по знаку Повелителя движется туда, а не сюда. (Если не принимать, что Повелитель на самом деле находится внутри мира, понимаемого как структура из кварков — но тогда Мир зомби не совпадает с нашим до последнего атома, если вы не думаете, что Повелитель зомби присутствует и в нашем мире.)

Когда философ в нашем мире пишет: «Я думаю, что Мир зомби возможен», его пальцы последовательно нажимают клавиши З-О-М-Б-И. В этих нажатиях можно отследить цепь причинности: сокращение мышц, возбуждение нервов, команды, посылаемые через спинной мозг двигательной областью коры головного мозга — и далее в менее известные области мозга, где внутреннее повествование философа впервые заговорило о «сознании».

И зомби-двойник философа нажимает те же клавиши, вследствие тех же факторов с точки зрения причинности. В цепи объяснений того, почему философ пишет именно так, нет причины, которой бы отсутствовала в отношении его зомби-двойника. У двойника также есть внутреннее повествование о «сознании», которое продвинутый томограф мог бы считать из его слуховой коры. И какие бы другие мысли, или иные подобные мотивы, ни вели к такому внутреннему повествованию, они в точности те же как в нашей вселенной, так и в Мире зомби.

Итак, вы не можете сказать, что философ пишет о сознании вследствие сознания, в то время как зомби-двойник пишет о сознании по знаку Повелителя зомби или ИИ. Когда вы отслеживаете цепь причинности от клавиатуры к внутреннему повествованию, отзывающемуся в слуховой коре, и к причине повествования, вы должны найти такое же физическое объяснение в нашем мире, как и в мире зомби.

Как пишет самый убежденный защитник зомбизма Дэвид Чалмерс6:

Подумайте о моем зомби-двойнике в соседней вселенной. Он все время говорит о сознательном опыте — по сути, он кажется одержимым. Он тратит абсурдное количество времени, сгорбившись за компьютером и строча главу за главой о тайнах сознания. Он часто говорит об удовольствии, которое он получает от неких свойств чувственного опыта7, питая особую любовь к темно-зелёному и багровому. Он часто ввязывается в споры с зомби-материалистами, заявляя, что их позиция несправедлива к реалиям сознательного опыта.

И в то же время у него нет сознательного опыта вообще! В его вселенной материалисты правы, а он ошибается. Большая часть его утверждений о сознательном опыте — попросту ложь. Но, несомненно, есть физическое или физиологическое объяснение, почему он утверждает то, что утверждает. В конце концов, его вселенная всецело подчиняется законам, в ней нет чудес — следовательно, должно быть какое-то объяснение и его утверждениям.

…Любое объяснение поведения моего двойника равно будет считаться объяснением моего поведения, так как процессы внутри его тела в точности соответствуют процессам внутри моего. Основание под его утверждениями, очевидно, не зависит от существования сознания, ведь в его мире сознания не существует. Следовательно, объяснение моих утверждений также не зависит от существования сознания.

Чалмерс не выдвигает аргументы против зомби. Таковы его подлинные убеждения!

Эта парадоксальная ситуация одновременно радует и пугает. Она не обязательно станет приговором убеждениям не-редукционизма, но, по крайней мере, с ней нам придётся сцепиться.

Я на самом деле полагаю, что эта пилюля горчайшая из всех, что нам вовеки пришлось проглотить. Таков мой сомнительный комплимент Дэвиду Чалмерсу. Менее горькая не помогла бы прояснить все следствия, позволила бы уйти от столкновения с ними или рационализировать причину, почему все не так страшно.

Почему кто бы то ни было решил проглотить такую пилюлю? Почему кто-то выдвинул утверждение о бессознательных зомби, которые пишут труды о сознании точно по той же причине, что и наши, несомненно наделённые сознанием, философы?

Я писал не об интуитивно ясном понятии пассивного слушателя. Интуиция в этом случае может подсказать, что зомби могут водить машину, заниматься математикой или даже влюбиться — но она не говорит, что зомби пишут философские труды о своём пассивном слушателе.

Спор о зомби покоится не только на понятии пассивного слушателя. Если б дело было только в нем, думаю, спор бы уже затих. Интуитивное представление, что «слушателя» можно устранить без последствий, исчезло бы, как только вы осознаете, что ваше внутреннее повествование, по-видимому, связывается со слушателем в каждом акте слушания.

Нет, побуждение проглотить эту пилюлю исходит из совершенно иного интуитивного представления — состоящего в том, что, сколько бы атомов вы ни добавили, сколько бы масс и электрических зарядов ни взаимодействовали, они с необходимостью никогда не вызовут субъективного ощущения таинственной красноты красного. То, что расположение таких-то атомов в таком-то порядке вызывает ощущение красноты, (по Чалмерсу) может быть фактом нашей физической вселенной — но если это верно, то без данного факта можно обойтись и объяснить [это явление], не вовлекая движение атомов.

Но если вы рассмотрите второе интуитивное представление само по себе, без понятия пассивного слушателя, трудно понять, почему оно предполагает зомбизм. Возможно это всего лишь иной род вещества, отличный от атомов и дополняющий их, который не является причинно пассивным — душа, которая на самом деле порождает вещество и на самом деле играет роль причинности, когда мы пишем о «таинственной красноте красного». Уберите душу и…хм, предполагая, что вы не впадёте в кому, вы точно не напишете новых трудов о сознании.

Это точка зрения Декарта и большинства других древних мыслителей. Душа имеет иную природу, но она взаимодействует с телом. Точка зрения Декарта известна как вещественный дуализм — существует вещество-мысль, вещество-разум, и оно отлично от атомов; но оно причинно действенно, взаимодействует с нашей вселенной и оставляет на ней различимый отпечаток.

Зомбисты же привержены дуализму свойств — они верят не в обособленную душу, а в то, что материя в нашей вселенной имеет дополнительные свойства, не относящиеся к физическим.

«Не относящиеся к физическим?» Что это значит? А то, что дополнительные свойства здесь, но они не влияют на движение атомов, в отличие от параметров электрического заряда или массы. Дополнительные свойства не обнаруживаются сторонним экспериментом. Вы осознаете, что наделены сознанием, изнутри ваших дополнительных свойств, но ни один учёный не может непосредственно обнаружить это извне.

Итак, дополнительные свойства здесь, но они не являются причинно активными. Они не перемещают атомы и поэтому не могут быть обнаружены извне.

И поэтому мы (якобы) можем представить вселенную в точности, как эта, где все атомы на тех же местах, но дополнительные свойства отсутствуют, и все происходит так же, как раньше, только никто не наделён сознанием.

Мир зомби может быть физически невозможным, — скажут зомбисты, — так как установлено, что вся материя в нашей вселенной имеет дополнительные свойства, либо подчиняется «законам сопряжения», пробуждающим сознание — но Мир зомби возможен логически: законы сопряжения могли бы оказаться иными.

Но если вы осознаете, что мыслимость и логическая возможность не одно и то же, и что Мир зомби не так уж интуитивно понятен — почему вы говорите, что Мир зомби логически возможен?

Почему, почему вы говорите, что дополнительные свойства эпифеноменальны и не могут быть обнаружены?

Мы можем сделать эту дилемму ещё жёстче. Чалмерс верит, что существует нечто, называемое сознанием, и что это сознание воплощает подлинную и неописуемую сущность таинственной красноты красного. Это может быть свойство, не связанное с массой и зарядом, но оно есть, и это — сознание. Сказав все это, Чалмерс далее определяет, что сущность сознания эпифеноменальна и не является причинно действенной — но почему он так решил?

Как можно сказать, что возможно устранить самую суть сознания и оставить все атомы на своих местах и в том же состоянии? Если это верно, нам нужно отдельное физическое объяснение для всего того, что Чалмерс говорит о «таинственной красноте красного». То есть, одновременно существуют вне-физическая таинственная краснота красного и совершенно отдельная физическая причина того, что Чалмерс способен говорить о «таинственной красноте красного».

Чалмерс признает, что эти две вещи, по-видимому, должны быть связаны, но послушайте, зачем нам сразу обе? Почему бы не выбрать ту или другую?

Если вы утверждаете, что существует таинственная краснота красного, почему бы не сказать, что она взаимодействует с вашим внутренним повествованием и побуждает вас говорить о ней?

Не проще ли подход, выбранный Декартом — в строгом смысле?

Зачем заявлять о вне-материальной душе — и тут же о том, что эта душа не воздействует на физический мир — а затем вводить ужасно таинственный материальный процесс, который побуждает ваше внутреннее повествование говорить о сознательном опыте?

Почему бы не заявить об истинной материи сознания, к которой простые бездушные атомы в любом количестве не смогут ничего добавить — и только потом, зайдя так далеко, позволить этой материи сознания обладать свойствами причинности вроде тех, что позволяют философам говорить о сознании?

Я не одобряю подход Декарта. Но я хотя бы понимаю, из чего исходил Декарт. Сознание кажется таинственным, и вы заявляете о таинственной материи сознания. Прекрасно!

Но теперь зомбисты заявляют, что эта таинственная материя ничего не делает, так что вам необходимо абсолютно новое объяснение того, почему вы можете сказать, что наделены сознанием.

Это не витализм. Это нечто столь причудливое, что виталисты подавились бы кофе. «Когда огонь горит, он высвобождает флогистон. Но флогистон не оказывает экспериментально подтверждённого воздействия на нашу вселенную, так что вам придётся искать отдельное объяснение, почему огонь плавит снег». Вы шутите?

Полагают ли приверженцы «дуализма свойств», что, если они заявят о новой действующей силе, которая оказывает причинное воздействие на наблюдаемые объекты, они высунут голову слишком далеко?

Что до меня, я бы сказал, что если вы заявляете о таинственном, дополнительном, отдельном, сугубо умозрительном свойстве сознания, не связанном с положениями и скоростями в пространстве, вы уже высунули голову дальше некуда. Сначала заявить о материи сознания, а потом о том, что она ни на что не влияет — во имя няшных котят, за что?

Это даже не является очевидным карьерным мотивом. «Привет, я философ сознания. Мой предмет исследования — самая важная штука во вселенной, и мне нужна наилучшая финансовая поддержка, понимаете? Хм, мило, что вы это сказали, но на самом деле явление, которое я изучаю, вообще ни на что не влияет». (Аргумент от карьеры несостоятелен, но я его привёл, чтобы оставить путь к отступлению.

Чалмерс критикует вещественный дуализм на том основании, что не видно новой физической теории или нового вещественного взаимодействия, которые могли бы объяснить сознание. Но у дуализма свойств те же проблемы. Неважно, о каком роде двойных свойств вы говорите — как именно он объясняет природу сознания?

Когда Чалмерс заявляет о дополнительном свойстве, которым является сознание, он перепрыгивает необъяснимое. Как это поможет его теории определить далее, что это дополнительное свойство ни на что не влияет? Почему бы просто не придать ему причинность?

Если б я разозлился, именно сейчас я бы вытащил на свет дракона — притчу Карла Сагана о драконе в гараже. «У меня в гараже дракон!» Отлично! Пойдём посмотрим! «Ты его не увидишь — это невидимый дракон». Тогда я бы хотел его услышать! «Извини, дракон не слышен». Тогда я измерю прирост концентрации углекислоты! «Он не дышит». Я распылю в воздухе мешок муки, чтобы обрисовать его форму. «Дракон проницаем для муки».

Один из мотивов для попытки сделать свою теорию принципиально нефальсифицируемой — то, что в глубине души вы боитесь подвергнуть её проверке. Сэр Роджер Пенроуз (физик) и Стюарт Хэмерофф (невролог) — вещественные дуалисты, полагающие, что в квантах протекает нечто таинственное, что Эверетт неправ и что «коллапс волновой функции» физически реален — что именно там обитает сознание, и таким образом оно оказывает причинное воздействие на ваши губы, когда вы произносите «Я мыслю, следовательно, я существую». Убеждённые в этом, они предсказывают, что нейроны сопротивляются декогеренции достаточно долго, чтобы поддерживать макроскопические квантовые состояния.

В данный момент эта гипотеза подвергается проверке, и пока что исследования не подтверждают точку зрения Пенроуза…
… но само поведение Пенроуза достойно уважения с точки зрения науки. Может, оно не соответствует байесовым критериям, но всё же имеет здоровые корни. Он выступил с бредовой гипотезой — указал, как её проверить — вышел и действительно попытался проверить её.

Я сказал Стюарту Хэмероффу: «Думаю, гипотеза, которую вы проверяете, совершенно безнадёжна, и ваши эксперименты определённо заслуживают финансирования. Даже если вы не найдёте в точности то, что ищете, вы ищете там, где до вас никто не искал — и можете обнаружить что-нибудь интересное».

Итак, устранение эпифеноменализма будет неприятно тем, что зомбисты побоятся говорить о действующем веществе-сознании, ведь учёные могут отправиться искать эти дополнительные свойства — и не найти их.

Хотя я не думаю, что это справедливо в отношении Чалмерса. Если бы Чалмерсу недоставало честности к себе, он мог бы многое сделать намного проще.

(На случай, если Чалмерс читает это и действительно боится фальсификации, я укажу, что, если эпифеноменализм ложен, то существует другое объяснение так называемому сознанию, и оно будет в итоге найдено — тогда теория Чалмерса обрушится. Так что, если Чалмерса заботит его место в истории, у него нет причин поддерживать эпифеноменализм, разве что он действительно считает его истинным).

Чалмерс — один из самых обескураживающих философов, которого я знаю. Иногда мне интересно, не готовит ли он нечто вроде «Побеждённого атеизма». Чалмерс проводит действительно тонкий анализ… и в последний миг сворачивает в тупик. Он показывает все неувязки сценария с Миром зомби — и тут же, выбросив все свои доводы на свалку, смиренно принимает этот сценарий.

Чалмерс делает то же самое, когда подробно объясняет, почему нельзя оправдать нашу собственную веру в сознание тем, что наш зомби-двойник ошибается, говоря те же вещи по тем же причинам.

По поводу теории Чалмерса — его слова о вере в сознание не имеют причинного обоснования; вера не может быть вызвана фактом как таковым. В отсутствие сознания Чалмерс писал бы те же труды по тем же причинам.

Насчёт эпифеноменализма — высказывание Чалмерса о вере в сознание не обосновано тем, что это результат процесса, систематически выдающего верные убеждения, поскольку зомби-двойник пишет те же труды в результате того же систематического процесса — и ошибается.

Чалмерс признает это и, на самом деле, объясняет в своей книге каждый довод очень подробно. Так получается, Чалмерс прочно доказал, что его вера в эпифеноменальное сознание не обоснована? Нет, он пишет:

Опыт сознания находится в центре нашей эпистемологической вселенной; у нас есть прямой доступ к нему. Отсюда вопрос: что, как не причинная связь с этим опытом и не механизмы формирования убеждений, обосновывает наше доверие к этому опыту? Думаю, ответ ясен: обладание опытом обосновывает доверие к нему. Например, сам факт, что у меня есть опыт красного, обосновывает мое убеждение, что у меня есть опыт красного…

Поскольку мой зомби-двойник лишён опыта, его эпистемологическая ситуация сильно отличается от моей, и его суждения лишены соответствующего обоснования. Тянет возразить, что, если мое убеждение относится к области физического, его обоснование также должно относиться к этой области — но это non sequitur8. Из отсутствия обоснований в области физического можно сделать вывод, что не обосновано убеждение моей физической части (скажем, мозга). Но вопрос в том, обосновано ли мое убеждение, а не убеждение моего мозга — ведь, если дуализм свойств верен, то я — нечто большее, чем мой мозг.

Итак — если я верно понял этот тезис — есть «подлинный я», где-то за пределами моего мозга, который верит, что он не зомби, и непосредственно ощущает опыт зомби-небытия — и это обосновывает его веру.

Но Чалмерс лишь написал все это в своей очень даже физической книге, и то же сделал Чалмерс-зомби.

Чалмерс-зомби не смог бы написать книгу благодаря тому, что за пределами мозга есть «подлинное зомби-я» — должна быть совершенно иная причина в рамках законов физики.

Следовательно, даже если существует скрытая часть Чалмерса, сознающая и верящая в сознание прямо и непосредственно, также существует отделимое подпространство Чалмерса — закрытая для причинности познающая подсистема, действующая всецело в рамках физики — именно это «внешнее я» проговаривает чалмерсово внутреннее повествование и пишет труды о сознании.

Не вижу способа избежать обвинения, что, исходя из его же собственной теории, этот отделимый внешний Чалмерс сошёл с ума. Это часть Чалмерса, которая одинакова в этом мире и в Мире зомби, и в каждом из миров она пишет философские труды о сознании без веских причин. Его философские труды не исходят из внутреннего ядра осведомлённости и убеждения в осведомлённости, они исходят из обычной физики внутреннего повествования, которое заставляет пальцы Чалмерса нажимать на клавиши компьютера.

И этот безумный внешний Чалмерс пишет философские труды, которые вдруг оказываются совершенно верными, по отдельной и дополнительной чудесной причине. Чудо не является логически необходимым (тогда был бы логически невозможен и Мир зомби). Это физически возможное чудо, которое оказывается верным в том, что мы полагаем нашей вселенной, даже несмотря на то, что наука не может различить нашу вселенную и Мир зомби.

Или по меньшей мере так покажется исходя из того, что говорит нам безумный, по его собственному признанию, внешний Чалмерс.

Думаю, я говорю за всех редукционистов, когда произношу: «Э-э-э…?»

Это не эпициклы. То есть: «Движение планет следует этим эпициклам — но эпициклы на самом деле ничего не делают — что-то ещё, что я не могу объяснить, движет планеты так, как это описывают эпициклы — и, я бы сказал, даже если б не было никаких эпициклов».

У меня нестандартный взгляд на философию, поскольку я смотрю на всё глазами разработчика ИИ; конкретнее — самосовершенствующегося сильного ИИ со стабильной структурой мотивации.

Когда я думаю о разработке ИИ, я рассматриваю такие принципы, как теория вероятности, байесовы представления о свидетельстве как дифференциальной диагностике и, прежде всего, согласованность мышления. Любой самосовершенствующийся ИИ, начинающий работу в состоянии несогласованного мышления, долго не протянет.

Допустим, что самосовершенствующийся ИИ обратится к той части себя, которая выводит «Б» из при наличии А — то есть, записывает в память «Б», если истинно условие А. Исследовав эту часть, ИИ определяет, каким образом она (причинно) действует в контексте большей вселенной, и решает, что эта часть систематически записывает в память ложные данные. В этом случае ИИ обнаружил нечто, похожее на баг, и изменит себя так, чтобы не записывать «Б» в область убеждений при наличии А.

Любая эпистемологическая теория, не принимающая во внимание согласованность мышления — не лучшая теория, чтобы строить на её основе самосовершенствующийся ИИ. С моей точки зрения, это сокрушительный аргумент, принимая во внимание, для чего я на самом деле собираюсь применять философию. Так что, в любом случае мне придётся разработать теорию, предусматривающую согласованность мышления. И когда я это сделаю — ей-богу, согласованность мышления обретёт интуитивно понятный смысл.

Таков необычный аспект, в котором я предполагаю рассматривать все эти вопросы. А теперь вернёмся к Чалмерсу.

Причинно замкнутый «внешний Чалмерс» (на которого никак не влияет «внутренний Чалмерс» со своими отдельными, дополнительными знаниями и убеждениями) должен осуществлять некое систематически ненадёжное, недозволенное действие, которое необъяснимым образом побуждает внутреннее повествование порождать убеждения о «внутреннем Чалмерсе» — правильные без какой-либо на то причины, логичной в нашей вселенной.

Но у внешнего Чалмерса или *любого ИИ с последовательным мышлением и самодиагностикой *нет возможных оснований, чтобы верить в эту чудесную правильность. Хорошо спроектированный ИИ, думаю, выглядит как последовательно мыслящий разум, воплощённый в системе причинности, с проверяемой теорией того, как эта система причинности систематически порождает точные убеждения, решая при этом поставленные перед ней задачи.

Итак, ИИ вглядится в Чалмерса и увидит познавательную систему с замкнутыми причинными связями, выдающую бессмысленное внутреннее повествование. Бессмыслица, по-видимому, существенно влияет на то, что, по мысли Чалмерса, должно считаться морально целостной личностью.

Эту проблему не нужно решать теоретикам дружественного ИИ — сложность возникает, лишь если вы эпифеноменалист. Если верить редукционистам (сознание возникает в пределах атомарной структуры, или вещественным дуалистам (сознание представляет собой причинно действенную нематериальную сущность), говорящий о сознании говорит о чем-то реально существующем, и последовательно мыслящий байесианский ИИ может понять это, отследив цепь причин, побуждающих человека говорить о «сознании».

По Чалмерсу, познавательная система с замкнутыми причинными связями, порождающая чалмерсово внутреннее повествование, работает с (таинственными) искажениями, поскольку чудесным образом — не с необходимостью, а случайно и только в нашейвселенной — выдаёт верные ответы. Более того, внутреннее повествование утверждает, что «внутреннее повествование, работает с (таинственными) искажениями, но чудесным образом верно отражает обоснованные представления эпифеноменального внутреннего ядра»

Да неужели!

Не пора ли вам уже отбросить эту идею? Не пора ли, на самом грубом интуитивном уровне, прийти к мысли: «О чем я только думал?»

Человечество накопило обширный опыт того, как выглядят верные представления о мире. Они выглядят совсем не так.

«Аргумент от недоверия», — вы говорите. Отлично, вы хотите, чтобы я это сказал? Указанная чалмерсианская теория заявляет о множественных необъяснимых сложных чудесах. Это обрушивает её изначальную вероятность, согласно правилу конъюнкции вероятностей и бритве Оккама. Следовательно, над ней берут верх, самое малое, две теории, которые предусматривают меньше чудесного, а именно:

  1. вещественный дуализм:
  • «существует еще не понятая материя сознания, необычайная сверх-физическая материя, которая оказывает видимое воздействие на наш мир; именно эта материя побуждает нас говорить о сознании».
  1. Не-вполне-основанный-на-вере редукционизм:
  • так называемое «сознание» возникает в рамках физики не понятым пока образом, в точности как последние три тысячи раз, когда человечество сталкивалось с чем-то таинственным.

  • интуитивное представление, что вещество не может, теоретически, быть частью сознания, — неверно. Точное знание причин, почему вы можете рассуждать о сознании, могло бы подтолкнуть вас к пониманию вещей, о которых вы не имеете пока никакого представления; и впоследствии вы бы осознали, что ваши доводы о том, что в физике нет места сознанию, имели изъян.

Сравните с эпифеноменальным дуализмом свойств:

  • У вещества есть дополнительные свойства, обусловленные сознанием, которые мы пока не понимаем. Эти свойства эпифеноменальны по отношению к экспериментальной физике — они не воздействуют на движение частиц.

  • Отдельно существует ещё не понятая физическая причина, по которой философы могут говорить о сознании и выдумывать теории двойных свойств.

  • Чудесным образом, когда философы говорят о сознании, законы сопряжения с нашим миром в точности таковы, что рассуждения о сознании оказываются верными, хотя они и возникают вследствие неисправности (логически не допустимых выводов) в познавательной системе с замкнутыми причинными связями, которая строчит философские труды.

Знаю, что мои слова основаны на ограниченном опыте. Но исходя из моего ограниченного опыта «Спор о зомби» может быть кандидатом на самую безумную идею в философии.

Временами вы как рационалист вынуждены верить в вещи, кажущиеся вам странными. Странными кажутся относительность, квантовая механика, естественный отбор.

Но эти странности подкреплены солидными свидетельствами. Есть разница между верой в что-то странное, но в полной мере подтверждённое наукой…

…и верой в утверждение, которое кажется совершенно безумным, поскольку большой сложный философский спор крутится вокруг неопределённых чудес и громадных слепых пятен, даже не претендующих на постижимость…

…и даже после того, как вы примете на веру все, что вам говорят, явление все ещё будет казаться тайной и останется таким же удивительно непроницаемым, каким было изначально.

Если бы все аргументы Дэвида Чалмерса по отдельности казались правдоподобными — а они таковыми мне не кажутся — то рационалисту уместно было бы сказать:

«Ладно… Признаю, что не знаю, как работает сознание… может, я неверно подхожу к проблеме как таковой или задаю неверные вопросы…но эта тема с зомби не может быть здравой. Аргументы недостаточно хорошо стыкуются, чтобы вынудить меня во все это поверить — особенно когда я понимаю, что не стану оттого менее озадаченным. На уровне чутья, она просто не похожа на то, как действительность могла бы работать на самом-самом деле

Обратите внимание, я не говорю, что это заменит аккуратное аналитическое опровержение тезиса Чалмерса. Система 1 не заменит Систему 2, хотя она может направить к цели. Вам все же придётся найти, в чем именно загвоздка.

Чалмерс написал толстую книгу, не полностью доступную в бесплатном анонсе Гугла. Я не воспроизвёл длинные цепи аргументов, которые Чалмерс обстоятельно выдвигает против себя. Я лишь взялся за окончательное опровержение последних доводов Чалмерса в свою защиту, которые он ещё не противопоставил моим знаниям — чтобы загнать мяч на его поле, где он и был.

Но на глубинном уровне — да, при виде аргументов в пользу зомби разумно сказать: «Это не может быть верно», — и начать поиск ошибки.

  • 1. Понятие «чемпион» (steel man) используется, когда обращаются к наиболее сильной форме позиции или аргумента противника. «Чучело» (straw man)- это искажение позиции или аргумента оппонента с тем, чтобы их было легко опровергнуть. — Прим.перев.
  • 2. Боковое коленчатое ядро — одно из двух клеточных ядер таламуса, расположенных на концах каждого из оптических трактов, из которых зрительные пути идут к полосатой области затылочной коры. — Прим.перев.
  • 3. NP — класс задач, решения для которых можно быстро проверить. NP-полная задача — задача, умея решать которую, можно решить любую NP-задачу. — Прим.перев.
  • 4. Теория первого порядка — теория, в которой можно формулировать утверждения про объекты ее модели, но не про множества объектов. — Прим.перев.
  • 5. Holodeck — Holographic Environment Simulator (Голографический симулятор окружающей среды) — система виртуальной реальности для экипажей космических кораблей вселенной Star Trek. — Прим.перев.
  • 6. Chalmers, The Conscious Mind.
  • 7. Qualia (квалиа) — термин, используемый в аналитической философии сознания для обозначения сенсорных, чувствительных явлений любого рода. В более точных философских терминах квалиа — это свойства чувственного опыта. — Прим.перев.
  • 8. С лат. — »не вяжется» https://ru.wikipedia.org/wiki/Non_sequitur – Прим.перев.
Перевод: 
Son_goku
Номер в книге "Рациональность: от ИИ до зомби": 
221
Оцените качество перевода: 
Средняя оценка: 3.9 (22 votes)

Замечания про зомби

Элиезер Юдковский

Я сегодня немножко не в форме, потому что вчера до трёх утра писал эссе о зомби почти на шесть тысяч слов, поэтому сегодня лишь отвечу Ричарду и заполню вновь замеченный пробел.

(А) Ричард Чаппелл пишет:

Замечание по терминологии (во избежание ненужного замешательства): то, что вы называете «мыслимым», другие назовут всего лишь «по-видимому мыслимым»

Разница между «я пока не вижу противоречий» и «это логически возможно» настолько велика (это NP-полная задача даже в некоторых кажущихся простыми случаях), что полезно иметь для этого два разных термина. Поскольку спор о зомби разросся настолько, что эта огромная разница может быть погребена под грудой мелких терминологических отличий, я считаю, что будет правильно говорить «мыслимо» вместо «логически возможно», или даже сделать ещё более заметное различие. Я не могу подобрать серьёзный термин, который уже устоялся, а в данном случае, предпочёл бы вообще не использовать таковой.

Возможно, я буду говорить «по-видимому мыслимо» в отношении такой информации, которую сторонники зомби получают, воображая Миры Зомби, а «логически возможно» в отношении такой информации, которая возникает после представления завершенной модели или логического доказательства. Обратите внимание на разницу между информацией, которую можно получить, закрыв глаза и представив себе зомби, и информацией, которая необходима для построения аргумента к тезису эпифеноменализма.

Таким образом, вашу позицию можно отнести к материализму типа А, а именно: зомби (поистине) немыслимы, не говоря уже о метафизической возможности.

Материализм типа А — это большой пакет. Не следует сопоставлять этот пакет со мной, пока не увидите, что я согласен с каждой его частью. Я считаю, что задающийся вопросом «Что есть сознание?», задаёт правомочный вопрос и движим жаждой откровения. Вовсе необязательно, ответ будет похож на «Вон та штука, обладающая всеми свойствами, которые обычно присущи сознанию по тем-то и тем-то причинам». Но ответ может в какой-то степени состоять из озарений, которые приведут к пониманию, что сам вопрос был задан неверно.

Всё это не про одно лишь сознание. Всё это про реалистичные ожидания того, какие озарения могут возникать при столкновении с задачей, которая (1) кажется, будто должна иметь какое-нибудь решение, (2) кажется, будто не может иметь никаких решений и (3) обсуждать её приходится с опорой на не до конца понятную ad-hoc модель человеческого мышления.

(1) Насколько я могу судить, вы до сих пор не установили какого-либо логического противоречия в описании мира зомби. Вы лишь указали, что он типа странный. Однако существует множество возможных чудных миров. Это не причина постулировать внутреннее противоречие. Поэтому мне до сих пор совершенно не ясно, о каком таком противоречии шла речь.

Хорошо, я распишу всё с позиции материалиста:

  1. Мир зомби, по определению, содержит все части нашего мира, которые входят в замыкание множества наблюдаемых явлений относительно связей «вызвано тем-то» или «является эффектом того-то». В частности, это замыкание содержит причину моего зримого высказывания «я мыслю, следовательно, существую».

  2. Если я сосредоточу внутренний взор на своём внутреннем взоре, то впоследствии замечу, как мой внутренний рассказчик скажет: «я сосредотачиваю свой внутренний взор на своём внутреннем взоре» и при желании могу произнести это вслух.

  3. Интуитивно кажется, будто эта моя внутренняя сосредоточенность заставляет внутреннего рассказчика произносить определённые вещи, а внутренний рассказчик может заставить мои губы произносить некоторые вещи.

  4. Слово «сознание», если оно вообще что-либо значит, отсылает к тому-что-есть или к тому-что-есть-причина или к тому-что-заставляет-меня-говорить-что-у-меня-есть внутренний взор.

  5. Из пунктов 3 и 4 должно следовать, что если мир зомби замкнут и включает в себя причины, которые заставляют меня говорить «я мыслю, следовательно, существую», тогда мир зомби содержит нечто, на что мы ссылаемся, когда говорим про «сознание».

  6. По определению, мир зомби не содержит сознания.

  7. Мне кажется, что пункт 3 весьма вероятно должен быть эмпирически истинным. Поэтому я присваиваю высокую вероятность тому, что мир зомби логически невозможен.

Мир Зомби можно спасти, дозволив чему-то иному, а не сознанию, быть той причиной, вынуждающей моего внутреннего рассказчика говорить «я мыслю, следовательно, существую». В сочетании с допущением, что сознание всё же существует, эта мысль кажется мне чокнутой.

Но если всё вышеуказанное мыслимо, то разве нельзя помыслить себе и Мир Зомби?

Нет, ведь в этих двух способах конструирования Мира Зомби слово «сознание» будет отсылать к эмпирически различающимся референтам — как слово «вода», означающая H2O в нашем мире, и XYZ на патмэновской Земле-Двойнике1. Для того, чтобы Мир Зомби был логически возможен, недостаточно заявить, учитывая накопленные нами знания об устройстве эмпирического мира, что слово «сознание» может отсылать к некоторому эпифеномену, совершенно непохожему на сознание, которое известно нам. В Мире Зомби отсутствует сознание, а не «сознание» — это мир без H2O, а не мир без «воды». Именно это необходимо для поддержания эмпирического утверждения: «Можно удалить нечто, подразумеваемое под словом ”сознание” из нашего мира, оставив все атомы на том же месте».

Иначе говоря: я считаю эмпирическим фактом, что если выяснить, к чему на самом деле отсылает слово «сознание», то логически невозможно удалить сознание, не потревожив при этом ни единого атома. Я не собираюсь рассуждать, что будет означать удаление из мира «сознания», а не сознания.

(2) Заявление, что соответствие наших квалий физическому миру «чудесно» (с точки зрения вещественного дуалиста), вызывает путаницу. В конце концов, это то, что гарантируется законами природы. Это не более чудесно, чем любая другая логически связная закономерная необходимость (например, значения констант в наших законах физики).

Утверждать, что законы природы «чудесны» сами по себе — значит вводить дополнительный сложный и невероятный элемент теории, который не опирается на то, что мы уже знаем. Постулируются, (а) сознательный внутренний мир, (б) неисправный внешний мир, который беспричинно рассуждает о сознании, и (в) что оба мира идеально сосуществуют. Утверждение (в) не следует из (а) и (б), следовательно, это отдельный постулат.

Согласен, что такое использование слова «чудесный» конфликтует с философским пониманием нарушения законов природы. Я использовал его в смысле возникающей из ниоткуда невероятности, как в убеждении о вечном двигателе. В данном контексте это неподходящее слово. Но разве мы не должны интуитивно называть вещи такого рода чудом? Не сознание заставляет вас говорить, что вы обладаете сознанием, а отдельная физическая штуковина, и существует закон, который приводит эти две вещи в соответствие друг другу. Это ведь так же упорото, как печенье, которое заменяет плоть Христа, но при этом выглядит и ведёт себя точь-в-точь как печенье. Это закон природы такой, гарантирующий соответствие двух вещей, понимаете?

Таким образом, Зомби (или «Внешний») Чалмерс фактически не делает никаких выводов, поскольку его разглагольствования бессмысленны. И уж тем более он не делает каких-либо безосновательных выводов. Он просто производит звуки, не более достойные эпистемической оценки, чем пение птиц.

С позиций разработчика ИИ, мне кажется, должна быть возможность создать ИИ, который будет систематически улучшать ту внутреннюю часть себя, которая коррелирует (в терминах общей информации и системных отношений) с окружающей средой, возможно, используя числа с плавающей точкой для выражения того, что я обычно называю «вероятностью», коль скоро они подчиняются внутренним правилам, заданным теоремами Коха, когда ИИ встречается с новой информацией. То есть, прошу прощения, с новыми чувственными вводными.

Вы можете заявить, что до тех пор, пока ИИ это всего лишь транзисторы — до тех пор, он не обладает дуальностью — у ИИ нет убеждений.

Я считаю, что достаточно ясно высказался на эту тему в «Простой истине».

Мне кажется очевидным создавать карты, которые систематически коррелируют с территориями, не обращаясь ни к чему, кроме чистой физической причинности. Допустим, один ИИ создаёт карту Техаса. Другой ИИ пролетает с этой картой над Техасом и проверяет, что шоссе расположены в указанных местах и издаёт сигнал «Истина», обнаружив соответствие и «Ложь», обнаружив несоответствие. Можно отказаться называть это «картой Техаса», но ИИ продолжат подавать сигналы «Истина» или «Ложь». Рассмотрев убеждения Чалмерса об эпифеноменальном внутреннем ядре, вышеупомянутые ИИ дадут сигнал «Ложь», а я с ними соглашусь.

Очевидно, что карту реальности строит исключительно Внешний Чалмерс. Убеждения создаются исключительно байесовской структурой на основе причинно-следственных связей. Внутреннему Чалмерсу остаётся лишь освящать происходящее эпифеноменальной значимостью. И «значимость» здесь никак не связана с отношениями между картой и территорией или с возможностью использовать карту для перемещений по реальности. Поэтому, когда речь заходит о «точности», не говоря уже о «систематической точности», мне кажется, мы можем ориентироваться исключительно на Внешнего Чалмерса.

(Б) Во вчерашнем тексте я оставил допущение, когда писал:

Допустим, что самосовершенствующийся ИИ обратится к той части себя, которая выводит «Б» из при наличии А — то есть, записывает в память «Б», если истинно условие А. Исследовав эту часть, ИИ определяет, каким образом она (причинно) действует в контексте большей вселенной, и решает, что эта часть систематически записывает в память ложные данные. В этом случае ИИ обнаружил нечто, похожее на баг, и изменит себя так, чтобы не записывать «Б» в область убеждений при наличии А.

Однако нет совершенно никакой гарантии, что внешний Чарлмерс или иной рефлексивно согласованный самосовершенствующийся ИИ поверит в эту загадочную правильность. На мой взгляд, хорошо спроектированный ИИ будет рефлексивно согласованным интеллектом, который обладает проверяемой теорией собственной работы как каузальной системы, а следовательно — проверяемой теорией того, как такая каузальная система производит систематически точные убеждения на пути к достижению своих целей.

По сути, необходимо ещё одно допущение, а именно, что «хорошо спроектированный ИИ» (по крайней мере, в моём представлении) модульно рассуждает о собственной рациональности. То есть он обеспечивает свою общую рациональность через обеспечение локальной рациональности. Если обнаружен элемент, который в собственном контексте систематически ненадёжен локально — то есть из набора возможных убеждений «Бi» и условий Аi, в область убеждений добавляется некоторое «Бi» при локальном условии Аi и после рефлексии система показывает, что Бi ложно (или не точно, в случае вероятностных убеждений) при истинности локального условия Ai — то это баг. Такое модульное устройство позволит отслеживать проблемы и именно таким я вижу устройство ИИ первого поколения [Редакция от 2013: То, что я имел в виду здесь, обрело плоть и формализовано в разделе 6 статьи Tiling Agents for Self-Modifying AI.]

Идея в том, что если каузально замкнутая когнитивная система — например, ИИ, запрограммированный использовать только причинно действующие свои части, или ИИ, теория функционирования которого может быть проверена им самим, или внешний Чалмерс, который пишет философские статьи — верит, что у неё есть эпифеноменальное внутреннее «Я», то видимо она делает нечто систематически ненадёжное, поскольку она пришла бы к точно таким же выводам и в Мире Зомби. Разум, все части которого систематически локально надёжны в соответствующих контекстах, будет систематически надёжен в общем. Следовательно, разум, который ненадёжен в общем, содержит как минимум одну ненадёжную локальную часть. Поэтому, проверив свою локальную надёжность, каузально замкнутая когнитивная система обнаружит, что как минимум один шаг в рассуждениях при добавлении убеждения об эпифеноменальном внутреннем «Я» является ненадёжным.

Приглашаю философов указать на иные подходы, в которых разум может быть рефлексивно согласованным, и при этом не затрагивалось бы данное доказательство невозможности веры в зомби.

Всё это нужно было отметить для того, чтобы показать, что иначе можно остановиться на весьма низкокачественной рефлексивной согласованности, в которой ИИ никогда не назовёт себя ненадёжным. Например, если ИИ обнаружит часть себя, которая вычислит $ 2 + 2 = 5$ (в контексте подсчёта овец), то он помыслит: «Так, эта часть работает неправильно и утверждает, что $ 2 + 2 = 5$… однако, какое совпадение, $ 2 + 2 $ и в самом деле равно $5$, или мне так кажется… так что, даже не смотря на кажущуюся систематическую ненадёжность данной части, лучше бы сохранить её как есть, иначе не удастся правильно обработать этот особый случай.» Поэтому я говорю об обеспечении общей надёжности через обеспечение локальной систематической надёжности — если просто сравнивать убеждения в общем с убеждениями в общем, проку не будет.

Отсюда можно извлечь урок: Показывай общую надёжность своих суждений демонстрируя локальную надёжность каждого отдельного шага. Избегай простого сравнения выводов суждения со своей интуицией [Редакция от 2013: обсуждение факта, что валидная логика является валидной локально, ищите в заметке Proofs, Implications, and Models]

(В) Анонимный комментарий:

Оффтоп: мне кажется, что используемая вами этимология слова «н’шама» неверна. Оно связано со словом, обозначающим «дышать», а не «слышать». Корень слова «слышать» содержит букву айин, а н’шама — нет.

Вот что я называю удивительно обманчивым совпадением — несмотря на то, что слово Н’Шама всплыло из совершенно иных соображений, его звучание заставило меня считать, будто оно отсылает к внутреннему слушателю.

Упс.

Перевод: 
ildaar, sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
222
Оцените качество перевода: 
Средняя оценка: 4.8 (5 votes)

Обобщённый принцип против зомби

Элиезер Юдковский

Пользуясь каждой найденной истиной для нахождения новых.
Рене Декарт, «Рассуждение о методе».1

«Зомби» — это гипотетические создания, идентичные нам на атомном уровне, которые подчиняются тем же наблюдаемым физическим законам, что и мы. Разница лишь в том, что у них нет сознания.

Хотя философия — это сложно, основной довод против зомби прост: если сосредоточить свой внутренний взор на своём внутреннем взоре, то внутренний рассказчик (тихий голос в голове, проговаривающий мысли) вскоре скажет: «я осознаю, что я осознаю», после чего фраза произносится вслух, затем набирается на клавиатуре компьютера и появляется доступный внешнему наблюдателю пост в блоге.

Сознание, чем бы оно ни было — веществом, процессом, обозначающим замешательство словом — не является эпифеноменом. Разум может заметить внутреннего слушателя в момент слушания и произнести услышанное вслух. Сам факт того, что я набрал этот абзац, по крайней мере кажется опровергающим идею, будто бы у сознания отсутствуют экспериментально различимые последствия.

Не хотелось бы говорить «Так что давайте примем это как данность и продолжим» по отношению к столь спорному философскому вопросу, но кажется, подавляющее большинство комментаторов блога Overcoming Bias готовы с этим согласиться. Кроме того, есть и другие выводы, к которым можно прийти только приняв невозможность удалить сознание так, чтобы вселенная казалась точно такой же, как и прежде. Так что давайте примем это как данность и продолжим.

Форма довода против зомби подсказывает, что его можно обобщить до принципа против зомби. Но как же сделать правильное обобщение?

Допустим, кто-то говорит: «Я держу переключатель, который никак не влияет на твой мозг, но если я нажму на кнопку на нём, то твоё сознание исчезнет». Структура аргумента та же самая, справится ли с ним принцип против зомби?

Кажется, что в приведённом выше случае, ответ — «да». В частности, можно утверждать: «Даже после нажатия на кнопку, я продолжу говорить о сознании по тем же самым причинам, что и до нажатия. Если сейчас я обладаю сознанием, то я продолжу обладать им и после нажатия на кнопку».

Философы могут возразить: «Постойте, вы ведь приравниваете сознание и разговоры о сознании! А как быть с Повелителем Зомби — чатботом, который изрыгает перетасованные куски корпуса текстов из любительских рассуждений о сознании?»

Однако я не ставил знак равенства между «сознанием» и вербальным поведением. Основной тезис в том, что настоящий референт «сознания», помимо прочего, является той причиной, по которой люди говорят о внутренних слушателях.

Как я уже (довольно подробно) высказался в цепочке о правильном использовании слов, мы не всегда стремимся при определении слова получить идеальное необходимое-и-достаточное определение по Аристотелю. Иногда нам нужно что-то вроде карты сокровищ, которая приведёт к внешнему референту. Так что, «то, что на самом деле заставляет меня говорить о невыразимой осознанности» — это не необходимое-и-достаточное определение. Но если то, что на самом деле является причиной, по которой я рассуждаю о невыразимой осознанности, не является «сознанием», тогда…

… тогда сам дискурс становится тщетным. Это больше не сногсшибательный довод против зомби — эмпирические вопросы не решаются сложностью дискурса. Однако, при попытке пренебречь принципом против зомби, возникнут проблемы не только с благовидностью дискурса, но и с его смыслом.

Может, определим слово «сознание» как «то, что вызывает у людей разговоры о ”сознании”»? У такого подхода есть огромное преимущество — он гарантирует, что слово «сознание» означает как минимум один реальный факт. Даже если наши убеждения о сознании являются заблуждением, «сознание» будет означать ту когнитивную структуру, которая породила это заблуждение. Однако, утвердив определение мы лишь договариваемся использовать слово последовательно. Это не решает эмпирических вопросов, например: «вызывает ли внутренняя осознанность разговоры о внутренней осознанности?»

Вернёмся к переключателю.

Если допустить, что довод против зомби применим по отношению к примеру с переключателем, то обобщённый принцип против зомби не может гласить просто: «Любое изменение, которое не является в принципе экспериментально обнаружимым (впэо), не может удалить ваше сознание». Нажатие на кнопку экспериментально обнаружимо, однако оно вряд ли удалит сознание.

Быть может, принцип против зомби гласит: «Любое изменение, которое не влияет на вас любым впэо способом, не может удалить ваше сознание»?

Но есть ли у нас основания утверждать, что нажатие на кнопку не влияет на вас никаким впэо способом? Каждая частица переключателя взаимодействует с частицами вашего тела и мозга. Существуют гравитационные эффекты - незначительные, но реальные и впэо. На расстоянии 10 метров гравитационное притяжение переключателя массой в один грамм составит примерно $6×10^{−16} м/с^2$. То есть, около половины диаметра нейтрона в секунду в секунду — гораздо меньше теплового шума, но гораздо выше планковского уровня.

Можно было бы удалиться на расстояние в пару световых лет и нажимать на кнопку оттуда. В таком случае нажатие не оказывало бы на вас мгновенного эффекта (что бы ни означало «мгновенный» в данном случае) (при допущении, что стандартная модель физики верна).

Вряд ли стоит менять из-за этого постановку нашего мысленного эксперимента. Даже если ни к чему не подключенный переключатель находится с вами в одной комнате, то не стоит ожидать, что внутренний слушатель исчезнет после нажатия на кнопку, ведь переключатель «очевидно не затрагивает» того, что является истинной причиной ваших разговоров о внутреннем слушателе. Чем бы вы не являлись, вы не ожидаете, что переключатель с этим провзаимодействует.

Это большой шаг.

Если вы отрицаете, что этот шаг является обоснованным, то лучше бы вам впредь держаться подальше от переключателей. И всё-таки, это большой шаг.

Главная идея редукционизма в том, что наши карты реальности — многоуровневые, что помогает экономить вычислительные ресурсы, но сама реальность, по всей видимости, строго одноуровневая. Весь наш дискурс об устройстве вселенной оперирует понятиями, находящимися гораздо выше уровня элементарных частиц.

Переключатель всё-таки меняет состояние элементарных частиц в теле и мозге. Он отталкивает их на расстояние, сравнимое с диаметром нейтрона, от того места, где они иначе бы находились.

В повседневной жизни мы пренебрегаем столь малыми изменениями со словами, что переключатель «не оказывает влияния». Но это не так. Он всё меняет аж на диаметр нейтрона! Что вообще может остаться прежним после этого? Только те описания, которые соответствуют более высоким уровням организации — клеткам, белкам и импульсам, пробегающим по аксонам нейронов. Поскольку карта гораздо менее подробна, чем территория, то приходится обозначать множество разных состояний одной точкой.

Любое правдоподобное описание мозга человеком в терминах нейронов и шаблонов активности (или даже структур отдельных микротрубочек, составляющих аксоны и дендриты) останется неизменным после нажатия на кнопку в той же комнате. Ядра больше, чем нейтроны; атомы больше, чем ядра. Когда вы дошли до молекулярного уровня, то крохотная гравитационная сила уже исчезла из списка того, за чем вы продолжаете следить.

Однако если сложить достаточно большое число гравитационных сил, то в какой-то момент их сумма выдернет вас из комнаты и разорвёт на части, так что маленький эффект это не полное отсутствие эффекта.

Но может быть, эта крохотная сила притяжения по удивительному совпадению притянет один дополнительный ион кальция ближе к ионному каналу, что приведёт к чуть более быстрому взаимодействию, чем обычно, что приведёт к появлению целого нейронного импульса, которого в противном случае не должно было быть, который повлечёт за собой цепочку мыслей, которые вызовут эпилептический припадок, который убьёт вас и лишит сознания…

Если сложить множество маленьких количественных эффектов, то получится большой количественный эффект — достаточно большой, чтобы повлиять на что угодно. Поэтому не стоит утверждать, что переключатель буквально не никакого оказывает влияния.

Однако сила воздействия одного-единственного переключателя значительно меньше термодинамической неопределенности, не говоря уже о квантовой неопределенности. И раз уж мы не ожидаем, что сознание будет пропадать и появляться под действием хаотического теплового колебания частиц, то определённо не стоит ожидать, что оно исчезнет из-за чьего-то чиха вдалеке.

Внимательный байесианец заметит, что я только что сделал утверждение об ожиданиях, состояниях знания, обоснованных убеждениях относительно вещей, которые способны или не способны выключать сознание.

Вовсе необязательно, что это разрушит довод против зомби. Вероятности не являются несомненными фактами, однако законы вероятности являются теоремами. Когда рациональность показывает, что нельзя верить во что-либо при данной информации, то это не предположение, а закон.

И всё же, такая формулировка довода против зомби слабее. В ней нет ясной, понятной и совершенно однозначной установки вида: «невозможно удалить сознание, оставив все атомы на точно тех же местах.» (Вместо «все атомы» можно сказать «все причины, приводящие к в принципе экспериментально обнаружимым эффектам», а вместо «те же места» — «та же волновая функция», и так далее)

Однако, новая формулировка довода против зомби по прежнему применима. Можно сказать: «Я не знаю, что такое сознание и допускаю, что я полностью заблуждаюсь в данном вопросе. Но если это слово хоть чему-то соответствует, то это что-то, помимо прочего, является и причиной, по которой я говорю о сознании. Я не знаю, почему я говорю о сознании, но это происходит внутри моего черепа и я ожидаю, что это как-то связано с генерацией нейронных импульсов. Возможно, если бы я на самом деле понял сознание, я бы сейчас говорил о ещё более базовых вещах, вроде микротрубочек или распылённых в синаптических щелях нейромедиаторов. И тем не менее, уровень влияния на нейромедиаторы и микротрубочки от нажатия на кнопку на том самом переключателе будет существенно ниже, чем тепловой шум при температуре 310K. Поэтому, чем бы ни была истинная причина разговоров о сознании, я не ожидаю, что гравитационное притяжение переключателя окажет на это громадное влияние. Возможно, это будет крохотно бесконечно малое влияние. Но я точно не ожидаю исчезновения сознания. Я ожидаю, что буду продолжать говорить о сознании почти точно тем же самым образом и по почти точно тем же самым причинам.»

Такое применение принципа против зомби — слабее. Но, в то же время, оно гораздо более общее. А ещё оно верно с позиции простого здравого смысла.

Вообще-то, есть две разные версии вышеуказанного утверждения, одно для редукциониста и другое для вещественного дуалиста. Редукционист добавит к сказанному: «Что бы не заставляло меня говорить о сознании, скорее всего, наиважнейшие части этого работают не на уровне ядер атома, а на гораздо более высоком уровне. Если понять сознание, то можно абстрагироваться от работы отдельных нейронов и говорить о высокоуровневых когнитивных структурах, но сохранить способность описывать то, как возникают мысли вроде ”я мыслю, следовательно, существую”. Поэтому перемещение тел на расстояние, сравнимое с диаметром нейтрона, не должно влиять на моё сознание (за исключением, возможно, весьма малых вероятностей или весьма малых величин или только после существенных задержек до начала влияния).»

Вещественный дуалист добавит к исходному утверждению: «Что бы не заставляло меня говорить о сознании, оно выходит за рамки известной нам вычислительной физики, что возможно означает, что нужно принять во внимание квантовые эффекты. Однако моё сознание не пропадает и не появляется при каждом чихе вдалеке, иначе я бы это заметил. Это было бы похоже на выпадание из реальности на несколько секунд, или на ощущение пробуждения после общего наркоза, или может я периодически говорил бы ”я не мыслю, следовательно, не существую”. Поэтому, раз тепловые колебания не нарушают мою осознанность, то я не ожидаю, что к этому приведёт нажатие на кнопку.»

Так или иначе, не следует ожидать исчезновения осознанности при произнесении слова «Абракадабра», даже если это слово и окажет бесконечно малый физический эффект на мозг —

Но постойте! Когда вы слышите, что кто-то произнёс слово «Абракадабра», то это уже весьма заметное влияние на мозг — настолько большое, что даже мозг может это заметить. Это может изменить ваш внутренний нарратив — вы можете задуматься: «почему этот человек только что произнёс ”Абракадабра”?»

Однако, при этом вы ожидаете, что продолжите говорить о сознании почти точно тем же самым способом по почти точно тем же самым причинам.

Повторюсь, речь не о приравнивании «сознания» к «тому, что заставляет говорить о сознании». Речь о том, что сознание, помимо прочего, является причиной разговоров о сознании. Следовательно, то, что заставит сознание исчезнуть, должно заставить прекратить разговоры о сознании.

Если с вами сделать что-то такое, что, на ваш взгляд, никак не может повлиять на внутренний нарратив — тот самый голос в голове, который иногда говорит «я мыслю, следовательно, существую» и чьи слова вы, при желании, произносите вслух — то это не должно лишить вас сознания.

Это же верно, даже если внутренний нарратив останется «почти таким же» и причины его возникновения останутся почти такими же. Среди этих почти тех же самых причин находится нечто, что вы называете «сознанием».

Если вы не понимаете, к чему всё это и почему так важно столь подробно обсуждать казалось бы очевидный обобщенный принцип против зомби, представьте себе следующий разговор:

Альберт: Предположим, что я заменил все нейроны в вашей голове крохотными искусственными робо-нейронами, которые точно так же локально обрабатывают входные и выходные сигналы, обладают аналогичными внутренними состояниями и правилами обучения, а так же образуют те же самые связи.

Бернис: Это же ужасно! Я перестану быть существом, обладающим сознанием.

Чарльз: Ну, существо, обладающее сознанием, всё-таки останется, но это уже буду не я.

Сэр Роджер Пенроуз: Предлагаемый вами мысленный эксперимент невозможен. Нельзя воспроизвести поведение нейронов не столкнувшись с квантовой гравитацией. Поэтому не вижу смысла дальше участвовать в этом разговоре. (Уходит.)

Альберт: Предположим, что замена происходит по одному нейрону за раз и это происходит настолько быстро, что это не влияет на работу мозга в целом.

Бернис: Но как такое вообще возможно?

Альберт: Маленький робот подплывает к нейрону, окружает его, сканирует, учится воспроизводить его, а затем внезапно, в промежутке между импульсами, производит подмену. При этом имитация столь хороша, что внешнее поведение остаётся почти таким же, как в случае отсутствия вмешательства. Может быть не точно таким же, но влияние значительно меньше теплового шума при температуре 310K.

Чарльз: Ну и что?

Альберт: Разве твои убеждения не противоречат обобщенному принципу против зомби? Случись вышеописанное, это не изменило бы твой внутренний нарратив! Ты продолжила бы говорить о сознании по точно тем же самым причинам, что и раньше.

Бернис: Эти маленькие роботы являются Повелителем Зомби. Они заставят меня говорить о сознании, даже несмотря на то, что сознания у меня нет. Мир зомби возможен, если допустить присутствие внешнего, экспериментально обнаружимого Повелителя Зомби — тех самых роботов.

Чарльз: О, это не так, Бернис. Маленькие роботы не намерены имитировать фальшивое сознание и или выдавать строчки из корпуса человеческих текстов. Они делают всё то же самое, что и настоящие нейроны, просто сделаны из кремния, а не из углерода.

Альберт: Подожди, ты что, только что согласился со мной?

Чарльз: Я не говорил, что полученная личность не будет обладать сознанием. Я сказал, что это буду не я.

Альберт: Очевидно, что принцип против зомби достаточно общ для утверждения, что данная процедура не повлияла на истинную причину разговоров о вот этой «Я»-штуке.

Чарльз: Неа! Эта процедура совершенно точно повлияла на истинную причину моих разговоров о сознании. Она заменила одну причину другой — роботами. Поэтому, не смотря на то, что оказалось, что новая причина тоже обладает сознанием — т.е., говорит о сознании исходя из того же самого обобщенного принципа — это не означает, что это та же самая причина, что и раньше.

Альберт: Но мне даже не придётся сообщать тебе обо всей этой процедуре с роботами. Ты этого не заметишь. Если ты, основываясь на внутренних свидетельствах, считаешь, что ты на самом деле «та же личность», что и пять минут назад, а я сделаю что-то, что не изменит доступных тебе внутренних свидетельств, то твоё заключение о том, что ты та же самая личность, что и пять минут назад, будет столь же обоснованным, что и раньше. Разве обобщенный принцип против зомби не утверждает, что ты обязан как-то заметить, если я сделаю нечто, что изменит твоё сознание и тем более превратит в совершенно иную личность?

Бернис: Не замечу, если ты заменишь меня Повелителем Зомби. Тогда некому будет замечать.

Чарльз: Интроспекция не совершенна. В мозге происходит много такого, чего я не замечаю.

Альберт: Вы постулируете эпифеноменальные факты о сознании и идентичности!

Бернис: Вовсе нет! Я могу экспериментально определить разницу между нейронами и роботами.

Чарльз: Вовсе нет! Я могу экспериментально определить момент, когда новая личность заменит прежнего меня.

Альберт: Ну да, а я могу определить щелчок переключателя! Вы определите нечто, что не приводит к значимым переменам в истинной причине разговоров о сознании и идентичности. В подтверждение этому, вы будете говорить точно таким же образом и после подмены.

Бернис: Это всё из-за робо-Повелителя Зомби!

Чарльз: То, что два человека говорят об «личной идентичности» по схожим причинам, не делает их одной и той же личностью.

Я думаю, что обобщенный принцип против зомби подкрепляет позицию Альберта, но об этом в следующих эссе. Мне нужно ещё поработать над предпосылками, да и это эссе уже слишком длинное.

Но осознаёте ли вы важность вопроса: «Насколько сильно можно обобщить аргумент против зомби, чтобы он оставался действенным?»

От ответа на этот вопрос может зависеть облик будущих галактических цивилизаций…

  • 1. Пер. Г.Г. Слюсарева и А.П. Юшкевича — Прим. перев.
Перевод: 
sepremento, ildaar, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
223
Оцените качество перевода: 
Средняя оценка: 5 (4 votes)

Обобщённый принцип против зомби и гигантская таблица поиска

Элиезер Юдковский

В «Невообразимой нелепости зомби» Дэниел Деннетт пишет1:

Уже несколько философов заявили, что планируют принять мой вызов и выдвинуть неоспоримую защиту концепции зомби. Единственная известная мне на данный момент защита постулирует нечто фантастическое, но «логически возможное» и восходящее к придуманной Недом Блоком гигантской таблице поиска.

На жаргоне программистов гигантская таблица поиска — это реализация функции в виде гигантской таблицы аргументов и результатов, которая обычно вводится с целью сокращения вычислений. Например, для того, чтобы узнать результат произведения двух аргументов со значениями от 1 до 100, я могу реализовать алгоритм умножения, который будет вычислять результат каждый раз при вызове функции, а могу предвычислить гигантскую таблицу поиска из 10000 ячеек с двумя индексами. В некоторых случаях (умножение не в их числе) это имеет смысл: например, если аргументов у функции немного, а вызывать её придётся часто, либо если процессорное время обходится дёшево во время инициализации и очень дорого во время исполнения.

Гигантские таблицы поиска (ГТП) очень быстро становятся очень большими. ГТП, содержащая все возможные диалоги из двадцати реплик по десять слов каждая и использующая только базовый английский словарь на 850 слов, должна включать в себя $7,6×10^{585}$ записей.

Чтобы заменить мозг человека гигантской таблицей поиска всех возможных сенсорных входов и моторных выходов потребуется (по сравнению с какой-нибудь подробной схемой цифровой обработки сигналов) огромный объём памяти. Однако «в принципе», как любят говорить философы, это реализуемо.

ГТП не является зомби в классическом смысле, потому что отличается от человека на микрофизическом уровне. (По сути, ГТП и не может действовать на основе той же физики, что и человек — она слишком велика для нашей вселенной. Во имя философии мы проигнорируем этот факт и допустим наличие бесконечного объёма памяти).

Вообще, является ли ГТП зомби? То есть, ведёт ли она себя точно так же, как человек, не обладая при этом сознанием?

Язык ГТП-ированного тела говорит о сознании. Пальцы его пишут философские статьи. С какой стороны не посмотри, пока не заглянешь под крышку черепа, ГТП выглядит как человек… что определённо похоже на зомби: ведёт себя как человек, но внутри никого нет.

Если только сама ГТП не обладает сознанием, ведь в таком случае пример будет неподходящим.

Не помню, чтобы хоть кто-нибудь заявлял о наличии сознания у ГТП. (Признаюсь, что я не профессионал в этой области, поэтому не стесняйтесь меня поправлять.) Даже люди, обвиняемые в том, что они (о, ужас) функционалисты, не утверждают, что у ГТП есть сознание.

ГТП это доведённая до абсурда идея, что сознание — всего лишь схема входов и выходов, которая позволяет придерживающимся её не волноваться о том, что происходит внутри.

Что обобщенный принцип против зомби может сказать о гигантской таблице поиска?

На первый взгляд кажется, что ГТП это самый типичный Повелитель Зомби — отдельная, дополнительная, обнаружимая, бессознательная система, которая оживляет зомби и заставляет его говорить о сознании по чуждым ему причинам.

ГТП представляет из себя всего лишь простую компьютерную программу, сопоставляющую входы и выходы. В данном случае термин «простая компьютерная программа» будет даже переусложнением. ГТП это скорее ПЗУ, чем ЦПУ. Вместо «программы» можно точно с тем же успехом рассуждать про набор железнодорожных путей со стрелками, по которым вагоны перекатываются с одного места на другое и… Всё. Вот и всё, чем занимается ГТП.

Представитель организации «Люди за этичное обращение с зомби» заметит: «Ага, вот все вы анти-механисты так говорите! При взгляде на мозг вы видите лишь горстку нейромедиаторов, которые открывают ионные каналы, не так ли? Если ионные каналы могут обладать сознанием, то чем катящиеся вагоны и рычаги хуже?»

«Дело не в рычагах», — ответит функционалист, — «дело в том, что в ГТП заложена неправильная схема из рычагов. Требуются такие рычаги, которые реализуют, например, формирование убеждений об убеждениях или моделирование самих себя… Чёрт, да в конце концов нужна возможность записывать что-нибудь в память, чтобы вычислять процессы, протекающие во времени. Если только вы не считаете, будто бы можно запрограммировать сознание на Haskell».

«Я в этом не разбираюсь», — скажет представитель зомбизащитной организации, — «но зато знаю, что так называемые зомби пишут философские статьи на тему сознания. Что же порождает эти философские статьи, если не сознание?»

Отличный вопрос! Давайте рассмотрим его повнимательнее.

В физике существует такая игра, называется «Следи за энергией». Маленький Ричард Фейнман играл в неё с отцом:

Такие вопросы любил мой отец: «Что приводит это в движение? Да всё движется, потому что солнце светит». И мы бы веселились, обсуждая это.
— Нет, игрушка работает, потому что пружина заведена, — сказал бы я.
— А почему заведена пружина? — спросил бы отец.
— Я ее завёл.
— А почему ты можешь двигаться?
— Потому, что я ем.
— А пища получается только потому, что солнце светит.
Так родилось бы понимание того, что движение — это просто преобразованная солнечная энергия.2

Когда чуть подрастёшь, то узнаёшь, что энергию можно сохранять, но не создавать или уничтожать. Поэтому нет смысла вообще говорить о тратах энергии. Никоим образом нельзя изменить общее количество энергии, так в каком же смысле её можно потратить?

Подросшие физики учатся играть в новую игру под названием «Следи за негэнтропией» — это практически та же игра, что и раньше. Только правила более математичны, сама игра полезнее, а её принципы сложнее понять.

Рационалисты же учатся играть в продвинутую версию игры «Откуда ты знаешь?» под названием «Следи за невероятностью». Правило игры таково: каждое убеждение, которое кажется невероятным, требует соответствующего количества подкрепляющих свидетельств. (Правила этой игры поразительно похожи на правила «Следи за негэнтропией»).

Если кто-то нарушает правила игры рационалистов, то в его рассуждении можно обнаружить место, где некоторое количество невероятности возникает из воздуха. А это такой же признак проблемы, как и, скажем, хитроумное устройство из колёсиков и шестерёнок, способное к вечному движению.

Пусть некто подходит к вам и говорит: «Я твердо и несокрушимо верю, что в поясе астероидов находится объект сантиметров тридцати в поперечнике и полностью состоящий из шоколадного торта. И ты не сможешь доказать, что это невозможно.» Однако, если только у него нет доступа к некому свидетельству для этого убеждения, будет крайне невероятно, чтобы правильное убеждение возникло спонтанно. Значит, либо он может указать на это свидетельство, либо же убеждение не может оказаться верным. «Но ты не сможешь доказать, что мой мозг совершенно не способен спонтанно сформировать правильное убеждение!». Не смогу, однако появление такого внезапного убеждения является совершенно невероятным. Примерно как превращение яичницы в яйцо.

По правилам «Следи за невероятностью» считается крайне подозрительным даже упоминать какую-либо конкретную гипотезу, не обладая достаточным количеством свидетельств для сокращения пространства возможных гипотез. Почему вы не уделяете столько же внимания дециллиону других столь же вероятных гипотез? Чтобы выделить гипотезу «шоколадный торт в поясе астероидов» в пространстве гипотез, необходимо существенное свидетельство — в противном случае нет причин уделять ей больше внимания, чем триллионам других, вроде «В поясе астероидов находится деревянный комод» или «Летающего Макаронного Монстра стошнило на мои кроссовки».

Правилами «Следи за невероятностью» запрещается вытаскивать из рукава большую сложную конкретную гипотезу, не имея уже на руках соответствующего количества свидетельств, потому что будет нереалистично предполагать, кто-то начнёт излагать верную гипотезу по чистой случайности.

Философ говорит: «В черепе этого зомби находится гигантская таблица поиска со всеми входами и выходами некоторого человеческого мозга.» Это довольно-таки невероятно. Потому вы спрашиваете: «Как произошло это невероятное событие? Откуда взялась ГТП?»

Вообще, это не слишком-то похоже на стандартную процедуру философских мысленных экспериментов. Обычно дозволено вводить вещи вроде «Допустим, вы оседлали луч света…» и не переживать по поводу физической возможности, не говоря уже о какой-то там невероятности. Однако в нашем случае, происхождение ГТП имеет значение, а потому важно понимать основной вопрос: «Что является источником этой невероятности?»

Напрашивающийся ответ: кто-то взял вычислительную спецификацию человеческого мозга и с её помощью получил значения гигантской таблицы поиска. (Породив при этом бесчисленные гуголы людей, часть которых мучилась от нестерпимой боли, а подавляющее большинство сходило с ума в хаотической вселенной, где входы не имеют никакого отношения к выходам. Впрочем, к чёрту этику, всё это ради философии.)

В данном случае ГТП пишет статьи о сознании из-за алгоритма, обладающего сознанием. ГТП — не более зомби, чем телефон, из которого доносятся речи о сознании, а сам он при этом остаётся всего лишь небольшим потребительским электронным устройством. Телефон просто передаёт философские речи существа на другой стороне линии. ГТП, созданная на основе исходной спецификации человеческого мозга, занимается тем же самым.

«Ладно», — скажет философ, — «ГТП была создана случайным образом и, так уж получилось, что связи её входов и выходов совпадают с такими же связями у некоторого человека, выбранного за образец».

А каким именно случайным образом была создана ГТП?

«Мы использовали источник истинной случайности — квантовый механизм.»

Но ведь квантовый механизм просто реализует инструкцию двунаправленного ветвления. Детерминистическим результатом генерации одного бита информации при помощи источника квантовой случайности, будет локально связанное облако амплитуд. В одном наборе ветвей вселенных из данного облака значение бита равно 1, а в другом - 0. Повторите процедуру 4 раза и получите 16 наборов вселенных.

Так что, данное высказывание эквивалентно утверждению, что ГТП создали, выписав все возможные варианты последовательностей нулей и единиц размером с ГТП, поместив эти записи в гигантскую корзину, а затем вытянув каким-то образом из корзины именно такую ГТП, которая оказалась соответствующей спецификации человеческого мозга. Откуда взялась невероятность в данном случае?

Поскольку, если это не просто совпадение, а у вас была какая-то функция залезть-в-корзину, которая намеренно, а не по случайности, вытянула ГТП, соответствующую человеку — тогда вот эта функция залезть-в-корзину, вероятно, и обладает сознанием, а ГТП это опять телефон, а не зомби. Теперь ГТП подключена к человеку не за один ход, а за два, но это всё равно телефон! Неплохая попытка скрыть источник невероятности!

Приготовьтесь узреть, к чему привела нас «Следи за невероятностью»: где та причина, которая заставляет язык данного тела говорить о своём внутреннем слушателе? Сознанием обладает не поисковая таблица. Сознанием обладает не фабрика, на которой производят эти поисковые таблицы. Сознанием обладает то, что указало на некоторую уже произведённую поисковую таблицу и сказало: «Используй именно эту!»

Теперь должно быть понятно, почему я рассказал об игре «Следи за невероятностью». Обычно при разговоре с человеком мы имеем склонность принимать нечто внутри черепа за «вместилище сознания». И только сыграв в «Следи за невероятностью» становится понятно, что настоящая причина вести разговоры, подобные этому, заключается в том-что-отвечает-за невероятность таких разговоров, как бы далеко в пространстве и времени оно при этом не находилось. Как и Солнце, приводящее в движение заводную игрушку.

«Нет, нет!» — вскричит философ, — «В данном мысленном эксперименте не было ничего похожего на создание множества ГТП с последующим выбором напоминающей человека таблицы при помощи обладающего сознанием алгоритма! Я уточняю, что в данном мысленном эксперименте из непостижимо гигантской корзины с ГТП совершенно случайным образом достают одну таблицу, которая идентичная входам и выходам человеческого мозга! Вот так вот! Я загнал тебя в угол! Больше не получится сыграть в ”Следи за невероятностью”!»

Ох. Так это уточнение и есть источник невероятности.

Сыграв ещё раз «Следи за невероятностью», мы выйдем за пределы мысленного эксперимента и приглядимся к самому философу.

Получается, что среди огромного числа вариантов на ту самую ГТП, что ведёт разговоры о сознании, указывает… человек с сознанием, который предлагает вам представить себе подобный сценарий. А ещё — наш собственный мог, который заполняет пробелы в размышлении на тему: «Как такая ГТП ответит на сигнал „Поговори о своём внутреннем слушателе“?»

Мораль этой истории: если отследить дискурс о «сознании» до его истоков, обыкновенно вы обнаружите сознание. Оно не всегда окажется прямо на виду. Иногда оно хитроумно припрятано. Но оно есть. Отсюда следует обобщённый принцип против зомби.

В случае, когда Повелитель Зомби существует в форме чатбота, который обрабатывает и перетасовывает человеческий дискурс о «сознании», сознанием обладают люди, которые создали исходный корпус текстов.

Если однажды вы поймёте сознание и заметите, что можно написать программу, генерирующую путанный философский дискурс, ужасно похожий на тот, что производят люди, но при этом не обладающую сознанием — то ответом на вопрос «Как получилось, что эта программа напоминает человека?» будет «Вы сами написали её так, чтобы она напоминала человека, обладающего сознанием. Никакого другого образца у вас не было». Это не значит, что ваш маленький Повелитель Зомби обладает сознанием, зато это значит, что я смогу найти сознание где-то во вселенной, отследив цепочку причинно-следственных связей. Это в свою очередь значит, что мы всё-таки не в Мире Зомби.

Но допустим, кто-то действительно залез в ГТП-корзину и в самом деле случайно вытянул такую ГТП, что пишет философские статьи.

Ну, тогда она не будет обладать сознанием. По моему скромному мнению.

Я имею в виду, должно быть что-то большее, чем просто входы и выходы.

Иначе даже ГТП обладала бы сознанием, не так ли?

О, а если вам интересно, как всё это относится к моей повседневной работе…

В нашем деле можно встретить огромное число людей, которые считают, что слепо созданный мощный ИИ будет обладать «моралью». Они не согласны друг с другом в том, как такое может произойти и даже в том, что такое «мораль», но все соглашаются, что нет необходимости в разработке теории дружественного ИИ. А если спросить их, как на схеме слепо созданного ИИ возникнут моральные выходы, то услышишь хитроумные рационализации относительно таких ИИ, которых они считают «моральными». Здесь кроется куча проблем, но главная из них такова: «Уверены ли вы, что ИИ будет следовать той же самой линии рассуждения, которую вы ввели для аргументации человеческой морали, если учесть, что в ИИ, в отличие от вас, не заложено знание о том, что именно вы хотите, чтобы ИИ рационализировал?». Можно назвать такой контр-принцип «Следи за информацией, необходимой для принятия решений» или вроде того. Можно полагать, что ИИ будет делать невероятно хорошие вещи, если вы расскажете мне, как выбрать устройство ИИ из гигантского пространства возможностей. В противном случае вы добавляете невероятность из ниоткуда — хоть это и очень тщательно скрывается, через рационализацию посылок для рационализации.

Я написал уже целые серии эссе играя сам с собой в «Следи за невероятностью». Тогда я ещё не сформулировал правила явным образом, поскольку в то время эссе по термодинамике не были завершены…

Напоследок хочу отметить: поразительно, как много моих эссе по чистому совпадению в итоге оказываются содержащими идеи, которые удивительно подходят для обсуждения теории дружественного ИИ… если вы верите в совпадения.

  • 1. Daniel C. Dennett, “The Unimagined Preposterousness of Zombies,” Journal of Consciousness Studies 2 (4 1995): 322–26.
  • 2. Цитата из книги Ричарда Фейнмана «Вы, конечно, шутите, мистер Фейнман!» в переводе Н. А. Зубченко, О. Л. Тиходеевой, М. Шифмана — Прим. перев.
Перевод: 
sepremento, ildaar, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
224
Оцените качество перевода: 
Средняя оценка: 5 (5 votes)

Подразумеваемая невидимость

Элиезер Юдковский

Может появиться искушение обобщить аргумент против зомби в виде: «То, что нельзя увидеть, — не существует». Однако так делать не стоит.

Это очень заманчивое обобщение. В таком виде аргумент против зомби стал бы гораздо проще и применять его в будущем было бы легче. Однако, к сожалению, это не байесианский аргумент.

Допустим, я пошлю фотон в бесконечность. При этом я не буду целиться ни в одну звезду, ни в одну галактику, а направлю его в один из громадных промежутков между сверхскоплениями галактик. Другими словами, исходя из знаний стандартной физики, я не ожидаю, что фотон столкнётся с чем-нибудь по пути. Фотон движется со скоростью света, и потому я не смогу его догнать и схватить вновь.

Если, как утверждает современная космология, Вселенная расширяется с ускорением, то начиная с некоторого момента в будущем я ожидаю, что у меня не будет даже принципиальной возможности взаимодействовать с этим фотоном. После этого я ожидаю, что световой конус фотона не пересечётся с моей мировой линией. Даже если фотон поймают пришельцы и поспешат рассказать нам об этом, они не смогут путешествовать достаточно быстро, чтобы преодолеть ускоряющееся расширение Вселенной.

Следует ли мне верить, что в тот миг, когда я теряю даже принципиальную возможность взаимодействовать с фотоном, фотон исчезает?

Нет.

Это нарушило бы закон сохранения энергии. И второй закон термодинамики. И почти любой другой закон физики. И, возможно, все три закона робототехники. Ведь такое поведение означало бы, что фотон знает, что я думаю о нём, и знает, когда именно исчезнуть.

Это очень глупая идея.

Однако если можно верить, что фотоны не исчезают, хотя они уже принципиально не обнаружимы экспериментально, то разве это не даёт право верить в невидимое?

(Если вы хотите подумать над этим вопросом самостоятельно, займитесь этим сейчас и лишь потом читайте дальше…)

В своё время я читал, что когда кто-то впервые предположил, что Млечный Путь — это наша галактика, в смысле, что вот эта расплывчатая река света в ночном небе состоит из миллионов (или даже миллиардов) звёзд, против этой гипотезы использовали бритву Оккама. Потому что, видите ли, эта гипотеза значительно умножала количество «сущностей» в предполагаемом устройстве Вселенной. Впрочем, сейчас я не смог нагуглить источник. Возможно, бритву Оккама использовали против предположения, что «туманности» — расплывчатые пятна, видимые в телескоп — это галактики из множества звёзд.

Lex parsimoniae: Entia non sunt multiplicanda praeter necessitatem.

Это исходная формулировка Оккама, закон бережливости: Сущности не должно умножать сверх необходимого.

Постулируя миллиарды звёзд, в которые никто раньше не верил, вы умножаете сущности, верно?

Нет. Существует два способа сформулировать бритву Оккама байесианским образом: индукция Соломонова и принцип минимальной длины описания. Ни один из них не запрещает галактикам быть большими.

И правильно делают! Один из уроков истории учит нас, что то-что-мы-зовём-реальностью продолжает расти всё больше и больше. Помните, как Земля была центром Вселенной? Помните время до изобретения числа Авогадро? Если бы принцип бритвы Оккама постоянно использовали против умножения сущностей, пришлось бы усомниться в нём самом, ведь он бы систематически оказывался неверным.

В индукции Соломонова сложность модели — это количество кода компьютерной программы, требуемой для симуляции этой модели. Именно кода — не памяти, и не времени, требуемых на вычисления. Модель Вселенной, которая содержит миллиарды галактик с миллиардами звёзд, что состоят из миллиардов триллионов дециллионов кварков потребует огромного количества памяти для исполнения. Однако код должен лишь описать поведение кварков, а звёзды и галактики смогут крутиться самостоятельно. Я здесь пишу полу-метафорически — существуют и иные элементы Вселенной помимо кварков — но суть в том, что дополнительные миллиарды галактик не учитываются в размере кода, если вы описали хотя бы одну. Вам потребуется лишь чуть больше памяти, а бритве Оккама плевать на память.

Почему? Возможно, вам поможет это понять принцип минимальной длины описания, который практически эквивалентен индукции Соломонова. Если нужно сообщить кому-то, как устроена ваша модель Вселенной, необязательно уточнять местоположение каждого кварка в каждой звезде каждой галактики. Достаточно написать несколько уравнений. Количество объектов, которые подчиняются этим уравнениям, никак не влияет на время, необходимое, чтобы записать эти уравнения. Если записать уравнения в файл и файл окажется длиной в 100 бит, то это значит, что возможны $2^{100}$ других моделей, которые можно записать в файл примерно такой же длины и вам необходимо примерно 100 бит подкрепляющих свидетельств. У вас получилось ограниченное количество вероятностной массы и априори вы обязаны разделить эту массу среди всех сообщений, которые возможно послать. Таким образом, указав на модель из пространства в $2^{100}$ альтернатив, вы вынуждены взять на себя штраф в $2^{-100}$ в априорной вероятности. Однако дополнительные галактики не меняют размер этого штрафа.

Длина сообщения, которым описывается общее поведение всех галактик, не изменится, если вы скажете, что этих галактик — миллиарды и они состоят из миллиардов звёзд. Вероятность того, что ваши уравнения правильно описывают множество сущностей, не падает, когда этих сущностей становится больше. (Во всяком случае до тех пор, пока точность начальных условий не влияет на предсказательную способность вашей модели. Если для работы вашей модели потребуется знать точное местоположение каждого кварка, то каждый дополнительный кварк будет снижать вероятность.)

Предполагая, что фотон исчезает, когда вы на него больше не смотрите, вы вводите в свою модель Вселенной дополнительный закон. Именно такие законы — это «сущности», за которые нужно платить согласно закону бережливости. А дополнительные кварки бесплатны.

Получается, можно заявить: «Я верю, что фотон продолжает существовать, даже если он улетел в бесконечность, потому что мои априорные знания указывают, что ему проще и дальше существовать, а не исчезать»?

Сначала я именно так и подумал, но затем пришёл к выводу, что это не совсем верно. (И не только потому, что так открывается путь к очевидным злоупотреблениям.)

Я бы хотел подчеркнуть различие между убеждением в невидимости, которая подразумевается, и убеждением в дополнительной невидимости.

Если вы убеждены, что фотон продолжает существовать по мере удаления в бесконечность, то вы не считаете это убеждение за дополнительный факт.

Вы верите (присваиваете какую-то вероятность) в набор простых уравнений. Вы считаете, что эти уравнения описывают Вселенную. Вы верите в эти уравнения, потому что это самые простые уравнения, описывающие Вселенную, которые вы смогли найти. Эти уравнения легко проверить экспериментально. Они объясняют огромные массивы свидетельств в прошлом и предсказывают результаты наблюдений в будущем.

Вы верите в эти уравнения, и из них логически следует, что фотон продолжит существовать по мере удаления в бесконечность. Поэтому вы в это тоже верите.

Ваши априорные знания и даже ваши вероятности не упоминают фотон напрямую. Вы присваиваете вероятность не существованию фотона, а истинности общих законов. Когда вы присваиваете вероятность истинности законов физики, известным на данный момент, вы автоматически присваиваете ту же самую вероятность тому, что фотон не исчезнет по мере удаления в бесконечность. Если, конечно, вы верите в логические следствия ваших убеждений.

Ваши убеждения о невидимом проистекают не из рассуждений о невидимых штуках. Просто свидетельства из экспериментов поддерживают убеждения об определённых законах и из этих законов логически вытекает существование объектов, с которыми невозможно взаимодействовать. Это убеждение в невидимости, которая подразумевается.

И наоборот, если вы считаете, что фотон проглотит Летающий Макаронный Монстр — возможно, лишь в этом конкретном случае, — или вы без какой-то причины считаете, что фотон столкнётся с пылинкой, то ваше убеждение основывается на каком-то дополнительном невидимом событии. Если вы считаете, что такие события происходят постоянно, то это предполагает действие какого-то дополнительного невидимого закона. Это убеждение в дополнительной невидимости.

Чтобы понять, зачем иногда нужно думать о подразумеваемой невидимости, представьте, что вы хотите отправить космический корабль в далёкое скопление галактик со скоростью, близкой к скорости света. К тому моменту, когда корабль доберётся до места и образует колонию, Вселенная будет расширяться с такой скоростью, что он уже не сможет послать сообщение домой. Считаете ли вы разумным основывать такую колонию — исключительно ради блага людей, которые будут в ней жить и процветать? Или вы считаете, что космический корабль исчезнет до прибытия в конечную точку? Когда-нибудь этот вопрос может стать весьма насущным.

Да, вероятно, всё было бы гораздо проще, если бы можно было исключать существование того, с чем нельзя провзаимодействовать. Вселенная переставала бы существовать за пределами, доступными нашим телескопам. Но для этого нам нужно быть очень глупыми.

Лучше сказать, что нет нужды в дополнительных убеждениях относительно невидимых вещей. Что вы верите только в те невидимые явления, которые логически следуют из общих проверяемых законов, и вы убеждены только в таких их свойствах, которые тоже следуют из общих проверяемых законов. Кажется, такое утверждение, если его применять правильно, позволяет исключить все злоупотребления верой в невидимое.

Возможно, вместо «Не верьте в невидимое» мне стоило сказать: «Дополнительным невидимым явлениям следует назначать исходную априорную вероятность». Но если рассматривать убеждение как некоторую дополнительную сущность, как нечто, о чём есть смысл думать и изучать разные аргументы за и против, то возникает вопрос: стоит ли вообще иметь какие-то дополнительные убеждения о дополнительных невидимых явлениях.

Некоторые экзотические примеры ломают эту теорию. (Например: за тобой следят эпифеноменальные демоны, и, если ты когда-нибудь произнесёшь слово «Ниблик», они год будут пытать 3↑↑↑31 невинных жертв, но ты не сможешь это проверить.) Однако я не могу придумать пример, когда бы эта теория подвела в повседневной практике.

Перевод: 
sepremento, Alaric, ildaar
Номер в книге "Рациональность: от ИИ до зомби": 
225
Оцените качество перевода: 
Средняя оценка: 5 (6 votes)

Зомби: теперь в кино!

Элиезер Юдковский

Военный штаб. За столом сидят несколько человек в офицерской форме. Во главе стола — командир базы генерал Фред, грузный мужчина с резкими чертами лица.

Генерал Фред: Сообщения подтвердились. Нью-Йорк заполонён… зомби.
Полковник Тодд: Опять?! И это 28 дней спустя после того как уже была эпидемия зомби!
Генерал Фред: Эти зомби… они другие. Это философские зомби.
Капитан Мадд: Преисполнены ли они неудержимой агрессии, заставляющей кусаться?
Полковник Тодд: Теряют ли они всякий разум?
Генерал Фред: Нет. Они ведут себя точно также, как и мы… Но у них нет сознания.

Гнетущая тишина.

Полковник Тодд: О, боже.

Генерал Фред встаёт и подходит к большому экрану на стене.

Генерал Фред: Это — Нью-Йорк две недели назад.

На экране сменяются кадры: шумная многолюдная улица, ресторан с обедающими посетителями, работники, загружающие мусорный контейнер в грузовик.

Генерал Фред: А это — Нью-Йорк… сегодня.

На экране — станция метро в час пик, шумная компания студентов в парке, парочка, гуляющая по набережной.

Полковник Тодд: Это гораздо хуже, чем я мог себе представить.
Капитан Мадд: Откуда такая уверенность?
Полковник Тодд: Я никогда в жизни не видел чего-то, так ужасающе обыденного.

К столу подходит учёный в лабораторном халате.

Учёный: Заболевание уничтожает сознание, при этом не вызывая каких-либо изменений в мозгу. Мы постарались определить пути распространения. Заболевание поражает дуальные свойства обыкновенной материи, а это значит, что оно само должно действовать за пределами нашей Вселенной. Мы имеем дело с эпифеноменальным вирусом.
Генерал Фред: Вы уверены?
Учёный: Насколько вообще возможно при полном отсутствии свидетельств.
Генерал Фред: Так. Составьте отчёт по каждому случившемуся эпифеномену. Где, как и с кем. Мне нужен полный список всего ненаблюдаемого за последние 50 лет.
Капитан Мадд: Если вирус эпифеноменальный, как мы узнали, что он существует?
Учёный: Так же, как узнали, что мы обладаем сознанием.
Капитан Мадд: М-м… окей.
Генерал Фред: Какие успехи с эпифеноменальным лекарством?
Учёный: Мы перепробовали каждое известное плацебо. Всё бестолку. Они обладают всего лишь воздействием.
Генерал Фред: Пробовали подключить к работе гомеопатов?
Учёный: Мы пытались найти их, сэр! Но нам не удалось найти хоть чего-то!
Генерал Фред: Отлично. А даосов?
Учёный: Они отказываются что-либо делать!
Генерал Фред: Значит, у нас ещё есть шанс.
Полковник Тодд: А что насчёт Дэвида Чалмерса? Разве он не должен быть здесь?
Генерал Фред: Чалмерс… он был одной из первых жертв.
Полковник Тодд: Чёрт…

===========================================================================

Медицинский изолятор со стенами из пуленепробиваемого стекла. Дэвид Чалмерс бесцельно бродит из угла в угол. К изолятору подходит доктор.

Доктор: Дэвид! Дэвид Чалмерс! Слышите ли вы меня?
Чалмерс: Да.
Медсестра: Бесполезно, доктор.
Чалмерс: Я в полном порядке. Я наблюдал за своими мыслями и чувствами, и не заметил никаких изменений. Знаю, именно это вы и ожидаете от меня услышать, но…

Доктор отворачивается от стекла в ужасе.

Доктор: Он больше не может вкладывать в свои слова какой-либо смысл.
Чалмерс: Это какое-то безумное извращение моих философских идей. То, о чём вы говорите не может случиться на самом деле!
Доктор: Почему это?
Чалмерс: Потому что…

===========================================================================

Смена плана на двух полицейских, охраняющих грунтовую дорогу, ведущую к внушительным стальным воротам гигантского бетонного комплекса. На их униформе значок с надписью «АГЕНТСТВО ПО ОБЕСПЕЧЕНИЮ ЗАКОНОДАТЕЛЬСТВА МОСТОВ».

Первый полицейский: Хрен опознаешь этих ублюдков. Выглядят как люди, разговаривают как люди, до последней молекулы не отличаются от людей. Но они — не люди.
Второй Офицер: Уроды…

Вдалеке раздаётся рёв двигателя. Появляется человек на белом мотоцикле. Он в чёрных очках, в строгом чёрном кожаном костюме с чёрным кожаным галстуком, и в серебристых ботинках. Седая борода развевается на ветру. Человек в костюме резко останавливается у ворот. Полицейские подбегают к нему.

Первый полицейский: Какие у вас основания здесь находиться?
Человек в костюме: Здесь содержится Дэвид Чалмерс?
Второй полицейский: Вам-то что, он ваш друг?
Человек в костюме: Не могу сказать, что да. Но даже у зомби есть права.
Первый полицейский: Предъявите ваши квалиа.
Человек в костюме: У меня их нет.

Второй полицейский выхватывает пистолет.

Второй полицейский: Допрыгался, зомби!
Первый полицейский: Стой. Зомби утверждают, что у них есть квалиа.
Второй полицейский: Значит, он обыкновенный человек?
Первый полицейский: Нет, обыкновенные люди также утверждают, что у них есть квалиа.

Полицейские останавливаются в замешательстве.

Второй полицейский: Эм-м…
Первый полицейский: Кто вы?
Человек в костюме: Я Дэниел Деннет, твари!

Словно из ниоткуда Деннет выхватывает меч и со звонким лязгом разрубает пистолет Второго полицейского. Первый полицейский тянется за своим пистолетом, но Деннет внезапно оказывается у него за спиной и ребром ладони бьёт его в основание шеи. Первый полицейский падает без сознания. Второй полицейский в панике пятится.

Второй полицейский: Это невозможно! Что это было?!
Деннет: Я един со своим телом.

Следующим ударом Деннет сбивает с ног Второго полицейского. После этого он поворачивается к огромному строению и крепче сжимает в руке меч.

Деннет (тихо, сам себе): Ложка существует.

===========================================================================

Генерал Фред: Только что получили рапорт. Мы потеряли Детройт.
Капитан Мадд: Не хочу быть тем, кто сказал «Скатертью дорожка», но…
Генерал Фред: Население Австралии было редуцировано до простых атомов.
Полковник Тодд: Эпифеноменальный вирус распространяется всё быстрее. Мы можем потерять человеческую цивилизацию, какой мы её знаем. Судьба всего человечества зависит от нас.
Капитан Мадд: Мы можем попытаться договориться с ними…
Генерал Фред: Мы пытались связаться с ними несколько раз, и получили только один ответ.
Капитан Мадд: Какой же?
Генерал Фред: Скоро узнаем.

Входит секретарь с конвертом в руках и передаёт его генералу. Тот распечатывает конверт, достаёт листок бумаги и молча смотрит на него.

Капитан Мадд: Что они пишут?
Генерал Фред: Они написали… «Это у вас вирус».

Гробовая тишина. Полковник Тодд медленно поднимает руки к глазам.

Полковник Тодд: О боже, это правда. Это правда. Я… — Слеза скатилась по его щеке. — Я ничего не чувствую.

Экран темнеет.

Звук затихает.

Фильм продолжается как ни в чём не бывало.

Перевод: 
Дмитрий Федорков
Номер в книге "Рациональность: от ИИ до зомби": 
226
Оцените качество перевода: 
Средняя оценка: 4.7 (19 votes)

Исключая сверхъестественное

Элиезер Юдковский

Порой кто-нибудь заявляет, что креационизм нельзя преподавать в школе, — особенно как гипотезу, конкурирующую с теорией эволюции, — поскольку креационизм апеллирует к «сверхъестественному» и потому его априори автоматически следует исключить из сферы научного рассмотрения.

То есть… эти люди утверждают, что, возможно, креационисты правы, но даже будь креационизм правдой, его всё равно следовало бы запретить в научно-образовательных учреждениях, поскольку наука имеет дело только с «естественным»?

Очевидно, такое представление родилось из стремления избежать конфронтации между наукой и религией. Нельзя же просто так взять и заявить, что наука не учит Религиозному Убеждению X, потому что X протестировали научным методом, и оно оказалось ложным. Так что вместо этого можно… скажем… заявить, что наука исключает гипотезу X априори. В этом случае не приходится обсуждать, как эксперимент показал ложность X апостериори.

Разумеется, подобная аргументация играет на руку креационистам. Они получают возможность утверждать, что наука предвзята в пользу атеизма и несправедливо относится к теории Разумного Замысла, не обращая внимания на свидетельства. Если бы наука априорно отвергала гипотезу Разумного Замысла, такое негодование было бы вполне справедливым!

Но давайте вернёмся немного назад. Вот кто-то приходит и говорит: «Разумный Замысел отвергается наукой априори, потому что он „сверхъестественнен“, а наука имеет дело только с „естественными“ объяснениями».

Что конкретно подразумевается под «сверхъестественным»? Является ли любое объяснение, придуманное кем-то по фамилии Коэн, сверхъестественным? Короче, если мы хотим выкинуть некоторое множество гипотез из области научного, то какие именно гипотезы предполагается исключать?

Пока что лучшее услышанное мной определение «сверхъестественному» принадлежит Ричарду Кэрриеру: «сверхъестественное» объяснение прибегает к онтологически базовым разумным сущностям, то есть таким разумным сущностям, которые не могут быть сведены к неразумным.

Именно в этом, например, заключается разница между утверждением «Вода течёт вниз, потому что хочет быть внизу» и дифференциальными уравнениями, которые описывают только движение, но не желания. В этом разница между утверждением, что дерево отращивает листья благодаря духу дерева, и изучением биохимии растений. Когнитивная наука переносит битву со сверхъестественностью на поле разума.

Чем замечательно это определение сверхъестественного? За полной аргументацией я отсылаю вас к Ричарду Кэрриеру. Однако, для примера: допустим, вы обнаружили что-то похожее на духа, живущего в дереве — дриаду, которая материализуется внутри и снаружи дерева, на чистом английском говорит, что ей нужно защищать её дерево, и так далее. А затем, предположим, мы навели микроскоп на эту дриаду, и оказалось, что она состоит из частиц — не из особых неизъяснимых духовных частиц типа материи желаний или ткани убеждений, а из обыкновенных частиц типа кварков и электронов, частиц, поведение которых определяется движением, а не сознанием. Разве это тут же не низвело бы дриаду в разряд унылых и обыденных вещей?

Но если мы принимаем определение сверхъестественного, которое предложил Ричард Кэрриер, то у нас возникает дилемма: мы хотим объективно оценивать религиозные утверждения, но у нас, кажется, есть серьёзные основания исключить сверхъестественные объяснения априори.

Ведь как выглядела бы вселенная, если бы редукционизм был ложной идеей?

Ранее я определил тезис редукционистов так: человеческое сознание создаёт многоуровневые модели реальности, причём разные уровни этих моделей разделяются явным образом. Физику знакомо и уравнение гравитации Ньютона, и уравнение гравитации Эйнштейна, и то, как первое выводится из второго, будучи его приближением для низких скоростей. Но все эти три отдельных представления существуют лишь для удобства человеческого познания. Нельзя сказать, что в реальности существует закон тяготения Ньютона, который правит на низких скоростях, закон гравитации Эйнштейна, который правит на высоких скоростях, и «закон-перемычка», который сглаживает их стык. Сама по себе реальность имеет только один уровень — Эйнштейновскую гравитацию. Лишь ошибка проецирования ума заставляет некоторых людей говорить так, словно высокоуровневые представления существуют сами по себе. Разные уровни структуры могут быть по разному представлены на картах людей, но территория — это единый низкоуровневый математический объект.

Теперь представим, что всё это неверно.

Представим, что ошибка проецирования ума ведёт не к ошибочным, а к верным выводам.

Представим, что Боинг 747 имеет собственное фундаментальное физическое существование, независимое от кварков, которые его составляют.

Какие экспериментальные наблюдения вы ожидали бы получить, окажись вы в такой вселенной?

Если вы не можете придумать хороший ответ, то это не наблюдение, опровергающее «нередукционистские» убеждения, а логическая несостыковка. Если вы не знаете, какие предсказания делает «нередукционистская» модель, как вы поймёте, что экспериментальные данные её опровергают?

Мой тезис таков: нередукционизм — это лишь путаница в головах у людей. Но когда ты считаешь некоторую идею лишь следствием путаницы, становится сложно представить, как выглядела бы вселенная, если на самом деле никакой путаницы нет. Возможно, моя многоуровневая модель мира состоит во взаимно-однозначном соответствии с порождающими её физическими элементами. Но почему, при заданных правилах, модель не могла бы оказаться отображением ещё и какого-нибудь другого списка фундаментальных штук и их взаимосвязей? Должно ли всё, что я вижу в модели (вроде Боинга 747 или человеческого разума), оказаться отдельной настоящей сущностью? Однако, что если я вижу шаблон в этой новой суперсистеме?

Вера в сверхъестественное — это частный случай нередукционизма. Только в этом случае оказывается несводимым к первоэлементом не Боинг, а лишь (некоторые) вымышленные объекты. Религия — это частный случай веры в сверхъестественное, где нередуцируемыми объектами являются Бог(и) и души. А также грехи, ангелы, карма и так далее.

Рассмотрим идею могущественной сущности, способной наблюдать и изменять любой элемент нашей наблюдаемой вселенной, однако сводимой к неразумным частицам, которые взаимодействуют с элементами нашей вселенной по общим законам. Если я предположу, что эта сущность чего-то хочет, однако это «хотение» обусловлено мозгом, состоящим из частиц и полей, то это окажется не религией, а лишь натуралистической гипотезой о натуралистической Матрице. Если завтра разверзнутся небеса, явится огромная светящаяся бесформенная фигура и провозгласит вышеприведённое описание мира, это не будет значить, что фигура непременно говорит правду. Впрочем, я бы показал видеозапись этого явления на уроке естествознания и попытался вывести проверяемые следствия из провозглашённой теории.

С другой стороны, религии проигнорировали открытие древней бестелесной сущности — присутствующей в каждом творении природы и в каждом падающем листе, не созданной разумным замыслом, а возникшей из физических законов. Она огромна как поверхность планеты, и ей миллиарды лет. Не имея мозга, она создала всю жизнь на Земле и человеческий разум. Естественный отбор, открытый Дарвином, так никто и не провозгласил долгожданным Создателем — он не был фундаментально разумным.

И теперь мы столкнулись с дилеммой: если стандартное, нормальное, общепринятое, скучное понимание физики и мозга верно, то человек в принципе не может ни помыслить, ни сделать экспериментально проверяемые предсказания об альтернативной вселенной, в которой нематериальные сущности несводимы к материальным. Ведь если старая добрая скучная, нормальная модель верна, значит наши мозги сделаны из кварков, и поэтому мы можем породить только такие представления и гипотезы, какие могут породить кварки. То есть любая модель, которую вы способны вообразить, заведомо порождена взаимодействием простых частиц.

Люди, живущие в редукционистской вселенной не могут вообразить в деталях нередукционисткие вселенные. Они могут произнести по слогам «не-ре-дук-ци-о-нист-ский», но не могут это представить.

Люди часто склонны к антропоморфизму. Сверхъестественные объяснения им кажутся более простыми, чем они есть на самом деле. Это вызвано тем, что ваш мозг использует себя как непрозрачный черный ящик, чтобы предсказывать поведение других объектов, помеченных как «сознательные». Поскольку у вас уже есть большая сложная нейронная сеть, которая осуществляет вашу способность «хотеть», мы с лёгкостью описываем воду как нечто «желающее» течь вниз. Самих только слов «хотеть/желать» уже достаточно, чтобы привести в действие всю сложную механику вашего мозга, которая за это отвечает.

Или же вы представляете, что Богу нравятся красивые вещи, и поэтому он создал цветы. Ваше собственное чувство прекрасного определяет, что прекрасно, а что нет. Но у вас нет диаграммы ваших собственных синапсов. Вы не можете описать неразумную систему, которая решит, что «красиво», а что «некрасиво», также как вы. Не можете написать компьютерную программу, которая спрогнозирует ваши собственные оценки. Но это лишь изъян в вашем собственном знании. Из этого не следует, что мозг непознаваем.

Если «скучный» взгляд на реальность верен, то вы никогда не сможете предсказать что-либо нередуцируемое, поскольку вы сами редуцируемы. Вы никогда не сможете получить байесовское подтверждение гипотезе о нередуцируемости, поскольку абсолютно любое ваше предположение окажется предположением редуцируемой штуки — вашего мозга.

У нашего мышления есть пределы, за которые действительно нельзя выйти. Если наша вселенная и в самом деле вычислима машиной Тьюринга, то мы никогда не сможем представить себе что-либо, невычислимое машиной Тьюринга. Наши математики могут описывать машины с оракулом любого класса сложности для разрешения проблемы останова, однако мы всё равно не сможем предположить такой результат работы этой машины, который был бы достоверно отличим от результата, вычислимого обычной машиной Тьюринга.

Конечно, всё это верно, только если верна «скучная» точка зрения. Насколько вы верите, что теория эволюция верна, настолько же вы должны ожидать, что сильного свидетельства против эволюции не найдётся. Насколько вы убеждены в том, что теория редукционизма верна, настолько же вы должны ожидать, что нередукционистские гипотезы окажутся непоследовательными и ложными. Насколько вы убеждены в ложности сверхъестественного, настолько же вы должны ожидать, что оно окажется невообразимым.

С другой стороны, если обнаружится, что гипотеза о сверхъестественном верна, то, предположительно, также обнаружится, что сверхъестественное не является невообразимым.

Итак, вернёмся теперь снова к проблеме разумного замысла (далее РЗ).

Следует ли признать, что теория РЗ априори является нефальсифицируемой, и вычеркнуть её из круга научных вопросов на основании того, что эта теория апеллирует к сверхъестественному и, таким образом, ставит себя вне натурфилософии?

Мой ответ: «Конечно же, нет». Нередуцируемость разумного создателя не является необходимой частью гипотезы РЗ.

И поскольку сами сторонники гипотезы РЗ редуцируемы, то для каждого предполагаемого нередуцируемого бога найдётся предполагаемый редуцируемый инопланетянин с абсолютно таким же поведением. Насколько я уверен (а я весьма и весьма уверен) в том, что теория редукционизма и вправду верна, настолько же я должен ожидать, что для любой мыслимой гипотезы о сверхъестественном найдётся соответствующая ей редукционистская формулировка.

Если мы обратимся к археологическим данным, чтобы проверить, действительно ли воды Красного моря расступились только из-за желания Иеговы продемонстрировать свои сверхъестественные способности, то нам не важно, был ли Иегова базовой онтологической сущностью, или инопланетянином с нанотехнологиями, или Тёмным Повелителем Матрицы. Вы проводите какое-то количество раскопок, не находите на дне Красного моря ни скелетов, ни оружия, зато находите записи, что Египет управлял большей частью территории Ханаана. Так что вы помечаете соответствующую историческую запись в Библии как «опровергнуто» и продолжаете жить дальше. Эта гипотеза непротиворечива, фальсифицируема и неверна.

Аналогично биологические свидетельства показывают, что лисы сконструированы так, чтобы ловить кроликов, кролики — чтобы убегать от лис, но ни те, ни другие не сконструированы, чтобы «сохранять свой вид» или «сохранять гармонию в природе». Можно вспомнить и о вывернутом наизнанку устройстве сетчатки глаза, в которой светочувствительные клетки расположены на самом нижнем, удалённом от центра глаза, слое. И так далее. Есть тысячи примеров случайного, безнравственного, непродуманного устройства. Библейская модель нашего чуждого бога непротиворечива, фальсифицируема и неверна — непротиворечива до тех пор, покуда вас не заботит, является ли Бог базовой онтологической сущностью или просто пришельцем.

Просто преобразуйте сверхъестественные гипотезы в соответствующие естественные. Просто делайте такие же предсказания таким же образом, но без привлечения каких-либо нематериальных базовых онтологических сущностей. Консультируйтесь с «чёрным ящиком» в своей голове, чтобы строить предположения. Допустим, вы рассуждаете о «разгневанном боге», и у вас нет полноценного «разгневанного ИИ», чтобы отличить «разгневанное» поведение от «не разгневанного». Делайте предсказание самостоятельно или сверяйтесь с предсказаниями древних теологов, у которых не было доступа к результатам экспериментов. Если эксперимент противоречит вашим предсказаниям, то справедливо будет заявить, что данное религиозное утверждение было научно опровергнуто. Утверждению был дан шанс на выживание, но оно было отвергнуто. Апостериори. Не априори.

В конечном счёте, редукционизм — это всего лишь неверие в сложные базовые штуки. Если словосочетание «сложные базовые штуки» звучит для вас как оксюморон… ну, вот поэтому я и считаю доктрину о нередуцируемости скорее путаницей в головах, чем одним из возможных вариантов мироустройства. Если вы обнаруживаете, что допускаете существование сложных базовых сущностей, лучше будьте осторожней.

Самое главное правило науки — смотреть и видеть. Даже если бы Бог оказался громом в горах, все равно было бы что-то, что можно найти и увидеть.

Вывод: любой кандидат в разработчики сильного искусственного интеллекта, который уважительно отзывается о религиозных убеждениях, определённо не является экспертом в редуцировании ментальных объектов до нементальных. Совершенно точно он очень мало знает о самых основах, и крайне маловероятно, что такой человек окажется стоящим специалистом в искусстве разработки ИИ. Разве что мы имеем дело со случаем крайнего савантизма. Или разве что он явно лжёт. В общем, небольшое заблуждение тут точно исключено.

Перевод: 
Kelegorm, Aelryn, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
227
Оцените качество перевода: 
Средняя оценка: 4.7 (7 votes)

Паранормальные способности

Элиезер Юдковский

В последнем эссе я писал:

Если «скучный» взгляд на реальность верен, то вы никогда не сможете предсказать что-либо нередуцируемое, поскольку сами вы редуцируемы. Вы никогда не сможете получить байесовское подтверждение гипотезе о нередуцируемости, поскольку абсолютно любое ваше предположение окажется предположением редуцируемой штуки — вашего мозга.

Беня Фалленштайн прокомментировал:

Я считаю, что хотя действительно невозможно провести эксперимент, исход которого логически докажет нередуцируемость, нет оснований полагать, что невозможно придумать эксперимент, возможный исход которого в нередуцируемом мире сделает нередуцируемость субъективно гораздо более вероятной (если мы полагаем априорно верной бритву Оккама).

Отвлечёмся от вопроса редуцируемости и нередуцируемости. Вообразим, что законы Вселенной позволяют построить гиперкомпьютер, который, например, умеет оперировать произвольными вещественными числами. Нашим мозгам это не поможет, ведь их-то можно прекрасно симулировать с помощью обыкновенной машины Тьюринга…

Это очень разумный аргумент, Беня Фалленштайн. Но у меня есть сокрушительный ответ на этот аргумент. Как только я его представлю, вы откажетесь от дальнейших споров со мной на эту тему.

Вы правы.

Увы, я не заслуживаю похвалы за скромность, потому что после публикации вчерашнего поста я и так понял, что в моих рассуждениях есть упущение примерно того же рода. Оно касается бритвы Оккама и паранормальных способностей:

Если убеждения и желания — нередуцируемые онтологически базовые сущности, или у них есть онтологический базовый компонент, не учитываемый современной наукой, то гораздо более вероятно существование онтологического закона, управляющего взаимодействием разумов — взаимодействием в обход обыкновенных «материальных» средств связи известных науке, вроде звуковых волн.

Если же верен натурализм, то гипотетически можно построить редукционистскую модель, которая будет делать о телепатии те же предсказания, что и любые парапсихологи.

Более того, если верен натурализм, то мы воспринимаем собственные убеждения как «фундаментальные» исключительно по причине нехватки знаний о собственных нейронах. Хитрая рефлексивная архитектура разума показывает нам класс «убеждение», однако скрывает механизм его реализации.

Тем не менее, модели со сверхъестественным (содержащие онтологически базовые сущности, связанные с сознанием) с гораздо большей вероятностью предсказывают, что кто-нибудь откроет передачу информации между мозгами в отсутствие любой известной материальной связи между ними. Просто потому что в этом случае гораздо проще ввести новый закон о взаимодействии убеждений в разных разумах — по сравнению со «скучной» моделью, где убеждения — это результат сложного взаимодействия нейронов.

Надежда на существование паранормальных способностей возникает из отношения к убеждениям и желаниям как к достаточно фундаментальным сущностям. Сущностям, которые связаны с реальностью напрямую. Если же убеждения — это результат взаимодействия нейронов, образованных из известных материалов, где на вход подаётся информация от органов вроде глаз, образованных из известных материалов, а выход подаётся на мускулы, которые тоже образованы из известных материалов, и всего этого достаточно для описания всех сил разума человека, то нет причины ожидать чего-то ещё. Нет причин утверждать, что есть ещё какие-то связи между разумами. Поэтому редукционисты не ожидают обнаружить паранормальные способности. А следовательно, наблюдение паранормальных способностей стало бы сильным свидетельством сверхъестественного по Ричарду Кэрриеру.

Бритва Оккама подсчитывает в модели количество онтологически базовых классов и онтологически базовых законов. Модель с большим числом сущностей получает штраф. Если верен натурализм, то попытка учесть «убеждение» или «связь между убеждением и реальностью» как базовую сущность — просто ошибочный антропоморфизм. Хитрая внутренняя архитектура мозга подталкивает нас думать подобным образом. Однако, придерживаясь этого ошибочного пути, можно назначить гораздо более высокие вероятности паранормальным способностям, чем при использовании натурализма, поскольку реализация таких способностей на первый взгляд потребует более простых законов.

Поэтому из обнаружения паранормальных способностей будет следовать, что наивное понимание бритвы Оккама лучше откалибровано, чем сложная натуралистическая формулировка бритвы Оккама. Окажется, что редукционисты в своей попытке разобрать мозг на части всё это время были неправы. То, что казалось простейшим уровнем, действительно было простейшим уровнем. Наивные дуалисты были правы с самого начала, и именно поэтому их древнейшие желания в конце концов осуществились.

Поэтому и телепатия, и способность влиять на события силой мысли, и предвидение в случае открытия станут сильными байесианскими свидетельствами в пользу гипотезы, что убеждения — это онтологически фундаментальные сущности. Не логическим доказательством, а сильным байесианским свидетельством.

Если редукционизм верен, то любое произведение из научной фантастики, где есть паранормальные способности, может быть создано системой простых элементов (а именно, мозгом автора). Однако если мы и в самом деле откроем паранормальные способности, то станет гораздо более вероятным, что к созданию рассказа было причастно нечто, неописуемое редукционистским моделями.

Можно выразиться так: существование паранормальных способностей — выделенное вероятностное утверждение, порождённое нередукционистским взглядом на мир. Нередукционисты придумали и выдвинули это предсказание вопреки редукционистским ожиданиям.

Поэтому, по законам науки, если паранормальные способности будут открыты, то нередукционизм выигрывает.

И поэтому я уверен в отсутствии паранормальных способностей как априори неправдоподобных, несмотря на все заявленные экспериментальные свидетельства в их пользу.

Перевод: 
sepremento, Alaric, ildaar
Номер в книге "Рациональность: от ИИ до зомби": 
228
Оцените качество перевода: 
Средняя оценка: 4.3 (6 votes)