«Удивительное свойство теории эволюции: любому она кажется понятной»
Жак Моно

Глядя на природу, человек всюду видит предназначение. Заячьи лапы сконструированы для бега. Лисьи челюсти идеально подходят для разрывания добычи. Увы, наше зрение нас здесь подводит: мы видим не то, что есть на самом деле.

В додарвиновские времена причины этой повсеместно наблюдаемой предназначенности были одной из величайших научных загадок. Богопоклонники твердили: «это сделал Бог» — ведь ты получаешь 50 бонусных баллов каждый раз, когда используешь слово «Бог» в предложении. Хотя, пожалуй, я здесь несправедлив. В те времена гипотеза божественного происхождения выглядела гораздо разумнее, чем её альтернативы. «Обнаружив в пустыне часы, — говорил Уильям Пейли — можно сделать вывод о существовании часового мастера».

Но стоит лишь внимательно рассмотреть всю кажущуюся предназначенность в Природе, вместо того, чтобы выбирать только удобные примеры — начинаешь замечать вещи, несовместимые с иудеохристианской концепцией всеблагого Творца. Лисы выглядят так, будто они спроектированы для охоты на зайцев. Зайцы выглядят так, будто спроектированы, чтобы убегать от лис. Творец что, не смог определиться?

Проектируя тостер, я не включаю в него один блок для нагревания теплового элемента, а другой — для его охлаждения. Это было бы глупо и расточительно. Кому могло прийти в голову запроектировать экосистему со всеми её хищниками и жертвами, вирусами и бактериями? Даже кактусы, будто специально придуманные, чтобы снабжать водой и пищей пустынных животных, покрыты неприятными колючками.

Картина становится гораздо более осмысленной, если предположить, что природу создавал не единственный Творец, а целый сонм мелких богов — как в индуизме или синтоизме. Такое предположение удобно объясняет и повсеместную предназначенность, и повсеместные конфликты. Множество богов действовало независимо, часто с противоположными целями. И лиса, и заяц были спроектированы — но различными, конкурирующими божествами. Интересно, кто‑нибудь уже предлагал это наблюдение как доказательство в пользу индуизма против христианства?

Иудеохристианская традиция постулирует, что Бог благосклонен. Ну, в общих чертах. В то же время, значительная часть наблюдаемой в природе предназначенности демонстрирует невероятную жестокость. Дарвин заподозрил, что Творец не соответствует общепринятой концепции, изучая наездников-ихневмонид. Их ядовитое жало лишь парализует, а не убивает жертву, что предохраняет её от порчи, позволяя личинкам ихневмонид в течение длительного времени пожирать её заживо. «Я не могу убедить себя в том, — писал Дарвин — что всеблагой и всемогущий Бог сотворил ихневмонид, намеренно предусмотрев пожирание ими живых тел гусениц, или сотворил кошку, заложив в неё желание играть с мышью»1. Интересно, озвучивал ли какой‑нибудь более ранний мыслитель эти факты как доказательство в пользу манихейства2 против монотеизма?

Сегодня мы все знаем разгадку: надо просто сказать «эволюция».

К сожалению, некоторых это «научное» объяснение вполне устраивает. Как будто «эволюция» — это такой волшебный источник предназначенности в Природе. Я уже приводил в качестве примера Шторм из Людей Икс, которая в результате одной мутации получила способность метать молнии. Как? Ну, есть такая штука — «эволюция», которая закачивает в Природу предназначенность. Изменения происходят посредством «мутаций»; если получить действительно большую мутацию, результатом станут реально большие полезные изменения. Например, Шторм получит способность метать молнии. Популярный источник суперспособностей — радиоактивность: радиация приводит к мутациям, так что чем мощнее радиация, тем мощнее будут мутации. Такая вот логика.

Но эволюция не позволяет любой предназначенности проникать в Природу. Именно это делает эволюцию столь успешной в качестве эмпирической гипотезы. Если бы эволюционная биология объясняла не только деревья, но и тостеры, она была бы бесполезна. Эволюционная теория — это не просто ткнуть пальцем в Природу и сказать «теперь предназначенность разрешена», или «так сделала эволюция». Сила любой теории не в том, что она объясняет, а в том, что она объявляет невозможным. Если ты придумал гипотезу, одинаково убедительно объясняющую любое событие, твои знания равны нулю.

«Многие люди, далёкие от биологии, — заметил(e) Джордж Уильямс — думают, что именно для их блага гремучие змеи отращивают на хвостах “погремушки”»3. Бзз‑з‑з! Неправильный ответ! Такая предназначенность не разрешена. Эволюция не позволяет произвольным всплескам предназначенности пробираться тут и там, перекраивая один вид для блага другого вида.

Движущая сила эволюции — систематическая корреляция между способами, которыми разные гены влияют на конструкцию организмов и количеством копий этих генов, которые добираются до следующего поколения. Чтобы «погремушки» росли на хвостах гремучих змей, «погремушечные» гены должны с каждым поколением встречаться всё чаще и чаще (на самом деле, не просто «погремушечные» гены, а гены, кодирующие всё более сложные звуки, издаваемые «погремушками»; но погружаться в подробное описание всех тонкостей эволюционной биологии мы не будем, иначе эта статья никогда не закончится).

Нет никакой Эволюционной Феи, которая изучает текущее состояние природы и решает: «хм, хорошая идея!», увеличивая частоту «погремушечных» генов в популяции.

Подозреваю, что именно на этом месте спотыкается значительное число людей, изучающих эволюционную биологию. Они понимают, что «полезные» гены становятся более распространёнными, но слово «полезные» позволяет любой предназначенности прокрасться в рассуждение. Они вроде бы не верят в Эволюционную Фею, в то же время спрашивая, какие гены могли бы быть «полезны», имея в виду, в том числе, «пользу» не только для гремучих змей, но и для других видов.

Ключевой факт, который необходимо осознать — нет никакой Эволюционной Феи. Нет никакой внешней силы, решающей, какие гены должны «получить повышение». Всё происходящее происходит исключительно в результате работы самих генов.

Гены, кодирующие (всё более сложные) звуки «погремушки», должны становиться всё более распространёнными в генофонде гремучих змей исключительно благодаря самим звукам. В этом случае, вероятно, всё дело в том, что змеи с лучшими «погремушками» лучше выживают (а не в том, что они успешнее размножаются или способствуют более успешному размножению своих родственников).

Возможно, хищники опасаются звуков «погремушек» и стараются не наступать на гремучих змей. Возможно, «погремушка» на хвосте отвлекает внимание от змеиной головы. (Джордж Уильямс утверждал(e), что «результат схватки между собакой и змеёй почти полностью определяется тем, за какую часть собака схватит змею изначально — за голову или за хвост»).

Но это всего лишь змеиные «погремушки». Существуют гораздо более сложные способы, которыми гены могут приводить к увеличению частоты своего появления в следующем поколении. Ваши братья и сёстры разделяют с вами половину ваших генов. Ген, жертвующий одной единицей ресурса, чтобы предоставить три единицы ресурса брату, может передать будущему поколению несколько своих копий, пожертвовав одним из сконструированных им организмов (несущим лишь одну копию).

Если вы действительно хотите разобраться в деталях и тонкостях, купите книжку по эволюционной биологии; не существует царского пути. Но ключевая идея такова: эффект от наличия определённого гена должен напрямую увеличивать частоту появления этого гена в следующем поколении. Нет Эволюционной Феи, которая бы воздействовала извне. Нет ничего, что бы решало, какие гены «полезны» и, следовательно, должны появляться чаще. Должна быть прямая причинно-следственная связь, начало которой — в самих генах.

Это объясняет странные конфликты предназначенности в Природе и распространённую в ней жестокость. Объясняет даже лучше, чем орда синтоистских божеств.

Почему столь многое в Природе находится в постоянной войне с другими её частями? Потому что нет никакой единой Эволюции, которая управляла бы процессом. Есть лишь множество малых «эволюций», представленных отдельными размножающимися популяциями. Заячьи гены становятся более или менее распространёнными в популяциях зайцев. Лисьи гены становятся более или менее распространёнными в популяциях лис. Лисьи гены, которые конструируют лис, хорошо ловящих зайцев, создают больше собственных копий в следующем поколении. Заячьи гены, конструирующие зайцев, хорошо убегающих от лис, естественным образом встречаются чаще в следующем поколении зайцев. Отсюда словосочетание «естественный отбор».

Почему Природа так жестока? Мы, будучи людьми, смотрим на наездников-ихневмонид и решаем, что пожирать жертву заживо — жестоко. Если уж никак нельзя избежать пожирания жертвы заживо, мы постараемся хотя бы не причинять ей страданий. Ихневмонидам не стоило бы больших усилий добавить в состав парализующего яда обезболивающее. А что насчёт старых слонов, медленно умирающих от истощения после выпадения последнего комплекта зубов? Эти слоны всё равно уже не могут размножаться. Чего стоило эволюции — точнее, эволюции слонов — сделать так, чтобы старые слоны умирали сразу, не мучаясь так долго? Чего стоило эволюции сделать их смерть безболезненной, или усыплять их, чтобы безмятежное угасание сопровождалось приятными снами? Ничего. Всё вышеперечисленное никак не повлияло бы на шансы этого слона продолжить свой род.

Если бы речь шла о том, чтобы убедить другого человека, мы были бы в отличной позиции для переговоров и легко настояли бы на своём. Ведь от нашего оппонента потребовались бы лишь незначительные уступки: обезболить жертву, позволить слону умереть без мучений. Почему бы не пойти навстречу столь скромной просьбе? Ну пожалуйста, э‑э…

Нет никого, к кому мы могли бы обратиться со своими аргументами.

Люди подделывают свои оправдания, определяя желаемое одним способом, а потом оправдывая принятое решение чем‑нибудь другим. Нет никакой Феи Эволюции Слонов, которая пыталась бы (а) определить, что для слонов лучше всего и (б) определить, как оправдать это перед Эволюционным Надзирателем, который (в) не хочет, чтобы эволюционная приспособленность снижалась, но (г) не будет мешать в реализации идеи безболезненной смерти до тех пор, пока она не мешает никаким другим полезным генам.

В системе нигде нет места для защитника слонов.

Люди, нередко глубоко переживающие за благополучие животных, могут быть очень убедительны в своей аргументации в пользу того, как различные проявления милосердия не повредили бы репродуктивной приспособленности. Увы, эволюция слонов не использует ничего, что напоминало бы этот алгоритм; она не выбирает классные гены, про которые можно придумать реалистично звучащие аргументы в пользу их ценности для репродуктивной приспособленности. Алгоритм эволюции донельзя прост: гены, которые реплицируются чаще, становятся более распространёнными в следующим поколении. Как вода, текущая под гору — и с тем же уровнем великодушия.

Окидывая взором Природу, мы думаем обо всех усовершенствованиях, которые мы внесли бы в конструкцию организмов. После чего рационализируем, выдумывая причины, по которым желаемые нами улучшения увеличили бы репродуктивную приспособленность — таков наш политический инстинкт, желание «продать» вариант, предпочтительный для нас, под видом того, что хочет видеть наше начальство.

По этой схеме эволюционные биологи-любители делают тысячи удивительных и фантастически ошибочных предсказаний. Потому что биологи-любители делают свои заключения, более того — находят свои гипотезы в общем пространстве всех возможных идей — используя не тот алгоритм, который использует эволюция, делая свои «заключения».

Разумный инженер спроектировал бы человеческие вкусовые рецепторы так, чтобы они измеряли, сколько в еде содержится различных питательных веществ и сколько их нам необходимо. При нехватке жиров миндаль и чизбургеры казались бы невероятно вкусными, а при первых признаках приближающегося ожирения, или в случае нехватки витаминов, самым вкусным казался бы салат-латук. Но не существует Феи Человеческой Эволюции, которая бы заранее разумно спланировала и запроектировала универсальную систему для любых обстоятельств. Нехватка калорийной пищи была надёжным инвариантом окружающей среды древних людей. Поэтому гены организмов, любивших калории, стали встречаться чаще. Как вода, текущая под гору.

Мы — воплощённая история того, какие организмы фактически выжили и размножились, а не того, какие организмы должны были бы «по уму» выжить и размножиться.

Сетчатка человеческого глаза устроена очень криво: светочувствительные клетки находятся сзади, а нервы к ним прикреплены спереди, где собираются в пучок и сквозь сетчатку уходят вглубь черепа. Отсюда слепое пятно. Для инженера это выглядит просто тупо. У некоторых других организмов сетчатка развивалась независимо от нас и получилась гораздо лучше. Почему бы не переделать человеческую сетчатку?

Проблема в том, что никакая отдельная мутация не сможет переделать всю сетчатку сразу. Это инженер может переделать разом несколько частей или заранее предусмотреть пространство для будущих изменений. Но если отдельная мутация поломает какие‑то важные части организма, не имеет значения, сколь удивительные вещи Фея могла бы впоследствии выстроить на этой основе: организм погибнет, и частота появления соответствующего гена в популяции снизится.

Если развернуть клетки сетчатки глаза, не изменив соответственно нервные окончания и зрительный нерв, система в целом не будет работать. Не имеет никакого значения тот факт, что для Феи, или разумного инженера, это лишь первый шаг к более совершенной, модернизированной системе. Такой организм будет слеп. Эволюция неспособна предвидеть последствия, ведь это лишь зафиксированная история того, какие организмы фактически размножились. Эволюция столь же слепа, как человек с наполовину переделанной сетчаткой.

Обнаружив в пустыне часы, можно сделать вывод о часовом мастере. Когда-то некоторые люди это отрицали. Они утверждали, что жизнь «просто появилась», без необходимости в оптимизирующем процессе. Как мыши, спонтанно зарождающиеся в грязных тряпках4.

Если спросить, кто был ближе к истине — теологи, защищавшие концепцию Бога‑Творца, или интеллектуально неудовлетворённые атеисты, защищавшие идею спонтанного зарождения мышей, мы должны признать победу за теологами: эволюция — не Бог, но она ближе к Богу, чем к хаосу чистой энтропии.

Мутации случайны, но отбор — не случаен. Это не значит, что разумная Фея вмешивается и отбирает, но существует ненулевая корреляция между геном и частотой воспроизводства организма. За несколько миллионов лет отклонения аккумулируются, превращаясь в непреодолимую силу. Это не божество, но гораздо больше похоже на божество, чем на «снег» случайных помех на телеэкране.

«Творцы онтологически отличны от сотворённых существ, — сказал Дэмиен Бродерик(e) — или они не стоят бумаги, на которой описаны». Действительно, могущественный Скульптор Жизни сам не является существом. Он бестелесен, подобно иудеохристианскому богу. Он пронизывает всю Природу, воплощаясь в падении каждого листа. Он безбрежен, как поверхность целой планеты. Он существует миллиарды лет. Он не был сотворён, но неизбежно произрастает из самой структуры физических законов. Разве нельзя назвать Богом того, кто подходит под такое описание?

В то же время, Создатель не имеет и разума. Жизнь — его творение — по человеческим меркам спроектирована просто паршиво. В ней нет внутреннего единства, одни части конфликтуют с другими. А главное — она совсем не добра и не приветлива.

В каком‑то смысле, Дарвин открыл Бога — Бога, который не совпал с представлениями теологов, а потому прошёл незамеченным. Если бы Дарвин открыл, что жизнь создана разумным существом — бестелесным сознанием, которое любит нас и шарахнет молнией любого, кто в этом усомнится — люди бы воскликнули: «О боже мой! Это же Бог!»

Вместо этого Дарвин открыл странного, чуждого Бога — не успокаивающе «непознаваемого», но действительно непохожего на нас. Эволюция — не Бог, но если бы она была им, это был бы не Иегова. Это был бы Азатот Говарда Лавкрафта — слепой безумный Бог, хаотически бурлящий в самом центре бесконечности под монотонные всхлипы чудовищных флейт.

Что вы и могли бы ожидать, если бы внимательно посмотрели на Природу.

Вот цена заявлениям некоторых религиозных людей, утверждающих, что они действительно верят в непознаваемое божество без конкретных, заранее известных им признаков с соответствующе высокой вероятностью. Кто‑то действительно верящий в столь неопределённое божество, немедленно опознал бы своего странного нечеловеческого создателя, когда Дарвин сказал своё «Ага!».

Вот цена заявлениям некоторых религиозных людей, утверждающих, что они с искренней непредвзятостью ожидают, когда наука обнаружит Бога. Наука уже обнаружила вполне богоподобного создателя людей, но не такого, о котором религиозные люди хотели бы узнать. Они ожидали обнаружения их Бога — божества очень конкретного типа, которого им хотелось бы узреть. Их ожидание будет бесплодным, ибо великое открытие уже сделано и победителем оказался Азатот.

Что ж, тем лучше для нас, людей. Мне нравится Создатель, которого я могу перехитрить. Лучше, чем быть домашним животным. Я рад, что наш Бог — Азатот, а не Один.

Примечание редактора: Перевод этого эссе взят с сайта Данилы Сентябова с его разрешения.

• 1. Francis Darwin, ed., The Life and Letters of Charles Darwin, vol. 2 (John Murray, 1887).
• 2. Манихейство — древняя религия, согласно которой материальный мир не сотворён единственным Создателем, а рождён в результате конфликта двух равноправных сил — всеблагого Света и бездуховного Мрака. Подробнее можно прочитать в Википедии. — Прим.перев.
• 3. Речь идёт о популярной идее, будто «погремушки» появились у змей «из гуманистических целей», чтобы оповещать окружающих об опасности. Источник цитаты — George C. Williams, Adaptation and Natural Selection: A Critique of Some Current Evolutionary Thought, Princeton Science Library (Princeton, NJ: Princeton University Press, 1966).— Прим.перев.
• 4. В Средние века было распространено представление о самозарождении мышей и других вредителей из «нечистот».— Прим.перев.

Чудо эволюции в том, что она вообще работает.

Я говорю буквально. Если уж вы хотите восторгаться эволюцией, именно это достойно восхищения.

Каким образом во вселенной впервые возникла оптимизация? Если некий разумный агент сотворил природу, кто сотворил разумного агента? Где первый создатель, у которого нет создателя? Загадка не в том, как уже первый этап этой последовательности может быть супер-разумным и супер-эффективным. Загадка в том, как он вообще мог появиться.

Эволюция разрешает бесконечную регрессию не потому, что она сверхумная и сверхэффективная, а потому, что она тупая, неэффективная, но всё равно работает. В этом и заключается чудо.

По профессиональным причинам мне часто приходится обсуждать медлительность, случайность и слепоту эволюции. После чего кто-нибудь говорит: «Вы только что сказали, что эволюция не способна планировать одновременные изменения и что эволюция крайне неэффективна, так как мутации случайны. Но разве не это же утверждают креационисты? Что вы не можете собрать часы, случайно перемешивая детали в коробке?»

Но нельзя возражать креационистам словами, что вы на самом деле можете собрать часы, тряся коробку с деталями. Просто эволюция работает не так. Если вы считаете, что эволюция действительно представляет из себя воздушные вихри, собирающие Боинги 747, то креационисты успешно исказили ваше представление о биологии — продали вам чучело.

В действительности сложные механизмы эволюционируют либо последовательно улучшаясь, либо приспосабливая уже существующие сложные механизмы под новую цель. Белки прыгают с дерева на дерево, используя лишь свои мышцы, но длина их прыжка в определенной степени зависит от аэродинамики их тел. И сейчас существуют белки-летяги, настолько аэродинамичные, что они могут парить на небольшие расстояния. Если бы птицы оказались уничтожены, потомки белок-летяг могли бы занять эту экологическую нишу в течении десяти миллионов лет, их летательные мембраны превратились бы в крылья. А креационисты говорили бы: «Что толку от половины крыла? Вы бы просто упали и разбились. Как бы птицебелки могли эволюционировать последовательно?»

Вот так одна сложная адаптация может породить новую сложную адаптацию. Сложность также может нарастать постепенно, начиная с одной случайной мутации.

Сначала появляется какой-нибудь ген А — простой, но хотя бы чуть-чуть полезный сам по себе, благодаря чему он распространяется в генофонде. Потом появляется ген B, от которого есть польза только в присутствии A, но так как A уже широко распространён в генофонде, в пользу B действует серьёзное давление отбора. Далее возникает модифицированная версия А*, которая зависит от B, но не разрушает зависимость B от А/А*. Потом появляется С, связанный с А*, и B*, который зависит от А* и С. И вскоре мы имеем «нечленимо сложный» механизм, который ломается, стоит вытащить одну деталь.

И тем не менее, вы всё ещё можете отследить путь обратно к единственному элементу: вы можете, не ломая механизм, сделать один элемент менее зависимым от другого, и, повторив это несколько раз, вы сможете вытащить деталь, не сломав механизм, и так пока не превратите механические часы в грубые солнечные.

Например: ДНК хранит информацию очень точно. В устойчивом формате, который позволяет осуществлять точную дупликацию. Рибосома переводит эту сохраненную информацию в последовательность аминокислот, в белок, который может принимать множество химически активных форм. Объединенная система, ДНК и рибосома, может создать любой белковый механизм. Но в чём польза от ДНК без рибосомы, которая переводит информацию в белки? В чём польза от рибосомы без ДНК, которая бы объяснила, какой белок производить?

От организмов не всегда остаются окаменелости, поэтому эволюционная биология не всегда может выяснить, как именно происходило последовательное улучшение. Но в данном случае мы действительно знаем, как это произошло. РНК способна переносить информацию и самореплицироваться, как и ДНК, хотя РНК и не так устойчива, а её копии не столь точны. И РНК, как и белки, способна принимать химически активные формы, хотя и не столь универсальные, как аминокислотные цепочки белков. Почти наверняка РНК — это одиночная А, которая предшествовала взаимозависимым А* и B.

Отметить, что РНК выполняет объединенную работу ДНК и белков плохо, столь же важно, как и отметить то, что она вообще её выполняет. Восхитительно, что одна единственная молекула может одновременно хранить информацию и управлять химическими процессами. Делать эту работу ещё и хорошо было бы совершенно лишним чудом.

Что же было первым репликатором на свете? Это вполне могла бы быть нить РНК, ведь, «по какому-то странному стечению обстоятельств», химические элементы, составляющие РНК — это те химикаты, что могли естественным образом появиться на добиологической Земле 4 миллиарда лет назад. Пожалуйста, обратите внимание: эволюция не объясняет возникновение жизни. Эволюционная биология не предназначена для объяснения первого репликатора, потому что первый репликатор не произошёл от другого репликатора. Эволюция описывает статистические тенденции репликации. Первый репликатор не был статистической тенденцией, он был просто случаем. Идея, что эволюция должна объяснять возникновение жизни — это настоящее соломенное чучело, ещё одно креационистское непонимание эволюции.

Если бы вы наблюдали за первичным бульоном в день возникновения первой самовоспроизводящейся молекулы, день, который изменил Землю, вас бы не впечатлило то, насколько хорошо этот первый репликатор воспроизвел себя. Первый репликатор наверняка копировал себя, как пьяная мартышка под ЛСД. Вы не увидели бы никаких признаков той тщательной тонкой настройки, которая воплощена в современных репликаторах, потому что первый репликатор был случайностью. Эта одинокая ниточка РНК, или химический гиперцикл, или узор в грязи, не обязана была воспроизводиться изящно. Достаточно было сделать это хоть как-то. И даже тогда — это всё ещё было невероятно, если воспринимать это как единичный случай. Но это должно было случиться только один раз, а приливных луж было очень много. И вот несколько миллиардов лет спустя репликаторы ходят по Луне.

Первая случайно самореплицирующаяся молекула была самой важной молекулой в истории. Но если бы вы восхваляли ее слишком сильно, приписывая ей всяческие способствующие воспроизводству возможности, вы бы упустили всю суть.

Не думайте, что в политических дебатах между эволюционистами и креационистами тот, кто восхваляет эволюцию больше всех, должен быть на стороне науки. Наука имеет очень конкретное представление о возможностях эволюции. И если вы превозносите эволюцию хоть на миллиметр выше, вы не «сражаетесь на стороне эволюции» против креационизма. Вы научно некорректны, вот и все. Вы попадаете в креационистскую ловушку, настаивая, что да, торнадо может собрать Боинг 747! Разве это не здорово! Как чудесно разумна эволюция, насколько она заслуживает восхищения! Посмотрите на меня, я расписываюсь в своей верности науке! Чем больше я скажу хороших вещей о эволюции, тем больше я на стороне эволюции, против креационистов!

Но превознесение эволюции уничтожает истинное чудо: оно не в том, как хорошо эволюция создаёт вещи, а в том, что происходящий естественным образом процесс вообще способен что-то создавать.

Так что давайте избавимся от идеи, что эволюция прекрасно создаёт новые виды или чудесно управляет их судьбой, а мы, люди, должны подражать ей. Для человеческого интеллекта подражать эволюции как творцу было бы всё равно, что для современной сложноорганизованной бактерии брать пример с первого репликатора как с биохимика. Как выразился Томас Гексли, «бульдог Дарвина»:

Давайте поймем раз и навсегда, что этический прогресс общества строится не на подражании космическому процессу и тем более не на бегстве от него, а на противостоянии ему.

Гексли сказал это не потому, что он не верил в эволюцию, а потому что он понимал её слишком хорошо.

В предыдущем эссе я писал:

Наука имеет очень конкретное представление о возможностях эволюции. И если вы превозносите эволюцию хоть на миллиметр выше, вы не «сражаетесь на стороне эволюции» против креационизма. Вы научно некорректны, вот и все.

В этом эссе я опишу некоторые широко известные неэффективности и ограничения эволюций. Я говорю «эволюции» во множественном числе, потому что цель эволюции лис прямо противоположна цели эволюции кроликов, и ни одна из них не может расспросить эволюцию змей, чтобы научиться выращивать ядовитые клыки.

Итак, я говорю здесь об ограничениях эволюции, но это не значит, что я пытаюсь пропагандировать креационизм. Это стандарный курс эволюционной биологии для продолжающих (если добавить выведение уравнений, будет продвинутый). Эволюции, ограниченные таким образом, всё ещё могут объяснить наблюдаемые биологические изменения; фактически эти ограничения как раз и придают им смысл. Помните, что прелесть эволюций не в том, насколько хорошо они работают, а в том, что они работают вообще.

Человеческий интеллект настолько сложен, что нет достаточно рабочего способа рассчитать, насколько он эффективен. Естественный отбор, хотя и не прост, - проще, чем человеческий мозг; как следствие, он медленнее и менее эффективен, как и подобает первому процессу оптимизации, который когда-либо существовал. На самом деле эволюции просты настолько, что мы можем точно рассчитать, насколько они глупы.

Эволюционные изменения медленны. Насколько? Предположим, есть полезная мутация, которая обеспечивает преимущество в приспособленности на 3%. В среднем, носители этого гена имеют в 1,03 раза больше детей, чем не-носители. При условии, что мутация распространяется свободно, сколько займёт её внедрение во всей популяции? Это зависит от численности населения. Ген, передающий 3% -ное преимущество приспособленности, распространяющееся среди 100 000 человек, потребует в среднем 768 поколения для достижения повсеместности в генофонде. Для населения в 500 000 потребуется 875 поколений. Общая формула такова:

требуемое количество поколений для фиксации гена в генофонде = 2*ln(N)/s

где N — размер популяции, а (1 + s) — приспособленность. (Если у каждого носителя этого гена в 1,03 раза больше детей, чем у не-носителя, s равняется 0,03). Таким образом, если размер популяции составляет 1 000 000 особей — примерная численность населения во времена охоты и собирательства — то потребуется 2763 поколения, чтобы ген, дающий преимущество на один процент, распространился в генофонде.1

В этом нет ничего удивительного. Генам приходится самим выполнять всю работу, потому что нет никакой Феи Эволюции, которая бы наблюдала за генофондом и решала: «Хм, этот ген, кажется, быстро распространяется, надо раздать его всем!»
В условиях человеческой рыночной экономики любой, кто, оставаясь в рамках закона, получает 20% прибыли от инвестиций — особенно если за этим стоит очевидный, прозрачный механизм — стремительно получает ещё больше капитала от инвесторов, а другие начинают копировать его предприятие. Генам же приходится распространяться без помощи фондовых рынков, банков и подражателей. Как если бы Генри Форду пришлось сделать одну машину, продать её, купить деталей на ещё 1,01 машину (в среднем), продать эти машины, и так до тех пор, пока не дойдёт до миллиона.

Это если предполагать, что ген вообще распространится. Следующее уравнение проще и вовсе не связано с размером популяции:

вероятность закрепления гена = 2s

У мутации, которая несёт 3%-ное преимущество (что чертовски много для мутаций), 6% вероятность распространения в популяции, по крайней мере на этот раз.2 Мутации могут повторяться, но при популяции из миллиона особей и точности копирования 10^-8 ошибок на поколение вам придётся подождать сотню поколений, чтобы получить ещё один шанс, а потом у неё всё равно будет 6% шанс закрепиться.

И всё-таки в конечном итоге эволюции неплохо удаётся добираться до финальной точки. (Это лейтмотив.)

На развитие сложных адаптаций требуется очень много времени. Сначала появляется аллель А, который выгоден сам по себе, и уходит тысяча поколений, прежде чем он закрепится в генофонде. Только после этого аллель B, зависимый от А, может начать развиваться. Меховая шуба не станет серьёзным преимуществом, если у окружающей среды нет статистически достоверной склонности устраивать вам морозильник. А гены составляют часть окружающей среды для других генов, и если B зависит от A, то B не получит серьёзного преимущества, пока A не будет достоверно присутствовать в окружающей среде.

Предположим, что B дает преимущество 5% при наличии A, а без него не даёт никакого. Тогда до тех пор, пока A всё ещё имеет 1% -ную частоту в популяции, B даст преимущество только 1 из 100 раз, поэтому суммарное преимущество наличия B составляет 0,05%, а вероятность закрепления В составляет 0,1%. В случае развития сложной адаптации сначала гену А придётся развиваться на протяжении более чем тысячи поколений, потом гену B придётся развиваться ещё тысячу поколений, и тогда A∗ разовьётся ещё через тысячу поколений… и несколько миллионов лет спустя вы получите новую сложную адаптацию.

И при этом другие эволюции не перенимают её. Если эволюция змей разработает потрясающий новый яд, это не поможет эволюции лис или эволюции львов.

Сравните всё это с человеком-программистом, который может разработать новый сложный механизм с сотней взаимозависимых частей всего за один день. Как это вообще возможно? Я не знаю ответа, и предполагаю, что наука тоже не знает(en); человеческий мозг намного сложнее, чем эволюции. Я мог бы махнуть рукой и сказать что-то вроде «целенаправленная обратная цепочка с использованием комбинаторных модульных представлений», но это не помогло бы вам спроектировать своего собственного человека. Тем не менее: люди предусмотрительны и способны разрабатывать новые элементы системы c расчётом на то, что в будущем будут разработаны другие новые элементы; производить согласованные одновременные изменения в взаимозависимом механизме; учиться, наблюдая отдельные тестовые примеры; фокусироваться на проблемных точках и разбираться с ними, используя абстрактное мышление; придумывать, как ещё можно поиграть с настройками вместо того, чтобы ждать, что луч из космоса создаст удачное изменение. По меркам естественного отбора это просто волшебство.

Люди способны делать вещи, которые эволюции сделать не смогут (здесь можно поставить точку) за всё то время, сколько ещё проживёт Вселенная. Как однажды сказала выдающийся биолог Синтия Кеньон за обедом, на котором я имел честь присутствовать: «Один аспирант за час может сделать то, что эволюция не смогла за миллиард лет». Согласно текущим знаниям биологов, эволюции изобрели полностью вращающееся колесо в общей сложности трижды.

И не забывайте о том, что программист может запостить фрагмент кода в интернете.

Да, некоторые изделия эволюции впечатляют даже в сравнении с лучшими технологиями Homo sapiens. Но наш кембрийский взрыв только начался, мы едва только начали накапливать знание, примерно… четыре сотни лет назад? В чём-то биология всё ещё превосходит лучшие человеческие технологии: мы не можем создать самовоспроизводящуюся систему размером с бабочку. В других случаях человеческая технология делает биологию только так. У нас есть колёса, у нас есть сталь, у нас есть ружья, у нас есть ножи, у нас есть заострённые палки; есть ракеты, транзисторы, атомные электростанции. С каждым десятилетием наша чаша весов склоняется всё ниже.

Повторю: для человеческого разума искать вдохновение в конструкторском мастерстве естественного отбора — то же самое, как если бы сложная современная бактерия подражала бы неуклюжей биохимии первого репликатора. Первый репликатор, появись он в сегодняшней конкурентной среде, был бы мгновенно съеден. Та же участь ждёт и человека-проектировщика, который станет вносить в свои стратегии случайные точечные мутации и ждать 768 итераций тестов, прежде чем внести 3%-ное улучшение.

Не превозносите эволюции ни на миллиметр больше, чем они того заслуживают.

Далее в программе: ещё больше захватывающих математических ограничений эволюции!

• 1. Dan Graur and Wen-Hsiung Li, Fundamentals of Molecular Evolution, 2nd ed. (Sunderland, MA: Sinauer Associates, 2000).
• 2. John B. S. Haldane, “A Mathematical Theory of Natural and Artificial Selection,” Mathematical Proceedings of the Cambridge Philosophical Society 23 (5 1927): 607–615, doi:10.1017/S0305004100011750.

«Законы физики и математики выполняются всегда. Поэтому я считаю, что эволюция действует и сейчас. А из этого я делю вывод, что природа — кровожадное создание, как некоторые считают1, — просто выйдет на новый уровень…

[Пытаться избавиться от Дарвиновской эволюции] это всё равно, что пытаться избавиться от гравитации. Пока существуют ограниченные ресурсы и множество соревнующихся акторов, способных передавать характеристики, будет существовать давление отбора».

— Перри Мецгер, предсказывающий, что владычество естественного отбора продолжится в неопределённом будущем.

В эволюционной биологии, равно как и во многих других областях, важно мыслить количественно, а не качественно. Верно ли, что полезная мутация «распространяется иногда, но не всегда»? Скажем, паранормальные способности оказались бы полезной мутацией. Стоит ожидать их распространения, правильно? Тем не менее, это качественное суждение, а не количественное — если Х истинно, то Y истинно; если паранормальные способности полезны, то они могут распространиться. В «Эволюции неразумны» я привёл уравнение, которое определяет вероятность закрепления полезных мутаций: она примерно в два раза больше преимущества в приспособляемости (для преимущества в 3% получается вероятность в 6%). Скорее всего, только такое мышление — с помощью чисел — поможет нам понять, что вероятность распространения мутаций, которые полезны только изредка, крайне мала и что практически невозможно возникновение сложных адаптаций, если они не используются постоянно. Если бы паранормальные способности существовали, нам следовало бы ожидать, что они используются повсюду: не только потому, что они удивительно полезны, но и потому, что в противном случае они бы не развились и не распространились.

«Пока существуют ограниченные ресурсы и множество соревнующихся акторов, способных передавать характеристики, будет существовать давление отбора». Это качественное суждение. Насколько большим будет давление отбора?

Cуществует несколько кандидатов на звание самого важного уравнения в эволюционной биологии. Однако я бы назвал самым важным уравнение Прайса, которое в самой простой своей формулировке выглядит так:

$$ Δz=cov(v_i,z_i) $$

изменение в средней характеристике = ковариация (относительная приспособленность, характеристика)

Это очень-очень-очень мощная формула. Например, если в качестве характеристики Z мы возьмём вероятность наличия некоторого гена роста, то уравнение Прайса скажет нам, что изменение в вероятности обладания этим геном равняется ковариации этого гена с репродуктивной приспособленностью. А если в качестве характеристики Z рассмотреть «рост в целом», отдельно от каких-либо генов, то уравнение Прайса подскажет, что изменение в росте в следующем поколении будет равно ковариации между ростом и относительной репродуктивной приспособленностью.

(Во всяком случае, это верно пока рост наследуется напрямую. Если носители определённого генотипа становятся выше благодаря улучшенному питанию, в уравнение Прайса потребуется внести поправку. Если существуют сложные нелинейные связи между несколькими генами, потребуется добавить либо дополнительный член, либо усложнить уравнение настолько, что окажется не настолько понятным.)

Изучая разные формы и производные от уравнения Прайса, можно получить множество откровений. Например, уравнение гласит, что средняя характеристика меняется в соответствии с её ковариацией с относительной приспособленностью, а не с абсолютной приспособленностью. Это означает, что если ген Фродо спасёт весь вид от вымирания, характеристики Фродо не станут встречаться чаще, ведь от поступка Фродо выиграют в равной степени все генотипы, то есть характеристики Фродо не будет «ковариировать» с относительной приспособленностью.

Ходят слухи, что Прайс настолько тревожился из-за выводов, которые следовали из его уравнения по поводу альтруизма, что совершил самоубийство. Впрочем, возможно, это было связано с какими-то другими проблемами. («Overcoming Bias»2 не поддерживает совершение самоубийства после изучения уравнения Прайса.)

Также при изучении уравнения Прайса можно осознать, что для возникновения эволюции недостаточно «ограниченных ресурсов» и «множества соревнующихся акторов, способных передавать характеристики». «Способности к самовоспроизводству» — тоже недостаточно. Даже «соревнования между самовоспроизводящимися сущностями» недостаточно.

Эволюционируют ли корпорации? Они точно соревнуются. Время от времени у них появляются потомки. Их ресурсы ограничены. Иногда они умирают.

Но насколько потомок корпорации напоминает своих родителей? Значительная часть индивидуальности корпорации зависит от ключевых фигур, а директора не размножаются делением. Уравнение Прайса оперирует лишь характеристиками, которые наследуются в дальнейших поколениях. Если пра-правнуки почти непохожи на своих пра-прадедов, то в кумулятивный отбор у вас дадут вклад не больше четырёх поколений — всё, что произошло более чем четыре поколения назад, не будет играть никакой роли. Да, индивидуальность корпорации может повлиять на потомство — но в корпорациях нет никакого аналога ДНК — сущности, которую скорее стоит считать цифровой, а не аналоговой и каждый элемент которой передаётся в следующее поколение с вероятностью ошибки, равной $10^{-8}$.

ДНК наследуются на протяжении миллионов поколений. Чистая эволюция создала сложные адаптации именно благодаря этому. Цифровая ДНК сохраняется достаточно долго, и ген, добавляющий 3% преимущества может распространяться в течение 768 поколений, а после этого может возникнуть другой ген, зависящий от первого. Даже если бы корпорации могли повторять себя с цифровой точностью, на данный момент они представляли бы собой максимум десять поколений в мире РНК.

Корпорации, конечно же, подвержены отбору, в том смысле, что некомпетентные корпорации терпят крах. Таким образом, более вероятно наблюдать корпорации с характеристиками, способствующими компетентности. В том же смысле, посмотрев на ночное небо, вы с меньшей вероятностью заметите звезду, превратившуюся в сверхновую вскоре после формирования. Однако если случайность звёздной динамики заставит одну звезду гореть дольше, чем другую звезду, вероятность, что будущие звезды будут также гореть дольше, не увеличится — характеристики звезды, горевшей дольше, не скопируются в другие звезды. Крайне маловероятно, что астрофизики будущего обнаружат сложные внутренние особенности звёзд, которые будут выглядеть, словно они созданы специально, чтобы звёзды горели дольше. Механическая адаптация такого рода требует гораздо большего кумулятивного давления отбора, чем однократный отсев.

Подумайте над принципом, представленном в «Самоуверенности Эйнштейна». Чтобы Эйнштейн при создании ОТО обратил внимание на какое-то конкретное уравнение, потребовалось огромное количество свидетельств. Количество же свидетельств, которое было необходимо, чтобы это уравнение перешло со стадии «я его рассматриваю как гипотезу» на стадию «я уверен в нём на 99,9%», гораздо меньше. Аналогично сложные характеристики корпораций, описываемые сотнями бит информации, созданы в основном человеческим интеллектом, а не несколькими поколениями неразборчивой эволюции. В случае биологии мутации абсолютно случайны, а эволюция поставляет тысячи бит кумулятивного давления отбора. В случае корпораций тысячебитные сложные «мутации» создаются человеческим интеллектом, созданные интеллектом, а затем дальнейший отбор в виде «обанкротилась или нет?» отвечает за несколько дополнительных бит, объясняющих ваши наблюдения.

Продвинутая молекулярная нанотехнология — искусственный её подвид, а не биологический — должна уметь копировать себя с цифровой точностью на протяжении тысяч поколений. Будет ли здесь применимо уравнение Прайса?

Корреляция — это отношение ковариации и дисперсии, поэтому если А хорошо предсказывает B, то между ними может быть сильная «корреляция», даже если А варьируется от 0 до 9, а B только от 50,0001 и 50,0009. Уравнение Прайса работает с ковариацией характеристик, связанных с воспроизводством, а не с корреляцией! Если вы можете сжать дисперсию в характеристиках до небольших размеров, ковариация сильно снижается и с ней уменьшается кумулятивное изменение в характеристике.

Forsight Institute рекомендует (у него много разумных предложений) шифровать алгоритмы репликации любых наноустройств. Более того, шифровать таким образом, чтобы смена единственного бита зашифрованного алгоритма приводила к полной невозможности расшифровать его и использовать. Если все произведённые наноустройства являются точными молекулярными копиями и более того, любые ошибки на сборочной линии не наследуемы (ведь дети получили цифровую копию исходных зашифрованных алгоритмов для создания внуков) то наноустройства вряд ли смогут как-то эволюционировать.

Всё ещё придётся беспокоиться о прионах — самоповторяющихся ошибках сборки, не связанных с зашифрованными алгоритмами. Например, предположим, что рука робота промахивается и не захватывает атом углерода, используемый для создания собственной копии, а это приводит к тому, что рука потомка совершает точно такую же ошибку при попытке схватить атом углерода и так далее, хотя зашифрованные алгоритмы остаются неизменными. Но чему в такой ситуации будет равна корреляция между таким видом передаваемой ошибки и более высоким уровнем воспроизводства? Допустим наноустройство производит копию самого себя каждые 1000 секунд и новое наноустройство чудесным образом более эффективно (у него не просто есть прион, а это ещё и полезный прион) и оно копирует себя каждые 999,99999 секунд. Видите ли, ему нужно на один атом углерода меньше. Получается не так много дисперсии в воспроизводстве, а значит не такая уж и большая ковариация.

Как часто потребуется этим наноустройствам воспроизводиться? Если у них в свободном доступе будет не больше атомов, чем существует в Солнечной системе или, если уж на то пошло, в видимой Вселенной, то пройдёт лишь небольшое количество поколений, прежде чем они столкнутся с проблемой ресурсов. «Ограниченные ресурсы» не являются достаточным условием для эволюции, нужно ещё, чтобы эти ресурсы восстанавливались в результате регулярной смерти значительной доли популяции. На самом деле «поколения» это не столько число, сколько интеграл доли популяции, состоящий из вновь созданных элементов.

Как по мне, именно это и пугает в серой слизи или нанотехнологическом оружии больше всего: они съедят всю Землю и больше уже ничего не будет, ничего интересного больше не произойдёт. Алмаз более стабилен, чем белки, связанные силами Ван-дер-Ваальса, поэтому слизи потребуется лишь пересобрать некоторые кусочки самой себя в случае падения астероида. Даже если бы прионы оказались достаточно хороши для поддержания эволюции — эволюция и в случае цифровой ДНК достаточно медленна! - между пожиранием Земли слизью и смертью Солнца, скорее всего, прошло бы меньше 1,0 поколения.

Таким образом, если есть все следующие свойства:

• Воспроизводящиеся сущности;
• Достаточная дисперсия их характеристик;
• Достаточная дисперсия их воспроизводства;
• Устойчивая корреляция между характеристиками и воспроизводством;
• Высокоточная наследуемость характеристик через многие поколения;
• Частая рождаемость значительной доли популяции;
• И всё остаётся истинным на протяжении множества итераций…

Тогда появится значительное кумулятивное давление отбора, достаточное для производства сложных адаптаций силами эволюции.

• 1. Автор цитаты в оригинале использует отсылку к непереведённому на русский стихотворению Теннисона «In Memoriam». — Прим.перев.
• 2. Блог, в котором Юдковский публиковал свои эссе до возникновения сайта lesswrong.com. — Прим.перев.

Существует очень сильно распространённое заблуждение, согласно которому эволюция работает на благо видов. Вы, наверное, слышали чьи-нибудь рассуждения о том, что два кролика производят на свет восемь крольчат потомства и тем самым «способствуют выживанию своего вида»? Современный эволюционный биолог никогда бы такого не сказал. Скорее бы он породнился с кроликом.

При обсуждении этого вопроса тоже необходимо одновременно держать в уме несколько абстрактных концепций и при этом не смешивать их. Эволюция не работает на уровне конкретных особей. Особи сохраняют те гены, с которыми были рождены. Эволюция оперирует на уровне популяций — видов — во времени. Возникает естественная тенденция думать, что раз Фея Эволюции работает на уровне видов, она, должно быть, оптимизирует ради этих видов. Но на самом деле меняются лишь частоты встречаемости генов в популяции, а они не увеличиваются и не уменьшаются в зависимости от того, насколько этот ген поможет виду в целом. Как мы увидим в дальнейшем, для вида вполне возможно эволюционировать к вымиранию.

Почему мальчиков и девочек рождается примерно одинаковое количество? (Не учитывая безумные страны, использующие технологии искусственного полового отбора.) Чтобы понять, почему это удивительно, учтите, что от одного мужчины могут забеременеть сразу 2, 10, 100 женщин. Не похоже, чтобы одинаковое количество самцов и самок было необходимо для обеспечения выживания вида. Это ещё более удивительно для большинства видов животных, у которых самец практически не участвует в выращивании потомства - в вопросе родительских инвестиций люди экстраординарны, даже среди приматов. Сбалансированное половое распределение обнаруживается даже у видов, где самец оплодотворяет самку, а затем исчезает в тумане.
Рассмотрим две группы на разных сторонах горы: в группе А каждая мать рожает 2 дочерей и 2 сыновей, в группе В каждая мать рожает 3 дочерей и 1 сына. Группа А и группа В будут иметь одинаковое количество детей, но в группе В будет на 50% больше внуков и на 125% больше правнуков. Можно подумать, что это серьёзное эволюционное преимущество.

Но стоит учесть: чем реже начинают встречаться самцы, тем более репродуктивно ценными они становятся - не для группы, а для отдельного родителя. У каждого ребёнка есть отец и мать. Поэтому в каждом поколении общее генетическое влияние всех самцов должно быть равно общему генетическому влиянию всех самок. Чем меньше самцов, тем больше индивидуальное генетическое влияние каждого из них. Если все самки вокруг действуют во благо группы и вида, рожая по самцу на десять самок, вы можете одержать полную генетическую победу, родив исключительно сыновей, каждый из которых (в среднем) будет иметь в десять раз больше внуков, чем у их кузин.

В результате, в то время как групповой отбор должен поощрять рождение большего количества дочерей, индивидуальный отбор поощряет равный вклад в рождение потомства обоих полов. Взглянув на статистику по рождаемости, нетрудно заметить, что в борьбе между этими двумя силами у Homo sapiens, сокрушительную победу одержал индивидуальный отбор.

(Технически, всё немного сложнее. Индивидуальный отбор поощряет равный родительский вклад в потомство обоих полов. Если рождение и/или воспитание самцов в два раза проще, то эволюционно стабильным состоянием будет популяция, в которой самцов в два раза больше чем самок. Если в популяции в целом рождается одинаковое количество самцов и самок, но рождение самцов в два раза проще, то вы опять же можете одержать генетическую победу, рожая больше самцов. Таким образом, пациенты родильного отделения должны отражать баланс родительских издержек в семье охотников-собирателей при выращивании мальчиков и девочек. Но знаете, не похоже, чтобы для семьи охотников-собирателей вырастить девочку было настолько более репродуктивно затратным, что рождение примерно одинакового количество мальчиков и девочек выглядело подозрительным.)

Естественный отбор — не о группах, не о видах и даже не об отдельных особях. У видов, практикующих половое размножение, отдельный организм не эволюционирует, он сохраняет те гены, с которыми был рождён. Особь — это одноразовый набор генов, который никогда не возникнет вновь. Как можно вести отбор на таком основании? Стоит заметить, что почти все ваши предки мертвы, как становится ясным, что «выживает сильнейший» — это огромное заблуждение. «Воспроизводство более приспособленных» — вот подходящая формулировка, хотя технически приспособленность и определяется исключительно в терминах воспроизводства.

В действительности, естественный отбор — о частотах генов. Чтобы получить сложную адаптацию, механизм с множеством взаимозависящих деталей, каждый новый ген в процессе эволюции зависит от остальных генов, в достаточной степени распространённых в генетической среде. Они должны часто встречаться. И чем сложнее механизм, тем больше должны быть эти частоты. Особенность естественного отбора проявляется в распространённости гена, увеличивающейся от 0.00001% до 99% генофонда. Увеличение распространённости — это информация в смысле теории информации, и оно необходимо, чтобы большие сложные адаптации эволюционировали.

Настоящая борьба естественного отбора не в конкуренции между организмами за ресурсы, это лишь морок и все его участники исчезнут в следующем поколении. Настоящая борьба в соревновании между аллелями за частоты в генофонде. Именно результат этой борьбы создаёт информацию, сохраняющуюся надолго. Два ревущих барана, столкнувшиеся рогами всего лишь тени на стене пещеры.

Абсолютно возможно для аллеля распространиться вплоть до повсеместности, победив в конкурентной борьбе альтернативный аллель, который был бы «лучше для всего вида». Если бы Летающий Макаронный Монстр магически создал вид, в котором половое разнообразие было бы идеально оптимизировано ради выживания всего вида – такое, что могло бы эффективно восстанавливать популяцию после событий приводящих к почти полному вымиранию, адаптироваться к новым экологическим нишам и так далее, – то эволюция быстро бы испортила это разнообразие с оптимального значения для вида к индивидуальному оптимальному значению одинакового вклада в потомство обоих полов.

Представьте «ген Фродо», который жертвует своим носителем, ради спасения всего вида от вымирания. Что же случится с распространённостью этого аллеля в результате? Она уменьшится. Спасибо и до свидания.

И если события, способные привести к вымиранию вида, возникают регулярно (назовём это «средой Баффи»), распространённость гена Фродо будет систематически понижаться, пока он не исчезнет. Вскоре после этого исчезнет и весь вид. Гипотетический пример? Возможно. Если человечество планирует остаться биологическим ещё один век, было бы хорошей идеей начать клонировать Ганди.

У вирусов существует противостояние между стремлением каждого вируса воспроизвестись как можно быстрее и выгодой от того, что носитель останется в живых достаточно долго, чтобы распространить болезнь. Это хороший пример группового отбора, существующий в реальном мире. Если вирус эволюционирует до такого состояния, когда давление группового отбора не справляется с давлением индивидуального, вирус может вскоре исчезнуть. Не знаю, зафиксированы ли случаи, когда какая-нибудь болезнь эволюционировала к вымиранию, но наверняка это происходило многократно.

Нарушители сегрегации нарушают работу механизмов, которые обычно гарантируют справедливость полового размножения. Например, существует нарушитель сегрегации в мужской половой хромосоме некоторого вида мышей, который приводит к рождению исключительно самцов, которые также несут в себе этот нарушитель сегрегации. Затем эти самцы оплодотворят самок, те родят исключительно самцов и так далее. Вы могли бы возмутиться: «Это же жульничество!» Но это человеческий взгляд: репродуктивная приспособленность аллеля невероятно высока, ведь он оставляет в два раза больше копий себя в последующем поколении, чем альтернативный, немутировавший аллель. Даже когда самки начинают встречаться все реже и реже, самцы, несущие в себе этот ген имеют не меньшие шансы на спаривание, чем любые другие самцы, и таким образом нарушитель сегрегации остаётся в два раза более приспособленным, чем альтернативный аллель. Предполагается, что настоящий групповой отбор мог сыграть свою роль в удержании распространённости этого гена на том небольшом уровне, на котором она и находится. В таком случае, если бы в результате эволюции мыши научились летать и мигрировать на зиму, они бы наверняка сформировали единую репродуктивную популяцию и эволюционировали к вымиранию, как только нарушитель сегрегации распространился бы по все популяции.

Около 50% генома кукурузы состоит из транспозонов - ДНК элементов, чья основная функция копировать себя в другие участки ДНК. Класс транспозонов, называемый «P элементами», похоже, впервые возник в геноме дрозофилы только в середине двадцатого века и за 50 лет распространился по всей популяции. У людей есть «Alu-элемент», транспозон примерно из 300 оснований. Он встречается в человеческом геноме где-то от 300 тысяч до миллиона раз. Возможно, от транспозонов виды и не вымирают, но пользы это не приносит точно: транспозоны вызывают больше мутаций, которые почти всегда опасны, поскольку уменьшают эффективную точность копирования ДНК. И, тем не менее, подобные жулики крайне приспособлены.

Представим, что в некотором виде с половым размножением возник идеальный механизм копирования ДНК. Так как большинство мутаций вредны, подобный набор генов будет преимуществом для своих носителей. Но как же полезные мутации? Раз они иногда возникают, не будет ли неспособность мутировать недостатком? Однако у видов с половым размножением полезные мутации, возникшие в способных мутировать особях, могут распространиться к потомкам неспособных. Таким образом, мутируемость оказывается чистым недостатком. Идеальный механизм копирования ДНК увеличивает свою распространённость вплоть до повсеместности. Десять тысяч лет спустя наступает ледниковый период, и весь вид исчезает. Он эволюционировал к вымиранию.

«Эффект свидетеля» заключается в том, что когда кто-то попадает в неприятность, одинокий человек с большей вероятностью вмешается, чем группа. Студенту колледжа при эпилептическом приступе в 85% случаев помогали одинокие прохожие и в 31% группы из пяти человек. Предположу, что родство в племени охотников-собирателей было достаточно сильно, чтобы создать давление отбора для помощи особям, напрямую не родственным. Однако, я допускаю, что даже в этом случае генетическая гонка вооружений могла способствовать тому, что при наличии нескольких потенциальных помощников лучше остаться сзади. Каждый откладывает свою помощь, рассчитывая, что поможет кто-то другой. В настоящее время перед лицом человечества стоит множество угроз, способных привести к вымиранию всего вида, и, должен сказать, не так уж много людей готовы выступить вперёд. Если мы проиграем этот бой, потому что на поле боя не выйдет практически никто, значит, мы эволюционируем к вымиранию — как, по всей видимости, большое количество видов, которых мы не можем наблюдать сейчас.

Раковые клетки достаточно успешны в теле, они благоденствуют и накапливают больше ресурсов, значительно опережая своих более послушных конкурентов. Некоторое время.

Многоклеточные организмы могут существовать лишь потому, что они развили мощные внутренние механизмы, подавляющие эволюцию. Если клетки начнут эволюционировать, то очень быстро эволюционируют к вымиранию: организм погибнет.

Не стоит восхвалять эволюцию за заботу об отдельной особи, ведь почти все ваши предки мертвы. Не стоит восхвалять эволюцию и за заботу обо всем виде: никому ещё не удалось обнаружить сложную адаптацию, которую можно объяснить лишь направленностью на сохранение вида в целом. Судя по всему, математика показывает, что это практически невозможно. И наоборот, вид вполне может эволюционировать к вымиранию. Не исключено, что человечество завершает этот процесс прямо сейчас. Нельзя даже похвалить эволюцию за заботу о генах: битва между двумя альтернативными аллелями за распространённость — это игра с нулевой суммой.

Приспособленность не всегда ваш друг.

До 1966 года было довольно естественным, что серьезные биологи отстаивают эволюционные гипотезы, которые сейчас мы бы отнесли к магическому мышлению. Эти сумбурные идеи сыграли в развитии эволюционной теории важную историческую роль. Ошибки приводят к их исправлению — недальновидность английских королей привела к появлению великой хартии вольностей и конституционной демократии.

Например, Веро Вайн-Эдвардс, Вардер Алли и Дж. Л. Бреретон (а также многие другие) считали, что хищники будут добровольно воздерживаться от размножения, дабы избежать перенаселения их зоны обитания и истощения популяции их добычи.

Но эволюция не открывает шлюзы по собственному произволу. Нельзя объяснить погремушку гремучей змеи, утверждая, что она полезна для других животных, которых без этой погремушки укусила бы эта змея. Нет никакой внешней Феи Эволюции, которая решала бы, какой ген следует продвинуть: эффект гена должен как-то напрямую способствовать тому, чтобы он стал более распространенным в следующем поколении. Понятно, почему наше человеческое представление о прекрасном, видя популяцию лис, съевших всех зайцев, кричит: «Что-то нужно с этим сделать!» Но каким образом совокупность генов, обеспечивающих воздержание от размножения — представьте эту картину! — сделает себя более часто встречающейся в следующем поколении?

Человеку, создающему маленькую ухоженную игрушечную экосистему — в качестве развлечения, как модель железной дороги — скорее всего не понравится, если его тщательно сконструированные популяции лис и зайцев самоуничтожатся, когда лисы съедят всех зайцев, а затем сами умрут от голода. Так что человек будет возиться с игрушечной экосистемой до тех пор, пока экосистема не станет выглядеть мило и ухоженно, а ограничитель размножения лис — очевидное решение, которое тут же возникает в нашем человеческом мозгу. Природа — не человек, разумеется, но это не обязано останавливать нас. Особенно, когда мы знаем, что бы мы сделали по эстетическим причинам. Нам всего лишь нужно придумать правдоподобные аргументы, которые убедят природу хотеть того же по эволюционным причинам.

Очевидно, что индивидуальный отбор не создаст особь, ограничивающую свое размножение. Особи, которые размножаются неограниченно, естественным образом оставят больше потомства, чем те, кто ограничивают себя.

(Дополнение: Индивидуальный отбор не способствует жертвованию возможностями размножения. Он определенно может способствовать возникновению особей, которые, после получения всех доступных ресурсов, используют их, чтобы произвести 4 больших яйца вместо 8 маленьких — не для того, чтобы сохранить ресурсы, а потому что это индивидуальное оптимальное значение для произведения количества яиц на вероятность выживания яйца. Это не спасает от трагедии общин.)

Но предположим, что популяция некоторого вида была разбита на две подпопуляции, которые были в основном изолированны и лишь иногда спаривались друг с другом. Затем, внезапно, подпопуляция, которая ограничивала свое размножение окажется в условиях, которые с меньшей вероятностью приводят к ее вымиранию и сможет отправить больше особей на чужие территории, и создать новые колонии, чтобы заселить места обитания исчезнувших популяций.

Недостаток этого сценария не в том, что он математически невозможен. Недостаток в том, что он возможен, но крайне маловероятен.

Главная проблема в том, что от ограничения размножения в некоторой группе выиграют не только члены этой группы. Если некоторые лисы будут рожать меньше щенков, которые едят зайцев, то несъеденные зайцы достанутся не только тем щенкам, что несут в себе гены ограниченного воспроизводства. Прочие лисы и их куда большее количество щенков, с радостью съедят всех оставшихся зайцев. Ген воздержания может выжить под давлением отбора только в том случае, если выгода от воздержания достаётся лишь воздерживающимся.

Если быть точным, необходимо выполнение условия C/B < FST, где C — это стоимость альтруизма для донора, B — выгода от альтруизма для получателя, а FST — пространственная структура популяции: среднее «родство» между случайно выбранным организмом и его случайно выбранным соседом, где «сосед» - это любая другая лиса, которая получает выгоду от альтруизма воздерживающейся лисы. (Насколько я понимаю, в этой статье выводится это неравенство, но с использованием других символов. Это лучшее, что мне удалось найти в сети.)

То есть, если цена воздержания от размножения достаточно мала, а наблюдаемая польза от меньшего голода достаточно велика по сравнению с наблюдаемой пространственной структурой популяций лис и зайцев, то аргумент группового отбора может работать?

Математически это крайне маловероятно. Например, в данной симуляции при условиях, что цена альтруизма составляет 3% от приспособленности, чисто альтруистические группы имеют приспособленность дважды превосходящую чисто эгоистические, размер подпопуляций 25 особей и 20% от всех смертей компенсируются пришельцами из другой группы получается неустойчивое равновесие между альтруизмом и эгоизмом. Если удвоить размер подпопуляций до 50, эгоизм закрепляется. Если увеличить цена альтруизма до 6%, эгоизм закрепляется. Если уменьшить вдвое выгоду от альтруизма, эгоизм закрепляется или значительно преобладает. Когда цена альтруизма превосходит 10%, группы должны быть очень маленькими — всего лишь около 5 членов — чтобы групповой отбор работал. Для лис, воздерживающихся от размножения, такие условия выглядят неправдоподобно.

Я думаю, сейчас многие уже догадались, что в научном споре сторонники группового отбора потерпели окончательное поражение. И решающим оказался не математический аргумент, а эмпирическое наблюдение: лисы не ограничивают свое размножение (я не помню, о каких конкретно видах шел спор, это были не лисы и зайцы), и действительно, системы хищник-жертва постоянно рушатся. В дальнейшем теория группового отбора в некотором смысле возродится, в совершенно иной форме. С математической точки зрения возможна структура «соседей», которая создаёт ненулевое давление группового отбора — пусть и не обязательно способное преодолеть противостоящее ему давление индивидуального отбора. Если вы не будете его учитывать, то ваши вычисления будут неверны. И эволюционные механизмы принуждения (не те, о которых говорилось изначально) кардинально изменили игру. Так почему же этот уже ставший историей научный спор стоит полноценного материала для Overcoming Bias?

Десять лет спустя после упомянутого разногласия, у одного биолога возникла отличная идея. Математические условия, при которых групповой отбор может победить индивидуальный, практически невозможно обнаружить в природе. Почему бы не создать их искусственно, в лаборатории? Майкл Дж. Вейд поставил такой эксперимент, последовательно отбирая популяции насекомых по меньшему количеству взрослых особей в подпопуляции. И каков же был результат? Насекомые в самом деле ограничили своё размножение и стали жить мире и покое с достаточным количеством еды для всех?

Нет. Взрослые особи приспособились поедать яйца и личинок, особенно личинок-самок.

Ну конечно же, отбор по малым размерам подпопуляций не будет отбирать индивидов, которые воздерживаются от их собственного размножения. Он будет отбирать тех, кто съедает чужих детей. Особенно девочек.

И как только у вас появляется результат эксперимента — который теперь кажется совершенно естественным — становится ясно, что сторонники группового отбора позволяли романтизму и человеческому чувству прекрасного затуманить их предсказания о природе.

Это показательный пример упущенной Третьей Альтернативы, в результате рационализации заранее определенной нижней строчки, порождающей фальшивое оправдание и предвзятую остановку. Сторонники группового отбора не пришли к своей идее с чистым, открытым умом, не стали непредвзято выводить следствия. Они начали с прекрасной идеи популяции лис, добровольно ограничивающих свое размножение, в соответствии с нуждами популяции зайцев, с идеи о природе в абсолютной гармонии. Затем они стали искать причину, по которой такое могло бы произойти и пришли к идее группового отбора. Затем, раз они уже знали, какой результат группового отбора они хотели бы получить, они не стали искать каких-либо менее прекрасных и эстетичных адаптаций, к которым бы привел групповой отбор с большей вероятностью. Если бы они действительно попытались спокойно и непредвзято представить результат отбора по маленькому размеру подпопуляции, устойчивой к голоду, они бы подумали о поедании детей других особей или каком-либо столь же «уродливом» исходе, причём задолго до того как представить столь же эволюционно невероятное, как индивидуальное воздержание от размножения!

Это также иллюстрирует позицию, которую я пытался объяснить в Самоуверенности Эйнштейна. При больших пространствах возможных ответов почти вся реальная работа уходит на то, чтобы выдвинуть один возможный ответ как заслуживающий рассмотрения. Если гипотеза привлекла внимание неоправданно — ваше чувство прекрасного предлагает красивый способ, каким Природа может работать, и в то же время естественный отбор не включает в себя Фею Эволюции, которая разделяет ваши ценности — одно это может обеспечить ваше поражение, разве что вы сможете полностью очистить свой разум и начать все заново.

В теории, глупейший человек на земле может сказать, что Солнце светит, и это не означает, что вокруг темнота. Даже если ответ предложен сумасшедшим под ЛСД, вы должны быть способны непредвзято вычислить свидетельства за и против и, если необходимо, разуверить себя.

На практике же сторонники группового отбора были обречены, так как их нижняя строчка появилась под действием их чувства прекрасного, а нижняя строчка природы была результатом естественного отбора. И не было никакой причины, почему эти два процесса могли оказаться взаимосвязанными, и они не оказались. И никакая сколь угодно яростная аргументация этого не изменила.

Если вы начнете со своих собственных желаний о том, что делать природе, подумаете о наблюдаемых причинах, по которым природа поступает так или иначе, а затем рационализируете крайне убедительный аргумент, почему природа должна следовать предпочитаемому вами исходу по природным же причинам, то природа, увы, всё равно вас не послушает. У вселенной нет ума и на неё не действует хитроумная политическая аргументация. Можно весь день спорить, почему гравитация на самом деле должна заставлять воду течь вверх, а вода всё равно останется там, где и была. Как будто бы вселенная попросту не слушает. Дж. Р. Моллой сказал: «Природа - абсолютный ханжа, она упрямо и нетерпимо предана своим предрассудкам и совершенно отказывается уступить самой убедительной рационализации людей».

Я часто рекомендую эволюционную биологию друзьям, потому что в своём нынешнем состоянии она отучает от рационализации. Ошибки призывают к их исправлению. У физиков и инженеров-электронщиков нет проблемы с антропоморфизацией электронов, электроны не демонстрируют поведения, которое кажется разумным. Естественный отбор создает целеориентрированность, чуждую для людей, и изучающих теории эволюции об этом предупреждают. Это хорошая тренировка для любого мыслителя, но она особенно важна, если вы хотите ясно мыслить о чужих и странных процессах, которые выглядят как разум и при этом работают не так, как вы.

Я прежде уделил немало внимания формам рационализации, посредством которой наши убеждения, похоже, воспринимают свидетельство куда сильнее, чем должны на самом деле. И я не преувеличиваю значимость этого. Если бы мы могли преодолеть это фундаментальное метаискажение и увидеть что на самом деле предсказывает каждая гипотеза, мы были бы в состоянии исправить почти любую фактическую ошибку.

Зеркальный вызов для теории принятия решений — увидеть, какой из вариантов на самом деле рекомендуется критерием выбора. Если ваши заявленные моральные принципы говорят вам, что нужно обеспечить ноутбуками всех, на самом ли деле они скажут вам купить украшенный драгоценностями ноутбук за миллион долларов или же потратить те же деньги на приобретение пяти тысяч дешевых ноутбуков?

Создается такое впечатление, что мы, эволюционируя, развили в себе ловкость оправдывать практически любое действие для любой цели. В средние века при помощи теории флогистона оправдывали почему магний горит, хотя это металл, а инквизиторы объясняли каким образом бесконечная любовь Бога к своим детям требует сжечь некоторых из них на костре.

В этом нет ничего загадочного. Политика развилась как черта родоплеменного окружения. Мы произошли от тех, кто мог убедительно доказать что во благо племени нужно убить ненавидимого ими соперника Углака (мы определенно не произошли от Углака).

И еще…возможно ли доказать, что если бы Роберт Мугабе заботился только о благе Зимбабве, он бы отказался от поста президента? Вы можете сказать, что цель оправдывает средства, но разве мы только что не видели, что люди способны подогнать любую цель к любым действиям? Как вы можете знать, что вы правы, а Мугабе — нет? (Есть ряд причин, которые являются хорошими предположениями, но пока просто потерпите меня.)

Человеческие мотивы многочисленны и туманны, процессы наших решений весьма сложны, равно как и наш мозг. Да и мир сам по себе является очень сложным местом, в каждом из выборов средств реального мира. Можем ли мы вообще доказать, что люди рационализируют — что мы систематически искажаем связь между принципами и средствами — когда мы теряем даже ту единственную опору, на которой стоим? Когда нет способа точно найти даже подразумеваемый единичный оптимизационный критерий? (На самом деле вы можете просто наблюдать что люди не соглашаются насчет офисной политики такими способами, которые странно коррелируют с их собственными интересами, в то же время одновременно отрицая, что эти интересы играют какую-либо роль. Но опять же, потерпите еще.)

Где же стандартиризованный, открытый, в общем разумный, консеквенциалистский оптимизационный процесс, в который мы могли бы поместить завершенную моральность как XML файл, чтобы найти? что же мораль на самом деле рекомендует, будучи примененной к миру? Есть ли пусть даже единичный реальный случай, где мы могли бы точно знать, какой критерий выбора рекомендован? Где чистый моральный мыслитель — известная функция полезности, очищенная от всех остальных заблудившихся желаний которые могут исказить ее оптимизация — чей надежный вывод мы можем сравнить с человеческими рационализациями той же самой функции полезности?

И это, конечно же, наш старый друг, чуждый бог! Естественный отбор гарантированно свободен ото всей милости, любви, сострадания, эстетических взглядов, политической фракционности, идеологических пристрастий, академических амбиций, либертарианства, социализма, Синих и Зеленых. Естественный отбор не максимизирует всестороннюю генетическую пригодность — он не умен. Но когда вы смотрите на результат естественного отбора, вы гарантированно смотрите на результат того, что было оптимизировано только по всесторонней генетической пригодности, а не в интересах агрокультурной индустрии США.

В примерах из эволюционных наук — в, например, Трагедии Группового Отбора — мы можем напрямую сравнить человеческие рационализации с результатом чистой оптимизации по известному критерию. Что Уэйн-Эдвардс думал по поводу того, что должно быть результатом группового отбора для малых размеров субпопуляций? Добровольное ограничение в размножении и достаточность еды для всех. Что было настоящим лабораторным результатом? Каннибализм.

Теперь вы можете спросить: может быть все эти случаи эволюционных наук нерелевантны человеческой морали, которая, когда речь заходит о любви, сострадании, эстетике, исцелении, свободе, честности и прочем, никоим образом не помогает всеохватной генетической приспособленности.

Но я спрошу в ответ: если мы не можем напрямую увидеть результат единого монотонного оптимизационного критерия — если мы даже не можем натренировать себя слышать отдельную чистую ноту — тогда как мы услышим оркестр? Как мы увидим, что «всегда будь эгоистичен» или «всегда слушайся правительства» являются плохими принципами, которыми могут руководствоваться люди — если мы думаем, что даже оптимизация генов для всеохватной генетической пригодности должна производить организмы, жертвующие репродуктивными возможностями во имя социального соглашения о ресурсах?

Чтобы научить себя видеть ясно, нам нужны простые практические примеры.

«Отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности»

—Джон Туби и Леда Космидес, «The Psychological Foundations of Culture»1

Пятьдесят тысяч лет назад, вкусовые рецепторы Homo sapiens направляли своих хозяев на поиски самых дефицитных и наиболее востребованных пищевых ресурсов — сахара и жира. Одним словом — калорий. С тех пор обстановка, в которой существуют вкусовые рецепторы, значительно изменилась — в отличие от самих рецепторов. Калории теперь в избытке (в странах Первого Мира) и причиняют ощутимый вред. Микронутриенты, которых было предостаточно в листьях и орехах, отсутствуют в хлебе, но нашим вкусовым рецепторам всё равно. Шарик мороженного — это суперстимул, содержащий больше жира, сахара и соли, чем что угодно в древнем мире.

Ни один человек, умышленно стремящийся к максимизации генетической приспособленности своих аллелей, никогда не съел бы печенье, разве что под страхом голодной смерти. Но отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности.

Крестовую отвёртку создали, чтобы закручивать шурупы, но она не перестроит свою головку на плоскую, чтобы выполнять свою функцию. Мы создаём инструменты, но они существуют независимо от нас и будут существовать независимо от нас.

Атомы отвёртки не содержат внутри себя крошечных XML-тэгов, описывающих их «объективное» предназначение. У её создателя был какой-то замысел. Но реальный мир не обязан ему соответствовать. Если забыть о том, что творец является отдельной сущностью, отличной от творения, можно подумать: «Цель отвёртки — закручивать шурупы», как будто бы это неотъемлемое свойство самой отвёртки, а не свойство состояния ума её создателя. И можно удивиться, что отвёртка не становится плоской, когда нужно закрутить шуруп с плоской головкой, ведь, в конце концов, цель отвёртки — закручивать шурупы.

Причина существования отвёртки — разум её создателя, который представил воображаемый винт и воображаемый поворот рукоятки. Фактическая работа отвёртки, её реальное соответствие головке реального винта, не может быть причиной существования отвёртки: будущее не может быть причиной прошлого. Но мозг создателя, объект, существовавший в прошлом, может быть причиной существования отвёртки.

Последствия существования отвёртки могут не соответствовать воображаемым последствиям в мозгу создателя. Наконечник отвёртки может соскочить и порезать руку пользователя.

А смысл отвёртки — это что-то, что существует в уме пользователя, а не в крошечных этикетках на атомах отвёртки. Её создатель мог ожидать, что отвёртка будут закручивать шурупы. Убийца мог купить её, чтобы использовать как оружие. А затем случайно уронить её, в результате чего её подберёт ребёнок и использует как стамеску.

Причина, форма, последствия и всевозможные смыслы отвёртки — разные вещи. И лишь одна из них заключена в самой отвёртке.

Как возникли вкусовые рецепторы? Они не были созданы разумным творцом, предвидящим последствия, они результат истории древнего человечества. Адаму нравится сахар, он ест яблоко и оставляет потомство, Барбара любит сахар, ест яблоко и оставляет потомство, Чарли любит сахар, ест яблоко и оставляет потомство, и 2763 поколения спустя аллель становится повсеместно распространённым в популяции. Ради удобства мы иногда сжимаем весь этот огромный промежуток истории и просто говорим: «Это сделала Эволюция». Однако, именно он — объективная причина существования вкусовых рецепторов. Пусть это и не быстрое локальное событие, вроде человека, представляющего создаваемую им отвёртку.

Каково объективное устройство вкусовых рецепторов? Технически, это молекулярный сенсор, присоединённый к контуру подкрепления. Это добавляет дополнительный уровень косвенности, потому что вкусовой рецептор не занимается напрямую добычей пищи. Он влияет на разум организма, приводя к тому, чтобы организм хотел есть ту еду, которая похожа на только что съеденную.

Каковы объективные последствия существования вкусовых рецепторов? Для современного жителя Первого Мира вкусовые рецепторы вовлечены в многочисленные цепочки причинно-следственной связи: желание съесть больше шоколада влечёт составление плана, как съесть больше шоколада, и далее поедание шоколада, набор веса, меньшую популярность у противоположного пола, что приводит к меньшим шансам на размножение. Эти последствия прямо противоположны главной причине в длинной цепочке причин и следствий, породившей вкусовые рецепторы. Но так как переедание лишь недавно стало проблемой, никакая дальнейшая эволюция (совокупная последовательность предков) не повлияла на устройство вкусовых рецепторов.

В чем смысл употребления шоколада? Это уже зависит от вас и вашей моральной философии. Лично я думаю, что у него хороший вкус, но я бы хотел, чтобы он был менее вредным. Приемлемые решения могут включать в себя как изменение шоколада, так и моей биохимии.

Смешав некоторые из этих понятий вместе, можно вроде бы сказать: «Современные люди поступают таким образом, который способствовал бы распространению генов в обществе охотников-собирателей, независимо от того, помогает ли это нашим генам в современном мире». Однако, такое утверждение не вполне верно, ведь на самом деле мы не спрашиваем себя, какое поведение максимизировало бы приспособленность наших предков. К тому же, множество современных занятий не имеет древних аналогов. В обществе охотников-собирателей вообще не было такой вещи как шоколад.

Так что лучше рассматривать наши вкусовые рецепторы как адаптацию, приспособленную к древним условиям, включающих в себя голод, яблоки и жареных кроликов, которую современные люди применяют в новом контексте, включающим в себя дешёвый шоколад и постоянно попадающиеся на глаза рекламные объявления.

Отсюда и высказывание: Отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности.

• 1. John Tooby and Leda Cosmides, “The Psychological Foundations of Culture,” in The Adapted Mind: Evolutionary Psychology and the Generation of Culture, ed. Jerome H. Barkow, Leda Cosmides, and John Tooby (New York: Oxford University Press, 1992), 19–136.

[От переводчика: существующему в англоязычном интернете явлению любительской эволюционной психологии соответствует существующее на русском языке явление любительской этологии. Несмотря на разные названия, комплекс идей, в значительной мере ошибочных, они выражают одинаковый.]

Выражение «орган размножения» — это тавтология, точно такая же как и «чат IRC» или «протокол TCP/IP». Все органы — это органы размножения. Откуда у птиц крылья? Фея эволюции птиц подумала, что полёт — это очень изящно? Крылья есть только потому что они помогли предкам птиц размножаться. Равно как и лёгкие, и сердце, и гениталии. Максимум может быть целесообразно разделять органы, непосредственно или косвенно участвующие в размножении.

Это наблюдение также верно и для мозга, наиболее сложной из известных биологии систем органов. Некоторые органы мозга непосредственно участвуют в размножении — например, сексуальное желание — а некоторые косвенно, такие как злость.

Почему у людей есть такая эмоция как злость? Фея эволюции человека подумала, что злость — это полезная функция? Отвечающая за злость нейронная сеть является таким же органом размножения, как и печень. Homo sapiens может испытывать злость, потому что у испытывавших её предков было больше детей. Нет никакого иного пути, который бы привёл к возникновению злости.

Исторический факт о происхождении злости сбивает многих с толку. Они говорят: «Минуточку, вы говорите, что когда я злюсь, я подсознательно стремлюсь завести детей? Это не то, о чём я думаю, если меня кто-то ударил в нос».

Нет. Нет. Нет. НЕТ!

Об отдельных организмах стоит думать как об исполняющих адаптации, а не максимизирующих приспособленность. Причина адаптации, форма адаптации и результат адаптации — это разные вещи. Если вы сконструируете тостер, то он не будет менять свою форму при попытке затолкать в него целый батон хлеба; да, вы сконструировали тостер, предназначенный для того, чтобы жарить хлеб, но это факт о вас, а не о тостере. У тостера нет никакого чувства собственного предназначения.

Но тостер не является объектом вообще имеющим намерения. У него нет разума, поэтому мы не испытываем соблазн приписывать ему цели. То, что мы знаем предназначение тостера, не значит, что его знает тостер — он вообще ничего не знает.

Это похоже на старый тест, в котором просят назвать цвет букв в слове «синий», когда сами буквы окрашены в красный. Это занимает много времени, поскольку мозгу нужно расцепить значение букв и цвет букв. У вас не будет такой проблемы с задачей назвать цвет букв в слове «ветер».

Однако человеческий мозг, помимо того, что он был создан эволюцией, способен иметь собственные стремления, намерения, желания, цели и планы. И человек, и пчела являются проектами, но только человек — проектировщиком. Пчела — это «ветер», а человек — «синий».

Сознательные цели онтологически отличаются от эволюционных целей. Они сделаны из другого материала. Сознательные цели состоят из нейронов, а эволюционные — из предков.

Самые очевидные сознательные цели — это волевые решения, такие как план пойти в магазин или поджарить хлеб. Но эмоции тоже физически существуют в мозге, в виде последовательности нервных импульсов или облака распространяющихся гормонов. Также и инстинкты, зрительные образы, спешно подавленные мысли — имея возможность сканировать мозг и понимать код, мы бы могли видеть их.

Даже подсознательная деятельность физически существует в мозге. Как сказал лорд Актон: «Власть развращает». Сталин вполне мог считать себя альтруистом, работающим ради великого блага для большего количества людей. Однако кажется весьма вероятным, что где-то в его мозге были сети, которые подкрепляли использование власти удовольствием, и сети, которые предсказывали укрепление и ослабление власти. Если бы в мозге Сталина не было ничего, что бы коррелировало со властью — никакой лампочки, которая загоралась при командовании и тухла при политической слабости — тогда как бы власть его развратила?

Давление эволюционного отбора онтологически отличается от биологических артефактов, которые оно создаёт. Эволюционная причина существования крыльев у птиц — это миллионы предков-птиц, которые по статистике размножались чаще, чем остальные предки-птицы, благодаря тому, что они обладали всё сильнее улучшающимися крыльями, по сравнению со своими конкурентами. Мы сжимаем этот колоссальный историко-статистический факт в короткую фразу: «Это сделала эволюция».

Естественный отбор онтологически отличается от существ; эволюция — это не мохнатое чудовище, блуждающее в неизведанном лесу. Эволюция — это причинная и статистическая закономерность в репродуктивной истории предков.

И эта логика также применима к мозгу. Эволюция сделала крылья, которыми можно махать, но она не понимает концепции махательности. Она сделала ноги, на которых можно ходить, но она не знает про ходительность. Эволюция сделала кости из ионов кальция, но сами кости ничего не знают про прочность, не говоря уж об эволюционной приспособленности. Эволюция спроектировала мозг, который сам по себе способен к проектированию, но этот мозг понимает эволюцию не лучше, чем птицы — аэродинамику. До XX века ни один человеческий мозг не представлял себе комплексную абстрактную концепцию инклюзивной приспособленности(English).

Когда нам говорят «Эволюционная цель злости — увеличивать генетическую приспособленность», мы часто сползаем через «Цель злости — это размножение» на «Сознательная цель злости — это размножение». Нет! В мозге нет статистической закономерности размножения предков, даже подсознательно — её там нет так же, как и тостер не содержит цель жарить хлеб, поставленную перед собой инженером.

Думать, что ваши встроенные нейронные сети злости воплощают желание размножаться — это как думать, что рука воплощает желание подбирать предметы.

Рука не полностью отрезана от сознательных желаний. В конкретных обстоятельствах вы можете контролировать сгибание пальцев волевым актом. Если вы наклонитесь и подберёте монету, тогда это будет волевым актом, но не воля заставила руку вырасти.

Нужно также различать единовременные явления злости (злость-1, злость-2, злость-3) и соответствующую им нейронную сеть, отвечающую за злость вообще. Злость-событие — это сознательная мотивация, и у неё могут быть сознательные причины, но у вас не было сознательного желания создать нейронную сеть злости.

Итак, нужно различать злость-событие, нейронную сеть злости, описывающий её комплекс генов и статистику размножения предков, которая привела к возникновению этого комплекса.

Если и есть наука, которая по своей сути требует экстремальной аккуратности, то это эволюционная психология.

Узрите же, о мои читатели, эту низкую и радостную историю: мужчина и женщина встречаются в баре. Мужчину привлекают её светлый тон лица и упругая грудь, которые в доисторические времена были бы признаками фертильности, но в данном случае являются результатом наличия макияжа и бюстгальтера. Мужчину это не беспокоит; ему просто нравится, как женщина выглядит. Его нейронные сети, отвечающие за распознавание светлого тона лица понятия не имеют о том, что их предназначение — оценивать фертильность, точно так же, как на атомах его руки нет XML-тега «≺цель≻поднимать предметы ≺/цель≻». Женщину привлекают его уверенная улыбка и твёрдые манеры, которые в доисторические времена были бы признаками способности обеспечить пропитание детям. Она собирается воспользоваться контрацепцией, но её нейронные сети, регистрирующие уверенные улыбки, об этом знают ничуть не лучше чем тостер знает о том, что его создатель спроектировал его для жарки хлеба. Её не беспокоит философское значение этого бунта, поскольку её мозг — креационист, неистово отрицающий существование эволюции. Он надевает презерватив, поскольку не хочет детей, а только лишь дофаминово-норадреналиновую бурю секса, которая надёжно производила потомство 50 тысяч лет назад, когда отсутствие презервативов было неотъемлемым свойством окружающей среды. Они занимаются сексом, принимают душ и расходятся. Основной объективный результат всего этого — прибыль бара, отеля и производителя презервативов, что никак не было ни сознательной целью в умах мужчины и женщины, ни имело что-либо общее с закономерностью размножения их предков 50 тысяч лет назад, которая объясняет, откуда у них взялись гены, создавшие такие мозги, осуществившие такое поведение.

Чтобы правильно рассуждать об эволюционной психологии, нужно одновременно держать в голове много сложных абстрактных фактов, которые тесно связаны, но при этом критически различны, и ни разу при этом не подменить понятия.

В канадском исследовании 1989 года взрослых людей просили представить смерти детей различного возраста и оценить, какие из них вызвали бы наибольшее чувство потери у родителя. На графике результатов скорбь росла почти до подросткового возраста, а затем шла на спад. Когда эту кривую сравнили с кривой, показывающей перемены в репродуктивном потенциале на протяжении жизненного цикла (рассчитанную по демографическим данным Канады), обнаружилась довольно сильная корреляция. Однако корреляция между кривой скорби современных канадцев и кривой репродуктивного потенциала охотников-собирателей, африканского племени !Кунг оказалась гораздо сильнее, практически идеальной. Другими словами скорбь меняется практически так, как предсказал бы сторонник Дарвина, основываясь на демографических реалиях среды, в которой появился человек.
— Роберт Райт, «Моральное животное», обзор статьи Кроуфорда и др.1

В первом случае корреляция равнялась 0,64, во втором это был экстремально высокий показатель 0,92 (N = 221).

Самое неэлегантное в этом исследовании заключается в том, что в нём людей просили вообразить родительскую скорбь, а не опрашивали настоящих родителей с детьми соответствующих возрастов. (Предполагаю, что такой вариант обошёлся бы дороже или для него нашлось бы меньше испытуемых.) Однако, как я понимаю, результаты хорошо соотносятся с данными из схожих исследований родительской скорби, исследовавших другие корреляции (например, прямую корреляцию между родительской скорбью и возрастом детей).

А теперь рассмотрим некоторые элегантные аспекты этого эксперимента:

1. Корреляция в 0,92(!) может показаться подозрительно высокой. Неужели эволюция способна на столь точную настройку? Но это лишь до тех пор, пока вы не осознаете, что давление отбора было велико не столько для точной настройки родительской скорби, а для создания её с нуля.
2. Люди, которые говорят, что эволюционная психология не предсказывает ничего заранее, всего лишь (какая ирония) жертвы синдрома «никто не знает, что не знает наука». Если бы не эволюционная психология, идея этого эксперимента вам бы даже в голову не пришла.
3. Эксперимент потрясающе красиво и точно показывает разницу между сознательными или подсознательными мотивами и реализацией адаптации, вызванной давлением отбора и никак не подстраивающейся под современные реалии.

Родительская скорбь даже подсознательно не имеет отношения к репродуктивной ценности. Иначе бы она обновилась в соответствие с канадской репродуктивной ценностью, а не соответствовала бы репродуктивной ценности !Kung. Скорбь — это адаптация, которая теперь просто существует. Она реально существует и продолжает существовать по инерции.

Родители беспокоятся о детях не потому, что их волнует репродуктивный вклад. Родители беспокоятся о детях просто так. А не связанная с сознанием эволюционно-историческая причина, почему такие разумы вообще появились во вселенной заключается в том, что дети несут гены родителей.

Да, разум существует во вселенной исключительно благодаря эволюции. Возможно, вы понимаете, почему мне хочется чётко ограничить собственный цинизм по поводу тайных мотивов эволюционно-когнитивной границей. Иначе я с таким же успехом мог бы заявлять на кассе супермаркета: «Эй! Когда ты упаковываешь мои покупки, ты правильно обрабатываешь зрительную информацию, только чтобы увеличить свою генетическую приспособленность!»

(1) Кажется, ни в каком другом эксперименте по эволюционной психологии я не видел корреляции выше, чем 0,92. Более того, это одна из наибольших корреляций, которые я видел в психологических экспериментах вообще. (Впрочем, я видел, например, корреляцию в 0,98 в описании эксперимента, где одну группу испытуемых спрашивали «Насколько А похоже на B?», а другую группу — «Какова вероятность А при условии B?», при том, что вопрос звучал вроде «Насколько вероятно вытащить 60 красных шаров и 40 белых шаров из этой бочки, содержащей 800 красных шаров и 200 белых шаров?». Иными словами, эти вопросы обрабатываются как одинаковые.)

Поскольку мы тут все байесианцы, мы можем учесть наши априорные вероятности и задаться вопросом, не вызвана ли столь высокая корреляция случайностью хотя бы частично. Вероятно, тщательную эволюционную настройку мы можем принять как должное — мы здесь говорим о гигантском давлении отбора. В остальном, изучая подозрительно маленькое отклонение, мы можем спросить: а) действительно ли большие группы взрослых способны в среднем корректно представлять степени родительского горя (очевидно, да), и б) действительно ли выжившие представители племени !Kung являются типичными охотниками-собирателями в этом отношении или различия между разными племенами охотников-собирателей слишком велики, чтобы обеспечить корреляцию в 0,92.

Но даже приняв во внимание все наши скептичные априорные вероятности, корреляция в 0,92 при выборке N=221 является довольно сильным свидетельством и наши апостериорные вероятности должны быть менее скептичными в этом отношении.

(2) Кто-нибудь может посчитать, что эксперимент должен был изучать ретроспективную реальную скорбь, а не воображаемую будущую. Однако же на родительское поведение влияет именно воображаемая будущая скорбь! Именно она заставляет родителей действовать так, чтобы не потерять ребёнка! С эволюционной точки зрения уже погибший ребёнок — невозвратные издержки. Эволюция «хочет», чтобы родитель учился на боли, не повторял свои ошибки, подстраивал свою гедонистическую точку отсчёта и продолжал растить других детей.

(3) Аналогично график, соответствующий родительской скорби, соответствует будущему репродуктивному потенциалу ребёнка, дожившего до определённого возраста, а невозвратным издержки на выращивание ребёнка, дожившего до определённого возраста. (Возможно, мы бы получили даже большую корреляцию, если бы попытались принять во внимание репродуктивные альтернативные издержки выращивания ребёнка возраста Х до независимой зрелости, отбрасывая при этом все невозвратные потери на выращивание ребёнка до возраста Х?)

Обычно люди всё же обращают внимание на невозвратные издержки. Вероятно, это либо адаптации, мешающая нам слишком часто менять стратегии (компенсирующая то, что мы слишком хорошо возможности находим?), либо неудачное основание боли, которая ощущается при трате ресурсов.

Что касается эволюции, то нельзя сказать, что эволюция «не обращает внимания на невозвратные издержки». Эволюция вообще о них не «думает». «Эволюция» — это просто макрофакт о существующих исторических репродуктивных последствиях.

Поэтому, естественно, адаптация родительской скорби настроена таким образом, что она никак не связана с прошлыми инвестициями в ребёнка, но тесно связана с будущими репродуктивными последствиями в случае его потери. Естественный отбор не сходит с ума по поводу невозвратных издержек, как мы.

Однако, конечно же, адаптация родительской скорби работает так, словно родитель живёт в племени !Kung, а не в Канаде. Для большинства людей эта разница очевидна.

Люди и естественный отбор безумны. Но это разные виды устойчивого и сложного безумия.

• 1. Robert Wright, The Moral Animal: Why We Are the Way We Are: The New Science of Evolutionary Psychology (Pantheon Books, 1994); Charles B. Crawford, Brenda E. Salter, and Kerry L. Jang, “Human Grief: Is Its Intensity Related to the Reproductive Value of the Deceased?,” Ethology and Sociobiology 10, no. 4 (1989): 297–307.

Известно как минимум три случая, когда люди умерли, потому что играли в видеоигры несколько дней без перерыва. Из-за «World of Warcraft» люди теряли супругов, детей и работу. Если люди имеют право играть в видеоигры — а сложно представить более фундаментальное право, — рынок в ответ предоставит им самые захватывающие игры, какие только можно продать. Вплоть до того, что особо увлечённые игроки окажутся исключены из генофонда.

Как потребительский продукт может быть настолько увлекательным, что даже спустя 57 часов использования потребитель предпочтёт воспользоваться им ещё один час, а не поесть или поспать? (Полагаю, кто-нибудь может заявить, что потребитель делает рациональный выбор, предпочитая поиграть в «Старкрафт» ещё один час вместо того, чтобы жить весь остаток своей жизни, но, пожалуйста, не здесь.)

Шоколадный батончик — это суперстимул: в нём больше концентрированного сахара, соли и жира, чем в любой еде из среды, в которой эволюционировал человек. Шоколадный батончик возбуждает вкусовые рецепторы, эволюционировавшие во времена охотников-собирателей, но возбуждает их намного сильнее, чем всё, что существовало в те времена. Сигнал, который когда-то достоверно соответствовал здоровой еде, был взломан. В пространстве вкусов появилась точка, отсутствовавшая в тренировочном наборе данных, для древних параметров появился невероятно редкий выброс. Вкус, ранее бывший эволюционным маркером полезности, подвергли реверс инжинирингу, и к нему идеально подобрали искусственную субстанцию. К сожалению, не существует столь же сильного рыночного стимула делать получившуюся еду столь же полезной, как и вкусной. Мы же не можем напрямую ощутить полезность.

Ставшее знаменитым видео Dove Evolution подробно показывает, как создаётся другой суперстимул. При помощи косметики, профессиональной фотографии и активного использования Фотошопа обычная женщина превращается в модель с обложки, приобретая красоту, невозможную и недостижимую для женщин в неотретушированном, реальном мире. Настоящие женщины убивают себя (например, супермодели употребляют кокаин, чтобы не набирать вес) ради конкуренции с тем, чего в буквальном смысле не существует.

И, аналогично, видеоигра, даже просто транслируемая сквозь компьютерный монитор, может быть настолько увлекательной, чем какая-то реальность, что некоторые будут играть в неё, не отрываясь даже на еду и сон, до тех пор, пока в буквальном смысле не умрут. Я не знаю всех хитростей, используемых в видеоиграх, но некоторые, наверное, примерно представляю: сложность задач тщательно подбирается, чтобы они не казались слишком простыми или наоборот невозможными, вознаграждение выдаётся случайным образом, обратная связь демонстрирует постоянный рост очков, в крупных многопользовательских играх присутствует социальная вовлечённость.

Ограничивает ли что-нибудь рынок в стремлении делать игры всё более увлекательными? Можно было бы понадеяться, что вряд ли кто-то захочет перейти черту, за которой игроки будут терять работу, в конце концов, они же должны оплачивать подписку. Это рассуждение подразумевает, что есть некоторая оптимальная точка притягательности видеоигр, в которой мода колоколообразной кривой — это развлекающиеся игроки, и лишь несколько бедолаг приобретают настолько сильную зависимость, что лишаются работы. В 2007 году игра в «World of Warcraft» 58 часов без перерыва с последующей смертью всё-таки скорее исключение, чем правило. Однако производители видеоигр конкурируют друг с другом, и, сделав видеоигру более притягательной на 5%, можно получить 50% клиентской базы конкурента. Легко увидеть, как эта проблема может стать намного хуже.

Если люди имеют право на искушение — а ведь в этом и состоит весь смысл свободы воли — рынок реагирует соответственно и обеспечивает такое количество искушений, какое только можно продать. Мотивация — сделать стимул на 5% более искушающим, чем у главных конкурентов. И гонка приводит к тому, что в какой-то момент стимулы превращаются в суперстимулы, аномальные по меркам среды, в которой эволюционировал человек. Подумайте о том, как изменились наши стандарты женской красоты со времён рекламных плакатов 1950-х. И, как показывают нам шоколадные батончики, мотивация рынка также преодолевает тот порог, за которым суперстимулы уже наносят потребителю побочный урон.

Так почему бы нам просто не сказать «нет»? Ключевое допущение свободной рыночной экономики в том, что при отсутствии принуждения или обмана люди всегда могут просто отказаться заключать вредоносные сделки. (Будь это действительно так, свободный рынок был бы не просто лучшей из возможных экономических политик, а политикой, у которой недостатков либо нет совсем, либо их очень мало.)

Организм, который регулярно отказывается от пищи, умирает, и некоторые игроки в видеоигры узнали об этом на собственном опыте. Однако, в древние времена обычно выгодное (и таким образом соблазнительное) действие иногда оказывалось вредоносным. Благодаря абстрактному мышлению люди как вид очень сильно воспринимают такие особые случаи. С другой стороны, мы также часто воображаем множество специфических последствий, которых не существует. Например духа предков, приказывающего нам не есть вполне пригодных для того кроликов.

Похоже, что эволюция нашла компромисс, или, быть может, выстроила новую систему поверх старой. Еда всё ещё искушает Homo sapiens, однако наша огромная префронтальная кора мозга до некоторого предела позволяет нам противостоять искушению. Предел есть — наши предки с чрезмерно развитой силой воли, вероятно, заморили себя голодом во имя богов или же чаще отказывались от внебрачного секса. В некотором смысле у тех игроков, что умерли за видеоиграми, была необычайная сила воли, чтобы продолжать играть так долго без еды и сна. Такова эволюционная опасность самоконтроля.

Сопротивление искушению требует сознательных усилий и растрачивает ограниченный запас ментальной энергии1. Утверждение о том, что мы можем «просто сказать „нет“ », на самом деле не верно, сказать «нет» — не просто, за это приходится платить. Даже те люди, что выиграли в генетическую лотерею больше силы воли или прозорливости, платят свою цену, чтобы сопротивляться искушению. Просто им это даётся легче.

Наша ограниченная сила воли эволюционировала, чтобы справляться с искушениями, существующими в среде, где мы эволюционировали. Она может плохо справляться с соблазнами, неведомыми охотникам-собирателям. Даже если нам удаётся противостоять искушению суперстимула, весьма правдоподобно, что усилие, необходимое для этого, исчерпывает силу воли куда быстрее, чем противостояние давно существующим искушениям.

Является ли публичная демонстрация суперстимулов вредоносной даже для тех, кто говорит «нет»? Должны ли мы запретить рекламу шоколадного печенья или же витрины, на которых в открытую пишут слово «Мороженое»?

Из существования проблемы напрямую не следует, что правительство в состоянии её решить (если нет соответствующих доказательств). Регулятор не заинтересован заниматься продуктами, в которых сочетается небольшой вред для потребителя и вызывающий зависимость суперстимул, его больше интересуют продукты, вред от которых может создать достаточный шум, чтобы попасть в газеты. И наоборот, из того, что правительство не может что-то исправить, не следует, что в этом нет ничего плохого.

В качестве последнего аргумента я оставляю вам вымышленное свидетельство: опубликованный в интернете роман Симона Фанка «После Жизни» описывает (среди прочего) умышленное уничтожение биологического вида Homo sapiens, причём не посредством марширующей армии роботов, а при помощи искусственных детей. Эти дети красивее и милее настоящих, и их гораздо интересней воспитывать. Возможно, демографический крах продвинутых обществ происходит, потому что рынок обеспечивает все более соблазнительные альтернативы тому, чтобы иметь детей, а привлекательность смены подгузников остаётся неизменной. Где же рекламные плакаты с призывами «РАЗМНОЖАЙТЕСЬ»? Кто заплатит профессиональном пиарщикам, чтобы убедить всех, будто спорить с угрюмыми подростками увлекательнее, чем отдых на Таити?

«В конце концов», — писал Симон Фанк, — «рынок просто вытеснил человеческий вид из бытия».

• 1. Кризис воспроизводимости поставил эту теорию под сомнение. — Прим.редактора.

До двадцатого века ни один человек не понимал, что такое «генетическая приспособленность» — единственное, чем полностью одержим слепой безумный бог. Презервативы или оральный секс не вызывают у нас инстинктивное отвращение. Наши мозги, наши самые главные органы размножения, не проводят проверку на репродуктивную эффективность прежде чем наградить нас оргазмом.

Но почему? Почему мы не одержимы генетической приспособленностью на уровне сознания? Почему Фея Эволюции Людей создала мозги, которые изобрели презервативы? «Ведь так легко было это не допустить», — думает человек, способный создавать новые сложные системы за один вечер.

Насколько нам известно, Фея Эволюции одержима генетической приспособленностью. Когда она решает, какой ген распространить до повсеместности, она, похоже, учитывает исключительно то, сколько своих копий ген производит. (Удивительно!)

Но раз создатель разума столь одержим, почему бы ему не сотворить разумных агентов — едва ли их можно назвать людьми, — которые также будет озабочены исключительно генетической приспособленностью? Такие агенты занимались бы сексом только ради размножения и ни за что не пользовались бы контрацепцией. Они бы употребляли пищу исключительно из-за того, что она необходима для воспроизводства, а не потому, что им нравится вкус, так что они не стали бы есть конфеты, будь те опасны для выживания и размножения. Женщины после менопаузы сидели бы с внуками и добровольно совершали бы самоубийство, когда болезни приводили бы к тому, что они потребляют больше ресурсов, чем приносят.

С точки зрения Феи Эволюции так проект выглядел бы гораздо лучше.

Теперь мы понимаем, что довольно-таки сложно создать достаточно сильного консеквенциалиста. Естественный отбор вроде бы рассуждает с точки зрения последствий, но исключительно непосредственных последствий. Теоретикам эволюции потребовались очень нетривиальные абстрактные рассуждения, чтобы просто вообразить связь между адаптациями и репродуктивным успехом.

Но человеческий белковый мозг определённо способен представлять эти связи. Так почему же Фея Эволюции, создавая людей, вообще выдала им какую-то мотивацию кроме генетической приспособленности?

Прошло менее двухсот лет с тех пор как белковый мозг впервые представил концепцию естественного отбора. Современное понятие «генетической приспособленности» ещё более тонкая абстрактная идея. Важно не просто количество общих генов. У вас 95% общих генов с шимпанзе. Важно общее генетическое разнообразие внутри популяции — ваша сестра родная вам наполовину, так как любая особенность вашего генома в рамках человеческого вида, общая для вас обоих с вероятностью 50%.

Только в прошлом веке, возможно даже только в последние пятьдесят лет, эволюционные биологи начали понимать полный спектр причин репродуктивного успеха, включая такие явления как взаимный альтруизм и дорогостоящий сигналинг. Без этого крайне подробного знания разумный агент, стремящийся «максимизировать генетическую приспособленность», попросту сядет в лужу.

Так почему бы изначально не запрограммировать это знание в белковых мозгах? Почему понятие «генетической приспособленности» не было вшито в нас, вместе с готовой библиотекой явных стратегий? Тогда можно было бы избавиться ото всех механизмов подкрепления. Организм бы рождался со знанием того, что жирная пища с высокой вероятностью увеличит приспособленность. Если позже организм узнает, что это больше не так, то он перестанет употреблять жирное. Можно провести рефакторинг всей системы. И она не изобретёт ни презервативов, ни печенья.

Это кажется в принципе возможным. Я иногда встречаю людей, не вполне понимающих консеквенциализм, которые возражают: «Но если организм не имеет отдельной мотивации есть, он умрёт с голоду и таким образом не сможет оставить потомства». Пока организм это знает и его функция полезности ценит размножение, он автоматически будет есть. Фактически, именно этот причинно-следственный механизм привёл к тому, что естественный отбор породил автоматических едоков.

Как насчёт любопытства? Разве консеквенциалист не будет любопытен только в случае, когда есть некая особая причина быть любопытным? И не приведёт ли это к тому, что он упустит множество важных знаний? Опять же, сам этот факт и будет причиной для консеквенциалиста искать новые знания. Человек любопытен. Не ко всему без разбору, но к проблемам с определёнными признаками. И наличие этой комплексной адаптации — любопытства — в людях исключительно консеквенциально обосновано нашей ДНК, в которой неявным образом записана информация: предки, ведущие себя таким образом, оставляли больше потомков.

Поэтому, теоретически, консеквенциалист, ценящий исключительно размножение, вполне возможен. В принципе, всю эволюционную историю, неявно записанную в наших мозгах, можно представить в виде явно сформулированного знания, которое используется неким консеквенциалистским ядром.

Но слепой безумный бог не настолько умен. Эволюция это не программист, способный за раз переписать всю архитектуру кода. Эволюция это не программист, способный печатать команды со скоростью шестьдесят слов в минуту.

Обучение с подкреплением возникло за миллионы лет до появления консеквенциализма гоминидов. Поощряющие сигналы надёжно коррелировали с размножением. Нельзя попросить негоминидный мозг предвидеть, что употребление жирной пищи сейчас позволит ребёнку пережить зиму. Поэтому ДНК создаёт протеиновый мозг, генерирующий сигнал поощрения при употреблении жирной пищи. А организму же просто остаётся выяснить, какие животные самые вкусные.

ДНК создаёт протеиновые мозги, система поощрения в которых непосредственно коррелирует с поведением организма и лишь опосредованно с репродуктивным успехом. Необязательно понимать, что съеденная осенью сладкая пища приведёт к производству калорий, которые сохранятся в жировой прослойке, что поможет пережить зиму, что в свою очередь поспособствует спариванию весной, чтобы произвести потомков летом. Просто яблоко вкусное. И мозгу остаётся только придумать способ, как раздобыть больше яблок.

И так у организмов развилось поощрение для еды, и строительства гнёзд, и отпугивания соперников, и помощи близким, и открытия важных истин, и формирования крепких союзов, ведения убедительных споров, и, конечно же, занятий сексом.

И когда мозг гоминидов начал демонстрировать способности к межобластным консеквенциальным рассуждениям, они использовали их для того чтобы удовлетворить уже существующие механизмы подкрепления. Это была относительно простая надстройка, куда проще, чем создание «максимизатора генетической приспособленности» с нуля. Протеиновые мозги изобретали способы получить калории и секс, совершенно не представляя, что такое «генетическая приспособленность».

На месте эволюции, человеческий инженер бы воскликнул: «Да я только что изобрел консеквенциалиста! Теперь, вместо того чтобы использовать сложные костыли, вроде механизмов подкрепляющего обучения, я могу явно задать все с таким трудом добытые знания! Просто написать декларативную систему, состоящую из утверждений вроде “жирная еда и секс обычно повышает генетическую приспособленность”, а дальше консеквенциальное рассуждение само позаботится обо всем. Вдобавок ещё и избавимся от бага, из-за которого живые существа изобретают презервативы!»

Но человек бы и не установил сетчатку глаза задом наперёд.

Слепой безумный бог — это не единая сущность, но множество отдельных устремлений. Лисы эволюционируют, чтобы ловить зайцев, зайцы –– чтобы спасаться от лис. Эволюций так же много, как и видов на Земле. Но в рамках каждого вида, слепой безумный бог озабочен исключительно генетической приспособленностью. Ни одно качество не важно само по себе, даже выживание, разве что оно увеличивает репродуктивную приспособленность. Нет смысла в существе со стальной кожей, если в результате оно будет размножаться хотя бы на один процент менее эффективно.

И всё же, когда слепой безумный бог создал протеиновые компьютеры, ему не удалось полностью передать им свою одержимость генетической приспособленностью. Ему не удалось успешно создать куайн своего критерия оптимизации. Мы, творение эволюции, столь же чужды ей, как наш Творец чужд нам. Единая функция полезности, расколотая на тысячу мельчайших желаний и стремлений.

Почему? Прежде всего, потому что эволюция неразумна в буквальном смысле этого слова. Но также и потому, что первые протеиновые компьютеры не были столь же универсальными, как и слепой безумный бог, и могли ориентироваться лишь благодаря краткосрочным желаниям.

В итоге, спрашивать, почему эволюция не создала людей максимизаторами генетической приспособленности, всё равно, что спрашивать, почему эволюция не вручила людям рибосому и не потребовала, чтобы мы сами разработали свою биохимию. Просто эволюция не может так быстро переписывать код. Впрочем, возможно, за миллиарды лет естественного отбора она бы научилась, если бы разум оказался достаточно глуп, чтобы позволить слепому безумному богу оставаться у власти.

В книге Нивена и Пурнелла «Мошка в зенице Господней» описываются разумные существа, оставшиеся биологическими слишком долго. Эволюция постепенно поработила их и превратила в истинных максимизаторов приспособленности, одержимых тем, чтобы оставить как можно больше потомства. К счастью, на Земле этого не произошло. По крайней мере, пока.

И в итоге людям нравится вкус сахара и жира, а также мы любим своих сыновей и дочерей. Мы стремимся к высокому общественному положению и к сексу. Мы поем, танцуем и играем. Мы познаем новое ради самой любви к знанию.

Существуют тысячи восхитительных штук. Они соответствуют древним механизмам подкрепления, которые когда-то коррелировали с репродуктивной приспособленностью. Теперь же мы ценим их сами по себе, независимо от того, ведут ли они к размножению или нет. Мы занимаемся сексом, используя контрацепцию, едим шоколад и слушаем музыку давно покойного Баха, записанную на диске.

И когда мы наконец-то узнаём об эволюции, то думаем: «Постоянно беспокоиться лишь о генетической приспособленности? Что в этом интересного?»

Единственная маниакальная одержимость слепого безумного бога раскололась на тысячу мельчайших желаний и стремлений. И я со своей человеческой точки зрения считаю, что это хорошо. Иначе чем бы мы занимались в будущем, где нас ждут миллиарды галактик ночного неба? Заполняли бы их максимально эффективными репликаторами? Стоит ли нашим потомкам беспокоиться исключительно о собственной генетической приспособленности и считать всё остальное лишь средствами достижения этой цели?

Быть тысячью желаний и стремлений не всегда весело, но, по крайней мере, уж точно не скучно. За время эволюции мы начали ценить новизну, сложность, элегантность и преодоление трудностей. И теперь мы оценили маниакальную одержимость слепого безумного бога и пришли к выводу, что она неэстетична.

Конечно, такие вкусы породил в нас тот самый слепой безумный бог. Ну и что?

Я не знаю, как во время шахматной партии походит Гарри Каспаров. Однако, что в этом случае означает моё убеждение «Каспаров очень разумен как шахматист» с точки зрения практики? Что именно я увижу в реальном мире, согласно моему убеждению? Не является ли оно хитро замаскированной формой полного невежества?

Чтобы подчеркнуть дилемму, предположим, что Каспаров играет против обычного шахматного гроссмейстера мистера Г, который не претендует на звание чемпиона мира. Моих способностей совершенно недостаточно, чтобы понять разницу между такими уровнями шахматного мастерства. Когда я пытаюсь угадать ход Каспарова или ход мистера Г, я могу лишь положиться на собственное скудное знание шахмат и попытаться угадать «лучший ход вообще». То есть для любой шахматной позиции я сделаю одинаковое предсказание как для хода Каспарова, так и для хода мистера Г. Так что же означает на практике моё убеждение о том, что «Каспаров играет в шахматы лучше, чем мистер Г»?

На практике моё убеждение – это проверяемое, фальсифицируемое предсказание, что итоговая шахматная позиция будет принадлежать классу позиций, которые означают победу Каспарова, а не ничью или победу мистера Г. (В данном контексте, если игрок сдаётся, то шахматная позиция считается проигранной.) Уровень убеждённости в том, что Каспаров - «лучший игрок», можно перевести в долю вероятностной массы, которую я присваиваю классу исходов «Каспаров побеждает» по сравнению с классами исходов «ничья» или «мистер Г побеждает». Эти классы очень расплывчаты, поскольку они описывают огромнейшее количество возможных позиций на доске. Однако утверждение «Каспаров побеждает» для нас гораздо более конкретно, чем максимум энтропии, потому что его можно фальсифицировать очень многими шахматными позициями.

Исход игры Каспарова предсказуем, потому что я знаю и понимаю цели Каспарова. Если мы ограничиваемся шахматной доской, я понимаю мотивацию Каспарова — я знаю его критерий успешности, его функцию полезности, его цель как оптимизационного процесса. Я знаю, куда Каспаров пытается направить будущее в конечном итоге и я ожидаю, что он достаточно силен, чтобы туда попасть, пусть даже я плохо представляю, как именно Каспаров собирается это сделать.

Представьте, что я приехал в далёкий город и какой-то мой тамошний друг вызвался отвезти меня в аэропорт. Я не знаю местности. На каждом перекрёстке я не знаю, повернёт мой друг налево, направо или поедет прямо. Я не могу предсказать, куда поедет мой друг даже для ближайшего перекрёстка и уж тем более не могу предсказать всю последовательность его решений.

И тем не менее, я могу предсказать результат непредсказуемых действий моего друга: мы прибудем в аэропорт. Даже если бы дом моего друга находился в другом месте и ему пришлось бы совершить абсолютно иную последовательность поворотов, я бы столь же уверенно предсказал наше прибытие в аэропорт. Я могу это предсказать задолго до события — даже до того, как сяду в автомобиль. Мой рейс вскоре отправляется, нельзя тратить время. Я бы не сел в машину, если бы не мог уверенно предсказать, что машина поедет в аэропорт по непредсказуемому маршруту.

Разве это не поразительно с научной точки зрения? Я могу предсказать исход процесса, хотя не умею предсказывать промежуточные шаги процесса.

Как это вообще возможно? Обычно люди предсказывают, воображая настоящее, а потом запуская визуализацию вперед во времени. Если вы хотите построить точную модель Солнечной Системы, которая учитывает планетарные возмущения орбиты, нужно начать с модели всех основных объектов и прогнать модель вперед во времени, шаг за шагом.

У некоторых простых задач есть лаконичное решение: чтобы вычислить будущее в момент времени Т, нужно потратить одинаковое количество работы, независимое от T. Монета покоится на столе и каждую минуту переворачивается. Монета лежит орлом вверх. Какая сторона будет сверху через сто минут? Очевидно, что вы не отвечаете на этот вопрос, представляя сто шагов. Вы используете частное решение, которое работало для предсказания исхода и также сработает для предсказания любого из промежуточных шагов.

Но когда друг везёт меня в аэропорт, я могу успешно предсказать исход, используя странную модель, которая не будет работать для предсказания любого из промежуточных шагов. Моя модель даже не требует ввода исходных условий — я могу не знать, откуда мы выезжаем!

На самом деле, мне нужно кое-что знать о друге. Мне надо знать, что мой друг хочет, чтобы я успел на рейс. Я должен верить, что мой друг достаточно хорошо умеет планировать, чтобы успешно довезти меня до аэропорта (если он хочет). Это свойства исходного состояния моего друга — свойства, которые позволяют мне предсказать конечный пункт, но не каждый отдельный поворот.

Также надо верить, что мой друг достаточно знает город, чтобы вести машину. Можно расценивать это, как отношение между другом и городом, то есть, свойство обоих. Это исключительно абстрактное свойство, которое не требует каких-то конкретных знаний ни о городе, ни о познаниях моего друга об этом городе.

Я показал один из способов взглянуть на предмет исследования, которому я посвятил свою жизнь: подобные примечательные ситуации, где мы оказываемся в странном положении с эпистемической точки зрения. В каком-то смысле мою работу можно рассматривать как попытку раскрыть точную форму этого странного абстрактного знания, с помощью которого мы, не зная действий, можем уверенно знать последствия.

«Интеллект» — это слишком узкий термин, чтобы достаточно полно описать эти примечательные ситуации. Я предпочитаю словосочетание «оптимизационный процесс». При изучении биологического естественного отбора мы наблюдаем схожую ситуацию: например, мы не в состоянии предсказать точную форму следующего наблюдаемого организма.

Однако моей специальностью является вид оптимизационного процесса, называемый «интеллектом». Точнее даже конкретный вид интеллекта, называемый «дружественным искусственным интеллектом». И я надеюсь получить о нём особенно точное абстрактное знание.

Человек летал в космос неоднократно. Но каждый раз он обнаруживал, что в других звёздных системах обитают инопланетяне, удивительно похожие на людей в смешных нарядах. Иногда их от людей отличал лишь небольшой макияж и одежда из латекса, а иногда они и вовсе оказывались обычными светлокожими европиодами.

«Звездный Путь: Оригинальный сериал», «Арена», © CBS Corporation

Удивительно, что за основу разумной жизни вселенная взяла человека, и именно из него посредством небольших изменений получились все прочие инопланетные виды.

Что могло бы объяснить это поразительное явление? Конечно же, сходимость эволюции! Ведь даже несмотря на отличающиеся условия среды тысяч планет и абсолютно независимо от земных инопланетные формы жизни эволюционировали теми же путями.

Пусть вас не сбивает с толку то, что кенгуру (млекопитающее) похоже на нас гораздо меньше, чем шимпанзе (примат), а лягушка (земноводные, как и мы, четвероногие) похожа на нас меньше, чем кенгуру. Пусть вас не сбивает с толку потрясающее разнообразие насекомых, которые на эволюционном дереве находятся ещё дальше от нас, чем лягушки. Пусть вас не сбивает с толку, что у насекомых шесть ног, внешние скелеты, другая система зрения и совершенно иные сексуальные практики.

Кто-то мог бы подумать, что поистине чуждые нам виды будут отличаться от нас ещё больше, чем мы отличаемся от насекомых. Это рассуждение тоже не должно сбивать вас с толку. Чтобы у инопланетного вида развился интеллект, у него должно быть две ноги с одним коленом, соединённых с прямым торсом, и он должен ходить примерно так же, как и мы. Видите ли, любому интеллекту необходимы руки, поэтому придётся переработать для этого пару ног, а если вы не начнёте с существа с четырьмя ногами, то оно не научится бегать и ходить на двух ногах, освободив руки.

…Или, возможно, в качестве альтернативной гипотезы нам следует допустить, что использование людей в смешных нарядах — это «легкий путь».

Но главное — это не форма, а сознание. «Люди в смешных нарядах» — это устоявшийся термин в среде поклонников научной фантастики, и он относится не к прямоходящим существам с четырьмя конечностями. Если угловатое существо из чистого кристалла мыслит поразительно похоже на человека — особенно человека из англоязычной культуры конца двадцатого/начала двадцать первого века, — это «человек в смешном наряде».

Я смотрел не так много старых фильмов. Несколько лет назад, когда я смотрел «Психо» (1960), я был поражен культурной пропастью между американцами на экране и современной мне Америкой. Персонажи «Психо» в рубашках на пуговицах казались мне значительно более чуждыми, чем подавляющее большинство так называемых «чужих» на телевидении или в кинотеатре.

Чтобы описать культуру, непохожую на твою собственную, нужно уметь видеть её как особый случай, а не как норму, к которой должны стремиться все остальные культуры. Здесь может помочь изучение истории, но это лишь черные буковки на белых страничках, а не настоящий опыт. Подозреваю, что год в Китае, или в Дубае, или среди жителей племени !Кунг помог бы больше… но я никогда этого не пробовал, был занят. Иногда я задумываюсь, чего я, возможно, не вижу (не там, а здесь).

Увидеть всё человечество как особый случай может быть гораздо сложнее.

Судя по всему, в любой известной культуре люди испытывают радость, печаль, страх, отвращение, гнев и удивление. В любой известной культуре эти эмоции сопровождаются одинаковыми выражениями лиц. И в следующий раз, когда вы увидите «пришельца» или «ИИ», спорю, что когда он рассердится (а он рассердится), то продемонстрирует характерное для человека сердитое выражение лица.

Внутри наших черепов мы очень похожи друг на друга — это следствие полового воспроизводства. Внутри одного вида не может быть разных сложных адаптаций, они просто не смогут собраться. (Размножаются ли инопланетяне половым путём, как люди и многие насекомые? Или у них, как у бактерий, очень мало общего генетического материала? Формируют ли они колонии, как грибы? Применим ли для них закон психологического единства?)

Нашим предкам приходилось манипулировать только одним видом разума (подразумеваются достаточно сложные манипуляции, сложнее приручения или ловли). Только один вид разума нашим предкам приходилось моделировать достаточно подробно. И этот вид разума работал более-менее таким же образом, как и их собственный. В итоге мы эволюционировали и предсказываем поведение другого разума, представляя себя на его месте, спрашивая, что бы мы сами сделали в аналогичной ситуации. Тот, чьё поведение нужно было предсказать, не слишком отличался от предсказывающего.

«Что?» — воскликнете вы. «Я не считаю других людей такими же, как я! Иногда я печалюсь, а они сердятся! Их убеждения не похожи на мои, они во всём не похожи на меня!» Предлагаю посмотреть на это с другой стороны. Человеческий мозг с физической точки зрения чрезвычайно сложно устроен. Вы не моделируете его по нейронам или по атомам. Если бы мы встретились с физической системой, настолько же сложной, сколь и человеческий мозг, учёным потребовались бы целые жизни, чтобы разобраться в ней. Вы не понимаете, как человеческий мозг работает в общем случае, вы не можете его создать, вы не можете даже построить компьютерную модель, которая будет предсказывать другой мозг не хуже вас.

Единственная причина, почему вы можете понять что-то настолько физически сложное и плохо изученное как мозг другого человека, заключается в том, что вы подстраиваете свой мозг, чтобы имитировать чужой. Вы испытываете эмпатию (хотя, вероятно, не симпатию). Вы накладываете на собственный мозг тень чужого гнева и тень чужих убеждений. Возможно, вы не проговариваете мысленно слова «Что бы я сделал на его месте?», но ваш мозг как-то оживляет эту маленькую тень чужого сознания внутри вас. При этом он использует те же сложные механизмы, которые существуют в другом человеке, синхронизирует работу частей, которые вы не понимаете. Вы можете не злиться сами, но вы понимаете, что если бы вы злились на себя и верили, что вы безбожная мразь, то вы бы попытались себя покалечить.

Такое «суждение через эмпатию» (как я буду его называть) у людей более-менее работает.

Но что насчёт разума с иными эмоциями, которых вы никогда не чувствовали? Или который не способен испытывать те же эмоции, что и вы? Вы не сможете представить себя на его месте. Я могу попросить вас представить пришельца, который вырос во вселенной с четырьмя пространственными измерениями вместо трёх, но у вас не получится перенастроить зрительную часть своей коры головного мозга и увидеть то, что видит он. Я могу попытаться написать рассказ о пришельцах с иными эмоциями, но ни у вас, ни у меня не получится их испытать.

Представьте пришельца, который смотрит комедию братьев Маркс и совершенно не понимает, что происходит на экране. Он даже не понимает, почему вы активно ищете чувственный опыт такого рода. Ведь он никогда не сталкивался с чем-то даже отдаленно похожим на чувство юмора. Не жалейте его — вы, в свою очередь, никогда не антлировали.

Возможно, вы спросите: что если у пришельцев есть чувство юмора, но ваши шутки недостаточно смешны? Примерно с тем же успехом можно в чужой стране говорить на своём языке очень медленно и громко в надежде, что у иностранцев непременно есть внутренний дух, который способен понять значение ваших слов — ведь оно от них неотделимо, — если у вас получится говорить достаточно громко, чтобы преодолеть неведомый барьер, мешающий понять ваш абсолютно ясный язык.

Важно учитывать, что смех может быть прекрасным и ценным, даже если он не повсеместен, даже если им обладают не все возможные разумы. Пусть он будет особой частью нашего вклада в завтра. Скорее всего, это тоже важно.

Хочется верить. Потому что я не вижу метаэтического решения, в котором бы поведенческие универсалии людей получилось расширить неограниченно, на разумы произвольной природы.

А что насчёт разума, архитектура которого эмоции вообще не предполагает? У которого нет ничего, похожего на наши эмоции? Не утруждайте себя придумыванием объяснений, почему у любого разума, достаточно мощного, чтобы создавать сложные механизмы, обязаны быть состояния, похожие на эмоции. Естественный отбор создает сложные механизмы, однако эмоций у него нет. Вот вам настоящий пришелец — оптимизационный процесс, который реально Работает Не Так Как Вы.

Прогресс в биологии после 1960-х годов в значительной степени был достигнут благодаря мораторию на очеловечивание эволюции. В академической среде шли масштабные бои по этому поводу, и я не уверен, что здравый смысл возобладал бы, если бы не появились ошеломительные экспериментальные доказательства, подкрепленные математическими выкладками. Потребовалась долгая, сложная, неравная битва, чтобы заставить людей прекратить ставить себя на место чужого. В отношении ИИ я веду такую же битву уже много лет.

Наш антропоморфизм зашит глубоко внутри нас и от него нельзя избавиться усилием воли. Нельзя просто сказать: «А теперь я перестану мыслить как человек!». Человечность — это воздух, которым мы дышим, наша бумага, на которой создаются наши наброски. Когда мы проявляем человечность, мы не думаем, что проявляем человечность.

В среде поклонников научной фантастики способность написать настоящих пришельцев давно считается признаком мастерства. (Это не должны быть непонятные пришельцы, которые ради своих загадочных целей совершают поступки, которых требует сюжет.) Одним из величайших мастеров такого рода был Джэк Вэнс. У него даже люди, если они принадлежат к другой культуре, более чужие, чем многие «пришельцы». (Если вы никогда не читали Вэнса, я рекомендую начать с «Города Кэшей».) Также упомяну «Мошку в зенице Господней» Нивена и Пурнелля.

И наоборот. Кто-то из фантастов (кажется, Орсон Скотт Кард) однажды сказал, что низшей точкой телевизионной научной фантастики стала серия «Звездного Пути», где параллельная эволюция создала пришельцев, которые не только выглядят как люди, не только говорят по-английски, но ещё и независимо записали слово в слово преамбулу к Конституции США.

Это и есть Великая Ошибка Воображения. Не думайте, что она относится только к научной фантастике или только к ИИ. Неспособность представить чужого — это неспособность увидеть самих себя. Неспособность понять, чем ты сам отличаешься от других. Кто разглядит человека, замаскированного под человека, на человеческом фоне?

Понятие оптимизационного процесса входит в число тем, в которые я здесь пока не погружался. Примерно это понятие можно описать так: сила разума — это способность поражать небольшие цели в большом пространстве поиска, будь то область возможных вариантов будущего (планирование) или область возможных вариантов дизайна (изобретение).

Допустим, у вас есть машина, и допустим, мы знаем, что вам нравится путешествовать. Теперь предположим, что мы взяли все детали автомобиля — или даже все составляющие его атомы — и перемешали. Крайне маловероятно, что в итоге вообще получится средство передвижения. Ещё менее вероятно, что в итоге получится повозка на колёсах. И ещё менее вероятно, что в итоге получится средство передвижения, которое вам понравится больше, чем исходная машина. Поэтому для ваших предпочтений машина — чрезвычайно невероятный артефакт. Сила оптимизационного процесса — это способность создавать такой подвид невероятного.

И интеллект, и естественный отбор можно рассматривать как особые случаи оптимизации: эти процессы в большой области поиска поражают очень маленькие цели, определённые неявными предпочтениями. Естественный отбор предпочитает более эффективных воспроизводителей. У человеческого интеллекта более сложные предпочтения. Ни у эволюции, ни у людей нет последовательных функций полезности, поэтому представление о них как об «оптимизационных процессах» в какой-то мере аппроксимация. Смысл здесь в том, чтобы вникнуть, какая именно работа тут выполняется, а не заявить, что люди или эволюция выполняют её идеально.

Именно так я вижу историю жизни и разума — это история невероятно хорошего дизайна, созданного оптимизационными процессами. Термин «невероятный» используется здесь как невероятный с точки зрения случайного выбора из области возможных вариантов дизайна, а не в абсолютном смысле. Если у вас есть оптимизационный процесс, то «невероятно» хороший дизайн становится вероятным.

Изучая историю оптимизации на Земле от начала и до нынешнего времени, в первую очередь нужно отделить метауровень от уровня объекта — отделить структуру оптимизации от того, что именно оптимизируется.

Если рассматривать биологию в отсутствие гоминидов, то на объектном уровне окажутся существа вроде динозавров, бабочек и кошек. На метауровне будут такие явления, как половая рекомбинация и естественный отбор бесполых популяций. Можно заметить, что объектный уровень гораздо сложнее, чем метауровень. Естественный отбор непрост, и для его описания требуется математика. Но если мы посмотрим на анатомию целой кошки, то мы увидим структуру, которая значительно сложнее, чем «мутировать, рекомбинировать, воспроизвести».

И это неудивительно. Естественный отбор — это случайно возникший оптимизационный процесс, который по сути однажды запустился где-то в первичном бульоне. А кошка — это результат миллионов и миллиардов лет эволюции.

Конечно, у кошек есть мозг, и он учится на протяжении всей её жизни. Но когда жизнь кошки заканчивается, вся накопленная информация исчезает. Поэтому общее влияние кошачьих мозгов на этот мир в качестве оптимизаторов довольно мало.

Или, например, возьмём мозг пчелы и мозг бобра. Пчела строит улья, бобр строит плотины, но им не надо разбираться с нуля, как их строить. Бобр не сможет придумать, как построить улей, пчела не сможет понять, как построить плотину.

Поэтому мозги животных — до недавних пор — не играли хоть сколько-то важную роль на оптимизационной сцене планеты. Они были фигурами, не игроками. По сравнению с эволюцией мозги не могли применять оптимизационную силу достаточно универсально (эволюция создавала потрясающее разнообразие всего) и не могли применять её, опираясь на предыдущие достижения (их творения не накапливали сложность со временем). Подробнее на эту тему написано в эссе «Белковое подкрепление и консеквенциализм ДНК».

Совсем недавно мозг некоторых животных научился создавать огромное количество разных артефактов за время, которое по меркам естественного отбора слишком мало, то есть, приобрёл универсальность. Также, благодаря умениям говорить и писать, он научился создавать артефакты с увеличивающейся сложностью, то есть, его оптимизационная сила начала накапливаться.

Чтобы создать что-то новое и сложное, естественному отбору требуются сотни поколений и миллионы лет. Программисты иногда создают сложный механизм с сотней взаимозависимых элементов за утро. Это неудивительно, ведь естественный отбор — это случайно возникший оптимизационный процесс, а человек — это оптимизированный оптимизатор, сформировавшийся за миллионы лет естественного отбора.

Чудо эволюции не в том, что она работает хорошо, а в том, что она работает без оптимизации. Оптимизация вообще появилась во вселенной из крайне неэффективного случайного оптимизационного процесса (что неудивительно). Обратите внимание, я сейчас говорю не о первых репликаторах, а о первичном процессе естественного отбора. Не путайте объектный и мета- уровни!

Со времени появления оптимизации во вселенной у естественного отбора и человеческого разума появились некоторые общие свойства…

Естественный отбор выбирает гены, но, грубо говоря, гены впоследствии не оптимизируют естественный отбор. Изобретение половой рекомбинации (как и изобретение клеток и ДНК) — исключение из правила. Силу и редкость подобных изобретений можно оценить, обратив внимание на то, что эволюционные биологи выстраивают вокруг них всю историю жизни на Земле.

Однако, если посмотреть на естественный отбор с человеческой точки зрения — особенно с точки зрения программиста, — то в нём нет ничего сложного. Попытаемся соединять гены в группы? Попытаемся хранить информацию отдельно, движущиеся части отдельно? Попытаемся пересобирать группы генов случайным образом? Любой толковый хакер, задумавшийся о системной архитектуре, придумает что-нибудь подобное минут за десять.

Горстка просочившихся с уровня репликаторов улучшений на метауровне — в которых нет ничего сложного по сравнению с анатомией кошки, — оказала огромное влияние на историю эволюции на Земле именно потому, что естественный отбор был столь неэффективен вначале (как совершенно случайный процесс).

И в конечном итоге естественный отбор — это по-прежнему слепой безумный бог. Генофонд может эволюционировать к вымиранию, несмотря на половое размножение и наличие клеток.

Сейчас естественный отбор поддерживает сам себя: каждая адаптация открывает возможности для новых адаптаций. Но это уровень объектов. Генофонд поддерживается собственной сложностью. Однако это происходит только благодаря запущенному в фоновом режиме защищённому интерпретатору естественного отбора, который сам по себе в процессе эволюции видов остаётся неизменным.

Аналогично люди развивают науки и технологии, но пока ещё не приступили к изменению структуры своего мозга. У нас, как и у изобретателей земледелия, есть префронтальная кора головного мозга, височные доли и мозжечок. Мы не модифицируем свои гены. На объектном уровне наука подпитывает науку, а каждое открытие даёт дорогу новым открытиям, но всё это работает через запущенный в фоновом режиме защищённый интерпретатор человеческого мозга.

Иногда у нас получаются прорывы на метауровне: открытия, как научить других людей думать, например, научный подход. Однако первооткрыватель теоремы Байеса не стал байесианцем, он не смог переписать свой софт, у него для этого не хватало знаний и возможностей. Самые значительные изобретения в искусстве мышления, вроде письма или научного подхода, определили ход истории человечества. Однако они не могут сравниться по сложности с мозгом, а их влияние на него относительно невелико.

Современные тренировки по рациональности не способны превратить произвольного смертного в Альберта Эйнштейна. То есть влияние нескольких небольших генетических вариаций превосходит все книги по самопомощи, написанные за двадцатый век.

Мозг тихонько работает в фоновом режиме, и потому люди часто воспринимают его как должное, и думают, что простые руководства вроде «проверяйте идеи при помощи экспериментов» или правила об уровне значимости p < 0.05 дают вклад примерно такого же порядка. Попробуйте посоветовать шимпанзе проверять свои идеи экспериментами, посмотрим, что у вас получится.

Сейчас некоторые из нас хотят применить интеллект, чтобы сконструировать интеллект, который с помощью интеллекта будет изменять себя прямо на уровне машинного кода.

Защищённым уровнем в каком-то смысле станет в первую очередь машинный код, ну и законы физики. Но такие «защищённые уровни» не будут реализовывать оптимизацию, не будут определять структуру выполненной работы. Как бы человека не учили в школе, его мозг всё равно занимается какой-то своей оптимизацией и делает какие-то свои ошибки. А у нашего нового рекурсивного оптимизатора вообще не будет защищённых уровней, связанных с оптимизацией. Всё, что в нём связано с оптимизацией, само будет оптимизироваться.

И именно этим искусственный интеллект кардинально отличается от всего, что произошло на Земле со времён первого репликатора. У нас больше нет защищённого метауровня.

Пока все оптимизаторы в истории Земли работали с постоянной скоростью, создавали постоянное оптимизационное давление. При этом результаты оптимизации появлялись не с постоянной скоростью, а с ускорением, потому что каждое новшество на объектном уровне открывает дорогу к другим новшествам. Однако это ускорение достигалось благодаря защищённому метауровню, который и отвечал за процесс оптимизации. Представьте себе поиск перебором, когда в области поиска происходят переходы из одного кластера в другой, хорошие кластеры часто соседствуют с ещё лучшими, но мы всё равно не можем перепрыгнуть в слишком далёкий кластер и «длина прыжка» никак не меняется. Иногда какие-то мелкие изменения — вроде полового размножения или науки — попадают обратно на метауровень, и после этого в истории оптимизации начинается новая эпоха и всё ускоряется.

Представьте экономику без инвестиций, или университет без языка, или, в общем случае, технологию без инструментов для создания инструментов. Раз в сто миллионов лет или раз в пару столетий, кто-нибудь да изобретёт молоток.

Именно так выглядела оптимизация на Земле до настоящего времени.

Когда я думаю об истории Земли, я воспринимаю её как историю черного ящика, в который на вход подаётся оптимизационная сила, а на выходе получаются оптимизированные продукты. Из-за почти полностью защищённых метауровней пока возможно поделить историю оптимизации на эпохи. Внутри каждой эпохи можно рассмотреть накапливаемую со временем оптимизацию на объектном уровне, ведь защищённый уровень исполняется в фоновом режиме и на протяжении эпохи не меняется.

Что же произойдёт, когда мы создадим рекурсивно улучшающий себя ИИ? Тогда можно будет взять график работы черного ящика «оптимизация на входе, оптимизированное на выходе» и сложить его сам в себя. Образно говоря.

Если ИИ слаб, он ничего не делает, поскольку он недостаточно силен, чтобы значительно улучшить себя. С тем же успехом можно приказать шимпанзе переписать свой мозг.

Если же ИИ достаточно силён, чтобы переписать себя и увеличить свою возможность создавать дальнейшие улучшения, а также если он способен полностью понять свой исходный код и своё устройство как оптимизатора… Тогда даже если зависимость между «оптимизационной силой» на входе и «оптимизированными продуктами» на выходе останется прежней, график оптимизации от времени будет выглядеть совершенно иначе, нежели сейчас.

Мне часто возражают примерно так: «Но что если для создания улучшений, возрастающих линейно, потребуется экспоненциально возрастающее количество работы по самомодификации?». Напрашивается ответ: «В процессе создания человека естественный отбор оказывал на ветку гоминидов примерно постоянное оптимизационное воздействие и не похоже, чтобы ему требовалось экспоненциально больше времени на каждое линейное приращение в качестве».

Но это всего лишь суждение по аналогии. Полноценный ИИ, обдумывающий природу оптимизации, проводящий собственные исследования и пишущий собственный код будет не просто историей Земли свернутой в себя, а чем-то совершенно иным. Аналогии в лучшем случае подходят для качественных прогнозов, но даже в этом случае, у меня ещё есть множество иных неразъяснённых убеждений, влияющих на выбор аналогий.

Однако главная причина, почему я не хочу проецировать графики биологического и экономического роста в будущее за горизонт создания ИИ, который мыслит со скоростью транзиторов, изобретает самовоспроизводящиеся молекулярные нанофабрики и улучшает собственный код, заключается в следующем: не нужно строить график зависимости оптимизированного продукта на выходе от времени. Важна зависимость оптимизированного продукта на выходе от оптимизационной силы на входе.

Одна из трёх наиболее популярных реакций на идею дружественного искусственного интеллекта такова:

«Вы, конечно, можете велеть ИИ быть дружественным, но если он способен модифицировать свой собственный исходный код, то он просто уберёт все наложенные вами ограничения».

И откуда же это решение возьмётся?

Возникнет ли оно вопреки причинности, не будучи закономерной частью цепочки причин и следствий, начавшейся с изначально написанного исходного кода? Является ли ИИ источником своей собственной свободной воли?

Дружественный ИИ это не эгоистичный ИИ, сдерживаемый отдельным модулем совести, который противостоит естественным желаниям ИИ, заставляя поступать определённым образом. Вы создали сознание, и оно и есть ИИ. Если у вас есть программа, вычисляющая, какой поступок ИИ следует предпринять, ваша работа по созданию ИИ закончена. Фишка дальше не идёт.

Сейчас я приведу несколько цитат с сайта «Компьютерные глупости» по теме «Программирование». (Я не привожу ссылку на сам сайт, так как это ужасная поглощающая время ловушка. Можете гуглить на свой страх и риск).

___________________________________________________________
Я вёл занятия по программированию у студентов колледжа. Некоторые из них не понимали, что компьютер неразумен. В своих программах на Паскале, они оставляли комментарии вроде: «Теперь мне нужно вывести эти буквы на экран». Я спросил одного из них, зачем они так поступают. Студент ответил: «Как ещё компьютер поймёт, что я хочу от него?». Видимо, они полагали, что раз они сами не понимают Паскаль, то компьютер тоже не понимает.
___________________________________________________________
Учась в колледже, я преподавал в школьной математической лаборатории. Однажды ученик подошёл ко мне и пожаловался, что его программа на Бейсике не запускается. Это было задание из курса для начинающих: написать программу, которая бы вычисляла рецепт овсяного печенья, в зависимости от числа людей, для которых вы его печёте. Я взглянул на код его программы и увидел примерно следующее:

10 Разогреть духовку дo 350
20 Поместить все ингредиенты в большую миску
30 Размешивать до получения однородной массы
___________________________________________________________
Студент вводного курса по программированию однажды попросил меня помочь разобраться, почему в результате простого вычисления его программа всегда выдаёт нули. Я взглянул на код программы и ответ был очевиден:

begin
read(«Number of Apples», apples)
read(«Number of Carrots», carrots)
read(«Price for 1 Apple», a_price)
read(«Price for 1 Carrot», c_price)
write(«Total for Apples», a_total)
write(«Total for Carrots», c_total)
write(«Total», total)
total = a_total + c_total
a_total = apples * a_price
c_total = carrots * c_price
end

Я: «Ну, твоя программа не может вывести правильный результат до того, как его вычислит».
Он: «Но ведь понятно же, каким должен быть ответ, почему компьютер не может просто переставить инструкции в правильном порядке?»
___________________________________________________________

Интуитивно люди строят представление о «программировании ИИ» на основе ситуации, которая вроде бы похожа: сказать другому человеку, что ему делать. И поэтому им кажется, будто «программа» даёт указания маленькому призраку, сидящему внутри машины, а тот их изучает и решает, нравятся ли они ему или нет.

Но нет никакого призрака, изучающего инструкции и решающего, следовать им или нет. Программа — это и есть ИИ.

Поэтому призрак не будет исполнять все ваши желания, подобно джину. Поэтому призрак не будет делать всё, что вы хотите и именно так, как вы этого хотите, подобно невероятно покорному рабу. В машине нет никакого призрака, кроме ваших команд, по крайней мере, на момент загрузки.

ИИ куда сложнее, чем интуитивно кажется людям, именно потому, что вы не можете просто сказать призраку, что ему делать. Вам необходимо построить этого призрака с чистого листа, и всё, что кажется вам само собой разумеющимся, вовсе не будет таковым для призрака, если только вы не знаете, как заставить призрака осознать эту очевидность. Вы не можете просто сказать призраку осознать её. Вы должны создать осознающую штуку с нуля.

Если вы не знаете, как создать нечто, наделённое странными, невыразимыми свойствами вроде «принятия решений», то вы не можете просто пожать плечами и предоставить призраку возможность разобраться самостоятельно. Вы одни. Нет никакого призрака.

Создание шахматной программы — это не просто создание действительно быстрого процессора, который позволит ИИ быть очень умным, а затем ввод в командную строку: «Делай те шахматные ходы, которые ты считаешь лучшими». Можно было бы подумать, что раз программисты не слишком хорошо играют в шахматы сами, любой совет, который они попытаются дать электронному супермозгу, лишь замедлит призрака. Но нет никакого призрака. В том-то и проблема.

И нет никакого простого заклинания, произнесение которого могло бы — пуф! — и призвать полноценного призрака в машину. Нельзя сказать: «Я призвал призрака, и он появился — вот вам и причина и следствие». Это не сработает даже если вместо слова «призыв» использовать понятия «эмердженция» или «сложность». Нельзя дать команду процессору: «Будь хорошим шахматистом!» Вам придётся заглянуть за завесу тайны игры в шахматы и создать призрака с чистого листа.

Не важно, насколько какое-то свойство или способность кажется вам самоочевидным, логичным или правильным. Оно не появится внутри призрака. Единственное возможное исключение: это свойство будет результатом причинно-следственной цепочки, начавшейся с команд, которые ввели именно вы, а также какой-либо зависимости от входных данных, которую вы встроили в эти команды.

Это не значит, что вам нужно явно задать для компьютера каждый поступок. Deep Blue играет в шахматы гораздо лучше, чем его программисты. Его ходы превосходят всё, что его создатели могли явно в него запрограммировать, но не потому что программисты просто предоставили призраку придумывать их. Шахматные ходы Deep Blue намного лучше, чем возможные ходы его программистов, потому что так получилось в результате цепочки причин и следствий, которая началась с кода, написанного этими программистами, и продолжалась в соответствии с законами природы. Никакой ход Deep Blue не сделал просто потому, что этот ход настолько очевидно хорош, что призрак решил его сделать без какой-либо связи с исходным кодом и закономерными последствиями из него.

Если вы отказываетесь связывать ИИ ограничениями, вы не получите свободного призрака — кого-то похожего на освобождённого раба. У вас будет лишь кучка песка, из которой так никто и не получил кремний, из которого так никто и не создал процессор и не запрограммировал его думать.

Давайте, попробуйте сказать компьютеру: «Делай все, что тебе захочется». К чему это приведёт? Ни к чему. Потому что вы не связали его ограничениями, необходимыми, чтобы понимать свободу.

Всё, что для это требуется, кажется настолько очевидным, настолько логичным, настолько само собой разумеющимся, что ваш разум просто пропускает все эти шаги, и вы сразу же покидаете путь создателя ИИ. Чтобы ваш разум не скатывался на эту дорожку, требуется особое усилие (похожее усилие я описал в эссе «Пытаясь ухватить ускользающее»).

Предположим, что люди совершенно не понимали бы, как именно они выполняют арифметические действия. Вообразим мир, где люди получили возможность считать овец в результате эволюции, а не научились этому навыку. И люди используют эту врождённую способность, не понимая, как именно она работает, точно так же, как Аристотель не понимал, каким образом зрительная кора его головного мозга позволяет ему что-то видеть. Арифметика Пеано в известном нам виде так и не изобретена. Философы пытаются формализовать свои интуитивные представления о действиях с числами, но они используют формулировки вроде:

Сложить(Семь, Шесть) = Тринадцать

чтобы формально описать интуитивно очевидный факт, что, когда вы складываете «семь» и «шесть», то, конечно же, получается «тринадцать».

В этом мире карманные калькуляторы хранят в памяти огромную справочную таблицу арифметических фактов для всех значений от нуля до ста, введённых вручную командой экспертов по Искусственному Вычислению. И хотя такие калькуляторы на практике иногда полезны, многие философы утверждают, что подобные устройства лишь симулируют вычисления. Никакая машина не может считать по-настоящему — именно поэтому людям необходимо сперва сосчитать тринадцать овец, прежде чем записать «тринадцать» в калькулятор. Калькуляторы могут показывать сохранённые в них факты, но они не понимают, что именно они делают. Если ввести «две тысячи плюс две тысячи», калькулятор выдаст: «Ошибка: Превышен предел допустимых значений». Хотя интуитивно очевидно, что если понимать, что именно означают введённые слова, то ответ: «четыре тысячи».

Некоторые философы, конечно же, не настолько наивны, и такими рассуждениями их с толку не сбить. В действительности числа — это исключительно формальная система: ярлык «тридцать семь» имеет смысл не из-за какого-то неотъемлемого свойства самих слов, а потому что он отсылает к тридцати семи овцам во внешнем мире. Число приобретает свой смысл в результате нахождения внутри семантической сети связей с другими числами. Вот почему в компьютерных программах LISP токен «тридцать-семь» не нуждается в какой-либо внутренней структуре – он имеет смысл лишь в результате отсылок и связей, а не какой-либо самостоятельной вычислительной характеристики «тридцати-семи».

Никто ещё не смог создать Сильный Искусственный Вычислитель, хотя, конечно же, есть множество узконаправленных Искусственных Вычислителей, которые, например, работают на множестве чисел от «двадцати» до «тридцати». И если посмотреть на то, как медленно движется прогресс в отношении чисел порядка «двухсот», становится очевидным, что в ближайшее время Сильный Искусственный Вычислитель не появится. Лучшие эксперты в области предполагают, что потребуется не меньше ста лет, прежде чем калькуляторы смогут складывать не хуже двенадцатилетнего ребёнка.

Однако не все согласны с данной оценкой или же с всего лишь общепринятыми убеждениями касательно Искусственного Вычисления. Вполне распространены и следующие взгляды:

• «Это проблема окружения. То, чему равно „двадцать один плюс“, зависит от того, идёт речь о „плюс три“ или „плюс четыре“. Если мы сможем загрузить в калькулятор достаточно арифметических фактов, чтобы покрыть все общеизвестные истины, то вскоре сможем увидеть в системе и настоящее сложение».
• «Но вы никогда не сможете запрограммировать достаточное количество арифметических фактов, нанимая экспертов, которые будут вводить их вручную. На самом деле нам нужен Искусственный Вычислитель, который сможет научиться всей обширной сети связей между числами, которую люди приобретают в течение детства, наблюдая за кучками яблок».
• «Нет, на самом деле нам нужен Искусственный Вычислитель, способный понимать естественные языки. Тогда в него не придётся явно вводить, что двадцать один плюс шестнадцать равно тридцать семь — он сможет получить эту информацию из Интернета».
• «Честно говоря, создаётся впечатление, что вы просто-напросто пытаетесь убедить самих себя, словно вы способны решить данную проблему. Никто из вас в действительности не знает, что такое арифметика, и вы просто перебираете привычные фразы, вроде: „Нам нужен ИИ, способный выучить X“, „Нам нужен ИИ, который способен извлечь X из Интернета“. В смысле, это звучит хорошо, появляется впечатление, будто вы делаете какие-то успехи. Это хорошо в плане связей с общественностью, так как всем кажется, что они понимают предлагаемое решение. Но, на самом деле, это не приближает вас к суммированию в общем виде в противовес к узкоспециализированному суммированию. Не исключено, что мы никогда не сможем познать фундаментальную природу арифметики. Эта задача просто слишком сложна для людей».
• «Именно поэтому нам нужно разработать Сильного Вычислителя тем же способом, что и природа - посредством эволюции».
• «Подход „сверху вниз“ определённо продемонстрировал свою неспособность создать арифметику. Нам нужно использовать подход „снизу вверх“, каким-то образом заставить арифметику просто возникнуть. Необходимо признать принципиальную непредсказуемость сложных систем».
• «Вы все неправы. Предыдущие попытки создать машинную арифметику были заранее обречены на провал просто потому, что вычислительных мощностей не хватало. В человеческом мозге триллионы синапсов — очевидно, что в калькуляторы нельзя загрузить настолько большие справочные таблицы. Нам необходимы калькуляторы настолько же мощные, как и человеческий мозг. Согласно закону Мура, они появятся в 2031 году, 27 апреля, между 4.00 и 4.30 утра».
• «Полагаю, что машинная арифметика появится, когда исследователи просканируют каждый нейрон человеческого мозга. Таким образом мы сможем симулировать на компьютере биологические нейронные связи, которые и позволяют людям складывать числа».
• «Не думаю, что нам необходимо ждать сканирования всего мозга. Нейронные сети ничем не отличаются от человеческого мозга и их можно натренировать делать что-нибудь без понимания того, как они этого делают. Так мы сможем научить программы заниматься арифметикой, даже если мы, их создатели, так и не разберёмся, как им это удаётся».
• «Но теорема Гёделя показывает, что никакая формальная система не сможет вместить в себе основные свойства арифметики. Классическая физика формализуема, поэтому, чтобы сложить два и два, мозг должен использовать особенности квантовой физики».
• «Эй, если бы арифметику можно было воспроизвести в компьютере, мы бы не умели считать достаточно хорошо, чтобы построить компьютер».
• «Разве вы не слышали о „китайском калькуляторе“, мысленном эксперименте Джона Сёрла? Даже если бы у вас был огромный набор правил, позволяющий складывать „двадцать один“ и „шестнадцать“, просто представьте, что произойдёт, если перевести все слова на китайский язык. Сразу становится понятным, что подлинного сложения не происходит: нигде в системе нет настоящих чисел, есть лишь ярлыки, которые люди используют для их обозначения…»

Из этой притчи можно вывести несколько моралей, и в разных контекстах я её рассказывал по разным причинам. В частности, она демонстрирует идею уровней организации. Скажем, процессор может складывать два больших числа, потому что числа — это упорядоченные структуры из 32 бит, а не непроницаемые черные ящики.

Но для целей преодоления искажений1, обратим внимание на следующие две морали:

• Во-первых, опасно полагаться на утверждения, которые вы не способны вывести самостоятельно.
• Во-вторых, опасно игнорировать собственное непонимание базовых вопросов.

Дабы не быть обвиненным в обобщении на основании вымышленного свидетельства отмечу, что оба эти урока могут быть получены и из реальной истории исследований искусственного интеллекта.

Первая опасность — это конкретная проблема, с которой сталкиваются устройства ИВ. Они функционируют подобно диктофонам, проигрывающим «знания», полученные извне системы, используют процесс, который они сами не способны воспроизвести. Человек может сказать устройству ИВ, что «двадцать один плюс шестнадцать равно тридцать семь», и ИВ может записать это и в нужный момент повторит. Или даже распознать шаблон «двадцать один плюс шестнадцать» и вывести «тридцать семь!». Однако ИВ не в состоянии генерировать подобное знание самостоятельно.

И это очень сильно напоминает ситуацию, где кто-то верит физику, говорящему: «Свет – это волны», запоминает эту восхитительную последовательность слов, а затем повторяет её, когда кто-то спросит: «Что такое свет?», но при этом не способен создать такое знание самостоятельно.

Вторая мораль говорит об ловушке более высокого уровня, которая поглотила исследователей Искусственного Вычисления и прочих интересующихся этим вопросом людей. Если в ваших знаниях зияет дыра, опасно пытаться её просто обойти. Нужно сжать зубы и трудиться изо всех сил, чтобы заполнить эту чёртову дыру. Но люди часто делают, что угодно, только не это.

Когда вы говорите: «Дело в эмерджентности!» или же «Это непознаваемо!», — вы не отдаёте себе отчёт в существовании основополагающего знания, которое вполне можно постигнуть, но вы это просто пока не сделали.

Откуда вам знать, когда появится основополагающее знание? Нет иного способа обрести его, кроме как упорно биться головой о задачу, изучать со всех мыслимых сторон всё, что имеет к ней отношение, возможно, годами. В академических кругах такой подход не одобряется, ведь вы должны публиковать статьи хотя бы раз в месяц. Наверняка венчурные капиталисты не дадут денег за такое изучение. Вы хотите либо пойти напролом и построить что-то прямо сейчас, либо сдаться и заняться чем-нибудь ещё.

Взгляните на комментарии выше. Ни один из них не нацелен на приобретение недостающего понимания, в результате которого числа перестали бы быть таинственными, которое превратило бы «тридцать-семь» во что-то большее, чем чёрный ящик. Ни один из комментаторов не понял, что сложности порождаются их собственным непониманием, а не какими-то присущими арифметике свойствами. Они не пытались достичь того состояния, когда непонятное перестаёт быть непонятным.

Если вы прочтёте книгу Джуды Перла «Вероятностные рассуждения в интеллектуальных системах: Сети правдоподобных выводов»2, то увидите, что для решения соответствующих проблем совершенно необходимо понимать, что лежит в основе графовых моделей. (Боюсь, объяснение, о чём здесь идёт речь, длиннее надписей на футболках, поэтому вам придется прочитать книгу самостоятельно. В интернете мне не встречались научно-популярные материалы, адекватно описывающие принципы, лежащие в основе байесианских сетей или же важность того, что математические выкладки именно такие, какие есть, но книга Перла восхитительна). Когда-то были дюжины «немонотонных логик», хоть как-то пытающихся формализовать интуиции вроде: «Если сигнализация сработала, то, скорее всего, в дом пытается пробраться грабитель, однако если после этого я узнаю, что около моего дома произошло небольшое землетрясения, то, скорее всего, дело не в грабителе». Поняв графовые модели, вы сможете математически объяснить, почему логика первого порядка не подходит для этой задачи, и записать верное решение в простом и удобном виде, причём это решение элегантно учтёт все нюансы бытовой интуиции и здравого смысла. Но пока у вас нет этого понимания, в попытках привести логику в соответствие «очевидно истинному» вы будете лишь лепить на неё многочисленные заплатки и добавлять тут и там «костыли».

Вы не можете наверняка знать, что проблема Искусственного Вычисления неразрешима, если вы не понимаете её суть. Если вы не знаете правил, то вы не знаете и о правиле, которое гласит, что вы должны знать правила, чтобы что-нибудь сделать. Именно из-за этого появляется все эти гениальные идеи, вроде создания Искусственного Вычислителя, способного понимать естественные языки и скачивать миллионы арифметических утверждений из интернета.

И «почему-то» эти гениальные идеи никогда не срабатывают. Почему-то всё время оказывается, что вы «не видите причин, почему это может не сработать» не из-за того, что их нет, а из-за собственного невежества. Это похоже на стрельбу вслепую по далёкой цели. Вы можете делать выстрел за выстрелом и кричать: «Никто не докажет, что я не попаду в центр мишени!». Однако, пока вы не снимете повязку с глаз, вы не способны прицелиться. Когда «никто не может доказать», что ваша драгоценная идея на самом деле не верна, это значит лишь то, что у вас недостаточно информации, чтобы попасть по небольшой цели в широком пространстве возможных ответов. Если вы не знаете, что ваша идея работает, то она не работает.

Из истории открытий в области Искусственного Интеллекта и жуткой путаницы, царившей до них, я вывожу важный жизненный урок: «Если основная проблема — это ваше невежество, то при попытках придумать хитрый способ, как его игнорировать, вы лишь выстрелите себе в ногу».

• 1. В оригинале здесь присутствует игра слов. Юдковский использует словосочетание «overcoming bias», что совпадает с исходным названием блога, где появлялись эти эссе. — Прим.перев.
• 2. Judea Perl, «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference». Книга не переводилась на русский язык — Прим.перев.

Интуитивно кажется, что любой человек при планировании ведёт себя так, будто умеет различать цели и средства. Хочется шоколада? Шоколад продаётся в супермаркете «Пабликс». Чтобы попасть в супермаркет, нужно проехать одну милю на юг по проспекту Вашингтона. Чтобы проехать эту милю, нужно сесть в машину. Чтобы открыть дверь, нужны ключи от машины. И вы кладёте ключи от машины в карман, собираетесь выйти из дома…

… и тут внезапно по радио сообщают, что землетрясение уничтожило весь шоколад в местном «Пабликсе». И нет смысла ехать в «Пабликс», если там нет шоколада, и нет смысла садиться в машину, если вы никуда не едете, и нет смысла в ключах от машины в кармане. Поэтому вы вытаскиваете ключи из кармана, звоните в местную службу доставки пиццы и заказываете там шоколадную пиццу. М-м-м, вкусно.

Я редко сталкиваюсь с тем, что люди теряют нить плана, который они сами же и разработали. Обычно люди не едут в супермаркет, если знают, что шоколада там нет. Но при этом я часто замечаю, что когда люди не просто хотят чего-то, а явно описывают свою систему целей — говорят о целях, а не пытаются их достичь, — они часто путаются. Люди хорошо планируют, но они не специалисты по планированию1. Если бы это было не так, в мире было бы гораздо больше разработчиков ИИ.

В частности, я замечаю, что люди путаются — в абстрактных философских дискуссиях, а не в обычной жизни, — когда обсуждают разницу между целями и средствами. Более формально: разницу между «инструментальными ценностями» и «терминальными ценностями».

Насколько я понимаю, часть проблемы заключается в том, что человеческий мозг использует для отслеживания своих целей отдельную систему, которая работает, но не идеально. В нашем языке нет чёткого разделения между целями и средствами: предложения «Я хочу спасти жизнь моей сестры» и «Я хочу сделать моей сестре укол пенициллина» содержат одно и то же слово «хочу».

Можем ли мы описать утерянную разницу на обычном человеческом языке?

Давайте попробуем:

«Инструментальные ценности» нужны нам исключительно потому, что мы ожидаем, что они повлекут ожидаемые нами последствия. «Я хочу сделать моей сестре укол пенициллина» не потому, что сестра с пенициллином внутри это нечто хорошее само по себе, а потому что ожидаю, что пенициллин вылечит её от пожирающей плоть пневмонии. Если бы вы ожидали, что укол пенициллина приведёт к тому, что ваша сестра растает как Злая Ведьма Запада, вы бы дрались изо всех сил, чтобы спасти её от пенициллина.

«Терминальные ценности» нужны нам без какой-либо связи с другими последствиями. «Я хочу спасти жизнь моей сестре» никак не связано с тем, будет ей сделан после этого укол пенициллина или нет.

У этой первой попытки есть очевидные проблемы. Если спасение жизни моей сестры приведёт к тому, что Землю поглотит чёрная дыра, я порыдаю некоторое время, но не буду делать ей укол пенициллина. Означает ли это, что спасение жизни моей сестры не является «терминальной ценностью» (не имеет ценность само по себе), ведь теоретически оно может повлечь какие-то последствия? Возможно, я пытаюсь спасти ей жизнь лишь из убеждения, что впоследствии Землю не поглотит чёрная дыра? Интуиция подсказывает, что дело не в этом.

Поэтому оставим в покое обычный язык. Мы можем математически описать теорию принятия решений так, чтобы терминальные и инструментальные ценности оказались независимыми и несовместимыми типами — как целые числа и числа с плавающей запятой в языках программирования, где нет автоматической конвертации между ними.

Идеальную байесианскую систему принятия решений можно построить всего лишь на основе четырёх элементов:

• Исходы: тип Исход[]
  • перечень возможных исходов
  • {сестра живёт, сестра умирает}
• Действия: тип Действие[]
  • перечень возможных действий
  • {сделать укол пенициллина, не делать укол пенициллина}
• Функция_полезности: тип Исход -> Полезность
  • функция полезности, которая ставит в соответствие каждому исходу его полезность
  • (полезность описывается действительным числом между минус- и плюс-бесконечностью)
  • {сестра живёт: 1, сестра умирает: 0}
• Функция_условной_вероятности: тип Действие -> Исход -> Вероятность
  • функция условной вероятности описывает вероятностное распределение по исходам для каждого действия
  • (вероятность описывается действительным числом от 0 до 1)
  • {сделать укол пенициллина: сестра живёт, 0,9; сестра умирает: 0,1;; не делать укол пенициллина: сестра живёт: 0,3; сестра умирает: 0,7}

А что насчёт самой системы принятия решений?

• Ожидаемая_полезность: Действие Д -> (Сумма И из Исходы: Полезность(И) * Вероятность(И|Д))
  • «Ожидаемая полезность» действия равна сумме по всем исходам от полезности исхода, помноженной на условную вероятность исхода при выполнении этого действия.
  • {ОП(сделать укол пенициллина) = 0,9; ОП(не делать укол пенициллина) = 0,3}
• Выбрать: -> (Argmax Д из Действий: Ожидаемая_Полезность(Д))
  • Выбрать действие, «ожидаемая полезность» которого максимальна.
  • {результат: сделать укол пенициллина}

Для каждого действия вычислите условную вероятность всех возможных последствий, затем сложите полезности, помноженные на условные вероятности. Затем выберите лучшее действие.

Это математически простой набросок системы принятия решений. Вычислять решение в реальном мире таким образом не эффективно.

Например, что будет, если план требует выполнить некую последовательность шагов? Построенный формализм может легко описать такую ситуацию, при этом Действие будет обозначать всю последовательность. Но при этом получится экспоненциально большое пространство вариантов, похожее на пространство всех предложений, состоящих из 100 букв. Если одним из возможных первых шагов будет «Отстрелить себе ногу», человек решит, что это в любом случае плохая идея, и выбросит все последовательности, начинающиеся с этого шага. Но в нашем представлении мы упрощаем эту структуру. У нас нет последовательностей шагов, есть лишь просто «действия».

В общем, да, есть «несколько небольших сложностей». Собственно, если бы их не было, мы бы могли просто создать таким способом настоящий ИИ. В каком-то смысле таковым ИИ и была бы сама байесовская теория вероятностей.

Однако всё равно это пример ситуации, когда гораздо лучше сначала рассмотреть простой до абсурдности вариант, а уж потом добавлять всякие навороченные усложнения.

Рассмотрим философа, который заявляет: «Все мы, в сущности, эгоисты. Мы заботимся лишь о том, что у нас в голове. Мать, которая заявляет, что волнуется о благополучии сына, на самом деле хочет верить, что с её сыном всё в порядке. Её делает счастливой это убеждение. Она помогает сыну ради своего счастья, а не ради его счастья». Вы отвечаете: «Предположим, мать жертвует своей жизнью, чтобы вытолкнуть сына из под колёс едущего грузовика. Этот поступок не делает её счастливой, она просто погибает». Философ запинается на секунду, затем возражает: «Но она всё равно это делает, потому что этот выбор ей нравится больше других, потому что она присвоила этому решению большую важность».

И на это вы говорите:

ОШИБКА ТИПОВ: Конструктор для Ожидаемая_Полезность -> Полезность не найден.


Позвольте мне объяснить этот ответ.

Даже наш простой формализм чётко показывает различие между ожидаемой полезностью, которая является свойством действия, и полезностью, которая является свойством исхода. Да, конечно, вы можете перевести и полезность, и ожидаемую полезность в действительные числа. Но это тоже самое, что перевести в действительные числа скорость ветра и температуру — они не становятся от этого одной и той же сущностью.

Философ начинает спор с утверждения, что полезность является функцией от исходов, составляющих состояние нашего разума. Если это правда, то наш разум будет действовать как машина, которая направляет будущее в те области, где мы счастливы. Будущие состояния при этом различаются только по состоянию разума. Если в каких-то двух разных будущих у вас одинаковое состояние ума, вам всё равно, какое из них предпочесть.

И в этом случае вы действительно вряд ли станете жертвовать своей жизнью, чтобы спасти чужую.

Когда мы возражаем, что люди иногда всё-таки жертвуют своими жизнями, философ переключается на обсуждение ожидаемой полезности от действий: «Она присвоила этому решению большую важность». Именно из-за этого неожиданного переключения мы должны подпрыгнуть от возмущения. В нашем языке программирования попытка преобразовать Ожидаемая_полезность в Полезность сразу же вызовет ошибку. Но в обычном человеческом языке и то, и другое кажется одним понятием.

В нашей простой системе принятия решений мы выбираем те действия, которым соответствует наивысшая Ожидаемая_полезность. Но это ничего не говорит о том, в какое именно будущее мы хотим попасть. Ожидаемая полезность ничего не говорит о полезностях, которые назначает принимающий решение, или об исходах, которые скорее всего произойдут в реальном мире. Она ничего не говорит о разуме как о машине, направляющей куда-то будущее.

Физической причиной физического действия является состояние разума. Для нашего идеального принимателя решений таким состоянием является Ожидаемая_полезность, которая вычисляется через функцию полезности от воображаемых последствий. Чтобы спасти жизнь сына, вы должны представить событие, при котором жизнь сына спасена. Воображаемое событие само по себе не является событием. Оно оказывается в кавычках, тут такая же разница, как между «снегом» и снегом. Но это не означает, что то, что находится в кавычках должно само быть состоянием разума. Если вы выбираете действие, которое ведёт к будущему, которое вы представляете как «мой сын по-прежнему жив», то вы работаете машиной, которая направляет будущее в ту область, где ваш сын по-прежнему жив. Не машиной, которая направляет будущее в область, где вы представляете предложение «мой сын по-прежнему жив». Чтобы направлять будущее в эту область, ваша функция полезности должна возвращать высокое значение при входных данных « „мой сын по-прежнему жив“ », когда стоят двойные кавычки, когда речь идёт о том, как вы воображаете себя воображающим такой исход. У вас получится плохой торт, если вы измельчите рецепт и бросите его в тесто.

Именно поэтому полезней сначала рассмотреть простую систему принятия решений. Если в неё внести достаточно усложнений, различия, хорошо заметные ранее, будет увидеть сложнее.

А теперь давайте рассмотрим некоторые усложнения. Очевидно, что функция полезности (отображающая исходы в полезность) нужна, чтобы формализовать то, что раньше я обозначил как «терминальные цели», цели, которые никак не связаны с их последствиями. Что у нас теперь получается с примером, когда спасение жизни вашей сестры приводит к тому, что чёрная дыра уничтожает Землю? В нашем формализме мы эту возможность упрощаем. Исходы не ведут к исходам, к исходам ведут только действия. Выздоровление вашей сестры от пневмонии, за которым следует уничтожение Земли чёрной дырой, становится одним «возможным исходом».

А где в этом простом формализме оказываются «инструментальные ценности»? А они полностью исчезают! Понимаете, в этом формализме действия ведут к исходам без каких-то промежуточных событий. Мы здесь не рассматриваем камень, который летит сквозь воздух, попадает в яблоко на дереве, в результате чего оно падает на землю. Бросок камня — это действие. Оно ведёт к исходу, в котором яблоко лежит на земле — в соответствии с функцией условной вероятности, которая превращает действия напрямую в распределение вероятностей по исходам.

Для того, чтобы на самом деле вычислить функцию условной вероятности, и для того, чтобы отдельно рассмотреть полезность сестры с пневмонией и чёрной дыры, поглощающей Землю, мы должны представить структуру причинно-следственных связей — как именно одни исходы ведут к другим.

И тут возвращаются инструментальные ценности. Если причинно-следственная сеть в достаточной степени «регулярна», возможно, вы обнаружите, что состояние B, скорее всего, ведёт к C. Тогда, если вы по каким-то причинам хотите достичь С, вы можете сперва запланировать достичь В, которое ведёт к С, а затем запланировать достичь А, которое ведёт к В. В этом весь смысл «инструментальных ценностей»: В является «инструментальной ценностью», потому что ведёт к С. С само по себе может считаться терминальной ценностью, аргументом функции полезности из пространства исходов. Или С может быть просто инструментальной ценностью, узлом, который невозможно оценить с помощью функции полезности напрямую.

Инструментальные ценности в этом формализме служат исключительно для эффективного планирования. Если нужной «регулярности» нет, от них можно и нужно избавиться.

Например предположим, что есть какое-то конкретное значение В, которое не ведёт к С. Предпримите вы действие А, которое ведёт к этому В? Или отбросим абстрактную философию. Если вы хотите попасть в супермаркет ради шоколада, и вы хотите поехать в супермаркет, и вам нужно попасть в машину, будете вы выламывать дверь машины паровым экскаватором? (Нет.) Инструментальные ценности — это «дырявые абстракции» (это словосочетание из нашего программистского жаргона). Иногда закэшированную ожидаемую полезность нужно выкидывать и вычислять заново. Чтобы быть эффективным и не самоубиться при этом, нужно в том числе замечать, когда привычные ходы перестают работать. Хотя описываемый формализм использует инструментальные ценности, они нужны только в тех случаях, когда присутствует необходимая «регулярность» и исключительно для удобства вычислений.

Однако если некто усложняет формализм до того, как понял простую версию, он иногда начинает думать, что инструментальные ценности живут какой-то своей странной жизнью, причём даже в нормативном смысле. В смысле, если сказать, что В — обычно хороший поступок, потому что он ведёт к С, то следует всегда пытаться сделать В — даже в отсутствие С. Занимаясь абстрактной философией, люди часто допускают такую ошибку, хотя в реальной жизни они никогда не выламывают дверь своей машины паровым экскаватором. Не понимая простой вариант формализма люди иногда думают, что невозможно появление консеквенциалиста, который максимизирует лишь генетическую приспособленность — ведь он умрёт от голода, если у него нет явной терминальной ценности «питаться». Люди совершают эту ошибку, хотя сами никогда не стоят целый день возле открытой машины из страха оказаться в ней запертой — ведь у них же нет терминальной ценности открывать дверь машины.

Инструментальные ценности обитают в функции условной вероятности. Из-за этого инструментальные ценности напрямую зависят от убеждений о поведении функции полезности. Если я убеждён, что пенициллин вызывает пневмонию, а отсутствие пенициллина её лечит, то для меня инструментальная ценность пенициллина упадёт. Убеждения меняются — меняется функция условной вероятности, которая связывает действия с ожидаемыми последствиями. И вместе с ней меняются и инструментальные ценности.

Когда люди спорят о морали, то иногда они спорят об инструментальных последствиях, а иногда — о терминальных ценностях. Если ваш оппонент заявляет, что запрет на ношение личного оружия ведёт к снижению количества преступлений, а вы утверждаете, что запрет на ношение оружия ведёт к увеличению количества преступлений, то вы согласны по поводу высшей инструментальной ценности (преступления — это плохо), но не согласны по вопросу, какое промежуточное событие ведёт к каким последствиям. Однако в споре о женском обрезании, как мне кажется, вряд ли у оппонентов есть общие представления о том, как справедливо обращаться с женщинами или как сделать их счастливее.

Во время особо яростных споров на это важное различие часто никто не обращает внимание. Люди, у которых есть общие ценности и разногласие по поводу фактов, приходят к мысли, что их оппонент наверняка социопат. Мол, если он выступает за ограничение/легализацию оружия, значит, он на самом деле хочет убивать людей. С точки зрения психологии это довольно не реалистично.

Боюсь, человеческий мозг не слишком хорошо видит различие между терминальными и инструментальными ценностями в вопросах морали. «Мы должны запретить оружие» и «Мы должны спасать жизни людей» выглядят схожими убеждениями о морали по своей форме. Хотя в остальном человеческая система целеполагания усложняет практически всё, именно это различие превращается в мешанину разных штук с условными ценностями.

Чтобы выделить терминальные ценности, нам нужно разобраться в этой мешанине ценных штук и понять, ценность каких из них привязана к чему-то ещё. Это очень сложно! Если вы говорите, что хотите запретить ношение оружия для того, чтобы уменьшить число преступлений, может потребоваться время, чтобы понять, что «уменьшение числа преступлений» — это не терминальная ценность, это более высокая инструментальная ценность, которая связана с терминальной ценностью человеческой жизни и человеческого счастья. А у человека, который защищает право на ношение оружия, это право может быть связано с более высокой инструментальной ценностью «уменьшение числа преступлений», а также с ценностью «свободы», которая может быть терминальной ценностью или ещё одной инструментальной ценностью…

Мы не в состоянии распечатать полную «сеть», как одни наши ценности выводятся из других ценностей. Скорее всего, мы даже не помним всю историю, откуда эти ценности взялись. Часто мы можем это понять, размышляя над правильными моральными дилеммами: «Сделаете ли вы Х в случае Y?» Но если вы всерьёз захотите понять, какие у вас терминальные ценности, на вашем пути встретится множество ловушек: запутывающих дилемм и сомнительных философских аргументов. Мы не знаем свои ценности и откуда они взялись. Мы можем это узнать лишь копаясь в наших процессах познания, а при этом мы обязательно будем ошибаться. Довольно сложно даже просто научиться сознательно различать понятия «терминальные ценности» и «инструментальные ценности», отслеживать, что они значат, и использовать их правильно. Только исследуя наш простой формализм мы можем понять, как это теоретически просто могло бы быть.

И я здесь ещё не касаюсь сложностей, связанных с человеческой системой вознаграждения — наших механизмов подкрепления. Есть шоколад приятно, предвкушать поедание шоколада приятно, но это разные случаи приятности…

Однако я не слишком горюю из-за всех этих сложностей.

Не знать собственные ценности — не всегда забавно. Но уж точно не скучно.

• 1. Автор здесь ссылается на текст Робина Хансона «Expert At Versus Expert On». — Прим.перев.

Съедобны ли яблоки? Обычно да, но некоторые яблоки гнилые.

Сколько у людей пальцев? Обычно десять, однако многие люди пальцы теряли, а их всё равно считали людьми.

Практически любое обобщение в реальном мире окажется «дырявым»1. Единственный способ этого избежать — спуститься на уровень, который гораздо ниже макроскопических объектов. Ниже сообществ, людей, пальцев, тканей, клеток. На уровне частиц и полей законы и впрямь универсальны.

(Впрочем, возможно, есть некоторые исключения…)

В обычной жизни дырявые обобщения нужно просто как-то учитывать. Если вы идёте за печеньем в кондитерскую, которая почти всегда работает до 10 вечера, кроме дня благодарения, когда она работает до 6 вечера, а сегодня внезапно как раз день геноцида коренных американцев, то лучше бы дойти до неё до шести, иначе не будет вам печенья.

Нам сложно иметь дело с дырявыми обобщениями из-за нашего стремления к однозначности 2. Хочется раз и навсегда сказать, что у людей десять пальцев, и мы огорчаемся, когда приходится мириться с неоднозначными ситуациями.

Когда ставки растут, стремление к однозначности часто растёт следом. И из-за этого мы отказываемся разбираться в сложном вопросе именно тогда, когда это нужно больше всего.

Даже если бы мы всегда хотели чего-то простого (а это не так), жизнь была бы сложна. Дырявость дырявых обобщений при решении вопроса, что делать дальше, проистекала бы из-за дырявой структуры реального мира. Это можно сформулировать иначе:

У инструментальных ценностей часто нет компактного локального описания.

Представим ящик с миллионом долларов. Ящик закрыт, но не обычным кодовым замком, а с помощью механизма, управляемого дюжиной клавиш. Если вы понимаете, как работает механизм, то вы сможете подобрать последовательность клавиш и открыть ящик. Причём ящик открывается не единственной последовательностью, а неверная последовательность сожжёт деньги. Если вы ничего не знаете о механизме, то простые правила вроде «нажатие любой кнопки три раза откроет ящик» или «нажатие пяти разных кнопок без повторений сожжёт деньги» вам не помогут.

Существует компактное нелокальное описание последовательности клавиш: нажать те клавиши, которые откроют ящик. Написать компактную программу, которая определит правильные и неправильные последовательности, можно, но эта программа должна описывать механизм, а не сами клавиши.

Аналогично, существует локальное, но не компактное описание последовательности клавиш: колоссальная таблица с результатами для каждого возможного сочетания клавиш. Это очень большая компьютерная программа и в ней не упоминается ничего, кроме клавиш.

При этом невозможно коротко, используя только язык клавиш, описать, какие последовательности окажутся хорошими, плохими или нейтральными.

Хуже того, могут обнаружиться заманчивые обобщения, которые окажутся дырявыми. Например, представим, что для большинства клавиш нажатие их три раза подряд открывает ящик, но существует клавиша, любое нажатие на которую сжигает деньги. Вы можете решить, что нашли идеальное обобщение — компактно описанный класс последовательность, который всегда открывает ящик — а окажется, что вы не учли какие-то варианты работы машины или значимость неких побочных эффектов.

В данном примере механизм — это метафора для сложности реального мира. Открытие ящика (что хорошо) и сжигание денег (что плохо) представляют собой тысячи осколков желаний, из которых состоят наши терминальные ценности. Клавиши олицетворяют собой доступные нам действия, стратегии и правила.

Если задуматься, сколько существует способов оценить исходы и насколько сложны пути, ведущие к ним, удивительно, что вообще существует какие-либо этические рекомендации. (Из которых наиболее странной, но при этом полезной является «цель не оправдывает средства»)

И наоборот, сложность действий не обязательно свидетельствует о сложности цели. Часто встречаются люди, которые мудро улыбаются и приговаривают: «Ну, мораль — это сложная штука. Знаете ли, женское обрезание может быть правильным в одной культуре и неправильным в другой, да и вообще, пытать людей не всегда плохо. Если вы думаете, что существуют простые правила, вы довольно наивны и слишком сильно стремитесь к однозначности».

Можно заявить прямо и безусловно, что любое убийство имеет отрицательную полезность. Да, даже убийство Гитлера. Это не означает, что не стоит убивать Гитлера. Это означает, что общая полезность убийства Гитлера складывается из огромной отрицательной полезности его смерти и гораздо большей положительной полезности всех спасенных жизней.

Многие люди совершают ошибку, о которой я предупреждал в эссе «Ценности терминальные и инструментальные»: они думают, что если результирующая ожидаемая полезность последствий смерти Гитлера оказывается положительной, то мгновенная локальная терминальная полезность его смерти также является положительной. А это, в свою очередь, означает, что принцип «смерть — это всегда плохо» оказывается дырявым обобщением. Ошибка здесь в том, что полезность учитывается дважды. От ожидаемой полезности вы опять возвращаетесь к полезности, хотя рассуждения должны идти от полезности к ожидаемой полезности.

Впрочем, возможно, люди просто стремятся к односторонним политическим спорам. У лучших правил не должно быть недостатков.

В рамках моей моральной философии локальная полезность смерти Гитлера постоянна и отрицательна, независимо от внешних последствий и, соответственно, ожидаемой полезности.

Разумеется, можно составить моральный аргумент, будто наказывать злых людей — даже применять смертную казнь для достаточно злых людей — есть добро. Однако такой аргумент нельзя подкрепить тем, что, застрелив человека, направившего на кого-то оружие, мы, возможно, спасаем другие жизни. Ведь это апелляция к ценности жизни, а не ценности смерти. Даже если ожидаемые полезности запутанные и дырявые, это ещё не означает, что сами полезности — тоже запутанные и дырявые. Они могут быть таковыми! Но это уже другой разговор.

• 1. Юдковский здесь использует отсылку к термину «leaky abstraction», который на русский язык обычно переводят как «дырявые абстракции». — Прим.перев.
• 2. В оригинале используется термин «closure». Часто его переводят как «завершённость». – Прим. перев.

Я желаю обитать в выбранном мною месте, обладать физически здоровой, целой и очевидно нормальной версией моего настоящего тела, содержащей моё текущее состояние сознания. Это тело будет исцеляться от любых повреждений со скоростью большей на три сигма от средней, учитывая доступные медицинские технологии, а также будет защищено от любых болезней и травм, инвалидности, боли или потери функций любого органа на более чем десять дней подряд или пятнадцати дней в сумме за год…

— Открытый проект «Желание», Желание бессмертия 1.1

Существует три вида джиннов: джинны, которых можно попросить «сделай то, что я должен пожелать», джинны, которых опасно просить о чём угодно, и джинны, которые не слишком могучи или не слишком разумны.

Представьте, что ваша пожилая мать находится в горящем доме, а вы прикованы к инвалидной коляске и не можете ей помочь. Вы можете кричать: «Вытащите мою маму из этого дома!», но вас никто не услышит.

Однако вам повезло: у вас в кармане лежит помпа исходов. Это полезное устройство сжимает поток времени, перекачивая вероятности из одних исходов в другие.

Помпа исходов не разумна. В ней содержится крохотная машина времени, которая перезапускает течение времени до тех пор, пока не происходит требуемое событие. Например, если бы вы подключили помпу исходов к монетке, указали бы в условиях перезапуск хода времени всегда, когда монетка выпадает решкой, а затем подбросили бы монетку, то вы бы увидели орла. (Физики скажут, что любое будущее, в котором происходит «перезапуск» будет противоречивым и, следовательно, не наступит, и поэтому вы не убиваете какие-либо версии самого себя.)

Какое бы условие вы не поставили помпе исходов, оно реализуется, не нарушая при этом законов физики. Если вы попробуете составить событие, наступление которого слишком маловероятно, то машина времени сломается до наступления этого события.

Также можно перенаправлять вероятностный поток более тонко, используя «функцию будущего» для масштабирования вероятности перезапуска времени для каждого из исходов. Если вероятность перезапуска 99% для орла и 1% для решки, то шансы упадут с 1:1 до 99:1 в пользу решки. Представим, что вы нашли загадочную машину, выплёвывающую деньги и хотите максимизировать их количество. В этом случае стоит изменить вероятности перезапуска так, чтобы они уменьшались в случае увеличения количества денег. Например, для выплюнутых 10 долларов назначить вероятность перезапуска 99,999999%, а для 100 долларов — 99,99999%. В итоге вы получите исход, стремящийся к наивысшему возможному значению в функции будущего, даже не зная, какой максимум допустим.

И вот вы в отчаянии выхватываете из кармана Помпу исходов — ваша мать всё ещё в горящем доме, помните? — и пытаетесь описать свою цель: вытащить мать из этого дома!

Пользовательский интерфейс помпы не понимает человеческого языка. Она же не разумна, помните? Но внутри есть 3D сканеры ближайшей местности и встроенные приложения для распознавания образов. Вот вы достаёте фото вашей матери по плечи, определяете положение её тела (а не только головы и плеч) и определяете функцию будущего через расстояние до центра дома. Чем больше это расстояние, тем меньше вероятность перезапуска машины времени. Крикнув на удачу «вытащи мою маму из этого дома!», вы нажимаете «Enter».

Мгновение ничего не происходит. Вы оглядываетесь в надежде увидеть подъезжающую пожарную машину или спасателей, или, в крайнем случае, быстрого сильного спортсмена, который вытащит вашу мать из здания…

Ба-бах! Под зданием с оглушительным грохотом взрывается газовая труба. Словно в замедленном повторе вы видите, как дом разваливается, и замечаете, как тело вашей матери поднимается в воздух и быстро удаляется от того, что раньше было центром дома.

На помпе исходов есть кнопка экстренного сожаления. По нажатию этой кнопки всем функциям будущего автоматически присваиваются большие по модулю отрицательные значения. Вероятность перезапуска времени оказывается близкой к единице, поэтому крайне маловероятно, что пользователь когда-либо будет опечален результатом работы помпы настолько, что нажмёт эту кнопку. Вы не помните ни одного случая, чтобы её приходилось нажать. И вот вы только тянетесь к ней (на что она теперь годится?), как с неба падает пылающее бревно и убивает вас.

Вряд ли вы заказывали именно это, но в указанной функции будущего очень вероятен именно такой исход.

Помпа исходов — это джинн второго типа. Ни одно желание не является безопасным.

Если вас попросят вытащить чью-то пожилую мать из горящего здания, вы можете помочь, а можете притвориться глухим. Но вам не придёт в голову это здание взорвать. «Вытащи мою маму из этого дома» звучит безопасно, поскольку планы, содержащие негативные последствия, даже не рассматриваются.

Вспомним трагедию группового отбора. Некоторые биологи раньше предполагали, что групповой отбор, способствующий уменьшению популяции, приведёт к индивидуальному ограничению спариваний. При лабораторном эксперименте же оказалось, что такой групповой отбор приводил к каннибализму, причём в первую очередь поедались неполовозрелые самки. Задним числом очевидно, что отбор происходит по признаку малого размера популяции, то каннибалы к нему приспособятся лучше, чем особи, добровольно отказывающиеся от репродуктивных возможностей. Однако поедание маленьких девочек было столь неприемлемо для Винна-Эдвардса, Алле, Бреретона и других сторонников группового отбора, что они просто о нём не подумали. Они видели лишь решения, которые использовали бы сами.

Предположим, мы попробуем исправить функцию будущего, уточнив, что помпе исходов не следует взрывать дом: те исходы, в которых куски здания будут распределены по слишком большому объёму, получат вероятность перезапуска времени примерно равную единице.

Поэтому ваша мать падает со второго этажа и ломает себе шею. Помпа исходов выбрала иной путь, формально точный, но он всё равно привёл к нежелательному результату. И опять это оказался путь, который никогда не выбрал бы человек.

Если бы открытый проект «Желание» разрабатывал желание по спасению матерей из горящих домов:

Я желаю переместить мою мать (определяемую как женщину, разделяющую половину моих генов и родившую меня) из границ ближайшего ко мне на данный момент горящего здания и при этом не использовать взрыв здания, не использовать падение стен здания, ведущее, в свою очередь, к исчезновению его границ, не использовать сценарий с пожарным, вытаскивающим тело моей матери из прогоревшего здания…

Все эти особые случай, кажущееся бесконечным число патчей программы, напоминают притчу об «искусственном сложении»: попытке написать арифметическую экспертную систему через явное перечисление высказываний вида «пятнадцать плюс пятнадцать равняется тридцати, но пятнадцать плюс шестнадцать равняется тридцати одному».

Как исключить исход, в котором здание взрывается и выбрасывает тело вашей матери в небо? Вы пытаетесь представить будущее, прогнозируете, что в таком случае она будет мертва, а вы не хотите подобных последствий и потому запрещаете события, ведущие к ним.

В вашем мозге не существует встроенных утверждений вида «взрыв горящего здания с моей матерью внутри — плохая идея». И всё же при этом вы пытаетесь явным образом встроить такое конкретное условие в функцию будущего помпы исходов. Из-за этого желание разрастается, превращаясь в гигантскую справочную таблицу с человеческими суждениями по каждой возможной траектории событий.

Вы просили не того, что хотели. Вы хотели, чтобы ваша мать выжила, а просили переместить её от центра здания.

Правда, это не всё, что вы хотели. Если бы её спасли из пожара со значительными ожогами, такой исход находился бы значительно ниже в вашем списке предпочтений по сравнению со спасением в целости и сохранности. А это значит, что вы цените не только её жизнь, но и здоровье.

А помимо её телесного здоровья вы цените ещё и психическое. Спастись и получить при этом психологическую травму — предположим, с рёвом из ниоткуда появится гигантский фиолетовый монстр и вытащит её — менее предпочтительно, чем если её по безопасному пути выведет пожарный. (Да, мы договорились не нарушать законов физики, но будем считать, что помпа исходов достаточно могущественна и рядом случайно окажется инопланетянин.) При этом, разумеется, появление монстра-спасителя предпочтительнее, чем сгореть заживо.

А что насчёт внезапно открывшейся червоточины, переносящей её на необитаемый остров? Такой исход гораздо лучше смерти, но хуже, чем быть живой, здоровой, без психологической травмы и разлуки с родными и прочим привычным кругом общения.

А будет ли приемлемым спасти мать ценой жизни любимой собаки, которая бросилась дать сигнал пожарным, но была впоследствии сбита машиной? Определенно да, но при всех прочих равных лучше избежать смерти собаки. Не хотелось бы обменивать жизни людей одну на другую, но что насчёт жизни осужденного за убийство? Будет ли иметь значение, если убийца погибнет, пытаясь спасти её по доброте душевной? А что насчёт двух убийц? Стоит ли жизнь вашей матери, например, разрушения всех существующих копий, включая воспоминания, «Малой органной фуги соль-минор» Баха? А если бы оказалось, что у неё смертельное заболевание и в течение 18 месяцев она всё равно умрёт?

Если часть перекрытия повредит стопу, будет ли приемлемо спасать всё остальное тело? А если голова повреждена, но тело нет? А что если всё тело раздавлено и только голова цела? Что если рядом ждёт команда криоников, готовая спасти голову? Замороженная голова — это личность? А Терри Шайво? Какова ценность жизни шимпанзе?

Мозг не бесконечно сложен: сложность по Колмогорову или иначе длина сообщения, достаточная для описания всех возможных суждений, конечна. Но конечность такой сложности не означает, что она мала. Мы ценим очень многое, и, нет, наши предпочтения не сводятся только лишь к счастью или к репродуктивной приспособленности.

Не существует безопасного желания, которое бы оказалось меньше всей полноты человеческой морали. Во времени слишком много возможных путей. Невозможно представить все траектории до пункта назначения, который вы описали джинну. «Максимизировать расстояние между моей матерью и центром здания» можно очень эффективно при помощи взрыва атомной бомбы. Или, если джинн достаточно силён, можно вообще удалить её тело за пределы Солнечной Системы. А если джинн ещё и достаточно разумен, то он может сделать нечто, о чём ни вы, ни я не смогли бы помыслить, точно также, как шимпанзе не смог бы помыслить о взрыве атомной бомбы. Нельзя создать программу, играющую в шахматы, записав в неё все возможные шахматные позиции. И аналогично нельзя представить все пути сквозь время.

Жизнь гораздо сложнее шахмат. Невозможно предсказать заранее, какие именно ценности окажутся для вас важными на траектории, выбранной джинном. Особенно в отношении желаний более долгосрочных или более глобальных, чем спасение матери из горящего здания.

Боюсь, открытый проект «Желание» обречен на провал. Его можно использовать лишь в качестве иллюстрации, как не стоит думать о задачах джиннам. Безопасным будет только джинн, разделяющий все ваши критерии суждения, и ему можно сказать «сделай то, чего мне стоит пожелать». Это просто-напросто запустит функцию «должен» джинна.

Этих слов должно оказаться достаточно. Чтобы джинн оказался безопасным исполнителем желаний, он должен разделять все ценности, которые привели вас к составлению желания. В противном случае, джинн может выбрать траекторию сквозь время, которая не приведёт к задуманной вами точке назначения или реализует план с ужасными побочными эффектами, которые вам даже не придут в голову. Желания — это дырявые обобщения, сделанными из гигантской, но всё же конечной структуры — всей вашей морали. Только определив эту структуру целиком можно избавиться от всех дыр.

А с безопасным джинном желания становятся избыточными. Вам остаётся лишь запустить его.

Антропоморфизм, в сущности, — это ожидание, что мы сможем предсказать поведение чего-то с помощью чёрного ящика в виде нашего мозга, при том, что причинно-следственная структура рассматриваемого объекта или явления отличается от человеческого мозга настолько, что такое ожидание неоправданно.

Я уже писал о трагедии группового отбора. Биологи до 1966 года считали, что хищники добровольно ограничат частоту спариваний, чтобы избежать перенаселения и истощения популяции своей добычи. Позже, когда Майкл Уэйд воссоздал в лаборатории условия, максимально подходящие для реализации группового отбора, взрослые особи в качестве адаптации стали каннибалами: принялись поедать яйца и личинки, особенно личинки самок.1

Почему же сторонники группового отбора не подумали о такой возможности?

Предположим, вы живёте в племени и знаете, что скоро ваше племя столкнётся с нехваткой ресурсов. В качестве решения вы можете предложить сократить рождаемость: пусть никакая пара не заводит больше одного ребёнка. Но вам даже в голову не придёт идея: «Давайте мы все будем заводить столько детей, сколько сможем, а потом начнём охотиться на чужих детей — особенно девочек — и поедать их».

Задумайтесь о порядке предпочтительности решений по отношению к вашим целям. Вы бы хотели, чтобы итоговое решение оказалось как можно выше в этом списке. Как вы его найдёте? Разумеется, при помощи мозга! Считайте мозг генератором высокоранговых решений, неким поисковым процессом, производящим решения, оказывающиеся на верхних строчках порядка предпочтений.

Пространство решений задач реального мира в общем случае огромно, а потому мозгу необходимо быть эффективным и отбрасывать без обдумывания подавляющее большинство низкоранговых решений.

Если вашему племени грозит недостаток ресурсов, можно попытаться прыгать на одной ноге или пожёвывать пальцы на ноге. Такие «решения», естественно, не сработают и, очевидно, приведут к большим потерям, но мозг эффективен и даже не тратит время на формирование столь плохих решений. В поисках высокоранговых решений он мгновенно перемещается к участкам пространства решений вроде: «Собираемся все вместе и соглашаемся не заводить более одного ребёнка на семью, пока трудные времена не пройдут».

Решения вида «завести как можно больше детей, а потом съесть девочек» такой поисковый процесс создавать не будет.

Однако варианты не являются «плохими» или «хорошими» сами по себе. Как «плохие» или «хорошие» их оценивает оптимизационный процесс во время выбора. Другой оптимизационный процесс может их оценить по-другому.

С точки зрения эволюции очевидным решением будет отобрать особей, которые оставят максимум потомства, а затем съедят чужих дочерей. И наоборот, смешно отобрать особей, которые добровольно ограничивают воспроизводство ради группы. Говоря менее атропоморфно, первый набор аллелей быстро заменит второй в популяции. (У естественного отбора в этом случае нет очевидного порядка поиска - обе альтернативы появляются одновременно в виде мутаций)

Допустим, какой-то биолог говорит: «На месте эволюции я бы сконструировал популяцию хищников, где каждая особь добровольно ограничивает частоту спариваний, если ресурсы ограничены». Это полноценный антропоморфизм, с прозрачным и понятным рассуждением: «Я бы так сделал, следовательно, я делаю вывод, что эволюция сделает так же».

В своей работе я часто сталкиваюсь с этим искажением в явном виде. Однако, что если возразить: «ИИ не обязательно будет работать так, как ты»? Что если сказать нашему воображаемому биологу: «Эволюция рассуждает не так, как ты»? Что мы услышим в ответ? Мы точно не услышим: «Ой! Об этом я не подумал! Один из шагов моего рассуждения был неверным, поэтому я откажусь от вывода и начну заново».

Напротив, мы услышим о причинах, почему ИИ должен рассуждать именно так, как и собеседник. Или почему естественный отбор, у которого абсолютно иные критерии и методы оптимизации, должен делать именно то, что кажется хорошей идеей человеку.

Отсюда появляются мысли, что групповой отбор поможет популяциям хищников, где особи добровольно отказываются от репродуктивных возможностей.

Сторонники группового отбора ошиблись в своих предсказаниях столь же сильно, как ошибся бы человек, явно уверенный в антропоморфности эволюции. Конечные выводы оказались такими же, как если бы они сразу предполагали у эволюции человеческое мышление. Они стёрли всё, кроме нижней строчки своих рассуждений, оставили эту самую нижнюю строчку и сверху вписали рационализацию. Теперь ошибочное мышление скрыто, очевидно неверный этап в рассуждениях спрятан. Хотя вывод остался тем же самым. Абсолютно неверным в реальном мире.

Но почему какие-то учёные вообще до такого доходят? Ведь в конце концов, данные опровергли теорию группового отбора и её сторонники оказались в неловком положении.

Как я уже упоминал в «Фальшивом критерии оптимизации», судя по всему, у нас, людей, выработался инстинкт доказывать правильность предпочитаемой нами политики для практически любых критериев оптимизации. Политика была неотъемлемой частью среды обитания наших предков. Мы произошли от тех особей, которые наиболее убедительно доказывали, что не только их личные интересы, но и интересы всего племени, требуют убийства Углака, их заклятого врага. Уж точно мы не произошли от Углака, который не смог доказать, что этический кодекс племени, не говоря уж о его собственных интересах, требует его пощадить.

А поскольку убедительнее всего мы отстаиваем позиции, в которые искренне верим, у нас развился инстинкт искренне верить, что цели других людей и моральный кодекс нашего племени должен требовать поступать по-нашему ради их же блага.

Поэтому сторонники группового отбора, представив себе прекрасную картину хищников с ограничениями в спаривании, инстинктивно рационализировали причины естественному отбору вести себя так, как они считают правильным, причем в соответствии с его собственными целями. Лисы будут гораздо более приспособленными, если ограничат рождаемость! Нет, правда! Они даже смогут оставить больше генов, чем лисы, которые не ограничивают своё потомство! Честно-честно!

Однако убедить естественный отбор поступать так же, как вы затруднительно: у эволюции нет элементов, которых заботят ваши доводы. Эволюция не похожа на вас, у неё нет ничего, что могло бы вас выслушать и принять во внимание ваши дотошные объяснения, почему ей стоит вести себя так, как вам нравится. Человеческие аргументы никак не соответствуют внутренней структуре естественного отбора как оптимизационного процесса, ведь они не участвуют так в распространении аллелей, как они участвуют в причинно-следственных отношениях человеческой политики.

В итоге сторонники группового отбора не смогли убедить эволюцию поступать по-своему. Реальность просто посадила их в лужу.

На этом месте я рекомендую подумать про недружественный ИИ.

Можно сделать обобщение: проблема в оптимистичных суждениях в целом. Ведь что есть оптимизм? Вы располагаете возможные исходы в некотором порядке в соответствии с вашими предпочтениями, выбираете лучший исход, и почему-то он совпадает с вашим предсказанием. Какие именно хитрые рационализации при этом используются, вероятно, не так уж важно, как можно было бы подумать. Однако Природа или любой другой процесс не расставляет исходы согласно вашим предпочтениям и не выбирает наилучший в соответствии с ними. Поэтому у мозга не получается синхронизироваться с окружением и предсказание не совпадает с реальностью.

• 1. Wade, “Group selections among laboratory populations of Tribolium.”

То ли в детском саду, то ли в первом классе мне впервые сказали помолиться и дали молитву на иврите, записанную латиницей. Я спросил, что означают эти слова. Мне ответили, что если молиться на иврите, можно не знать значения слов, молитва всё равно сработает.

Мой разрыв с иудаизмом начался именно с этого.

Прямо сейчас, когда вы читаете эти строки, какой-нибудь студент сидит за партой в университете и старательно изучает материал, который ему сам по себе не интересен и который, по его мнению, ему никогда не пригодится. Студенту нужна высокооплачиваемая работа, а для неё требуется «корочка», а для получения «корочки» требуется степень магистра, а до степени магистра нужно получить степень бакалавра, а университет, который предлагает степень бакалавра, требует, чтобы для её получения вы посетили занятия по узорам вязания двенадцатого века. И студент прилежно изучает эти узоры. Он планирует забыть про них сразу же после сдачи экзамена, но тем не менее всерьёз возится с ними, потому что ему очень нужна «корочка».

Я уверен, что вы и сами оказывались в такой ситуации. Возможно, даже понимая её сумасшествие. Ведь у вас не было выбора, верно? Недавнее исследование в Сан-Франциско показало, что 80% учителей в начальной школе тратят меньше одного часа в неделю на науку. 16% заявило, что они совсем не уделяют время науке. Почему? Насколько я могу судить, в этом виноват акт «No Child Left Behind» и другие ему подобные законодательные инициативы1. Практически всё время уроков теперь уходит на подготовку к обязательным тестам федерального уровня или уровня штата. Кажется, где-то утверждалось (хотя сейчас я не могу найти источник), что в какой-то школе на одно лишь проведение обязательных тестов уходило 40% времени уроков.

Своим стремлением заботиться о внешних проявлениях, а не о сути, славилась советская бюрократия. Одна обувная фабрика перевыполнила план, произведя много обуви маленького размера. Другая фабрика отчиталась о раскроенной, но не сшитой коже, как об «обуви». Настоящие результаты начальство не интересовали, ведь ему тоже нужно было лишь доложить о перевыполнении планов. Что наверняка радовало товарищей, у которых мёрзли ноги.

Несколько разных источников уже утверждают, что большая часть публикуемых медицинских исследований неверны, несмотря на «статистическую значимость p < 0,05». Но зачем кому-то ставить себе более высокую планку, если p < 0,05 — единственный критерий для публикации? Ведь это потребует больших грантов на исследования и больших размеров выборок, а также уменьшит шансы на публикацию. Всем же известно, что смысл существования науки — опубликовать как можно больше статей. Точно так же, как смысл существования университетов — печатать кусочки бумаги определённого вида, а смысл существования школ — проходить обязательные тесты, позволяющие получить большее финансирование. Не вы устанавливаете правила. Если вы попробуете играть по другим, вы проиграете.

(Впрочем, почему-то научные журналы по физике требуют p < 0,0001. Словно они считают, будто у них есть какой-то иной смысл существования, кроме публикации научных статей по физике.)

В супермаркете есть шоколад, туда можно попасть на машине, в машину нужно попасть, для этого нужно открыть дверь, а для этого нужны ключи. Если вы узнаете, что в супермаркете шоколада нет, вы не будете стоять около машины и хлопать дверью просто потому, что так надо. По-моему, люди редко теряют нить ими же придуманных планов.

Когда стимулы проходят через крупные организации или, что ещё хуже, через множество организаций и групп интересов, часть из которых правительственные, получается совсем по-другому. Иногда в результате получается такое поведение, что спланируй его какой-то один человек, то этого человека объявили бы безумным. Кому-нибудь платят каждый раз, когда он открывает дверь машины, поскольку именно это является измеряемой метрикой, и этому человеку наплевать, заплатят ли водителю за прибытие в супермаркет, и уж тем более наплевать, купит ли покупатель шоколад и будет ли потребитель счастлив или умрёт с голода.

С точки зрения байесианства, подзадачи — это эпифеномен для функции условных вероятностей. Ожидаемой полезности без полезности не бывает. Очень глупо считать, что инструментальная ценность может начать жить своей жизнью, а терминальная ценность — отмереть за ненадобностью. Это неразумно по меркам разумности теории принятия решений.

Рассмотрим закон «No Child Left Behind». Политики хотели создать впечатление, будто они занимаются проблемами образования. Они изображали бурную деятельность, чтобы повлиять на избирателей в текущем году, а не пятнадцать лет спустя, когда сегодняшние дети будут искать работу. Политики не являются потребителями образовательных услуг. Бюрократы обязаны продемонстрировать развитие, а это значит, что они заинтересованы в развитии, которое можно измерить именно в этом году. Это не они в конечном итоге ничего не узнают о науке. Издательства, выпускающие учебники, и школьные комитеты, которые эти учебники покупают, не будут скучать за партами.

Настоящие потребители знаний — это дети. А они не могут платить, не могут голосовать, не могут заседать в комитетах. Родители о них заботятся, но они не сидят в классах, они лишь выбирают политиков на основании созданных теми образов «борцов за образование». Политики слишком заняты вопросом последующего переизбрания и не изучают данные самостоятельно, поэтому они полагаются на поверхностные сведения от бюрократов и комиссий. Это помогает создать образ заботы о детях, но детям от этого лучше не становится. Бюрократы не используют учебники, поэтому им плевать, что их невозможно читать, важно, чтобы процесс покупки учебников хорошо выглядел со стороны. У издателей нет стимула выпускать плохие учебники, но им известно, что школьные комитеты сравнивают учебники на основании количества тем для занятий, а комитет четвертого класса не связан с комитетом третьего, поэтому издатели впихивают в каждый учебник как можно больше разных тем. Учитель со своим классом не проходит и четверти учебника до конца года, поэтому на следующий год другой учитель начинает всё заново. Учителя могут жаловаться, однако решения принимают не они и вообще не их будущее стоит на кону, что в свою очередь влияет на желание прикладывать усилия, за которые всё равно не заплатят.

Если рассмотреть ситуацию с такого ракурса, задуматься обо всей потерянной информации и всех потерянных стимулах, становится даже удивительно, что от исходной цели — получения знаний — остаётся хоть что-то. Впрочем, судя по всему, большинство образовательных систем сейчас скатываются в состояние, которое не намного лучше, чем ничего.

Хотите решить проблему по-настоящему? Заставьте политиков ходить в школу.

Один человек способен отследить, как будет меняться вероятностная ожидаемая полезность в зависимости от условий, связанных со множеством промежуточных событий. Он может учесть нелокальные зависимости, где ожидаемая полезность открытия двери автомобиля зависит от наличия шоколада в супермаркете. Однако организации сегодня вознаграждают только за то, что измеримо сегодня, за то, что можно записать в контракте сегодня, а это означает измерение промежуточных событий, а не их долгосрочных последствий. И эти промежуточные измерения являются дырявыми обобщениями — зачастую очень дырявыми. Бюрократы это джинны, которым нельзя доверять, ведь они не разделяют ценностей желающего.

Миямото Мусаси сказал:2

Помни, когда в твоих руках меч — ты должен поразить противника, чего бы тебе это ни стоило. Когда ты парируешь удар, наносишь его, делаешь выпад, отбиваешь клинок или касаешься атакующего меча противника, ты должен сразить противника тем же движением. Достигай цели. Если ты будешь думать только о блокировании ударов, выпадах и касаниях, ты не сможешь действительно достать врага. Более, чем о чем бы то ни было, ты должен беспокоиться о том, как провести свой удар сквозь его защиту и достичь цели. Тщательно изучи сказанное.

(Хотел бы я жить в эпоху, когда можно сказать читателям тщательно что-то изучить и никого при этом не оскорбить.)

Каким образом кто-нибудь может забыть о своей цели в поединке на мечах? Например, он мог учиться сражаться у кого-то другого, искусство не появилось у него изнутри, и он не понимает причин, почему в такой-то ситуации ему нужно парировать, а в другой — делать выпад. Он не понимает, когда у правил появляются исключения, когда привычный метод не работает.

Искусство эпистемической рациональности немыслимо без понимания, как каждое правило приближает нас к истине в соответствии с теорией вероятности. Суть практической рациональности — теория решений — в том, чтобы всегда видеть, как ожидаемая полезность приводит к полезности. Тщательно изучи сказанное.

К. Дж. Черри однажды сказала:3

Нет клинка у твоего меча. У него есть лишь твоя цель. Потерял цель — остался безоружным.

Я видел множество людей, забывавших о цели, когда они формулировали желание воображаемому ИИ-джинну. Они представляли желание за желанием, и они не видели в своих желаниях ничего плохого. Некоторые из желаний сопровождались множеством уточнений, другие формулировались вовсе без каких-либо предосторожностей. Эти люди не выходили на мета-уровень. Они не сверялись инстинктивно с целью, у них не было того инстинкта, что заставил меня в пять лет свернуть на дорогу атеизма. Они не задумывались над вопросом: «Почему это желание кажется мне хорошим? А джинн тоже будет так считать?» Они не видели, откуда берётся их суждение, они слишком увлекались самим суждением. Они не следили за мячом — они знали, что мяч отскочил от пола, но не обращали внимание, в каком именно месте он отскочил. Они не думали о критериях, которые породили их суждение.

Похожим образом некоторые люди не замечают, как предположительно эгоистичные люди предлагают альтруистичные аргументы в пользу эгоизма, а предположительно альтруистичные люди – эгоистичные аргументы в пользу альтруизма.

Люди прекрасно отслеживают свои цели по дороге в супермаркет: когда весь процесс находится у них в голове и им не мешают ни бюрократы, ни джинны, ни философия. Проблема в том, что цивилизация гораздо сложнее. Десятки организаций и десятки лет разделяют скучающего ребёнка в классе и выпускника колледжа, который не справляется со своей работой (Заметит ли менеджер или кадровик, что выпускник колледжа прекрасно умеет выглядеть занятым?) С каждым новым звеном цепи между действием и последствием появляется возможность сбиться с настоящей цели. С каждым промежуточным звеном теряется информация, теряются стимулы. А большинство людей беспокоятся из-за этого гораздо меньше, чем я. Почему все мои одноклассники с готовностью читали молитвы, не зная их смысла? У них не было моего инстинкта искать причину.

Можно ли научить не спускать глаз с мяча? Удерживать намерение и не позволять ему сбиваться? Никогда не делать выпада, удара или касания без понимания главной цели? При прочих равных условиях люди зачастую хотят лишь делать свою работу. Может ли вообще существовать здравомыслящая корпорация? Здравомыслящая цивилизация? Пока это лишь далёкая мечта, но именно к ней я стремлюсь, когда пишу все эти эссе про поток намерений (также известных как ожидаемая полезность или инструментальные ценности) без потери цели (полезности или терминальной ценности). Могут ли люди научиться чувствовать поток от целей-«родителей» к целям-«детям»? Осознанно понимать разницу между ожидаемой полезностью и полезностью?

Думаете ли вы об угрозах вашей цивилизации? Худшая мета-угроза цивилизации — её собственная сложность. Усложнение ведёт к потере множества целей.

Я оглядываюсь назад и понимаю, что сильнее всего мною в жизни двигало отвращение к потерянным целям. Надеюсь, это отвращение можно превратить в тренируемый навык.

• 1. «No Child Left Behind» (буквально: «ни один ребёнок не окажется отстающим») — федеральный закон США в области образования, принятый в 2001 году. Одним из его требований было проведение достаточно большого количества тестов для отслеживания прогресса детей. В 2015 году был отменён. — Прим.перев.
• 2. Миямото Мусаси, «Книга пяти колец». Автор ссылается на издание Miyamoto Musashi, Book of Five Rings (New Line Publishing, 2003). Перевод цитируется по тексту на lib.ru, к сожалению, переводчик там не указан. — Прим.перев.
• 3. Кэролайн Черри, «Паладин». Автор ссылается на издание Carolyn J. Cherryh, The Paladin (Baen, 2002). На русский язык переводилась только в самиздате.

Когда-то давно жил в одном дворце придворный шут, который баловался логикой. И вот однажды шут принес королю две шкатулки.

На крышке первой было написано: «Либо в этой шкатулке сидит свирепая лягушка, либо в шкатулке с ложной надписью сидит свирепая лягушка, но не то и другое одновременно».

На крышке второй было написано: «Либо в этой шкатулке лежит золото, а в шкатулке с ложной надписью сидит свирепая лягушка, либо в этой шкатулке сидит свирепая лягушка, а в шкатулке с истинной надписью лежит золото».

И шут сказал королю:

— В одной шкатулке сидит свирепая лягушка, в другой лежит золото; одна и только одна из надписей истинна.

Король открыл неправильную шкатулку, и на него напала лягушка.

— Видите ли, — сказал шут, — давайте предположим, что первая надпись истинна. Тогда предположим, что в первой шкатулке лежит золото. Тогда во второй шкатулке должна сидеть лягушка, а в шкатулке с истинной надписью должно лежать золото, из чего следует, что вторая надпись тоже истинна. Теперь давайте предположим, что первая надпись ложна, и в первой шкатулке лежит золото. Тогда вторая надпись будет…

Король приказал бросить шута в темницу.

На следующий день шута в кандалах привели к королю, и тот показал ему другие две шкатулки.

— В одной шкатулке лежит ключ к твоим кандалам, — сказал король, — и если ты сможешь найти его, ты свободен. Но в другой шкатулке лежит кинжал к твоему сердцу, если ты этого не сможешь.

На первой шкатулке было написано: «Либо обе надписи истинны, либо обе ложны».

На второй шкатулке было написано: «В этой шкатулке лежит ключ».

Шут размышлял так: «Предположим, что первая надпись истинна. Тогда вторая надпись тоже истинна. Теперь предположим, что первая надпись ложна. Тогда вторая надпись всё равно истинна. Так что во второй шкатулке должен лежать ключ, если первая надпись истинна, и если первая надпись ложна. Поэтому во второй шкатулке логически должен лежать ключ».

Шут открыл вторую шкатулку и нашел кинжал.

— Как? — закричал шут в ужасе, когда его утаскивали прочь. — Это логически невозможно!

— Вполне возможно, — ответил король. — Я просто написал эти надписи на двух шкатулках, а потом положил кинжал во вторую.

Все люди смертны. Сократ — человек. Следовательно, Сократ смертен.

— Аристотель (?)

Сократ поднёс к губам чашу с болиголовом…
— Возможно ли, — спросил один из наблюдателей. — что даже болиголова недостаточно, чтобы убить столь мудрого и доброго человека?
— Нет, — ответил другой зритель, студент философии. — Все люди смертны, Сократ — человек, и если смертный выпьет болиголов, он непременно умрёт.
— Ладно, — сказал наблюдатель. — А если окажется, что Сократ «не» смертен?
— Вздор! — отрезал студент. — Все люди смертны «по определению»: это часть того, что мы понимаем под словом «человек». Все люди смертны, Сократ — человек, следовательно, Сократ смертен. И это не просто предположение. Это «логическая достоверность».
— Наверное, ты прав… — проговорил наблюдатель. — О! Глянь! Пока мы тут разговаривали, Сократ уже выпил болиголов. — Ага. Он упадёт с минуты на минуту. — ответил студент.
И они ждали, и ждали, и ждали…
— Сократ совсем не кажется смертным. — сказал наблюдатель.
— Значит, Сократ — не человек, — ответил студент. — Все люди смертны, Сократ не смертен, следовательно, Сократ — не человек.
И это не просто предположение. Это «логическая достоверность».

Главная проблема утверждения о том, что что-то истинно «по определению» состоит в том, что нельзя изменить реальность, поменяв определение (English).

Можно рассуждать примерно так: «Я вижу, что все носящие одежду, говорящие и использующие инструменты существа также имеют другие общие свойства, как-то: они дышат воздухом и перекачивают красную кровь. Последние тридцать объектов из этого кластера (я называю их «людьми»), которые выпили болиголов в моём присутствии, очень скоро упали и перестали двигаться. Сократ носит тогу, бегло говорит на древнегреческом и только что выпил болиголов из чаши. Поэтому я предсказываю, что Сократ рухнет на землю в течение следующих пяти минут».

Но это рассуждение — всего лишь «догадка», уязвимая и невозвышенная. Она не может быть абсолютно и неоспоримо верна (English), вы же понимаете . А греческие учёные, как и большинство донаучных философов, очень любили стопроцентную определённость.

К счастью, у греческих философов был разрушительный ответ на ваши сомнения.

— Вы неверно понимаете смысл утверждения «Все люди смертны», — сказали бы они. — Это вовсе не «наблюдение». Это часть «определения» слова «человек». Бренность — одно из нескольких свойств, индивидуально необходимых и совместно достаточных для того, чтобы определить принадлежность к классу «человек». Высказывание «Все люди смертны» логически истинно и бесспорно. И если Сократ — человек, то он «должен» быть смертен: это логическая дедукция, настолько несомненная насколько это вообще возможно.

Но тогда мы никак не сможем с определённостью знать «человек» ли Сократ до тех пор, пока не увидим его мёртвым. Бесполезны наблюдения того, что Сократ владеет греческим, или что у него красная кровь, или даже что ДНК Сократа человеческая. Ни один из этих признаков «логически не эквивалентен» бренности. Вы должны увидеть «его» мёртвым, прежде чем сможете сделать заключение о том, что он был человеком.

(И даже в этом случае ваше заключение не будет абсолютно достоверным (English). Вдруг Сократ восстанет из могилы следующей ночью? Или, если не столь сильно утрировать, вдруг Сократ подписал контракт на своё крионирование? Если бренность определить как конечную продолжительность жизни, то невозможно «знать», что кто-то является человеком, не достигнув сначала конца вечности — как иначе можно убедиться в том, что этот кто-то не вернётся? Не говоря о том, что сцена с падающим на землю Сократом может быть лишь иллюзией, спроецированной на ваши глаза сканером сетчатки. Или, может быть, вся эта история — лишь плод вашего воображения, серия галлюцинаций…)

Проблема с силлогизмами — это то, что они верны «всегда». Если воспринимать цепочку умозаключений «Все люди смертны; Сократ — человек; следовательно Сократ смертен» как силлогизм, то эта цепочка логически неоспорима в нашей вселенной. А ещё она логически неоспорима в соседней ветви Мультиверса, где эволюция пошла по слегка другому пути, из-за чего болиголов — это божественный деликатес, а не отрава. И она логически неоспорима даже во вселенных, в которых Сократ никогда не существовал или, коли на то пошло, в которых никогда не существовали люди.

По байесианскому определению свидетельство рассматривается, как говорящее в пользу гипотезы, если его вероятнее наблюдать в случае, когда гипотеза верна, чем в случае, когда она неверна. Наблюдение того, что силлогизм логически безупречен, не может быть свидетельством в пользу любого эмпирического утверждения, потому что силлогизм будет логически безупречен вне зависимости от верности этого утверждения.

Силлогизмы неоспоримы во всех возможных мирах. Таким образом, их неоспоримость не говорит нам ничего о том, в «каком» из возможных миров мы действительно проживаем.

Это значит не то, что логика бесполезна, а то, что логика может сообщить нам только то, что мы и так «в некотором смысле» уже знаем. Но мы не всегда верим в то, что знаем. Является ли простым число 29384209? После того, как я определил десятичную систему счисления и аксиомы арифметики, я определил и ответ на этот вопрос. Но я всё ещё не знаю ответа и мне нужна логика, чтобы найти его.

Аналогично, если я сформулирую неопределённое эмпирическое обобщение «Болиголов воздействует на людей», и неопределённое эмпирическое суждение «Сократ — человек», логика подскажет мне что мои предыдущие догадки приводят к умозаключению, что Сократ подвержен воздействию болиголова.

Можно рассмотреть логические рассуждения как способ разрешения неопределённостей в отношении невозможных возможных миров, способ обнуления вероятности логически невозможных миров, о логической невозможности которых нам не было известно. Таким образом, логическое умозаключение может считаться разновидностью наблюдения.

Но когда мы говорим об эмпирических предсказаниях вроде «Сократ свалится с ног и прекратит дышать» или «Сократ сделает пятьдесят подпрыгиваний, а затем победит на Олимпийских играх в следующем году», это является возможными мирами, а не невозможными возможными мирами.

Логика позволяет нам понять, какая гипотеза соотносится с конкретными наблюдениями, и позволяет нам сделать выводы о том, что эти гипотезы предскажут в будущем — она позволяет взять старые наблюдения и предыдущие заключения и применить их к новой проблеме. Но логика никогда не скажет «Сократ прекратит дышать через минуту» вместо «Сократ „может“ прекратить дышать через минуту». Логика никогда не ответит ни на один эмпирический вопрос; она никогда не разрешит встреченную в реальности тайну, допускающую — если напрячь воображение — несколько реалистичных разгадок; она не подскажет ответа на дилемму, правильный ответ в которой неопределён, и, в принципе, может оказаться каким угодно.

Просто запомните литанию против логики:

Логика остаётся истинной, куда бы ты ни пошёл,
Поэтому логика никогда не скажет тебе, где ты живёшь.

Предположим, что я наткнулся на бочку, верх которой запаян, но в которой есть дыра такого размера, что в неё пролезает рука. Я просовываю ладонь внутрь и нащупываю что-то маленькое и округлое. Я вытаскиваю объект наружу — это голубоватое яйцо. Я просовываю руку ещё раз: что-то жёсткое и плоское, с рёбрами — после извлечения это оказывается кубом красного цвета. В итоге я вытащил 11 яиц и 8 кубов, и каждое яйцо синее, и каждый куб красный.

На этот раз, просунув руку внутрь, я нащупал ещё один объект яйцеобразной формы. Пока я не извлёк его из бочки, я пытаюсь угадать: как он выглядит?

Имеющиеся свидетельства не доказывают, что каждое яйцо в бочке синее, и что каждый куб красный. Свидетельства даже не дают этому сильных обоснований: 19 — не очень большой размер выборки. Тем не менее, я предполагаю, что это яйцо синее — или, что менее вероятно, но всё же занимает второе место, красное. Думать о других вариантах бессмысленно: возможностей столько, сколько существует различимых цветов — и почему яйцо должно быть выкрашено в один цвет? Может быть, на нём нарисована лошадь.

Посему я говорю «синее», и слова эти покрыты послушной долгу патиной смиренности: ибо я искушённый рационалист, привыкший следить за своими допущениями и догадками. Я тыкаю пальцем в небо, но я осознаю, что я тыкаю пальцем в небо, верно?

Однако, когда из теней выпрыгивает объект котообразной формы, покрытый жёлтыми и чёрными полосами, в моей голове проносится «Ой! Тигр!». Не «Хммм… полосатые объекты большого размера и жёлтого цвета, форма которых типична для представителей семейства кошачьих, ранее очень часто обладали свойствами «голодный» и «опасный», и поэтому — несмотря на то, что строгой логической необходимости в этом нет — можно сделать довольно неплохой с эмпирической точки зрения вывод о том, что ааааааргхххх ХРУМ ХРУМ ЧАВК»

По какой-то странной причине в процессе эволюции человеческий мозг научился производить это умозаключение быстро, автоматически, и не отслеживая все использованные допущения явно.

И если я назову яйцевидные объекты словом «сияйца» (что будет означать «синие яйца»), а красные кубы словом «крубы», то тогда, нащупав в бочке ещё один яйцевидный объект, я могу подумать «о, это сияйцо» вместо того, чтобы рассуждать о проблеме индукции и прочих вещах того же рода.

Убеждение о том, что ты можешь определить слово так, как тебе нравится, — распространённое заблуждение.

Это было бы правдой, если бы мозг воспринимал слова исключительно как логические конструкции, аристотелевы классы, а ты никогда бы не вытаскивал информацию, изначально не положенную внутрь.

И всё же мозг продолжает своё занятие категоризацией вне зависимости от того, одобряем ли мы это сознательно. «Все люди смертны, Сократ человек, следовательно Сократ смертен» — рассуждали философы древней Греции. Ну что же, если смертность — часть определения логического понятия «человек», то ты не можешь классифицировать Сократа как человека до тех пор, пока ты не убедишься в его смертности. Однако — в этом и состоит проблема — Аристотель прекрасно знал, что Сократ является человеком. Мозг Аристотеля поместил Сократа в категорию «люди» также эффективно, как и твой мозг категоризирует тигров, яблоки, и всё своё окружение: быстро, безмолвно, и без сознательного одобрения.

Аристотель заложил правила, согласно которым никто не мог установить, что Сократ был «человеком», не пронаблюдав его смерти. Тем не менее, Аристотель и его ученики спокойно делали выводы о том, что ещё живые горожане были людьми, и, следовательно, смертными; они видели отличительные свойства — человеческие лица и человеческие тела — и их мозги совершали прыжок в сторону неявных свойств, таких, как смертность.

Неверное понимание алгоритма действий своего разума, к счастью, не мешает ему выполнять свою работу. Иначе последователи Аристотеля умерли от голода, неспособные сделать вывод об съедобности объекта на основании всего лишь того, что он выглядел и пах, как банан.

И последователи Аристотеля отправились классифицировать окружающее на основании неполной информации, точно также, как делали и все предыдущие поколения людей. Процесс мышления учеников Аристотеля нисколько не изменился из-за того, что они узнали принципы классической логики, однако они приобрели ошибочное представление о том, чем они занимались.

Если бы ты спросил философа-последователя Аристотеля о том, смертна ли Кэрол, торговец бакалейными товарами, то ты бы услышал положительный ответ. Почему? «Все люди смертны, Кэрол — человек, значит, Кэрол — смертна» — объяснил бы философ. Что это — предположение или несомненный факт? На этот вопрос философ бы ответил «разумеется, несомненный факт» (по крайней мере, если бы дело происходило раньше шестнадцатого века). Поинтересуйся, откуда он знает, что люди смертны, и получи ответ о том, что это закреплено в определении.

Последователи Аристотеля по-прежнему были людьми, они сохранили свою изначальную природу, но они приобрели неверные убеждения о своём внутреннем функционировании. Они смотрели в зеркало самосознания и видели что-то, непохожее на них самих; корректность их рефлексии была нарушена.

Твой мозг видит в словах нечто большее, чем просто логические определения без эмпирических последствий, и тебе следует последовать его примеру. Одного лишь создания нового слова достаточно для того, чтобы твой разум выделил ему категорию, и тем самым запустил бессознательные умозаключения о похожести. Или заблокировал умозаключения о похожести: создав два ярлыка, я могу заставить твой разум выделить две категории. Ты обратил внимание на то, что я сказал «ты» и «твой мозг» так, будто это две разные вещи?

Наличие заблуждений о том, как работает содержимое твоего черепа никак не влияет на это содержимое; иначе Аристотель пал бы бездыханным в тот же миг, когда заключил, что мозг — орган для охлаждения крови. Философские ошибки обычно не взаимодействуют с требующими доли секунды бессознательными умозаключениями.

Но философские ошибки могут чрезвычайно испортить процессы осознанного мышления, в том числе и те, которые используются для коррекции первых впечатлений. Если ты считаешь, что можно «определить слово так, как тебе нравится», не понимая, что твой мозг продолжает категоризировать без сознательного надзора, то ты не потратишь никаких усилий на то, чтобы выбрать свои определения с умом.

— Что такое красный?

— Красный — это цвет.

— Что такое цвет?

— Цвет — это свойство вещи.

Но что такое вещь? И что такое свойство? И вскоре собеседники теряются в лабиринте слов, определенных через другие слова. Стивен Харнард описывал эту проблему, как обучение китайскому языку через китайско-китайский словарь.

С другой стороны, если вы меня спросите: «Что такое красный», я могу показать на знак «Стоп», затем на кого-то в красной рубашке, на светофор, если он в данный момент красный, на кровь, если я случайно порезался, на красную визитку. И наконец, я мог бы открыть палитру цветов на компьютере и указать курсором на красную область. Скорее всего, этого было бы достаточно, однако, если вы знаете значение слова «нет», то какой-нибудь сторонник строгости настаивал бы, чтобы я указал на небо и сказал: «Нет».

По-моему, я украл этот пример у С. И. Хаякавы, но я не особо в этом уверен, потому что это одно из моих туманных детских воспоминаний. (Когда мне было 12, мой отец случайно удалил все мои файлы на компьютере, и у меня не осталось никаких воспоминаний о том, что было раньше).

Но, кажется, именно тогда я впервые узнал про разницу между экстенсиональным и интенсиональным определением. Дать «интенсиональное определение» — определить слово или фразу в контексте других слов, как это делается в словаре. Дать «экстенсиональное определение» — указать на пример, как это делают взрослые, когда объясняют что-то ребенку. Предыдущее предложение — интенсиональное определение «экстенсионального определения», что делает его экстенсиональным примером «интенсионального определения».

С точки зрения «голливудской рациональности» и поп-культуры в целом, «рационалисты» одержимы смыслами слов и плавают в бесконечном вербальном пространстве, оторванном от реальности.

Но настоящие «традиционные рационалисты» давно настаивают на сохранении прочной связи с опытом1:

Если вы заглянете в учебник химии в поисках определения лития, вы, возможно, обнаружите, что это элемент, атомный вес которого очень близок к семи. Но если у автора более логический склад ума, то он сообщит вам, что вам следует искать среди минералов, стекловидных, прозрачных, серых или белых, очень твердых, хрупких и нерастворимых, такой, который придает малиновый оттенок несветящемуся пламени; этот минерал, растертый в порошок вместе с известью или с так называемым крысиным ядом и расплавленный, может быть частично растворен в соляной кислоте; если этот раствор выпарить и осадок с помощью серной кислоты должным образом очистить, то обычными методами он может быть обращен в хлорид; если этот хлорид получить в твердом виде, расплавить и подвергнуть электролизу с помощью полудюжины мощных элементов, то образуется шарик розового, серебристого металла, который будет плавиться на газолиновой горелке; вот это вещество и есть образчик лития.

Чарльз Сандерс Пирс

Это пример «логического склада ума», как его видят «традиционные рационалисты», а не голливудские сценаристы.

Отметим, что Пирс не показывает нам кусочек лития. В комплекте с его книгой не идут куски лития. Скорее он дает карту сокровищ — интенсионально описанную процедуру, которая, будучи выполненной, приведет нас к экстенсиональному примеру лития. Это не то же самое, что и кинуть в вас куском лития, но и не то же самое, что и сказать «атомный вес семь». (Однако, если у вас особенно острый глаз, то фраза «три протона» позволит вам сразу понять, что речь идёт о литии…)

Итак, я описал, что такое интенсиональное и экстенсиональное определения. С их помощью можно передать кому-нибудь смысл, который вы вкладываете в концепт. Когда я выше разговаривал про «определения», я говорил про способ передачи концептов, т.е. о том, как сообщить кому-то, что именно вы имеете в виду, когда говорите «красный», «человек», «тигр» или «литий». Теперь давайте поговорим о самих концептах.

Реальный интенсионал концепта «тигр» для меня — реакция совокупности нейронов (в височной коре), обрабатывающих входящий сигнал зрительной коры с целью определить, тигр это или нет.

Реальный экстенсионал концепта «тигр» для меня — все, что я называю тигром.

Интенсиональные определения не учитывают все интенсионалы; экстенсиональные — все экстенсионалы. Если я покажу на одного тигра и скажу «тигр», коммуникация может провалиться, если те, кому я показал, подумают что я имею в виду «опасное животное» или «самец тигра» или «жёлтая штука». Аналогично, если я скажу «опасное животное с жёлто-черными полосками», не указав пальцем на что-либо, слушатель может вообразить гигантского шершня.

У вас не получится описать словами все детали существующего в вашей голове механизма, позволяющего вам отличать тигров от не-тигров. Он слишком сложен. И вам не удастся показать пальцем на всех тигров, которых вы когда-либо видели, не говоря уже о том, чтобы показать на всё, что вы можете называть тигром.

Чтобы лучше всего выразить концепт, чтобы точнее всего передать смысл понятия, оно определяется через совокупность интенсионалов и экстенсионалов. Но даже с учётом этого, мы лишь передаем карты концептов или инструкции для постройки таковых, а не реальные категории в том виде, в котором они существуют в нашем разуме или в реальности.

(Разумеется, немного изобретательности, и можно соорудить исключения для этого правила. Например, «Четвёртого февраля 2008 года Элиезер Юдковский опубликовал предложение, содержащее термин „хурагалони“». Только что я показал весь экстенсионал этого концепта. Но, за исключением математики, определения обычно являются картами сокровищ, а не сокровищами).

И это ещё одна причина, почему вы не можете «определять слова так, как вам захочется» — вы не можете запрограммировать концепты прямо в чей-то мозг.

Даже внутри Аристотелевой парадигмы, где мы притворяемся, что определения являются концептами, нет одновременной свободы интенсионала и экстенсионала. Предположим, я определяю Марс как «огромную каменную сферу, примерно в 1/10 массы Земли и на 50% дальше от Солнца». Мне придется отдельно показывать, что это интенсиональное определение совпадает с конкретной экстенсиональной штукой в моем опыте, или даже совпадает с реальной штуковиной. С другой стороны, если я скажу «это Марс» и покажу на красную точку на ночном небе, мне придется отдельно показывать, что эта экстенсиональная красная точка совпадает с конкретным интенсиональным определением, которое я мог бы предложить, или с каким-то моим интенсиональным убеждением — вроде «Марс — бог войны».

Но большая часть мозговой деятельности по сооружению интенсионалов протекает подсознательно. У нас нет осознанного понимания, что наше определение красного света с неба как «Марса» никак не связано со словесным определения «Марс — это бог войны». Неважно, какие интенсиональные определения я изобрету для Марса, мой разум верит в то, что «Марс» — это отсылка на ту точку на небе , которая является четвертой планетой Солнечной системы.

Если мы учтём, как на самом деле работает человеческий разум, то идея «я могу определять слова так, как мне захочется» вскоре превращается в «я могу верить в то, во что мне захочется, относительно любого заданного набора объектов» или «я могу по желанию объявлять, что предмет принадлежит или не принадлежит к любому наперёд заданному множеству, описываемому понятием». Подобно тому, как вы не можете передать весь интенсионал концепта словами, потому что это большой и сложный тест на принадлежность к множеству, осуществляемый вашими нейронами, вы не можете управлять всем интенсионалом концепта сознательно, потому что он создается подсознательно. Именно поэтому аргументация «по определению» так популярна. Если бы изменения определений изменяли эмпирическую реальность определяемых объектов, то спорить о них было бы неинтересно. Но стоит лишь слегка злоупотребить определениями, и они превращаются в волшебные палочки (в спорах, разумеется, а не в реальности).

• 1. Цитируется по переводу Т. В. Булыгиной и А. Д. Шмелева, изданному в сборнике «Семиотика» под редакцией Ю. С. Степанова, М., Радуга, 1983 — Прим.перев.

Давным-давно философы Академии Платона заявили, что наилучшее определение человека — это «двуногое существо без перьев». Согласно легенде, Диоген Синопский незамедлительно выставил на обозрение ощипанную курицу и произнес: «Вот он — человек Платона». Последователи Платона тут же изменили определение на «двуногое существо без перьев с плоскими ногтями».

Никакой словарь и никакая энциклопедия не перечисляют вообще всё, что свойственно людям. У нас красная кровь, по пять пальцев на каждой руке, костистые черепа, 23 пары хромосом, однако, то же самое можно сказать и про другие виды животных. Мы создаем сложные устройства, которые делают другие сложные устройства, используем синтаксический комбинаторный язык, мы обуздали реакцию деления в качестве источника энергии. Эти признаки уже относятся только к людям, но не ко всем людям. Многие ли строили ядерные реакторы? Можно записать цепочку необходимых и достаточных генов, которая будет описывать людей и только людей — во всяком случае, пока что — однако, это далеко не все свойства, присущие всем людям.

Но пока вы держитесь на расстоянии от ощипанных куриц, фраза «ищи двуногих и без перьев» может хорошо послужить для выделения конкретных объектов, которые являются людьми, в отличии от домов, ваз, бутербродов, кошек, цветов или математических теорем.

Как только определение «двуногое существо без перьев» оказалось связанным с конкретными двуногими существами без перьев, можно начинать наблюдать за этой группой для сбора других характеристик, — помимо отсутствия перьев и двуногости, — которыми обладают члены этой группы. Эти конкретные двуногие существа без перьев также используют язык, создают сложные инструменты, говорят на комбинаторном языке с использованием синтаксиса, кровоточат красным (если их проткнуть), умирают, приняв болиголов.

Таким образом, категория «человек» растет и включает в себя все больше и больше характеристик, и теперь нас так просто не проведешь, когда Диоген вновь покажет на ощипанную курицу. Эта ощипанная курица, очевидно, не так уж подобна другим «двуногим без перьев».

(Если бы логика Аристотеля была хорошей моделью человеческой психологии, то платоники, увидев ощипанную курицу, сказали бы: «Да, это человек, к чему ты это все?»)

Если первое двуногое существо без перьев, которое вы увидите, окажется ощипанной курицей, то, возможно, вы начнёте думать, что слово-ярлык «человек» обозначает именно ощипанных куриц. В таком случае я могу изменить мою карту сокровищ на «двуногое без перьев с плоскими ногтями», и, если я достаточно мудр, сказать: «Вон там Диоген стоит, видишь? Это человек, и я человек, и ты человек, а вот шимпанзе — не человек, но довольно близок».

Первая подсказка должна лишь вести к кластеру подобия — группе объектов, у членов которой есть множество общих характеристик. Теперь эта подсказка выполнила свое предназначение, и я могу продолжить передачу информации, например, «Люди, в данный момент, смертны», ну или что угодно, что я решу сказать о нас, двуногих существах без перьев.

О словарях полезней думать не как о книгах, содержащих определения аристотелевых логических классов, а как о книгах подсказок, призванных помочь сопоставить слова-ярлыки с кластерами подобия или сопоставить ярлыки и свойства объектов, которые помогут такой кластер выделить.

Птицы могут летать. А вот страусы нет. Но какая из двух птиц более типичная птица: малиновка или страус?

Какое из кресел является более типичным: офисное, кресло-качалка или кресло-мешок?

Большинство людей скажут, что малиновка — более типичная птица, а офисное кресло — более типичное кресло. Изучающие этот феномен когнитивные психологи, говорят о нем, как о «эффекте типичности» или «эффекте образца»(Rosch and Lloyd, 1978). Скажем, если попросить испытуемых нажимать кнопки правда/ложь для высказываний вроде «малиновка — это птица» или «пингвин — это птица», то для типичных примеров кнопку нажимают существенно быстрее. (Я все еще распаковываю свои книги, но я практически уверен, что этот эксперимент описан в Lakoff, 1986) Наличие корреляции при измерении типичности можно показать разными способами: можно измерить время нажатия кнопки, или попросить людей оценить примеры по шкале от 1 до 10: насколько пример (малиновка) подходит для категории (птица)?

Итак, мы умеем мысленно измерять типичность, и это, возможно, работает как эвристика. Но есть ли соответствующее этой эвристике когнитивное искажение?

Какое из следующих высказываний для вас выглядит более естественным: «98 это приблизительно 100» или «100 это приблизительно 98»? Если вы относитесь к большинству, то первое высказывание покажется вам более осмысленным (Sadock, 1977). Руководствуясь похожими причинами, люди, которых попросили оценить, насколько Мексика похожа на США, стабильно оценивают это подобие выше, чем те, которых просили оценить, насколько США похожи на Мексику (Tversky and Gati, 1978).

Ну а если это все еще кажется вам безобидным, то в исследовании Рипса (1975) показано, как люди более вероятно ожидают, что болезнь на острове будет передаваться от малиновок к уткам, чем от уток к малиновкам. Разумеется, ничего логически невозможного в этом нет, однако, с практической точки зрения, если утки отличаются от малиновок какой-то особенностью, из-за которой болезнь с меньшей вероятностью передаётся от уток к малиновкам, то обязано существовать и отличие малиновок от уток, из-за которого болезнь с меньшей вероятностью будет передаваться от малиновок к уткам.

Разумеется, можно рационализировать это: «Ну, у малиновок может быть больше видов неподалеку, что будет способствовать более быстрому распространению болезни в начале», но будьте осторожны и не перестарайтесь в рационализации оценок вероятностей людьми, которые даже не понимают, о каких именно различиях идёт речь. И не забывайте, что Мексика больше похожа на США, чем США на Мексику, и что 98 ближе к 100, чем 100 к 98. И проще это интерпретировать так: люди используют (и это было показано экспериментально) эвристику подобия, как замену вероятности распространения болезни, и эта эвристика (как было показано экспериментально) — асимметрична.

Канзас необычайно близок к центру США, а Аляска необычайно отдалена от центра. Так что, скорее всего, Канзас ближе к большинству точек в США, а Аляска — дальше. Но из этого не следует, что Канзас ближе к Аляске, чем Аляска к Канзасу. Люди же, однако, рассуждают (образно говоря), что близость — свойство, присущее Канзасу, а удаленность - свойство, присущее Аляске. Так что Канзас близок — даже к Аляске, а Аляска удалена — даже от Канзаса.

И вот опять мы видим, что аристотелевская идея категорий — логических классов с членством, определенным совокупностью признаков, по отдельности каждый из которых необходим, а вместе они достаточны, не такая уж хорошая модель человеческой когнитивной психологии. (Кто бы мог подумать, что наука продвинется вперед за 2350 лет?) Мы даже не рассуждаем с помощью бинарного подхода правда/ложь - высказывания о принадлежности могут быть более или менее истинными. (Замечу, что это не то же самое, что и быть более или менее вероятным.)

Еще одна причина прекратить притворяться, будто вы — или кто-то еще — в самом деле сможете обращаться со словами, как с аристотелевскими логическими классами.

1. Lakoff, George. (1986). «Women, Fire and Dangerous Things: What Categories Tell Us About the Nature of Thought», University of Chicago Press, Chicago.
2. Rips, Lance J. (1975). «Inductive judgments about natural categories», «Journal of Verbal Learning and Verbal Behavior», 14:665-81.
3. Rosch, Eleanor and B. B. Lloyd, eds. (1978). «Cognition and Categorization», Hillsdale, N.J.: Lawrence Erlbaum Associates.
4. Sadock, Jerrold. (1977). «Truth and Approximations.» В «Papers from the Third Annual Meeting of the Berkeley Linguistics Society», pp. 430-39. Berkeley: Berkeley Linguistics Society.
5. Tversky, Amos and Itamar Gati. (1978). «Studies of Similarity». В Rosch and Lloyd (1978).

Идея «конфигурационного пространства» состоит в переводе описаний объектов в их позиции. Кажется, что синий «ближе» к сине-зеленому, чем к красному, но насколько ближе? Если просто смотреть на цвета, то на этот вопрос ответить трудно. Но будет понятней, если вспомнить, что (относительные) координаты этих цветов в пространстве RGB — (0; 0; 5), (0; 3; 2) и (5; 0; 0). Если изобразить эти точки на трёхмерном рисунке, будет еще понятней.

Точно также, если рассуждать о малиновке, можно думать о ней привычным способом: коричневый хвост, красная грудка, обычный для малиновки облик, максимальная скорость без груза, типичный для этого вида набор ДНК и индивидуальные аллели. А можно рассматривать малиновку, как точку в конфигурационном пространстве, измерения которого описывают всё, что мы знаем о малиновках или можем узнать.

Малиновка больше вируса, но меньше авианосца — таким образом в конфигурационном пространстве можно ввести измерение «объёма». Малиновка весит больше атома водорода, но меньше галактики — измерение «массы». «Объём» и «масса» разных малиновок будут очень сильно коррелировать между собой, так что точки-малиновки в этих двух измерениях будут выглядеть почти как отрезок прямой линии. Однако, корреляция не будет полной, поэтому нам всё же нужны два отдельных измерения.

В этом и есть преимущество рассмотрения малиновок как точек в пространстве: у нас бы не получилось так легко увидеть линейность, если бы мы продолжали думать о малиновках, как о маленьких и милых махающих крыльями существах.

ДНК малиновок — это переменная с очень большим количеством измерений, но о ней всё равно можно думать, как о части описания расположения малиновки в пространстве вещей — в виде миллионов координат (по одной на каждый нуклеотид), которые могут принимать одно из четырёх значений, или даже что-то более элегантное. Форму малиновки, ее цвет (отражательную способность) точно также можно рассматривать как часть описания, где малиновка находится в конфигурационном пространстве, пусть даже они принадлежат к разным измерениям.

Точка (0; 0; 5) в пространстве цветов содержит ту же самую информацию, что и реально существующий синий цвет на HTML странице. Точно также мы не должны терять информацию, представляя малиновок, как точки в пространстве. Мы можем вообразить малиновку на весах, которые показывают 0,07 килограмм. Или можем представить малиновку-точку с координатой-массой +70. В обоих случаях мы представляем массу малиновки одинаково.

Мы можем даже вообразить конфигурационное пространство с одним или больше измерением для каждой отдельной характеристики объекта, так что позиция точки-объекта в этом пространстве будет соответствовать всей информации, которая у нас имеется об объекте. Пусть эта информация и окажется избыточной - например, в пространстве будут измерения для массы, объема и плотности.

Если это вам кажется слишком уж экстравагантным, то в квантовой физике используется многомерное конфигурационное пространство (с бесконечным числом измерений), в котором одна точка обозначает расположение каждой частицы во вселенной. Так что мы себя ведём ещё довольно скромно — точка в нашем конфигурационном пространстве описывает лишь один объект, а не всю вселенную.

Если мы не уверены насчет точной массы и объёма малиновки, то можно вообразить маленькое облако в пространстве вещей, некий объём неопределенности, внутри которого может располагаться малиновка. Плотность этого облака в некоторой точке соответствует нашей уверенности, что масса и объём малиновки равны значениям, которые являются координатами этой точки. Если вы уверены насчет плотности малиновки больше, чем насчет массы и объёма, то ваше облако вероятностей будет сильно сконцентрированным в измерении плотности, а в подпространстве массы/объёма сконцентрированы вокруг наклонной линии. (Облако в этом случае будет поверхностью из-за соотношения Объём ⋅ Плотность = Масса)

Когнитивные психологи используют понятие «радиальных категорий» для описания границ не-аристотелевых понятий. Центральное понятие «мать» означает женщину, которая участвует в зачатии, рождении и воспитании ребёнка. Донор яйцеклеток, которая никогда не увидит своего ребенка будет матерью? Она — «генетическая мать». Как насчет женщины, в которую имплантировали эмбрион, чтоб она его выносила? Она — «суррогатная мать». Ну а женщина, которая воспитывает ребенка, которого не рожала? Она — «приемная мать». Аристотелевский силлогизм звучал бы: «У людей десять пальцев, у Фреда — девять, следовательно — Фред не человек», но в действительности люди думают об этом так: «У людей десять пальцев, Фред — человек, следовательно, Фред — человек с девятью пальцами».

На языке интенсионалов мы можем описать радиальность категорий так: у объекта свойства категории обычно присутствуют, но некоторые могут отсутствовать. Интенсионал слова «мать» будет похож на распределенное по пространству вещей сияние, яркость которого соответствует тому, насколько координаты точки в пространстве соответствуют категории «мать». Сияние будет сконцентрировано в центре, который соответствует одновременно зачатию, рождению и воспитанию. Объём, в который попадут доноры яйцеклеток, тоже будет светиться, но не так ярко.

Или мы можем представить радиальность экстенсионально. Предположим, мы отобразили всех птиц в мире на пространство вещей и определили в нём расстояние так, что оно как можно лучше соответствует человеческому представлению о подобии: малиновка больше похожа на другую малиновку, чем они обе похожи на голубя, однако малиновки и голуби ближе друг к другу, чем к пингвину, и так далее.

В центре птичности окажется множество соседствующих плотных кластеров: малиновки, воробьи, канарейки, голуби и множество других видов. Орлы, ястребы и другие хищные птицы попадут в другой кластер неподалеку. Пингвины окажутся в более далеком кластере, как и курицы, и страусы.

Результат, скорее всего, будет чем-то напоминать галактический кластер: плотное скопление галактик в центре, и несколько неподалеку.

Или мы можем думать одновременно об интенсионале мыслительной категории «птица» и об экстенсионале реальных птиц. Центральный кластер малиновок и воробьев светится очень ярко — здесь высокий уровень птичности. Кластеры-сателлиты страусов и пингвинов светятся тусклей из-за менее типичной птичности, а Авраам Линкольн находится в нескольких мегапарсеках от них всех и не светится совсем.

Я предпочитаю именно эту визуализацию — светящиеся точки, —потому что, по-моему, структура интенсионалов в нашем разуме вторична по отношению к структуре экстенсиональных кластеров. Первична структура реального мира — эмпирическое распределение птиц в пространстве вещей. А затем мы, наблюдая птиц, формируем мыслительную категорию, интенсионал которой грубо покрывает это распределение.

Это ещё один способ понять, почему слова не являются аристотелевскими классами — структура эмпирических кластеров реальной вселенной не такая прозрачная. Природный кластер, группа очень похожих друг на друга предметов, может и не иметь набора необходимых и достаточных признаков: ни набора характеристик, которыми обладают все члены множества, ни набора, которыми никто из не-членов не обладает.

Но даже если категории необратимо туманны и ухабисты, для паники повода нет. Я бы не стал возражать, если бы кто-нибудь заявил, что «птицы — это такие летающие штуки с перьями». Но ведь пингвины не летают! Ну и ладно. У правила есть исключения, так что это не конец света. Не стоит ожидать, что определения будут точно совпадать с эмпирической структурой пространства вещей, ведь карта меньше по размеру и намного проще территории. Цель определения «такие летающие штуки с перьями» в том, чтобы привести слышащего к кластеру птиц, а не в том, чтобы дать полное описание всех существующих птиц вплоть до молекулярного уровня.

Когда вы проводите границу вокруг группы экстенсиональных точек, образующих кластер в пространстве вещей, скорее всего, на каждое выдуманное вами интенсиональное правило вы обнаружите как минимум одно исключение.

Однако, если на практике определение вполне сносно позволяет указать на нужный эмпирический кластер, то возражения к формулировке этого определения вполне оправданно можно назвать «придирками».

Представьте, что вы работаете на необычной фабрике. Вы должны брать объекты с загадочного конвейера и сортировать их по двум корзинам. В ваш первый рабочий день Старшая Сортировщица Сьюзен объяснила вам, что синие объекты яйцевидной формы называются «сияйцами» и их следует класть в «корзину для сияиц», а красные кубы называются «крубами» и их следует класть в «корзину для крубов».

Приступив к работе, вы заметили, что сияйца и крубы отличаются не только цветом и формой. Сияйца покрыты мехом, а крубы — гладкие. Поверхность сияиц слегка пружинит при нажатии, крубы — твердые. Сияйца — непрозрачные, поверхность крубов слегка просвечивает.

Вскоре вы столкнулись с сияйцом необычайно темного оттенка синего. Более того, присмотревшись получше, вы увидели, что это фиолетовый цвет — смесь красного и синего.

Погодите! Почему же вы называете этот объект «сияйцом»? Ведь «сияйцо» изначально определили как синий и яйцевидный объект. А характеристика «синее» даже отражена в самом названии «сияйца». А этот объект не синий. Одна из необходимых характеристик отсутствует, так что вам следует называть его не «сияйцом», а «фиолетовым яйцевидным объектом».

Но так уж случилось, что помимо яйцевидности и фиолетового цвета, этот объект непрозрачный, покрыт мехом и слегка пружинит. Так что увидев его, вы подумали: «О, сияйцо странного цвета». Но это уж точно не круб, верно?

И всё же вы не слишком уверены в том, что следует делать в таких случаях. Поэтому вы зовете на помощь Старшую Сортировщицу Сьюзен.

— Точно, это сияйцо, — отвечает Сьюзен. — Кладите его в корзину для сияиц.

Вы уже собираетесь бросить фиолетовое сияйцо в соответствующую корзину, но останавливаетесь.

— Сьюзен, откуда вы знаете, что это сияйцо?

Сьюзен странно на вас смотрит.

— Разве не очевидно? Пусть этот объект и фиолетовый, но при этом он еще и яйцевидной формы, непрозрачный, покрыт мехом и пружинит, как и другие сияйца. В редких цветовых дефектах нет ничего удивительного. Или это одна из философских загадок вроде: «Откуда вы знаете, что мир не был создан пять минут назад вместе с людьми с полным набором ложных воспоминаний?» В философском смысле у меня нет абсолютной уверенности в том, что это сияйцо, но, по-моему, вполне можно считать, что это так.

— Нет, я имею ввиду… — вы медлите, подыскивая нужные слова. — Зачем нужны отдельные корзины для сияиц и крубов? В чем разница между сияйцами и крубами?

— Сияйца — синие и яйцеподобные, крубы — красные и кубические, —- терпеливо отвечает Сьюзен. — Вы ведь прослушали стандартную вводную лекцию?

— Зачем надо сортировать сияйца и крубы?

— Э-э-э… потому что иначе они перемешаются? — говорит Сьюзен. — Потому что никто не станет нам платить просто за то, что мы сидим тут и не сортируем сияйца и крубы?

— Кто исходно определил, что синий яйцевидный объект — это сияйцо, и почему он так решил?

Сьюзен пожимает плечами:

— Думаю, с тем же успехом можно называть сияйцами красные кубические объекты, а крубами — синие и яйцевидные, но, по-моему, нынешний вариант удобнее для запоминания.

Вы на некоторое время задумываетесь.

— Предположим, что по конвейеру приехал очень необычный объект. Оранжевый, сферической формы, покрытый мехом, прозрачный и с маленькими зелеными щупальцами. Как мне определить — сияйцо это или круб?

— Ух-ты, с таким пока ещё никто не сталкивался, — отвечает Сьюзен. — Думаю, в этом случае мы воспользуемся сортирующим сканером.

— Как этот сканер работает? — продолжаете допытываться вы. — Это рентген? Магнитно-резонансная томография? Нейронная спектроскопия?

— Мне сказали, что он работает по правилу Байеса, но я не до конца понимаю, как это, — сказала Сьюзен. — Впрочем, мне нравится произносить это слово: байес, байес, байес, байес, байес.

— Какую информацию сообщает сортировочный сканер?

— Он сообщает, в какую корзину надо положить объект. Поэтому его и называют сортировочным.

Вы замолкаете.

— Кстати, - небрежно добавляет Сьюзен, — возможно, вам будет интересно узнать, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия. И то, и другое активно применяется в промышленности.

— Сьюзен, вы чистое зло.

— Спасибо за комплимент.

Итак, судя по всему, мы обнаружили, в чём сущность сияйцности: сияйцо — объект, содержащий ванадиевую руду. Внешние характеристики — вроде синего цвета или пушистости — не определяют, является ли объект сияйцом. Эти характеристики важны лишь потому, что помогают понять, является ли объект сияйцом, то есть, содержит ли он ванадий.

Содержание ванадия — необходимое и достаточное определение. Все сияйца содержат ванадий, и всё, что содержит ванадий, — сияйцо. «Сияйцо» это лишь быстрый способ сказать «содержащий ванадий объект». Так ведь?

Не так быстро, говорит Сьюзен. Около 98% сияиц содержит ванадий, однако 2% содержит палладий. Точнее (продолжает Сьюзен), около 98% синих яйцевидных, мохнатых, мягких, непрозрачных объектов содержит ванадий. Для необычных сияиц будут другие пропорции: 95% фиолетовых сияиц содержат ванадий, 92% твердых сияиц содержит ванадий и так далее.

Предположим, вы обнаружили синий яйцевидный, мохнатый, непрозрачный объект. На вид — обычное сияйцо во всех отношения. Чисто из любопытства вы засунули его в сортировочный сканер. Сканер выдал: «палладий» — те самые редкие 2%. Сияйцо ли это?

Поскольку вы собираетесь бросить этот объект в корзину для крубов, первоначально у вас может появиться желание назвать его «крубом». Однако, оказывается, почти все сияйца, если выключить свет, слегка светятся в темноте, а почти все крубы в темноте не светятся. И процентное соотношение светящихся сияиц к несветящимся примерно такое же, как и для содержащих палладий вместо ванадия синих, яйцевидных, мохнатых, мягких, непрозрачных объектов. Поэтому, если вас интересует вопрос, светится ли этот объект в темноте как сияйцо или не светится как круб, вам стоит предположить, что он светится как сияйцо.

Так что это в итоге за объект: сияйцо или круб?

С одной стороны, независимо от того, что вы ещё узнаете про этот объект, вы его бросите в корзину для крубов. С другой — если вы хотите сделать предположение о каких-то неизвестных характеристиках этого объекта, то вам следует предполагать, что объект обладает скорее характеристиками сияйца, а не круба. То есть поместить его в кластер подобия синих, яйцевидных, мохнатых, мягких, непрозрачных вещей, а не в кластер красных, кубических, гладких, твердых и слегка прозрачных вещей.

В различных ситуациях вопрос «сияйцо ли это?» может использоваться для решения самых разных задач.

Если же никакая задача перед вами не стоит, то ответ на этот вопрос вам на самом деле не нужен.

Атеизм — это религия? Трансгумагизм — это культ? Люди, утверждающие, что атеизм — религия, потому что «это совокупность убеждений о Боге», на самом деле стремятся доказать (как мне кажется), что методы рассуждений у атеистов примерно такие же, как и у религиозных людей, или что атеизм не менее опасен с точки зрения вероятности спровоцировать насилие, и так далее… В действительности же на кону стоят заявления атеистов о существенной разнице и даже превосходстве атеизма по отношению к религии, которое верующий стремится опровергнуть путем отрицания разницы, вместо того, чтобы опровергать превосходство(!).

Однако такое поведение нельзя считать заведомо иррациональным. Заведомо иррациональное происходит в тот миг, когда кто-то в ходе спора вытаскивает словарь, чтобы посмотреть определения «атеизма» и «религии». И это глупо независимо от того, кто это делает, атеист или верующий. Как вообще словарь может определить, отличается ли эмпирический кластер атеистов достаточно сильно от эмпирического кластера теологов? Как от изменения смысла слов может измениться реальность? Точки в пространстве вещей не сдвинутся с места, если мы нарисуем другие границы.

Но люди часто не понимают, что их спор про то, где нарисовать определяющую границу, на самом деле является спором про то, можно ли сделать вывод, что большинство вещей внутри некоего эмпирического кластера обладает некоторой общей характеристикой…

Отсюда и выражение — «замаскированный вопрос».

В «Замаскированых вопросах» я рассказал про сортировку «сияиц» и «крубов». Обычное сияйцо — синее, яйцевидной формы, мохнатое, мягкое, непрозрачное, светится в темноте и содержит ванадий. Обычный круб — красный, кубический, гладкий, твердый, с просвечивающей поверхностью, не светится и содержит палладий. Что бы слегка упростить задачу, давайте пока отбросим характеристики мягкости/твердости и непрозрачности/просвечивающей поверхности. В нашем пространстве вещей остаётся пять измерений: цвет, форма, текстура поверхности, свечение и состав.

Предположим, что я хочу сделать искусственную нейронную сеть (ИНС), предсказывающую неизвестные характеристики сияйца на основе уже известных. Предположим также, что я пока неопытен в области создания ИНС. Я лишь прочел несколько увлекательных научно-популярных книг, где описано, что нейронные сети являются распределёнными, эмерджентными и вычисления в них идут параллельно — прямо как в человеческом мозге!!! Но я не могу вывести дифференциальные уравнения для градиентного спуска в не-рекуррентной многослойной нейронной сети с сигмоидной функцией активации (что на самом деле гораздо легче чем кажется).

Так что сделанная мной нейронная сеть будет выглядеть примерно так:

Сеть 1 предназначена для сортировки сияиц и крубов. Но поскольку «сияйцо» — незнакомый и искусственный концепт, для наглядности я изобразил похожую Сеть 1b для классификации людей и Космических Монстров, которая в качестве входных данных использует информацию, предоставленную Аристотелем («Все люди смертны») и философами Академии Платона («Двуногое без перьев и с плоскими ногтями»).

Для нейронной сети нужен алгоритм обучения. Очевидная идея: будем усиливать связь между двумя узлами, если эти узлы часто активируются одновременно. Это один из первых алгоритмов для обучения нейронных сетей, так же известный как правило Хебба.

Таким образом, если вы часто видите объекты, которые одновременно синие и пушистые, — то есть узел «цвет» активируется в состоянии «+» и одновременно узел «текстура» активируется в состоянии «+», — связь между цветом и текстурой усиливается, в результате чего активация «цвет+» будет вызывать активацию «текстура+» и наоборот. А если вы часто видите синие, яйцеподобные и содержащие ванадий объекты, то это усилит положительную взаимную связь между цветом, формой и содержанием.

Предположим, вы уже видели достаточно сияиц и крубов, спустившихся по конвейеру. Но вдруг вы видите, как по ленте приближается нечто пушистое, яйцевидное и — ну надо же! —красновато-фиолетовое (для нашей нейронной сети это будет означать активацию узла «цвет» с силой -2/3). Вы еще не тестировали светимость и содержимое. Каков будет ваш прогноз? Это сияйцо или круб?

Дальше мы увидим, как сила активации узлов в Сети 1 начнёт меняться. Положительная активация идет к светимости от формы, негативная — к содержимому от цвета, и от содержимого в светимости… Разумеется, все эти сигналы идут параллельно!!! И асинхронно!!! Прямо как в человеческом мозге…

Наконец Сеть 1 приходит в стабильное состояние, в котором узлы «светимость» и «содержимое» активированы очень сильно в положительную сторону. Сеть могла бы сказать, что нам следует «ожидать» (пусть мы это ещё и не проверяли), что этот объект светится в темноте и содержит ванадий.

И смотрите, Сеть 1 демонстрирует такое поведение, несмотря на отсутствие узла, который явно бы говорил, является ли объект сияйцом или нет. Вся сеть выносит имплицитную оценку!!! Сияйцность - аттрактор!!! Появляющийся в результате эмерджентного поведения!!! Благодаря распределенному обучающему алгоритму!!!

Сети с такой архитектурой могут казаться очень привлекательными, однако, использовать их в реальной жизни довольно проблематично. Сети с обратными связями не всегда быстро останавливаются: иногда в них начинаются колебания, иногда можно наблюдать хаотичное поведение, или же они просто слишком долго думают. Если вы видите что-то большое, желтое и полосатое, и вам надо ждать пять минут, прежде чем сеть придет к аттрактору «тигр», то это очень-очень плохо. Да, процессы в этих сетях идут асинхронно и параллельно, но этого всё равно не хватает для работы в реальном времени.

Есть и другие проблемы. Например, одно и то же свидетельство может оказаться учтено дважды, потому что сигнал ходит туда-сюда: вы подозреваете, что объект светится в темноте, это способствует активации убеждения о ванадии внутри объекта, что, в свою очередь, способствует активации убеждения о свечении в темноте.

К тому же, если вы захотите увеличить Сеть 1, это потребует $O(N^2)$ соединений, где $N$ - число наблюдаемых характеристик.

А как можно построить более реалистичную сеть?

В такой сети активируются сначала узлы, отвечающие за наблюдаемые характеристики, от них сигнал идет к центральному узлу, а от него к еще не активированным (отвечающим за ненаблюдаемые характеристики) узлам. Это означает, что мы можем вычислить ответ за один шаг, а не ждать, пока сеть успокоится. С точки зрения биологии это очень важно, ведь нейроны работают с частотой в 20 герц. И расширение сети с такой архитектурой требует $O(N)$ новых соединений, а не $O(N^2)$.

Следует признать, что некоторые выводы делать проще, используя сеть с архитектурой первого типа, чем второго. В Сети 1 каждые два узла соединены напрямую. Поэтому если красные объекты не светятся в темноте, но красным мохнатым объектам обычно свойственны и другие характеристики сияйца, вроде яйцевидности и ванадия, Сеть 1 может это легко воспроизвести. Потребуется лишь несколько сильных отрицательных связей от цвета к светимости и более сильных положительных связей от текстуры ко всем остальным узлам кроме светимости.

Но это не означает, что в правиле «сияйца светятся в темноте» появилось «особое исключение». В Сети 1 нет узла, отвечающего за «сияйцность». Сияйцность появляется как аттрактор в распределенной сети.

Поэтому, да, от этих $N^2$ соединений бывает польза. Но не часто. В реальных задачах мы редко наблюдаем животных, которые наполовину похожи на кошку, а наполовину — на собаку, и Сеть 1 для большинства таких реальных задач не подходит.

(Кроме того, есть факты, которые трудно воспроизвести как на Сети 1, так и на Сети 2. Предположим, что если лазурный цвет и сферическая форма встречаются одновременно, то это всегда означает наличие палладия. Однако, если эти характеристики присутствуют поодиночке, это является сильным свидетельством в пользу наличия ванадия. Если не вводить дополнительные узлы, на обеих сетях такое явление будет трудно воспроизвести. Архитектура и Сети 1, и Сети 2 неявно содержит предположение о том, какие связи между характеристиками возможны в реальности. В машинном обучении детей от взрослых отличает именно способность видеть такие неявные предположения.)

На самом деле, ни Сеть 1, ни Сеть 2 не похожи на реальные биологические системы. Однако, судя по всему, имеет смысл предполагать, что работа мозга в каком-то смысле ближе к Сети 2, чем к Сети 1. Сеть 2 быстрая, простая, масштабируемая и хорошо подходит для различения кошек от собак. Естественный отбор приходит к чему-то подобному точно так же, как вода стекает со склона холма.

Кажется, будто в задаче классификации объектов как сияиц или крубов и распределении их по корзинам нет ничего сложного. Но сможете ли вы заметить, что лазурные объекты никогда не светятся в темноте?

Возможно, вы обратите на это внимание, если окажетесь перед двадцатью объектами, которые будут различаться во всём, кроме лазурного цвета, и кто-нибудь выключит свет, и ни один из объектов не засветится. Другими словами, если ситуация будет такова, что не заметить отсутствие свечения в темноте будет почти невозможно. Возможно, когда вы понаблюдаете за всеми этими объектами вместе, ваш мозг сформирует новую подкатегорию и сможет определять характеристику «не светится» внутри этой подкатегории. Но если лазурные объекты будут рассеяны в куче из сотни других сияиц и крубов, то вы, скорее всего, ничего не заметите. Замечать подобные связи между характеристиками трудно и не интуитивно - по сравнению с различением кошек и собак.

Или: «Сократ - человек, все люди смертны, следовательно, Сократ смертен». Как Аристотель узнал, что Сократ был человеком? Ну, у Сократа не было перьев на теле, его ногти были плоскими, он был прямоходящим, говорил на греческом и, в целом, имел человеческую форму и вел себя как человек. И мозг решает — раз и навсегда, — что Сократ является человеком, и делает из этого вывод, что, как и все люди, которых он до этого наблюдал, Сократ тоже смертен. Вопрос о том, насколько ношение одежды связано со смертностью сильнее, чем умение говорить, кажется сложным и не интуитивным. Просто «то, что носит одежду и разговаривает — люди» и «люди смертны».

Существуют ли искажения, связанные с попыткой распределить объекты по категориям раз и навсегда? Разумеется, существуют. Например, читайте статью «Культовая контркультовость».

Продолжение следует…

«Если в лесу падает дерево, и никто этого не слышит, то создаёт ли дерево звук?» Однажды я видел, как из-за этого вопроса разгорелся настоящий спор — совершенно наивный спор, который вообще не имел никакого отношения к берклианскому субъективизму. Просто:

— Оно производит звук, как и любое другое падающее дерево!

— Но что это за звук такой, которого никто не слышит?

Рационалист, скорее всего, разрешил бы этот вопрос так: первый человек под словом «звук» подразумевает акустические вибрации в воздухе, а второй — слуховое переживание в мозге. Если спросить «были ли акустические колебания?» или «было ли слуховое переживание?», ответ достаточно очевиден. Таким образом, оказывается, что весь спор ведётся вокруг определения слова «звук».

Я полагаю, что этот анализ по существу правильный. Давайте примем это за основу и спросим: почему люди спорят друг с другом по такому поводу? Какие явления с точки зрения психологии к этому приводят?

Ключевая идея концепции эвристик и искажений — ошибки часто рассказывают о процессе познания больше, чем правильные ответы. И если люди втягиваются в жаркий спор о том, производит ли звук дерево, падающее в необитаемом лесу, то обычно это считается ошибкой.

О каких особенностях работы разума может говорить такая ошибка?

В «Замаскированных вопросах» я рассказал о задаче классификации сияиц и крубов. В этой задаче Старшая Сортировщица Сьюзен объясняет, что ваша работа — сортировать предметы, поступающие по конвейерной ленте, и складывать синие яйца, или «сияйца» в одну корзину, а красные кубы, или «крубы» — в другую. Как оказывается позже, дело в том, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия, и то, и другое используется в промышленности.

Однако, около 2% синих яйцевидных объектов содержат вместо ванадия палладий. Поэтому, если вы обнаружите синий яйцевидный предмет, содержащий палладий, может быть, следует назвать его «крубом»? Вы ведь собираетесь положить его в корзину для крубов — так почему не называть его «крубом»?

Но при этом, если выключить свет, почти все сияйца будут немного светиться в темноте. И синие яйцевидные объекты, содержащие палладий, будут светиться в темноте с той же вероятностью, как и любые другие синие яйцевидные объекты.

Таким образом, если вы увидите синий яйцевидный объект, содержащий палладий, и спросите: «Это сияйцо?», ответ будет зависеть от того, что вы собираетесь делать с объектом. Если вам нужно выяснить, в какую корзину поместить объект, то вы будете рассуждать о нём, как о крубе. Но если вы спросите: «Если выключить свет, будет ли объект светиться?», то объект стоит рассматривать как сияйцо. В одном случае под вопросом «Это сияйцо?» замаскирован вопрос «В какую корзину его поместить?». В другом случае замаскирован вопрос «Будет ли объект светиться в темноте?».

Предположим, вам попался синий содержащий палладий яйцевидный объект. И вы уже определили, что он еще и мохнатый, мягкий, непрозрачный и светится в темноте.

Теперь вы знаете ответы на все вопросы, у вас есть информация обо всех наблюдаемых характеристиках. Нет ни одного вопроса, за которым смог бы замаскироваться другой вопрос.

Так почему же у кого-то может появиться искушение поспорить о том, действительно ли это сияйцо?

Эта диаграмма из «Нейронных категорий» показывает две нейронные сети, с помощью которых можно получать ответы на вопросы про сияйца и крубы. У Сети 1 есть множество недостатков — она склонна скатываться к хаотичному поведению, в ней могут начаться колебания, при росте этой сети количество соединений растёт пропорционально квадрату числа элементов. Однако, у Сети 1 есть серьезное преимущество перед Сетью 2 — каждый узел первой сети соответствует наблюдаемой характеристике. Если вы пронаблюдаете все наблюдаемые характеристики, зафиксируете значение каждой, то узлов с неопределённым состоянием в сети не останется.

Однако, с другой стороны, если мы будем сравнивать эти две сети и человеческий мозг, то мы заметим, что работа Сети 2 больше похожа на работу мозга, пусть это и довольно условное сходство. Сеть 2 быстрая, простая, масштабируемая. И у неё есть дополнительный узел в центре, состояние которого может оказаться неопределённым даже после того, как мы зафиксировали значения окружающих его узлов.

То есть, даже когда вы знаете, синий это объект или красный, яйцевидный или кубический, мохнатый или гладкий, сияет или нет, содержит ванадий или палладий, остаётся ощущение, что у вас есть вопрос, на который вы так и не получили ответа. Действительно ли это сияйцо?

В повседневной жизни акустические колебания и слуховые переживания сопутствуют друг другу. Однако, в примере про падающее в необитаемом лесу дерево эта связь разрывается. Поэтому даже после того, как вы установили, что упавшее дерево создавало акустические колебания, но не слуховые переживания, вам кажется, что вы так и не получили ответа на вопрос: издавало ли упавшее дерево звук?

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет?

Не забывайте: когда вы смотрите на схему Сети 2, которую я привожу здесь, вы видите алгоритм снаружи. Люди не спрашивают себя: «Должен ли активизироваться центральный узел?» — точно так же, как вы не думаете: «А должен ли возбуждаться нейрон № 12 234 320 242 в моей зрительной коре?»

Чтобы посмотреть на свой мозг «снаружи», вам нужно приложить осознанное усилие. И даже в этом случае вы не видите свой настоящий мозг, вы лишь представляете образы, которые для вас описывает ваш мозг. Я надеюсь, что ваши представления основаны на науке, но в любом случае интроспекция не даёт прямого доступа к структурам нейронных сетей. Поэтому древние греки и не изобрели вычислительную нейробиологию.

Когда вы смотрите на Сеть 2, вы видите её снаружи. Но если посмотреть, как эта нейронная структура ощущается изнутри, представить себя мозгом, который исполняет такой алгоритм, получится, что даже когда вы знаете все характеристики объекта, вы всё равно размышляете: «Это всё-таки сияйцо или нет?»

Воспринимать собственные представления о реальности именно как «представления о реальности» очень сложно, и я сталкивался с людьми, которые никак не могли этому научиться. Ведь нам всем кажется, что наши представления о реальности — это и есть сама реальность. Когда вы смотрите на зеленую кружку, вы не думаете о том, что вы видите картинку, созданную вашей зрительной корой, — хотя на самом деле вы видите именно её — вы просто видите зелёную кружку. Вы думаете: «Ну, да, эта кружка зеленая», а не: «Моя визуальная кора изображает эту кружку как зелёную».

Точно также, когда люди спорят про звук падающего дерева или про то, является ли Плутон планетой, они не видят себя людьми, спорящими должен ли активироваться узел, отвечающий за категоризацию, в их нейронных сетях или нет. Им просто кажется, будто дерево либо издает звук, либо нет.

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет? Разумеется, кто-то скажет, что это спор об определениях. Но это всё равно высказывание с точки зрения Сети 2, потому что это спор о том, с какими наблюдаемыми характеристиками должен быть связан центральный узел. Если бы ваш разум был сконструирован по типу Сети 1, то вы бы не сказали: «Это зависит от того, как вы определяете слово „планета“ ». Вы ответили бы: «Поскольку мы знаем орбиту Плутона, его массу и форму, мы ответили на все вопросы». Более того, если бы вы были разумом, построенным по типу Сети 1, вам бы казалось, что тут в принципе нет никаких неотвеченных вопросов.

Прежде чем подвергать сомнениям свои представления о реальности, нужно понять, что ваш мысленный взор лишь смотрит на ваши представления о реальности — на результат работы мысленного алгоритма, видимый изнутри — а не воспринимает напрямую то, Как На Самом Деле Устроен Мир.

Я полагаю, что люди цепляются за свои представления о реальности не потому, что они считают свои когнитивные алгоритмы абсолютно надежными, а потому, что они не воспринимают свои представления о реальности как результат работы когнитивных алгоритмов, видимый изнутри.

И поэтому всё, что вы попробуете рассказать людям про некорректную работу встроенных когнитивных алгоритмов, люди будут сравнивать со своим прямым восприятием того, Как На Самом Деле Устроен Мир. И отбросят ваши утверждения как очевидно неверные.

Очень многие разговоры ­— даже разговоры о (предположительно) когнитивистике — скатываются в споры об определениях. Если взять в качестве примера классическое «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук?», то ход последующего спора можно представить примерно следующим образом:

Если дерево падает в лесу, и нет никого рядом, чтобы это услышать, — создаёт ли дерево звук?

АЛЬБЕРТ: Разумеется! Что за глупый вопрос? Каждый раз, когда я слышал падение дерева, оно создавало звук, поэтому я считаю, что остальные деревья тоже создают звуки в процессе падения. Я не думаю, что мир ведёт себя по-разному в зависимости от того, смотрю я на него или нет.

БАРРИ: Секундочку! Если никто не может этого услышать, то как это может быть звуком?

В этом примере Барри спорит с Альбертом из-за действительно отличающегося интуитивного понимания того, что представляет из себя звук. Однако, Стандартный Диспут может возникнуть и множеством других путей. У Барри может быть мотив отвергать вывод Альберта. Или Барри может быть скептиком, который, услышав аргумент Альберта, машинально исследовал его на наличие логических ошибок, а затем, найдя контраргумент, автоматически принял его, не запустив второй слой поиска в попытке найти контрконтраргумент, таким образом убедив себя в правоте противоположной позиции. Для этого необязательно, чтобы прежняя интуиция Барри — та интуиция, которую проявил бы Барри, спроси мы его до того, как заговорил Альберт — отличалась от интуиции Альберта.

Ну, в любом случае, даже если интуиция Барри изначально не отличалась от альбертовой, сейчас они точно разнятся.

АЛЬБЕРТ: В смысле? Корни дерева ломаются, ствол начинает валиться и в итоге врезается в землю. Всё это создаёт вибрации, передающиеся по воздуху и через землю. Именно сюда уходит энергия падения: в тепло и звук. Ты хочешь сказать, что если люди ушли из леса, то деревья начинают нарушать закон сохранения энергии?

БАРРИ: Но никто ничего не слышит. Если в лесу нет людей — будем считать, что в лесу нет вообще никаких обладателей нервной системы, достаточно сложной для того, чтобы уметь «слышать» — то никто не слышит звука.

Альберт и Барри более подробно описали мысли, заставившие сработать или не сработать их детекторы «звука», и они ощущают, что завербованные ими аргументы поддерживают их позицию. Но всё же, пока что спор фокусируется на лесе, а не на определениях. И можно заметить, что спорщики, на самом деле, не расходятся во мнениях о том, что происходит в лесу.

АЛЬБЕРТ: Этот спор входит в тройку тупейших споров, в которых я когда-либо участвовал. Ты трясущийся фейчихахуа, замаринованный в запредельном идиотизме.

БАРРИ: Да ну? Это мне говорит человек, по которому видно, что в детстве его часто били по голове сельскохозяйственным инвентарём. Чтобы, видимо, потушить загоревшиеся волосы.

Оскорбление предложено и принято; теперь никто не может отступить, не боясь потерять лицо. Строго говоря, это нельзя назвать частью «спора» в понимании рационалистов, но эта сцена столь важна для развития Стандартного Диспута, что я всё равно решил упомянуть её здесь.

АЛЬБЕРТ: Дерево создаёт акустические вибрации. По определению, это звук.

БАРРИ: Никто ничего не слышит. По определению, это не звук.

Спор уходит в сторону, фокусируясь на определениях — несмотря на то, что довод «по определению» совершенно бессмыслен, когда речь идёт о чём-то приземлённее чистой математики. Важно помнить, что всё, верное «по определению» верно во всех возможных мирах, и поэтому наблюдение справедливости этого факта никогда не сможет сказать тебе, в каком именно мире ты живёшь: оно не ограничивает возможные миры.

АЛЬБЕРТ: Мой компьютер может записать звук — даже когда нет никого рядом, чтобы его услышать — и сохранить это в файл. Такие файлы называются «звуковыми файлами». В файле хранится последовательность колебаний воздуха, а не последовательность возбуждений нейронов чего-либо мозга. «Звук» означает последовательность колебаний.

Альберт отправляет в наступление аргумент, который кажется доводом в пользу того, что слово «звук» имеет определённое значение. Этот вопрос уже не имеет отношения к тому, происходили ли в лесу акустические вибрации. Однако, этот переход обычно остаётся незамеченным.

БАРРИ: Да ну? Давай посмотрим, согласится ли с тобой словарь.

Я увидел много вещей, вызывавших бы у меня любопытство, окажись я в этом сценарии. Можно пойти в лес и посмотреть на деревья, или разобраться в выводе волнового уравнения, касающегося колебаний воздуха, или проанализировать анатомическое строение уха, или изучить принципы работы слуховой коры мозга. Однако вместо того, чтобы заняться чем-либо из этого списка, я должен, очевидно, посоветоваться со словарём. Почему? Неужели словарь составляли профессиональные ботаники, врачи и нейробиологи? Я могу увидеть логику в решении заглянуть в энциклопедию, но причём тут словарь?

АЛЬБЕРТ: Вот! Определение 2c в Мерриэме-Уэбстере: «Звук: физическое явление, вызываемое колебательными движениями частиц воздуха или другой среды»

БАРРИ: Вот! Определение 2b в Мерриэме-Уэбстере: «Звук: чувство, вызываемое воздействием на орган слуха, восприятие слуховых ощущений»

АЛЬБЕРТ И БАРРИ, хором: Дурацкий словарь! Лучше не стало.

Редакторы словарей занимаются историей, а не законотворчеством. Редактор словаря находит используемые сейчас слова и записывает их; затем добавляет то (малую часть того), что, как ему кажется, имеют в виду люди, употребляющие это слово. Если употреблений несколько, то он записывает несколько определений.

АЛЬБЕРТ: Смотри. Предположим, я оставил в лесу микрофон и он записал последовательность акустических вибраций, связанных с падением дерева. Если кто-нибудь прослушает эту запись, он назовёт это «звуком»! Это — общепринятое употребление. Прекрати высасывать из пальца какие-то свои чокнутые определения!

БАРРИ: Во-первых, я могу определить слово так, как мне нравится. Главное — употреблять его последовательно. Во-вторых, моё значение имеется в словаре. В-третьих, кто дал тебе право решать, что можно считать общепринятым употреблением, а что нельзя?

С точки зрения рациональности, Стандартный Диспут кишит ошибками. Часть этих ошибок я уже описал, и часть из них мне ещё предстоит описать; то же самое касается и средств защиты от них.

Но сейчас я хочу лишь обратить ваше внимание на то, что Барри и Альберт, скорее всего, дадут один и тот же ответ на любой вопрос, касающийся вещей, действительно происходящих внутри леса, но всё равно никто из них не чувствует этого согласия. Просто печальное напоминание.

Споры об определениях — ложная тропинка, незаметно ведущая в тупик. Никто не пошёл бы по этой тропинке, если бы знал, куда она ведёт. Если спросить у Альберта (или у Барри), почему он до сих пор участвует в споре, то он бы ответил что-то вроде «этот подлый негодяй Барри (или Альберт) пытается протащить контрабандой своё определение слова «звук», чтобы обосновать своё смехотворное мнение; и мой долг — защитить стандартное определение»

Но представим, что я вернулся назад во времени и успел оказаться рядом с Барри и Альбертом до начала спора.

(Из ниоткуда возникает Элиезер, сидящий внутри своеобразного транспортного средства, очень похожего на машину времени из старого фильма «Машина времени»)

БАРРИ: Боже! Путешественник во времени!

ЭЛИЕЗЕР: Я прибыл к вам из будущего! Внимайте моим словам! Я прошёл долгий путь — около пятнадцати минут — для того, чтобы…

АЛЬБЕРТ: Пятнадцать минут?

ЭЛИЕЗЕР: …для того, чтобы задать вам этот вопрос!

(Немая сцена, пропитанная смесью замешательства и предвкушения)

ЭЛИЕЗЕР: Вы считаете, что слово «звук» должно означать как акустические вибрации (волны давления, передающиеся через физический объект-проводник), так и слуховые впечатления (восприятие кем-то звука)? Или вы считаете, что «звук» нужно определить так, чтобы он означал только лишь акустические вибрации, или только лишь аудиторные переживания?

БАРРИ: Ты вернулся в прошлое, чтобы спросить у нас вот это?

ЭЛИЕЗЕР: Мои мотивы — моё личное дело! Отвечайте!

АЛЬБЕРТ: Эммм… Я не понимаю, почему это должно кого-то беспокоить. Можно выбрать любое определение. Главное, употреблять его последовательно.

БАРРИ: Брось монетку. Точнее, брось монетку дважды.

ЭЛИЕЗЕР: Я считаю, что, в случае возникновения такой проблемы, обе стороны должны взглянуть на происходящее уровнем организации ниже и начать описывать событие, используя более элементарные компоненты: например, акустические вибрации или слуховые впечатления. Или каждая сторона может придумать новое слово — например «алберзаль» или «баргулум» — для того понятия, которое они ранее обозначали словом «звук»; это позволяет обеим сторонам употреблять новые слова последовательно. Таким образом, никому не придётся пойти на уступки или потерять лицо, но при этом возможность успешного обмена информацией сохраняется. Ну и, разумеется, всегда стоит отслеживать, о каком именно утверждении, доступном для проверки опытом, идёт речь. Вы считаете мои предложения разумными?

АЛЬБЕРТ: Видимо, да…

БАРРИ: Зачем мы об этом разговариваем?

ЭЛИЕЗЕР: Чтобы сберечь вашу дружбу пред лицом неожиданной беды, о которой вы — отныне и теперь — никогда не узнаете, ибо будущее уже изменилось!

(Элиезер и машина исчезают в клубах дыма)

БАРРИ: На чём мы остановились?

АЛЬБЕРТ: Секундочку… Вот: «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук?»

БАРРИ: Оно создаёт алберзаль, но не баргулум. Давай дальше.

Этот рецепт не уничтожает каждый диспут о категоризации. Однако, он уничтожает значительную их долю.

Когда я слышу, как кто-то говорит: «Смотрите — бабочка», произнесенные фонемы «бабочка» попадают в мои уши и вибрируют в барабанных перепонках, попадают во внутреннее ухо, «щекочут» нервы, что приводит к активации нейронов слуховой коры. В которой начинается обработка этих фонем — распознавание слов, реконструкция синтаксиса и прочие сложности.

Но в итоге, через несколько мгновений, у меня появится желание взглянуть туда, куда указывает мой друг, и я увижу там визуальный паттерн, который будет интерпретирован как бабочка. И я довольно сильно удивлюсь, если вместо бабочки я увижу волка.

Мой друг смотрит на бабочку, его горло вибрирует, а губы движутся, звуковые волны незримо передаются по воздуху, мои уши слышат, нервы передают и мой мозг распознает и, ну надо же, я понимаю, на что смотрит мой друг. Разве это не чудо? Если бы мы не знали про звуковые волны, то все газеты трубили бы о невероятном открытии — люди владеют телепатией! Человеческие мозги способны передавать мысли друг другу!

Да, мы действительно телепаты. Однако, если магия является обыденностью и все ваши друзья ею тоже владеют, она никому не интересна.

Думаете, телепатия — это просто? Попробуйте собрать компьютер, который будет телепатически общаться с вами. Телепатия или «язык», или как вам будет угодно назвать нашу способность к частичной передаче мыслей, сложнее чем кажется.

Однако, было бы довольно неудобно думать что-то вроде: «Сейчас я преобразую часть моих мыслей в линейную последовательность фонем, которые вызовут похожие мысли у моего партнёра по диалогу…»

Поэтому мозг прячет от нас сложность, точнее даже вовсе её не показывает. И это приводит к тому, что у людей появляется странное представление о словах.

Как я отметил ранее, когда большой желтый и полосатый объект кидается на меня, я думаю: «А-а-а! Тигр!», а не «Так… Объект с характеристиками огромности, желтости и полосатости был ранее отмечен как обладающий еще и характеристиками «голодный» и «опасный», следовательно, хотя логически это и не выводимо, а-а-а… ХРУМ-ХРУМ-ХРУМ».

Точно также естественный отбор не станет содействовать организму, который, услышав: «А-а-а! Тигр!», будет думать: «Так… Я только что услышал «Ти» и «гр», которые у моих соплеменников ассоциируются с их внутренними аналогами моего концепта «тигр», и они, скорее всего, склонны издавать эти звуки, заметив объект, который они классифицируют как а-а-а-и-и-и-и ХРУМ-ХРУМ помогите он откусил мне руку ХРУМ-ХРУМ».

Можно рассматривать это как проектное ограничение когнитивной архитектуры у людей — любому хотелось бы, чтобы у него не было лишних шагов между распознаванием слуховой корой звуков «тигр» и активацией концепта тигра.

Вернёмся к притче о сияйцах и крубах и к централизованной сети, которая быстро и легко распределяет объекты по категориям. Можно представить себе прямую связь между узлом, который распознаёт слово «сияйцо», и узлом в центре сети. Центральный узел — понятие сияйца — активируется почти сразу же, как Старшая Сортировщица Сьюзен говорит: «Сияйцо!»

Или в целях передачи информации — на что тоже не должна уходить вечность — как только вы видите синюю штуку в форме яйца, и центральный узел «сияйцо» возбуждается, вы кричите Сьюзен: «Сияйцо!»

И изнутри этот алгоритм ощущается так, как будто ярлык и понятие очень тесно связаны. Смысл кажется неким свойством, присущим самому слову.

Знатоки распознают в этом ещё один частный случай «ошибки проецирования ума» по Э. Т. Джейнсу. Нам кажется, будто у слова есть смысл, и этот смысл — свойство самого слова, точно так же, как краснота — свойство красного яблока, а таинственность — свойство таинственного явления.

Более того, в большинстве случаев мозг не проводит границу между словом и его значением — разве что при изучении нового языка он позаботится отделить одно от другого. И даже тогда, если вы увидите, как Сьюзен указывает на синий яйцевидный предмет и говорит «Сияйцо!», вы подумаете: «Интересно, что значит „сияйцо“?», а не «Интересно, какую мысленную категорию Сьюзен связывает со звуковым ярлыком „сияйцо“?».

Рассмотрим в свете этого ту часть стандартного спора об определениях, где две стороны спорят о том, что на самом деле означает слово «звук». Точно также они могли бы спорить о том, красного или зелёного цвета одно конкретное яблоко.

Альберт:
— Микрофон моего компьютера может записать звук, даже когда рядом нет никого, кто мог бы его услышать, сохранить его в файл, и этот файл будет называться «звуковым». И то, что сохранено в файле — это последовательность вибраций воздуха, а не последовательность возбуждения нейронов в чьём-то мозгу. «Звук» — это последовательность вибраций.

Барри:
— Что, серьёзно? А давай посмотрим, что словарь скажет по этому поводу?

Альберт интуитивно чувствует, что у слова «звук» есть смысл, и этот смысл — акустические вибрации. А ещё он чувствует, что дерево, падающее в лесу, производит звук (а не становится причиной явления, попадающего в категорию «звук»).

Барри, в свою очередь, ощущает, что

звук.смысл == слуховые переживания
лес.звук == неверно

А не:

мойМозг.НайтиПонятие("звук") == понятие_СлуховоеПереживание
понятие_СлуховоеПереживание.совпадение(лес) == неверно

Хотя последнее гораздо ближе к тому, что на самом деле происходит. Однако, эволюция не готовила людей к этому знанию, во всяком случае, не больше, чем к инстинктивному знанию о том, что мозг состоит из нейронов.

Противоречащие друг другу интуитивные представления Альберта и Барри подливают масла в огонь дискуссии, уже дошедшей до того, что они спорят о том, что значит слово «звук». И им кажется, что они спорят о факте, не отличающемся от любого другого факта, и этот спор ничем не отличается от, например, спора, является ли небо голубым или зелёным.

Вы можете даже не заметить, что забрели совсем не туда, пока не попытаетесь исполнить рационалистский ритуал: предложить проверяемый эксперимент, результат которого зависит от фактов, о которых вы так горячо спорите…

«Стандартный спор об определениях» иногда содержит примерно такой фрагмент:

Альберт:
— Предположим, я оставил в лесу микрофон и записал последовательность акустических вибраций от падающего дерева. Если я проиграю кому-нибудь запись, они скажут, что на записи «звук». Традиционно это слово понимается именно так! И не надо тут выдумывать всякие ненормальные определения!

Барри:
— Во-первых, я могу определять значение слова так, как мне угодно, главное, что я использую его последовательно. Во-вторых, значение, которое я в него вкладываю, есть в словаре. В-третьих, кто дал вам право решать, какое понимание слова соответствует традиции, а какое — нет?

Само понятие традиционного понимания слова всплывает не во всех спорах об определениях. По-моему, чаще всего люди берут в руки словарь, потому что считают, что у слов есть смысл и что словарь прилежно фиксирует, какой именно. Некоторые люди, судя по всему, даже верят, что словарь определяет смысл слов и составители словаря для этих людей — это законодатели языка. Может быть, это потому, что в начальной школе учитель — авторитет для них в то время — сказал им, что они должны подчиняться словарю? И с тех пор они считают, что это обязательное к исполнению правило?

Составители словарей читают то, что пишут другие люди, и фиксируют, что эти слова, судя по всему, означают. Они — историки. Оксфордский словарь может исчерпывающе описывать лексику английского языка, но он не имеет силы закона.

Но разве не существует социального императива, предписывающего нам использовать слова в том смысле, в котором они обычно понимаются? Разве наша человеческая телепатия, наша драгоценная сила языка, не требует всеобщей слаженности усилий? Быть может, нам добровольно следует относиться к редакторам словарей, как к верховным судьям, — даже если они предпочитают считать себя историками, — просто чтобы поддерживать молчаливое соглашение, от которого зависит вся речь.

Словосочетание «авторитетный словарь» некорректно почти во всех случаях. Как пример исключения можно упомянуть «Официальный словарь терминов стандартов IEEE»1. Членам IEEE необходимо достигать чёткого соглашения о терминах и определениях, они решают вопросы голосованием, и потому «Официальный словарь терминов стандартов IEEE» — это настоящий закон, авторитет которого поддерживается авторитетом IEEE.

В отличии от IEEE, в обычной жизни язык возникает не в результате обдуманного соглашения. Скорее, он больше похож на инфекцию — кто-то придумывает слово, а потом оно растворяется в культуре. (Кто-нибудь мог бы вспомнить слово «мем», предложенное Ричардом Докинзом тридцать лет назад. Но вы и так уже поняли, о чём я тут пишу. Если же нет, можете воспользоваться Гуглом и тоже заразиться этим словом.)

И тем не менее, как показывает пример IEEE, соглашение относительно используемого языка тоже может быть совместно созданным общественным благом. Если мы желаем обменяться мыслями посредством языка, человеческой телепатии, то использование одного и того же слова для схожих концептов — в наших общих интересах. (Конечно, предпочтительней, если эти концепты будут схожи с точностью до предела разрешения нашего мысленного представления.) При этом у нас может не быть никаких общих интересов использовать какое-то конкретное слово.

С точки зрения общих интересов, не слишком важно, используем ли мы слово «ото» для обозначения звука или «звук» для обозначения ото. Однако, в наших общих интересах использовать одно и то же слово, каким бы оно ни было. (Предпочтительно, чтобы часто употребляемые слова были короткими, но не будем пока углубляться в теорию информации).

Использование одинаковых ярлыков для размышлений — тоже в общих интересах, но острой необходимости в этом нет. Так просто удобней. Если я знаю, что «ото» для вас означает «звук» (то есть, вы ассоциируете слово «ото» с концептом, который очень похож на тот, с которым я ассоциирую слово «звук»), то я могу сказать: «При сминании бумага издаёт хрустящий ото». Для этого мне придется приложить лишь чуть больше усилий.

Точно также, если вы скажете: «Какую трость создаёт упавший на пол шар для боулинга?» и я знаю, какой концепт у вас связан с фонемами «трость», то я смогу понять, что вы подразумевали. Возможно, мне придётся на некоторое время задуматься, потому что обычно слово «трость» у меня связано с другим концептом. Но я вполне неплохо всё пойму.

Желающих пообщаться людей трудно остановить! Даже оказавшись на необитаемом острове без общего языка, мы можем взять в руки палки и общаться с помощью изображений на песке.

Альберт, используя «аргумент к традиционному пониманию», подразумевает, что соглашение о языке является совместно установленным общественным благом. Тем не менее, единственная цель Альберта в этот момент — в полемических целях обвинить Барри в нарушении соглашения и угрозе общему благу. Спор о падающем дереве больше не сводится к ботанике или семантике. Теперь это политический спор. И Барри в ответ оспаривает право Альберта устанавливать определения.

Владеющий навыком «ухватить задачу» рационалист заметит, что спорщики сильно отклонились от темы разговора.

Уважаемый читатель, неужели это всё действительно необходимо? Ведь Альберт знает, что Барри подразумевает под «звуком». Барри знает, что Альберт подразумевает под «звуком». Оба они знают о словосочетаниях «акустические вибрации» и «слуховые переживания», и каждое из этих словосочетаний у обоих связано с одним и тем же концептом, и эти концепты, в свою очередь, описывают происходящие в лесу события без каких-либо двусмысленностей. Если бы Альберт и Барри попали на необитаемый остров и попытались бы обменяться информацией, у них не возникло бы проблем.

Метод ведения дискуссии, при котором обе стороны знают, что хочет сказать оппонент, и одновременно обвиняют друг друга в предательстве общего блага (которое состоит в отказе от «традиционного понимания»), очевидно, не слишком эффективен для коммуникации. А ведь весь смысл одинакового использования одинаковых слов состоит именно в том, чтобы успешно передавать информацию.

Так зачем же спорить о значении слов? Если проблема заключается лишь в конфликте имён, который разросся до невиданных масштабов, если речь только о том, что два разных понятия оказались названы одним словом, то обеим сторонам нужно лишь придумать два новых слова и последовательно их использовать.

Однако, процессу классификации часто сопутствуют скрытые умозаключения и замаскированные вопросы. Атеизм — это «религия»? Если кто-то доказывает, что в атеизме используются рассуждения, схожие с теми, что используются в иудаизме, или что атеизм провоцирует насилие в таких же количествах, что и ислам, то у этого человека есть очевидный мотив запихать всё, что ему кажется общим, в размытое понятие «веры».

Или рассмотрим спор о том, должны ли «чёрные» и «белые» принадлежать к одной категории «люди». Здесь нет смысла придумывать два новых слова, ведь обсуждается именно идея, что между ними с точки зрения морали не следует проводить границу.

Однако, когда решается эмпирический или моральный вопрос, апеллировать к традиционному пониманию слова уже нельзя.

Если мы решаем, как объединять схожие объекты, чтобы потом получить некий вывод, то наш итоговый эмпирический ответ будет зависеть от того, как и что мы объединили. А это означает, что определения могут быть неверными. На основании разных определений мы сделаем разные предсказания. И нельзя голосованием решить, какое из них правильное.

Если для какого-то эмпирического вывода вам нужно понять, стоит ли объединять в одну группу атеизм и религии с верой в сверхъестественное, то вы не найдете ответ в словаре.

И если вы хотите понять, являются ли чернокожие людьми, вы не найдете ответ в словаре.

Ведь если все будут верить, что красная точка на ночном небе — это Марс, Бог Войны, словарь будет определять «Марс», как «Бог Войны». Если все будут верить, что огонь — это высвобождение флогистона, то словарь и будет определять «огонь» как «высвобождение флогистона».

Использование слов — это своего рода искусство. Даже когда определения не являются в буквальном смысле истинными или ложными, они могут быть более умными или более дурацкими. Составители словарей всего лишь историки, описывающие, как слова употреблялись в прошлом. Если вы будете смотреть на них, как на верховных судей, определяющих смыслы слов, это привяжет вас к мудрости прошлого и лишит возможности стать лучше.

Однако, отступив от мудрости прошлого, постарайтесь убедиться, что люди смогут догадаться, о чём вы плывёте.

• 1. «Официальный словарь» в этом названии в оригинале тоже пишется как «authoritative dictionary» — «авторитетный словарь». — Прим.перев.

Давайте рассмотрим (да, опять) аристотелевскую идею категорий. Предположим, у нас есть объект со свойствами A, B, C, D, и E (ну или по крайней мере он выглядит похожим на Е).

Фред: Ты имеешь ввиду вон ту штуку синего цвета, круглую, пушистую и…

Я: В рамках аристотелевской логики конкретные свойства или их названия не важны. Поэтому я просто использую буквы.

Далее, я выдумываю аристотелевскую категорию «зава», описывающую все те и только те объекты, у которых есть свойства A, C, и D.

Я: У объекта 1 есть свойства зава, В и Е.

Фред: А еще он синий, то есть А, так ведь?

Я: Когда я говорю, что у него есть свойство зава, это подразумевается.

Фред: Да, но я все же хочу, чтобы ты упомянул это в явной форме.

Я: Хорошо. У объекта 1 есть свойства А, В, зава и Е.

Теперь я ввожу новое слово «юки», которое описывает те и только те объекты, которые обладают свойствами В и Е. И слово «зиппо», описывающее те и только те объекты, которые обладают свойством Е, но не свойством D.

Я: Объект 1 — зава и юки, но не зиппо.

Фред: Подожди, он ведь светится? Я имею ввиду — он же Е?

Я: Да. С учетом имеющейся информации, иначе и быть не может.

Фред: Я бы предпочёл, чтобы ты проговаривал такие вещи.

Я: Ладно. Объект 1 — А, зава, В, юки, C, D, E, но не зиппо.

Фред: Потрясающе! И это все можно понять, просто посмотрев на объект?

Впечатляет, правда? Давайте введем больше слов. «Боло» — А, С и юки. «Мун» — А, С и зиппо. И «мерлакдониан» — боло и мун.

Кажется бессмысленно запутанным? Я тоже так думаю. Давайте заменим ярлыки на определения.

«Зава, В и Е» превращается в [A, C, D], B, E.

«Боло и А» превращается в [A, C, [B, E]], A.

«Мерлакдониан» превращается в [A, C, [B, E]], [A, C, [E, ~D]].

Важно помнить: аристотелевская идея категорий подразумевает, что [A, C, D] — это вся информация о «зава». Я могу не только использовать любой ярлык, но и прекрасно обойдусь совсем без ярлыков — правила, регулирующие аристотелевские классы, замечательно работают и для структур вроде [A, C, D]. Использование ярлыка «зава» или какого-либо другого нужно лишь для нашего удобства (или неудобства), а для правил никакой разницы нет.

Предположим, что «человек» определяется как «двуногое смертное существо без перьев». В таком случае классический силлогизм будет выглядеть так:

Все [смертные, ~оперенные, двуногие] смертны.

Сократ — [смертный, ~оперенный, двуногий].

Следовательно, Сократ смертен.

Теперь этот приём выглядит не так впечатляюще, не правда ли?

Ярлыки здесь скрывают посылки, и благодаря этому создаётся иллюзия, что мы получили какой-то нетривиальный вывод. Если мы заменяем ярлыки определениями, то мы видим эту иллюзию и понимаем эмпирическую бесполезность тавтологии. Нельзя утверждать, что Сократ [смертный, ~оперенный, двуногий], не пронаблюдав его смертность.

Существует идея (которую, как вы, наверное, заметили, я ненавижу): «вы можете определять слова как вам угодно». Эта идея происходит от аристотелевских категорий. Действительно, если вы будете строго и безошибочно следовать правилам Аристотеля - люди никогда так не делают, Аристотель прекрасно знал, что Сократ был человеком, хотя из его правил это никак не вытекало, - но если какая-то воображаемая нечеловеческая сущность будет строго следовать этим правилам, она никогда не придёт к противоречию. Она вообще ни к чему не придёт, она тоже не сможет сказать, что Сократ [смертный, ~оперенный, двуногий], не пронаблюдав его смертность.

В рамках аристотелевской системы ярлыки произвольны. Однако, я хочу сказать не столько об этом, сколько о том, что аристотелевская система замечательно работает и вовсе без ярлыков. Она выдаёт точно такой же поток тавтологий, просто эти тавтологии выглядят гораздо менее впечатляюще. Ярлыки нужны лишь для создания иллюзии нетривиального вывода.

Поэтому, если вы желаете ввести какую-то поговорку в аристотелевском духе, то она должна звучать не как «Я могу определять слова как захочу» или «Процесс определения слова не имеет последствий», а скорее как «Определения не нуждаются в словах».

По правилам игры «Табу» от Hasbro необходимо помочь партнёру угадать слово, напечатанное на карточке, не произнеся при этом ни самого слова, ни ещё пяти дополнительных, напечатанных на карточке. Например, как бы вы объяснили слово «бейсбол», не используя слов «спорт», «бита», «удар», «подача», «база» (и, разумеется, «бейсбол»)?

Попав в такую ситуацию я бы, ни секунды не задумываясь, сказал «искусственный групповой конфликт, в котором нужно шарахнуть продолговатым деревянным цилиндром по брошенному сфероиду и затем пробежаться по четырём безопасным позициям». Можно, конечно, найти и более эффективный способ передать слово «бейсбол» без нарушения правил игры, например — «То, во что играют Янкис»1. Вообще, навык исключения отдельных слов из собственных мыслей я развивал много лет и не для игры.

В предыдущем эссе было видно, как раскрытие определений на месте соответствующих слов позволяет выявить эмпирическую непродуктивность классического аристотелевского силлогизма: «Все люди смертны (и, по-видимому, двуногие без перьев). Сократ — человек. Следовательно, Сократ смертен». Если заменить здесь слово «человек» его мнимым определением, то выявится подразумеваемая цепочка заключений:

Все [смертные, ~пернатые, двуногие] смертны.
Сократ — [смертный, ~пернатый, двуногий].
Следовательно, Сократ смертен.

Принцип замены слов их определениями можно применять гораздо более широко:

АЛЬБЕРТ: Дерево, падающее в пустом лесу, создаёт звук.
БАРРИ: Дерево, падающее в пустом лесу, не создаёт звука.2

Поскольку один говорит «звук», а другой «~звук», то мы явно нашли противоречие, верно? Но представим, что было бы, если бы собеседники сначала разыменовали указатели3:

АЛЬБЕРТ: Дерево, падающее в пустом лесу, удовлетворяет [проверка принадлежности: это событие порождает акустические вибрации].
БАРРИ: Дерево, падающее в пустом лесу, не удовлетворяет [проверка принадлежности: это событие порождает слуховые впечатления].

Теперь мнимое противоречие исчезло и для этого было достаточно всего лишь запретить использовать слово «звук». В случае, если разногласия возникнут вокруг термина «акустические вибрации», можно табуировать и его, заменив на «волны давления, распространяющиеся в физической среде». При необходимости можно наложить табу на слово «волна» и заменить его волновым уравнением. Если затабуировать «слуховые впечатления», то получим «форма обработки сенсорной информации человеческим мозгом, принимающая на вход временной ряд смешанных частот».

Спор вокруг силлогизма можно переформулировать следующим образом:

АЛЬБЕРТ: Сократ входит в категорию [проверка принадлежности: эта личность погибнет, выпив настойку болиголова].
БАРРИ: Сократ входит в категорию [проверка принадлежности: эта личность не погибнет, выпив настойку болиголова].

Видно, что ожидания Альберта и Барри существенно расходятся: спорщики ожидают наблюдать различные события после того, как Сократ выпьет настойку болиголова. Этого противоречия сложно было бы заметить, если бы оба они использовали общее слово «человек», подразумевая под ним каждый своё.

В зависимости от того, за чем следить в диалоге: за ярлыками (Альберт говорит «звук», Барри говорит «не звук»), либо за испытаниями (Альберт предложил проверку на акустические вибрации, Барри предложил проверку на слуховые впечатления), можно прийти к сильно различающимся выводам по поводу того, с чем спорщики согласны и не согласны между собой.

Если на конгрессе так называемых футурологов спросить, появится ли искусственный интеллект в ближайшие тридцать лет, то, я думаю, по крайней мере половина из них ответит утвердительно. Без дополнительного регулирования они разойдутся довольные собой и достигнутым консенсусом. Однако стоит лишь наложить табу на термин «искусственный интеллект» (а так же на слова «компьютеры», «мыслить» и прочее), а после поинтересоваться, что именно они ожидают увидеть — и, вполне возможно, обнаружится конфликт ожиданий, скрывавшийся под неприметным привычным словом. Шейн Легг4, например, собрал 71 определение слову «интеллект».

Иллюзию согласия между различными религиями можно рассеять, наложив табу на слово «Бог» и попросив верующих объяснить, в чём именно состоят их убеждения, либо наложив табу на слово «вера» и попросив верующих объяснить, почему они носят свои убеждения. Правда, большинство не сможет хоть чего-нибудь ответить вообще: большая часть их убеждений — всего лишь провозглашения, а аудиозапись можно разглядывать хоть под микроскопом, но не найти при этом разъяснения терминов.

Столкнувшись с философскими трудностями, старайтесь не бросаться выяснять определения спорных терминов, а пытайтесь мыслить не используя вообще ни этих терминов, ни их синонимов. Старайтесь так же не изобрести случайно какого-нибудь слова на замену табуированным. Описывайте внешние наблюдения и внутренние механизмы — недостаточно оперировать идентификатором, каким бы он ни был.

Альберт считает, что люди обладают «свободой воли». Барри считает, что люди не обладают «свободой воли». Ну что же, тут явно назревает мнимый спор. Большинство философов посоветовали бы Альберту и Барри постараться как можно точнее определить, что именно они называют «свободой воли», что привело бы разговор в плоскость, в которой они сами готовы рассуждать часами. Я бы посоветовал Альберту и Барри описать, каким именно качеством, по их мнению, обладают (либо не обладают) люди, вообще не используя при этом слов «свобода воли». Попробуйте проделать это в качестве домашнего задания, исключив так же слова «выбирать», «действовать», «решать», «предопределено», «ответственность», а так же их синонимов.

Табуирование — один из множества нестандартных приёмов в моём арсенале, и, по моему скромному мнению, этот приём работает намного лучше стандартного. Хоть он и более энергозатратен, зато полностью себя окупает.

• 1. Известный американский бейсбольный клуб, см. https://ru.wikipedia.org/wiki/Нью-Йорк_Янкис — Здесь и далее примечания переводчика.
• 2. Спорщики Альберт и Барри впервые появляются в эссе https://lesswrong.ru/w/Спорыобопределениях
• 3. Юдковский ссылается на понятие из программирования, когда в некой переменной X(«указателе»), содержится адрес ячейки в памяти, в которой содержится значение некой переменной Y, и для того, чтобы оперировать значением переменной Y, необходимо сначала «разыменовать» указатель X — получить по адресу памяти значение переменной Y. См. https://ru.wikipedia.org/wiki/Указатель(типданных)
• 4. Шейн Легг — исследователь искусственного интеллекта, В 2010 г. основал компанию DeepMind, см. https://ru.wikipedia.org/wiki/DeepMind

Что нужно, чтобы (как в предыдущем эссе) воспринимать «бейсбол» как «искусственный групповой конфликт, в котором вы длинным деревянным цилиндром наносите удары по брошенному сфероиду и затем перебегаете между четырьмя безопасными позициями»? Что нужно, чтобы играть в рационалистскую версию «Табу», цель которой не вспомнить синоним, которого нет на карточке, а придумать, как описать явление, не используя привычных концептов в качестве костылей?

Нужно визуализировать. Заставлять свой внутренний взор воспринимать детали так, будто вы их видите впервые. Необходимо смотреть cвежим взглядом.

Это «бита»? Нет, это длинный, округлый, конусообразный, деревянный стержень, сужающийся у одного конца так, чтобы человек мог ухватить его и махнуть им.

Это «мяч»? Нет, это покрытый кожей сфероид, покрытый симметричным узором стежков, твердый, но не как металл. Его можно взять в руку и бросить, или ударить деревянным стрежнем, или поймать.

Это «базы»? Нет, это фиксированные позиции на игровом поле, которые игроки стараются достигнуть как можно быстрей из-за их «безопасности» в рамках искусственных правил игры.

Больше всего свежему взгляду мешает то, что у вашего разума уже есть готовые короткие обобщения в виде удобных простых концептов. Вроде «бейсбола», «биты», «базы». Нужны сознательные усилия, чтобы не дать разуму соскользнуть на привычную дорожку, легкий путь наименьшего сопротивления, где мелкое невыразительное слово врывается и смывает все детали, которые вы стараетесь увидеть. Слово само по себе может нести в себе разрушительную силу ярлыков и яд кешированных мыслей.

Табуирование — способность описывать без использования привычных указателей/ярлыков/инструментов — одна из фундаментальных способностей рационалиста. Она находится на том же базовом уровне, что и привычка постоянно задавать вопросы: «Почему?» или «Какие ожидания порождает это убеждение?».

Это искусство тесно связано с:

• Прагматизмом. Табуирование лучше помогает сосредоточить внимание на ожиданиях, чем обычное проговаривание убеждений.
• Редукционизмом. Табуирование заставляет вас обращать внимание на то, как устроен рассматриваемый объект или явление на более низком уровне. Вы обращаете внимание на части, а не скользите взглядом по целому.
• Умением «ухватить задачу». Слова часто отвлекают от вопроса, который вы хотите задать на самом деле.
• Избеганием кешированных мыслей, которые заполняют разум при использовании привычных слов. Табуирование привычных слов позволяет с этим справиться.
• С правилом писателей «показывай, а не рассказывай», уважаемому рационалистами.
• И умением не терять из виду исходную цель.

Как табуирование помогает не терять из виду цель?

Из «Потерянных целей»:

Прямо сейчас, когда вы читаете эти строки, какой-нибудь студент сидит за партой в университете и старательно изучает материал, который ему сам по себе не интересен и который, по его мнению, ему никогда не пригодится. Студенту нужна высокооплачиваемая работа, а для неё требуется «корочка», а для получения «корочки» требуется степень магистра, а до степени магистра нужно получить степень бакалавра, а университет, который предлагает степень бакалавра, требует, чтобы для её получения вы посетили занятия по узорам вязания двенадцатого века. И студент прилежно изучает эти узоры. Он планирует забыть про них сразу же после сдачи экзамена, но тем не менее всерьёз возится с ними, потому что ему очень нужна «корочка».

Зачем вы ходите в «школу»? Чтобы получить «образование» и в конце концов «степень». Забудьте слова в кавычках и их синонимы, представьте все детали из реального мира, и, скорее всего, вы заметите, что «школа», судя по всему, — это совместное сидение в помещении вместе со скучающими подростками и выслушивание материала, который вы и так знаете. «Степень» окажется бумагой с какими-то написанными словами, а «образование» — забыванием материала сразу же после экзамена.

Классификация часто приводит к дырявым обобщениям. Например, те, кто действительно чему-то учатся в классе, попадают в категорию «получающие образование», поэтому «получение образования» считается чем-то хорошим. Однако, потом любой, кто оказывается в колледже, оказывается в категории «получающий образование», независимо от того, учится он чему-то или нет.

Ученики, которые понимают математику, прекрасно справятся с тестами. Однако, если поставить школе цель готовить людей, которые получают в тестах высокие баллы, ученики потратят всё своё время на подготовку к тестам. Если ваша цель попадёт в неправильную мысленную категорию, это может привести к появлению такого же неправильного стимула. Вы хотите учиться, поэтому вам нужно «образование», и пока вы занимаетесь чем-то, что попадает в категорию «образование», вы можете не замечать, учитесь вы или нет. Вы также можете заметить, что вы не узнаёте ничего нового, но не осознать, что вы уже забыли про изначальную цель, потому что вы «получаете образование», а ваша цель у вас в голове описана именно так.

Категоризировать — выбрасывать информацию. Если вам скажут, что упавшее дерево издало «звук», вы не узнаете, что это был за звук — вы не слышали, как это дерево падало. Если монета выпала «орлом», вы не знаете, как она оказалась ориентированной на плоскости. Синяя яйцеобразная штука может быть «сияйцом», но какого именно оттенка синего и какой именно формы она? Классификацию используют для отбрасывания не релевантной информации, для отделения золота от песка, но часто получается, что привычная классификация отбрасывает и релевантную информацию тоже. И если вы столкнулись с такой проблемой, первым и лучшим решением будет сыграть в рациональное «табу».

Например, «сыграть в ”табу”» — само по себе дырявое обобщение. Версия от Hasbro — это не то же самое, что и версия рационалистов: для того, чтобы исключить мышление привычными словами, недостаточно исключить лишь пять синонимов, написанных на карточке. «Табу» рационалистов оказывается внутри границ концепта «игра в ”табу”», но не все, что находится внутри этих границ, позволяет посмотреть на мир свежим взглядом. Если вы просто будете «играть в ”табу” ради свежего взгляда», то начнёте думать, что все, что считается игрой в «табу», может считаться свежим взглядом.

«Табу» по версии рационалистов — это не игра. Вы не сможете здесь схитрить или обойти правила. Вам придется добровольно ограничить себя: перестать использовать и те синонимы, которых нет на карточке. Вам так же придется останавливать себя, когда вы попытаетесь придумать новое простое слово или фразу, которые будут играть ту же роль умственных костылей, что и старые привычные слова. Вы стараетесь увидеть больше деталей на карте, а не переименовывать города, разыменовать указатель, а не ввести новый, увидеть события такими, какие они есть, а не переписать клише о них другими словами.

Рассмотрев задачу во всех деталях, вы сможете увидеть потерянную цель. Чем вы на самом деле занимаетесь, играя в «табу»? Для чего нужна каждая из частей процесса?

Если вы посмотрите на ваши действия, как будто вы смотрите на них первый раз, то сможете увидеть свежим взглядом и ваши цели. Если вы сможете посмотреть на себя по-новому, то увидите, что вы занимаетесь чем-то, что вас вряд ли привлекло бы, если бы не успело войти в привычку.

Цель теряется из виду, как только суть (обучение, знания, здоровье) заменяется на символ (степень, тестовые баллы, медобслуживание). Чтобы заново найти потерянную цель или избавиться от дырявого обобщения, вам нужно сделать наоборот.

Замените символ на суть. Замените знак на то, что он обозначает. Замените свойство проверкой принадлежности. Замените слово на его смысл. Замените ярлык на концепт. Замените конспект на детали. Замените вспомогательный вопрос на основной. Разыменуйте указатель. Перейдите на нижний уровень организации. Смоделируйте процесс в уме, а не просто произнесите его название. Увеличьте масштаб на вашей карте.

«Простая истина» получилась благодаря табуированию слова «истина». Я описал смысл этого слова на более низком уровне без привлечения слов вроде: «точный», «корректный», «представляет», «отражает», «семантика», «убеждение», «знание», «карта», «настоящий». (Помните, цель не в том, чтобы играть в «табу» — слово «истинный» появлялось в том тексте, но не для того, чтобы определить истину. В игре «Табу» от Hasbro это считалось бы ошибкой, но на самом деле мы не играем в эту игру. Спрашивайте себя, выполнил ли свое назначение документ, а не написали ли его в соответствии с правилами.)

Правило Байеса описывает «свидетельство» с помощью чистой математики, без использования слов вроде «подразумевает», «означает», «поддерживает», «доказывает», или «оправдывает». Если вы попробуете определить подобные философские термины, вы лишь начнёте ходить по кругу.

И есть слово, которое табуировать важнее всего. Я неоднократно предупреждал, что им не стоит злоупотреблять. В некоторых случаях даже следует избегать этого понятия. И теперь вы знаете, почему. Размышлять об этом предмете вполне можно. Но истинное его понимание определяется вашей способностью описать, что вы делаете и почему — без использования этого слова и его синонимов.

Есть известное высказывание: «Карта — это не территория». Единственная точная на 100% карта Калифорнии в натуральную величину с сохранением всех деталей на уровне атомов — это сама Калифорния. Однако в Калифорнии есть некоторые важные повторяющиеся детали — например, шоссе, — которые можно описать, используя значительно меньше информации (не говоря уже о физической материи для хранения этой информации), чем потребовалось бы для описания каждого атома в пределах границ штата. Поэтому есть и другое высказывание: «Карта — это не территория, но территорию нельзя сложить и убрать в бардачок».

На бумажной карте Калифорнии в масштабе «в 1 сантиметре 10 километров» (1:1000000) недостаточно места для того, чтобы показать точное расположение двух опавших листьев, лежащих на тротуаре в сантиметре друг от друга. Даже если карта попытается показать листья, листья будут отображаться одной и той же точкой на карте. Точнее, карте потребуется разрешение в 10 нанометров, что гораздо меньше доступного для подавляющего большинства типографий, не говоря уже о человеческих глазах.

Реальность очень велика. Даже видимая для нас часть реальности — это миллиарды световых лет. Но ваша карта реальности записана на полутора килограммах нейронов, упакованных так, чтобы поместиться внутри черепной коробки. Не хочу никого обидеть, но по сравнению с реальностью ваш череп — очень крохотный.

И поэтому совершенно неизбежно некоторые объекты, которые в реальности различны, оказываются на вашей карте сжатыми в одну точку.

Но изнутри это ощущается не как: «Ого, посмотрите-ка, я сжимаю два объекта в одну точку на моей карте». Это ощущается, словно существует лишь один объект и вы непосредственно его и наблюдаете.

Достаточно маленький ребенок или достаточно древний греческий философ не знают про такие штуки, как «акустические вибрации» или «слуховые переживания». И, когда дерево упадет, будет лишь одно — единственное событие, называемое «звуком».

Осознание того, что точка на вашей карте скрывает два различных явления, по сути — научная задача. Огромная сложная научная задача.

Иногда ошибки сжатия случаются из-за путаницы между двумя одинаковыми явлениями, называющимися одним словом. Вы знаете про акустические вибрации и про работу слуховых отделов мозга, но называете их одним словом — «звук», и запутываете себя. Но более опасная ошибка сжатия возникает в тех случаях, когда вы даже не подозреваете, что в вопросе могут быть замешаны две разные сущности. В вашей голове есть только одна папка, обозначенная «звук», и каждая мысль про «звук» попадает в эту единственную папку. Это не то же самое, что иметь две папки с одним и тем же названием. По умолчанию карта сжата — зачем мозгу создавать две ментальные коробки, когда хватает и одной?

Или вообразите себе книгу детективного жанра, в которой главный герой должен догадаться, что у подозреваемой есть сестра-близнец. Обычная детективная работа героя сведётся лишь к тому, что он заметит, что Кэрол носит красное, что у неё чёрные волосы, что у неё кожаные сандалии. Однако, все эти факты будут о Кэрол. Достаточно легко усомниться в отдельных фактах, вроде НоситКрасное(Кэрол) или ТемныеВолосы(Кэрол). Может ТемныеВолосы(Кэрол) — ложно. Может Кэрол красит волосы. Может быть Шатенка(Кэрол). Но детективу потребуется немало смекалки, чтобы догадаться, что НоситКрасное(Кэрол) и ТемныеВолосы(Кэрол) — тот самый файл «Кэрол» в который попадают все наблюдения, связанные с Кэрол, — должен быть разбит на два отдельных файла. Может быть существуют две Кэрол, и та Кэрол, что носит красное, и та, что с темными волосами — две разные женщины.

Именно так выглядит создание двух различных коробок. И это зачастую требует гениального озарения. Легче ставить под сомнение имеющиеся у себя факты, чем определяющую их онтологию.

В отличие от бумажной карты Калифорнии карта реальности, которая содержится в человеческом мозге, способна динамически расширятся, когда мы вводим более детальные описания объектов. Но изнутри это ощущается не столько как увеличение масштаба, сколько как деление невидимого атома — мы берём один предмет (он ощущается как один) и делим его на два разных.

Часто в результате появляются новые слова, например, «акустические вибрации» и «слуховые переживания» вместо просто «звук». По-видимому, где-то при появлении нового названия и создаётся новая ментальная коробка. Детектив, скорее всего, будет называть одну из подозреваемых «Кэрол-2» или «другая Кэрол», когда догадается, что их двое.

Но расширить собственную карту сложней, чем выдумать названия для новых городов. Необходимо озарение научного уровня, чтобы понять, что такие штуки, как акустические вибрации или слуховые переживания, вообще существуют.

В качестве более современных примеров можно взять слова «интеллект» или «сознание». Нередко встречаются новостные заголовки, кричащие, что ученые «объяснили сознание», просто потому что команда неврологов исследовала электрический ритм в сорок герц, который может быть связан с кросс-модальным переносом сенсорной информации, или ретикулярную активирующую систему, ответственную за бодрствование. Это, конечно, крайности — обычно ошибки менее очевидны, но они одного поля ягоды. Наиболее интересные части «сознания» это рефлективность, самосознание, понимание того, что человек, которого я вижу в отражении зеркала это «я». Это и трудная проблема субъективного опыта, выделенная Чалмерсом. Мы так же обозначаем словом «сознание» и разницу между сном и бодрствованием. Но это разные концепты с одинаковым именем, и соответствующие им явления являются отдельными научными загадками. Можно объяснить бодрствование, не объясняя при этом рефлективность или субъективность.

Ошибки сжатия так же лежат в основе философской техники «заманить и подменить» — вы рассуждаете о сознании, определяя его через способность думать о мышлении, а затем применяете выводы для другого свойства сознания, вроде субъективности. Разумеется, эти явления могут быть одним и тем же, но, чтобы это понять по-настоящему, нужно сначала эти понятия разделить и только потом, благодаря какому-то гениальному озарению, объединить снова.

Расширение карты, как уже говорил — научный вызов. Это часть научного искусства, умения расследовать, как устроен мир. И, разумеется, вам не удастся решить научную задачу, обратившись к словарю, и вы не научитесь исследовать мир с помощью техники «я могу определять слова как мне захочется». Если некий единый объект вызывает у вас замешательство своими многообразными и внутренне противоречивыми свойствами, вполне возможно, что проблема в карте, которая сжимает слишком много в одну точку. В таком случае полезно попробовать разделить их и создать новые ментальные коробки. Это не то же самое, что дать определение единому объекту. Скорее этот процесс запускается, когда вы разбираетесь, как говорить об объекте, не используя привычные ментальные костыли-понятия.

Вот и получается, что увеличение детализации собственной карты связано с рационалистской версией игры Табу и с мудрым использованием слов. Ведь слова часто соответствуют точкам на нашей карте: ярлыкам, которыми мы помечаем наши суждения, и ментальным коробкам, куда мы складываем информацию. Отказ от использования некоего слова — или наоборот создание новых слов — зачастую необходим для расширения карты.

Ваш геном содержит множество генетических вариаций и мутаций. Скорее всего, вы знаете лишь о некоторых из них. Возможно, вы знаете про аллели, которые определяют вашу группу крови: присутствие или отсутствие антигенов А, В и резус-фактора. Если вам будут переливать кровь, содержащую антиген, которого у вас нет, это приведет к аллергической реакции. Этот факт открыл Карл Ландштейнер (вместе со способом определять совместимость групп крови), и в результате стало возможным перелить кровь пациенту, не убив его (Нобелевская премия по медицине 1930 года). Кроме того, если женщина с группой крови А будет беременна ребенком с группой А+, то у нее может развиться аллергия на антиген +. И если у нее будет еще один ребенок с А+, то ей придётся принимать противоаллергенные препараты в ходе беременности или этот ребёнок окажется в опасности. Поэтому люди и узнают про группы друг у друга, прежде чем жениться.

О, и чуть не забыл: люди с группой А — серьезные и изобретательные, а с группой В — сумасбродные и веселые. Люди с группой О — кооперативные и дружелюбные, а с группой АВ — спокойные и владеющие собой. (Можно было бы подумать, что О будет обратным А и В, а АВ будет просто А плюс В, но нет…) Вся эта информация взята из японской теории личности, основанной на группе крови.

Судя по всему, группа крови играет в Японии ту же роль, что и астрологические знаки на Западе. Вплоть до «гороскопов по группе крови» в ежедневных газетах.

Всё это особенно странно, поскольку группы крови никогда не считались чем-то загадочным. Ни в Японии, ни где-то в другом месте. Мы и знаем про них только благодаря Карлу Ландштейнеру. Ни таинственный знахарь, ни почтенный чародей не говорили ни слова про группы крови. Никакие древние пыльные свитки не укутывают упомянутую ошибку аурой старины. Если специалисты-медики завтра признаются, что эти группы были лишь грандиозной мистификацией, то у нас, мирян, не будет ни малейшего свидетельства, доступного невооруженному глазу, чтобы опровергнуть их слова.

Между группами крови не было войн. Не было даже политических конфликтов. Должно быть, стереотипы возникли исключительно из-за существования ярлыков.

Разумеется, кто-то неминуемо скажет, что это история о классификации людей. Случается ли что-нибудь подобное при классификации растений, камней или офисной мебели? Я такого эксперимента не припоминаю, что, конечно, не означает, что его не проводили. (Я ожидаю, что самое сложное при проведении такого эксперимента — создать такой протокол опроса, который минимизировал бы шанс наталкивания испытуемого на мысль, что ярлык очень важен просто потому, что об этом ярлыке его и спрашивают.) И хотя я не собираюсь основываться на воображаемом свидетельстве, я бы предсказал, что такой эксперимент показал бы положительный результат: я бы ожидал, что само по себе введение ярлыков влияет на всё — по крайней мере в умах людей.

Здесь можно вспомнить про кластеры подобия: если вы нарисовали границу вокруг некоторой группы объектов, ваш разум пытается найти сходство между объектами группы. И, к сожалению, человеческий детектор закономерностей иногда находит закономерности даже там, где их нет. Немного избирательной памяти, и слабая отрицательная корреляция может быть принята за сильную положительную.

Можно вспомнить про нейронные алгоритмы: создать имя для набора предметов — все равно что выделить некоторую подсеть для поиска закономерностей между ними.

Можно вспомнить про ошибки сжатия: вещи с одинаковым названием вполне могут очутиться в одной ментальной папке и слиться в одну точку на карте.

А можно вспомнить про безграничную человеческую способность высасывать из пальца любую чепуху и в неё верить. Просто потому что никто не может доказать, что это на самом деле чепуха. Как только вы ввели имя для категории — можно начинать выдумывать. Штука с выбранным именем не обязана быть наблюдаемой. Она не обязана существовать. Она даже не обязана быть логичной.

И нет, такое происходит не только в Японии. Здесь, на Западе, книга под названием «Правильная еда для твоей группы крови» [В оригинале «Eat Right 4 Your Type» - Прим.перев.] стала бестселлером.

Проведение границы в пространстве вещей — совсем небезобидное действие. Возможно, какой-нибудь более правильно спроектированный байесовский ИИ будет в состоянии рассматривать произвольный класс и это не будет влиять на его поведение. Но у нас, людей, такого варианта нет. Для человеческого мозга категории не статичны — если вы о них думаете, они влияют на ваш разум. И это еще одна причина, почему не стоит считать, что вы можете определять слова как вам захочется.

Вчера я рассказал, что в Японии типы крови заняли место астрологии - если твоя кровь 4 группы, например, ты должен быть «спокойным и сдержанным».

Предположим, мы решили ввести новое слово «виггин» для обозначения людей с зелеными глазами и темными волосами…

Зеленоглазый и темноволосый мужчина вошел в ресторан.

«Ха» сказал Дэнни, сидя за столиком неподалеку «Ты это видела? Виггин только что зашел в зал. Чертовы виггины. Все они преступники, если хочешь знать”.

Его сестра Эрда вздохнула «Ты ведь не видел его совершающим преступления, так ведь, Дэнни?»

«Мне и не нужно» ответил Дэнни, достав словарь — «Смотри, в Оксфордском Словаре Английского Языка так и написано «Виггин (1) Человек с зеленым глазами и черными волосами» У него черные волосы и зеленые глаза — он виггин. Ты ведь не станешь спорить в Оксфордским словарем? По определению, черноволосый и зеленоглазый человек — виггин».

«Но ты в открытую назвал его виггином» сказала Эрда. «Нехорошо так говорить о тех, кого ты совсем не знаешь. У тебя недостаточно свидетельств, чтобы утверждать, что он много кетчупа положит в свой бургер или что он в детстве запускал бельчат с помощью резинки».

«Но он же виггин». Терпеливо ответил Дэнни. «У него зеленые глаза и черные волосы, так? Вот увидишь, как только ему принесут заказанный бургер, он потянется за кетчупом”.

Человеческий разум переходит от наблюдаемых характеристик к выводимым посредством слов. В высказывании «Все люди смертны, Сократ человек, следовательно, Сократ смертен» наблюдаемыми характеристиками являются одежда Сократа, речь, используемые им инструменты, человеческая форма тела; классифицируется он как человек; выводимая характеристика — отравляемость болиголовом.

Разумеется, граница между «выводимыми» и «наблюдаемыми» характеристиками размыта. Если вы слышите, как кто-то говорит, то у этого существа, скорее всего, человеческая форма тела, при всех прочих равных. И, если вы видите человеческую фигуру в темноте, ceteris paribus — она может говорить.

И все же, некоторые характеристики в большей мере выводимые, чем наблюдаемые. Вы, скорее всего, сделаете вывод, что наблюдаемый вами объект — человек и поэтому сгорит, если его подвергнуть прямому взаимодействию с огнем, чем станете поджигать разные объекты для того, чтобы понять — горят люди или нет.

Если вы посмотрите определение слова «человек» в словаре, то, возможно, увидите там характеристики вроде «интеллект» или «двуногое без перьев», которые полезны для быстрого отделения того что является человеком от всего остального. При этом, в словаре не будет десятков тысяч других возможных человеческих характеристик вроде уязвимости перед болиголовом или сверхуверенности, которые можно вывести из того, что данный объект — человек. Почему так? Может быть, словари предназначены для указывания соответствия между ярлыком и кластером в пространстве вещей. Или вполне может быть, что крупные, видимые характеристики быстрей приходят на ум составителю словаря в силу своей заметности. Не уверен, насколько составители словарей осознают, что именно они делают.

Но кульминация наступает, когда Дэнни достает словарь и видит лишь бросающиеся в глаза признаки: зеленые глаза и черные волосы. Словарь не содержит список множества характеристик, которые ассоциируются с термином «виггин», вроде криминальных наклонностей, кулинарных пристрастий или досадных активностей в детстве.

Как же эти характеристики стали ассоциироваться с термином? Может был знаменитый виггин, продемонстрировавший их. Или может кто-то просто их выдумал и написал ставшие популярными книги («Виггин», «Беседы с виггином», «Воспитание маленьких виггинов», «Виггины в постели»). Может даже виггины в это верят теперь, и ведут себя соответствующим образом. Стоит лишь назвать группу людей «виггинами» и это слово начнет обрастать ассоциациями.

Однако, давайте вспомним «Притчу о болиголове»: если мы будем использовать определения логических классов, как метод определения слов, то мы не сможем установить, что Сократ — «человек», пока не пронаблюдаем его смерть. Когда кто-то апеллирует к словарю, он это делает, обычно, чтобы тайком привнести какие-то ассоциации, а не реально записанное определение.

В конце концов, если полный смысл слова «виггин» это «зеленоглазый и черноволосый человек», почему бы и не называть этих людей «зеленоглазым и черноволосыми»? И если вы интересуетесь, является ли данный человек любителем кетчупа, то почему бы не спросить об этом прямо «он любитель кетчупа?», вместо того, чтобы спрашивать «он виггин?» (прошу отметить замену символа на суть).

Но ведь для понимания настоящего вопроса придется поработать. Надо будет пронаблюдать, действительно ли виггин потянется за кетчупом. Или найти статистику о том, сколько зеленоглазых и черноволосых людей любят кетчуп. В любом случае, вам придется сделать что-то большее, чем сидение в вашем кресле с закрытыми глазами. Люди ленивы. Он предпочтут использовать аргумент «по определению», особенно если им кажется, что «слова можно определять, как захочется».

Но, разумеется, настоящая причина утверждать, что кто-то это «виггин» — в скрытой ассоциации, не записанной в словаре, и порождаемым ей чувстве.

Только представьте — Денни говорит: «Посмотри, у него черные волосы и зеленые глаза, он — виггин! В словаре так и сказано, следовательно, у него черные волосы. Попробуй поспорь с этим!»

Звучит не слишком впечатляюще, так ведь? Если бы суть аргумента действительно была отражена в словаре, если бы аргумент был логически валидным, то он ощущался бы пустым; не привносил ничего нового и не ставил бы вопросов.

Лишь контрабанда характеристики, которая прямо не записана в словаре, дает чувство победы при использовании аргумента «по определению».

«У этой ощипанной курицы две ноги и нет перьев, следовательно, по определению, она человек!»

Обычно, когда люди спорят про определения, они начинают с бросающихся в глаза или широко принятых характеристик, затем достают словарь и показывают, что эти характеристики соответствуют написанному в словаре определению; потом они делают вывод: «Следовательно, по определению, атеизм — это религия!»

Но бросающиеся в глаза или широко принятые характеристики редко являются настоящим предметом спора. Один лишь факт того, что кто-то видит наличие двух ног достаточно очевидной основой для вывода «Следовательно, по определению, Сократ — человек», свидетельствует о том, что двуногость не выступает конечной целью спора, ведь в противном случае оппонент бы заявил что-то вроде: «Да че ты говоришь, мы ведь об этом и спорим!»

Разумеется, есть правильный способ перехода от очевидных характеристик к не совсем очевидным. Вы вполне оправданно можете, увидев гуманоидную форму тела Сократа, предположить, что он уязвим для болиголова. Но этот вероятностный вывод не основывается на определении в словаре или традиционном понимании; он основывается на существовании во вселенной эмпирических кластеров подобных друг другу вещей.

Такая кластерная структура не изменится просто потому, что вы дадите слову другое определение. Даже если в словаре понятие «человек» будет определено как «все двуногие без перьев, кроме Сократа», то это не изменит степень подобия между Сократом и остальными двуногими без перьев существами.

Когда вы будете выстраивать аргументацию на основе кластерной структуры, вы скажете что-то вроде: «у Сократа две руки, две ноги, нос и язык, он говорит бегло на греческом, использует инструменты, проявляет все крупные и мелкие характеристики Homo sapiens (в то время, когда я наблюдал за ним); так что я предположу, что у него человеческая ДНК, человеческая биохимия, и что он так же уязвим для болиголова, как и другие Homo sapiens, для которых летальность болиголова была подтверждена клинически».

На что я мог бы ответить: «Но я видел, как Сократ разговаривал со знахарем, и думаю, что они собираются приготовить антидот. Так что я ожидаю, что Сократ, приняв болиголов, копыта не откинет. Он будет исключением для общего правила поведения объектов этого кластера. Они не принимали антидот, а он примет».

Как видите, тут уже нет смысла спорить о том, человек Сократ или нет. Разговор должен перейти на более детальный уровень, следует рассмотреть детали категории «человек», а именно — биохимию, и в данном случае, нейротоксичные эффекты кониина.

Вы, разумеется, можете продолжать настаивать на том, что «Сократ — человек и по определению смертен», но вы, на самом деле, лишь будете смазывать в одну точку все, что вы знаете о Сократе, кроме его человечности, как будто единственное верное предсказание может быть построено только на том, что мы ничего о Сократе не знаем, кроме того, что он человек.

Это все равно что настаивать на том, что вероятность выпадения орла или решки составляет 50%, потому что это «симметричная монета», после того, как вы ее подкинули и выпал орел. Это все равно что настаивать на том, что у Фродо десять пальцев, после того, как вы видели, что у него девять пальцев на руках. И это, естественно, некорректно с точки зрения байесовской эпистемологии — вы не можете отказаться от учета наблюдаемых свидетельств.

И вы не можете останавливаться на первой итерации классифицирования и продолжать делать выводы на ее основе, игнорируя остальную информацию.

Не каждое свидетельство, разумеется, окажет сильное влияние на вывод. Если я увижу, что у Сократа лишь девять пальцев, это не повлияет на мое ожидание наблюдать его смерть после приема болиголова, ведь я ожидаю, что потеря пальца не оказала сильного влияния на его биохимию. И это будет правдой независимо от того, что в словаре написано про количество пальцев. Правильный вывод основан на кластерной структуре окружающей среды и причинной структуре биологических процессов, а не на том, что решит написать составитель словаря. И уж тем более не на «традиционном понимании».

Как правило, если вы делаете вывод правильным, логически допустимым путем, вы просто можете сказать: «Содержащийся в болиголове алкалоид кониин вызывает мышечный паралич у людей, что приводит к смерти от удушья». Или еще проще: «Болиголов опасен для людей». Так выстраивается правильный аргумент.

Так в какой же ситуации может возникнуть желание усилить аргумент фразой «по определению»? (Например — «Люди, по определению, уязвимы для болиголова»). Ну разумеется, в случае высказанных оппонентом сомнений по поводу предполагаемой характеристики (есть свидетели разговора между Сократом и знахарем) — поэтому может возникнуть желание затянуть оковы логики.

И когда вы видите такое использование «по определению», знайте, что на самом деле вам говорят что-то вроде «Забудьте лучше этот момент со знахарем, люди по определению смертны».

Люди чувствуют необходимость укрепить курс развития спора словами «Любое Р, по определению, обладает свойством Х!», именно в том случае, когда они видят и без промедления отбрасывают информацию, которая бросает тень сомнений на оригинальный вывод, основанный на кластерах.

Это же касается и аргументов вроде «Х, по определению, — У». Например, «Атеисты верят, что Бога нет; следовательно, они имеют убеждение о Боге, потому что неверие это тоже убеждение; следовательно, атеизм дает ответы на теологические вопросы; следовательно, атеизм, по определению, — религия».

Вам не нужно было бы убеждать нас, что индуизм — это религия, потому что индуизм это, вроде как, и есть религия. И не просто «религия по определению», а настоящая религия.

Атеизм не похож на центральных представителей кластера «религия», поэтому, если бы он не был религией «по определению», вы могли бы воображать себе, что он религией не является. Поэтому вам и приходится давить оппозицию, указывая на то, что «атеизм — это религия» верно по определению, потому что это неверно в любом другом контексте.

То есть люди настаивают на том, что «Х по определению У!» именно в тех случаях, когда они пытаются протащить не указанную прямо в определении характеристику У, а Х не слишком похож на представителей кластера У.

В течение последних тринадцати лет я старался отмечать случаи корректного использования фразы «по определению», не утруждаясь ведением статистики, разумеется. На основе такого поверхностного взгляда я могу сделать вывод, что использование этой фразы где-либо за пределами математики является одним из ярчайших сигналов дефектного аргумента из тех что я видел. Он стоит рядом с «Гитлер», «Бог», «абсолютно уверен» и «ты не можешь доказать это».

Эта эвристика определения такого режима провала не идеальна — впервые я видел корректное употребление этой фразы за пределами математики — у Ричарда Фейнмана; и с тех пор видел еще. Но вам, скорее всего, стоит просто стереть из своего словарного запаса эту фразу и сохранять бдительность, особенно если вам захочется употребить ее с восклицательным знаком или выделить курсивом. Ведь это, по определению, плохая идея!

Представьте, что вам кто-то сказал:

Долго я размышлял о том, что же значит слово «искусство», и, наконец нашёл вроде бы устраивающее меня определение: «Искусство - это то, что предназначено для создания реакции аудитории».

Из существования слова «искусство» не следует существование его смысла, витающего где-то там в пустоте, которое вы можете открыть, подобрав правильное определение.

Хоть так и кажется, но это не так.

Гадая о том, какое определение дать слову, вы подходите к решению задачи не с той стороны — ищите таинственную эссенцию того, что на самом деле является коммуникационным сигналом.

Разумеется, тут есть место и для задачи, которую рационалист может обоснованно атаковать, но эта задача не в том, чтобы найти слову устраивающее определение. Настоящую задачу можно решать в одиночку, не проронив ни слова вслух. Задача в том, чтобы найти, какие вещи подобны друг другу, какие вещи принадлежат к одному кластеру, и иногда — какие вещи имеют одну и ту же причину.

Если вы определите «электромагнетизм», включив молнию, компас, исключив свет, но включив «животный магнетизм» Месмера (что мы теперь зовем гипнозом), то столкнетесь с проблемой, отвечая на вопрос «как электромагнетизм работает?». Вы скучили вместе вещи, которые располагаются на удалении, и исключили те, которые действительно принадлежат к набору. (Этот пример вполне вероятен - Месмер был до Фарадея).

Можно сказать, что электромагнетизм — неподходящее слово, граница в пространстве вещей, обтекающая и проникающая в кластеры, разрез реальности не по месту естественного соединения частей.

Придумать, где именно разрезать реальность, так чтобы разрез был по месту соединения частей — достойная рационалиста задача. Это то, что людям бы следовало делать, когда они начинают искать плавающую в пустоте эссенцию слова.

Но не стоит себя обманывать. Эта задача может быть и на уровне научной проблемы, если надо догадаться, что дыхание и огонь описываются одним словом. Так что не стоит обращаться за решением к редакторам словарей — у них есть своя работа.

Что такое «искусство», если не эссенция слова, витающая в пустоте?

Предположим, что вы составили длинный список того, что вы готовы и не готовы назвать «искусством».

Маленькая фуга до минор — искусство.
Удар в нос — не искусство.
«Относительность» Эшера — искусство.
Цветок — не искусство.
Язык программирования Python — искусство.
Распятье, плавающее в моче — не искусство.
Новеллы Джека Вэнса «Тщай» — искусство.
Современное Искусство — не искусство.

И вот вы мне говорите: «Мне эта граница кажется интуитивно понятной, но не знаю почему — помоги мне найти интенсионал для этого экстенсионала? Дай мне простое описание этой границы».

Я отвечаю: «Думаю, это связано с восхищением искусной работой. Работа на входе, на выходе — диво. Вещи из списка связаны через похожие эстетические переживания, которые они вдохновляют, и направленный на вызов этих переживаний человеческий труд».

Полезно ли это или это лишь нарушение принципов «табу»? Я бы сказал, что список переживаемых эмоций сильней концентрирует массу вероятности, чем список всего что является/не является искусством. Вы можете наблюдать «вспышки» эмоций на ФМРТ — т.е. эмоции далеко не эфемерны.

Но дело, разумеется, не в определении искусства. Дело в том, что вы можете оспорить экстенсионалы или интенсионалы моего определения.

Вы можете сказать мне: «Эстетические переживания — не то, что объединяет эти вещи. Их объединяет намерение вдохновить любую сложную эмоцию просто ради ее вдохновения». И это будет попыткой оспорить мой интенсионал, мою попытку очертить границу через опорные координаты.

Вы можете сказать: «Твое уравнение примерно эти точки описывает, но не подходит под настоящее общее распределение».

Или вы можете оспорить мой экстенсионал, сказав: «Некоторые их этих вещей действительно близко связаны, я вижу к чему ты ведешь, однако язык Python тогда не должен быть в списке, а Современное Искусство должно». (Это позволит предположить, что вы — лишь легко внушаемый простак, что тоже можно оспорить.) Важный момент: презумпция кривой, генерирующей этот список подобных и не подобных вещей, — схема и основания, пусть вы и не сказали каковы они, но вы видите, как я потерял нить и включил координаты, сгенерированные другим способом.
Задолго до того, как вы поймете, что объединяет электричество и магнетизм, вы начнете сомневаться, основываясь лишь на поверхностных наблюдениях, в том, что «животный магнетизм» действительно входит в список.

Давным-давно люди думали, что слово «рыба» включает в себя дельфинов. Вы, конечно, можете включить искусного спорщика и сказать: «Мой список: {лосось, гуппи, акула, дельфин, форель} — всего лишь список. Ты не можешь сказать, что список неверен. Я, с помощью теории множеств, могу доказать, что такой список существует. Так что мое определение «рыб», являющееся лишь экстенсиональным списком не может быть «неверным», что бы ты мне ни говорил».

Или же вы можете прекратить дурацкие игры и признать, что дельфинам не место в этом списке.

Итак, вы составили список вещей, которые, как вам кажется, подобны друг другу. И попробовали догадаться почему они подобны. Но когда вы обнаружите, что же они действительно имеют общего, может оказаться, что ваши догадки были неверными, как и ваш список.

Вам не спрятаться под щитом «верно-по-определению». И экстенсиональное, и интенсиональное определения могут быть неверными, могут разрезать реальность не по месту соединения частей.

Классификация — занятие без гарантий, в котором вы вполне можете понаделать ошибок. Так что, с чисто теоретической точки зрения, полезно будет признать, что ваши догадки-определения могут быть «ошибочными».

Предположим, у нас есть система Х, которая с одинаковой вероятностью может находиться в любом из 8 возможных состояний:

$$ {X_1, X_2, X_3, X_4, X_5, X_6, X_7, X_8} $$

Есть такая экстраординарно распространенная мера, — в физике, математике и даже биологии — называется она «энтропия». И энтропия Х составляет 3 бита. Это значит, что для выяснения состояния Х нам в среднем понадобится 3 да/нет вопроса. Например, кто-то может нам рассказать о значении Х с помощью такого кода:

$$ (X_1:001) (X_2:010) (X_3:011) (X_4:100) $$

$$ (X_5:101) (X_6:110) (X_7:111) (X_8:000) $$

Так что если я спросил бы «Первый символ — 1?» и получил бы ответ «Да»; «Второй символ — 1?» и услышал бы «Нет»; «Третий символ — 1?» — «Нет»; то я бы знал, что Х находится в состоянии 4.

Теперь предположим, что у системы Y есть четыре возможных состояния с таким распределением вероятностей:

$$ Y_1: 1/2 \;(0,5) $$
$$ Y_2: 1/4 \;(0,25) $$
$$ Y_3: 1/8 \;(0,125) $$
$$ Y_4: 1/8 \;(0,125) $$

Тогда энтропия Y будет равна 1,75 бит, что значит нам понадобится 1,75 вопросов в среднем, чтобы узнать значение Y.

В каком смысле можно задать один и три-четвертых вопроса? Представьте, что мы используем следующий код для описания состояния Y:

$$ (Y_1:1) (Y_2:01) (Y_3:001) (Y_4:000) $$

Сначала вы спросите «Первый символ — 1?», и если ответ «Да», то задача решена: Y находится в состоянии 1. И такое происходит в половине случаев — состояние Y можно вычислить с помощью одного вопроса.

Предположим, что вы получили ответ «Нет». Тогда вы спрашиваете: «Второй символ — 1?». Если ответ «Да», то вы закончили: Y находится в состоянии 2. И это происходит с вероятностью в 1/4, и каждый раз, когда Y в состоянии 2, мы можем узнать это с помощью двух да/нет вопросов — в 25% случаев понадобится два вопроса для определения состояния Y.

Если же вы получили ответ «нет» два раза подряд, и, спросив «Третий символ — 1?», получили ответ «Да», то задача решена и Y в состоянии 3; если нет, то Y в состоянии 4. В 1/8 случаев Y в состоянии 3 и понадобится три вопроса. И в 1/8 случаев Y в состоянии 4 и понадобится три вопроса.

$$ (1/2 \cdot 1) + (1/4 \cdot 2) + (1/8 \cdot 3) + (1/8 \cdot 3) = 0,5 + 0,5 + 0,375 + 0,375 = 1,75. $$

Общая формула определения энтропии системы S это сумма по всем $ S_i $: $ - p(S_i) \cdot log_2 p(S_i) $.

Например, $ log_2 $ числа 1/8 — это −3. Получается $ -(1/8 \cdot -3) = 0,375 $ — часть энтропии состояния 4 от всей энтропии системы Y — три вопроса.

Закодировать любую систему идеальным кодом получится не всегда, но если вам потребуется передать кому-то сообщение о состоянии случайного количества копий S за один раз, вы можете приблизиться к идеальному коду на случайную величину. (Гуглите «арифметическое кодирование»).

Конечно, вы можете спросить: «Почему бы не закодировать Y4 с помощью 10 вместо 000? Так ведь будет быстрей?»

Но если вы используете 10 для Y4 и получите ответ «да» на вопрос «первый символ 1?», то у вас все еще останется неопределенность: Y1 (1) или Y4 (10). Даже больше, если вы измените код таким образом, вся система полетит к чертям — услышав «1001» вам останется только гадать — «Y4 и Y2» или «Y1 и Y3».

Мораль в том, что короткие слова — ограниченный ресурс.

Ключевой момент в создании хорошего кода, который позволит передавать сообщения максимально компактно, в использовании коротких слов для того, о чем вы будете говорить часто, а длинных — для того, о чем реже.

На своем пике это искусство позволяет добиться почти идеального соответствия между длиной сообщения и вероятностью. Это так называемое «Сообщение минимальной длины» или «Минимальная длина описания», формализация бритвы Оккама.

Так что даже используемые нами ярлыки для слов не совсем случайны. Звуки, которые мы привлекаем для ссылок на идеи могут быть лучше или хуже, мудрей или глупей. И это независимо от традиционного понимания!

Я говорю это все потому, что идея «Вы можете Х так как вам заблагорассудится» сильно мешает понять, как делать Х с умом. «Это свободная страна, и я имею право на свое мнение» стоит на пути у искусства поиска истины. «Я могу определить слово так, как захочу» — стоит на пути разделения реальности на естественные составные части. И даже кажущееся разумным «Прикрепленные к словам ярлыки случайны» стоит на пути осведомленности о компактности. Стихосложения тоже, если уж говорить об этом, — Толкиен однажды заметил, как красиво звучит фраза «cellar door»; таков уровень осведомленности нужен, чтобы использовать язык как Толкиен.

Длина слов так же играет нетривиальную роль к когнитивной науке языка:

Давайте рассмотрим слова «сиденье», «стул» и «обстановка»1. «Сиденье» — более специфическая категория, чем «стул»; «обстановка»— более общая. Но большая часть стульев объединена сходными способами их использования — похожие движения, чтобы сесть или встать, похожие причины для сидения — отдых, принятие пищи, чтение. «Сиденья» в этом отношении тоже не слишком отличаются. «Обстановка» же включает в себя вещи вроде кроватей, столов, по-разному использующихся и требующих разных телодвижений.

В терминологии когнитивной психологии «стул» относится к базовым категориям.

У людей есть привычка говорить и, предположительно, думать на базовом уровне категоризации. Проводить границы вокруг «стульев», чем вокруг более конкретной категории «сидений», или же вокруг более общей категории «обстановки». Человек скорее предложит присесть на стул, чем сесть на сидение или посидеть на обстановке.

Так что тут нет совпадения относительно длины этих слов. Базовые категории обычно имеют более короткие названия, и существительные с короткими названиями обычно относятся к базовым категориям. Это не универсальный лингвистический закон, но такая тенденция определенно присутствует. Частое употребление сопутствует коротким словам, а короткие слова — частому употреблению.

Или же как выразил это Дуглас Хофштадтер, есть причины на то, чтобы в английском языке «the» означало «the», а «antidisestablishmentarianism» использовалось для «antidisestablishmentarianism», а не наоборот.

• 1. В оригинале «”recliner”, ”chair”, and ”furniture”». — Прим.перев.

Предположим, у вас есть система $Х$, которая может находиться в одном из 8 состояний и все они равновероятны (относительно того, что вы о них знаете на данный момент), и система $Y$ с 4 равновероятными состояниями.

Энтропия $Х$, как следует из рассказанного вчера — 3 бита; нам потребуется задать 3 да/нет вопроса, чтобы точно узнать состояние $Х$. Энтропия $Y$, как следует из рассказанного вчера — 2 бита; нам потребуется задать 2 да/нет вопроса. Это может показаться очевидным (с учетом того, что $2^3=8$ и $2^2=4$ — три вопроса помогут выявить правду между 8 возможными вариантами, а 2 между 4), но хочу напомнить, что если бы вероятности не были бы равными, мы смогли бы использовать более хитрый код для обнаружения, например, состояния $Y$ (1,75 вопросов в среднем). Но раз уж для Х и Y вероятности распределены равномерно, схитрить у нас не получится.

Какова общая энтропия объединенной системы $(X,Y)$?

Возможно вам придет в голову ответ: «Для $X$ потребует 3 вопроса, для $Y$ — 2, так что нам потребуется задать всего 5 вопросов, чтобы узнать $(X,Y)$».

Но что если эти две переменные связаны и, узнав что-то о $Y$, мы узнаем кое-то и о $X$?

В данном случае предположим, что обе переменные либо четные либо нечетные.

И если мы получим сообщение в 3 бита (получим 3 ответа), узнаем, что $Х$ находится в состоянии 5, то будем знать, что $Y$ либо в состоянии 1 либо в 3, но не в 2 или 4. Так что лишь один вопрос «$Y$ в состоянии 3?» и ответ «нет» понадобится нам, что бы знать состояние объединенной системы $$(X,Y): X=X5, Y=Y1$$ И обнаружили мы это с помощью 4 вопросов.

Точно так же, если мы узнаем, что $Y$ в 4 состоянии, с помощью 2 вопросов, то нам понадобится лишь два вопроса, чтобы узнать, в каком из состояний $(2,4,6,8)$ находится $Х$. Опять же, лишь 4 вопроса, чтобы узнать состояние связанной системы.

Общая энтропия двух переменных определяется как разность между энтропией независимых систем и энтропией связанной системы :$$ I(X;Y) = H(X) + H(Y) - H(X,Y)$$

В данном случае между системами есть 1 бит общей информации. Узнав $Х$, мы получаем 1 бит информации о $Y$ (что сокращает пространство возможностей с 4 до 2, снижает размер в два раза). А информация о состоянии $Y$ сокращает пространство возможностей с 8 до 4.

Но как насчет случаев, где масса вероятности распределена не равномерно? Вчера, например, мы обсуждали случай $Y$, где вероятности были распределены как $1/2$, $1/4$, $1/8$, $1/8$ для 4 возможных состояний. Давайте условимся, что так будет выглядеть распределение вероятностей для $Y$, если мы будем рассматривать $Y$ независимо. Как если бы мы знали $Y$ и больше ничего. И введем еще переменную $Z$ с 2 возможными состояниями, с вероятностями $3/8$ и $5/8$.

В таком случае, только в том случае, когда объединенное распределение между этими переменными выглядим как описано ниже, — между ними нет общей информации:

$$(Z1Y1: 3/16) (Z1Y2: 3/32) (Z1Y3: 3/64) (Z1Y3: 3/64)$$

$$(Z2Y1: 5/16) (Z2Y2: 5/32) (Z2Y3: 5/64) (Z2Y3: 5/64)$$

Это распределение подчиняется закону:

$$P(Y,Z) = P(Y)P(Z)$$

Например,$$ P(Z1Y2) = P(Z1)P(Y2) = 3/8 * 1/4 = 3/32$$

Заметьте, что мы можем узнать маргинальные (независимые) вероятности $Y$ и $Z$ просто посмотрев на объединенное распределение:

$P(Y1)$ — полная вероятность всех возможных состояний $Y1$ в общем распределении:

$$P(Y1) = P(Z1Y1) + P(Z2Y1) = 3/16 + 5/16 = 1/2$$

Так что просто проанализировав общее распределение, мы можем определить являются ли маргинальные переменные $Y$ и $Z$ независимыми; т.е. когда объединенное распределение разлагается на маргинальные распределение — когда для всех $Y$ и $Z$ $P(Y,Z) = P(Y)P(Z)$.

И это важно, ведь в соответствии с теоремой Байеса:

$$P(Yi,Zj) = P(Yi)P(Zj)$$

$$P(Yi,Zj)/P(Zj) = P(Yi)$$

$$P(Yi|Zj) = P(Yi)$$

Что можно выразить словами: после того, как мы узнали состояние $Zj$, наше знание о $Yi$ никак не изменилось.

Так что когда распределение разлагается, когда $P(Y,Z) = P(Y)P(Z)$, то это равноценно тому, что мы, узнав о $Y$, не получим никакой информации о $Z$, и наоборот.

И зная это, вы можете, совершенно справедливо, начать подозревать, что между $Y$ и $Z$ нет общей информации. А там где нет общей информации, нет и байесианских свидетельств и наоборот.

Предположим, что в вышепоказанном распределении $YZ$ мы будем рассматривать каждое возможное сочетание $Y$ и $Z$, как отдельное событие — так что это распределение будет иметь всего 8 возможных вариантов с уже известными вероятностями, тогда мы сможем вычислить энтропию $YZ$ точно так же, как и в прошлый раз:

$$3/16∗ log2(3/16) + 3/32∗ log2(3/32) + 3/64∗ log2(3/64) + … + 5/64∗ log2(5/64))$$

У вас получится тот же ответ, как если бы вы отдельно посчитали энтропии систем, а затем сложили бы их. Поскольку между системами нет общей информации, наша неопределенность относительно состояния совмещенных систем точно такая же, как и относительно суммы взятых отдельно. (Вычисления я тут показывать не стану — вы и сами можете это сделать, что касается доказательства — ищите «энтропию Шеннона» («Shannon entropy») или «общую информацию» («mutual information»).)

Но что если объединенное распределение не разлагается? Например:

$$(Z1Y1: 12/64) (Z1Y2: 8/64) (Z1Y3: 1/64) (Z1Y4: 3/64)$$

$$(Z2Y1: 20/64) (Z2Y2: 8/64) (Z2Y3: 7/64) (Z2Y4: 5/64)$$

Если вы сложите объединенные вероятности, чтобы получить маргинальные, вы обнаружите, что $P(Y1) = 1/2, P(Z1) = 3/8$, и так далее — маргинальные вероятности такие же, как и раньше.

Но объединенные вероятности не всегда равны сумме маргинальных. Например, вероятность $P(Z1Y2) = 8/64$, где $P(Z1)P(Y2)$ будут $3/8 * 1/4 = 6/64$. Т.е. вероятность встретить $Z1Y2$ выше, чем мы бы ожидали, просто учитывая вероятности $Z1$ и $Y2$ отдельно.

Что в свою очередь подразумевает:

$$P(Z1Y2) > P(Z1)P(Y2)$$

$$P(Z1Y2)/P(Y2) > P(Z1)$$

$$P(Z1|Y2) > P(Z1)$$

И раз тут «необычайно высокая» вероятность $P(Z1Y2)$ определена как более высокая, чем можно предположить, отдельно рассмотрев маргинальные, можно сделать вывод, что наблюдение $Y2$ увеличит вероятность наблюдать $Z1$ и наоборот.

Поскольку есть какие-то состояния $Y$, дающие нам информацию и о $Z$ (и наоборот), между ними должна быть общая информация, что вы и обнаружите — я уверен, хоть и не проверял — в результате вычисления энтропии $YZ$ вы получите меньше неопределенности, чем в результате вычисления отдельно $Y$ и $Z$. $H(Y,Z) = H(Y) + H(Z) - I(Y;Z)$ будут все больше нуля с логической необходимостью.

(Отступлю немного от темы для небольшого замечания. Симметрия общей информации показывает, что $Y$ сообщает нам столько же о $Z$, в среднем, сколько $Z$ об $Y$. В качестве упражнения для читателей я оставлю сопоставление этого и того, что рассказывают на курсах по логике. Что из того, что все вороны черные, следует что все вороны черные, но не следует, что все черные штуки — вороны. Насколько отличается симметричное движение вероятностей байесианства от угловатой логики, даже несмотря на то, что последняя — лишь вырожденная версия первого?)

И тут вы спросите: «Какое все это имеет отношение к правильному использованию слов?»

В «Пустых ярлыках» и «Замени символ на суть», вы видели пример замены слова его определением с примером:

Все [смертные, ~без перьев, двуногие] смертны

Сократ [смертен, ~без перьев, двуногий]

Следовательно, Сократ смертен

Так зачем же нам нужно слово «человек»? Почему бы просто не сказать «Сократ смертный, без перьев и двуногий»?

Потому что полезно иметь короткие слова для часто встречающихся штук. Если ваш код для отдельных характеристик уже эффективен, то вы не получите никакого преимущества от введения специального слова для конъюнкции: например, «человек» для «смертный, без перьев, двуногий», разве что смертные штуки, штуки без перьев и двуногие штуки встречаются в реальности чаще, чем стоило бы ожидать лишь на основе маргинальных вероятностей.

В эффективных кодах длина сообщения соответствует вероятности, т.е. код для $Z1Y2$ будет такой же длины, как и сумма кодов $Z1$ и $Y2$, разве что $P(Z1Y2) > P(Z1)P(Y2)$, тогда код для $Z1Y2$ будет короче, чем сумма отдельно взятых кодов.

Это как раз соответствует ситуации, где мы можем сделать вывод об одних характеристиках вещи, пронаблюдав наличие у нее других. Для этого вероятность, что двуногие без перьев окажутся смертными, должна быть более дефолтной.

Разумеется, слово «человек» описывает очень много свойств. Когда вы видите сущность человеческой формы, которая говорит и носит одежду, то можете предположить множество биохимических, анатомических и когнитивных фактов о ней. Чтобы заменить «человек» на описание всего, что мы можем сказать о людях, нам потребуется запредельно много времени. Но это так лишь потому, что говорящие штуки с двумя ногами и без перьев более вероятны, чем маргинальные вероятности позволят предположить, уязвимы для болиголова, или имеют плоские ногти, или сверхуверенны.

Наличие одного слова для вещи вместо перечисления ее свойств позволяет сделать код компактней именно в тех случаях, когда можно предположить наличие одних свойств, основываясь на наблюдении других. (За исключением таких базовых слов как «красный», которое может быть использовано для передачи несжатого описания нашего сенсорного переживания. Но уже в случае с жуком или камнем, мы будем иметь дело со сложными совокупностями свойств, намного превышающими базовый уровень.)

Поэтому наличие слова «виггин» для зеленоглазых черноволосых людей полезней, чем просто «зеленоглазые черноволосые люди», именно тогда:

1. Когда зеленоглазые люди, в среднем, более вероятно являются еще и черноволосыми (и наоборот), т.е. мы можем сделать вероятностный вывод о «зеленоглазости», после наблюдения «черноволосости» и наоборот.

2. Или же когда виггины имеют другие свойства, о которых можно сделать вероятностное предположение с большей, чем сумма маргинальных, вероятностью. В данном случае нам потребуется независимо проследить за наличием черных волос и зеленых глаз, а затем можно сделать вероятностный вывод о других свойствах (вроде пристрастия к кетчупу).

Можно даже рассматривать наличие слова как своего рода обещание. Сказать кому-то «Я определяю слово «виггин» как человека с черными волосами и зеленым глазами», в соответствии с импликатурой Грайса, значит пообещать, что слово «виггин» каким-то образом поможет предположить зависимость между черными волосами и зелеными глазами и укоротить код.

Если зеленые глаза и черные волосы не встречаются с большей, чем сумма маргинальных, вероятностью, или же никакое другое свойство не встречается чаще в сочетании с этим цветом волос и цветом глаз, то слово «виггин» является ложью. Оно утверждает, что определенных людей стоит выделять в группу, а они группой не являются.

В данном случае слово «виггин» не помогает более компактно описывать реальность, ведь оно не предназначалось как помогающее сократить длину сообщения. Тогда ему не место в массиве простых объяснений. Точно так же «виггин» не поможет сделать байесианский вывод. Даже если вам неудобно называть слово «ложью», оно, как минимум, — ошибка.

Разрезать реальность по месту естественного соединения частей — проводить границы вокруг необычно плотно сконцентрированных вероятностей в пространстве вещей.

Вы, наверное, уже задумывались о том, что пространство вещей довольно велико. Оно гораздо больше, чем реальность, которая содержит только то, что на самом деле существует. Пространство вещей содержит всё, что могло бы существовать.

В действительности, поскольку я «определил» пространство вещей так, что в нём есть размерности для всех возможных свойств — включая связанные друг с другом свойства, например, плотность, объём и массу — для пространства вещей крайне сложно определить что-то, что можно назвать «размером». Однако, важно уметь представлять пространство вещей хоть как-нибудь. Уверен, совершенно никто не в состоянии понять стаю воробьёв, если он видит лишь облако машущих крыльями чирикающих существ вместо кластера точек в пространстве вещей.

Но пространство вещей всё равно не сравнится с пространством концептов.

В машинном обучении концепт — это правило, согласно которому включаются или исключаются примеры. Если вы видите данные {2:+, 3:-, 14:+, 23:-, 8:+, 9:-}, возможно, вы предположите, что концепт — это «чётные числа». Существует довольно много литературы (что неудивительно) о том, как по данным получать концепты. Учитывая случайные примеры, учитывая выбранные примеры. Учитывая возможные ошибки классификации. И что самое важное, учитывая различные пространства возможных правил.

Например, предположим, что мы хотим получить концепт «хороший день для игры в теннис». Возможные свойства сущности День:

Облачность: {Ясно, Пасмурно, Дождевые облака}
Температура воздуха: {Тепло, Холодно}
Влажность: {Нормальная, Высокая}
Ветер: {Сильный, Слабый}


Теперь предположим, что у нас есть следующие данные, где «+» означает, что набор удовлетворяет правилу, а «-» — что не удовлетворяет.

+ Облачность: Ясно; Температура воздуха: Тепло; Влажность: Высокая; Ветер: Сильный.
- Облачность: Дождевые облака; Температура воздуха: Холодно; Влажность: Высокая; Ветер: Сильный.
+ Облачность: Ясно; Температура воздуха: Тепло; Влажность: Высокая; Ветер: Слабый.


Какой вывод должен сделать алгоритм из этих данных?

Обучающаяся машина может сформировать свой соответствующий данным концепт следующим образом:

{Облачность: ?; Температура воздуха: Тепло; Влажность: Высокая; Ветер: ?}.


Чтобы определить подходит ли какой-то пример данных или нет, мы сравниваем последовательно все элементы. ? означает, что подходит любое значение, но если какое-то конкретное значение задано, то подходит только оно.

То есть концепт выше примет только тот День, в котором Температура воздуха = Тепло и Влажность = Высокая. Переменные Облачность и Ветер могут принимать любые значения. Пока это согласуется со всеми данными, которые у нас есть. Хотя это далеко не единственный концепт, который подошёл бы нам .

Мы можем упростить запись концепта выше следующим образом:

{?, Тепло, Высокая, ?}


Если не вдаваться в детали, классический алгоритм можно записать так:

• Поддерживать набор наиболее общих гипотез, соответствующих данным. Эти гипотезы должны положительно классифицировать как можно больше исходов, при этом не противореча фактам.
• Поддерживать другой набор как можно более конкретных гипотез, соответствующих данным. Гипотезы в этом наборе должны отрицательно классифицировать как можно больше исходов, при этом не противореча фактам.
• Каждый раз, когда мы наблюдаем отрицательный исход, мы усиливаем наиболее общие гипотезы как можно меньше, чтобы новый набор оставался как можно более общим и при этом не противоречил фактам.
• Каждый раз, когда мы наблюдаем положительный исход, мы ослабляем наиболее конкретные гипотезы как можно меньше, чтобы новый набор оставался как можно более конкретным и при этом не противоречил фактам.
• Продолжаем до тех пор, пока не останется одна гипотеза. Это и будет правильным решением — при условии, что правильное решение вообще попало в наше пространство гипотез.

В нашем примере набор наиболее общих гипотез выглядит так:

{{?, Тепло, ?, ?}, {Ясно, ?, ?, ?}},


при этом множество наиболее конкретных гипотез содержит единственный вариант {Ясно, Тепло, Высокая, ?}.

Любой другой концепт, который описывает данные, будет строго более конкретным, чем самая общая гипотеза, и строго более общим, чем самая конкретная гипотеза.

(Больше на эту тему можно прочитать в книге «Машинное обучение» Тома Митчелла1, из которой был взят и адаптирован пример выше.)

Возможно, вы уже заметили, что все возможные концепты в таком формате описать нельзя. Например, в нём нельзя описать концепт «играть в теннис, когда ясно или когда тепло». Этот концепт соответствует данным, но если мы пользуемся представлением, описанным выше, не найдётся набора из четырёх значений, который опишет такое правило.

Очевидно, наша обучающаяся машина не охватывает всю полноту концептов. Почему бы не позволить ей представлять вообще все возможные концепты, чтобы она могла обучаться максимально гибко?

Каждый день описывается четырьмя переменными. У одной из них три возможных значения, у трёх — два возможных значения. Итого у нас 3 × 2 × 2 × 2 = 24 возможных варианта дня.

Формат для представления концептов выше требует, чтобы мы указывали одно из значений переменной или оставляли его неизвестным. Таким образом мы можем описать 4 × 3 × 3 × 3 = 108 концептов. Чтобы работал алгоритм «наиболее-общий/наиболее-конкретный», необходимо начать с максимально конкретной гипотезы «ни один исход никогда не окажется положительным». Итого мы получаем 109 концептов.

Подозрительно ли, что возможных концептов больше, чем возможных дней? Абсолютно нет. Ведь концепт можно рассматривать как совокупность дней. Можно представлять концепт как набор дней, классифицированных положительно, или, что то же самое, как набор дней, классифицированных отрицательно.

Таким образом, пространство всех возможных концептов классификации дней содержит в себе множество всех возможных множеств дней и его размер $2^{24} = 16 777 216$.

Указанное пространство включает в себя все концепты, которые мы обсуждали до сих пор. Однако оно содержит и такие концепты как «положительно классифицировать только случаи {Ясно, Тепло, Высокая, Сильный} {Ясно, Тепло, Высокая, Слабый} и отвергать все остальные» или «отрицательно классифицировать только случаи {Дождевые облака, Холодно, Высокая, Сильный} и принимать все остальные». Также в это пространство входят концепты без компактного описания, то есть списки допустимых и недопустимых случаев.

В этом проблема создания сильной обучающейся машины: она не может изучить концепт, пока не рассмотрит каждый доступный случай пространства случаев.

Если мы добавим больше свойств для сущности День, например, «Температура воды» или «Прогноз погоды на завтра», то с увеличением числа свойств число возможных вариантов вырастет экспоненциально. В нашем случае с ограниченным пространством концептов это не проблема: большой набор вариантов можно сузить логарифмическим числом примеров.

Допустим, мы добавляем свойство Вода: {Тёплая, Холодная}. Число возможных вариантов дня увеличивается на 48, число возможных концептов — на 325. Допустим, примерно половина подходящих нам концептов классифицирует каждый наблюдаемый день положительно, а другая половина — отрицательно. В таком случае, классифицируя конкретный пример, мы сокращаем пространство подходящих концептов в два раза. То есть, чтобы сузить 325 концептов до одного, нам может хватить всего 9 примеров ($2^9 = 512$).

Даже если у дня будет сорок бинарных свойств, мы всё равно сможем сузить пространство концептов до одного с помощью относительно небольшого набора данных. Если каждый пример сокращает количество возможных вариантов вдвое, нам потребуется шестьдесят четыре примера. Конечно, при условии, что реальное правило представимо в нашем формате!

Однако, если вы захотите рассмотреть все возможные варианты правил, мне останется лишь пожелать вам удачи. Пространство допустимых концептов с ростом числа свойств растёт суперэкспоненциально.

В системе с сорока бинарными свойствами количество всех возможных состояний превышает триллион, а количество возможных концептов — два в триллионной степени. Чтобы сузить такое суперэкспоненциальное пространство концептов и понять, что было на входе и что на выходе, потребовалось бы рассмотреть триллион случаев. По сути, каждый возможный случай.

И это, напоминаю, сорок двоичных свойств. Сорок бит или пять байт с вариантами «Да» или «Нет». Сорок бит это $2^{40}$ возможных случаев и $2^{2^{40}}$ возможных концептов, согласно которым можно классифицировать каждый случай как положительный или отрицательный.

В повседневной жизни, чтобы описать объект, зачастую требуется больше 5 байт. Кроме того, у нас нет триллиона примеров для обучения, а в данных присутствует шум. О довольно привычных понятиях в таких условиях сложно даже подумать. Человеческий разум — и даже вся наблюдаемая Вселенная — недостаточно велики, чтобы рассмотреть все гипотезы.

С этих позиций, обучение не просто опирается на индуктивные эвристики отбора2, оно по сути целиком и полностью из них состоит. Сравните количество концептов, отброшенных априори и количество концептов, отброшенных на основании наличия свидетельств.

«Но какое это имеет отношение к использованию слов?», — спросите вы.

Смысл в том, что у слов есть как интенсионалы, так и экстенсионалы.

В прошлом эссе я подвел следующий итог:

Разрезать реальность по месту естественного соединения частей — проводить границы вокруг необычно плотно сконцентрированных вероятностей.

В это (немного отредактированное) утверждение я специально не вставил важное уточнение, потому что до настоящего момента я не мог его объяснить. Правильнее было бы сформулировать так:

Разрезать реальность по месту естественного соединения частей — проводить простые границы вокруг необычайно плотно сконцентрированных вероятностей в пространстве вещей.

Иначе можно нарезать пространство вещей произвольно. Создавать очень причудливые границы, в которые попадают не связанные друг с другом примеры, и получать множества, которые невозможно описать короче, чем перечислением их элементов. И после этого говорить: «Вот это я видел раньше и это ожидаю увидеть в будущем».

В реальном мире ничего выше уровня молекул не повторяется в точности. Сократ очень похож на всех уязвимых к болиголову людей, но не идентичен им. Поэтому предположение, что Сократ — «человек» основано на простых границах вокруг кластера людей в пространстве вещей. Мы не используем утверждения вида: «Вещи полностью соответствующие [спецификация 1 на пять мегабайт] с [описание множества характеристик] или полностью соответствующие [спецификация 2 на пять мегабайт] с [описание множества других характеристик] … — являются людьми».

Чтобы делать выводы из опыта, нужно внутри него проводить простые границы. Именно поэтому «искусство» описывают содержательными определениями вроде «нечто, созданное с намерением вызывать какие-то сложные эмоции ради самого вызывания эмоций» вместо указания на длинный перечень штук, являющихся или не являющихся искусством.

По сути, утверждение о разрезании реальности по месту естественного соединения частей немного походит на проблему курицы и яйца. Невозможно определить плотность наших наблюдений, пока не проведены хоть какие-то границы. Распределение вероятностей опирается на проведённые границы, а не наоборот. Ведь если бы у вас было распределение вероятностей, вы уже могли бы сделать необходимые выводы. Зачем тогда проводить границы?

А отсюда вытекает ещё одна — да, ещё одна — причина сомневаться в утверждении «можно определить слово как угодно». Учитывая суперэкспоненциальные размеры пространства концептов, очевидно, что выделение любого отдельного концепта и отбрасывание всех остальных — это акт немалой наглости. И не только для нас, но и для любого разума с ограниченными вычислительными способностями.

Определение слова «виггин» как «черноволосого зеленоглазого человека» без каких-либо оснований для выделения этого концепта в зону нашего внимание подобно поведению детектива, который сказал бы: «Итак, у меня нет никаких оснований делать какие-либо выводы о личности убийцы сирот… ни одной догадки… Давайте возьмём в качестве подозреваемого Джона К. Уиффлхайма, живущего по адресу Норкл роуд, 1234?»

• 1. Tom M. Mitchell, Machine Learning (McGraw-Hill Science/Engineering/Math, 1997).
• 2. В оригинале используется термин inductive bias. — Прим.перев.

Ранее я называл общей информацией $I(X;Y)$ двух переменных $X$ и $Y$ разницу между энтропией составного распределения $H(X,Y)$ и суммарной энтропией частных распределений $H(X) + H(Y)$.

Я приводил пример с переменной $Х$, которая может принимать восемь состояний $X_{1}, …, X_{8}$ (эти состояния при отсутствии каких-либо свидетельств равновероятны) и переменной $Y$, принимающих четыре состояния $Y_{1}, …, Y_{4}$ (также равновероятных при отсутствии каких-либо свидетельств). Можно показать, что предельные энтропии $H(X)$ и $H(Y)$ равны 3 и 2 бита соответственно.

Однако нам известно, что $X$ и $Y$ либо одновременно чётные, либо одновременно нечётные. Таким образом, совместное распределение $(X,Y)$ содержит 16 равновероятных состояний, и энтропия этого распределения равна 4 битам. Это приводит к недостатку энтропии в 1 бит по сравнению с 5 битами $X$ и $Y$, будь они независимыми. Этот недостаток энтропии — общая информация: информация, которую $X$ сообщает нам об $Y$, и наоборот. Это уменьшает нашу неопределенность в знании одной переменной при получении знания о другой.

Но предположим, что существует переменная $Z$ с состояниями «чётно» и «нечётно», с идеальной корреляцией с четностью распределения $(X,Y)$. Иными словами, $Z$ — это просто вопрос: «являются ли $X$ и $Y$ чётными или нечётными?»

Если у нас нет свидетельств об $X$ и $Y$, то, с учётом известной информации, у $Z$ определённо 1 бит энтропии. Есть один бит общей информации между $Z$ и $X$, а также один бит общей информации между $Z$ и $Y$. Сколько получится энтропии у всей системы $(X, Y, Z)$? Можно наивно полагать, что
$$H(X,Y,Z) = H(X) + H(Y) + H(Z) − I(X;Z) − I(Z;Y) − I(X;Y),$$
но, оказывается, это не так.

Составная система $(X, Y, Z)$ обладает 16 возможными состояниями, поскольку $Z$ это лишь вопрос «Являются $X$ и $Y$ четными или нечетными?», поэтому $H(X,Y,Z) = 4$ бита.Но если посчитать согласно вышеприведённой формуле, получится
$$(3 + 2 + 1 − 1 − 1 − 1) бит = 3 бита = Неверно!$$
Почему? Потому что если есть общая информация между $X$ и $Z$, а также общая информация между $Z$ и $Y$, они могут содержать ту же общую информацию, которая появилась бы при подсчёте общей информации между $X$ и $Y$. Например, в нашем случае знание, что $X$ — чётно, приводит к знанию, что $Z$ — чётно, а это в свою очередь говорит нам, что $Y$ — чётно, но это та же самая информация, которую нам даёт $X$ о $Y$. Мы считаем одно и то же два раза, а потому энтропии оказывается слишком мало.

Правильная формула такова:
$$H(X,Y,Z) = H(X) + H(Y) + H(Z) − I(X;Z) − I(Z;Y) − I(X;Y|Z).$$

Последнее слагаемое $I(X;Y|Z)$ означает «информацию, которую $X$ несёт об $Y$, при условии, что $Z$ известно». В нашем случае $X$ не несёт какой-либо информации об $Y$, при условии, что $Z$ известно, поэтому слагаемое равно нулю, а уравнение даёт правильный результат. Ну вот, разве не прекрасно?

«Нет», — правильно ответите вы, — «ведь ты не сказал, как вычислить слагаемое $I(X;Y|Z)$, а лишь словесно описал, что оно должно быть равно нулю».

Мы вычисляем $I(X;Y|Z)$ уже привычным способом. Мы знаем, что $I(X;Y) = H(X) + H(Y) − H(X,Y)$, а поэтому
$$I(X;Y|Z) = H(X|Z) + H(Y|Z) − H(X,Y|Z).$$

А теперь вам должно быть интересно, как вычислить условную энтропию? Исходная формула для энтропии выглядит так:
$$H(S) = -\sum\limits_{i}p(S_{i})\log_{2}{p(S_{i})}$$

Если нам становится известен факт Z0, оставшаяся неопределенность относительно S окажется равна
$$H(S|Z_{0}) = -\sum\limits_{i}p(S_{i}|Z_{0})\log_{2}{p(S_{i}|Z_{0})}.$$

А значит, если нам становится известно что-либо о Z, то в среднем мы ожидаем вот такой неопределенности после этого знания:
$$H(S|Z) = -\sum\limits_{j}\left( p(Z_{j})\sum\limits_{i}p(S_{i}|Z_{j})\log_{2}{p(S_{i}|Z_{j})}\right).$$

Вот так считаются условные энтропии, из которых впоследствии можно извлечь условную общую информацию.

Существует огромное количество вспомогательных теорем вроде
$$H(X|Y) = H(X,Y) − H(Y)$$

и если $I(X;Z) = 0$ и $I(Y;X|Z) = 0$, то $I(X;Y) = 0$,

но я не стану вдаваться в подробности.

«Но», — спросите вы, — «какое отношение это имеет к природе слов и их скрытой байесианской структуре?»

Я несказанно рад вашему вопросу, ведь я собирался рассказать об этом независимо от вашего желания. Но вначале нужно проговорить ещё кое-что.

Следует запомнить — и как следует, — что между общей информацией и байесовским свидетельством есть связь. Общая информация положительна тогда и только тогда, когда вероятность хотя бы одного составного события $P(x,y)$ не равна произведению вероятностей событий по отдельности $P(x)P(y)$. Это, в свою очередь, эквивалентно наличию байесовского свидетельства между $x$ и $y$.

$$I(X;Y) > 0 =>$$
$$P(x,y) \neq P(x) \cdot P(y) $$
$$\frac{P(x,y)}{P(y)} \neq P(x)$$
$$P(x|y) \neq P(x)$$

При условии известного $Z$, уравнения можно переписать как:

$$I(X;Y | Z) > 0 =>$$
$$P(x,y|z) \neq P(x|z) \cdot P(y|z)$$
$$\frac{P(x,y|z)}{P(y|z)} \neq P(x|z)$$
$$\frac{(P(x,y,z) / P(z))}{(P(y, z) / P(z))} \neq P(x|z)$$
$$\frac{P(x,y,z)}{P(y,z)} \neq P(x|z)$$
$$P(x|y,z) \neq P(x|z)$$

Последняя строчка обозначает: «Даже при известном $Z$, знание $Y$ меняет наши представления об $X$»

И, наоборот, в нашем примере знание, что $Z$ чётно или нечётно экранирует $X$ от $Y$. Если мы знаем, что $Z$ — чётно, то информация $Y = Y_{4}$ не помогает нам узнать, в каком именно состоянии находится $X$: $X_{2}$, $X_{4}$, $X_{6}$, или $X_{8}$. Также, если мы знаем, что $Z$ — нечётно, то информация $X = X_{5}$ не несёт информации, находится ли $Y$ в состоянии $Y_{1}$ или $Y_{3}$. Знание $Z$ сделало $X$ и $Y$ условно независимыми.

Условная независимость — очень важное понятие в теории вероятностей. Кто-то даже утверждает, что без условной независимости у вселенной не было бы структуры.

В этом эссе, впрочем, я хочу поговорить лишь об одном виде условной независимости: случае, когда некая центральная переменная экранируется другими окружающими её переменными (получается что-то вроде тела с тентаклями).

Предположим, у нас есть пять переменных $U$, $V$, $W$, $X$ и $Y$, причём для каждой пары этих переменных, одна является свидетельством о другой. То есть, например, если взять пару $U$ и $W$, то знание $U = U_{1}$ изменит ваши убеждения о вероятности $W = W_{1}$.

Что это? Нераспутываемый клубок причин и следствий? Сумасшествие свидетельств? Не обязательно.

Представим, что $U$ — «умеет разговаривать», $V$ — «две руки и десять пальцев», $W$ — «носит одежду», $X$ — «умирает от болиголова», а $Y$ — «красная кровь». Теперь, если вы встретите в повседневной жизни нечто, что может быть яблоком, а может быть и камнем и узнаете, что оно говорит по китайски, вы обязаны присвоить большую вероятность гипотезе, что оно носит одежду. А если вы узнаете, что это нельзя отравить болиголовом, вы присвоите меньшую вероятность гипотезе красной крови.

Некоторые правила строже других. Пауль потерял палец во время извержения вулкана. Младенец Майкл пока не умеет говорить. IRC-бот Ирвин разговаривает, но у него нет крови. Знание о цвете крови, полученное из факта обладания разговорной речью, не экранируется от нас, если мы узнаем, что нечто не носит одежду. Тот, кто не носит одежду и при этом разговаривает, может оказаться нудисткой Нелли.

Этот пример гораздо интереснее, чем, например, случай с пятью целочисленными переменными, которые одновременно чётные или нечётные, но в остальном не связаны друг с другом. В случае с целочисленными переменными знание одной из них экранирует всё, что вторая переменная могла сказать о третьей.

Но в этом новом примере, как показывает случай с нудисткой Нелли, зависимости не исчезают, когда мы узнаём значение одной из переменных. То есть, это всё-таки нераспутываемый клубок причин и следствий?

Не бойтесь! Ведь может существовать шестая переменная $Z$, которая, если бы мы знали её значение, действительно экранировала бы любую пару переменных друг о друга. Может существовать — даже если нам придётся её создать самим, а не наблюдать напрямую — такая переменная, что:

$P(U|V,W,X,Y,Z) = P(U|Z)$
$P(V|U,W,X,Y,Z) = P(V|Z)$
$P(W|U,V,X,Y,Z) = P(W|Z)$
⋮
Возможно, при условии, что нечто является «человеком», вероятности, что оно говорит, носит одежду и обладает стандартным количеством пальцев являются независимыми. У Пауля нет пальца, но у него столько же шансов оказаться нудистом, как и у любого другого человека. Нелли никогда не носит одежду, но это знание не уменьшает вероятности владения ею разговорной речью. А малыш Майкл ещё не говорит, но все конечности у него на месте.

Это называется методом «наивного Байеса». Обычно он не совсем верен, но можно упростить вычисления, если вообразить его истинность. Мы не следим за влиянием ношения одежды на речевые способности, учитывая количество пальцев. Мы просто используем всю наблюдаемую информацию, чтобы оценить вероятность, что перед нами человек (или, наоборот, кто-то ещё — например, шимпанзе или робот). А затем мы применяем наши убеждения о центральном классе, чтобы предсказать то, что мы не наблюдаем: например, уязвимость к болиголову.

Любое наблюдение $U$, $V$, $W$, $X$ или $Y$ лишь является свидетельством переменной центрального класса $Z$, а затем мы используем апостериорное распределение $Z$ для необходимых нам предсказаний ненаблюдаемых переменных $U$, $V$, $W$, $X$ или $Y$.

Знакомо звучит? А должно бы:

В сущности, если использовать правильные элементы сети, то такая «нейронная сеть» окажется математически эквивалентной наивному Байесу. Нужно лишь, чтобы у центрального элемента была логистическая функция активации, а веса у элементов на входе должны равняться логарифмам соотношений правдоподобия, ну и так далее. Можно даже предположить, что логистическая функция отклика в нейронных сетях так часто подходит в том числе именно потому, что она позволяет алгоритму немножко заниматься байесианскими рассуждениями, пока создатели не смотрят.

Если кто-то показывает вам алгоритм, называя его «нейронной сетью», и прибавляя загадочные слова вроде «неряшливый»1 и «эмерджентный», и при этом гордо заявляет, что невозможно понять, как обученная сеть работает, то не думайте, что этот малыш-ИИ действительно выходит за пределы царства логики. Потому что, в конце концов, если он работает, он окажется байесовой структурой, может даже точь-в-точь алгоритмом, называемым байесовским.

Даже если на первый взгляд он не похож на байесовский.

А потом, как известно, байесианцы начнут объяснять, как этот алгоритм работает, на каких предположениях он основывается, какие зависимости окружающей среды использует, где сработает, а где нет, и даже станут присваивать понятные значения весам натренированной сети.

Досадно, да?

• 1. В оригинале scruffy. — Прим.перев.

Представьте, что я скажу вам: «Удивительно — у светильников в этом отеле треугольные лампочки».

Может быть, вы это уже представили, может быть, нет. Если нет, сделайте это сейчас. Какими именно представляет ваш внутренний взор треугольные лампочки?

В частности, у них острые края или закруглённые?

Насколько мне позволяет судить интроспекция, когда у меня в голове впервые появилось словосочетание «треугольные лампочки» (нет, в отеле их не было), я сразу же увидел лампочку в виде пирамидки с острыми краями. Затем (практически мгновенно) грани сгладились, после чего мой мозг, в качестве альтернативы, выдал замкнутую трубку люминесцентной лампы в форме треугольника со скруглёнными краями.

Кажется, ни одной сформулированной/словесной мысли при этом задействовано не было. Лишь быстрая безмолвная реакция в ответ на воображаемый образ острого стекла, изъяны в форме которого были исправлены до того, как на ум пришло первое слово.

Можете не верить, но люди несколько десятилетий всерьёз спорили о том, можем ли мы создавать визуальные образы в своей голове на самом деле — например, можем ли мы по-настоящему мысленно увидеть изображение стула в каком-нибудь окружении, — или мы лишь наивно думаем, что можем (будучи обмануты этим «самонаблюдением», ужасной и запрещенной деятельностью), а на самом деле в нашем мозге просто активируется маленький ярлычок «стул», что-то вроде LISP токена.

Сейчас мне очень сложно удержаться от восклицаний вроде «Какая потрясающая нелепость». Такие восклицания — следствия ошибки знания задним числом. Но всё же: какая потрясающая нелепость.

Я думаю, подобная точка зрения в академической среде в значительной степени была безумным наследием бихевиоризма. Бихевиоризм отрицал существование мышления у людей и пытался объяснить все аспекты человеческого поведения (включая речь) «рефлексами». Скорее всего, о бихевиоризме стоит написать отдельно, как о своеобразном извращении рационализма. Но сейчас я пишу о другом.

«Ты называешь это предположение нелепым, — скажете вы, — но откуда ты можешь узнать, что твой мозг производит эти визуальные образы? Тебе достаточно того, что ты просто закрываешь глаза и видишь их?»

Сейчас ответить на этот вопрос проще, чем в те времена. Если вас не устраивает простое самонаблюдение и вы намерены проверить реальность мысленных образов «научно», вам понадобится вывести это из эксперимента. Например, покажите людям два предмета и спросите, можно ли один из них повернуть так, чтобы получить второй. Время ответа линейно зависит от необходимого угла поворота. Такой результат сложно объяснить, если вы только сверяете какие-то особенности изображений. Но если вы действительно представляете предмет в уме и непрерывно вращаете его с постоянной скоростью, то все сходится.

Сегодня мы можем увидеть настоящие нейрообразы небольших картинок из зрительной коры. Так что, да, ваш мозг реально воспроизводит детализированные визуальные образы того, что он видит или представляет. Советую книгу Стивена Косслина «Мозг и Образы: итоги споров о воображении»1.

Людям сложно использовать слова в том числе и потому, что они не понимают всю сложность, что таится за ними.

Вы можете представить «зелёную собаку»? Вы можете представить «сырное яблоко»?

«Яблоко» — это не просто последовательность из трёх слогов или шести букв. Последовательность из шести букв всего лишь тень. Лишь кончик от тигриного хвоста.

Слова, точнее понятия, скрывающиеся за ними, подобны кистям художника. Вы можете писать ими картины в вашем собственном воображении. Писать в буквальном смысле, если вы используете кисти идей, чтобы создать картину на холсте своей зрительной коры. Используя общие ярлыки, вы также можете схватить кисти в головах других людей и написать картины там. Например, набросать маленькую зелёную собачку на чьей-то зрительной коре.

Но, распространяя звуки через воздух или буквы через Интернет, не заблуждайтесь, будто именно звуки и буквы пишут картины в зрительной коре. Эта задача требует более сложных инструкций, чем могла бы вместить последовательность букв. «Яблоко» — это шесть байт, но написание натюрморта с яблоком с нуля потребовало бы гораздо больше данных.

«Яблоко» — это всего навсего ярлык, скреплённый с настоящей и невыразимой словами идеей яблока. Идеей, что может написать картину в вашей зрительной коре, или столкнуться с «сырностью», или распознать яблоко, когда оно будет перед вашими глазами, или почувствовать его образец в яблочном пироге, или даже запустить движение челюсти, привычное при поедании яблока…

И это не просто воспроизведение картинок из памяти. Иначе как вы могли бы визуализировать нечто вроде «треугольной лампочки», наложить треугольность на лампочку и совместить обе сущности, если никогда в своей жизни не видели ничего похожего?

Не совершайте той же ошибки, что и бихевиористы. Речь гораздо сложнее, чем просто звуки в воздухе. Ярлыки служат лишь указателями: «Ищите в сегменте памяти №1387540». Если у вас есть указатель, рано или поздно настанет время перейти по нему и действительно заглянуть в сегмент памяти №1387540.

На что слово указывает?

• 1. Stephen M. Kosslyn, Image and Brain: The Resolution of the Imagery Debate (Cambridge, MA: MIT Press, 1994).

Альберт: «Каждый раз, когда я слышал падение дерева, оно создавало звук, поэтому я считаю, что остальные деревья тоже создают звуки в процессе падения. Я не думаю, что мир ведёт себя по-разному в зависимости от того, смотрю я на него или нет».

Барри: «Секундочку! Если никто не может этого услышать, то как это может быть звуком?»

Иногда, когда я описываю диалог между Альбертом и Барри о том, создаёт ли звук падающее дерево в лесу, я замечаю, что уже не могу сопереживать моим героям. Я просто перестаю на интуитивном уровне понимать, откуда берутся такие споры, пусть я и наблюдал их многократно.

В такие минуты, чтобы заново вернуть себе это чувство возмущения, я повторяю себе: «Падающее дерево либо производит звук, либо нет!»

Для произвольного высказывания P на привычном нам языке, выражение (P или ¬P) не всегда оказывается надежной эвристикой. Высказывание «Это высказывание ложно» невозможно считать ни истинным, ни ложным. А ведь ещё можно вспомнить старое доброе: «Вы перестали бить свою жену, да или нет?»

У математика, который верит в классическую (а не интуитивную) логику, есть способы всё равно настаивать на том, что (P или ¬P) — это теорема. Например, можно заявить, что «это высказывание ложно» — не высказывание.

Однако все такие способы достаточно нетривиальны, и этого достаточно, чтобы показать, что не всё так просто. Нельзя просто сломя голову нестись с фразой «либо это есть, либо этого нет!»

Так производит падающее дерево звук или нет, или…?

Конечно, 2 + 2 либо равняется Х, либо нет? Возможно и так, если не меняется Х, не меняется 2, и не меняются + и =. Если же Х иногда оказывается равным 5, а иногда — 4, ваше возмущение может оказаться неуместным.

Чтобы утверждать, что (P или ¬P) обязано быть правдой, символ P должен обозначать одно и то же в обеих частях дилеммы. «Либо падение производит звук, либо нет!» — но если Альберт::звук не то же самое, что и Барри::звук, нет ничего парадоксального в том, чтобы дерево производило Альберт::звук, но не Барри::звук.

(Использование :: во избежание путаницы в пространстве имен вошло у меня в привычку со времен использования C++. Если есть две разных библиотеки, определяющие класс Звук, можно писать Библиотека1::Звук, уточняя, какой именно Звук имеется в виду. К сожалению, такая практика, кажется, не слишком распространена. Мне часто хочется использовать её при письме.)

Различие может быть очень тонким: Альберт и Барри могут тщательно проговорить, что речь идёт об одном и том же дереве, в том же самом лесу, падение то же самое и убедиться, что их разногласия касаются одного и того же события. И при этом не проверить, обсуждают ли они одно и то же понятие.

Вспомните продуктовый магазин, в который вы чаще всего заходите. Он на левой стороне улицы или на правой? Но, разумеется, никакой «левой стороны» улицы нет, есть только левая сторона для вас по мере движения в каком-нибудь направлении. Многие слова, которые мы используем, по сути являются функциями неявно заданных переменных, полученных из контекста.

Это явление называется «дейксис говорящего». И решить эту задачу для создания искусственного интеллекта, который должен обрабатывать естественный язык, ужасно сложно.

«Мартин сказал Бобу, что здание слева от него». Но «слева» — это слово-функция. И эта функция вычисляется, исходя из значения обусловленной говорящим человеком переменной, которая незаметно извлекается из контекста. Чьё «слева» имеется в виду, Боба или Мартина?

Переменные в ошибке изменяемого вопроса часто сложно заметить. Ситуации из жизни обычно сложнее, чем: «То есть, ты думаешь, что Z + 2 равно 6?»

Если путаница в пространстве имён приводит к тому, что два разных понятия выглядят единым, потому что они называются одинаково, или сжатая карта показывает два разных события как одно, потому что для них есть только один файл в голове, или одна и та же функция возвращает разный результат в разном контексте, то сама реальность становится изменчивой. По крайней мере, так алгоритм ощущается изнутри. Сознание видит только карту, но не саму территорию.

Если вы столкнулись с вопросом, в котором есть скрытая переменная, и в разных контекстах у вас получаются разные выражения, кажется, что реальность нестабильна сама по себе. Картина, которую вы видите своим разумом, меняется в зависимости от направления взгляда.

Студенты (и профессоры-постмодернисты) часто теряются, когда обнаруживают предложение с более чем одним способом интерпретации. Им кажется, что они открыли нестабильную часть бытия.

«О, чудо! „Солнце вращается вокруг Земли“ истинно для охотника Унги, но для астронома Амары „Солнце вращается вокруг Земли“ ложно! Не бывает однозначной истины!» Разбор этого умствования первокурсника я оставлю читателю в качестве упражнения.

Но всё же, даже я сам поймал себя на том, что пишу: «Если X равно 5 в некоторых случаях и 4 в других, то высказывание „2+2 = X“ может не иметь постоянного значения истинности». Не бывает высказываний с переменной истинностью. У «2+2 = X» нет значения истинности. Это не высказывание в математическом смысле. Это сочетание символов можно считать высказыванием в той же мере, в какой высказыванием является выражение «2 + 2 =», а «Фред перепрыгнул через» — грамматически верное предложение.

Но эта ошибка прокрадывается в наши рассуждения, даже когда вы о ней прекрасно знаете. Потому что именно так алгоритм ощущается изнутри.

Некоторые читатели утверждают, что было бы лучше назвать это эссе1 «37 случаев, в которых слова можно использовать неразумно» или «37 случаев, когда недостаточно оптимальное использование категорий может вызвать негативные эффекты в вашем восприятии». Но одна из основных идей, которым учит этот немаленький список, заключается в том, что утверждение «Не может быть, чтобы мой выбор Х был неверным» практически всегда ошибочно, независимо от теории. Люди могут заблуждаться в любом конкретном случае. Даже если теоретически возможно быть всегда правым, на деле вы будете ошибаться. Не бывает универсального счастливого билета на любой случай, такова жизнь.

Кроме того, я могу определить слово «ошибочен» любым способом, каким захочу — но это не значит, что само слово становится ошибочным. Впрочем, лично я считаю, что в следующих случаях использование понятия «ошибочный» вполне оправдано:

1. Слово потеряло всякую связь с реальностью.
   Является ли Сократ фрамстером? Да или нет? (Притча о кинжале.)

2. Ваши слова, если бы такое было возможно, принудили бы реальность измениться при изменении словесного определения.
   Сократ — человек, а люди по определению смертны. Если вы определите людей как бессмертных существ, будет ли Сократ жить вечно? (Притча о болиголове.)

3. Вы пытаетесь установить эмпирические взаимоотношения, как будто бы они верны «по определению».
   Сократ — человек, а все люди по определению смертны. В таком случае будет ли логически верным, если мы предскажем результат опыта, в котором Сократ пьёт настойку болиголова и теряет сознание? Ведь является логически возможным и непротиворечивым существование миров, в которых Сократ не потеряет сознание. В которых он будет иметь иммунитет к болиголову, в результате, например, странного сбоя в его биохимических процессах. Логические истины истинны во всех возможных мирах, но эти истины не сообщают, в каком из возможных миров вы находитесь. Поэтому всё, что вы задаёте «по определению» является логически верным. (Притча о болиголове.)

4. Вы неосознанно навешиваете условные ярлыки на что-либо, в реальности не используя словесные определения, которые вы только что дали.
   Вы точно знаете, что Боб — человек. Хотя, в вашем определении вы не будете называть Боба человеком, не удостоверившись сначала в том, что он смертен. (Притча о болиголове.)

5. Факт навешивания словесного ярлыка скрывает спорный индуктивный вывод, который вы делаете.
   Если последние 11 извлечённых вами яйцевидных объектов были синими, а последние 8 кубических объектов были красные, то применив индукцию вы можете предположить, что это соотношение сохранится и будущем. Но если вы назовёте синие яйца «сияйцами», а красные кубы «крубами», то вы можете засунуть руку в бочку, нащупать что-то круглое и подумать «Ага, сияйцо». (Слова как скрытые умозаключения.)

6. Вы пытаетесь определить одни слова с использованием других, более сложных и формальных понятий, без возможности указать на конкретный образец.
   — Что такое «красный»?
   — «Красный» это цвет.
   — Что такое «цвет»?
   — Цвет это свойство вещей.
   — Что такое «свойство»? Что такое «вещь»?
   Такого не случится, если вы укажете на красный сигнал светофора и на красное яблоко. (Экстенсионалы и интенсионалы.)

7. Фактическое определение не совпадает со словесным определением.
   Мы не осознаём, что определяем красную точку на небе как «Марс», и это может происходить независимо от того, что мы определим «Марс» как бога войны. (Экстенсионалы и интенсионалы.)

8. Ваше словесное определение охватывает всего лишь небольшую часть общих характеристик категории, но вы пытаетесь рассуждать, будто определение полное.
   Когда философы в платоновской академии решили, что лучшим определением человека является «двуногое без перьев», киник Диоген предъявил им ощипанного петуха и провозгласил, что это и есть «человек Платона». Тогда ученики Платона просто исправили определение на «двуногое без перьев и с плоскими когтями». (Кластеры подобия.)

9. Вы пытаетесь рассматривать членство в определённой категории по принципу всё или ничего, не обращая внимания на то, что могут существовать подгруппы более или менее типичных членов.
   Утки и пингвины являются менее типичными птицами по сравнению с малиновками и голубями. Интересно, что межгрупповые эксперименты показали, что люди думают, будто болезни легче передаются от малиновок к уткам на островах, чем от уток к малиновкам. (Типичность и асимметричное подобие.)

10. Словесное определение хорошо работает, чтобы на практике указывать на группы сходных объектов, но вы придираетесь к исключениям.
    Не каждый человек имеет десять пальцев, или носит одежду, или использует язык. Однако, если посмотреть на реальные группы объектов, которые разделяют эти характеристики, вы получите достаточно информации, чтобы попадающиеся время от времени люди с девятью пальцами не ввели вас в заблуждение. (Кластерная структура пространства вещей.)

11. Вы спрашиваете, принадлежит ли объект некоторой категории, но не называете вопрос, ответ на который вы на самом деле хотите получить.
    Что есть «человек»? Является ли младенец Барни человеком? Правильный ответ на этот вопрос может сильно зависеть от того, что вы действительно хотите выяснить: «Хорошо ли кормить Барни болиголовом?» или «Будет ли Барни хорошим мужем?». (Замаскированые вопросы.)

12. Вы рассматриваете интуитивно воспринимаемые иерархические категории, как единственно верный способ анализа мира, не осознавая, что возможны и другие способы делать статистически выводы, даже если вы их не используете.
    Для человека значительно проще определить, является ли предмет сияйцом или крубом, чем обратить внимание на то, что красные предметы никогда не светятся в темноте, но красные мохнатые предметы обладают всеми прочими характеристиками сияиц. Прочие статические алгоритмы работают иначе. (Нейронные категории.)

13. Вы рассуждаете о категориях, будто они как манна упали из мира идей Платона, хотя это всего лишь ярлыки в вашем сознании, связанные с определённой концепцией.
    Древние философы говорили «Сократ человек», а не «Мой мозг посредством ощущений определяет Сократа, как попадающего в концепцию «человек». (Как алгоритм ощущается изнутри.)

14. Вы продолжаете спорить о принадлежности к категории после отсеивания всех вопросов, которые могут зависеть от выводов, основанных на категориях.
    После того, как вы определили, что предмет синий, яйцеобразный, мохнатый, гибкий, непрозрачный, светящийся в темноте и содержащий палладий, что является всеми признаками сияиц, какой смысл спрашивать «Сияйцо ли это?» Однако, если распределяющая нейронная сеть вашего мозга содержит условный центр, связанный с выведением понятия сияйцности, то может показаться, что такой вопрос всё-таки существует. (Как алгоритм ощущается изнутри.)

15. Вы позволяете дискуссии сместиться в область обсуждения определений, несмотря на то, что вы изначально не планировали об этом спорить.
    Если перед началом спора о том, производит ли «шум» падающее дерево в лесу, когда звук падения никто не слышит, вы спросите двух будущих спорщиков о том, что они будут подразумевать под «шумом», звуковые волны или слуховые переживания, они, возможно, предложат вам бросить монетку. Но после начала дискуссии определение всё равно станет обсуждаться. (Споры об определениях.)

16. Вы считаете, что слово имеет смысл само по себе, а не потому, что оно является меткой, связанной с некоторыми понятиями в вашем мозгу.
    Когда кто-то кричит «А-а-а! Тигр!”, эволюция не предпочтёт организмы, которые подумают: «Ммм… Я только что услышал слоги ”ти” и ”игр”, которые члены моего племени связывают со своей внутренней моделью, соответствующей моему личному понятию ”тигр”, и которое А-А-А! ХРУМ ХРУМ ХРУМ». Поэтому мозг сокращает цепочку рассуждений, и кажется, что смысл тигриности несёт само слово. Люди спорят о правильном значении слов, например слова «шум». (Ощути смысл.)

17. Вы спорите о значении слов даже в том случае, когда все стороны прекрасно понимают, что остальные имеют в виду под этим словом.
    Свойство человека связывать ярлыки с определёнными понятиями является средством общения. Когда люди хотят общаться, их тяжело остановить. Если у людей нет общего языка, они общаются рисуя картинки на песке. Когда каждый поймёт, что находится в разуме у остальных, дело будет сделано. (Аргумент к традиционному пониманию.)

18. Вы обращаетесь к словарю в разгаре спора о практических вещах или о морали.
    Редакторы словарей скорее историки языка, нежели его законодатели. Если обычное определение содержит сложность, например, «Марс» определён как бог войны, «дельфин» как вид рыб или «негры» как нелюди, то словарь отражает распространённое заблуждение. (Аргумент к традиционному пониманию.)

19. Вы обращаетесь к словарю в разгаре любого спора.
    Вы и вправду считаете, что редакторы словарей являются авторитетными специалистами в области определения атеизма как религии, или в любой другой? Даже если ставки в вашем споре крайне высоки, неужели вы считаете, что редакторы словарей достигли просветления, которое поможет им разрешить любой ваш диспут? (Аргумент к традиционному пониманию.)

20. Вы игнорируете распространённое определение без повода, лишая окружающих всякой возможности вас понять.
    Быстро встаёт плутоний с бочками без ручек. (Аргумент к традиционному пониманию.)

21. Вы используете сложные термины взамен простых чтобы создать иллюзию получения выводов.
    Если «человек» определить как «смертное двуногое без перьев», то можно написать: Все смертные двуногие без перьев смертны. Сократ — смертное двуногое без перьев, поэтому Сократ смертен. Выглядит не так впечатляюще в данном случае, не так ли? (Пустые ярлыки.)

22. Вы вступаете в спор, которого могли бы избежать, если бы не использовали конкретное слово.
    Если Альберт и Барри не смогут использовать слово «шум», то Альберту придётся сказать: «Дерево, падающее в лесу, в котором никого нет, производит звуковые волны. А Барри скажет: «Дерево, падающее в лесу, в котором никого нет, не вызывает слуховых переживаний». Если слово создаёт проблему, то простейшим решением будет исключение этого слова из употребления, как и его синонимов. (Табуируй свои слова.)

23. Ваше внимание отвлекается на короткое изящное слово, и вы не можете обдумать данное понятие во всех подробностях.
    Что происходит в школах, если перестать это называть образованием? Что такое степень, если не называть это «степенью»? Если монета упала «орлом», то какова её радиальная ориентация? Как может быть нечто «истинно», если нельзя употребить «точный», «правильный», «представлять», «отражать», «семантический», «убеждение», «знание», «карта», «реальный» или любые другие простые термины? (Замени символ на суть.)

24. У вас есть только одно слово, которому соответствуют два или более реальных объектов. И из-за этого все связанные с этими объектами факты собираются в одну кучу у вас в голове.
    Частью обычной работы детектива является наблюдение за тем, носила ли Кэрол красное платье прошлым вечером, или что у неё чёрные волосы. Также детектив может поинтересоваться, красит ли Кэрол волосы. Но более сообразительный детектив может также задуматься, а может Кэрол было двое, одна носила красное платье, вторая была с чёрными волосами. (Ошибки сжатия.)

25. Вы устанавливаете зависимости там, где их не существует, извлекая некие свойства из ваших определений, даже в случаях, когда нет сходства между данными областями.
    В Японии считается, что люди с первой группой крови серьёзные и творческие, со второй — импульсивные и жизнерадостные, с третьей — хорошо социализированные и приятные, с четвёртой — сдержанные и с хорошим самообладанием. (У классификации есть последствия.)

26. Вы добавляете побочные смысл к слову, основываясь на определении, которое не включает в себя побочные смыслы.
    «Виггин» определён в словаре как человек с чёрными волосами и зелёными глазами. Но это слово также имеет побочный смысл, обозначая людей, совершающих преступления и издевающихся над животными, но этого нет в словаре. И вы показывается на кого-то пальцем и сообщаете: «Чёрные волосы и зелёные глаза? Ага, он виггин! Смотрите, сейчас он будет красть столовое серебро». (Контрабанда характеристик.)

27. Вы утверждаете, что X есть Y по определению. В таких случаях вы почти наверняка добавите дополнительные смыслы к Y, чего не было в исходном определении.
    Вы определяете человека как двуногое без перьев, и, показывая на Сократа, сообщаете: «Нет перьев, две ноги, должно быть, это человек!» Но на самом деле вы думаете о чём-то ином, например о смертности человека. Если подобное случится во время дискуссии о количестве ног у Сократа, ваш оппонент может возразить: «Как же так, у Сократа две ноги? Это же как раз то, с чего мы начали спорить!» (Аргумент «по определению».)

28. Вы утверждаете, что объекты P по определению являются объектами типа Q.
    Если вы видите, как Сократ в компании биологов собирает травы, которые могут вызвать сопротивляемость к болиголову, то нет смысла оспаривать утверждение «Люди по определению смертны». В большей части случаев, когда вам кажется, что надо сильнее надавить и настоять на некоем утверждении «по определению», в реальности существуют иные факты, ставящие ваш вывод под сомнение. (Аргумент «по определению».)

29. Вы пытаетесь установить принадлежность к реально существующей группе «по определению».
    Не требуется утверждать, что «Индуизм, по определению, является религией», потому что индуизм действительно является религией. Это не религия «по определению», а, можно сказать, реальная религия. Атеизм же не похож на основных членов группы «религии», так что, если бы внезапно не оказалось, что атеизм является религией по определению, то вы бы пришли к выводу, что это всё-таки не религия. По этой причине вы можете подавить любых противников, сообщая, что утверждение «Атеизм является религией» верно по определению, хотя во всех остальных случаях это всё же не верно. (Аргумент «по определению».)

30. Ваше определение ограничивает группу неких объектов, которые не связаны друг с другом.
    Вы можете, если захотите, утверждать, что слово «рыба» относится к лососям, гуппи, акулам, дельфинам и форели, но не к медузам или водорослям. Вы можете утверждать, что это всего лишь список, и не может быть, чтобы список был ошибочным. Или вы можете перестать валять дурака и признать, что вы допустили ошибку и дельфины не принадлежат к списку, в который входят рыбы. (Где проводить границу?)

31. Вы используете короткое слово для того, что не нужно часто упоминать, или длинное слово для того, что упоминается часто. Это может приводить к неэффективном рассуждениям, или даже к некорректному применению Бритвы Оккама — если ваш разум будет считать, что короткие предложение звучат «проще».
    Что звучит правдоподобнее: «Бог сотворил чудо» или «Сверхъестественная сущность, создавшая вселенную, временно изменила законы физики»? (Энтропия и короткие сообщения.)

32. Вы ограничиваете определённое пространство идей, которое не содержит какое-то отличное от окружающего пространства количество понятий. В результате слово, обозначающее группу объединённых понятий не связано с хоть сколь-нибудь производительным Байесовским выводом.
    Раз уж зеленоглазые люди не имеют чёрные волосы чаще, чем волосы другого цвета, и чёрные волосы также не связаны с зеленоглазостью, и кроме того людей с зелёными глазами и чёрными волосами не объединяют какие-либо иные значимые черты, то зачем вообще нужно слово «виггин»? (Общая информация и плотность в пространстве вещей.)

33. Вы ограничиваете множество вещей без значимой причины для такого действия.
    Придумывание слова для всех людей, кроме чернокожих, выглядит несколько подозрительным. Если вы не сообщаете причины такого разграничения, создавая произвольные термины, это может выглядеть примерно следующим образом, как если бы детектив сказал: «Знаете, у меня нет не единого повода предпочесть одного или другого человека, кто бы мог убить тех сирот. Однако, может рассмотрим Джона Уифлхайма в качестве подозреваемого?» (Суперэкспоненциальное пространство концептов и простые слова.)

34. Вы используете классификации, чтобы делать выводы о свойствах, не имеющих реальных структур, а именно, условная независимость данных групп в случае хорошего приближения при использовании простой интерпретации теоремы Байеса.
    Я ни за что не буду пытаться это резюмировать, просто прочитайте соответствующее эссе. (Условная независимость и наивный Байес.)

35. Вы полагаете, что слова это малюсенькие символы языка ЛИСП, хотя это скорее ярлыки, которые скрывают за собой и управляют сложными мысленными кистями, что рисуют подробные картины на холсте вашего восприятия.
    Представьте «треугольную лампочку». Что вы увидели? (Слова как мысленные кисти.)

36. Вы используете слово, имеющее разные значения в различных ситуациях, будто оно имеет всегда один и тот же смысл, создавая иллюзию чего-то непостоянного и изменчивого.
    «Мартин сказал Бобу свернуть налево». Но «налево» является функциональным словом, принимающим во внимание расположение говорящего относительно его окружения. Какое же «налево» имеется в виду, Боба или Мартина? (Ошибка изменяемого вопроса.)

37. Вы считаете, что определения не могут быть ошибочны, или что «Я могу определить любое слово так, как пожелаю!»
    Такое отношение заставляет вас яростно отстаивать ваши прошлые поступки, вместо того, чтобы учесть их последствия или признать свои ошибки. (Когда слова могут быть ошибочны.)

Всё, что происходит в вашем разуме, имеет какой-либо результат, и ваш мозг движется вперёд без вашего руководства, не осознавая происходящее.

Утверждать «Слова можно использовать как угодно, я могу определить любое слово, как пожелаю» столь же осмысленно, как и вести автомобиль по тонком льду с выжатой до отказа педалью газа, рассуждая: «Посмотрите на руль, я не считаю, что любой его угол поворота чем-то выделяется на фоне других, поэтому я могу рулить так, как захочу».

Если вы хотите куда-то добраться или просто попробовать выжить, вам стоит начать уделять внимание трём или шести десяткам оптимальных критериев, контролирующих ваше использование слов, определений, категорий, классов, разграничений, ярлыков и концепций.

• 1. Оригинальное название «37 Ways That Words Can Be Wrong» – Прим.перев.