Вы здесь

Антропоморфный оптимизм

Элиезер Юдковский

Антропоморфизм, в сущности, — это ожидание, что мы сможем предсказать поведение чего-то с помощью чёрного ящика в виде нашего мозга, при том, что причинно-следственная структура рассматриваемого объекта или явления отличается от человеческого мозга настолько, что такое ожидание неоправданно.

Я уже писал о трагедии группового отбора. Биологи до 1966 года считали, что хищники добровольно ограничат частоту спариваний, чтобы избежать перенаселения и истощения популяции своей добычи. Позже, когда Майкл Уэйд воссоздал в лаборатории условия, максимально подходящие для реализации группового отбора, взрослые особи в качестве адаптации стали каннибалами: принялись поедать яйца и личинки, особенно личинки самок.1

Почему же сторонники группового отбора не подумали о такой возможности?

Предположим, вы живёте в племени и знаете, что скоро ваше племя столкнётся с нехваткой ресурсов. В качестве решения вы можете предложить сократить рождаемость: пусть никакая пара не заводит больше одного ребёнка. Но вам даже в голову не придёт идея: «Давайте мы все будем заводить столько детей, сколько сможем, а потом начнём охотиться на чужих детей — особенно девочек — и поедать их».

Задумайтесь о порядке предпочтительности решений по отношению к вашим целям. Вы бы хотели, чтобы итоговое решение оказалось как можно выше в этом списке. Как вы его найдёте? Разумеется, при помощи мозга! Считайте мозг генератором высокоранговых решений, неким поисковым процессом, производящим решения, оказывающиеся на верхних строчках порядка предпочтений.

Пространство решений задач реального мира в общем случае огромно, а потому мозгу необходимо быть эффективным и отбрасывать без обдумывания подавляющее большинство низкоранговых решений.

Если вашему племени грозит недостаток ресурсов, можно попытаться прыгать на одной ноге или пожёвывать пальцы на ноге. Такие «решения», естественно, не сработают и, очевидно, приведут к большим потерям, но мозг эффективен и даже не тратит время на формирование столь плохих решений. В поисках высокоранговых решений он мгновенно перемещается к участкам пространства решений вроде: «Собираемся все вместе и соглашаемся не заводить более одного ребёнка на семью, пока трудные времена не пройдут».

Решения вида «завести как можно больше детей, а потом съесть девочек» такой поисковый процесс создавать не будет.

Однако варианты не являются «плохими» или «хорошими» сами по себе. Как «плохие» или «хорошие» их оценивает оптимизационный процесс во время выбора. Другой оптимизационный процесс может их оценить по-другому.

С точки зрения эволюции очевидным решением будет отобрать особей, которые оставят максимум потомства, а затем съедят чужих дочерей. И наоборот, смешно отобрать особей, которые добровольно ограничивают воспроизводство ради группы. Говоря менее атропоморфно, первый набор аллелей быстро заменит второй в популяции. (У естественного отбора в этом случае нет очевидного порядка поиска - обе альтернативы появляются одновременно в виде мутаций)

Допустим, какой-то биолог говорит: «На месте эволюции я бы сконструировал популяцию хищников, где каждая особь добровольно ограничивает частоту спариваний, если ресурсы ограничены». Это полноценный антропоморфизм, с прозрачным и понятным рассуждением: «Я бы так сделал, следовательно, я делаю вывод, что эволюция сделает так же».

В своей работе я часто сталкиваюсь с этим искажением в явном виде. Однако, что если возразить: «ИИ не обязательно будет работать так, как ты»? Что если сказать нашему воображаемому биологу: «Эволюция рассуждает не так, как ты»? Что мы услышим в ответ? Мы точно не услышим: «Ой! Об этом я не подумал! Один из шагов моего рассуждения был неверным, поэтому я откажусь от вывода и начну заново».

Напротив, мы услышим о причинах, почему ИИ должен рассуждать именно так, как и собеседник. Или почему естественный отбор, у которого абсолютно иные критерии и методы оптимизации, должен делать именно то, что кажется хорошей идеей человеку.

Отсюда появляются мысли, что групповой отбор поможет популяциям хищников, где особи добровольно отказываются от репродуктивных возможностей.

Сторонники группового отбора ошиблись в своих предсказаниях столь же сильно, как ошибся бы человек, явно уверенный в антропоморфности эволюции. Конечные выводы оказались такими же, как если бы они сразу предполагали у эволюции человеческое мышление. Они стёрли всё, кроме нижней строчки своих рассуждений, оставили эту самую нижнюю строчку и сверху вписали рационализацию. Теперь ошибочное мышление скрыто, очевидно неверный этап в рассуждениях спрятан. Хотя вывод остался тем же самым. Абсолютно неверным в реальном мире.

Но почему какие-то учёные вообще до такого доходят? Ведь в конце концов, данные опровергли теорию группового отбора и её сторонники оказались в неловком положении.

Как я уже упоминал в «Фальшивом критерии оптимизации», судя по всему, у нас, людей, выработался инстинкт доказывать правильность предпочитаемой нами политики для практически любых критериев оптимизации. Политика была неотъемлемой частью среды обитания наших предков. Мы произошли от тех особей, которые наиболее убедительно доказывали, что не только их личные интересы, но и интересы всего племени, требуют убийства Углака, их заклятого врага. Уж точно мы не произошли от Углака, который не смог доказать, что этический кодекс племени, не говоря уж о его собственных интересах, требует его пощадить.

А поскольку убедительнее всего мы отстаиваем позиции, в которые искренне верим, у нас развился инстинкт искренне верить, что цели других людей и моральный кодекс нашего племени должен требовать поступать по-нашему ради их же блага.

Поэтому сторонники группового отбора, представив себе прекрасную картину хищников с ограничениями в спаривании, инстинктивно рационализировали причины естественному отбору вести себя так, как они считают правильным, причем в соответствии с его собственными целями. Лисы будут гораздо более приспособленными, если ограничат рождаемость! Нет, правда! Они даже смогут оставить больше генов, чем лисы, которые не ограничивают своё потомство! Честно-честно!

Однако убедить естественный отбор поступать так же, как вы затруднительно: у эволюции нет элементов, которых заботят ваши доводы. Эволюция не похожа на вас, у неё нет ничего, что могло бы вас выслушать и принять во внимание ваши дотошные объяснения, почему ей стоит вести себя так, как вам нравится. Человеческие аргументы никак не соответствуют внутренней структуре естественного отбора как оптимизационного процесса, ведь они не участвуют так в распространении аллелей, как они участвуют в причинно-следственных отношениях человеческой политики.

В итоге сторонники группового отбора не смогли убедить эволюцию поступать по-своему. Реальность просто посадила их в лужу.

На этом месте я рекомендую подумать про недружественный ИИ.

Можно сделать обобщение: проблема в оптимистичных суждениях в целом. Ведь что есть оптимизм? Вы располагаете возможные исходы в некотором порядке в соответствии с вашими предпочтениями, выбираете лучший исход, и почему-то он совпадает с вашим предсказанием. Какие именно хитрые рационализации при этом используются, вероятно, не так уж важно, как можно было бы подумать. Однако Природа или любой другой процесс не расставляет исходы согласно вашим предпочтениям и не выбирает наилучший в соответствии с ними. Поэтому у мозга не получается синхронизироваться с окружением и предсказание не совпадает с реальностью.

  • 1. Wade, “Group selections among laboratory populations of Tribolium.”

Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
151
Оцените качество перевода: 
Средняя оценка: 4.6 (10 votes)
  • Короткая ссылка сюда: lesswrong.ru/558