Оптимизация и взрывное развитие интеллекта

Понятие оптимизационного процесса входит в число тем, в которые я здесь пока не погружался. Примерно это понятие можно описать так: сила разума — это способность поражать небольшие цели в большом пространстве поиска, будь то область возможных вариантов будущего (планирование) или область возможных вариантов дизайна (изобретение).

Допустим, у вас есть машина, и допустим, мы знаем, что вам нравится путешествовать. Теперь предположим, что мы взяли все детали автомобиля — или даже все составляющие его атомы — и перемешали. Крайне маловероятно, что в итоге вообще получится средство передвижения. Ещё менее вероятно, что в итоге получится повозка на колёсах. И ещё менее вероятно, что в итоге получится средство передвижения, которое вам понравится больше, чем исходная машина. Поэтому для ваших предпочтений машина — чрезвычайно невероятный артефакт. Сила оптимизационного процесса — это способность создавать такой подвид невероятного.

И интеллект, и естественный отбор можно рассматривать как особые случаи оптимизации: эти процессы в большой области поиска поражают очень маленькие цели, определённые неявными предпочтениями. Естественный отбор предпочитает более эффективных воспроизводителей. У человеческого интеллекта более сложные предпочтения. Ни у эволюции, ни у людей нет последовательных функций полезности, поэтому представление о них как об «оптимизационных процессах» в какой-то мере аппроксимация. Смысл здесь в том, чтобы вникнуть, какая именно работа тут выполняется, а не заявить, что люди или эволюция выполняют её идеально.

Именно так я вижу историю жизни и разума — это история невероятно хорошего дизайна, созданного оптимизационными процессами. Термин «невероятный» используется здесь как невероятный с точки зрения случайного выбора из области возможных вариантов дизайна, а не в абсолютном смысле. Если у вас есть оптимизационный процесс, то «невероятно» хороший дизайн становится вероятным.

Изучая историю оптимизации на Земле от начала и до нынешнего времени, в первую очередь нужно отделить метауровень от уровня объекта — отделить структуру оптимизации от того, что именно оптимизируется.

Если рассматривать биологию в отсутствие гоминидов, то на объектном уровне окажутся существа вроде динозавров, бабочек и кошек. На метауровне будут такие явления, как половая рекомбинация и естественный отбор бесполых популяций. Можно заметить, что объектный уровень гораздо сложнее, чем метауровень. Естественный отбор непрост, и для его описания требуется математика. Но если мы посмотрим на анатомию целой кошки, то мы увидим структуру, которая значительно сложнее, чем «мутировать, рекомбинировать, воспроизвести».

И это неудивительно. Естественный отбор — это случайно возникший оптимизационный процесс, который по сути однажды запустился где-то в первичном бульоне. А кошка — это результат миллионов и миллиардов лет эволюции.

Конечно, у кошек есть мозг, и он учится на протяжении всей её жизни. Но когда жизнь кошки заканчивается, вся накопленная информация исчезает. Поэтому общее влияние кошачьих мозгов на этот мир в качестве оптимизаторов довольно мало.

Или, например, возьмём мозг пчелы и мозг бобра. Пчела строит улья, бобр строит плотины, но им не надо разбираться с нуля, как их строить. Бобр не сможет придумать, как построить улей, пчела не сможет понять, как построить плотину.

Поэтому мозги животных — до недавних пор — не играли хоть сколько-то важную роль на оптимизационной сцене планеты. Они были фигурами, не игроками. По сравнению с эволюцией мозги не могли применять оптимизационную силу достаточно универсально (эволюция создавала потрясающее разнообразие всего) и не могли применять её, опираясь на предыдущие достижения (их творения не накапливали сложность со временем). Подробнее на эту тему написано в эссе «Белковое подкрепление и консеквенциализм ДНК».

Совсем недавно мозг некоторых животных научился создавать огромное количество разных артефактов за время, которое по меркам естественного отбора слишком мало, то есть, приобрёл универсальность. Также, благодаря умениям говорить и писать, он научился создавать артефакты с увеличивающейся сложностью, то есть, его оптимизационная сила начала накапливаться.

Чтобы создать что-то новое и сложное, естественному отбору требуются сотни поколений и миллионы лет. Программисты иногда создают сложный механизм с сотней взаимозависимых элементов за утро. Это неудивительно, ведь естественный отбор — это случайно возникший оптимизационный процесс, а человек — это оптимизированный оптимизатор, сформировавшийся за миллионы лет естественного отбора.

Чудо эволюции не в том, что она работает хорошо, а в том, что она работает без оптимизации. Оптимизация вообще появилась во вселенной из крайне неэффективного случайного оптимизационного процесса (что неудивительно). Обратите внимание, я сейчас говорю не о первых репликаторах, а о первичном процессе естественного отбора. Не путайте объектный и мета- уровни!

Со времени появления оптимизации во вселенной у естественного отбора и человеческого разума появились некоторые общие свойства…

Естественный отбор выбирает гены, но, грубо говоря, гены впоследствии не оптимизируют естественный отбор. Изобретение половой рекомбинации (как и изобретение клеток и ДНК) — исключение из правила. Силу и редкость подобных изобретений можно оценить, обратив внимание на то, что эволюционные биологи выстраивают вокруг них всю историю жизни на Земле.

Однако, если посмотреть на естественный отбор с человеческой точки зрения — особенно с точки зрения программиста, — то в нём нет ничего сложного. Попытаемся соединять гены в группы? Попытаемся хранить информацию отдельно, движущиеся части отдельно? Попытаемся пересобирать группы генов случайным образом? Любой толковый хакер, задумавшийся о системной архитектуре, придумает что-нибудь подобное минут за десять.

Горстка просочившихся с уровня репликаторов улучшений на метауровне — в которых нет ничего сложного по сравнению с анатомией кошки, — оказала огромное влияние на историю эволюции на Земле именно потому, что естественный отбор был столь неэффективен вначале (как совершенно случайный процесс).

И в конечном итоге естественный отбор — это по-прежнему слепой безумный бог. Генофонд может эволюционировать к вымиранию, несмотря на половое размножение и наличие клеток.

Сейчас естественный отбор поддерживает сам себя: каждая адаптация открывает возможности для новых адаптаций. Но это уровень объектов. Генофонд поддерживается собственной сложностью. Однако это происходит только благодаря запущенному в фоновом режиме защищённому интерпретатору естественного отбора, который сам по себе в процессе эволюции видов остаётся неизменным.

Аналогично люди развивают науки и технологии, но пока ещё не приступили к изменению структуры своего мозга. У нас, как и у изобретателей земледелия, есть префронтальная кора головного мозга, височные доли и мозжечок. Мы не модифицируем свои гены. На объектном уровне наука подпитывает науку, а каждое открытие даёт дорогу новым открытиям, но всё это работает через запущенный в фоновом режиме защищённый интерпретатор человеческого мозга.

Иногда у нас получаются прорывы на метауровне: открытия, как научить других людей думать, например, научный подход. Однако первооткрыватель теоремы Байеса не стал байесианцем, он не смог переписать свой софт, у него для этого не хватало знаний и возможностей. Самые значительные изобретения в искусстве мышления, вроде письма или научного подхода, определили ход истории человечества. Однако они не могут сравниться по сложности с мозгом, а их влияние на него относительно невелико.

Современные тренировки по рациональности не способны превратить произвольного смертного в Альберта Эйнштейна. То есть влияние нескольких небольших генетических вариаций превосходит все книги по самопомощи, написанные за двадцатый век.

Мозг тихонько работает в фоновом режиме, и потому люди часто воспринимают его как должное, и думают, что простые руководства вроде «проверяйте идеи при помощи экспериментов» или правила об уровне значимости p < 0.05 дают вклад примерно такого же порядка. Попробуйте посоветовать шимпанзе проверять свои идеи экспериментами, посмотрим, что у вас получится.

Сейчас некоторые из нас хотят применить интеллект, чтобы сконструировать интеллект, который с помощью интеллекта будет изменять себя прямо на уровне машинного кода.

Защищённым уровнем в каком-то смысле станет в первую очередь машинный код, ну и законы физики. Но такие «защищённые уровни» не будут реализовывать оптимизацию, не будут определять структуру выполненной работы. Как бы человека не учили в школе, его мозг всё равно занимается какой-то своей оптимизацией и делает какие-то свои ошибки. А у нашего нового рекурсивного оптимизатора вообще не будет защищённых уровней, связанных с оптимизацией. Всё, что в нём связано с оптимизацией, само будет оптимизироваться.

И именно этим искусственный интеллект кардинально отличается от всего, что произошло на Земле со времён первого репликатора. У нас больше нет защищённого метауровня.

Пока все оптимизаторы в истории Земли работали с постоянной скоростью, создавали постоянное оптимизационное давление. При этом результаты оптимизации появлялись не с постоянной скоростью, а с ускорением, потому что каждое новшество на объектном уровне открывает дорогу к другим новшествам. Однако это ускорение достигалось благодаря защищённому метауровню, который и отвечал за процесс оптимизации. Представьте себе поиск перебором, когда в области поиска происходят переходы из одного кластера в другой, хорошие кластеры часто соседствуют с ещё лучшими, но мы всё равно не можем перепрыгнуть в слишком далёкий кластер и «длина прыжка» никак не меняется. Иногда какие-то мелкие изменения — вроде полового размножения или науки — попадают обратно на метауровень, и после этого в истории оптимизации начинается новая эпоха и всё ускоряется.

Представьте экономику без инвестиций, или университет без языка, или, в общем случае, технологию без инструментов для создания инструментов. Раз в сто миллионов лет или раз в пару столетий, кто-нибудь да изобретёт молоток.

Именно так выглядела оптимизация на Земле до настоящего времени.

Когда я думаю об истории Земли, я воспринимаю её как историю черного ящика, в который на вход подаётся оптимизационная сила, а на выходе получаются оптимизированные продукты. Из-за почти полностью защищённых метауровней пока возможно поделить историю оптимизации на эпохи. Внутри каждой эпохи можно рассмотреть накапливаемую со временем оптимизацию на объектном уровне, ведь защищённый уровень исполняется в фоновом режиме и на протяжении эпохи не меняется.

Что же произойдёт, когда мы создадим рекурсивно улучшающий себя ИИ? Тогда можно будет взять график работы черного ящика «оптимизация на входе, оптимизированное на выходе» и сложить его сам в себя. Образно говоря.

Если ИИ слаб, он ничего не делает, поскольку он недостаточно силен, чтобы значительно улучшить себя. С тем же успехом можно приказать шимпанзе переписать свой мозг.

Если же ИИ достаточно силён, чтобы переписать себя и увеличить свою возможность создавать дальнейшие улучшения, а также если он способен полностью понять свой исходный код и своё устройство как оптимизатора… Тогда даже если зависимость между «оптимизационной силой» на входе и «оптимизированными продуктами» на выходе останется прежней, график оптимизации от времени будет выглядеть совершенно иначе, нежели сейчас.

Мне часто возражают примерно так: «Но что если для создания улучшений, возрастающих линейно, потребуется экспоненциально возрастающее количество работы по самомодификации?». Напрашивается ответ: «В процессе создания человека естественный отбор оказывал на ветку гоминидов примерно постоянное оптимизационное воздействие и не похоже, чтобы ему требовалось экспоненциально больше времени на каждое линейное приращение в качестве».

Но это всего лишь суждение по аналогии. Полноценный ИИ, обдумывающий природу оптимизации, проводящий собственные исследования и пишущий собственный код будет не просто историей Земли свернутой в себя, а чем-то совершенно иным. Аналогии в лучшем случае подходят для качественных прогнозов, но даже в этом случае, у меня ещё есть множество иных неразъяснённых убеждений, влияющих на выбор аналогий.

Однако главная причина, почему я не хочу проецировать графики биологического и экономического роста в будущее за горизонт создания ИИ, который мыслит со скоростью транзиторов, изобретает самовоспроизводящиеся молекулярные нанофабрики и улучшает собственный код, заключается в следующем: не нужно строить график зависимости оптимизированного продукта на выходе от времени. Важна зависимость оптимизированного продукта на выходе от оптимизационной силы на входе.