Мышление из «Не Смотри Вверх», которое может нас всех погубить

Представьте, что на подлёте обнаружен большой астероид, и мы узнаём, что половина астрономов считает, что шанс, что он вызовет вымирание людей, также, как похожий астероид уничтожил динозавров около 66 миллионов лет назад, не меньше 10%. Учитывая, что у нас есть длинная история размышлений об этой угрозе и о том, что в таком случае делать, от научных конференций до голливудских блокбастеров, можно ожидать, что человечество живо начнёт работать над миссией отклонения, чтобы направить астероид в более безопасном направлении.

К сожалению, мне сейчас кажется, что мы проживаем фильм «Не смотри вверх» для другой экзистенциальной угрозы – несогласованного суперинтеллекта. Возможно, вскоре нам придётся делить планету с более интеллектуальными «разумами», менее заботящимися от нас, чем мы заботились о мамонтах. Недавний опрос показал, что половина исследователей ИИ оценивает шанс, что ИИ вызовет вымирание людей, как не меньше 10%. Учитывая, что у нас есть длинная история размышлений об этой угрозе и о том, что в таком случае делать, от научных конференций до голливудских блокбастеров, можно ожидать, что человечество живо начнёт работать над миссией направления ИИ в более безопасном направлении, чем вышедший из-под контроля суперинтеллект. Подумайте ещё: вместо этого самые влиятельные ответы – это комбинация отрицания, высмеивания и смирения, такая чёрнокомедийная, что заслуживает Оскара.

Когда «Не смотри вверх» вышел в конце 2021, он стал популярен на Нетфликсе (второй по просмотрам фильм за всё время). Он стал ещё популярнее среди моих коллег-учёных, многие из которых восхваляли его как свой любимый фильм, предлагающий катарсическую комедийную разрядку за годы сдерживаемого раздражения от игнорирования их беспокойств и предложений. В нём показано, как, хоть у учёных есть рабочий план, как отклонить астероид до того, как он уничтожит человечество, у этого плана не получается конкурировать за внимание медиа с слухами о знаменитостях, и обойти лоббистов, политическую выгоду и «астероидоотрицание». Хоть фильм и задумывался как сатира на недостаточную реакцию человечества на изменение климата, к сожалению, пародия на реакцию человечества на развитие ИИ из него получается ещё лучше. Ниже – мои комментарии к самым частым реакциям людей на эту проблему:

«Нет никакого астероида»

Многие компании работают над созданием СИИ (сильного искусственного интеллекта), определяемого как «ИИ, который может обучиться исполнять большинство интеллектуальных задач, посильных для людей, включая разработку ИИ.» Ниже мы обсудим, почему это может быстро привести к суперинтеллекту, определяемому как «обобщённый интеллект, сильно превосходящий человеческий уровень».

Мне часто говорят, что СИИ и суперинтеллект не появятся, потому что они невозможны: человеческий интеллект – это что-то таинственное, что может существовать только в мозге. Такой углеродный шовинизм игнорирует центральное озарение, стоящее за ИИ-революцией – что интеллект состоит в обработке информации, и неважно, делают это атому углерода в мозге или атомы кремния в компьютере. ИИ неустанно одолевал людей в одной задаче за другой, и я предлагаю углеродным шовинистам перестать сдвигать ворота и публично предсказать, какую задачу ИИ никогда не будет в состоянии выполнить.

«Он ещё долго до нас не долетит»

Как известно, в 2016 Эндрю Ын язвително высказался, что «беспокоиться об ИИ сейчас – это всё равно, что ьеспокоиться о перенаселении на Марсе». До недавних пор около половины исследователей ожидали, что до СИИ ещё как минимум десятилетия. Крёстный отец ИИ Джеффри Хинтон сказал CBS, что «Совсем недавно я полагал, что до обобщённого ИИ ещё что-то вроде от 20 до 50 лет. А сейчас я думаю, что это может быть 20 лет или меньше» и что возможно это даже 5 лет. Он не одинок: недавняя статья от Microsoft утверждает, что GPT-4 уже демонстрирует «отсветы» СИИ, а такой же как и Хинтон первопроходец глубинного обучения Йошуа Бенгио заявляет, что GPT-4 по сути проходит Тест Тьюринга, который когда-то рассматривали как тест на СИИ. И время от СИИ до суперинтеллекта может быть не очень большим – согласно авторитетному рынку предсказаний это, вероятно, меньше года. Суперинтеллект – не «проблема далёкого будущего»: он ближе, например, изменений климата и планов большинства людей на пенсию.

«Упоминание астероида отвлекает от более насущных проблем»

До суперинтеллекта и угрозы вымирания человечества у ИИ может быть много заслуживающих беспокойства побочных эффектов, от предвзятости и дискриминации до утери приватности, массовой слежки, исчезновения рабочих мест, растущего неравенства, кибератак, распространения летального автономного оружия, «взлома» людей, обессиливания людей и потери смысла, непрозрачности, проблем с ментальным здоровьем (от травли, привыкания к социальным медиа, социальной изоляции, обесчеловечивания социальных взаимодействий) и угроз демократии (от поляризации, дезинформации и концентрации власти). Я поддерживаю обращение на них большего внимания. Но заявлять, что следовательно мы не должны говорить об экзистенциальной угрозе суперинтеллекта, потому что она отвлекает от этих проблем – всё равно, что заявлять, что нам не следует говорить о буквальном летящем на нас астероиде, потому что он отвлекает от изменений климата. Если несогласованный суперинтеллект приведёт к вымиранию человечества в ближайшие десятилетия, все остальные риски перестанут иметь значение.

«Астероид остановится, прежде чем врезаться в нас»

Большинство людей, всерьёз относящихся к СИИ, кажется, настолько напуганы и/или возбуждены по его поводу, что говорят только о тех других рисках, а слона – суперинтеллект – не примечают. Большинство медиа, политиков и исследователей ИИ едва ли упоминают его, как будто техническое развитие каким-то образом придёт в стагнацию на уровне СИИ на долгое время. Как будто они забыли простой контраргумент Ирвинга Дж. Гуда, потому что он слишком давно высказан:

«Давайте определим ультраинтеллектуальную машины [то, что мы сейчас называем СИИ] как машину, которая может превзойти интеллектуальную деятельность любого, даже самого умного человека. Так как проектирование таких машин – один из видов интеллектуальной деятельности, ультраинтеллектуальная машина сможет спроектировать машины ещё лучше; это несомненно приведёт к «интеллектуальному взрыву» и интеллект человека останется далеко позади…»

В основной идее рекурсивного самоулучшения нет, конечно, ничего нового: использование сегодняшних технологий, чтобы создать технологии следующего года, объясняет многие примеры экспоненциального развития технологий, включая Закон Мура. Новое тут то, что прогресс к СИИ позволяет оставлять в процессе всё меньше людей, в итоге – нисколько. Это может очень сильно сократить временные масштабы последовательных удвоений, от типичных человеческих уходящих на исследования и разработку лет, до машинных недель или часов. Окончательный предел такого экспоненциального роста устанавливает не человеческая изобретательность, а законы физики, ограничивающие то, сколько вычислений может совершать материя, значением примерно в квадриллион квинтиллионов раз большим, чем лучшие сегодняшние результаты.

«Астероид практически остановится»

Примечательно, что отрицание суперинтеллекта распространено не только среди не-технарского народа, но и среди экспертов, работающих над ИИ и безопасностью ИИ.

Циник может свести это к замечанию Эптона Синклера о том, что «Сложно заставить человека что-то понять, когда его зарплата зависит от того, что он этого не понимает». Хоть, к сожалению, это правда, что большинство исследователей ИИ (включая исследователей безопасности и этики) получают финансирование от Big Tech, будь то напрямую или косвенно, через гранты от некоммерческих организаций, спонсируемых технарскими филантропами, я думаю, что есть и более невинные объяснения их отрицательства суперинтеллекта, такие, как хорошо изученные когнитивные искажения. Для нас сложно предсказать не линейные, а экспоненциальные изменения. Сложно бояться того, чего мы никогда не испытывали, например, радикального изменения климата или ядерной зимы.

Из-за искажения доступности сложно посмотреть дальше непосредственной угрозы и увидеть большую, но и более далёкую. К примеру, я часто слышу аргумент, что большие языковые модели (LLM) вряд ли смогут быстро рекурсивно самоулучшиться (интересный пример тут). Но упомянутый выше аргумент И. Дж. Гуда об интеллектуальном взрыве не предполагает, что архитектура ИИ по ходу самоулучшения останется неизменной! Когда люди достигли обобщённого интеллекта, мы заполучили свой экспоненциальный рост способностей к обработке информации, не выращивая себе мозги побольше, а изобретая книгопечатание, университеты, компьютеры и технические компании. Аналогично, хоть сейчас всё на себе тащат нейросети и LLM, наивно предполагать, что быстрейший путь от СИИ до суперинтеллекта – просто обучение ещё больших LLM на ещё большем количестве данных. Очевидно, есть куда более умные архитектуры ИИ, ведь мозг Эйнштейна превосходил GPT-4 в области физики, несмотря на куда меньшее количество данных и всего 12 Ватт мощности.

Когда задача изобретения архитектур получше будет возложена на СИИ, прогресс в ИИ будет совершаться куда быстрее, чем сейчас, без необходимости участия людей, и интеллектуальный взрыв И. Дж. Гуда можно будет считать начавшимся. И при наличии возможности кто-нибудь даст СИИ эту задачу, точно также, как GPT-4 уже дали задачу создать самоулучшающийся ИИ с разными целями, включая уничтожение человечества.

«С нами всё будет в порядке, даже если астероид прилетит»

Если суперинтеллект приведёт к вымиранию человечества, то скорее всего не от того, что он стал злым или самоосознающим, а потому что он стал компетентным, а его цели были несогласованы с нашими. Мы, люди, довели до вымирания западноафриканских чёрных носорогов не потому, что были носорогоненавистниками, а потому, что были умнее них и обладали другими целями касательно использования их среды обитания и рогов. Точно так же, суперинтеллект с почти любой открытой целью будет хотеть сохранять себя и накапливать ресурсы для лучшего достижения этой цели. Может, он удалит кислород из атмосферы, чтобы снизить коррозию металлов. Куда вероятнее, наше вымирание будет банальным побочным эффектом, который мы сможем предсказать не лучше, чем носороги (или другие из 83% диких млекопитающих, которых мы убили) могли предсказать, что с ними покончит.

Некоторые аргументы про «всё будет в порядке» откровенно комичны. Если на вас летит управляемая ИИ ракета с тепловым наведением, утешит ли вас, если кто-нибудь скажет вам, что «У ИИ не может быть сознания» и «У ИИ не может быть целей»? Если бы вы были орангутангом в вырубаемом тропическом лесу, вас бы успокоило, что более разумные формы жизни автоматически добрее и эмпатичнее? Или что они – просто инструмент, который вы можете контролировать? Следует ли нам действительно считать это технологическим «прогрессом», если мы теряем контроль над своей судьбой, подобно коровам на фабричной ферме или обездоленным орангутангам?

Я – часть растущего сообщества безопасности ИИ, которое усердно работает над выяснением того, как сделать суперинтеллект согласованным ещё до его появления, чтобы его цели были согласованы с процветанием людей, или мы были как-то его контролировать. Пока что у нас не получилось разработать план, на который можно положиться, а мощь ИИ растёт быстрее, чем регуляции, стратегии и озарения по его согласованию. Нам надо больше времени.

«Мы уже предприняли все необходимые предосторожности»

Если вы просуммируете общепринятую мудрость по поводу того, как избежать интеллектуального взрыва в «Список-чего-не-делать» с мощным ИИ, он может начинаться примерно так:

☐ Не учите его программировать: это облегчает рекурсивное самоулучшение

☐ Не соединяйте его с интернетом: позволяйте ему выучить только необходимый для помощи нам минимум, но не как манипулировать нами или заполучать власть

☐ Не прикрепляйте к нему общедоступный API: предотвратите его использование злонамеренными людьми прямо из кода

☐ Не начинайте гонку вооружений: это стимулирует всех приоритизировать скорость в сравнении с безопасностью

Нарушив все эти правила, индустрия коллективно показала, что неспособна на саморегуляцию. Я верю, что намерения лидеров СИИ-компаний самые благие, и многих из них стоит похвалить за публичное выражение озабоченности. Сэм Альтман из OpenAI недавно описал худший сценарий как «нам всем конец», а Демис Хассабис из DeepMind сказал «Я бы призвал не нестись, ломая всё на пути». Однако, упомянутая гонка затрудняет для них сопротивление коммерческим и геополитическим давлениям, сподвигающим мчаться вперёд, и никто из них не согласился на недавно предложенную шестимесячную паузу обучения моделей больших GPT-3. Ни один игрок не может остановиться один.

Леонардо Ди Каприо на Южном Вокзале Бостона после съёмок «Не смотри вверх», 01.12.2020.
Дэвид Л. Райан, The Boston Globe

«Не отклоняйте астероид, он ценный»

(Да, это тоже происходит в «Не смотри вверх»!) Хоть половина исследователей ИИ даёт ему не менее чем десятипроцентный шанс вызвать вымирание человечества, многие противостоят попыткам предотвратить появление суперинтеллекта, заявляя, что он может принести нам много ценного – если не уничтожит нас. Даже до суперинтеллекта, ИИ, конечно же, может принести огромные богатства и власть отдельным людям, компаниям и государствам.

Это правда, что супеинтеллект может оказаться очень полезным, если он согласован.

Всё, что я люблю в цивилизации – продукт человеческого интеллекта, так что суперинтеллект может решить болезни и бедность и помочь человечеству процветать как никогда прежде, не только до следующих выборов, но миллиарды лет, и не только на Земле, но и по всему прекрасному космосу. И. Дж. Гуд кратко высказал это так: «Следовательно, ультраинтеллектуальная машина – последнее изобретение, которое людям когда-либо потребуется совершить, при условии, что машина достаточно смирна, чтобы рассказать нам, как держать её под контролем. Странно, что это так редко упоминают за пределами научной фантастики. Иногда стоит воспринимать её всерьёз.»

«Давайте обеспечим, чтобы сначала астероид прилетел в США»

Предназначение предложенной паузы – дать возможность установить планы и стандарты безопасности, чтобы человечество могло выиграть гонку между растущей мощью технологии и мудростью, с которой мы технологией управляем. Из всех, что я встречал, громче всего звучащее возражение против паузы – это «Но Китай!». Как будто шестимесячная пауза перевернёт исход геополитической гонки. Как будто потеря контроля в пользу китайских разумов страшнее, чем потеря контроля в пользу цифровых разумов, которых не заботят люди. Как будто гонка к суперинтеллекту – гонка вооружений, которую могут выиграть «мы» или «они», когда на самом деле это скорее всего суицидальная гонка, где единственный победитель – «оно».

«Не говорите об астероиде»

Ключевая причина того, что мы так мало слышим о риске суперинтеллекта (в сравнении с угрозой безработицы, предвзятости, и т.д.) – это нежелание о нём говорить. Для технических компаний логично бояться регуляций, а для исследователей ИИ – снижения финансирования. К примеру, звёздный состав нынешних и прошлых президентов крупнейших организаций из области ИИ недавно опубликовал заявление, одобряющее работу над длинным списком рисков ИИ, в котором суперинтеллект подозрительно не упоминается. Мейнстримные медиа, с редкими исключениями, тоже не примечают слона. Это печально, потому что первый шаг к отклонению астероида – начать широкое обсуждение того, что лучше всего по его поводу делать.

«Мы заслуживаем, чтобы в нас попал астероид»

Хоть каждый и имеет право придерживаться своих мизантропических взглядов, это не даёт права обрекать на погибель всех остальных.

«Астероиды – естественная следующая ступень жизни в космосе»

Хоть научная фантастика и наполнена осознающими себя человекоподобными ИИ, разделяющими человеческие ценности, сейчас уже ясно, что пространство возможных инопланетных разумов куда больше. Так что, если мы влетим в интеллектуальный взрыв вместо того, чтобы аккуратно направлять развитие, скорее всего, получившийся суперинтеллект не только заменит нас, но и будет лишён всего, хоть как-то напоминающего человеческие сознание, сочувствие и мораль – будет чем-то, что мы скорее посчитали бы нестановимой чумой, а не достойными наследниками.

«Это неизбежно, так что не надо пытаться этого избежать»

Нет лучшей гарантии провала, чем не пытаться. Хоть человечество и несётся к обрыву, мы пока до него не дошли, и ещё есть время затормозить, сменить курс и избежать падения – и вместо него насладиться всеми выгодами безопасного и согласованного ИИ. Для этого надо согласиться, что обрыв существует, и что падать с него не выгодно никому. Просто посмотрите вверх!