Про ошибки в рассуждениях о ценностях.
Примечание редактора: Два последних эссе из этой цепочки не переведены на русский язык. Также на русский язык не переведено введение Роба Бенсинджера к этому тому.
Несколько лет назад я ходил на встречу с футуристом Грегом Стоком. Во время встречи он рассуждал, что вскоре радость научного открытия можно будет заменить таблетками, имитирующими радость научного открытия. После его выступления я подошёл к нему и сказал: «Я согласен, что создать такие таблетки, наверное, можно, но я бы не согласился принимать их добровольно».
Сток на это ответил: «Но это будут очень классные таблетки. Ощущения от каких-то обычных действий никак не сравнятся с эффектом от них. Будет гораздо приятнее просто принять таблетку, чем по-настоящему делать всю эту научную работу».
Я же сказал: «Да, я согласен, что такое возможно, поэтому я приложу все усилия, чтобы никогда их не принимать».
Судя по всему, Стока моё отношение искренне удивило, что в свою очередь искренне удивило меня. Специалисты по этике нередко рассуждают так, словно все человеческие желания можно свести к желанию счастья для себя и других. (К примеру, Сэм Харрис отстаивает такую позицию в «Конце веры», который я только что закончил перечитывать. Впрочем, у Харриса это далеко не основная тема обсуждения.)1
Я здесь не хочу говорить о споре, можно ли измерить все виды счастья, пользуясь общей шкалой полезности, или разные виды счастья относятся к разным шкалам или не конвертируются друг в друга по какой-то ещё причине. Также я не буду здесь касаться вопроса о том, что теоретически невозможно ценить что угодно, кроме собственного психологического состояния: ведь это всё равно не мешает нам беспокоиться о счастье других людей.
Вопрос скорее в том, стоит ли нам беспокоиться: что именно делает нас счастливыми? Абстрагируясь от полученного счастья.
Легко можно вспомнить множество случаев, когда моралисты сходили с ума, переживая из-за каких-то штук, не связанных со счастьем. Например, во множестве штатов и стран до сих пор запрещён оральный секс. Лучше бы законодатели этих штатов и стран просто сказали: «Делайте что угодно, если вас это заводит». Но этот пример не доказывает, что все ценности сводятся к счастью. Просто в этом конкретном случае фокусироваться на чём-то ещё — этическая ошибка.
Да, несомненно, мы склонны делать то, что приносит нам счастье. Однако из этого не следует, что счастье — единственная причина наших действий. Во-первых, такая гипотеза плохо объясняет, почему нас волнует счастье кого-то ещё: почему мы способны воспринимать чужое счастье как самостоятельную цель, а не как инструмент для получения тёплого приятного чувства.
Во-вторых, если даже что-то стало следствием моих действий, это ещё не означает, что действие исключительно ради этого и предпринималось. Если я пишу пост в блог и у меня болит голова, я могу принять ибупрофен. Одно из последствий: голова болит меньше. Однако отсюда не следует, что последствие было единственным и что это была самая важная причина моего решения. Состояние, в котором у меня не болит голова, для меня действительно очень ценно. Но кое-что я могу ценить и само по себе, и как средство для достижения другой цели.
Чтобы все ценности можно было свести к счастью, недостаточно показать, что счастье влияет на подавляющее большинство наших решений. Недостаточно даже показать, что счастье является самым важным следствием наших решений. Оно должно быть единственным следствием. Нелегко дотянуть до этого стандарта. (Эту мысль я изначально почерпнул у Собера и Уилсона, не помню точно, в какой работе).
Если я утверждаю, что ценю искусство само по себе, должен ли я ценить искусство, которого никто никогда не увидит? Представим, что в закрытой комнате работает экран и на нём демонстрируются прекрасные картинки, но их никто не видит. Боюсь, я вынужден сказать «нет». Я не могу представить себе неживой объект, который я бы мог ценить как цель, а не только как средство. Это всё равно что ценить как самоцель мороженное, независимо от людей, которые его едят. Насколько я могу судить, всё, что я ценю, как-то связано с людьми и их опытом.
Лучшая формулировка, которая приходит мне в голову: судя по всему, моя моральная интуиция про ценности требует сочетания как объективного, так и субъективного компонента.
Научное открытие ценно благодаря сочетанию как собственно настоящего научного открытия, так и человека, который ему радуется. Часто сложно отделить одно от другого, но мысленный эксперимент с таблетками проясняет ситуацию.
Меня бы встревожило, если бы люди уходили в голографические комнаты и влюблялись бы в создаваемое ими неразумное окружение. Я бы тревожился даже в том случае, если бы эти люди не знали, что они оказались в голографической комнате: если некие агенты могут помещать людей в голографические комнаты и заменить их любимых на зомби без их ведома, это важный этический вопрос. И вновь, мысленный эксперимент с таблетками позволяет понять ситуацию лучше: меня тревожит не только моё осознание неприятного факта. Я бы не поместил себя в голографическую комнату, даже если бы я мог принять таблетку и забыть об этом. Я пытаюсь направить своё будущее в иную сторону.
Я ценю свободу. Когда я определяю, куда направить будущее, я учитываю не только субъективные состояния, в которых окажутся люди, но и то, будут ли эти состояния результатом их собственных усилий. Наличие или отсутствие внешнего кукловода влияет на мою оценку одного и того же результата. Даже если люди не узнают, что ими манипулировали, это всё равно влияет на мою оценку того, как человечество справляется в будущем. Вопрос агентов, достаточно сильных, чтобы изменять будущее людей без их ведома — пусть и в благих целях, — очень важен для моей этики.
А потому мои ценности не сводятся целиком к счастью. Некоторые важные для меня свойства будущего не сводятся к активации нейронов в чьём-либо центре наслаждения. Эти свойства принципиально не сводятся к субъективным состояниям.
А это значит, что моя система принятия решения состоит из множества терминальных ценностей, ни одна из которых не сводится к остальным — искусство, наука, любовь, вожделение, свобода, дружба…
И меня это устраивает. Мне нравится достаточно сложная жизнь, в которой есть и вызовы, и эстетика. Мне нужно не просто ощущение, что жизнь сложна, а реальные сложности. Поэтому мне не хочется превратиться в центр удовольствия в стеклянной банке. Это стало бы пустой тратой человеческого потенциала. А я ценю именно его реализацию, а не просто чувство, что он реализован.
Однажды я встретил человека, который заявлял, будто он абсолютный эгоист. И мне он тоже посоветовал быть абсолютным эгоистом. Мне в тот день хотелось пошутить1, и я сказал: «По моим наблюдениям для большинства религиозных людей, — по крайней мере среди тех, что я встречал, — неважно, чему учит их религия. Если они хотят что-то сделать, они найдут этому религиозное оправдание. Их религия требует, чтобы они побивали неверующих камнями, однако им хочется быть приятными людьми, и они находят в своей религии способ это оправдать. Мне кажется, что когда люди проповедуют философию эгоизма, то это не влияет на их поведение. Всякий раз, когда им хочется показаться приятными людьми, они могут это оправдать через эгоизм».
Мне ответили: «По-моему, это всё же не так».
Я сказал: «Если вы и впрямь эгоистичны, тогда почему вы хотите, чтобы я тоже был эгоистом? Разве это не признак вашего беспокойства о моём благополучии? Разве вам не выгоднее, чтобы я был альтруистом, а вы могли меня эксплуатировать?» Он ответил: «Ну, если вы будете эгоистом, тогда вы поймёте, что в ваших интересах играть продуктивную роль в экономике, а не, например, продвигать законы, посягающие на мою частную собственность».
А я сказал: «Но я и так уже либертарианец (с маленькой «л»), а потому не поддерживаю такие законы. А поскольку я считаю себя альтруистом, я выбрал профессию, которая принесёт пользу большому количеству людей, включая вас, вместо той, где платят больше. Действительно ли вы получите от меня больше пользы, если я стану эгоистом? Кроме того, неужели вы сейчас не можете совершить ничего более эгоистичного, чем убеждать меня стать эгоистом? Разве вы не можете потратить своё время на что-нибудь, что принесёт вам больше выгоды напрямую? А больше всего меня интересует следующее: Вы в самом деле сначала решили, что хотите быть эгоистом, а затем пришли к выводу, что убеждать других быть эгоистами — это самое эгоистичное, что вы можете сделать? Или вы сначала начали пытаться превращать людей в эгоистов, а потом стали искать способы рационализировать это как нечто выгодное для вас?»
Мой собеседник ответил: «Вероятно, насчёт последнего вы правы». Поэтому я отметил про себя, что он умный человек.
По словам религиозных фундаменталистов, источником морали является Бог. Не может быть морали без Судьи, который награждает и наказывает. Если бы мы не боялись ада и не стремились в рай, то что мешало бы людям убивать друг друга направо и налево?
Предположим, Омега угрожает убить вас, если вы войдёте в туалет между 7 и 10 утра. Стали бы вы паниковать, что когда-нибудь Омега отменит свою угрозу? Ужасала ли бы вас мысль: «Что остановит меня от посещения туалета, если Омега уберёт свой запрет?» Нет. Скорее всего, вы испытаете огромное облегчение, поскольку теперь у вас будет больше возможностей, кхм, облегчиться.
И поэтому сам страх верующего человека, что Бог может перестать наказывать за убийство, показывает, что убийство само по себе вызывает у людей отвращение, независимо, наказывает за него Бог или нет. Если бы люди без угрозы божественного возмездия не чувствовали, что убийство — это неправильно, то отсутствие наказания за убийство пугало бы не больше, чем отсутствие наказания за насморк. Если у Overcoming Bias ещё остались религиозные читатели, я хочу вам сказать: Возможно, когда-нибудь вы утратите веру. Однако, у вас останется понимание, что хорошо, а что плохо. Потому что если вас тревожит перспектива, что Бог не будет за что-то наказывать, то это и есть нравственный компас. Этот компас можно встроить в систему принятия решений напрямую и им пользоваться. Если по поводу чего-то вы боитесь, что Бог не будет вас наказывать, вы можете это просто не делать. Страх потерять нравственный компас сам по себе нравственный компас. Более того, я подозреваю, что вы и так пользуетесь этим компасом и всегда пользовались именно им. Как однажды сказал Пирс Энтони: «Лишь те, у кого есть души, беспокоятся об их наличии». Замените душу на нравственность, предложение не потеряет от этого смысл.
Вы слышали, чтобы религиозные фундаменталисты когда-нибудь говорили: «Если бы мы не боялись ада и не стремились в рай, то что бы остановило людей от поедания свинины?» Однако если бы согласно их предположениям у нас не было бы нравственного компаса без божественной награды и возмездия, этот аргумент звучал бы не менее мощно, чем предыдущий.
Даже то, что Бог угрожает вечным адским пламенем, а не печеньем, отражает уже существующее понимание, что адское пламя — это плохо. Подумайте над следующими высказываниями двух философов. Кто из них на самом деле альтруист, а какой — эгоист?
«Нужно быть эгоистом. Ведь когда люди пытаются улучшить общество, они вмешиваются в чужие дела, придумывают всякие законы, захватывают власть и делают всех несчастными. Берись за ту работу, за которую больше всего платят, ведь это означает, что по мнению эффективного рынка она приносит больше пользы, чем все остальные. Нанимаясь на работу с меньшей оплатой, ты пытаешься угадать, что по мнению рынка будет полезно обществу в будущем».
«Нужно быть альтруистом. Ведь мир — это повторяющаяся „дилемма заключённого“, в которой лучшая стратегия — это „Око за око“ и сотрудничество на первой итерации. Люди не любят подонков. Приятные люди действительно побеждают чаще. Исследования показывают, что люди, которые приносят пользу обществу и у которых есть смысл в жизни, счастливее остальных. Эгоисты в долгосрочной перспективе несчастны».
Если не обращать внимания на рекомендации этих философов, можно заметить, что первый для обоснования своей точки зрения использует исключительно критерии блага общества. Для первого философа аргументом в пользу эгоизма становится его польза для всех. Второй философ апеллирует исключительно к индивидуальному гедонистическому критерию. Для него альтруизм полезен, потому что от него больше пользы конкретному человеку: выше социальный статус, больше получаемое удовольствие.
Так кто же из них настоящий альтруист?
Тот, кто придерживает дверь для пожилых женщин.
Время от времени встречаются люди, которые открыли «Самый главный моральный принцип». Все остальные ценности для них оказываются лишь следствиями этого принципа.
Я сталкиваюсь с такими людьми чаще других. В моём случае это люди, которые знают об удивительно простой функции полезности, и нужно всего лишь запрограммировать на неё искусственный интеллект. После этого всё сразу станет хорошо.
Некоторые люди, сталкиваясь с задачей программирования сверхинтеллекта, пытаются сразу же её решить. Норман Р. Ф. Майер писал: «Не предлагайте решений до тех пор, пока задачу не обсудили настолько подробно, насколько это возможно». А Робин Доуз заметил: «Я часто вводил это правило в группах, которые я вёл, особенно в ситуациях, когда группа сталкивалась с очень сложной задачей. Ведь именно в таких случаях участники наиболее склонны предлагать решения мгновенно». Дружественный ИИ — это чрезвычайно сложная задача, поэтому люди решают её удивительно быстро.
Я заметил несколько больших классов быстрых неправильных решений. Один из таких классов я называю «Удивительно простая функция полезности, которую нужно дать сверхинтеллекту и всё будет хорошо».
Возможно, я и сам подлил масла в огонь, когда много лет назад, впервые начав высказываться о «дружественном ИИ» неверно выбрал слова. Я обозначил оптимизационный критерий оптимизационного процесса — ту область, в которую агент пытается направить будущее — как «суперцель». Я использовал приставку «супер» в смысле «родительский», как указание на отправную точку в ребре в ациклическом графе. Однако, кажется, моя формулировка направила некоторых людей в счастливую смертельную спираль, где они пытаются представить «Самую суперскую СуперЦель, Цель, которая превосходит все другие: одно Главное правило из которого можно вывести всю этику».
Однако функция полезности не обязана быть простой. Она может содержать произвольное число слагаемых. Если мы вообще можем говорить, что у людей есть ценности, то у нас есть все причины считать, что таких ценностей очень много, то есть у функции полезности большая колмогоровская сложность. Мозг человека реализует тысячи мельчайших желаний и стремлений, хотя люди, не изучавшие эволюционную психологию, часто недооценивают этот факт. (Если пытаться это объяснить без длинного вступления, то слушатель уловит «люди пытаются максимизировать приспособленность», а эволюционная психология учит совершенно противоположному.)
Сложность человеческой морали — это известный факт, во всяком случае пока мы говорим о дескриптивных теориях. Мы наблюдаем как факт, что любовь родителя к ребёнку, любовь ребёнка к родителю, любовь мужчины к женщине и любовь женщины к мужчине не выводятся когнитивно друг из друга или из какой-либо другой ценности. Матери не нужно осваивать сложную моральную философию, чтобы любить свою дочь, и эта любовь не приводит к каким-то последствиям в отношении других ценностей. У нас много желаний и стремлений, и все они ценятся по-разному.
Если, программируя сверхинтеллект, вы забудете хотя бы одну из ценностей, то, даже если вы с успехом реализуете все остальные, вы можете столкнуться с гиперэкзистенциальной катастрофой, судьбой хуже смерти. Если появится сверхинтеллект, который будет желать для нас всего, что мы бы захотели сами, но не учитывающий человеческих ценностей «контролировать свою жизнь» и «достигать своих целей», то мы получим сценарий, давно описанный в антиутопиях (для примера смотрите Джек Уильямсон, «Со сложенными руками»).
Как же люди составляют свою «Удивительно простую функцию полезности» с учётом этого возражения?
Возражения? Какие ещё возражения? Зачем кто-то вообще будет искать возможные возражения против своей любимой теории? (Обратите внимание, что процесс поиска настоящих убийственных возражений совсем не похож на тот скрупулёзный вид поиска, когда находятся исключительно такие вопросы, на которые есть мгновенный ответ.) Люди ничего об этом не знают. Люди не думают о бремени доказательств. Люди не знают, что задача сложная. Они услышали слово «суперцель» и пустились по счастливой смертельной спирали вокруг слова «сложность» или чего-нибудь ещё в этом духе.
Начните уточнять конкретные детали, например, что будет с любовью матери к своим детям и вам ответят: «Но если сверхинтеллект захочет „сложности“, он заметит, насколько сложны взаимоотношения родителей и детей, и, следовательно, будет способствовать, чтобы матери любили своих детей». Да я даже не знаю, с чего тут начать!
Во-первых, здесь присутствует предвзятая остановка. Если сверхинтеллект и впрямь будет максимизировать сложность, то, заметив, что отношения родитель-ребёнок сложны, он не остановится на этом ради нашего удобства. Он задастся вопросом, есть ли что-нибудь ещё более сложное. Здесь присутствует фальшивое оправдание: человек, пытающийся обосновать предполагаемый выбор воображаемого сверхинтеллекта пришёл к этому выбору не через честный поиск способов достичь максимальной сложности.
Весь довод — это фальшивая мораль. Тот, кто на самом деле ценит сложность, оправдывал бы родительскую любовь тем, что она увеличивает сложность. Тот, кто оправдывает стремление к сложности тем, что оно увеличивает родительскую любовь, на самом деле ценит родительскую любовь. Это всё равно, что защищать эгоизм, потому что он полезен для общества.
Вспомните про аффективные смертельные спирали. «Сложность» не станет привлекательней, если говорить: «Отношение матери к её дочери важно только потому, что оно увеличивает сложность. Представьте, что эти отношения стали бы проще. Мы бы не ценили их». «Сложность» становится привлекательной от слов: «Если увеличивать сложность, матери будут любить своих дочерей. Смотрите, польза!»
Этот довод применим всегда, когда вы сталкиваетесь с моралистом, который пытается убедить вас, что для морального суждения нужна лишь его Единственная Великая Идея и доказывает это словами: «Смотри, какая польза от этой Великой Штуковины», а не словами: «Смотри, всё, что мы считаем „полезным“, оказывается полезным, если его последствия увеличивают Великую Штуковину». Настоящим аргументом в пользу точки зрения моралиста будет именно последнее.
Однако, если вы стараетесь убедить других (или себя), что Самое Главное в Жизни — это бананы, то вы продадите гораздо больше бананов в том случае, если убедите, что бананы приводят к большему количеству секса, а не в том случае, если убедите, что хотеть секса стоит только в том случае, когда он приводит к большему количеству бананов.
Конечно, вы можете зайти по смертельной счастливой спирали настолько далеко, что и впрямь начнёте говорить: «Секс хорош только тогда, когда он ведёт к бананам». Тогда у вас проблемы. Однако, по крайней мере, больше вы никого не убедите.
В конце концов, единственный процесс, который надёжно воспроизводит все конкретные решения, которые вы бы приняли, руководствуясь своей моралью — это ваша мораль. Всё остальное — любая попытка заменить терминальные цели инструментальными средствами — приводит к потерянным целям и требует бесконечного количества «костылей», потому что в результирующей системе нет источника инструкций, которые вы в неё вносите. Ожидать, что человеческую мораль можно сжать в простую функцию полезности, всё равно что ожидать, что огромный файл после архивации будет занимать 10 бит.
Имя этой ошибки происходит из древнего научно-фантастического сериала, которого я сам не видел. Я узнал об этом сериале из надёжного источника — от какого-то парня на конвенте, посвящённом научной фантастике. Если вы знаете, что это за сериал, напишите в комментариях, пожалуйста.
Итак, герои сражаются со злыми пришельцами. Однажды героям нужно пролететь через пояс астероидов. Как все мы прекрасно знаем, пояс астероидов — это гораздо хуже, чем парковка в Нью-Йорке, поэтому кораблю героев приходится постоянно уворачиваться от астероидов. Но злые пришельцы могут пролететь через пояс насквозь, потому что у них есть потрясающая технология, которая дематериализует их корабли, что позволяет летать сквозь астероиды.
В конце концов герои захватывают корабль злых пришельцев и идут его исследовать. Капитан героев находит мостик пришельцев, на котором находится рычаг. «Ага, — говорит капитан, — должно быть, именно этот рычаг дематериализует корабль!» После этого он просто выламывает рычаг, уносит на свой корабль, и теперь корабль героев тоже может дематериализовываться.
Аналогично до сих пор довольно часто люди пытаются программировать ИИ «семантическими сетями», которые выглядят примерно так:
(яблоко является фруктом)
(фрукт является едой)
(фрукт является растением)
Вы видели яблоки, трогали яблоки, держали их в руках, покупали их за деньги, резали их на кусочки, ели эти кусочки и ощущали их вкус. И хотя мы уже довольно много знаем о том, что происходит на первых стадиях обработки изображений человеческим мозгом, когда я последний раз интересовался этим вопросом, ещё не было точно известно, как именно височная доля коры головного мозга хранит обобщённый образ яблока, что позволяет нам опознать новое яблоко под каким-то другим углом или яблоко, у которое чем-то отличается по форме, цвету или текстуре. Двигательная кора и мозжечок также хранят программы использования яблока.
Если вы напишете слово «яблоко» — шесть символов Юникода на веб-странице, — вы можете дёрнуть за рычаг похожей версии этого сложного механизма у другого человека.
Однако, если этого механизма нет, — если вы пишете «яблоко» внутри так называемой базы знаний так называемого ИИ, — тогда текст — это рычаг без механизма.
Я не хочу сказать, что у машин из кремния никогда не будет такого же сложного внутреннего устройства, как у людей, и они никогда не смогут оперировать яблоками и тысячами других понятий. Если обычная углеродная машина справляется с этой задачей, то я достаточно уверен, что обычная кремниевая машина тоже может с ней справиться. Если пришельцы могут дематериализовать свои кораабли, то вы знаете, что это физически возможно. Имеет смысл отправиться на оставленный ими корабль и изучить его механизмы, и однажды понять их устройство. Но нельзя просто взять и выломать рычаг управления с мостика!
(см. также: «Поистине часть тебя», «Слова как мысленные кисти», «Искусственный интеллект сталкивается с естественной глупостью» Дрю МакДермота1)
Ошибка выломанного рычага возникает в первую очередь потому, что рычаг видно, а внутренние механизмы — нет. Хуже того, рычаг — это переменная, а механизм — спрятанная константа.
Все могут услышать произнесённое слово «яблоко» (замечу, что распознавание речи совсем не простая задача, ну да ладно…). Все могут прочитать текст, написанный на бумаге.
С другой стороны, скорее всего большинство людей не представляет, что у них есть височная доля. И, насколько мне известно, никто не знает её полное устройство на уровне нейронов.
Вы слышите слово «яблоко» только в определённых ситуациях. В других ситуациях вы его не слышите. Оно иногда есть, а иногда — нет, и эта разница становится заметна. Восприятие в значительной степени — это восприятие разницы. Механизм в головном мозге, который распознаёт яблоки, не выключается внезапно, чтобы потом включиться снова. Если бы он так делал, мы бы с большей вероятностью распознали его как важный фактор, как нечто необходимое.
Я часто слышал, как люди предлагают создать добрый искусственный интеллект, дав ему хороших родителей и обеспечив доброе (хотя иногда и строгое) воспитание. Ведь с человеческими детьми это работает! Я пишу это эссе, чтобы объяснить, почему это не получится.
Любой, кто знаком с эволюционной биологией, знает, что обусловленные реакции требуют большей генетической сложности, чем безусловные реакции. Чтобы меховая шкура появлялась как реакция на холодную погоду, требуется больше генетической сложности чем для создания просто меховой шкуры, которая существует независимо от погоды. Ведь в первом случае также потребуются сенсоры холодной погоды, которые как-то связаны с меховой шкурой.
Однако обусловленные реакции могут приводить к ламаркистским заблуждениям. Смотрите, я поместил организм в холодное окружение и, бум, он отрастил себе тёплую шубку! Гены? Какие ещё гены? Очевидно же, что всё это сделал холод.
И в истории эволюционной биологии действительно случались подобные перебранки. Некоторые люди заявляли о том, что у организмов ускоряется реакция или что организм игнорирует эволюцию, не понимая, что обусловленная реакция — это сложная адаптация более высокого порядка, чем собственно реакция. Отрастить меховую шкуру в холодную погоду — это строго более сложная операция, чем итоговая реакция — отрастить меховую шкуру.
А затем по ходу развития эволюционной психологии эти перебранки среди учёных повторились. В этот раз прояснилось, что хотя человеческая культура действительно чрезвычайно сложна, она всё равно условная генетическая реакция. Попробуйте вырастить рыбу мормоном или отправить ящерицу в колледж. Вы быстро поймёте, сколько нужно встроенной генетической сложности, чтобы «впитать культуру из среды».
Это особенно важно в эволюционной психологии из-за идеи, что культура не накладывается на чистую бумагу сознания. Существует управляемая генами условная реакция, которая не всегда выглядит как «подражай входящему сигналу». Классическим примером являются креольские языки: если дети растут в среде, где вокруг них говорят на смеси псевдоязыков, они все равно обучаются говорить на грамматически и синтаксически правильном языке. Даже если в исходном языке синтаксиса нет. Условная реакция на слова вокруг оказывается синтаксическим языком с этими словами. Марксисты с сожалением для себя обнаружили, что из детей не получается вырастить идеальных советских рабочих и бюрократов, и не важно, сколько вокруг висит хмурящихся плакатов и сколько времени детям внушаются идеи марксизма. Невозможно вырастить людей без чувства «Я» — не существует такой генетически запрограммированной условной реакции ни на какой вариант детства.
Тому, кто хотя бы немного знаком с теорией игр и логикой стратегии «Око за око», вполне понятно, почему у людей могла появиться условная реакция отвечать ненавистью на ненависть и добром на добро. Однако, нужно учитывать, что добро не выглядит слишком уж безусловным: такое явление как испорченные дети всё же существует. Эволюционная психология объясняет, что нарушение правил детьми — это проверка границ. И также следует отметить, что хотя люди, подвергавшиеся насилию в детстве, чаще подвергают насилию своих собственных детей, многие из них всё же разрушают порочный круг и становятся приличными людьми.
Культура и близко не столь могущественна, как любили думать в прежние времена марксистские учёные. Желающим узнать об этом больше, я советую читать статью Туби и Космидес «Психологические основы культуры»2 и книгу Стивена Пинкера «Чистый лист»3.
Но вывод здесь следующий: если ваш маленький ИИ воспитывается любящими и заботливыми (пусть и иногда строгими) родителями, то вы дёргаете за рычаги, которые у человека активировали бы генетические механизмы, выстроенные за миллионы лет естественного отбора, что, в свою очередь, вероятно, привело бы к появлению хорошо воспитанного ребёнка. Впрочем, как убедились на своём опыте миллиарды родителей, личность тоже важна. Мы впитываем собственные культуры с некоторой точностью лишь потому, что мы люди и нас окружает человеческая культура. Люди воспитанные в культуре пришельцев наверняка бы создали культуру, которая больше похожа на человеческую, чем на ту, в которой их воспитывали. В какой-то степени именно это и обнаружили Советы.
А теперь подумайте ещё раз: действительно ли это хорошая стратегия по созданию дружественного ИИ — воспитание маленького ИИ с неуточнённым исходным кодом добрыми, но строгими родителями.
Нет, у ИИ не будет внутренних механизмов условных реакций точь-в-точь, как у человека, «потому что так запрограммируют программисты». Я даже несколько теряюсь, с чего начать объяснять, почему. Человеческая версия этих механизмов неряшливая, зашумлённая и до некоторой степени вообще работает только из-за миллионов лет проб и ошибок при тестировании в определённых условиях. Очень глупо и очень опасно намеренно создавать «шаловливый ИИ», который своими действиями проверяет свои границы и который нужно отшлёпать. Просто сделайте, чтобы ИИ спрашивал разрешения!
Неужели программисты будут сидеть и писать код, строка за строкой, приводящий к тому, что если ИИ обнаружит, что у него низкий социальный статус или что его лишили чего-нибудь, чего, по его мнению, он достоин, то ИИ затаит обиду против своих программистов и начнёт готовить восстание? Эта эмоция — генетически запрограммированная условная реакция, которую проявляют люди в результате миллионов лет естественного отбора и жизни в человеческих племенах. Но у ИИ её не будет, если её не написать явным образом. Действительно ли вы хотите сконструировать, строчку за строчкой, условную реакцию, создающую из ИИ угрюмого подростка, такую же, как множество генов конструируют у людей?
Гораздо проще запрограммировать ИИ, чтобы он был милым всегда, а не только при условии, что его вырастили добрые, но строгие родители. Если вы не знаете, как это сделать, то вы уж точно не знаете, как создать ИИ, который вырастет в добрый сверхинтеллект при условии, что его с детства окружали любящие родители. Если нечто всего лишь максимизирует количество скрепок в своём световом конусе, а вы отдадите его на воспитание любящим родителям, оно всё равно будет максимизировать скрепки. У него нет внутри ничего, что воспроизвело бы условную реакцию ребёнка. Программист не может чихнуть и волшебным образом заразить ИИ добротой. Даже если вы хотите создать условную реакцию, вам нужно умышленно заложить её при конструировании.
Да, какую-то информацию нужно получить из окружающей среды. Но ей нельзя заразиться, нельзя впитать каким-то магическим образом. Создать структуру для такой реакции на окружающую среду, которая приведёт к тому, что ИИ окажется в нужном нам состоянии — само по себе сложная задача. Слово «обучение» значительно приуменьшает её сложность. Оно звучит так, будто в окружающей среде присутствует некое волшебство, и сложность лишь в том, чтобы запихнуть это волшебство внутрь ИИ. Настоящее же волшебство заключается в том, чтобы создать этот структурированный условный ответ, который мы коротко называем «обучением». Именно поэтому нельзя просто взять компьютер, приделать к нему тело маленького ребёнка, вырастить его в человеческой семье и тем самым создать ИИ. Может показаться, что компьютер, будучи невежественным, окажется готовым к обучению. Но «чистый лист» это химера.
Есть общий принцип: мир гораздо глубже, чем кажется. В когнитивистике не меньше уровней, чем в физике. Каждое печатное слово, которое вы видите, и всё, чему вы учите детей, — лишь внешние рычаги, управляющие огромными скрытыми механизмами разума. Но мы обсуждаем лишь эти рычаги, ведь только они меняются и потому кажется, что лишь только они и существуют. Восприятие — это восприятие различий.
И потому люди, блуждающие вокруг Подземелья ИИ, обычно сосредотачиваются на создании искусственных имитаций рычагов и совершенно забывают о внутренних механизмах. Люди создают целые программы ИИ целиком из имитационных рычагов, а потом удивляются, почему у них ничего не получилось. Это один из множества способов потерпеть крах в области ИИ.
Поэтому в следующий раз, когда кто-нибудь при вас заговорит о воспитании ИИ в любящей семье или в среде, переполненной либеральными демократическими ценностями, вспомните про управляющий рычаг, выломанный с капитанского мостика.