Филателист

Однажды группа наивных философов встретила робота, который кое-что собирал. Если быть точным, он собирал марки. Когда роботу предлагали на выбор различные предметы, он всегда выбирал то, что увеличивало количество марок в его коробке. Он не обращал внимание на кубики, бутылочные крышки, алюминиевые банки, палки, веточки и так далее, за исключением тех случаев, когда ожидал, что в ближайшее время он сможет обменять их на марки. Поэтому философы назвали робота филателистом.

Через некоторое время философы узнали о компьютерах и сделали вывод, что робот – всего лишь программа, которую выполняет процессор у него в голове. Философы не смогли разобраться в программе, но они выяснили, что у робота есть несколько датчиков – в глазах и внутри коробки, и с их помощью робот моделирует реальность.

Один из философов задумался и сказал:
– Минуточку, эта штука вовсе не филателист. Если робот только моделирует мир в голове, то его модель не может как-то оптимизировать состояние его реальной коробки – у модели нет к ней доступа. Робот может действовать, только исходя из своей внутренней модели мира.

— Да, верно, — ответил другой философ. — Мы оказали ему плохую услугу, назвав его филателистом. Очевидно, у робота нет доступа к настоящему миру, он ведь видит реальность только благодаря сенсорам и строит в голове модель. Поэтому он никак не может увеличивать число марок в своей коробке, ведь коробка находится за пределами его головы. Наверняка он увеличивает только свой внутренний счётчик марок.

Эта мысль наивным философам понравилась, и они перестали размышлять об устройстве филателиста.

В этих размышлениях есть ошибки. Во-первых, философы допустили «ошибку гомункулуса». У программы не может быть «прямого доступа» к количеству марок в коробке (что бы это ни означало), но точно так же у нее нет «прямого доступа» ко внутреннему счётчику марок.

Нет никакого гомункулуса, который захватил бы робота и властвовал бы внутри него, не имея доступа наружу. Не может быть программы, у которой есть «настоящий» доступ к регистру, где записано число марок, и «ненастоящий» доступ к коробке с марками. Действия, которые приведут к тому, что в коробке окажется много марок, - это те же самые действия, которые приведут к тому, что в регистре счётчика марок окажутся большие числа. Нет подвластного гомункулусу магического круга, в который попадает память, но не коробка. У программы так же мало доступа к «настоящему процессору», как и к «настоящим маркам».

Это подводит нас ко второй ошибке в размышлениях этих философов: попытке объяснить выбор «выбиранием». Нельзя объяснять, почему стена красная, заявляя: «она сделана из красных атомов». Это не объясняет красноту по-настоящему. Объяснение красноты не должно содержать отсылки к красному. Однако у людей есть дурная привычка объяснять запутанные явления с помощью их самих. Почему живая плоть отзывается на команды мозга, а мертвая – нет? Потому что в живой материи есть «жизненная сила». Наши наивные философы совершили ту же ошибку. «Как вообще робот может выбирать исходы, в результате которых вырастет число марок в коробке? А, должно быть, он выбирает те исходы, при которых увеличивается счётчик марок!» Говоря так, они объясняют причину выбора на уровне самого выбора, а не на более базовом уровне.

«Робот пытается добавлять марки в коробку потому, что он пытается увеличивать значение счётчика марок» — это не объяснение. Объяснение должно выглядеть примерно так: программа, запущенная на компьютере робота, использует данные сенсоров для построения модели реальности. Эта модель содержит количество марок в коробке. Затем программа перебирает некоторое количество возможных действий, рассчитывая, сколько марок принесет каждое из них. Выполняется то действие, которое, по расчетам, принесет в коробку наибольшее число марок.

Но мы можем рассмотреть и другое объяснение: Программа внутри робота моделирует реальность, предсказывает, как поведёт себя мир в результате каждого из действий, затем предсказывает, какой результат сильнее всего повлияет на конкретный участок во внутренней памяти, и после этого выбирает действие, которое сильнее всего увеличивает внутренний счётчик. Возможно и это! Можно построить и такую машину. Это гораздо более сложная версия, и поэтому она намного менее вероятна, но хотя бы с формальной точки зрения это корректное объяснение.

И, к счастью для нас, это объяснение поддается проверке: мы можем посмотреть, что именно делает робот, если у него появляется возможность напрямую увеличить значение счётчика марок без увеличения реального количества марок. Посмотрим, как с этим справятся наши наивные философы…

— Эй, смотрите. Я обнаружил в памяти робота счётчик марок. Что там записано, я прочесть не могу, но я нашел способ увеличивать значение в нем. И я предложил роботу выбор: либо он получает одну марку, либо он марок не получает, но я увеличиваю счётчик на десять. Как вы думаете, что он выбрал?

— Конечно, второе! — сразу же ответил один из философов.

— Не-а, он выбрал первое.

— Хм! Значит, мрадость от отказа подделывать счётчик стоит больше, чем 10 марок!

— Э-э… Что такое «мрадость»?

— Мрадость – это внутренняя оценка роботом того, насколько выбор конкретного действия увеличит его счётчик марок.

— Чушь какая-то. Я убежден, что он просто собирает марки.

— Не может такого быть! Программа не знает, сколько у нее на самом деле марок – это ведь свойство внешней реальности. Робот может действовать, только исходя из внутренних значений в его голове.

— Давай предложим роботу вот какой выбор: либо даем ему одну марку, либо увеличим счётчик на $Ackerman(g_{64}, g_{64})$… О, смотри, он выбрал марку.

— Ого, это огромное число. Такой результат наверняка означает, что мрадость при отказе от обмана счётчика пропорциональна количеству мрадости, от которой он отказывается. Робот сейчас, должно быть, очень счастлив: ты только что сделал ему предложение, от которого трудно отказаться, и тем самым подарил ему кучу мрадости.

— О, смотри, я нашел способ накрутить счётчик до максимального предела. Итак, я даю роботу выбор между одной маркой и установкой счётчика на преде… Ого, он выбрал марку.

— Невероятно! Значит, там просто обязан быть еще один счётчик, для учета микромрадости — количества мрадости, которое робот получает сразу же после выбора, раньше, чем ты мог бы увеличить его основной счётчик! О, да, это единственно возможное объяснение, почему он мог отказаться от накрутки счётчика до максимума. Наверняка он делает выбор на основе ожидаемой от каждого конкретного действия моментальной микромрадости. Отличная научная работа, дорогой друг, мы сегодня много узнали!

Нет! Всё не так! Давайте проясним: робот предсказывает, к каким исходам приведут те или иные его действия, сортирует их, и выбирает действие, которое ведёт к лучшим исходам. Выбор оценивается по результатам действий. Поступки как таковые ничего не стоят.

Вы понимаете, почему наивные философы запутались? Они вообразили агента, который рассматривает действия как исходы, и делает выбор, основываясь на том, какое действие предпочтительней, словно действия являются самоцелью.

Нельзя объяснять, почему агент выбрал некое действие, заявляя, что он сортирует действия, исходя из того, насколько они хороши. Это ставит перед нами вопрос, какие действия являются хорошими!

Для описываемого агента «хорошими» являются те действия, которые ведут к исходам, в которых у него много марок в коробке. Действия оцениваются, исходя из результатов, у них нет какой-то внутренней ценности.

Программа робота не включает реальность, но ей это и не нужно. Она все равно воздействует на реальность. Если модель мира верно отражает мир, и робот выбирает действия, которые, согласно модели, приведут к получению марок, то он будет на самом деле накапливать марки.

Робот не стремится к такому будущему, где он будет чаще совершать поступки, приносящие много микромрадости. Он выбирает будущие миры, в которых ожидает получить больше марок.

А теперь я расскажу другую историю.

Однажды группа наивных философов встретила группу людей. Люди, судя по всему, стремились выбирать действия, которые приносят им удовольствие. Иногда они ели вкусную еду, иногда занимались сексом, иногда зарабатывали деньги, чтобы потратить их на приятные вещи потом, но всегда (в первые несколько недель) они выбирали действия, которые вели к удовольствию.

Но вдруг один человек пожертвовал много денег на благотворительность.

— Как такое может быть? — воскликнули философы. — Люди же максимизируют удовольствие! — Несколько минут они думали, а затем сказали: — Должно быть, удовольствие тратить на благотворительность превышает радость, которую можно получить, просто потратив эти деньги.

Тут вдруг мать бросилась под колеса автомобиля, чтобы спасти своего ребенка.

Наивные философы остолбенели, но затем один из них сказал:
— Я понял! Мгновенная радость от такого поступка наверняка перевешивает…

Тебе будут говорить: люди всегда и везде делают только то, что дает им удовольствие. Тебе будут говорить: никакого альтруизма не существует, люди всегда делают то, что они хотят.

Тебе будут говорить: раз мы заперты внутри своего тела, то и заботиться нужно только о том, что есть в нас, о своих желаниях и стремлениях.

Но я скажу тебе: на самом деле ты можешь заботиться о мире вокруг тебя.

И ты можешь его менять. Если захочешь.