Вы здесь

Потерянные цели

Элиезер Юдковский

То ли в детском саду, то ли в первом классе мне впервые сказали помолиться и дали молитву на иврите, записанную латиницей. Я спросил, что означают эти слова. Мне ответили, что если молиться на иврите, можно не знать значения слов, молитва всё равно сработает.

Мой разрыв с иудаизмом начался именно с этого.

Прямо сейчас, когда вы читаете эти строки, какой-нибудь студент сидит за партой в университете и старательно изучает материал, который ему сам по себе не интересен и который, по его мнению, ему никогда не пригодится. Студенту нужна высокооплачиваемая работа, а для неё требуется «корочка», а для получения «корочки» требуется степень магистра, а до степени магистра нужно получить степень бакалавра, а университет, который предлагает степень бакалавра, требует, чтобы для её получения вы посетили занятия по узорам вязания двенадцатого века. И студент прилежно изучает эти узоры. Он планирует забыть про них сразу же после сдачи экзамена, но тем не менее всерьёз возится с ними, потому что ему очень нужна «корочка».

Я уверен, что вы и сами оказывались в такой ситуации. Возможно, даже понимая её сумасшествие. Ведь у вас не было выбора, верно? Недавнее исследование в Сан-Франциско показало, что 80% учителей в начальной школе тратят меньше одного часа в неделю на науку. 16% заявило, что они совсем не уделяют время науке. Почему? Насколько я могу судить, в этом виноват акт «No Child Left Behind» и другие ему подобные законодательные инициативы1. Практически всё время уроков теперь уходит на подготовку к обязательным тестам федерального уровня или уровня штата. Кажется, где-то утверждалось (хотя сейчас я не могу найти источник), что в какой-то школе на одно лишь проведение обязательных тестов уходило 40% времени уроков.

Своим стремлением заботиться о внешних проявлениях, а не о сути, славилась советская бюрократия. Одна обувная фабрика перевыполнила план, произведя много обуви маленького размера. Другая фабрика отчиталась о раскроенной, но не сшитой коже, как об «обуви». Настоящие результаты начальство не интересовали, ведь ему тоже нужно было лишь доложить о перевыполнении планов. Что наверняка радовало товарищей, у которых мёрзли ноги.

Несколько разных источников уже утверждают, что большая часть публикуемых медицинских исследований неверны, несмотря на «статистическую значимость p < 0,05». Но зачем кому-то ставить себе более высокую планку, если p < 0,05 — единственный критерий для публикации? Ведь это потребует больших грантов на исследования и больших размеров выборок, а также уменьшит шансы на публикацию. Всем же известно, что смысл существования науки — опубликовать как можно больше статей. Точно так же, как смысл существования университетов — печатать кусочки бумаги определённого вида, а смысл существования школ — проходить обязательные тесты, позволяющие получить большее финансирование. Не вы устанавливаете правила. Если вы попробуете играть по другим, вы проиграете.

(Впрочем, почему-то научные журналы по физике требуют p < 0,0001. Словно они считают, будто у них есть какой-то иной смысл существования, кроме публикации научных статей по физике.)

В супермаркете есть шоколад, туда можно попасть на машине, в машину нужно попасть, для этого нужно открыть дверь, а для этого нужны ключи. Если вы узнаете, что в супермаркете шоколада нет, вы не будете стоять около машины и хлопать дверью просто потому, что так надо. По-моему, люди редко теряют нить ими же придуманных планов.

Когда стимулы проходят через крупные организации или, что ещё хуже, через множество организаций и групп интересов, часть из которых правительственные, получается совсем по-другому. Иногда в результате получается такое поведение, что спланируй его какой-то один человек, то этого человека объявили бы безумным. Кому-нибудь платят каждый раз, когда он открывает дверь машины, поскольку именно это является измеряемой метрикой, и этому человеку наплевать, заплатят ли водителю за прибытие в супермаркет, и уж тем более наплевать, купит ли покупатель шоколад и будет ли потребитель счастлив или умрёт с голода.

С точки зрения байесианства, подзадачи — это эпифеномен для функции условных вероятностей. Ожидаемой полезности без полезности не бывает. Очень глупо считать, что инструментальная ценность может начать жить своей жизнью, а терминальная ценность — отмереть за ненадобностью. Это неразумно по меркам разумности теории принятия решений.

Рассмотрим закон «No Child Left Behind». Политики хотели создать впечатление, будто они занимаются проблемами образования. Они изображали бурную деятельность, чтобы повлиять на избирателей в текущем году, а не пятнадцать лет спустя, когда сегодняшние дети будут искать работу. Политики не являются потребителями образовательных услуг. Бюрократы обязаны продемонстрировать развитие, а это значит, что они заинтересованы в развитии, которое можно измерить именно в этом году. Это не они в конечном итоге ничего не узнают о науке. Издательства, выпускающие учебники, и школьные комитеты, которые эти учебники покупают, не будут скучать за партами.

Настоящие потребители знаний — это дети. А они не могут платить, не могут голосовать, не могут заседать в комитетах. Родители о них заботятся, но они не сидят в классах, они лишь выбирают политиков на основании созданных теми образов «борцов за образование». Политики слишком заняты вопросом последующего переизбрания и не изучают данные самостоятельно, поэтому они полагаются на поверхностные сведения от бюрократов и комиссий. Это помогает создать образ заботы о детях, но детям от этого лучше не становится. Бюрократы не используют учебники, поэтому им плевать, что их невозможно читать, важно, чтобы процесс покупки учебников хорошо выглядел со стороны. У издателей нет стимула выпускать плохие учебники, но им известно, что школьные комитеты сравнивают учебники на основании количества тем для занятий, а комитет четвертого класса не связан с комитетом третьего, поэтому издатели впихивают в каждый учебник как можно больше разных тем. Учитель со своим классом не проходит и четверти учебника до конца года, поэтому на следующий год другой учитель начинает всё заново. Учителя могут жаловаться, однако решения принимают не они и вообще не их будущее стоит на кону, что в свою очередь влияет на желание прикладывать усилия, за которые всё равно не заплатят.

Если рассмотреть ситуацию с такого ракурса, задуматься обо всей потерянной информации и всех потерянных стимулах, становится даже удивительно, что от исходной цели — получения знаний — остаётся хоть что-то. Впрочем, судя по всему, большинство образовательных систем сейчас скатываются в состояние, которое не намного лучше, чем ничего.

Хотите решить проблему по-настоящему? Заставьте политиков ходить в школу.

Один человек способен отследить, как будет меняться вероятностная ожидаемая полезность в зависимости от условий, связанных со множеством промежуточных событий. Он может учесть нелокальные зависимости, где ожидаемая полезность открытия двери автомобиля зависит от наличия шоколада в супермаркете. Однако организации сегодня вознаграждают только за то, что измеримо сегодня, за то, что можно записать в контракте сегодня, а это означает измерение промежуточных событий, а не их долгосрочных последствий. И эти промежуточные измерения являются дырявыми обобщениями — зачастую очень дырявыми. Бюрократы это джинны, которым нельзя доверять, ведь они не разделяют ценностей желающего.

Миямото Мусаси сказал:2

Помни, когда в твоих руках меч — ты должен поразить противника, чего бы тебе это ни стоило. Когда ты парируешь удар, наносишь его, делаешь выпад, отбиваешь клинок или касаешься атакующего меча противника, ты должен сразить противника тем же движением. Достигай цели. Если ты будешь думать только о блокировании ударов, выпадах и касаниях, ты не сможешь действительно достать врага. Более, чем о чем бы то ни было, ты должен беспокоиться о том, как провести свой удар сквозь его защиту и достичь цели. Тщательно изучи сказанное.

(Хотел бы я жить в эпоху, когда можно сказать читателям тщательно что-то изучить и никого при этом не оскорбить.)

Каким образом кто-нибудь может забыть о своей цели в поединке на мечах? Например, он мог учиться сражаться у кого-то другого, искусство не появилось у него изнутри, и он не понимает причин, почему в такой-то ситуации ему нужно парировать, а в другой — делать выпад. Он не понимает, когда у правил появляются исключения, когда привычный метод не работает.

Искусство эпистемической рациональности немыслимо без понимания, как каждое правило приближает нас к истине в соответствии с теорией вероятности. Суть практической рациональности — теория решений — в том, чтобы всегда видеть, как ожидаемая полезность приводит к полезности. Тщательно изучи сказанное.

К. Дж. Черри однажды сказала:3

Нет клинка у твоего меча. У него есть лишь твоя цель. Потерял цель — остался безоружным.

Я видел множество людей, забывавших о цели, когда они формулировали желание воображаемому ИИ-джинну. Они представляли желание за желанием, и они не видели в своих желаниях ничего плохого. Некоторые из желаний сопровождались множеством уточнений, другие формулировались вовсе без каких-либо предосторожностей. Эти люди не выходили на мета-уровень. Они не сверялись инстинктивно с целью, у них не было того инстинкта, что заставил меня в пять лет свернуть на дорогу атеизма. Они не задумывались над вопросом: «Почему это желание кажется мне хорошим? А джинн тоже будет так считать?» Они не видели, откуда берётся их суждение, они слишком увлекались самим суждением. Они не следили за мячом — они знали, что мяч отскочил от пола, но не обращали внимание, в каком именно месте он отскочил. Они не думали о критериях, которые породили их суждение.

Похожим образом некоторые люди не замечают, как предположительно эгоистичные люди предлагают альтруистичные аргументы в пользу эгоизма, а предположительно альтруистичные люди – эгоистичные аргументы в пользу альтруизма.

Люди прекрасно отслеживают свои цели по дороге в супермаркет: когда весь процесс находится у них в голове и им не мешают ни бюрократы, ни джинны, ни философия. Проблема в том, что цивилизация гораздо сложнее. Десятки организаций и десятки лет разделяют скучающего ребёнка в классе и выпускника колледжа, который не справляется со своей работой (Заметит ли менеджер или кадровик, что выпускник колледжа прекрасно умеет выглядеть занятым?) С каждым новым звеном цепи между действием и последствием появляется возможность сбиться с настоящей цели. С каждым промежуточным звеном теряется информация, теряются стимулы. А большинство людей беспокоятся из-за этого гораздо меньше, чем я. Почему все мои одноклассники с готовностью читали молитвы, не зная их смысла? У них не было моего инстинкта искать причину.

Можно ли научить не спускать глаз с мяча? Удерживать намерение и не позволять ему сбиваться? Никогда не делать выпада, удара или касания без понимания главной цели? При прочих равных условиях люди зачастую хотят лишь делать свою работу. Может ли вообще существовать здравомыслящая корпорация? Здравомыслящая цивилизация? Пока это лишь далёкая мечта, но именно к ней я стремлюсь, когда пишу все эти эссе про поток намерений (также известных как ожидаемая полезность или инструментальные ценности) без потери цели (полезности или терминальной ценности). Могут ли люди научиться чувствовать поток от целей-«родителей» к целям-«детям»? Осознанно понимать разницу между ожидаемой полезностью и полезностью?

Думаете ли вы об угрозах вашей цивилизации? Худшая мета-угроза цивилизации — её собственная сложность. Усложнение ведёт к потере множества целей.

Я оглядываюсь назад и понимаю, что сильнее всего мною в жизни двигало отвращение к потерянным целям. Надеюсь, это отвращение можно превратить в тренируемый навык.

  • 1. «No Child Left Behind» (буквально: «ни один ребёнок не окажется отстающим») — федеральный закон США в области образования, принятый в 2001 году. Одним из его требований было проведение достаточно большого количества тестов для отслеживания прогресса детей. В 2015 году был отменён. — Прим.перев.
  • 2. Миямото Мусаси, «Книга пяти колец». Автор ссылается на издание Miyamoto Musashi, Book of Five Rings (New Line Publishing, 2003). Перевод цитируется по тексту на lib.ru, к сожалению, переводчик там не указан. — Прим.перев.
  • 3. Кэролайн Черри, «Паладин». Автор ссылается на издание Carolyn J. Cherryh, The Paladin (Baen, 2002). На русский язык переводилась только в самиздате.

Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
152
Оцените качество перевода: 
Средняя оценка: 4.8 (16 votes)
  • Короткая ссылка сюда: lesswrong.ru/559