# Бросая вызов сложностям

Eliezer Yudkowsky

Бросая вызов сложностям


В этой цепочке ставятся вопросы: что нужно, чтобы решать по-настоящему сложные задачи? Местами эти вопросы выходят за пределы эпистемической рациональности.

Примечание редактора: Значительная часть этой цепочки не переведена на русский язык.

Автор: Элиезер ЮдковскийChallenging the Difficult

## Бросая вызов сложностям


В этой цепочке ставятся вопросы: что нужно, чтобы решать по-настоящему сложные задачи? Местами эти вопросы выходят за пределы эпистемической рациональности.

Примечание редактора: Значительная часть этой цепочки не переведена на русский язык.

Автор: Элиезер ЮдковскийChallenging the Difficult


## Цуёку наритаи («Хочу стать сильней!»)

Элиезер Юдковский

В ортодоксальном иудаизме есть следующий афоризм: «Если древние были как ангелы, то мы – как люди, а если древние были как люди, то мы – как ослы», что вытекает из убеждения в том, что всё иудейское право было получено на горе Синай Моисеем напрямую от Господа. Действительно, вряд ли возможно получить новое галахическое знание, проведя какой-нибудь эксперимент; получить это знание можно лишь из уст кого-то, кто уже им владеет — потому что он услышал его от кого-то ещё, кто получил его непосредственно от Господа. Поскольку вся информация исходит из единственного, давно замолкшего источника, она может лишь искажаться в процессе передачи от поколения к поколению.

Поэтому слова современных раввинов не могут перекрывать слова древних раввинов. Ползающие животные обычно не кошерны, но позволительно съесть червяка, обнаруженного внутри яблока: древние считали, что червь самопроизвольно возник внутри яблока, и поэтому является его частью. Современный раввин не имеет права сказать «Понятно, что древние раввины разбирались в биологии также, как пингвины в математической логике. Завет отвергнут!». Современный раввин не может знать какой-либо галахический принцип, неведомый древним раввинам, потому что это означает обрыв цепочки древних раввинов, передающих друг другу ответы, полученные на горе Синай. Знание происходит от авторитета, и поэтому оно не нарастает, а лишь утрачивается с течением времени.

Я услышал эту поговорку про ангелов и ослов, когда я был в младших классах религиозной школы. Я был слишком молод для того, чтобы быть полностью созревшим атеистом, но я всё равно подумал про себя: «Тора теряет знание с каждым поколением. Наука приобретает знание с каждым поколением. Неважно, с чего они начали, рано или поздно наука обгонит Тору».

Очень важно, чтобы прогресс не исчезал. До тех пор, пока вы продолжаете двигаться вперёд, вы достигнете своей цели; но если вы остановитесь, то вы никогда не достигнете её.

«Цуёку наритаи» это на японском. «Цуёку» значит «сильный»; «нару» это «становиться», а форма «наритаи» это «хочу стать». Вместе это значит «Я хочу стать сильнее» и выражает настроение, ярче звучащее в японских работах, нежели в любой западной литературе, которую я читал. Вы можете сказать это, когда выражаете стремление стать профессиональным игроком в Го — или после того как вы проиграли важный матч, но не сдались — или после того как вы выиграли важный матч, но все еще не на вершине мастерства — или после того как вы стали наилучшим игроком в Го всех времен, но все еще думаете, что можете играть еще лучше. Это и есть «Цуёку наритаи», воля к трансцендентности.

«Цуёку наритаи» это движущая сила моего эссе «Правильное использование смирения», в котором я сравнивал студента, который смиренно проверяет дважды свой тест по математике и студента который скромно говорит «Но как мы можем действительно знать? Не имеет значения как много раз я проверю, я никогда не буду уверен абсолютно». Студент, который проверяет дважды свои ответы «хочет стать сильнее»; он реагирует на возможный внутренний недостаток посредством деятельности при помощи которой он может исправить недостаток, а не отступлением.

Каждый год, в праздник под названием Йом Киппур, ортодоксальный иудей читает литанию, которая начинается словами «ашамну, багадну, газалну, дибарну дофи» и похожим образом проходит через весь древнееврейский алфавит: «Мы грешили, мы предавали, мы грабили, мы злословили».

С каждым словом вы бьёте себя в грудь в знак раскаяния. Никто не может освободить вас от этого ритуала: нет такого правила, что, если вы ухитрились прожить весь год, ничего ни разу ни украв, то вы можете пропустить слово «газалну» и не бить себя в грудь в этот раз. Это нарушит чувство принадлежности к празднику Йом Киппур, который посвящён исповеданию грехов, а не избеганию грехов, чтобы исчезла причина в них исповедоваться.

Тот же символизм есть и в «Ашамну». Молитва не оканчивается словами «но это было в этом году, а в следующем году я добьюсь большего».

«Ашамну» носит удивительное сходство с представлением о том, что основная идея пути рациональности — это бить себя кулаком в грудь и говорить: «Все мы предвзяты, все мы иррациональны, все мы невежественны, все мы сверхуверенны, все мы плохо откалиброваны, все мы страдаем от искажений».

Замечательно. Теперь расскажите, как вы собираетесь стать менее предвзятым, более осведомлённым, менее сверхуверенным, лучше откалиброванным.

Мне вспоминается старая еврейская шутка: в день Йом Киппур раввин неожиданно оказывается охвачен непривычно сильным чувством вины. Он падает ниц и сквозь слезы восклицает: «Всевышний, я ничто пред ликом Твоим!». Волна вины накатывает и на кантора, который также вскрикивает: «Всевышний, я ничто пред ликом Твоим!». Увидев это, уборщик в дальнем углу синагоги падает на колени и восклицает: «Всевышний, я ничто пред ликом Твоим!». А затем раввин незаметно толкает кантора локтём в бок и шепчет: «Ты только посмотри, кто возомнил себя ничем».

Не гордитесь своим признанием в том, что вы тоже страдаете от искажений, и не упивайтесь знанием о своих изъянах. Этот принцип сродни принципу о том, что не надо гордиться признанием в своём невежестве; ибо если черпать в невежестве гордость, то будет нелегко поступиться своим невежеством, когда к вам постучатся свидетельства. Точно также и с изъянами: не надо внутренне восхищаться своей честностью и наблюдательностью, позволившей вам их признать; ликовать следует тогда, когда поводов для признания стало меньше.

В противном случае, когда кто-то идет к нам с планом «коррекции» влияния, мы огрызнемся: «Ты думаешь поставить себя над нами?» Мы печально покачаем головами и скажем: «У тебя, должно быть, низкое самосознание».

Никогда не говорите, что вы так же порочны, как и я, до тех пор, пока вы не можете сказать мне, что планируете с этим делать. После этого у вас все еще остается много недостатков, но дело не в этом; важно «делать лучше», двигаться вперед, делать шаг за шагом вперед. Цуёку наритаи!


## Цуёку против уравнительского инстинкта

Элиезер Юдковский

В племенах охотников и собирателей обычно сильно развит уравнительный принцип (по крайней мере, если вы мужчина) — принцип всемогущего племенного вождя чаще можно найти в аграрных обществах, редко в родоплеменном строе. В большинстве племен, живущих охотой и собирательством, охотник, который приносит больше всего добычи, будет стараться приуменьшить свои заслуги.

Возможно, если ваша стартовая точка находится ниже среднего уровня, вы можете улучшать себя без опаски выделиться из толпы. Однако рано или поздно, если вы стремитесь сделать всё как можно лучше, ваша цель превзойдет средний уровень.

Если вы не можете признаться себе, что вы действуете лучше остальных — или если вы стыдитесь желания действовать лучше остальных — тогда средний уровень навсегда станет для вас непреодолимым барьером, местом, где вы прекращаете свое развитие. И что насчёт тех людей, что находятся ниже среднего уровня? Вы смеете сказать, что желаете быть лучше них? Ну вы и гордец!

Возможно не слишком нормально гордиться собой так, словно вы лучше вообще всех. Но лично я обнаружил, что это полезный мотиватор, несмотря на мои принципы, а я хочу использовать всю полезную мотивацию, которую смогу получить. Возможно этот вид соревнования представляет собой игру с нулевой суммой, наподобие го; это не значит, что мы должны отменить данную человеческую активность, если людям это нравится и представляет собой нечто интересное.

Но, в любом случае, конечно же это плохо — стыдиться делать всё как можно лучше.

И кстати, жизнь нельзя оценить графиком. Стремление к трансцендентности не имеет точки, за которой это стремление становится хуже; и гонка, в которой нет финиша, не имеет и золотых или серебряных медалей. Просто бегите как можно быстрее изо всех сил, не беспокоясь, что вы можете оставить позади других. (Но будьте настороже: если вы откажетесь думать об этой возможности, однажды так и произойдёт. Если вы игнорируете последствия, они могут настигнуть вас.)

Рано или поздно, если твой путь ведет к истине, вы захотите убрать те недостатки, которые большинство людей не убирают. Рано или поздно, если ваши усилия приносят хоть какие-то плоды, вы обнаружите, что у вас меньше слабых мест.

Возможно вы найдете мудрым преуменьшить свои достижения, даже если вы и в самом деле преуспели. Люди могут простить гол, но вряд ли обрадуются выигрышу вами всей игры. Вы возможно найдете проще, быстрее и больше всего подходящим публично принизить свои достоинства, постараться сделать вид, что вы такой же несовершенный, что и все. Ну, до тех пор, пока всем уже не станет ясно, что это не так. Это может быть забавно — гордо показывать свою скромность так, что каждый знает как много вы достигли, о чем можете скромно умолчать.

Но не позволяйте этому стать концом вашего путешествия. Даже если вы только шепчете это себе под нос, продолжайте шептать: цуёку, цуёку! Сильнее, сильнее!

А потом установите себе цель ещё выше. Вот истинный смысл осознания, что вы всё ещё несовершенны (пусть теперь и немного меньше). Он заключается в том, чтобы всегда достигать больше, безо всякого стыда.

Цуёку наритаи! Я буду всегда бежать настолько быстро, насколько могу, даже если я вырвусь вперед, я продолжу бежать; и кто-то однажды превзойдёт меня; но даже хотя я останусь позади, я всегда буду бежать изо всех сил.


## Пытаясь пытаться

Элиезер Юдковский

Нет! Не надо пытаться! Делай. Или не делай. Не надо пытаться.

Йода

Когда-то давно я думал, что есть другой пример глубокой (великой) мудрости, а этот глуповат. Успех — не простое действие. Вы не можете просто решить выиграть путем достаточно трудного выбора. Не существует плана, который бы всегда работал.

Но Йода оказался мудрее, чем я сначала себе представил.

Первая элементарная техника эпистемологии — не глубокая, зато дешевая — отделять цитату от того, что она обозначает. Разговор о снеге не то же самое, что разговор о «снеге». Когда я использую слово «снег» без кавычек, я имею в виду снег; а когда я использую слово « „снег“ » в кавычках, я веду разговор именно о самом слове. Вам нужно сменить тип мышления, перейти в режим цитирования, чтобы вести разговор о своих убеждениях. Обычно, мы говорим о реальности.

Если кто-то говорит «я хочу нажать на выключатель», тогда по умолчанию, он имеет в виду то, что он собирается попробовать нажать на выключатель. Он собирается выстроить план, который обещает путем последовательностей действий привести его к нужному состоянию выключателя; и осуществить данный план.

Не существует плана, который работал бы с бесконечной определенностью. Так что по умолчанию, когда вы говорите о намерении достигнуть цели, вы не подразумеваете, что ваш план точно и совершенно приведет вас только к этой возможности. Но когда вы говорите «я собираюсь нажать на выключатель», вы пытаетесь нажать на выключатель — не пытаетесь достигнуть 97.2% вероятности нажатия на выключатель.

Так что же подразумевается, когда кто-либо говорит «Я собираюсь нажать на выключатель?»

Ну, в разговорной речи «я собираюсь нажать на выключатель» и «я собираюсь попробовать нажать на выключатель» означают более или менее одно и то же, за исключением того, что последнее выражение подразумевает возможность неудачи. Вот почему я изначально обиделся на Йоду за кажущееся отрицание возможности. Ну уж извините.

Наибольший жизненный вызов состоит в том, чтобы удерживать себя на достаточно высоком уровне. Я могу рассказать об этом принципе позже, поскольку это линза, через которую вы можете видеть многие-но-не-все личные дилеммы — «На каком уровне я держу себя? Достаточно ли он высок?»

Поскольку большинство жизненных неудач заключаются в том, что вы держите себя на слишком низком уровне, вам нужно опасаться требовать от себя слишком мало — ставить цели, что легко достижимы.

Часто там, где успешно сделать вещь очень трудно, попробовать это сделать куда легче.

Что легче — построить успешный стартап или попробовать построить успешный стартап? Заработать миллион долларов или попробовать заработать миллион долларов?

Так что если «я собираюсь нажать на выключатель» означает по умолчанию что вы попытаетесь нажать на выключатель — то есть, вы собираетесь следовать плану, который обещает привести к желаемому результату если не со стопроцентной вероятностью, то по крайней мере с наибольшей вероятностью, которую вы можете обеспечить -

тогда «я намерен «попытаться нажать» на выключатель» означает что вы хотите попробовать «попробовать нажать на выключатель», то есть вы собираетесь попробовать достичь цели-состояния «имею план который может помочь нажать на выключатель».

Теперь, если бы был самомодифицирующийся ИИ, о котором мы уже говорили, преобразование, которое мы только что выполниили, должно было закончится отраженным равновесием — ИИ планировал бы операции по планированию.

Но когда мы имеем дело с людьми, они могут удовлетвориться планом, который не особо вероятно гарантирует успех. Момент, что план должен максимизировать вашу вероятность успеха, теряется из виду. Куда легче убедить себя что мы «максимизировали нашу вероятность выиграть» нежели убедить себя что мы выиграем.

Почти любое усилие должно служить для убеждения нас, что мы «сделали все что могли», если попытки сделать все, что мы можем, это все, что мы пытаемся сделать.

«Вы спросили себя, что вы можете сделать в великих событиях, которые начинаются сейчас, и ответили себе, что ничего. Но из-за того, что вы страдаете, вы неправильно поставили вопрос…вместо того, чтобы спрашивать, что вы можете сделать, вы должны были спросить, что нужно сделать».

- Стивен Браст, Дороги Мертвых

Когда вы спрашиваете «что я могу сделать?», вы пытаетесь сделать все, что можете. Много ли вы можете? Это все, что не вызывает у вас ни малейшего затруднения. Это все, что вы можете сделать с деньгами у вас в кошельке минус деньги на ланч. Что вы можете сделать с этими ресурсами, может не дать вам очень хорошие шансы на выигрыш. Но это «все что вы можете сделать» и таким образом вы действуете обоснованно, так?

Но что нужно сделать? Может быть то, что нужно сделать, требует в три раза больше, нежели все ваши сбережения за всю жизнь, и вы должны сделать это или потерпите неудачу.

Так что старание иметь «максимизированную вероятность успеха» — в противовес стараниям достичь успеха — является существенно более низким барьером. Вы можете иметь «максимизированную вероятность успеха» используя только деньги у вас в кармане, хотя на самом деле претендовать на победу не сможете.

Хотите попробовать сделать миллион долларов? Купите лотерейный билет. Ваши шансы на выигрыш не очень хороши, но вы попытались, чего и хотели. На деле, вы сделали все, что в ваших силах — ведь у вас был всего лишь доллар после обеда. Максимизация шансов на достижение цели, используя доступные ресурсы: разве это не интеллект?

И только когда вы хотите, превыше всего остального, на самом деле нажать на выключатель — без цитирования и без утешительных призов за попытки — тогда вы на самом деле приложите усилия, чтобы действительно максимизировать вероятность.

Но если все, что вы хотите, это «максимизировать вероятность успеха при доступных ресурсах», тогда наиболее легкий путь сделать это — просто убедить себя в том, что это уже сделано. Самый первый план, который вы придумаете, уже будет служить как «максимизирующий» — если нужно, то вы можете придумать несколько худших планов, чтобы доказать оптимальность первого. И все крошечные ресурсы, которые вы вложите в этот план, будут гордо называться «доступными ресурсами». Не забудьте заодно поздравить себя с тем, что вы выложились на все 100%!

Не старайтесь изо всех сил. Либо побеждайте, либо проигрывайте. Но не старайтесь.


## Используй вторую попытку, Люк

Обсуждение Элиезер Юдковский

«Если кто-то хочет провалиться, он везде найдет препятствия» — Джон Маккарти.

Первый раз я увидел 4-6 «Звездные войны», еще когда был совсем юн. Мне было семь или девять, где-то так. Я плохо помню то время, однако я запомнил Люка Скайуокера как крутого джедайского парня.

Представьте мой ужас и разочарование, когда я годы спустя пересмотрел всю сагу и понял, что Люк был подростком-нытиком.

Я упоминаю это потому, что вчера я просматривал на Ютьюбе источник цитаты Йоды: «Делай или не делай. Не пытайся».

О. Мой. Ктулху.

Наряду с клипом с Ютьюба я представляю вам малоизвестную сценку, которая произошла на съемках фильма между директором картины Джорджем Лукасом и Марком Хамиллом, который играл Люка:

Люк: Хорошо, я попробую.

Йода: Нет! Не пробуй. Делай. Или не делай. Но не пробуй.

Люк поднимает руку и его корабль медленно начинает всплывать из воды. Глаза Йоды загораются интересом — но корабль снова тонет.

Марк Хамилл: «Эээ, Джордж…»

Джордж Лукас: «Что?»

Марк: «Так… дальше по тексту я говорю, что не могу поднять корабль, так как он слишком большой».

Джордж: «Ну да».

Марк: «А разве Люк не попробует еще раз?»

Джордж: «Нет. Люк сдается и садится рядом с Йодой…»

Марк: «И это герой, который собирается драться со всей Империей? Смотри, это могло бы произойти, когда он был только подростком, однако теперь он уже тренированный джедай. В последнем фильме он взорвал Звезду Смерти. Он должен показать хотя бы немного силы воли».

Джордж: «Нет. Ты сдаешься. И тогда Йода читает тебе лекцию, ты говоришь, что это невозможно. Тебе понятно?»

Марк: «Невозможно? Он что, на калькуляторе это высчитал, что ли? Корабль уже начал подниматься! Это прямая демонстрация того, что это осуществимо! Люк потерял концентрацию на секунду и корабль начал тонуть обратно — и после этого он сразу же сдается и говорит, что это невозможно? Не говоря уже о том, что Йода, который уже восемьсот лет занимается этим, прямо говорит ему, что это возможно…»

Джордж: «И тогда ты уходишь».

Марк: «Это его долбаный корабль! Если он оставит его в болоте, то остаток своей никчемной жизни он проведет на Дагобе! Он не может уйти! Смотри, давай просто перед следующей сценой вставим слова „месяц спустя“, Люк все еще стоит перед болотом, в тысячный раз стараясь вытащить корабль…»

Джордж: «Нет».

Марк: «Ну ладно! Покажем как он солнечным днем стоит с напряженной рукой и говорит „Невозможно“. На самом деле, он же должен был попытаться снова, когда отдохнул бы…»

Джордж: «Нет».

Марк: «Хотя бы пять долбаных минут! Пять минут перед тем, как он сдастся!»

Джордж: «Я не хочу снимать пять минут про то, как корабль качается в болоте наподобие игрушки для ванной».

Марк: «Святые угодники! Если этот жалкий неудачник зовется мастером Силы, тогда все в Галактике должны были бы владеть ею! Люди становились бы джедаями потому, что это было бы проще, чем закончить среднюю школу».

Джордж: «Слушай, ты актер. А я сценарист. Так что просто говори, что у тебя написано в сценарии».

Марк: «Люди на это не купятся».

Джордж: «Купятся, уж поверь».

Марк: «Они плюнут и уйдут из кинотеатра посреди фильма».

Джордж: «Они будут сидеть и кивать, не замечая ничего необычного. Ты просто не понимаешь человеческую натуру. Люди не будут стараться даже пять минут перед тем, как сдаться, пусть даже на кону будет судьба всего человечества».


## Приложи экстраординарные усилия

Элиезер Юдковский

«Кроме того, следует хорошо понимать, что, не имея намерения превзойти остальных в любом деле, какое бы ты ни делал, ты едва ли сможешь достичь даже среднего уровня».

— Дайдодзи Юдзан, «Будосёсинсю»[1]

«В важных вопросах „серьёзное“ усилие приносит лишь посредственные результаты. Каждый раз, когда мы принимаемся за что-то, по-настоящему стоящее, наши усилия должны принимать размеры колоссальные, как если бы на кону стояла наша жизнь! Только лишь эти исключительные усилия — усилия, вынуждающие нас выйти за границы того, что мы считали возможным, — только они обеспечивают победу в битве и успех в жизненных начинаниях».

— Масаюки Симабукуро, «Мерцающая сталь: Осваивая Эйсин-Рю»[2]

«…“серьезное“ усилие приносит лишь посредственные результаты» — я такое видел очень часто. Самого малого усилия хватает нам, чтобы убедиться: мы сделали всё возможное.

Есть добродетель, стоящая на уровень выше принципа «Цуёку наритаи» («Хочу стать сильнее»). Изначально иссёкенмей подразумевала преданность, которую обещает самурай взамен на свое положение; в иероглифическом написании участвуют слова «жизнь» и «земля». Со временем термин эволюционировал, и теперь означает «предпринять отчаянное усилие»: сделай максимально усердную и сфокусированную попытку, как если бы от этого зависела твоя жизнь. Это одна из составляющих бусидо — учения о правильном поведении воина, причём не только в бою. Я также встречал варианты написания «иссё кенмей» и «иссёу кенмей». Один из источников указывает, что первое — это максимальное усилие, приложенное в каком-то конкретном начинании, в то время как второе — жизненный принцип.

Я стараюсь не восхвалять Восток слишком сильно, потому что наши знания о восточной культуре очень избирательны. Но по крайней мере в некоторых отношениях японская культура обгоняет американскую. Наличие в повседневном языке ёмкой фразы, означающей «сделать отчаянное усилие, будто на кону стоит твоя жизнь» — это один из примеров такого превосходства. Что-нибудь подобное могут сказать родители своим детям перед экзаменами в вузе. Но не воспринимайте это как дешёвое лицемерие, как если бы то же самое сказал американский родитель. В Японии к экзаменам относятся очень серьёзно.

Время от времени, я слышу вопрос: почему люди, называющие себя «рационалистами» не выглядят такими уж преуспевающими в жизни. Исходя из личного опыта, ответ довольно простой: нужно колоссально много рациональности, перед тем, как прекратишь раз за разом наступать на совершенно идиотские грабли.

Как я уже упоминал ранее: Роберт Ауман, нобелевский лауреат, доказавший, что байесианцы с одинаковыми исходными данными не могут согласиться не соглашаться, — верующий ортодоксальный иудей. Он отлично понимает всю математику, стоящую за теорией вероятности, но для его спасения этого не достаточно. Что же ещё нужно? Изучить эвристики и когнитивные искажения? Социальную психологию? Эволюционную психологию? Да, все это несомненно пригодится, но самое необходимое это иссёкенмей, отчаянное усилие быть рациональным — на более высоком уровне, чем Роберт Ауман сейчас.

Порой я всерьёз задумываюсь, не начать ли втюхивать рациональность в Японии, а не в Штатах. Впрочем, несмотря на старательных студентов, Япония всё же не превосходит Америку в области науки. Японцы не правят миром, хотя в 80-х многие считали, что будут (что привело к финансовому пузырю). Но почему?

На Западе есть поговорка: «Колесо не скрипит, — его и не смажут».

В Японии есть соответствующая: «Торчащий гвоздь по шляпке получает».

Едва ли я буду оригинален, если скажу: предпринимательство, готовность рисковать и идти против толпы, — всё это характерно скорее для Запада, а не для Востока. И раз уж японские учёные ещё не превзошли американских, перечисленные качества как минимум уравновешивают культуру отчаянных усилий.

Любой, кто соберёт волю в кулак на тридцать секунд, сможет сделать отчаянное усилие и поднять непривычно большой вес. Но что если нужно поднять грузовик? Тогда отчаянных усилий уже не хватит. Чтобы преуспеть понадобится сделать что-то экстраординарное. Возможно придётся сделать что-то, чему не учили в школе. Что-то, чего от вас совершенно не ожидают, и могут откровенно не понять. Возможно придётся сменить привычный распорядок, посмотреть в лицо трудностям, для которых у вас ещё не заготовлено ментальных программ, и обойти Систему.

Такие действия не входят в понятие иссёкенмей. Если бы входили — Япония выглядела бы совершенно по-другому.

Поэтому давайте далее различать «готовность предпринять отчаянные усилия» и «готовность предпринять экстраординарные усилия».

Скажу больше: вторая добродетель выше первой.

Она также и более опасна. Если вы приложите отчаянное усилие, чтобы поднять большой вес, используя всю силу и без страховки, вы можете порвать мышцу. Получите травму, возможно она не заживёт. Но если наперекосяк пойдёт творческий план, вы можете, например, взорвать грузовик вместе с ни в чём неповинными прохожими. Представьте двух предпринимателей: один использует отчаянные меры, чтобы получить доход, потому что иначе он станет банкротом, а другой пускается на экстраординарные меры, чтобы скрыть факт хищения, за который он может сесть. Борьба с системой — не всегда правое дело.

Однажды в гости к моему младшему брату пришёл его друг и, они захотели поиграть в игру, — я совершенно не помню в какую, но помню, что у неё были сложные и хорошо прописанные правила. Друг захотел изменить их, просто потому что «играть по оригинальным правилам скучно». Я сказал ему: «Не нарушай правила чисто из духа противоречия. Даже если ты нарушаешь правила, когда у тебя есть невероятно веская причина, ты можешь получить неприятности, преследующие тебя до конца жизни».

Однако я всё равно считаю, что нам следует больше уважать добродетель «экстраординарных усилий». Я потерял счёт, сколько раз мне говорили: «Бессмысленно работать над дружелюбным ИИ, потому что первые ИИ будут разработаны мега-корпорациями и будут заточены на максимизацию прибыли», «Бессмысленно работать над дружелюбным ИИ, потому что первые ИИ будут созданы военными в качестве оружия». А я стою в это время и думаю: «Неужели им вообще не приходит в голову мысль, что возможно стоит предпринять что-нибудь, чтобы предотвратить ожидаемый исход?» Само собой, у нас с ними разные исходные представления насчёт всей этой затеи с ИИ, но если бы я верил в то же, что и они, я бы не пожимал флегматично плечами.

Или как мне порой говорят: «Тебе стоит пойти в колледж и получить степень магистра, затем защитить докторскую. Потом напиши много-много статей на ординарные темы — иначе учёные и инвесторы к тебе не прислушаются». Предположим, я получу степень бакалавра, но даже после этого мне придётся приостановить мою основную деятельность как минимум на десять лет. Всего лишь для того, чтобы сделать всё обычным, нормальным, стандартным способом. И я думаю: «Они действительно считают, что человечество сможет выжить, если абсолютно все будут поступать исключительно обычным, нормальным, стандартным способом?»

Я не настолько глуп, чтобы строить планы, зависящие от готовности большинства людей, или даже 10% от всех людей, не то что сделать, но хотя бы подумать о чём-то, выходящем за границы их зоны комфорта. По этой причине я предпочитаю стратегию профинансированного частно и сделанного в гараже «мозга в коробке». Чтобы получить финансирование такого предприятия, нужно лишь, чтобы мизерная доля от шести миллиардов человечества задумалась над нетривиальным вопросом больше, чем на 5 секунд. Из всех испытаний, посылаемых нам природой, это выглядит извращённо справедливым: жизнь и смерть человеческой расы целиком зависит от того, сможем ли мы собрать несколько людей, способных сделать что-то хоть немного экстраординарное. Цена неудачи непропорциональна обстоятельствам, впрочем, другие испытания природы гораздо хуже — ведь у природы нет никакой справедливости. Серьёзно, из шести миллиардов человек должны найтись хотя бы несколько, кто способен хоть какое-то время думать за гранью привычного.

И даже если не вдаваться глубоко в этот спор, я до сих пор поражаюсь, как часто даже единственная необходимость экстраординарного усилия безоговорочно воспринимается как совершенно непреодолимое препятствие.

Да, «будь как можно более проще» — порой полезная эвристика. Да, риски действительно суммируются. Но иногда нужно идти навстречу неприятностям. Риски экстраординарного понимать, конечно, надо. Но также нужно понимать цену обыденности: не всегда есть, что терять.

Представляя будущее, многие люди видят не очень радостную картину. Но при этом им не приходит в голову попробовать что-нибудь поменять. Или же их устраивает будущее с тем, что мне представляется привкусом грусти или потери, и поэтому им не интересно, можно ли добиться большего. Грусть для них вполне обыденна.

Как однажды сказал улыбающийся человек: «Всё это — часть плана».