Мышление Безопасника и Логистическая Кривая Успеха

Это продолжение текста Мышление Безопасника и Обыденная Паранойя.

(Через два дня Эмбер возвращается с другим вопросом.)

ЭМБЕР: Эмм, Корал, скажи, насколько важно мышление безопасника, когда ты создаёшь систему совсем нового вида, скажем, подверженную потенциально неблагоприятным оптимизационным давлениям, если ты хочешь, чтобы она имела некоторое устойчивое свойство?

КОРАЛ: Насколько система оригинальна?

ЭМБЕР: Очень оригинальна.

КОРАЛ: Настолько оригинальна, что тебе приходится изобретать свои собственные лучшие практики, а не узнавать существующие?

ЭМБЕР: Верно.

КОРАЛ: Дело серьёзное. Если ты создаешь очень простую соединённую с Интернетом систему, то, может, умный обыденный параноик может посмотреть на то, как мы обычно защищаемся от противников, использовать столько готового проверенного настоящими специалистами по безопасности софта, сколько возможно, и справиться не слишком ужасно. Но если ты делаешь что-то качественно новое и сложное, что должно быть устойчивым перед лицом неблагоприятной оптимизации, ну… в целом, я думаю, что ты действуешь на почти что до невозможности опасной территории, и я бы посоветовала тебе сообразить, что делать после того, как первая попытка провалится. Но если ты хочешь и впрямь преуспеть, то обыденной паранойи совершенно точно не хватит.

ЭМБЕР: Другими словами, проекты создания оригинальных критических систем обязаны иметь советников с полноценным мышлением безопасника, чтобы советник мог говорить, что создатели системы должны сделать, чтобы обеспечить надёжность.

КОРАЛ: (грустно усмехается)  Нет.

ЭМБЕР: Нет?

КОРАЛ: Давай для конкретики скажем, что ты хочешь создать новую надёжную операционную систему. Это не то, что ты можешь сделать, назначив одного советника с мышлением безопасника и ограниченным политическим капиталом, который он может использовать, чтобы убеждать людей что-то сделать. В качестве метафоры на ум приходит «Строить дом, когда тебе разрешено касаться кирпичей только пинцетом». Тебе понадобятся опытные специалисты по безопасности, работающие на полную ставку и обладающие абсолютным авторитетом. Три, один из которых – сооснователь. Иначе мы всё равно можем оказаться на территории Парадокса Дизайна Пола Грэхэма.

ЭМБЕР: Парадокс Дизайна? Что это?

КОРАЛ: Парадокс Дизайна Пола Грэхэма заключается в том, что люди с хорошим вкусом на интерфейсы могут сказать, проектируют ли другие люди хорошие интерфейсы, но большинство директоров больших компаний хорошего вкуса лишены, и не могут сказать, у кого он есть. И поэтому большие компании не могут просто нанимать людей, талантливых как Стив Джобс, чтобы они создавали для них красивые штуки, хоть Стив Джобс точно не был лучшим дизайнером на планете. Apple существует из-за удачно сложившихся обстоятельств, что Стив Джобс оказался главным. Samsung никак не может нанять кого-то с такими же талантами, потому что Samsung просто получит какого-то парня в костюме, который хорошо будет притворяться Стивом Джобсом перед директорами, которые не увидят разницу.

Аналогично, люди с мышлением безопасника могут заметить, когда у других людей его нет, но я беспокоюсь, что обыденный параноик с трудом заметит разницу, так что ему сложно будет нанять по-настоящему компетентного советника. И, конечно, много людей в большой социальной системе, стоящей за технологическими проектами, лишены даже обыденной паранойи, которой обладают многие хорошие программисты, так что они просто оказываются с костюмами, много говорящими про «риски» и «надёжность». Другими словами, если мы говорим о чём-то настолько сложном, как создание надёжной операционной системы, и твой проект изначально не возглавляется кем-то с полноценным мышлением безопасника, то у тебя проблемы. Говоря «проблемы», я имею в виду «тотально непоправимо обречены».

ЭМБЕР: Смотри, ух, есть некоторый проект, в который я вкладываюсь, собравший сотню миллионов долларов на создание торговых дронов.

КОРАЛ: Торговых дронов?

ЭМБЕР: Ну, есть много стран с плохой рыночной инфраструктурой, и идея в том, что мы сделаем дронов, которые будут летать, покупать и продавать вещи, и они будут использовать машинное обучение, чтобы понять, какие устанавливать цены, и всё в таком роде. Это не только ради денег, мы думаем, что это принесёт этим странам огромную экономическую пользу, действительно поможет их развитию.

КОРАЛ: Боже мой. Окей. Ваша компания в точности про две штуки: надёжность системы и договоры с регулирующими органами. Ну, и ещё маркетинг, но он не считается, потому что каждая компания про маркетинг. Было бы серьёзной ошибкой представлять, что ваша компания про что-то другое, вроде железа дронов или машинного обучения.

ЭМБЕР: Ну, настроения внутри компании такие, что время, чтобы начать думать о законах и надёжности будет, когда мы докажем, что можем создать прототип, и у нас будет запущен хоть небольшой пилотный рынок. В смысле, пока мы не узнаем, как люди используют систему, и как работает софт, сложно представить, что мы можем продуктивно, а не чисто умозрительно, думать о надёжности или регулировании.

КОРАЛ: Ха! Ха, хахаха… о боже мой, ты не шутишь.

ЭМБЕР: Что?

КОРАЛ: Пожалуйста, скажи мне, что то, что ты на самом деле имела в виду – это что у вас есть дорожная карта по надёжности и регулированию, согласно которой вы будете делать некоторую работу позже, но которая явно указывает, какая работа должна быть сделана, когда вы начнёте её делать, и когда должна быть достигнута каждая веха. Конечно, ты не буквально имела в виду, что вы намерены начать думать об этом потом?

ЭМБЕР: Мы много раз на ланче говорили о том, как нас раздражает, что нам надо будет иметь дело с регуляциями и как лучше было бы, если бы государства были более либертарианскими. Это считается за «думать об этом», верно?

КОРАЛ: Боже мой.

ЭМБЕР: Я не понимаю, как мы можем иметь план надёжности, когда мы не точно знаем, надёжности чего. Не окажется ли он попросту ошибочным?

КОРАЛ: Все бизнес-планы стартапов оказываются ошибочными, но они всё равно нужны – и не просто как литературные произведения. Они отображают в письменной форме ваши нынешние убеждения и ключевые допущения. Записывание вашего бизнес-плана проверяет, могут ли ваши нынешние убеждения в принципе быть непротиворечивыми, и подсказывает, какие критические убеждения проверить первыми, и какие результаты должны быть тревожащими, и когда вы опускаетесь ниже ключевых порогов выживания. Идея не в том, что вам нужно придерживаться бизнес-плана; она в том, что бизнес-план (а) проверяет, кажется ли успех вообще возможным любыми способами, и (б) сообщает, когда одно из ваших убеждений опровергнуто, чтобы вы могли явно изменить план и адаптироваться. Иметь записанный план, который вы намерены быстро корректировать при появлении новой информации – одно. НЕ ИМЕТЬ ПЛАНА – другое.

ЭМБЕР: Штука в том, что я несколько обеспокоена, что глава нашего проекта, Мистер Топаз, не особо уделяет внимания возможности, что кто-то обманом заставит дроны отдавать деньги, когда они не должны это делать. В смысле, я пыталась поднять эту тему, но он сказал, что конечно мы не собираемся программировать дроны выдавать деньги кому попало. Может, ты можешь дать ему пару советов? В смысле, о том, когда наступает время начинать думать о надёжности.

КОРАЛ: Ох. Ох, дорогая, милое, милое дитя. Извини. Я ничего не могу для тебя сделать.

ЭМБЕР: А. Но ты даже не взглянула на нашу прекрасную бизнес-модель!

КОРАЛ: Я думала, что, может быть, у вашей компании просто безнадёжный случай недооценённых сложностей и неправильно расставленных приоритетов. Но сейчас это выглядит, будто ваш лидер даже не использует обыденную паранойю, и со скептицизмом на неё реагирует. Называть этот случай «безнадёжным» было бы преуменьшением.

ЭМБЕР: Но провал надёжности был бы очень плох для стран, которым мы пытаемся помочь! Им нужны надёжные торговые дроны!

КОРАЛ: Тогда им нужны дроны, созданные каким-нибудь проектом, которым руководит не мистер Топаз.

ЭМБЕР: Но это очень сложно устроить!

КОРАЛ: …Я не понимаю, как то, что ты говоришь, должно противоречить тому, что я говорю.

ЭМБЕР: Слушай, не судишь ли ты о мистере Топазе слишком быстро? Серьёзно.

КОРАЛ: Я его не встречала, так что возможно, что ты создала у меня неправильное о нём представление. Но если ты правильно отобразила его отношение? То да, я посудила быстро, но это чертовски хорошая догадка. Мышление безопасника уже априори редко встречается. «Я не планирую делать так, чтобы мои дроны отдавали деньги случайным людям» означает, что он представляет, как его система будет работать, как задумано, вместо того, чтобы представлять, как она может работать не как задумано. Если кто-то даже не демонстрирует обыденную паранойю, спонтанно, по своей собственной инициативе, без внешнего толчка, то такой человек не может заниматься безопасностью, точка. С негодованием реагировать на предположение, что что-то может пойти не так – за пределом даже этого уровня безнадёжности, который уже был достаточно безнадёжен.

ЭМБЕР: Слушай… ты можешь просто пойти к мистеру Топазу и попробовать сказать ему, что ему надо сделать, чтобы добавить его дронам немного надёжности? Просто попробовать? Потому что это супер-важно.

КОРАЛ: Я могу попробовать да. Я не могу преуспеть, но попробовать могу.

ЭМБЕР: О, но, пожалуйста, будь осторожна, не будь с ним сурова. Не фокусируйся на том, что он делает неправильно – и попробуй ясно показать, что эти проблемы не слишком серьёзные. Ему надоел алармизм в медиа про апокалиптические сценарии с армиями злых дронов, заполняющих небо, и мне было непросто убедить его, что я не просто ещё один алармист с фантастическими катастрофическими сценариями дронов, отвергающих собственные программы.

КОРАЛ: …

ЭМБЕР: И, может, попробуй не касаться в вводном разговоре того, что может прозвучать безумными крайними случаями, вроде того, что кто-то забыл проверить конец буфера, а противник закинул туда огромную строку символов, переписавших конец стека адресом возврата, перенаправляющим в раздел кода где-то ещё, где система делает то, что надо противнику. В смысле, ты убедила меня, что об этих притянутых за уши сценариях стоит волноваться, даже если они лишь канарейки в угольной шахте более реалистичных провалов. Но мистер Топаз думает, что это немного глупо, и я не думаю, что тебе стоит пытаться объяснять ему на мета-уровне, почему это не так. Он скорее всего подумает, что ты снисходительно говоришь ему, как думать. Особенно если ты просто занимаешься операционными системами, и не имеешь опыта создания дронов, и не видишь, что на самом деле заставляет их ломаться. В смысле, я думаю, что он скажет тебе что-то такое.

КОРАЛ: …

ЭМБЕР: Ещё, давая советы, начни с самых дешёвых исправлений. Я не думаю, что мистер Топаз хорошо отреагирует, если ты скажешь ему, что надо начать всё заново на другом языке программирования, или организовать ревизионную комиссию для всех изменений кода, или что-то такое. Он беспокоится о том, что конкуренты выйдут на рынок первыми, так что он не хочет делать что-то, что его замедлит.

КОРАЛ: …

ЭМБЕР: Э, Корал?

КОРАЛ: … замедлит его оригинальный проект, в новой области, занимающийся не в точности тем, что кто-то уже делал, с оригинальными критически важными подзадачами, для которых нет ни стандартизированных лучших практик безопасности, ни какого-либо понимания, что делает систему устойчивой или неустойчивой.

ЭМБЕР: Верно!

КОРАЛ: И сам мистер Топаз, кажется, не слишком ужасается этой ужасающей задачей, которая перед ним стоит.

ЭМБЕР: Ну, его беспокоит, что кто-то другой сделает торговых дронов первым и злоупотребит этой ключевой экономической инфраструктурой в плохих целях. Это по сути та же штука, верно? Вроде, это демонстрирует, что его может что-то беспокоить?

КОРАЛ: Это абсолютно другое. Обезьяны, которые могут бояться, что другие обезьяны доберутся до бананов первыми, встречаются куда чаще, чем обезьяны, беспокоящиеся, что бананы проявят странное поведение системы перед лицом неблагоприятной оптимизации.

ЭМБЕР: Ох.

КОРАЛ: Я боюсь, что то, что мистер Топаз пересмотрит для себя принципы создания устойчивого софта, лишь немногим вероятнее, чем что Луна спонтанно превратится в органически выращенный козий сыр.

ЭМБЕР: Я думаю, ты с ним слишком сурова. Я знаю мистера Топаза, и он кажется мне довольно умным.

КОРАЛ: Опять же, при условии, что ты точно его описала, мистер Топаз кажется лишённым того, что я называю обыденной паранойей. Если у него и есть эта когнитивная способность, как у многих умных программистов, то, очевидно, он не склонен применять эту паранойю к ключевым параметрам своего проекта дронов. Ещё, кажется, мистер Топаз не осознаёт, что есть навык, которого он лишён, и был бы оскорблён таким предположением. В голову приходит история про фермера, которого проезжающий водитель спросил дорогу до Пункта Б, на что фермер ответил «Если бы я пытался попасть в Пункт Б, я бы точно не начинал отсюда.»

ЭМБЕР: Мистер Топаз значительно продвинул прогресс технологий дронов, так что он не может быть глупым, верно?

КОРАЛ: «Мышление безопасника» кажется мне когнитивным талантом, отдельным от g-фактора и даже от способностей к программированию. На самом деле, кажется, нет такого уровня человеческой гениальности, который гарантировал бы хотя бы способность к обыденной паранойи. Это заставляет некоторых специалистов по безопасности, включая меня, чувствовать себя несколько странно – так же, как многим программистам сложно понять, почему не кто угодно может научиться программировать. Но, кажется, наблюдения говорят о том, что и обыденная паранойя, и мышление безопасника – это штуки, которые могут быть отделены от g-фактора и способностей к программированию – и что если бы это было бы не так, то Интернет был бы куда надёжнее, чем на самом деле.

ЭМБЕР: Как ты думаешь, помогло бы, если бы мы поговорили с другими вкладчиками, финансирующими этот проект, и убедили бы их попросить мистера Топаза назначить Специального Советника по Устойчивости, докладывающего напрямую Главному Техническому Директору? Мне это кажется политически сложным, но возможно, мы могли бы такое провернуть. Когда пресса начала делать предположения о восстающих дронах, может быть, собирающихся в больших роботов с лазерами в глазах в духе Вольтрона, мистер Топаз сказал вкладчикам, что он очень обеспокоен этикой безопасности дронов, и что у него было много долгих разговоров об этом в обеденные часы.

КОРАЛ: Тут я выхожу немного за пределы своей области профессионализма, которая не включает саму по себе корпоративную политику. Но предполагаю, что для подобного пытающегося войти в новую область проекта человек с мышлением безопасника должен иметь как минимум статус сооснователя, и ему должны лично доверять все сооснователи без этого навыка. Это не может быть приведённый вкладчиками чужак с ограниченным политическим капиталом и необходимостью выигрывать спор каждый раз, когда надо убедить не держать все сервисы удобно включёнными по умолчанию. Я подозреваю, что вашим стартапом просто руководит не тот человек, и что эту проблему нельзя исправить.

ЭМБЕР: Пожалуйста, не сдавайся так просто! Даже если всё настолько плохо, как ты говоришь, просто увеличение вероятности того, что наш проект будет надёжным с 0% до 10% было бы очень ценно с учётом всех тех людей во всех тех странах, которым нужны торговые дроны.

КОРАЛ: …смотри, в какой-то момент надо попробовать отсортировать наши приложенные усилия и сдать те, которые нельзя вытащить. Ты знаешь, что зачастую вероятность успеха меняется по логистической кривой? Расстояния измеряются в мультипликативных шансах, не аддитивных процентах. Ты не можешь взять такой проект и допустить, что, приложив некую тяжёлую работу, ты можешь увеличить его абсолютный шанс успеха на 10%. Скорее, шансы провала к шансам успеха этого проекта изначально 1,000,000:1, и если мы будем очень вежливо обхаживать ощущение мистера Топаза, что его статус выше нашего, и сможем объяснить ему пару советов, ни в какой момент не звуча так, будто мы думаем, что знаем что-то, чего не знает он, то мы сможем упятерить его шансы на успех, и они станут 200,000:1. Что в мире десятых долей процентов означает повышение шансов с 0.0% до 0.0%. Это один из способов думать о «законе продолжающегося провала».

Если бы у тебя был проект, где изначально получались, скажем 15% шансов успеха, то это была бы нужная часть логистической кривой, и в таком случае было бы весьма осмысленно искать способы повысить шансы до 30% или 80%.

ЭМБЕР: Смотри, я обеспокоена, что будет очень плохо, если мистер Топаз первым выйдет на рынок с ненадёжными дронами. Ну, я думаю, что эти дроны могли бы быть очень выгодны для стран без особой существующей рыночной основы, а при крупном провале – особенно, если у одного из потенциальных клиентов украдут деньги или вещи – то это отравит потенциальный рынок на годы. Это было бы ужасно! Серьёзно, по-настоящему ужасно!

КОРАЛ: Вау. Это уж точно звучит как не самый приятный сценарий, чтобы в нём оказаться.

ЭМБЕР: Но что нам делать сейчас?

КОРАЛ: Чёрт меня побери, если я знаю. Я подозреваю, что пока единственный способ победить – если кто-то вроде мистера Топаза создаст устойчивую систему, вы в заднице. Я полагаю, что вы могли бы попытаться обеспечить существование какого-нибудь другого проекта дронов, возглавляемого кем-то, про кого, скажем, Брюс Шнайер уверит всех, что этот человек необычайно хорош в мышлении безопасника, и, значит, может нанимать людей вроде меня и слушать все суровые вещи, которые эти люди будут говорить. Хотя надо признать, та часть, где по твоему мнению критически важно, чтобы надёжная система вышла на рынок раньше ненадёжной – ну, это звучит совершенно кошмарно. Вам потребуется намного больше ресурсов, чем есть у мистера Топаза, или какое-то ещё очень большое преимущество. Надёжность требует времени.

ЭМБЕР: Действительно ли настолько сложно добавить надёжности системе дронов?

КОРАЛ: Ты продолжаешь говорить про «добавление» надёжности. Устойчивость системы – не такое свойство, которое можно вписать в софт задним числом.

ЭМБЕР: Кажется, мне сложно увидеть, почему это настолько затратно. Ну, если кто-то сдуру создал ОС, которая даёт доступ кому угодно, то ты можешь навесить на неё систему паролей, используя твою умную схему, когда ОС хранит хэши паролей, а не их самих. Ты просто тратишь пару дней, переписывая все сервисы с доступом из Интернета, чтобы они спрашивали пароль, прежде чем предоставлять доступ. И тогда ОС становится надёжной! Верно?

КОРАЛ: НЕТ. Всё в твоей системе, что потенциально подвержено враждебному отбору вероятности странного поведения – уязвимость! Всё, открытое для атаки, и всё, с чем эти подсистемы взаимодействуют, и всё, с чем взаимодействуют те части! Всё это нужно сделать устойчивым! Если ты хочешь создать надёжную ОС, то тебе нужен целый специальный проект «создания надёжной операционной системы вместо ненадёжной операционной системы». А ещё тебе надо ограничить масштаб своих амбиций, и не делать всё, чего хочется, и подчиняться заповедям, которые для кого-то без полноценного мышления безопасника кажутся большими неприятными жертвоприношениями. OpenBSD не может делать и десятой доли того, что может Ubuntu. Разработчики не могут этого себе позволить! Тогда поверхность для атак была бы слишком велика! Они не могут проверять настолько много кода, используя специальный процесс, с помощью которого они разрабатывают надёжный софт! Они не могут держать в своих головах так много допущений!

ЭМБЕР: Должно ли это усилие тратить значительное количество дополнительного времени? Уверена ли ты, что этого нельзя сделать за ещё пару месяцев, если мы торопимся?

КОРАЛ: ДА. С учётом того, что это оригинальный проект в новой области, ожидай, что это займёт как минимум на два года или на 50% – что из этого меньше – больше времени – чем не заботящийся о надёжности проект с теми же инструментами, озарениями, людьми и ресурсами. И это очень, очень оптимистичная нижняя граница.

ЭМБЕР: Эта история, кажется, идёт в тревожном направлении.

КОРАЛ: Ну, извини, но создание устойчивых систем занимает больше времени, чем создание неустойчивых, даже если было бы по-настоящему экстраординарно плохо, если бы создание устойчивых систем занимало больше времени, чем создание неустойчивых.

ЭМБЕР: Не может ли быть так, что проекты с хорошими практиками надёжности делают всё настолько чище и лучше, что они могут выйти на рынок быстрее, чем любые ненадёжные конкуренты?

КОРАЛ: … Мне правда сложно увидеть, почему ты предпочитаешь рассматривать именно эту гипотезу. Устойчивость подразумевает процессы проверки, занимающие дополнительное время. OpenBSD не проходит строки кода быстрее, чем Ubuntu.

Но, что более важно, если у всех есть доступ к одним и тем же инструментам, озарениям и ресурсам, то необычайно быстрый метод делать что-то осторожно всегда может быть превращён в ещё более быстрый метод делать то же самое неосторожно. Не существует и никогда не будет существовать языка программирования, на котором хоть немного сложно писать плохие программы. Не существует и никогда не будет существовать методологии, которая делает само по себе написание ненадёжного софта медленнее, чем написание надёжного. Любой профессионал в области безопасности, услышав про твои светлые надежды, просто посмеётся. Спроси и их, если не веришь мне.

ЭМБЕР: Но не должны ли неосторожные инженеры быть попросту неспособны вовсе создавать софт из-за обычных багов?

КОРАЛ: Боюсь, что и возможно, и очень распространено на практике, что люди исправляют все баги, которые заставляют их системы вылетать в повседневном тестировании, используя методологии, действительно адекватные для исправления обычных багов, проявляющихся достаточно часто, чтобы это затрагивало значительную долю пользователей, а затем выпускают продукт. У них всё работает сегодня, и они не чувствуют, что у них есть резервы, чтобы задержать выпуск ещё больше, они и так отстают от плана. Они не нанимают особых людей, чтобы делать в десять раз больше работы, чтобы предотвратить появление в продукте дырок, которые проявляются только от неблагоприятного оптимизационного давления, их найдёт кто-то другой, а они узнают об этом лишь слишком поздно.

Это даже не ошибочное решение для продуктов, не соединённых с Интернетом, не имеющих достаточно пользователей, чтобы кто-то из них оказался враждебен, не оперирующих деньгами, не содержащих ценных данных и не делающих ничего, что может навредить людям, если что-то пойдёт не так. Если твой софт не уничтожает ничего важного, когда взрывается, то, наверное, лучшее использование ограниченных ресурсов – планировать исправлять баги, когда они будут показываться.

… Конечно, тебе нужна некоторая степень мышления безопасника, чтобы понять, какой софт на самом деле может уничтожить компанию, если он втихую испортит данные, и никто не заметит, пока не пройдёт месяц. Я не думаю, что в случае твоих дронов, они переносят лишь ограниченную долю всего доступного бюджета компании за день, и у вас всегда есть более чем достаточно денег, чтобы возместить ущерб всем клиентам, если все товары за день перевозок будут утеряны, с учётом того, покупок или продаж за него может быть куда больше, чем обычно? И что система генерирует внутренние бумажные квитанции, которые явно показываются клиенту и не-электронно согласуются раз в день, позволяя вам заметить проблему, пока не стало слишком поздно?

ЭМБЕР: Не-а!

КОРАЛ: Тогда, как ты и сказала, для мира было бы лучше, если бы ваша компания не существовала и не собиралась ворваться в эту новую область и отравить её впечатляющим провалом.

ЭМБЕР: Если я в это поверю… ну, мистер Топаз уж точно не остановит свой проект и не позволит кому-то ещё взять над ним контроль. Кажется, логическое следствие твоих слов – что я должна попробовать убедить венчурных капиталистов, которых я знаю, запустить более безопасный проект дронов с ещё большим финансированием.

КОРАЛ: Ух, извини за прямоту, но я не уверена, что у тебя есть достаточный уровень мышления безопасника, чтобы опознать исполнителя, который в нём значительно лучше, чем ты. Попытка получить достаточное преимущество по ресурсам, чтобы одолеть ненадёжный продукт на рынке – это лишь половина твоей задачи при запуске конкурирующего проекта. Вторая половина – одолеть априорную редкость людей с настоящим глубоким мышлением безопасника, и получить кого-то такого полностью посвящённого твоему делу в качестве главного. Или хотя бы получить его как высокодоверенного полностью посвящённого сооснователя без ограничений бюджета и политического капитала. Скажу это ещё раз: назначенного вкладчиками советника и близко недостаточно для подобного проекта. Даже если этот советник действительно хороший профессионал в области безопасности—

ЭМБЕР: Это всё кажется необоснованно сложным требованием. Можешь вернуться немного назад?

КОРАЛ: —человек во главе скорее всего попробует торговаться с реальностью в лице неприятного голоса специалиста по безопасности, у которого нет достаточного социального капитала, чтобы протолкнуть «необоснованные» меры. Что означает полностью автоматический провал.

ЭМБЕР: … Тогда что мне делать?

КОРАЛ: Я на самом деле не знаю. Но в запуске другого проекта дронов с ещё большим финансированием нет толка, если у него будет другой такой же мистер Топаз во главе. Что, по умолчанию, ровно то, что сделают твои друзья-венчурные капиталисты. Это просто создаст ещё большую конкурентную планку для любого, кто действительно попытается первым выйти на рынок с надёжным решением, да помилует Бог их души.

К тому же, если мистер Топаз подумает, что конкурент наступает ему на пятки и собирается вывести свой продукт на рынок, то его шансы на создание надёжной системы упадут в десять раз с 0.0% до 0.0%.

ЭМБЕР: Уж точно, мои друзья-венчурные капиталисты уже сталкивались с проблемами такого рода и знают, как опознавать и нанимать исполнителей, которые хорошо справляются с надёжностью?

КОРАЛ: … Если один из них – Пол Грэхэм, то, может быть, да. Но в среднем – НЕТ.

Если бы среднестатистический венчурный капиталист всегда уверялся, что у проекта, нуждающегося в надёжности, есть основатель или сооснователь с мышлением безопасника – если бы он был способен в этом увериться в тех случаях, когда решил, что хочет – Интернет, опять же, выглядел бы совсем по-другому. По умолчанию, твои друзья будут обдурены кем-то выглядящим очень трезвомысляще и много рассказывающим об ужасной обеспокоенности кибербезопасностью и о том, как система будет супербезопасной и отвергать более девяти тысяч часто встречающихся паролей, включая тридцать шесть паролей, перечисленных вот на этом слайде, и венчурные капиталисты заохают и заахают, особенно когда один из них поймёт, что на слайде есть его собственный пароль. Такой лидер проекта совершенно точно ничего не захочет от меня слышать – ещё меньше, чем мистер Топаз. Для него я – политическая угроза, которая может навредить его контакту с вкладчиками.

ЭМБЕР: Мне сложно поверить, что все эти умные люди могут на самом деле быть такими глупыми.

КОРАЛ: Ты сжимаешь своё внутреннее ощущение социального статуса и свою оценку того, как хороши конкретные способности конкретных людей в одно измерение. Это плохая идея.

ЭМБЕР: Я не говорю, что я думаю, что кто угодно с высоким статусом обязательно владеет навыком глубокой надёжности. Мне просто сложно поверить, что они не могут быстро ему научиться, если им сказать, или что они застрянут в неспособности опознать владеющих им хороших советников. Это бы означало, что они не могут знать что-то, что знаешь ты, причём что-то, что кажется важным, и это просто… как-то кажется неправильным. Получается, есть все эти успешные и важные люди, а ты говоришь, что ты лучше их, несмотря на всё их влияние, навыки ресурсы—

КОРАЛ: Смотри, тебе не надо верить мне на слово. Подумай о всех тех шикарно выглядящих сайтах, на которых ты была, через которые, может быть, проходили продажи на миллионы долларов, и на которых требовалось, чтобы твой пароль был смесью больших и маленьких букв и чисел. Другими словами, они хотят, чтобы ты ввела «Пароль1!» вместо «верно лошадь батарея скоба». Каждый из них делает то, что кажется смехотворно глупым любому обладателю полноценного мышления безопасника и даже любому, кто просто регулярно читает XKCD. Это говорит о том, что система безопасности была настроена кем-то, кто не знал, что делает, и просто слепо имитировал впечатляюще выглядящие ошибки, увиденные где-то ещё.

Ты думаешь, это производит хорошее впечатление на клиентов? Да, производит! Потому что клиенты разбираются не лучше. Ты думаешь, система авторизации производит хорошее впечатление на инвесторов, включая профессиональных венчурных капиталистов, и на, наверное, каких-нибудь ангелов с собственным опытом стартапов? Да, производит! Потому что венчурные капиталисты разбираются не лучше, и даже ангел не разбирается лучше, и они не осознают, что лишены важного навыка, и не консультируются у кого-нибудь, кто знает получше. Простаков впечатляет, если сайт требует смесь больших и маленьких букв и цифр и знаков препинания. Они думают, что люди, управляющие сайтом, должно быть реально обеспокоены безопасностью, раз они ввели столь необычное и неудобное требование. Управляющие сайтом люди тоже думают, что дело обстоит именно так.

Люди с глубоким мышлением безопасника редки и редко оценены по заслугам. Просто из системы авторизации можно понять, что никто из венчурных капиталистов, и директоров стартапа не подумал, что им надо проконсультироваться с настоящим профессионалом, или нанять настоящего профессионала, а не пустой костюм. Ясно видно, что в этой системе нет никого с необходимыми знаниями и достаточным статусом, чтобы прийти к генеральному директору и сказать «Ваша система авторизации – позорище, и вам надо нанять настоящего профессионала по безопасности». Или, если кто-то сказал это генеральному директору, то тот оскорбился и казнил гонца за недостаточно вежливые формулировки, или технический директор воспринял чужака как политическую угрозу и вывел его из игры.

Твоя гипотеза из вселенной как-должно-было-быть о том, что люди, способные прикоснуться к полноценному мышлению безопасника, чаще встречаются в экосистеме венчурных капиталистов и ангелов, попросту неверна. Обыденная паранойя, направленная на широко известные случаи, и так достаточно распространена в большой экосистеме, чтобы оказывать общее социальное влияние, хоть всё ещё комически недостаточна во многих отдельных случаях. Люди с полноценным мышлением безопасника слишком редки для такого же уровня присутствия. Это легко видимая истина. Ты можешь увидеть все эти системы авторизации, требующие знак пунктуации в пароле. Это не галлюцинации.

ЭМБЕР: Если всё это правда, то я попросту не вижу, как я могу выиграть. Может, мне стоит просто принять за данность, что всё, что ты говоришь, неверно, ведь, если оно верно, то моя победа выглядит крайне маловероятной – а значит, все мои победы будут в мирах с другими фоновыми допущениями.

КОРАЛ: … ты часто такое говоришь?

ЭМБЕР: Ну, я это говорю, когда моя победа начинает выглядеть значительно маловероятной.

КОРАЛ: Господи. Я могу, может быть, может быть, представить, как кто-то говорит это один раз за всю свою жизнь, для одного маловероятного условия, но делать это больше одного раза – чистое безумие. Я бы ожидала, что маловероятные условия будут накапливаться очень быстро, и очень быстро уронят вероятность твоего мысленного мира до практически нуля. Это соблазнительно, но сворачивать в свою собственную вселенную галлюцинаций, когда ты ощущаешь себя под эмоциональным давлением – плохая идея. Я убеждена, что независимо от сложностей, мы вероятнее всего придём к хорошему плану, если мы мысленно обитаем в реальности, а не где-то ещё. Если всё выглядит сложным, то нам надо столкнуться с трудностями лицом к лицу, чтобы составить решение, соответствующее тому, насколько ситуация действительно плоха, а не основываться на условии, что всё не так сложно, потому что это проще.

ЭМБЕР: Можешь хотя бы попробовать поговорить с мистером Топазом и посоветовать ему, как сделать всё понадёжнее?

КОРАЛ: Конечно. Пытаться легко, а я – персонаж в диалоге, так что мои альтернативные издержки малы. Я уверена, что мистер Топаз тоже пытается создать надёжные торговые дроны. Преуспеть – вот тяжёлая часть.

ЭМБЕР: Отлично, я посмотрю, смогу ли я устроить разговор с ним. Но, пожалуйста, будь вежлива! Если ты думаешь, что он что-то делает неправильно, постарайся указать на это аккуратнее, чем в разговоре со мной. Я думаю, что моего политического капитала достаточно, чтобы ввести тебя в дверь, но его не хватит надолго, если ты будешь грубой.

КОРАЛ: Знаешь, когда-то в мейнстримной компьютерной безопасности считалось традиционно и мудро, чтобы все собирались вокруг твоего нового предложения, как сделать систему понадёжнее, и старались придумать причины, почему твоя идея может не сработать. Понятно, что независимо от ума, большинство кажущимися умными идеи окажутся не без недостатков, и что тебе не стоит злиться на то, что люди пытаются с ними поспорить. Знаком ли мистер Топаз хоть немного с практиками из компьютерной безопасности? Многие программисты знакомы.

ЭМБЕР: Я думаю, что он бы сказал, что уважает область компьютерной безопасности саму по себе, но не считает, что создание надёжной операционной системы – та же задача, что и создание торговых дронов.

КОРАЛ: А если бы я предположила, что этот случай может быть похож на задачу создания надёжной операционной системы, и что в нём есть аналогичная нужда в более тщательной и осторожной разработке, требующей и (а) дополнительного времени, и (б) снабжения осторожностью от людей с необычным типом мышления за пределом обыденной паранойи, имеющих необычный навык распознавания сомнительных допущений в истории надёжности ещё до того, как обыденный параноик посчитает пожар достаточно срочным, чтобы заслуживать погашения, и способный одолеть проблему более глубокими решениями, чем обыденный параноик, который просто генерировал бы блоки против воображаемых атак?

Если бы я действительно предположила, что этот сценарий применим всегда, когда мы требуем устойчивости от сложной системы, подверженной сильным внешним или внутренним давлениям оптимизации? Давлениям, которые сильно продвигают вероятности некоторых положений дел с помощью оптимизационного поиска по большому и сложному пространству состояний? Давлениям, которые отбирают странные состояния и непредвиденные пути исполнения частей системы? Особенно, если какие-то из этих давлений могут быть в некотором смысле креативными и обнаруживать состояния системы или окружения, удивляющие нас или нарушающие наши поверхностные обобщения?

ЭМБЕР: Я думаю, он скорее всего подумал бы, что ты пытаешься выглядеть умной, используя слишком абстрактный язык в разговоре с ним. Или он бы ответил, что не видит, почему необходима большая осторожность, чем у него уже есть благодаря тестированию дронов, чтобы уверится, что они не разобьются и не выдадут слишком много денег.

КОРАЛ: Ясно.

ЭМБЕР: Ну что, пойдём?

КОРАЛ: Конечно же! Без проблем! Мне просто нужно встретиться с мистером Топазом и использовать словесное убеждение, чтобы превратить его в Брюса Шнайера.

ЭМБЕР: Вот это настрой!

КОРАЛ: Боже, как бы я хотела жить в территории, соответствующей твоей карте.

ЭМБЕР: Эй, да ладно. Серьёзно ли настолько сложно внушать людям необычайно редкие ментальные навыки, разговаривая с ними? Я согласна, что то, что мистер Топаз не показывает признаков желания приобрести эти навыки и не думает, что наш относительный статус достаточен, чтобы продолжить нас слушать, если мы скажем что-то, что он не хочет слышать – плохие знаки. Но это просто значит, что нам нужно умно сформулировать наш совет, чтобы он захотел его услышать!

КОРАЛ: Предполагаю, что ты могла бы модифицировать своё сообщение во что-то, что мистеру Топазу не было бы неприятно слышать. Что-то, что звучит связанным с темой надёжности дронов, но не слишком много ему стоит, и, конечно, не сделает его дронов по-настоящему надёжными, потому что это было бы весьма неприятно и дорого. Ты могла бы слегка свернуть от реальности в боковые улочки и убедить себя, что у тебя получилось переманить мистера Топаза на свою сторону, раз он звучит соглашающимся. Твоё инстинктивное желание иметь высокостатусную обезьяну на твоей политической стороне было бы исполнено. Ты смогла бы заменить неприятное ощущение от того, что дроны на самом деле не сделаны надёжными на ощущение решённости проблемы; смогла бы сказать себе, что обезьяна побольше позаботится обо всём, раз она теперь, кажется, на твоей приятной политической стороне. И ты была бы довольна. Пока дроны не выйдут на рынок, конечно, но это неприятное ощущение должно быть быстрым.

ЭМБЕР: Да ладно, у нас получится! Тебе надо смотреть на вещи позитивно!

КОРАЛ: … Ну, это хотя бы будет интересный опыт. Я никогда не пыталась сделать что-то настолько обречённое.