Большая часть людей не знают, что мы понятия не имеем, как работают наши ИИ

Это кажется очевидным, но, думаю, стоит высказать это в явном виде.

Те из нас, кто знаком с областью ИИ после революции глубинного обучения, прекрасно понимают, что мы понятия не имеем, как работают наши ML-модели. Конечно, мы понимаем закономерности цикла обучения и свойства стохастического градиентного спуска, и мы знаем, как работают ML-архитектуры. Но мы н знаем, какие конкретные алгоритмы реализует конкретная ML-модель. У нас есть некоторые предположения, и кое-какие озарения уже были с большим трудом выкопаны в ходе исследований интерпретируемости, но у нас ничего хоть отдалённо похожего на полное понимание.

И уж точно мы не знаем, как работает свежеобученная модель только-что-из-цикла-обучения с новой архитектурой.

Мы привыкли к такому положению дел. Это подразумевается как общее фоновое знание. Но когда об этом узнаёшь впервые, это, на самом деле, довольно необычно.

И…

Релевантный XKCD.

Я довольно сильно уверен, что большинство людей этого на самом деле не знают. У меня нет конкретных данных, но на основе связанных с ИИ обсуждений в не-технических интернет-сообществах, разговорах с людьми, не интересующимися прогрессом в ИИ, и всякого такого1 у меня сложилось очень сильное впечатление, что это именно так.

Они всё ещё думают в терминах Старого Доброго Символьного ИИ. Они всё ещё верят, что вся функциональность ИИ была в него намеренно запрограммирована, а не обучена. Что за каждой способностью ChatGPT стоит человек, который её реализовал и её понимает.

Или, по крайней мере, что она записана в чётком виде, который люди могут прочитать и понять, и что мы можем туда вмешаться и совершить точные, предсказуемые поправки.

Опросы уже показывают беспокойство по поводу СИИ. Если тот факт, что мы не знаем, как эти системы на самом деле думают, был бы широко известным и в должной степени осознанным?Если бы не было неявного допущения, что «кто-то понимает, как это работает, и почему всё не может пойти катастрофически не так»?

Ну, я ожидаю, что беспокойства будет больше. Что может быть довольно хорошим подспорьем для дальнейшего продвижения регуляций ИИ. Способом накопить некоторый политический капитал, который затем можно будет тратить.

Так что, если вы общаетесь с публикой, я предлагаю включить в агенду распространение и этой информации. У вас есть около пяти слов (на сообщение), которые вы можете передать публике, и «Мощные ИИ – Это Чёрные Ящики», кажется, стоит передавать.2

• 1. Если у вас есть какие-то конкретные данные по этому поводу, было бы здорово.
• 2. Существуют некоторые возражения против терминологии «чёрного ящика». Я всё же считаю её верной: ML-модели являются чёрными ящиками для нас, в том смысле, что по умолчанию мы не лучше понимаем, какие алгоритмы они реализуют, чем что происходит в гомоморфно-защищённом вычислении, от которого у нас нет ключа, или в человеческом мозге, за активностью нейронов в котором мы наблюдаем. Существуют некоторое ненулевое количество исследований интерпретируемости, но в целом это так; а про модели новых архитектур это так почти стопроцентно.

  Да, ML-модели не являются чёрными ящиками относительно СГС. Алгоритм может «видеть», как происходят все вычисления, и в них вмешиваться. Но это кажется очень неестественным применением этого термина, и я всё ещё думаю, что «ИИ – это чёрные ящики» передаёт правильные общие соображения.