AIXI
 |
Эта страница является черновым документом. Здесь есть ещё много простора для того, чтобы её улучшить. |
AIXI — математическая модель искусственного интеллекта, придуманная Маркусом Хаттером. AIXI нереалистична, т. к. предполагает наличие у агента бесконечной вычислительной мощности. Однако, эта модель может быть полезна для обучения: для того, чтобы понять проблемы более реалистичных моделей агентского поведения, может быть проще сначала рассмотреть AIXI. В основе AIXI лежит индукция Соломонова.
Механизм работы[править]
Среда представляет собой вычислимую функцию, неизвестную агенту. Течение времени дискретно. На каждом шаге агент получает наблюдение (в виде битовой строки / числа) от окружающей среды, а также вознаграждение (еще одно число). Затем агент выводит действие (тоже число). Наблюдение, вознаграждение и действие могут зависеть от всей истории взаимодействия.
Чтобы определить действие, AIXI угадывает распределение вероятностей для своей среды, используя индукцию Соломонова. Априорно более простые вычисления считаются описаниями среды с большей вероятностью, чем более сложные. Это распределение вероятностей обновляется по формуле Байеса с учетом того, насколько хорошо каждая модель соответствует фактическим данным. Затем AIXI вычисляет ожидаемое вознаграждение за каждое действие, которое он может выбрать, взвешивая вероятность возможных сценариев будущего. Наконец, он выбирает наилучшее действие, предполагая, что и в будущем он будет на каждом шаге выбирать лучшее из возможных действий по той же процедуре.
