Бритва Оккама

Бритва Оккама — эмпирическое правило, гласящее «не следует привлекать лишние сущности без необходимости». В контексте байесианства обычно имеет смысл «если существует несколько гипотез, одинаково хорошо объясняющих наблюдаемые факты, то следует предпочитать ту гипотезу, которая имеет наименьшую внутреннюю сложность».

Байесианское обоснование принципа

Зададим некоторую произвольную трактовку понятия «простоты гипотезы» в таком смысле, что каждой из альтернативных (несовместных) гипотез мы присваиваем численное значение простоты, причем с ограничением, что для любого фиксированного значения простоты может быть только конечное число «не более сложных» гипотез. Упорядочим все гипотезы по убыванию простоты (по возрастанию сложности); для гипотез с одинаковым значением выберем произвольный относительный порядок. Получим последовательность Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://en.wikipedia.org/api/rest_v1/»:): {\displaystyle \{ H_n \}} . На основе этой последовательности построим последовательность Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://en.wikipedia.org/api/rest_v1/»:): {\displaystyle \{ p_n \}} , где Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://en.wikipedia.org/api/rest_v1/»:): {\displaystyle p_n}  — вероятность истинности гипотезы Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://en.wikipedia.org/api/rest_v1/»:): {\displaystyle H_n} . Поскольку гипотезы несовместны, то сумма положительно определенного ряда Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://en.wikipedia.org/api/rest_v1/»:): {\displaystyle \sum_{n=1}^{\infin} p_n} ограничена единицей, и, следовательно, Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://en.wikipedia.org/api/rest_v1/»:): {\displaystyle p_n \to 0} . Таким образом, хотя в принципе вероятность более сложной гипотезы может быть больше вероятности более простой, однако при неограниченном росте сложности гипотезы ее вероятность неограниченно убывает; это верно для любого определения «простоты гипотезы».

См. также

• Индукция Соломонова

Статьи по теме

• Бритва Оккама — одноименное эссе из цепочек Юдковского

Ссылки

• Occam’z Razor — тег и список статей на lesswrong.com