Решил лучше понять, что говорят сторонники байесовской революции в статистике. Для этого полистал две книги; одна — научпоп: Том Чиверс ‘Предсказать всё. Как теорема Байеса объясняет наш мир‘, другая — учебник: Дж. Хей ‘Введение в методы байесовского статистического вывода‘.
В книге Чиверса интересна первая глава про появление понятия вероятности и становление математической статистики. В последующем изложении также есть интересные моменты, но, как и положено в научпопе, изложение идет на чисто качественном уровне, что не способствует пониманию происходящего. Более того Чиверс пристрастен, он поддерживает байесианцев в их борьбе против фреквентистов. Я перейму у Чиверса терминологию — байесианец будет сторонником субъективных вероятностей, а фреквентист выступает за частотную интерпретацию вероятности.
Учебник Хея написан в более нейтральной форме. Я просмотрел из него первые четыре главы; это дает необходимое впечатление о подходе на основе теоремы Байеса. Я бы сказал, что разница противоборствующих сторон преувеличена. В учебнике Хея хорошо видно, что исходная точка отсчета одна и та же. Вероятность связана с распределением вероятности и поэтому требуется проработка понятия распределения вероятности и соответствующих правил работы. В этом смысле разговоры про субъективность вероятности ничего не меняют: правила работы с распределением вероятности нарушать нельзя.
Отмечу, что необходимость проработки вопросов, связанных с распределением вероятности, сразу же исключает возможность познания и применения теоремы Байеса на интуитивном уровне. Такое впечатление может сложиться при просмотре книги Чиверса, но это типичная проблема научпопа. Создается впечатление, что можно понять происходящее без проработки необходимой математики. Однако это не соответствует действительности; научпоп полезен для первого знакомства с предметом, но далее надо учиться, учиться и учиться.
Сама теорема Байеса появляется при рассмотрении совместного распределения вероятности двух случайных величин А и В. Прописные буквы обозначают случайные величины, строчные — допустимые события. Например, вероятность совместного выпадания событий a и b обозначается как p(a, b) = p(b, a) и не зависит от порядка следования. Случайные величины могут быть независимы, тогда совместное распределение вероятности является произведением вероятностей p(a, b) = p(a)p(b); в этом случае ничего интересного не происходит.
В случае зависимости между случайными величинами, интерес представляют условные вероятности:
p(a | b) = p(a, b)/p(b) и p(b | a) = p(b, a)/p(a)
Такая запись означает вероятность события a при условии, что событие b уже произошло, и наоборот. Уравнения выше являются определением условных вероятностей. Для независимых случайных величин условная вероятность равна вероятности совершения события независимо от другого события. Для зависимых случайных величин из приведенных определений получается теорема Байеса:
p(a | b) = [p(b | a)/p(b)]p(a)
Таким образом, теорема Байеса является тривиальным следствием определения условных вероятностей.
Разница между байесианцами и фреквентистами заключается в интерпретации распределения вероятности. У байесианцев это относится к мышлению человека (субъективная вероятность), у фреквентистов к миру (объективная вероятность). Правда, слова субъективный и объективный имеют широкий спектр значений. В книге Чиверса дается колоритная характеристика Эдвина Джейнса:
‘Физик и теоретик вероятности Э. Т. Джейнс … играет примерно такую же роль в культе Байеса, как святой Павел в христианстве’
Так вот, Джейнс характеризовал субъективность при рассмотрении вероятностей как ‘каждый разумный человек примет такое решение’. В этом смысле обе стороны предлагают процедуры, которые ведут к рациональному решению поставленных задач. При этом во многих задачах предлагаемые процедуры противоборствующих сторон ведут к одинаковому результату.
У меня сложилось впечатление, что борьба между субъективными и объективными вероятностями происходит от плохой артикуляции исходных натурфилософских представлений о мире и роли человека в этом мире. Существует много разных задач. Например, у Чиверса и Рея много примеров из социальных наук и экономики, которые отличаются от примеров при рассмотрении физики. Задача переводится на язык математической статистики, поэтому вместо бесплодного спора об объективности и субъективности было бы более разумно обсуждение связи записываемых математических уравнений с рассматриваемой задачей.
После книги Чиверса у меня сложилось впечатление, что байесианцы говорят только про оценку распределения вероятности:
‘Фреквентистская статистика … как бы говорит нам: «Насколько вероятно, что мы увидим эти данные с учетом этой гипотезы?», но на самом деле мы хотим знать, «насколько вероятно, что наша гипотеза верна с учетом этих данных?».’
Разберем этот вопрос на примере Бернулли с урной, которая содержит черные и белые шары в неизвестной пропорции. Из урны можно вынуть один шар, посмотреть на него и положить обратно, при этом предполагается, что шары в урне каждый раз тщательно перемешиваются. Задача состоит в том, чтобы определить неизвестную пропорцию шаров после некоторого количества испытаний.
В данном случае есть неизвестное отношение между шарами, которое определяет неизвестное распределение вероятности, и есть оценки этого распределения, которые получаются после проведения испытаний. Если я правильно понял Чиверса, то байесианцы избегают разговоров про неизвестное распределение вероятности и предпочитают обсуждать вероятности оценок распределения вероятности.
Пример Бернулли с урной можно распространить на задачу, в которой обыгрывается возможность отсутствия шаров другого цвета. Ричард Прайс, друг Томаса Байеса (Прайс опубликовал работу Байеса), рассматривал такую возможность при обсуждении чудес. Прайс, правда, ввел другой пример; он предлагал вообразить кубик с огромным количеством сторон, которые были окрашены в два цвета. Может быть, все стороны кубика окрашены в один цвет и чудес не бывает. Но нельзя исключить возможность, что есть несколько сторон с другим цветом (чудеса возможны).
Прайс говорил, что отсутствие чудес в жизни человека (выпадает только один цвет или из урны все время попадается шарики одного цвета), не означает отсутствие чудес (наличие другого цвета); просто вероятность чуда крайне маленькая. В качестве примера Прайс рассматривал восход Солнца. Предположим, что человек наблюдает восход Солнца определенное число дней. Какова вероятность того, что Солнце взойдет на следующий день? Этот вопрос означает, что требуется из проведенных наблюдений оценить неизвестную вероятность выпадания ненаблюдаемого до сих пор цвета.
Я не знаю, насколько осмысленна задача в такой постановке, но исходный пример с урной или кубиком Прайса вполне подходит для рассмотрения вероятностей. В этом случае байесианцы предложили новое назначение теоремы Байеса. Изначально приведенное выше уравнение можно использовать для расчета условной вероятности, когда прямой расчет затруднен.
Однако байесианцы предложили использовать уравнение теоремы Байеса для обновления оценки распределения вероятностей при получении новых данных. В этом случае p(a) называется априорной оценкой распределения вероятности, а p(a | b) апостериорной. Тут появляется своя математика и свои проблемы, каким образом определить необходимые вероятности в правой стороне теоремы Байеса. Однако в целом такое альтернативное использование теоремы Байеса выглядит вполне разумным.
Основное отличие заключается в использовании априорной оценки вероятности до проведения испытаний. При увеличении количества испытаний и при последовательном применении теоремы Байеса — апостериорная оценка объявляется априорной — получаются результаты, совпадающие с обычными оценками. Для полного понимания отличий следовало бы проработать вторую часть учебника Хея, но пока я удовлетворился первичным пониманием того, что предлагают байесианцы. Как минимум, стало яснее, что подразумевается под субъективными вероятностями. Ничего особо страшного в этом нет, поскольку ‘каждый разумный человек примет такое решение’.
Спор между фреквентистами и байесианцами вроде бы сводится к тому, что байесианцы считают, что следует всегда начинать с априорных вероятностей и использования теоремы Байеса для обновления таких вероятностей. Предполагается, что это ведет к лучшим результатам. Я бы сказал, что в такой форме позиция выглядит уже неразумной. Есть совершенно разные задачи и не следует стричь всех под одну гребенку. Более того, байесианцы не могут достичь согласия в вопросе, что такое рациональный выбор априорной оценки распределения вероятности. В этом смысле декларируемое преимущество байесианского метода в случае небольшого количества данных сводится к известному: знал бы прикуп, жил бы в Сочи.
Информация
Том Чиверс, Предсказать всё. Как теорема Байеса объясняет наш мир, 2026.
Tom Chivers, Everything Is Predictable. How Bayes’ Remarkable Theorem
Explains the World, 2024.
Дж. Хей, Введение в методы байесовского статистического вывода, 1987.
John D. Hey, Data in doubt. An introduction to Bayesian statistical inference for economics, 1983.
Обсуждение: ЖЖ, dreamwidth, vk, dzen, facebook, telegram
Дополнительная информация
Эдвин Джейнс: Принцип максимума энтропии: Введение. Принцип максимизации информационной энтропии. Джейнс и обоснование статистической механики. Обсуждение: энтропия, вероятность, незнание и информация.