В предыдущем обсуждении о распределении вероятностей был выдвинут странный с моей точки зрения тезис, что дискретные распределения более реальны, чем непрерывные. Как обычно, все упирается в пластичность слов реальность, теория и модель. В этой заметке я хочу выразить мою позицию на примере из моей работы, связанной с обработкой экспериментальных данных. Это также позволит расширить мое рассмотрение математики, физики и мира, новая редакция которого была представлена в виде четырех статей на Хабре (ссылки в разделе Информация). Включение в явном виде рассмотрения погрешностей воспроизводимости будет полезным дополнением к рассмотренным вопросам.
Моя научная карьера началась с экспериментов по определению констант равновесия с участием отрицательных ионов в высокотемпературных парах солей. В контексте рассмотрения погрешностей воспроизводимости происходящее можно выразить таким уравнением:
yi = f(Θ, xi) + εi
Это уравнение будет использовано для обсуждения, что такое реальность, теория и модель. Начну с множества экспериментальных точек {yi, xi} (подстрочный индек i нумерует все точки). Эти данные относятся к реальности лабораторной жизни. Это то, что экспериментатор получает из проведенного эксперимента для дальнейшей обработки данных.
В предыдущем обсуждении говорилось, что в силу ограниченной точности мы получаем только дискретные значения этих чисел. Однако это является непониманием происходящего при проведении измерений. Правильнее сказать, что измерение дает не одно дискретное число, а интервал значений. Однако в силу отсутствия интервальной математики экспериментаторы приводят среднее значение этого интервала. В любом случае в экспериментальных точках как таковых нет случайности, поскольку это результаты, получаемые из измерений. Поэтому на этапе обсуждения экспериментальных точек нет смысла говорить про распределение вероятностей.
Следующий момент, про который нельзя забывать, связан с физической теорией, на базе которой проводится эксперимент. Этот вопрос рассмотрен в статье ‘Математика, физика и мир: Проблема координации‘. В моем случае эксперименты проводились с использованием масс-спектрометра и было немало таких теорий: это уравнение теплопроводности, которое использовалось при работе термостата, уравнение Кнудсена для истекания молекулярных потоков из камеры Кнудсена, уравнения движения заряженной частицы в магнитном поле и многое другое. Таким образом, результаты эксперимента нельзя связывать с органами чувств человека. Они, конечно, также были необходимы при проведении эксперимента, но работа в лаборатории представляет собой часть общественной практики, которая, например, немыслима без надлежащей метрологии.
Теперь перейду к физической теории, которая использовалась при обработке экспериментальных данных — в приведенном уравнении это f(Θ, xi). Эта функция задается теорией, и она содержит неизвестные параметры Θ (в моем случае энтальпии и энтропии реакции), нахождение которых являлось целью проведения эксперимента. На этом этапе возникает проблема — ожидания физической теории невозможно совместить с экспериментальными точками. Ожидается, что температурная зависимость константы равновесия является непрерывной гладкой функцией, которая не содержит скачков. Экспериментальные точки, однако, демонстрируют неожиданные скачки.
В этом момент возникает вопрос, что такое физическая реальность — это экспериментальные точки или же функция f(Θ, xi). По-моему, имеет смысл связать с физической реальностью именно функцию f(Θ, xi), поскольку это то, что говорит физическая теория. Таким образом, есть реальность физической лаборатории и есть реальность физической теории. Уравнение выше показывает, что это разные вещи и их нельзя путать при обсуждении реальности.
Реальность лабораторной практики заключается в том, что всегда есть отличия между экспериментальными точками и ожиданиями физической теории. В этот момент вводятся случайные ошибки воспроизводимости εi, поскольку не предполагается, что такое положение дел опровергает теорию. Другими словами, распределение вероятностей появляется на этом этапе, чтобы сохранить в силе теорию.
Говорится, что в эксперименте были неконтролируемые факторы. Правда, нельзя сказать, в чем они заключались, а также невозможно их устранить. При обработке экспериментальных данных всегда получается аналогичное уравнение, содержащее случайные величины без объяснения источника их появления. В этот момент появляется теория вероятностей, поскольку требуется предложить процедуру для нахождения неизвестных параметров из полученных экспериментальных данных.
Говорится, что εi связано со случайной величиной, что все такие случайные величины независимы друг от друга, и что все они имеют одинаковое распределение (обычно берется нормальное) с нулевым математическим ожиданием и ненулевой дисперсией. Возникает вопрос, какое отношение такая гипотеза имеет к реальным измерениям. На него нет четкого ответа, кроме того, что не видно других разумных вариантов.
Вполне можно назвать гипотезу про случайную погрешность εi моделью ошибки и подчеркнуть ее отличие от физической теории. Слово модель имеет много значений и иногда можно услышать, что все есть модель. Физическая теория в определенном смысле модель, но в моем случае можно вполне говорить о реальности отрицательных ионов в парах солей, константы равновесия и термодинамических свойств ионов. В этом смысле теория ближе к реальности в любом смысле слова, чем модель ошибки.
Однако при проведении такого разделения нельзя забывать, что уравнение выше связывает теорию и модель ошибки в одно уравнение. При этом их условное разделение получается только после нахождения неизвестного вектора Θ. Получается, что в физике реальности, теории и модели достаточно тесно переплетены между собой и четко отделить одно от другого не так просто. Тем не менее, проведение реальных экспериментов позволяет ввести понятие уровня экспериментальной науки. Экспериментальные точки, с одной стороны, зависят от физических теорий, использованных при построении используемой установки, с другой, это результаты, полученные при проведении реальных экспериментов. В статье ‘Исследовательская программа: Теория и эксперимент‘ на этой основе обсуждается баланс между теоретической и экспериментальной физикой.
Теперь несколько слов о частотной интерпретации вероятности в моем примере. Формально приведенное уравнение имеет такую интерпретацию: в момент измерения запускается рулетка и истинному значению, согласно физической теории, добавляется испытание случайной величины. Однако в моих экспериментах было порядка двадцати, от силы сорок экспериментальных точек, и надеяться на закон больших чисел не приходилось. Поэтому вряд ли имеет смысл принять такой взгляд на происходящее в буквальном смысле. Кроме этого, отмечу необходимость определенной мысленной гимнастики при обсуждении вопроса, что означает 95% при построении такого доверительного интервала на основе частотной интерпретации вероятности. Такое возможно, в свое время я мог с уверенностью произнести необходимые слова, но должен признать, что звучит все это достаточно неуклюже.
Я был увлекающимся человеком и мне хотелось найти самое правильное решение для обработки своих данных. В какой-то момент я увидел непараметрические методы, в которых не нужно закладывать вид распределения вероятностей. Я даже хотел использовать этот метод, но далее я перешел на другую работу — совместную обработку данных многих экспериментов. В этом момент я понял, что есть другие более важные вопросы, на которые нет надлежащего ответа. В этом смысле гипотеза о распределении вероятностей случайных ошибок не играет особой роли. Как говорят, не до жиру, быть бы живу.
Другая реальность лабораторной жизни состоит в том, что результаты экспериментов в разных лабораториях отличаются друг от друга сильнее, чем погрешности воспроизводимости в каждом из экспериментов. На рисунке ниже показаны остатки при обработке данных многочисленных экспериментов в разное время в разных странах по давлению насыщенного пара хлорида калия. Более точно, в парах хлорида калия присутствуют мономеры и димеры хлорида калия и требовалось найти их термодинамические свойства. Однако экспериментально измерялось общее давление насыщенного пара как функция температуры и этого достаточно для обсуждения связи теории вероятностей с физической реальностью на примере графика остатков.
Следует сказать, что график остатков дает несколько преувеличенную картину об отличиях в разных экспериментах. Если построить график давления и нанести на него экспериментальные точки, то отличие будет не так заметно. Можно даже только удивиться тому, что разница небольшая, поскольку это были разные экспериментаторы, у каждого свой прибор и свои маленькие хитрости. Тем не менее, при обработке данных важно увидеть разницу и график остатков лучше всего ее показывает.
Я не буду вдаваться в детали. Из общих соображений можно сказать, что кто-то хороший экспериментатор, кто-то средний, а кто-то так себе. Это информацию можно как-то использовать, но в конце в выбранном массиве экспериментальных точек разница между оставшимися экспериментами все равно будет больше, чем погрешность воспроизводимости в каждом из них. Возникает вопрос, каким образом в этом случае следует провести совместную обработку данных.
Из графика следует важное заключение — невозможно рассматривать все полные ошибки как независимые случайные величины. Остатки в одном эксперименте связаны между собой и требуется отразить эту связь при обработке данных. В реальности лабораторной жизни отличие между экспериментами на графике объясняется систематическими ошибками. По тем или иным причинам в одном эксперименте все данные были систематически сдвинуты в одну стороны, а также несколько наклонены (наклоны также не совпадают).
После долгого поиска подходящей процедуры я остановился на варианте дисперсионного анализа со случайными факторами. В этом случае уравнение выше преобразуется в следующее:
yij = f(Θ, xij) + εr,ij + εa,i+εb,i(xij—xi)
Теперь вводится два индекса, индекс i нумерует разные эксперименты, а индекс j — экспериментальные точки в i-ом эксперименте. Модель ошибки усложняется; в ней полный остаток разбивается на три компонента, ошибку воспроизводимости в данном эксперименте и случайные величины для моделирования систематических ошибок. Моя статья имела выразительное название ‘Статистическая модель систематических ошибок‘.
На докладах меня спрашивали — ну как же так, как можно систематические ошибки рассматривать как случайные. Мой ответ был простой — пожалуйста, предложите альтернативу для обработки данных, остатки которых показаны на графике. Выбранная модель отражает зависимость полных ошибок друг от друга в одном эксперименте, и она приводит к независимым случайным величинам. Процедура обработки усложняется, но в случае нормального распределения для каждой из компонентов ошибки ее можно довести до конца.
Этот пример еще раз показывает сложные взаимоотношения между реальностью, теорией и моделями. Проведенные эксперименты и экспериментальные точки принадлежат лабораторной реальности, физическая реальность задается теорией (давление насыщенного пара должно быть гладкой функцией без скачков и при одной температуре должно быть одно значение), а объединение лабораторной и физической реальности достигается введением достаточно сложной модели ошибок.
Формально в ход идет частотная интерпретация вероятности. В i-ом эксперименте перед проведением эксперимента рулетка выдавала результат испытания соответствующей случайной величины и экспериментальной установке приписывались систематические ошибки сдвига и наклона. Далее для каждой экспериментальной точки рулетка снова и снова выдавала ошибку воспроизводимости в этом эксперименте. Вряд ли такую картину следует воспринимать в буквальном смысле. Лучше всего относиться к предложенной модели ошибок как эвристической.
В заключение отмечу, что мне непонятно, каким образом в рассмотренных примерах можно было бы использовать дискретное распределение вероятностей. Еще раз скажу, что сама идея, что дискретные распределения вероятности более реальны по сравнению с непрерывными, кажется мне глубоко неправильной. Как минимум, я не знаю, как интерпретировать слово реальность в этом случае.
Информация
E.B. Rudnyi. Statistical model of systematic errors: linear error model. Chemometrics and Intelligent Laboratory Systems. 1996, V. 34, N 1, p. 41-54. Препринт на ResearchGate.
Статьи на Хабре, посвященные непростым взаимоотношениям математики, физики и мира:
Математика, физика и мир: Проблема координации
Исследовательская программа: Теория и эксперимент
Горение свечи: Cтрелы объяснений
Физика, математика и мир: Неподдающаяся проблема математики