Метод максимального правдоподобия реферат

Обновлено: 02.07.2024

Этот широко используемый и наиболее эффективный метод детально описан в гл. 6. В настоящем же разделе мы лишь кратко обсудим его.

М. Кендалл считает первой публикацией на эту тему статью Даниила Бернулли, вышедшую в 1777 г. [см. Pearson and Kendall (1970), гл. 11 - D].

Начнем с простого примера.

Пример 3.5.4. Оценка максимального правдоподобия параметра экспоненциального распределения. Предположим, что X распределено экспоненциально с неизвестным математическим ожиданием, т. е. принадлежит к однопараметрическому семейству:

Семейство возникает, когда пробегает все положительные значения. То особое значение (скажем, ), которое свойственно нашему неизвестно. Мы будем называть его истинным значением . Желательно оценить по данным состоящим из независимых наблюдений X. Имея в виду, что фиксированы, строим функцию

как функцию свободной переменной в, для которой наши данные служат известными и фиксированными коэффициентами. Она называется функцией правдоподобия данных [см. разделы 4.13.1, 6.2.1]. В нашем примере X — непрерывная переменная. Данные должны рассматриваться как конечные (ограниченные) приближения к бесконечным десятичным дробям, требуемым для точной записи действительных чисел, так что означает некоторое число, лежащее в интервале где — размер измерительной сетки, скажем —1 мм, для , измеряемого в миллиметрах. При малых такого порядка вероятность

может быть заменена с необходимой точностью на

Вероятность получения наблюдаемой выборки для данного значения в будет поэтому равной

Следовательно, для каждого фиксированного значения (скажем, параметра численное значение правдоподобия пропорционально и мы можем, таким образом, принять за значение правдоподобия выражение (которое определяется с точностью до умножения на константу, т. е. функцию данных, не зависящую от )

где остаются фиксированными, а — неопределенная переменная.

Между вероятностью и правдоподобием есть существенная разница: вероятностные утверждения касаются множества возможных исходов при фиксированном значении . В утверждениях о правдоподобии, напротив, значения исходов фиксированы и рассматриваются все возможные значения в. При подходящих условиях суммы вероятностей также являются вероятностями, но суммы правдоподобий не являются правдоподобиями и т. д.

Несмотря на эти различия, есть и общие свойства. Относительно большие правдоподобия соответствуют вероятным значениям в более, чем относительно малые, так как большие вероятности соответствуют сильно ожидаемым исходам более, чем малые вероятности.

Рис. 3.5.3. Функция правдоподобия из примера 3.5.4

Из двух значений называется более правдоподобным, чем в смысле большего правдоподобия нахождения вблизи истинного значения , если Значение в котором достигается максимальное значение функции правдоподобия, так что для любого является наиболее в этом смысле правдоподобным значением (для рассматриваемых данных). При применении метода максимального правдоподобия это значение (зависящее, конечно, от данных берут как оценку . Она называется оценкой максимального правдоподобия для .

На рис. 3.5.3 показан график функции правдоподобия вместе с . В этом примере величина может быть получена дифференцированием как подходящий корень уравнения правдоподобия или, что то же самое, уравнения

где задано (3.5.6). Следовательно, в нашем примере уравнение правдоподобия сбодится к

где — среднее выборки.

Приведенное описание нуждается в дополнениях. Строго говоря, в качестве функции правдоподобия следует взять , где а — произвольная положительная функция наблюдений, а определено, как в (3.5.6). Это не влияет на процедуру максимизации, поскольку для любого положительного и достигают своего максимума при одном и том же значении .

На практике при использовании метода максимального правдоподобия обычно не говорят явно об истинном значении , которое

выделяет определенное из рассматриваемого семейства плотностей заданного вида пространство параметров, в примере Вместо этого: 1) говорят (несколько вольно) о задаче оценивания параметра плотности оаспределения вероятности , имея в виду под истинное значение одновременно говорят о функции правдоподобия имея в виду под в переменную, чья область изменений — пространство параметров .

Процедура максимизации часто упрощается, если вместо функции правдоподобия использовать ее логарифм — логарифмическую функцию правдоподобия, поскольку при этом нужно дифференцировать не произведение, а сумму; достигает своего максимума при том же значении что и . (Нельзя, однако, думать, что максимум может быть найден дифференцированием в каждом случае. Контрпримеры см. в гл. 6.)

Когда (как в примере 3.5.3) уравнение правдоподобия имеет простое и ясное решение, можно исследовать выборочное распределение оценки непосредственно. Однако чаще решение може быть получено лишь в виде итеративной численной процедуры, и потому прямое изучение выборочного распределения невозможно. В соответствии с общей теорией [см. гл. 6] для подобных случаев возможны простые и эффективные аппроксимации.

Этот метод также применим при нескольких параметрах и когда наблюдения не обязательно независимы и одинаково распределены [см. гл. 6].

Аннотация: Цель работы: практически освоить метод максимального правдоподобия для точечной оценки неизвестных параметров заданного вероятностного распределения случайной величины. Среда программирования — MATLAB.

Теоретическая часть

Метод максимального или наибольшего правдоподобия предложен Р. Фишером [6, 13]. С помощью этого метода производится точечная оценка неизвестных параметров априорно известного закона распределения случайной величины.

Рассмотрим сначала суть метода при оценке параметров дискретного распределения случайной величины [6].

Обозначим вероятность того, что в результате испытания величина примет значение \mbox< >(i=1,2. n)" />
, через .

Определение. Функцией правдоподобия случайной дискретной величины называют функцию аргумента :

$L(x_1,x_2. x_n;\theta)=p(x_1;\theta)p(x_2;\theta) . p(x_n;\theta),$

( 7.1)

где ,\mbox< >x_. x_" />
— фиксированные числа, полученные при измерении случайной величины .

В качестве точечной оценки параметра принимают такое его значение =\theta^(x_1,x_2. x_n)" />
, при котором функция правдоподобия достигает максимума. Оценку " />
называют оценкой максимального правдоподобия .

Для упрощения расчетов в рассмотрение вводится логарифм функции правдоподобия , которую называют логарифмической функцией правдоподобия . Функции и достигают максимума при одном и том же значении своего аргумента, поэтому вместо отыскания максимума функции ищут максимум функции . Записывая необходимое условие экстремума функции правдоподобия в случае скалярного параметра, получаем уравнения правдоподобия

$\frac<\partial L(\vec x_n;\theta)><\partial \theta>=0,$

( 7.2)

$\frac<\partial\ln L(\vec x_n;\theta)><\partial \theta>=0,$

( 7.3)

$\vec x_n$

где — заданная выборка случайных величин.

Уравнение правдоподобия (7.3) с логарифмической функцией, как правило, более простое относительно функции правдоподобия (7.2).

Если распределение случайной величины зависит от вектора параметров , то уравнение (7.3) заменяется системой уравнений

$\frac<\partial\ln L(\vec x_n;\theta)><\partial \theta_k>=0,\qquad k=\overline.$

( 7.4)

Именно уравнения (7.3) и (7.4) принято называть уравнениями правдоподобия [13]. Во многих случаях решение системы (7.4), являющейся, как правило, нелинейной, приходится искать численными методами.

Рассмотрим применение метода максимального правдоподобия для оценки параметров непрерывного распределения случайных величин генеральной совокупности .

Пусть — непрерывная случайная величина , которая в результате испытаний приняла значения ,\mbox< >x_. x_" />
. Предполагается, что вид плотности распределения задан, но неизвестен параметр , которым определяется эта функция .

Определение. Функцией правдоподобия непрерывной случайной величины называют функцию аргумента

$L(x_1,x_2. x_n;\theta)=f(x_1;\theta)f(x_2;\theta) . f(x_n;\theta),$

( 7.5)

$x_<1></p> <p>где ,\mbox< >x_. x_$
— фиксированные числа.

$\theta$

Оценку максимального правдоподобия неизвестного параметра распределения непрерывной случайной величины ищут так же, как в случае дискретной величины.

Замечание. Если плотность распределения непрерывной случайной величины определяется двумя неизвестными параметрами и , то функция правдоподобия является функцией двух независимых аргументов и :

$L(x_1,x_2. x_n;\theta_1,\theta_2)=f(x_1;\theta_1,\theta_2)f(x_2;\theta_1,\theta_2) . f(x_n;\theta_1,\theta_2),$

( 7.6)

Как для дискретных распределений, так и для непрерывных точку максимума логарифмической функции распределения аргумента можно искать через необходимое условие экстремума :

Найденную точку максимума " />
принимают в качестве оценки максимального правдоподобия параметра .

Метод максимального правдоподобия имеет ряд достоинств: его оценки, вообще говоря, состоятельны (но они могут быть смещенными), распределены асимптотически нормально (при больших значениях приближенно нормально) и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра существует эффективная оценка " />
, то уравнение правдоподобия имеет единственное решение " />
; этот метод наиболее полно использует данные выборки об оцениваемом параметре, поэтому он особенно полезен в случае малых выборок. Недостаток метода состоит в том, что он часто требует сложных вычислений.

Практическая часть

1. Оценка параметра экспоненциального распределения

$\lambda$

Рассматривается пример поиска методом максимального правдоподобия оценки параметра экспоненциального распределения случайной величины, для которой функция плотности имеет вид

( 7.7)

К характеристикам экспоненциального распределения относятся математическое ожидание и дисперсия :

$M[X]=\frac<1><\lambda>,$

( 7.8)

$D[X]=\frac<1><\lambda^2>.$

( 7.9)

Замечание. Во встроенных функциях MATLAB параметром экспоненциального распределения является математическое ожидание случайной величины.

Возможная программная реализация точечной оценки параметра экспоненциального распределения:

Видоизмените программу так, чтобы параметры задачи вводились в одном диалоговом окне .
В соответствии с номером компьютера задайте следующие значения параметра:

№ 1: ; № 2: ; № 3: ; № 4: ; № 5: ;

№ 6: ; № 7: ; № 8: ; № 9: ; № 10: .

Число прогонов программы выберите по равномерному закону из следующих интервалов (в соответствии с номером компьютера):

Наиболее распространенными методами конструирования состоятель-ных оценок на основе использования законов больших чисел являются ме-тод моментов (ММ), метод максимального правдоподобия(ММП) и метод наименьших квадратов (МИК).

Целью данной работы является обоснование актуальности метода мак-симального правдоподобия, его сущности и практического применения. определяется сущность метода максимального правдоподобия;

1) Изучить метод максимального правдоподобия;

2. Рассмотреть методы вычисления

95. доверительного интервала;точности оценки параметра экспоненциального распределения методом максимального правдоподобия.

Правильность данного утверждения может позволить значительно упростить прогнозирование показателей, потому что прогнозное развитие энергопотребления будет являться лишь задачей расчета линейной функции вида . Где годовые интервалы. прогнозное значение энергопотребления.

Объектом анализа являются различные лексемы, представляющие семантическое поле в диахроническом аспекте, а конкретным предметом анализа – их семантический состав, позволяющий установить особенности семантического поля, связанного с наименованиями кухонной утвари.

• рассмотреть Понятие и сущность SWOT-анализа;• выявить сферу практического применения SWOT-анализа;Объектом исследования являются методы анализа внешней и внутренней среды.

Для современной инфляции присущий ряд отличительных особенностей, а именно: если раньше инфляция имела локальный характер, то теперь – всеохватывающий, повсеместный; если раньше она имела периодический характер, то в наши дни — хронический; также современная инфляция находится имеет взаимосвязь как денежных, так и неденежных факторов [15].

Результаты этих исследований помогают определить и улучшить характеристики реальных предметов и процессов, лучше понять сущность явлений и приспособиться к ним или руководить ими, конструировать новые и модернизировать старые объекты.Большой класс систем, которые сложно изучить аналитическими способами, но хорошо изучаются методами статистического моделирования, сводится к системам массового обслуживания (СМО).

Основная цель работы – исследовать практическое применение теории массового обслуживания.

Список источников информации

1. Морелос-Сарагоса, Р. Искусство помехоустойчивого кодирования. Методы, алгоритмы, применение / Р. Морелос-Сарагоса.– М.: Техносфера, 2005.– 320 с.

2. Архипкин А.В. Турбокоды мощные алгоритмы для современных систем связи / А.В. Архипкин // Беспроводные технологии, № 1, 2006, с. 36-37.

3. Bonnini, S., Corain, L., Marozzi, M., Salmaso S. Nonparametric Hy-pothesis Testing: Rank and Permutation Methods with Applications in R. — Hobo-ken: John Wiley & Sons, 2014.

4. Bretz, F., Hothorn, T., Westfall, P. Multiple Comparisons Using R. — Boca Raton: Chapman and Hall/CRC, 2010.

5. Cameron, A.A., Trivedi, P.K. Regression Analysis of Count Data. — Cambridge: Cambridge University Press, 2013.

6. Hosmer, D.W., Lemeshow S., Sturdivant, R.X. Applied Logistic Regres-sion. — Hoboken: John Wiley & Sons, 2013.

7. Tabachnick, B.G., Fidell, L.S. Using Multivariate Statistics. — Boston: Pearson Education, 2012.

8. Wooldridge, J. Introductory Econometrics: A Modern Approach. — Ma-son: South-Western Cengage Learning, 2013.

Вспомним некоторые определения математической статистики

Определение 1:

Случайной величиной , принимающей значения в множестве c -алгеброй подмножеств называется любая -измеримая функция , то есть выполняется условие .

Определение 2:

Выборочное пространство — это пространство всех возможных значений наблюдения или выборки вместе с -алгеброй измеримых подмножеств этого пространства.
Обозначение: .

Определённые на вероятностном пространстве случайные величины порождают на пространстве вероятностные меры На выборочном пространстве определяются не одна вероятностная мера, а конечное или бесконечное семейство вероятностных мер.

В задачах математической статистики известно семейство вероятностных мер , определённых на выборочном пространстве, и требуется по выборке определить, какой из вероятностных мер этого семейства соответствует выборка.

Определение 3:

Статистическая модель — совокупность, состоящая из выборочного пространства и семейства определённых на нём вероятностных мер.

Обозначение: , где .

Пусть и — выборочное пространство.

Выборку можно рассматривать, как совокупность действительных чисел. Припишем каждому элементу выборки вероятность, равную .

Определение 4:

Эмпирическим распределением, построенным по выборке X, называется вероятностная мера :

То есть — отношение числа элементов выборки, которые принадлежат , к общему числу элементов выборки: .

Определение 5:

Выборочным моментом порядка называется

— выборочное среднее.

Определение 6:

Выборочный центральный момент порядка определяется равенством

— выборочная дисперсия.

В машинном обучении многие задачи заключаются в том, чтобы по имеющимся данным научиться подбирать параметр , который наилучшим образом описывает эти данные. В математической статистике для решения подобной задачи часто используют метод максимального правдоподобия.

В реальной жизни часто распределение ошибок имеет нормальное распределение. Для некоторого обоснования приведём формулировку центральной предельной теоремы.

Теорема 1 (ЦПТ):

Если случайные величины — независимы, одинаково распределены, математическое ожидание , дисперсия , то

Ниже сформулируем метод максимального правдоподобия и рассмотрим его работу на примере семейства нормальных распределений.

Метод максимального правдоподобия

Пусть для статистической модели выполнены два условия:

если , то ;
существует такая мера на , относительно которой для любой меры , , существует плотность , то есть .

Оценкой максимального правдоподобия (о.м.п) параметра называется построенное по эмпирической мере , соответствующей выборке , значение , при котором достигается

Определение 8:

Функция , как функция от , называется функцией правдоподобия, а функция — логарифмическая функция правдоподобия.

Эти функции достигают максимума при одних и тех же значениях , так как — монотонная возрастающая функция.

Пример:

— семейство нормальных распределений с плотностями . По выборке

Получили оценки для математического ожидания и дисперсии.

Если внимательно посмотреть на формулу

можно сделать вывод, что функция принимает своё максимальное значение, когда минимальна. В задачах машинного обучения часто используют метод наименьших квадратов, в котором минимизируют сумму квадратов отклонений предсказанных значений от истинных.

Читайте также: