Методы получения точечных оценок кратко

Обновлено: 05.07.2024

Задача статистического оценивания неизвестных параметров - одна из двух основных (наряду с задачей проверки статистических гипотез) задач математической статистики.

Предположим, что имеется параметрическое семейство распределений вероятностей (для простоты будем рассматривать распределение случайных величин и случай одного параметра). Здесь - числовой параметр, значение которого неизвестно. Требуется оценить его по имеющейся выборке значений, порожденной данным распределением.

Различают два основных типа оценок: точечные оценки и доверительные интервалы.

Точечное оценивание

Точечное оценивание - это вид статистического оценивания, при котором значение неизвестного параметра приближается отдельным числом. То есть необходимо указать функцию от выборки (статистику)

значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению .

К общим методам построения точечных оценок параметров относятся: метод максимального правдоподобия, метод моментов, метод квантилей.

Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.

Состоятельность

Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки . Это означает, что оценка должна сходиться к истинному значению при . Это свойство оценки и называется состоятельностью. Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:

  • если сходится к истинному значению с вероятностью 1 (почти наверное), то тогда оценка называется сильно состоятельной;
  • если имеет место сходимость по вероятности , то тогда оценка называется слабо состоятельной.

Когда употребляют просто термин состоятельность, то обычно имеется в виду слабая состоятельность, т.е. сходимость по вероятности.

Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.

Несмещенность и асимптотическая несмещенность

Оценка параметра называется несмещенной, если ее математическое ожидание равно истинному значению оцениваемого параметра:

Более слабым условием является асимптотическая несмещенность, которая означает, что математическое ожидание оценки сходится к истинному значению параметра с ростом объема выборки:

Несмещенность является рекомендуемым свойством оценок. Однако не следует слишком переоценивать его значимость. Чаще всего несмещенные оценки параметров существуют и тогда стараются рассматривать только их. Однако могут быть такие статистические задачи, в которых несмещенных оценок не существует. Наиболее известным примером является следующий: рассмотрим распределение Пуассона с параметром и поставим задачу оценки параметра . Можно доказать, что для этой задачи не существует несмещенной оценки.

Сравнение оценок и эффективность

Для сравнения между собой различных оценок одного и того же параметра применяют следующий метод: выбирают некоторую функцию риска, которая измеряет отклонение оценки от истинного значения параметра, и лучшей считают ту, для которой эта функция принимает меньшее значение.

Чаще всего в качестве функции риска рассматривают математическое ожидание квадрата отклонения оценки от истинного значения

Для несмещенных оценок это есть просто дисперсия .

Существует нижняя граница на данную функцию риска, называемая неравенство Крамера-Рао.

(Несмещенные) оценки, для которых достигается эта нижняя граница (т.е. имеющие минимально возможную дисперсию), называются эффективными. Однако существование эффективной оценки есть довольно сильное требование на задачу, которое имеет место далеко не всегда.

Более слабым является условие асимптотической эффективности, которое означает, что отношение дисперсии несмещенной оценки к нижней границе Крамера-Рао стремится к единице при .

Заметим, что при достаточно широких предположениях относительно исследуемого распределения, метод максимального правдоподобия дает асимптотически эффективную оценку параметра, а если существует эффективная оценка - тогда он дает эффективную оценку.

Достаточные статистики

Статистика назвается достаточной для параметра , если условное распределение выборки при условии того, что , не зависит от параметра для всех .

Важность понятия достаточной статистики обуславливается следующим утверждением. Если - достаточная статистика, а - несмещенная оценка параметра , тогда условное математическое ожидание является также несмещенной оценкой параметра , причем ее дисперсия меньше или равна дисперсии исходной оценки .

Напомним, что условное математическое ожидание есть случайная величина, являющаяся функцией от . Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).

(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.

Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке .

Доверительные интервалы

Другим типом оценок статистических параметров являются доверительные интервалы.

Доверительный интервал - это случайный интервал, построенный по выборке (верхняя и нижняя границы этого интервала должны быть статистиками), который содержит (накрывает) истинное значение параметра с вероятностью, не меньшей заданного значения.

Доверительные интервалы используются, когда нам нужны надежные границы, в которые попадает значение оцениваемого параметра.

Часто вместе с точечной оценкой параметра строят доверительный интервал, середина которого равна этой оценке. Его ширина является наглядной характеристикой того, насколько точна может быть данная точечная оценка.

Иногда бывает наоборот: естественным образом строится некоторый доверительный интервал, а в качестве точечной оценки параметра рассматривают его середину.

Рассмотрим наиболее распространенные методы получения точеч­ных оценок параметров распределения: метод моментов и метод мак­симального правдоподобия (кратко: ММП).

Метод моментов для нахождения точечных оценок неизвестных параметров заданного распределения состоит в приравнивании теоре­тических моментов распределения соответствующим эмпирическим моментам, найденных по выборке.

Так, если распределение зависит от одного параметра в (например, задан вид плотности распределения /(ж,0)), то для нахождения его оценки надо решить относительно в одно уравнение:

(MX = J х • f(x,e) dx = решить одну из систем вида:


MX = X, DX = DB,
г—1 п
MX* = I Е XI
ИЛИ
г=\


Метод моментов является наиболее простым методом оценки пара­метров. Он был предложен в 1894 г. Пирсоном. Оценки метода момен­тов обычно состоятельны, однако их эффективность часто значительно меньше единицы.

Пример 7.2. Найти оценки параметров нормального распределения с. в. X методом моментов.

0 Требуется по выборке х\, х2, ■. -, хп найти точечные оценки неиз­вестных параметров а — MX = 0i и а 2 = DX = 02.

По методу моментов приравниваем их, соответственно, к выбороч­ному среднему и выборочной дисперсии (qi = MX — начальный мо­мент I порядка, [i2 = DX — центральный момент II порядка). Полу­чаем

Итак, искомые оценки параметров нормального распределения:

Метод максимального правдоподобия

Пусть rci, Х2У • •. ,хп — выборка, полученная в результате проведе­ния п независимых наблюдений за с. в. X. И пусть вид закона рас­пределения величины X, например, вид плотности f(x, 0), известен, но

неизвестен параметр 0, которым определяется этот закон. Требуется по выборке оценить параметр 9.

В основе метода максимального правдоподобия (ММП), предло­женного Р. Фишером, лежит понятие функции правдоподобия.

Функцией правдоподобия, построенной по выборке х2. хп, на­зывается функция аргумента 9 вида

L(x,0) = J[f(xi,0), i=i

где — плотность распределения с. в. X в случае, если X — не­

прерывная. Если X — дискретная с. в., то функция правдоподобия име­ет вид

Из определения следует, что чем больше значение функции L(x,8), тем более вероятно (правдоподобнее) появление (при фиксированном в) в результате наблюдений чисел xi,x2->. ,хп.

За точечную оценку параметра 9, согласно ММП, берут такое его значение 0, при котором функция правдоподобия достигает мак­симума.

Эта оценка, называемая оценкой максимального правдоподобия, является решением уравнения

Так как функции L(x,9) и In L(x, 9) достигают максимума при од­ном и том же значении 9, то вместо отыскания максимума функции L(x, в) ищут (что проще) максимум функции InL(x,0).

Таким образом, для нахождения оценки максимального правдопо­добия надо:

1. решить уравнение правдоподобия

отобрать то решение, которое обращает функцию в) в мак­

то 0 — в — точка максимума).

Если оценке подлежат несколько параметров 0ь 02- - ■ распре­деления, то оценки 0i. ,0П определяются решением системы уравне­ний правдоподобия:

[яГЧ Пример 7.3. Найти оценку параметра а распределения Пуассона ме­тодом максимального правдоподобия.

СJ В данном случае р =-------- j—. Поэтому

при Xi £ N. Составляем функцию правдоподобия (для дискретной с. в. X):

Уравнение правдоподобия имеет вид:

xi

то оценка 9 — хв является оценкой максимального правдоподобия. Итак, в = а — хв. •

Метод наименьших квадратов

Метод нахождения оценки 9 неизвестного параметра 9, основанный на минимизации суммы квадратов отклонений выборочных данных от определяемой (искомой) оценки 0, называется методом наименьших квадратов (коротко: МНК).

Другими словами, в МНК требуется найти такое значение 9, кото­рое минимизировало бы сумму

Отметим, что МНК является наиболее простым методом нахождения оценок параметра 9.

Пример 7.4. Найти оценку параметра а распределения Пуассона ме­тодом наименьших квадратов.

Q Найдем точку минимума функции F(0) = — 9) 2 :

при любом значении в, то 0кр = ~ ^ Xi — точка минимума функ-

ции F(0). Таким образом, оценкой параметра а в распределении Пуас-

сона Р(т\а) = ———, т — 0,1,2. согласно МНК, является 4 т\

Можно доказать, что:

1.Найти оценку параметра распределения Пуассона методом момен­тов.

2.Пользуясь ММП, оценить вероятность появления герба, если при 10 бросаниях монеты герб появился 6 раз.

3.Найти оценку неизвестной вероятности успеха в схеме Бернулли методом моментов и ММП.

4.Дано: с. в. X ~ R[a, £>]. По выборке rci, х2, • • •, хп оценить величины а и 6 методом моментов.

5.Найти оценки параметров нормального распределения с. в. X ме­тодом максимального правдоподобия.

Конфликтные ситуации в медицинской практике: Наиболее ярким примером конфликта врача и пациента является.

Тема 5. Подряд. Возмездное оказание услуг: К адвокату на консультацию явилась Минеева и пояснила, что.

Эталон единицы силы электрического тока: Эталон – это средство измерения, обеспечивающее воспроизведение и хранение.

известен, можно вычислить первые k теоретических моментов распределения, ибо формулы для этих моментов тоже известны. Эти моменты будут зависеть и от k неизвестных параметров θ 1 ,θ 2 . θ k :

)= ν 2 ( θ 1 ,θ 2 . θ k ) ,

)= ν k ( θ 1 ,θ 2 . θ k ) .

Суть метода моментов заключается в том, что так как выборочные моменты являются состоятельными оценками теоретических моментов, можно в системе (4.5.1) теоретические моменты ν 1 , ν 2 . ν k заменить вы-

борочными ν 1 , ν 2 . ν k , а затем решить систему (4.5.1) относительно неизвестных параметров θ 1 ,θ 2 . θ k , т.е. найти оценки θ ) 1 ,θ ) 2 . θ ) k . Вместо

системы (4.5.1) реально приходится решать систему

Часто получается, что найденные оценки θ ) 1 ,θ ) 2 . θ ) k

тельными оценками θ 1 ,θ 2 . θ k . Справедлива следующая теорема об асимптотической нормальности оценок, полученных методом моментов.

При некоторых условиях, наложенных на

совместное распределение случайных

n ( θ ) 1 − θ 1 ) , n ( θ ) 2 − θ 2 ) ,…, n ( θ ) k − θ k ) при n → ∞ сходится к k - мер-

ному нормальному закону с нулевыми средними и ковариационной

матрицей, зависящей от теоретических моментов ν 1 , ν 2 . ν k и матрицы ∂ν i ∂θ j .

Практически моментами выше четвертого пользоваться нежелательно, так как точность их вычисления резко падает с увеличением порядка моментов. В методе моментов не обязательно использовать первые k моментов. Иногда в этом методе привлекают более или менее произвольные функции от элементов выборки.

Оценки, полученные методом моментов, имеют эффективность по Крамеру – Рао, существенно меньшую единицы, и могут быть смещенными. Но они часто используются из-за простоты получения, иногда в качестве начального приближения.

2. Метод максимального правдоподобия. Один из важнейших ме-

тодов для отыскания оценок параметров по данным выборки был предложен Р. Фишером и носит название метода наибольшего (или максимального) правдоподобия. Пусть имеется выборка объема n : x 1 , x 2 . x n из

F ( x ) . Если случайная величина

X , представленная этой выборкой, дис-

кретна, то ее ряд распределения

неизвестных параметров θ 1 , θ 2 . θ k , которые нужно оценить.

L = L ( x 1 , x 2 . x n , θ 1 , θ 2 . θ k ) = P ( x 1 , θ 1 , θ 2 . θ k )×

× P ( x 2 , θ 1 , θ 2 . θ k ) . P ( x n , θ 1 , θ 2 . θ k ) называется функцией

X = x 2 ,…, X = x n , или, иначе, совместная вероятность появления чисел x 1 , x 2 . x n . Чем больше значение L , тем правдоподобнее или более вероятно появление в результате наблюдений чисел x 1 , x 2 . x n . Отсюда и

название функции – функция правдоподобия результатов наблюдений. Если наблюдаемая случайная величина X непрерывна, то функция правдоподобия имеет аналогичный вид, с той лишь разницей, что вместо вероятностей P ( x i , θ 1 , θ 2 . θ k ) фигурируют значения функции плотности

f ( x i , θ 1 , θ 2 . θ k ) .

Метод нахождения оценок неизвестных параметров, основанный на требовании максимизации функции правдоподобия, называется методом максимального правдоподобия, а найденные этим методом оценки – оценками максимального правдоподобия.

Функции L или ln L , рассматриваемые как функции параметров θ = ( θ 1 , θ 2 . θ k ) Τ , достигают максимума при одном и том же значении

параметра θ , так как ln L - монотонно возрастающая функция. Поэтому

вместо отыскания максимума функции L находят (что удобнее) максимум функции ln L . Функция ln L называется логарифмической функцией правдоподобия.

По этому методу за оценку параметров θ 1 = θ 1 ( x 1 , x 2 . x n ) ,

θ 2 = θ 2 ( x 1 , x 2 . x n ) ,…, θ k = θ k ( x 1 , x 2 . x n ) принимаются значения аргументов функции L или ln L , при которых вероятность получения

Читайте также: