Свойства оценок метода наименьших квадратов мнк кратко

Обновлено: 07.07.2024

Для того, чтобы полученные методом наименьших квадратов оценки обладали желательными свойствами делаются следующие предположения об отклонениях ε_i:

1. Величина ε_i – случайная переменная;

2. Математическое ожидание ε_i равно 0;

3. Дисперсия ε_i постоянна для всех i-тых ε;

4. Значения ε_i не зависимы между собой.

Известно, что если условия (1-4) выполняются, то оценки, вычисляемые с помощью МНК (метода наименьших квадратов) обладают следующими свойствами:

1. Оценки являются несмещенными, то есть математическое ожидание оценки каждого параметра равно его истинному значению. Это вытекает из того, что математическое ожидание ошибки равно 0 и говорит об отсутствии системной ошибки в определении положения линии регрессии.

2. Оценки состоятельны, так как дисперсия оценок параметров при росте числа наблюдений стремится к 0. Иначе говоря, если n достаточно велико, то практически наверняка растет надежность оценки параметров а_j.

3. Оценки эффективны, то есть имеют наименьшую дисперсию по сравнению с любыми другими оценками данных параметров.

Перечисленные свойства не зависят от конкретного вида распределения величины e, тем не менее, обычно предполагается, что они распределены нормально. Эта предпосылка необходима для проверки статистической значимости сделанных оценок и определения для них доверительных интервалов. При ее выполнении оценки МНК имеют наименьшую дисперсию не только среди линейных, но и среди всех несмещенных оценок.

Возможны разные виды уравнений множественной регрессии: линейные и нелинейные.

Ввиду четкой интерпретации параметров наиболее широко используется линейная функция. В линейной множественной регрессии

Рассмотрим линейную модель множественной регрессии . (2.1)

Классический подход к оцениванию параметров линейной модели множественной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного

признака от расчетных минимальна:

Как известно из курса математического анализа, для того чтобы найти экстремум функции нескольких переменных, надо вычислить частные производные первого порядка по каждому из параметров и приравнять их к нулю. Имеем функцию аргумента:

Находим частные производные первого порядка:

После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии (2.1):

Для двухфакторной модели данная система будет иметь вид:

Метод наименьших квадратов применим и к уравнению множественной регрессии в стандартизированном масштабе:

где – стандартизированные переменные: , , для которых среднее значение равно нулю: , а среднее квадратическое отклонение равно единице: ; – стандартизированные коэффициенты регрессии.

где и – коэффициенты парной и межфакторной корреляции.

Поэтому можно переходить от уравнения регрессии в стандартизованном масштабе (2.4) к уравнению регрессии в натуральном масштабе переменных (2.1), при этом параметр определяется как

Рассмотренный смысл стандартизованных коэффициентов регрессии позволяет их использовать при отсеве факторов – из модели исключаются факторы с наименьшим значением .

На основе линейного уравнения множественной регрессии

(2.7) могут быть найдены частные уравнения регрессии:

т.е. уравнения регрессии, которые связывают результативный признак с соответствующим фактором при закреплении остальных факторов на среднем уровне. В развернутом виде систему (2.8) можно переписать в виде:

При подстановке в эти уравнения средних значений соответствующих факторов они принимают вид парных уравнений линейной регрессии, т.е. имеем

В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне. Эффекты влияния других факторов присоединены в них к свободному члену уравнения множественной регрессии. Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности:

где – коэффициент регрессии для фактора в уравнении множественной регрессии, – частное уравнение регрессии.

Наряду с частными коэффициентами эластичности могут быть найдены средние по совокупности показатели эластичности:

которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.

Вопрос 20. Методы оценивания линейной модели множественной регрессии в Excel.

Модель (*) – линейная эконометрическая модель в виде изолированных уравнений с несколькими объясняющими переменными или моделями линейной множественной регрессии.

В этой модели две экзогенные переменные x1, x2 и одна эндогенная переменная y. Спецификация (*) содержит четыре параметра:

Пусть известны значения экзогенных и эндогенных переменных модели (*): при t=1, 2, …, n.

Порядок оценивания модели (*) состоит из следующих шагов.

Шаг 1. В столбце А листа Excel с первой строчки расположить значения эндогенной переменной y. В столбцах B и C, начиная с первой строчки, записать значения экзогенных переменных соответственно и .

A	B	C	D	E	F	G
y₁	X₁₁	X₂₁
Y₂	X₁₂	X₂₂
…	…	…	…
n	y_n	X_1n	X_2n
n+1
n+2
n+3
n+4
n+5

Шаг 2. Активировать ячейку с адресом А(n+1) и на стандартной панели инструментов щелкнуть мышью кнопку вставки функций (f_x).

Шаг 7. Выделить мышью диапазон ячеек A(n+1):C(n+5).

Шаг 8. Щелкнуть мышью по строке формул.

Шаг 9. Нажать клавиши Ctrl + Shift + Enter.

В итоге в выделенном диапазоне ячеек появятся результаты оценивания модели (*).

Итак, модель будет выглядеть:

© 2014-2022 — Студопедия.Нет — Информационный студенческий ресурс. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав (0.006)

Начнем статью сразу с примера. У нас есть некие экспериментальные данные о значениях двух переменных – x и y . Занесем их в таблицу.

i = 1	i = 2	i = 3	i = 4	i = 5
x i	0	1	2	4	5
y i	2 , 1	2 , 4	2 , 6	2 , 8	3 , 0

После выравнивания получим функцию следующего вида: g ( x ) = x + 1 3 + 1 .

Мы можем аппроксимировать эти данные с помощью линейной зависимости y = a x + b , вычислив соответствующие параметры. Для этого нам нужно будет применить так называемый метод наименьших квадратов. Также потребуется сделать чертеж, чтобы проверить, какая линия будет лучше выравнивать экспериментальные данные.

В чем именно заключается МНК (метод наименьших квадратов)

Главное, что нам нужно сделать, – это найти такие коэффициенты линейной зависимости, при которых значение функции двух переменных F ( a , b ) = ∑ i = 1 n ( y i - ( a x i + b ) ) 2 будет наименьшим. Иначе говоря, при определенных значениях a и b сумма квадратов отклонений представленных данных от получившейся прямой будет иметь минимальное значение. В этом и состоит смысл метода наименьших квадратов. Все, что нам надо сделать для решения примера – это найти экстремум функции двух переменных.

Как вывести формулы для вычисления коэффициентов

Для того чтобы вывести формулы для вычисления коэффициентов, нужно составить и решить систему уравнений с двумя переменными. Для этого мы вычисляем частные производные выражения F ( a , b ) = ∑ i = 1 n ( y i - ( a x i + b ) ) 2 по a и b и приравниваем их к 0 .

δ F ( a , b ) δ a = 0 δ F ( a , b ) δ b = 0 ⇔ - 2 ∑ i = 1 n ( y i - ( a x i + b ) ) x i = 0 - 2 ∑ i = 1 n ( y i - ( a x i + b ) ) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Для решения системы уравнений можно использовать любые методы, например, подстановку или метод Крамера. В результате у нас должны получиться формулы, с помощью которых вычисляются коэффициенты по методу наименьших квадратов.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Мы вычислили значения переменных, при который функция
F ( a , b ) = ∑ i = 1 n ( y i - ( a x i + b ) ) 2 примет минимальное значение. В третьем пункте мы докажем, почему оно является именно таким.

Это и есть применение метода наименьших квадратов на практике. Его формула, которая применяется для поиска параметра a , включает в себя ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , а также параметр
n – им обозначено количество экспериментальных данных. Советуем вам вычислять каждую сумму отдельно. Значение коэффициента b вычисляется сразу после a .

Обратимся вновь к исходному примеру.

Здесь у нас n равен пяти. Чтобы было удобнее вычислять нужные суммы, входящие в формулы коэффициентов, заполним таблицу.

i = 1	i = 2	i = 3	i = 4	i = 5	∑ i = 1 5
x i	0	1	2	4	5	12
y i	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x i y i	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x i 2	0	1	4	16	25	46

Решение

Четвертая строка включает в себя данные, полученные при умножении значений из второй строки на значения третьей для каждого отдельного i . Пятая строка содержит данные из второй, возведенные в квадрат. В последнем столбце приводятся суммы значений отдельных строчек.

Воспользуемся методом наименьших квадратов, чтобы вычислить нужные нам коэффициенты a и b . Для этого подставим нужные значения из последнего столбца и подсчитаем суммы:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 · 33 , 8 - 12 · 12 , 9 5 · 46 - 12 2 b = 12 , 9 - a · 12 5 ⇒ a ≈ 0 , 165 b ≈ 2 , 184

У нас получилось, что нужная аппроксимирующая прямая будет выглядеть как y = 0 , 165 x + 2 , 184 . Теперь нам надо определить, какая линия будет лучше аппроксимировать данные – g ( x ) = x + 1 3 + 1 или 0 , 165 x + 2 , 184 . Произведем оценку с помощью метода наименьших квадратов.

Чтобы вычислить погрешность, нам надо найти суммы квадратов отклонений данных от прямых σ 1 = ∑ i = 1 n ( y i - ( a x i + b i ) ) 2 и σ 2 = ∑ i = 1 n ( y i - g ( x i ) ) 2 , минимальное значение будет соответствовать более подходящей линии.

σ 1 = ∑ i = 1 n ( y i - ( a x i + b i ) ) 2 = = ∑ i = 1 5 ( y i - ( 0 , 165 x i + 2 , 184 ) ) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n ( y i - g ( x i ) ) 2 = = ∑ i = 1 5 ( y i - ( x i + 1 3 + 1 ) ) 2 ≈ 0 , 096

Ответ: поскольку σ 1 σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0 , 165 x + 2 , 184 .

Как изобразить МНК на графике функций

Метод наименьших квадратов наглядно показан на графической иллюстрации. С помощью красной линии отмечена прямая g ( x ) = x + 1 3 + 1 , синей – y = 0 , 165 x + 2 , 184 . Исходные данные обозначены розовыми точками.

Поясним, для чего именно нужны приближения подобного вида.

Они могут быть использованы в задачах, требующих сглаживания данных, а также в тех, где данные надо интерполировать или экстраполировать. Например, в задаче, разобранной выше, можно было бы найти значение наблюдаемой величины y при x = 3 или при x = 6 . Таким примерам мы посвятили отдельную статью.

Доказательство метода МНК

Чтобы функция приняла минимальное значение при вычисленных a и b , нужно, чтобы в данной точке матрица квадратичной формы дифференциала функции вида F ( a , b ) = ∑ i = 1 n ( y i - ( a x i + b ) ) 2 была положительно определенной. Покажем, как это должно выглядеть.

У нас есть дифференциал второго порядка следующего вида:

d 2 F ( a ; b ) = δ 2 F ( a ; b ) δ a 2 d 2 a + 2 δ 2 F ( a ; b ) δ a δ b d a d b + δ 2 F ( a ; b ) δ b 2 d 2 b

Решение

δ 2 F ( a ; b ) δ a 2 = δ δ F ( a ; b ) δ a δ a = = δ - 2 ∑ i = 1 n ( y i - ( a x i + b ) ) x i δ a = 2 ∑ i = 1 n ( x i ) 2 δ 2 F ( a ; b ) δ a δ b = δ δ F ( a ; b ) δ a δ b = = δ - 2 ∑ i = 1 n ( y i - ( a x i + b ) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F ( a ; b ) δ b 2 = δ δ F ( a ; b ) δ b δ b = δ - 2 ∑ i = 1 n ( y i - ( a x i + b ) ) δ b = 2 ∑ i = 1 n ( 1 ) = 2 n

Иначе говоря, можно записать так: d 2 F ( a ; b ) = 2 ∑ i = 1 n ( x i ) 2 d 2 a + 2 · 2 ∑ x i i = 1 n d a d b + ( 2 n ) d 2 b .

Мы получили матрицу квадратичной формы вида M = 2 ∑ i = 1 n ( x i ) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

В этом случае значения отдельных элементов не будут меняться в зависимости от a и b . Является ли эта матрица положительно определенной? Чтобы ответить на этот вопрос, проверим, являются ли ее угловые миноры положительными.

Вычисляем угловой минор первого порядка: 2 ∑ i = 1 n ( x i ) 2 > 0 . Поскольку точки x i не совпадают, то неравенство является строгим. Будем иметь это в виду при дальнейших расчетах.

Вычисляем угловой минор второго порядка:

d e t ( M ) = 2 ∑ i = 1 n ( x i ) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2

После этого переходим к доказательству неравенства n ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 > 0 с помощью математической индукции.

Проверим, будет ли данное неравенство справедливым при произвольном n . Возьмем 2 и подсчитаем:

2 ∑ i = 1 2 ( x i ) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

У нас получилось верное равенство (если значения x 1 и x 2 не будут совпадать).

Сделаем предположение, что данное неравенство будет верным для n , т.е. n ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 > 0 – справедливо.
Теперь докажем справедливость при n + 1 , т.е. что ( n + 1 ) ∑ i = 1 n + 1 ( x i ) 2 - ∑ i = 1 n + 1 x i 2 > 0 , если верно n ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 > 0 .

( n + 1 ) ∑ i = 1 n + 1 ( x i ) 2 - ∑ i = 1 n + 1 x i 2 = = ( n + 1 ) ∑ i = 1 n ( x i ) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n ( x i ) 2 + n · x n + 1 2 + ∑ i = 1 n ( x i ) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 + n · x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n ( x i ) 2 = = ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 + + ( x n + 1 - x 1 ) 2 + ( x n + 1 - x 2 ) 2 + . . . + ( x n - 1 - x n ) 2 > 0

Выражение, заключенное в фигурные скобки, будет больше 0 (исходя из того, что мы предполагали в пункте 2 ), и остальные слагаемые будут больше 0 , поскольку все они являются квадратами чисел. Мы доказали неравенство.

Ответ: найденные a и b будут соответствовать наименьшему значению функции F ( a , b ) = ∑ i = 1 n ( y i - ( a x i + b ) ) 2 , значит, они являются искомыми параметрами метода наименьших квадратов (МНК).

Метод наименьших квадратов — математический (математико-статистический) прием, служащий для выравнивания динамических рядов, выявления формы корреляционной связи между случайными величинами и др. Состоит в том, что функция, описывающая данное явление, аппроксимируется более простой функцией. Причем последняя подбирается с таким расчетом, чтобы среднеквадратичное отклонение фактических уровней функции в наблюдаемых точках от выровненных было наименьшим.

Рассмотрим механизм применения МНК на примере идентификации модели в виде линейного уравнения парной регрессии:

Для решения задачи имеем набор точек на плоскости или другими словами набор наблюдений за поведением переменных у и л: размером n наблюдений.

y₂ х₂ Таблица исходных данных (выборка)

Согласно методу наименьших квадратов, необходимо найти такие значения оценок параметров модели (2.8), которые соответствуют минимуму суммы квадратов остатков.

Из (2.8) следует, что необходимо найти минимум функции:

Для нахождения параметров функции (2.9), соответствующие ее минимуму, необходимо вычислить производные этой функции по параметрам, приравнять их нулю и решить полученные уравнения относительно а₀ и a₁

2.10

Или окончательно получаем:

2.11

Система уравнений (2.11) называется системой нормальных уравнений для определения оценок параметров модели (2.8).

Убедимся, что решения системы уравнений (2.11) соответствуют минимуму функции (2.9). Для этого достаточно показать, что вторые производные функции (2.9) положительны.

Систему уравнений (2.11) можно решить методом исключения переменных. Для этого достаточно выразить параметр а₀ через а₁( подставить его во второе уравнение системы, откуда легко получить затем полученное значение а х подставить в первое уравнение и получить выражение для а₀ . В результате решение системы уравнений (2.11) примет вид:

2.12

Выражения (2.12) позволяют по известным значениям наблюдений за переменными х и j вычислить оценки параметров модели парной регрессии. Проверим, насколько полученные оценки отвечают требованию несмещенности. Для этого запишем второе выражение (2.12) в виде:

2.13

Для получения выражения (2.13) необходимо вспомнить, что оценка ковариации и дисперсии случайных переменных вычисляются, как:

2.14

Раскрыв скобки и произведя несложные преобразования, легко получить выражение (2.13). Преобразуем (2.13) к виду:

2.15

Первое слагаемое в выражении (2.15) равно нулю, т.к. параметр а₀ константа, a cov(x,x)=σ(Х). Тогда окончательно выражение (2.15) принимает вид:

2.16

Математическое ожидание оценки параметра равно правой части выражения (2.16), т.к. параметр и количественные характеристики случайных переменных константы.

Отсюда видно, не смотря на то, что случайные возмущения напрямую не учувствуют в вычислении значений оценок параметров, они существенно влияют на их качество, а именно, если случайное возмущение коррелирует с регрессором, то значение оценки становится смещенным.

Теорема Гаусса-Маркова формулирует условия, при которых МНК позволяет получить наилучшие оценки параметров линейной модели множественной регрессии.

Теорема начинается с описания условий, которые накладываются на вектор случайных возмущений. Эти условия принято называть предпосылками теоремы Гаусса-Маркова.

1. Математическое ожидание случайных возмущений во всех наблюдениях равно нулю.

2. Дисперсия случайных возмущений во всех наблюдениях одинакова и равна константе

3. Ковариация между парами случайных возмущений в наблюдениях равны нулю (случайные возмущения в наблюдениях независимы)

4. Ковариация между вектором регрессоров и вектором случайных переменных равна нулю (регрессоры и случайные возмущения независимы)

Тогда. Если матрица X неколлинеарная (нет ни одного столбца, который можно было бы представить в виде линейной комбинации других его столбцов).

1. Наилучшая оценка вектора параметров линейной модели множественной регрессии вычисляется, как

2.Ковариационная матрица оценок параметров модели вычисляется, как:

3. Дисперсия случайного возмущения равна:

4.Наилучший прогноз по модели в точке

вычисляется по правилу:

5.Ошибка прогноза эндогенной переменной равна:

y₂ х₂ Таблица исходных данных (выборка)

Из (2.8) следует, что необходимо найти минимум функции:

2.10

Или окончательно получаем:

2.11

2.12

2.13

2.14

Раскрыв скобки и произведя несложные преобразования, легко получить выражение (2.13). Преобразуем (2.13) к виду:

2.15

2.16

1. Математическое ожидание случайных возмущений во всех наблюдениях равно нулю.

2. Дисперсия случайных возмущений во всех наблюдениях одинакова и равна константе

1. Наилучшая оценка вектора параметров линейной модели множественной регрессии вычисляется, как

2.Ковариационная матрица оценок параметров модели вычисляется, как:

3. Дисперсия случайного возмущения равна:

4.Наилучший прогноз по модели в точке

Возможны разные виды уравнений множественной регрессии: линейные и нелинейные.

Рассмотрим линейную модель множественной регрессии

Итак, имеем функцию аргумента:

Находим частные производные первого порядка:

Для двухфакторной модели данная система будет иметь вид:

Метод наименьших квадратов применим и к Уравнению Множественной Регрессии В стандартизированном масштабе:

Где – Стандартизированные Переменные: , , для которых среднее значение равно нулю: , а среднее квадратическое отклонение равно единице: ; – Стандартизированные Коэффициенты Регрессии.

Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений вида

Где и – коэффициенты парной и межфакторной корреляции.

Поэтому можно переходить от уравнения регрессии в стандартизованном масштабе (2.4) к уравнению регрессии в натуральном масштабе переменных (2.1), при этом параметр A определяется как .

На основе линейного уравнения множественной регрессии

Могут быть найдены частные уравнения регрессии:

Т. е. уравнения регрессии, которые связывают результирующий показатель с соответствующим фактором при закреплении остальных факторов на среднем уровне. В развернутом виде систему (2.8) можно переписать в виде:

В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне. Эффекты влияния других факторов присоединены в них к свободному члену уравнения множественной регрессии. Это позволяет на основе частных уравнений регрессии определять Частные Коэффициенты Эластичности:

Где – коэффициент регрессии для фактора в уравнении множественной регрессии, – частное уравнение регрессии.

Наряду с частными коэффициентами эластичности могут быть найдены Средние по совокупности показатели эластичности:

Которые показывают, на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.

Рассмотрим Пример. Пусть имеются следующие данные (условные) о сменной добыче угля на одного рабочего Y (т), мощности пласта (м) и уровне механизации работ (%), характеризующие процесс добычи угля в 10 шахтах.

Читайте также: