Оценка параметров уравнения множественной регрессии кратко

Обновлено: 05.07.2024

Множественная линейная регрессия - выраженная в виде прямой зависимость среднего значения величины Y от двух или более других величин X 1 , X 2 , . X m . Величину Y принято называть зависимой или результирующей переменной, а величины X 1 , X 2 , . X m - независимыми или объясняющими переменными.

В случае множественной линейной регрессии зависимость результирующей переменной одновременно от нескольких объясняющих переменных описывает уравнение или модель

где - коэффициенты функции линейной регрессии генеральной совокупности,

Функция множественной линейной регрессии для выборки имеет следующий вид:

где - коэффициенты модели регрессии выборки,

Уравнение множественной линейной регрессии и метод наименьших квадратов

Коэффициенты модели множественной линейной регресии, так же, как и для парной линейной регрессии, находят при помощи метода наименьших квадратов.

Разумеется, мы будем изучать построение модели множественной регрессии и её оценивание с использованием программных средств. Но на экзамене часто требуется привести формулы МНК-оценки (то есть оценки по методу наименьших квадратов) коэффициентов уравнения множественной линейной регрессии в скалярном и в матричном видах.

МНК-оценка коэффиентов уравнения множественной регрессии в скалярном виде

Метод наименьших квадратов позволяет найти такие значения коэффициентов, что сумма квадратов отклонений будет минимальной. Для нахождения коэффициентов решается система нормальных уравнений

Решение системы можно получить, например, методом Крамера:

Определитель системы записывается так:

МНК-оценка коэффиентов уравнения множественной регрессии в матричном виде

Данные наблюдений и коэффициенты уравнения множественной регрессии можно представить в виде следующих матриц:

Формула коэффициентов множественной линейной регрессии в матричном виде следующая:

где - матрица, транспонированная к матрице X,

- матрица, обратная к матрице .

Решая это уравнение, мы получим матрицу-столбец b, элементы которой и есть коэффициенты уравнения множественной линейной регрессии, для нахождения которых и был изобретён метод наименьших квадратов.

Построение наилучшей (наиболее качественной) модели множественной линейной регрессии

Пусть при обработке данных некоторой выборки в пакете программных средств STATISTICA получена первоначальная модель множественной линейной регрессии. Предстоит проанализировать полученную модель и в случае необходимости улучшить её.

Качество модели множественной линейной регрессии оценивается по тем же показателям качества, что и в случае модели парной линейной регрессии: коэффициент детерминации , F-статистика (статистика Фишера), сумма квадратов остатков RSS, стандартная ошибка регрессии (SEE). В случае множественной регрессии следует использовать также скорректированный коэффициент детерминации (adjusted ), который применяется при исключении или добавлении в модель наблюдений или переменных.

Важный показатель качества модели линейной регрессии - проверка на выполнение требований Гаусса-Маркова к остаткам. В качественной модели линейной регрессии выполняются все условия Гаусса-Маркова:

условие 1: математическое ожидание остатков равно нулю для всех наблюдений ( ε(e i ) = 0 );
условие 2: теоретическая дисперсия остатков постоянна (равна константе) для всех наблюдений ( σ²(e i ) = σ²(e i ), i = 1, . n );
условие 3: отсутствие систематической связи между остатками в любых двух наблюдениях;
условие 4: отсутствие зависимости между остатками и объясняющими (независимыми) переменными.

В случае выполнения требований Гаусса-Маркова оценка коэффициентов модели, полученная методом наименьших квадратов является

несмещённой;
эффективной;
состоятельной.

Затем необходимо провести анализ значимости отдельных переменных модели множественной линейной регрессии с помощью критерия Стьюдента.

В случае наличия резко выделяющихся наблюдений (выбросов) нужно последовательно по одному исключить их из модели и проанализировать наличие незначимых переменных в модели и, в случае необходимости исключить их из модели по одному.

В исследованиях поведения человека, как и во многих других, чтобы они претендовали на объективность, важно не только установить зависимость между факторами, но и получить все необходимые статистические показатели для результата проверки соответствующей гипотезы.

Кроме того, требуется на основе тех же данных построить две нелинейные модели регрессии - с квадратами двух наиболее значимых переменных и с логарифмами тех же наиболее значимых переменных. Они также будут сравниваться с линейными моделями, полученных на разных шагах.

Также требуется построить модели с применением пошаговых процедур включения (FORWARD STEPWISE) и исключения (BACKWARD STEPWISE).

Все полученные модели множественной регрессии нужно сравнить и выбрать из них наилучшую (наиболее качественную). Теперь разберём перечисленные выше шаги последовательно и на примере.

Оценка качества модели множественной линейной регрессии в целом

Пример. Задание 1. Получено следующее уравнение множественной линейной регрессии:

и следующие показатели качества описываемой этим уравнением модели:

adj.	RSS	SEE	F	p-level
0,426	0,279	2,835	1,684	2,892	0,008

Сделать вывод о качестве модели в целом.

Ответ. По всем показателям модель некачественная. Значение не стремится к единице, а значение скорректированного ещё более низкое. Значение RSS, напротив, высокое, а p-level - низкое.

Для анализа на выполнение условий Гаусса-Маркова воспользуемся диаграммой рассеивания наблюдений (для увеличения рисунка щёлкнуть по нему левой кнопкой мыши):

Результаты проверки графика показывают: условие равенства нулю математического ожидания остатков выполняется, а условие на постоянство дисперсии - не выполняется. Достаточно невыполнения хотя бы одного условия Гаусса-Маркова, чтобы заключить, что оценка коэффициентов модели линейной регрессии не является несмещённой, эффективной и состоятельной.

Анализ значимости коэффициентов модели множественной линейной регрессии

С помощью критерия Стьюдента проверяется гипотеза о том, что соответствующий коэффициент незначимо отличается от нуля, и соответственно, переменная при этом коэффициенте имеет незначимое влияние на зависимую переменную. В свою очередь, в колонке p-level выводится вероятность того, что основная гипотеза будет принята. Если значение p-level больше уровня значимости α, то основная гипотеза принимается, иначе – отвергается. В нашем примере установлен уровень значимости α=0,05.

Пример. Задание 2. Получены следующие значения критерия Стьюдента (t) и p-level, соответствующие переменным уравнения множественной линейной регрессии:

Перем.	Знач. коэф.	t	p-level
X1	0,129	2,386	0,022
X2	-0,286	-2,439	0,019
X3	-0,037	-0,238	0,813
X4	0,15	1,928	0,061
X5	0,328	0,548	0,587
X6	-0,391	-0,503	0,618
X7	-0,673	-0,898	0,375
X8	-0,006	-0,07	0,944
X9	-1,937	-2,794	0,008
X10	-1,233	-1,863	0,07

Сделать вывод о значимости коэффициентов модели.

Ответ. В построенной модели присутствуют коэффициенты, которые незначимо отличаются от нуля. В целом же у переменной X8 коэффициент самый близкий к нулю, а у переменной X9 - самое высокое значение коэффициента. Коэффициенты модели линейной регрессии можно ранжировать по мере убывания незначимости с возрастанием значения t-критерия Стьюдента.

Исключение резко выделяющихся наблюдений

Пример. Задание 3. Выявлены несколько резко выделяющихся наблюдений (выбросов, то есть наблюдений с нетипичными значениями): 10, 3, 4 (соответствуют строкам исходной таблицы данных). Эти наблюдения следует последовательно исключить из модели и по мере исключения заполнить таблицу с показателями качества модели. Исключили наблюдение 10 - заполнили значение показателей, далее исключили наблюдение 3 - заполнили и так далее. По мере исключения STATISTICA будет выдавать переменные, которые остаются значимыми в модели множественной линейной регрессии - они будут выделены красном цветом. Те, что не будут выделены красным цветом - незначимые переменные и их также нужно внести в соответствующую ячейку таблицы. По завершении исключения выбросов записать уравнение конечной множественной линейной регрессии.

№	adj.	SEE	F	p- level	незнач. пер.
10	0,411	2,55	2,655	0,015	X3, X4, X5, X6, X7, X8, X10
3	0,21	2,58	2,249	0,036	X3, X4, X5, X6, X7, X8, X10
4	0,16	2,61	1,878	0,082	X3, X4, X5, X6, X7, X8, X10

Уравнение конечной множественной линейной регрессии:

Случается однако, когда после исключения некоторого наблюдения исключение последующих наблюдений приводит к ухудшению показателей качества модели. Причина в том, что с исключением слишком большого числа наблюдений выборка теряет информативность. Поэтому в таких случаях следует вовремя остановиться.

Исключение незначимых переменных из модели

Пример. Задание 4. По мере исключения из модели множественной линейной регрессии переменных с незначимыми коэффициентами (получены при выполнении предыдущего задания, занесены в последнюю колонку таблицы) заполнить таблицу с показателями качества модели. Последняя колонка, обозначенная звёздочкой - список переменных, имеющих значимое влияние на зависимую переменную. Эти переменные STATISTICA будет выдавать выделенными красным цветом. По завершении исключения незначимых переменных записать уравнение конечной множественной линейной регрессии.

Искл. пер.	adj.	SEE	F	p- level	*
X3	0,18	1,71	2,119	0,053	X4, X5, X6, X7, X8, X10
X4	0,145	1,745	1,974	0,077	X5, X6, X7, X8, X10
X5	0,163	2,368	2,282	0,048	X6, X7, X8, X10
X6	0,171	2,355	2,586	0,033	X7, X8, X10
X7	0,167	2,223	2,842	0,027	X8, X10
X8	0,184	1,705	3,599	0,013	X10

Когда осталась одна переменная, имеющая значимое влияние на зависимую переменную, больше не исключаем переменные, иначе получится, что в модели все переменные незначимы.

Уравнение конечной множественной линейной регрессии после исключения незначимых переменных:

Переменные X1 и X2 в задании 3 не вошли в список незначимых переменных, поэтому они вошли в уравнение конечной множественной линейной регрессии "автоматически".

Нелинейные модели для сравнения

Пример. Задание 5. Построить две нелинейные модели регрессии - с квадратами двух наиболее значимых переменных и с логарифмами тех же наиболее значимых переменных.

Так как в наблюдениях переменных X9 и X10 имеется 0, а натуральный логарифм от 0 вычислить невозможно, то берутся следующие по значимости переменные: X1 и X2.

Полученное уравнение нелинейной регрессии с квадратами двух наиболее значимых переменных:

Показатели качества первой модели нелинейной регрессии:

adj.	RSS	SEE	F	p-level
0,17	0,134	159,9	1,845	4,8	0,0127

Вывод: модель некачественная, так как RSS и SEE принимают высокие значения, p-level стремится к нулю, коэффициент детерминации незначимо отличается от нуля.

Полученное уравнение нелинейной регрессии с логарифмами двух наиболее значимых переменных:

Показатели качества второй модели нелинейной регрессии:

adj.	RSS	SEE	F	p-level
0,182	0,148	157,431	1,83	5,245	0

Применение пошаговых алгоритмов включения и исключения переменных

Пример. Задание 6. Настроить пакет STATISTICA для применения пошаговых процедур включения (FORWARD STEPWISE) и исключения (BACKWARD STEPWISE). Для этого в диалоговом окне MULTIPLE REGRESSION указать Advanced Options (stepwise or ridge regression). В поле Method выбрать либо Forward Stepwise (алгоритм пошагового включения), либо Backward Stepwise (алгоритм пошагового исключения). Необходимо настроить следующие параметры:

в окне Tolerance необходимо установить критическое значение для уровня толерантности (оставить предложенное по умолчанию);
в окне F-remove необходимо установить критическое значение для статистики исключения (оставить предложенное по умолчанию);
в окне Display Results необходимо установить режим At each step (результаты выводятся на каждом шаге процедуры).

Построить, как описано выше, модели множественной линейной регрессии автоматически.

В результате применения пошагового алгоритма включения получено следующее уравнение множественной линейной регрессии:

Показатели качества модели нелинейной регрессии, полученной с применением пошаговой процедуры включения:

adj.	RSS	SEE	F	p-level
0,41	0,343	113,67	1,61	6,11	0,002

В результате применения пошагового алгоритма исключения получено следующее уравнение множественной линейной регрессии:

Показатели качества модели нелинейной регрессии, полученной с применением пошаговой процедуры исключения:

adj.	RSS	SEE	F	p-level
0,22	0,186	150,28	1,79	6,61	0

Выбор самой качественной модели множественной линейной регрессии

Пример. Задание 7. Сравнить модели, полученные на предыдущих шагах и определить самую качественную.

Модель	Ручная	Кв. перем.	Лог. перем.	forward stepwise	backward stepwise
0,255	0,17	0,182	0,41	0,22
adj.	0,184	0,134	0,148	0,343	0,186
RSS	122,01	159,9	157,43	113,67	150,28
SEE	1,705	1,845	1,83	1,61	1,79
F	3,599	4,8	5,245	6,11	6,61
p-level	0,013	0,0127	0	0,002	0

Самая качественная модель множественной линейной регрессии - модель, построенная методом FORWARD STEPWISE (пошаговое включение переменных), так как коэффициент детерминации у неё самый высокий, а RSS и SEE наименьшие в сравнении значений оценок качества других регрессионных моделей.

Кандидат технических наук, зав. кафедрой экономики и управления производством ДИТУД Бердичевская Н.Ф.

Кандидат технических наук, зав. кафедрой менеджмента и агробизнеса технологического института - филиала СГОУФПО (Ульяновской ГСХА) Ермаков Г. П.

Ноздрина, Н. А.

Н 78 Эконометрика. Множественная регрессия, система эконометрических уравнений и временные ряды в эконометрических исследованиях:

учебное пособие. Часть 2. / Н. А. Ноздрина.– 2-е изд., доп. и исправл.

– Димитровград: ДИТУД УлГТУ, 2009. – 92 с.

Учебное пособие составлено на основании Государственного образовательного стандарта высшего и профессионального образования второго поколения. Содержит вводный теоретический и практический материал по разделам: множественная регрессия и корреляция; системы эконометрических уравнений; моделирование одномерных временных рядов.

Даны практические задачи и контрольные задания для выполнения их на компьютере, приведены контрольные вопросы.

ОГЛАВЛЕНИЕ

1. Множественная регрессия и корреляция.. 4

Виды многофакторных моделей. 4

Оценка параметров уравнения множественной регрессии. 5

Расчет коэффициентов эластичности. 7

Показатели корреляции и детерминации, их использование. 9

Оценка надежности результатов множественной регрессии, корреляции и фактора дополнительно включенного в модель. 12

Решение типовых задач. 14

Практические задачи. 21

Реализация типовых задач на компьютере. 32

Решение задач с помощью ППП Excel (функции ЛИНЕЙН) 32

1.8.2.Решение задач с помощью ППП Excel
(инструмент Регрессия) 36

Контрольные задания. 38

2. Система эконометрических уравнений.. 47

Виды систем уравнений. 47

Проблема идентификации. Необходимое и достаточное условие. 48

Методы оценивания параметров структурной модели. 51

Практические задания. 55

3. временные ряды в эконометрических
исследованиях.. 65

Выявление структуры временного ряда. 65

Моделирование тенденции временного ряда. 68

Моделирование сезонных и циклических колебаний. 70

Построение аддитивной модели временного ряда. 71

Построение мультипликативной модели временного ряда. 74

Прогнозирование по моделям временного ряда. 76

БИБЛИОГРАФИЧЕСКИЙ СПИСОК.. 92

Множественная регрессия и корреляция

Множественная регрессия – один из наиболее распространенных методов в эконометрике. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на результат.

Множественная регрессия характеризует зависимость объясняемой переменной у от ряда независимых переменных - факторов х _i :

где у – зависимая переменная (результативный признак);

x ₁, x _2,…, x _p - независимые переменные (факторы).

Построение многофакторной модели включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии.

Виды многофакторных моделей

Как и в парной зависимости, возможны разные виды уравнений множественной регрессии: линейные и нелинейные.

В виду четкой интерпретации параметров наиболее широко используются линейная и степенная функции.

Линейная множественная регрессия имеет вид:

Степенная функция получила наибольшее распространение в исследованиях спроса и потребления, а также в производственных функциях. Она имеет вид:

В ней коэффициенты b ₁, b ₂ , … b _р, являются средними коэффициентами эластичности. Они показывают, на сколько процентов изменяется в среднем результат с изменением соответствующего фактора на 1 % при неизменности действия других факторов.

Можно использовать и другие функции, приводимые к линейному виду, например: экспоненту и равностороннюю гиперболу , которая используется при обратных
связях признаков.

Если исследователя не устраивает ни одна из вышеперечисленных функций, то можно использовать любые другие функции, приводимые к линейному виду, например:

Или полиномиальная функция – полином второго порядка:

Однако чем сложнее функция, тем менее интерпретируемы ее параметры.

Оценка параметров уравнения множественной регрессии

Параметры уравнения множественной регрессии оцениваются, как и в парной регрессии, методом наименьших квадратов (МНК). Возможны два способа расчета параметров многофакторной модели:

- методом стандартизации переменных (с использованием парных коэффициентов корреляции).

В первом случае для линейных уравнений и нелинейных уравнений, приводимых к линейным, строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии:

Для ее решения может быть применен метод определителей:

где - определитель системы; (1.8)

где частные определители, которые получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы.

Во втором методе уравнение множественной регрессии преобразуется в уравнение регрессии в стандартизованном масштабе (виде):

где стандартизованные переменные; стандартизованные коэффициенты регрессии.

К уравнению множественной регрессии в стандартизованном масштабе применим МНК, стандартизованные коэффициенты регрессии определяются из следующей системы уравнений:

Связь коэффициентов множественной регрессии b _i со стандартизованными коэффициентами описывается соотношением

Параметр а определяется как . (1.12)

Это позволяет от уравнения регрессии в стандартизованном масштабе

переходить к уравнению регрессии в натуральном масштабе переменных:

При нелинейной зависимости признаков, приводимой к линейному виду, параметры множественной регрессии также определяются МНК с той лишь разницей, что он используется не к исходным переменным, а к преобразованным данным. Например, для степенной функции

преобразование в линейный вид заключается, как и в парной регрессии, в логарифмировании уравнения по десятичному или натуральному основанию. Линейный вид степенной функции: где переменные выражены в логарифмах.

Далее обработка МНК та же, что и описана выше: строится система нормальных уравнений и определяются параметры lna, b₁, b₂, …, b _p. Потенцируя значение lna, найдем параметр а и соответсвенно общий вид степенной
функции.

Для другого вида моделей, например, полиномиальных, гиперболических и т. п. линеаризация исходного уравнения проводится, как и в парной регрессии, путем замены нелинейных переменных на линейные.

© 2014-2022 — Студопедия.Нет — Информационный студенческий ресурс. Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав (0.01)

Экономические явления, как правило, определяются большим числом одновременно и совокупно действующих факторов. В связи с этим часто возникает задача исследования зависимости переменной у от нескольких объясняющих переменных (х_1, х₂,…, х_k) которая может быть решена с помощью множественного корреляционно-регрессионного анализа.

При исследовании зависимости методами множественной регрессии задача формируется так же, как и при использовании парной регрессии, т.е. требуется определить аналитическое выражение формы связи между результативным признаком у и факторными признаками х,, х₂, . х_k, найти функцию , где k – число факторных признаков

Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства, в макроэкономических расчетах и целом ряде других вопросов эконометрики. В настоящее время множественная регрессия – один из наиболее распространенных методов в эконометрике. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.

Из-за особенностей метода наименьших квадратов во множественной регрессии, как и в парной, применяются только линейные уравнения и уравнения, приводимые к линейному виду путем преобразования переменных. Чаще всего используется линейное уравнение, которое можно записать следующим образом:

a₀, a_1, …, a_k – параметры модели (коэффициенты регрессии);

ε_j – случайная величина (величина остатка).

Предположим, что зависимость расходов на продукты питания по совокупности семей характеризуется следующим уравнением:

y – расходы семьи за месяц на продукты питания, тыс. руб.;

x₁ – месячный доход на одного члена семьи, тыс. руб.;

x₂ – размер семьи, человек.

Анализ данного уравнения позволяет сделать выводы – с ростом дохода на одного члена семьи на 1 тыс. руб. расходы на питание возрастут в среднем на 350 руб. при том же среднем размере семьи. Иными словами, 35% дополнительных семейных расходов тратится на питание. Увеличение размера семьи при тех же ее доходах предполагает дополнительный рост расходов на питание на 730 руб. Первый параметр не подлежит экономической интерпретации.

Оценивание достоверности каждого из параметров модели осуществляется при помощи t-критерия Стьюдента. Для любого из параметров модели а_jзначение t-критерия рассчитывается по формуле , где

S_ε – стандартное (среднее квадратическое) отклонение уравнения регрессии)

определяется по формуле

Коэффициент регрессии а_jсчитается достаточно надежным, если расчетное значение t-критерия с (n — k — 1) степенями свободы превышает табличное, т.е. t_расч > t _а_jn_-_k_-1. Если надежность коэффициента регрессии не подтверждается, то следует; вывод о несущественности в модели факторного j признака и необходимости его устранения из модели или замены на другой факторный признак.

Важную роль при оценке влияния факторов играют коэффициенты регрессионной модели. Однако непосредственно с их помощью нельзя сопоставлять факторные признаки по степени их влияния на зависимую переменную из-за различия единиц измерения и разной степени колеблемости. Для устранения таких различий применяются частные коэффициенты эластичности Э_j и бета-коэффициенты β_j.

Формула для расчета коэффициента эластичности

a_j – коэффициент регрессии фактора j,

- среднее значение результативного признака

- среднее значение признака j

Коэффициент эластичности показывает, на сколько процентов изменяется зависимая переменная у при изменении фактора j на 1 %.

Формула определения бета - коэффициента.

S_xj – среднее квадратическое отклонение фактора j;

S_y - среднее квадратическое отклонение фактора y.

β - коэффициент показывает, на какую часть величины среднего квадратического отклонения S_y изменится зависимая переменная у с изменением соответствующей независимой переменной х_jна величину своего среднего квадратического отклонения при фиксированном значении остальных независимых переменных.

Долю влияния определенного фактора в суммарном влиянии всех факторов можно оценить по величине дельта-коэффициентов Δ_j.

Указанные коэффициенты позволяют проранжировать факторы по степени влияния факторов на зависимую переменную.

Формула определения дельта - коэффициента.

r_yj – коэффициент парной корреляции между фактором j и зависимой переменной;

R 2 – множественный коэффициент детерминации.

Коэффициент множественной детерминации используют для оценки качества множественных регрессионных моделей.

Формула определения коэффициента множественной детерминации.

Коэффициент детерминации показывает долю вариации результативного признака, находящегося под воздействием факторных признаков, т.е. определяет, какая доля вариации признака у учтена в модели и обусловлена влиянием на него факторов, включенных в модель. Чем ближе R 2 к единице, тем выше качество модели

При добавлении независимых переменных значение R 2 увеличивается, поэтому коэффициент R 2 должен быть скорректирован с учетом числа независимых переменных по формуле

Для проверки значимости модели регрессии используется F-критерий Фишера. Он определяется по формуле

Если расчетное значение критерия с γ₁, = k и γ ₂ = (n — k— 1) степенями свободы больше табличного при заданном уровне значимости, то модель считается значимой.

В качестве меры точностимодели применяют стандартную ошибку, которая представляет собой отношение суммы квадратов уровней остаточной компоненты к величине (n — k —1):

Классический подход к оцениванию параметров линейной модели основан на методе наименьших квадратов (МНК). Система нормальных уравнений имеет вид:

Решение системы может быть осуществлено по одному из известных способов: Метод Гаусса, метод Крамера и т.д.

По четырем предприятиям региона (таблица 41) изучается зависимость выработки продукции на одного работника y (тыс. руб.) от ввода в действие новых основных фондов (% от стоимости фондов на конец года) и от удельного веса рабочих высокой квалификации в общей численности рабочих (%). Требуется написать уравнение множественной регрессии.

Таблица 41 – Зависимость выработки продукции на одного работника

Номер предприятия

, (%)

, (тыс. руб.)

Решение:

Предположим, что зависимость выработки продукции на одного работника характеризуется следующим уравнением:

На основании исходных данных составляем систему уравнений для определения коэффициентов и .

Решим эту систему по методу Крамера. Вычисляем определитель системы:

Аналогично вычисляем частные определители, заменяя соответствующий столбец столбцом свободных членов:

Коэффициенты уравнения определяются по формулам:

Таким образом, уравнение имеет вид:

Для определения параметров множественной регрессии на основе матрицы парных коэффициентов корреляции строится уравнение регрессии в стандартизованном масштабе:

где - стандартизованные переменные:

, для которых среднее значение равно нулю, а среднее квадратическое значение равно единице;

- стандартизованные коэффициенты регрессии.

Применяя МНК к уравнению множественной регрессии в стандартизованном масштабе, после соответствующих преобразований получим систему нормальных уравнений вида для определения стандартизованных коэффициентов регрессии.

Величины и называются парными коэффициентами корреляции и определяются по формулам

Продолжение примера 15.

Получим уравнение регрессии в стандартизованном масштабе (таблица 42).

Таблица 42 – Уравнение регрессии в стандартизованном масштабе.

Получаем систему нормальных уравнений в виде:

Окончательно получаем уравнение регрессии в стандартизованном масштабе в виде:

Сравнивая уравнение с полученным уравнением в примере 15, можно увидеть соответствие результатов в построении уравнения множественной регрессии полученных разными способами.

a₀, a_1, …, a_k – параметры модели (коэффициенты регрессии);

ε_j – случайная величина (величина остатка).

y – расходы семьи за месяц на продукты питания, тыс. руб.;

x₁ – месячный доход на одного члена семьи, тыс. руб.;

x₂ – размер семьи, человек.

S_ε – стандартное (среднее квадратическое) отклонение уравнения регрессии)

определяется по формуле

Формула для расчета коэффициента эластичности

a_j – коэффициент регрессии фактора j,

- среднее значение результативного признака

- среднее значение признака j

Формула определения бета - коэффициента.

S_xj – среднее квадратическое отклонение фактора j;

S_y - среднее квадратическое отклонение фактора y.

Формула определения дельта - коэффициента.

r_yj – коэффициент парной корреляции между фактором j и зависимой переменной;

R 2 – множественный коэффициент детерминации.

Формула определения коэффициента множественной детерминации.

Для проверки значимости модели регрессии используется F-критерий Фишера. Он определяется по формуле

Решение системы может быть осуществлено по одному из известных способов: Метод Гаусса, метод Крамера и т.д.

Таблица 41 – Зависимость выработки продукции на одного работника

Номер предприятия

, (%)

, (тыс. руб.)

Решение:

Предположим, что зависимость выработки продукции на одного работника характеризуется следующим уравнением:

На основании исходных данных составляем систему уравнений для определения коэффициентов и .

Решим эту систему по методу Крамера. Вычисляем определитель системы:

Аналогично вычисляем частные определители, заменяя соответствующий столбец столбцом свободных членов:

Коэффициенты уравнения определяются по формулам:

Таким образом, уравнение имеет вид:

где - стандартизованные переменные:

, для которых среднее значение равно нулю, а среднее квадратическое значение равно единице;

- стандартизованные коэффициенты регрессии.

Величины и называются парными коэффициентами корреляции и определяются по формулам

Продолжение примера 15.

Получим уравнение регрессии в стандартизованном масштабе (таблица 42).

Таблица 42 – Уравнение регрессии в стандартизованном масштабе.

Получаем систему нормальных уравнений в виде:

Окончательно получаем уравнение регрессии в стандартизованном масштабе в виде:

Множественная линейная регрессия – это статистическая модель, в которой число переменных составляет две и более.

Математическая статистика широко применяется в экономических исследованиях для того, чтобы приблизить входные и выходные данные на основе линейного уравнения. Она является элементом регрессионного анализа, который используется в статистическом моделировании. Регрессионный анализ базируется на методах моделирования и исследования связей между зависимыми и независимыми переменными, называемыми регрессорами. Цель анализа - формирование представления об изменениях зависимой величины в случае, если другие переменные остаются неизменными. Обычно регрессионный анализ применяется для оценки ожиданий.

Простая линейная регрессия рассматривает зависимость между одной входной и одной выходной величиной выборки. Уравнение выглядит достаточно просто $y = ax + b$. Графически оно отображается как прямая с множеством точек отклонения. Коэффициенты уравнения являются параметрами модели. Отклонение рассчитывается через сумму квадратов.

Метод наименьших квадратов опирается на экспериментальные данные, которые могут содержать случайные отклонения. Знание параметров модели позволяет применять приближенные значения. Если величины уравнения рассчитаны, то разница между реальными и теоретическими значениями снижается.

Параметры множественной регрессии так же вычисляются с помощью метода наименьших квадратов. Ее отличительной особенностью является использование гиперплоскости. Уравнение множественной регрессии удобно тем, что увеличивает количество объясненных отклонений переменных. Результатом становится улучшение соответствия между данными модели. Добавление новых величин или параметров в исследование будет только увеличивать коэффициент его детерминации. Этот коэффициент показывает, насколько уравнение соответствует реальной действительности.

Готовые работы на аналогичную тему

Оценка качества уравнения множественной линейной регрессии

Исследование качества уравнения регрессии заключается в оценке его адекватности и точности. Анализ опирается на изучение следующих величин:

Коэффициент детерминации.
Индекс корреляции или коэффициент множественной регрессии.
Средняя относительная ошибка.

Коэффициент детерминации в уравнении множественной регрессии равен квадрату коэффициента корреляции между зависимой и независимой переменными. Индекс корреляции анализирует тесноту связи переменных. Если он используется для нелинейных уравнений, то применяется критерий Фишера. Множественный коэффициент корреляции применяется для исследования связей между случайной величиной и другими величинами. Средняя относительная ошибка помогает вычислить отклонение расчетных значений уравнения от фактических данных. Если отклонение не превышает 15%, то речь идет о хорошо подобранном уравнении регрессии.

Значимость уравнения проверяется по критерию Фишера. Далее ему присуждается критическое значение, которое сопоставляется с расчетными данными. Качество модели расценивается при помощи ряда остатков. Полученный коэффициент детерминации показывает зависимость величин друг от друга, а так же тесноту этой связи. Уравнение считается значимым в том случае, если значение критерия Фишера будет больше критического. Точность модели считается неудовлетворительной, если процент соответствия будет более 15%. Тогда модель рассматривается как неудовлетворительная, поэтому в дальнейшем она не используется.

Изучение графика остатков позволяет увидеть какие-либо зависимости, которые не были учтены в модели. Он показывает выбросы. Аномалии могут искажать конечный результат и качество анализа. Чтобы устранить выбросы, необходимо их удалить из данных исследования. Этот процесс называется цензурированием.

Таким образом, оценка качества модели регрессии проверяется качеством уравнения, проверкой его значимости, выполнением предпосылок.

Выбор оптимальной модели множественной регрессии

Исследование начинается с создания первоначальной модели множественной регрессии. Ее анализ необходим для последующего улучшения. Качество модели изучается с помощью коэффициентов, применяемых для парной регрессии. Среди них отмечают:

Коэффициент детерминации.
Статистику Фишера.
Стандартную ошибку регрессии.
Сумму квадратов остатков.

Скорректированный коэффициент детерминации обычно применяется для множественной регрессии. Он исключает или добавляет в уравнение переменные или наблюдения. Качество может определяться с помощью проверки на выполнение требований Маркова-Гаусса. Условия считаются выполненными, если математическое наблюдение остатков равно нулю для каждого значения. Дисперсия постоянна для каждого наблюдения. Системные связи между остатками отсутствуют. Зависимость между остатками и переменными так же отсутствует. Выявление соответствия требованиям Гаусса-Маркова позволяет применять метод наименьших квадратов. Полученная с его помощью модель является несмещенной, эффективной и состоятельной.

Следующий шаг – проверка модели с помощью критерия Стьюдента. Если в уравнении есть резко выделяющиеся наблюдения, то их последовательно исключают. Так же выявляются незначимые переменные, которые исключаются из модели в случае необходимости. Например, при изучении экономического поведения человека устанавливается зависимость между факторами, а так же формируется база статических показателей, которые позволяют проверить гипотезу.

Далее строится две нелинейных модели, которые учитывают квадраты двух наиболее значимых моделей и учитывают их логарифмы. Их сравнивают с линейными уравнениями, которые возникают на разных этапах проверки. Полученные модели сравниваются, из них выбирается наилучший вариант, который принимается за качественную модель.

Таким образом, оценка модели проводится для исключения незначимых событий, ошибочных наблюдений.

Читайте также: