Двухшаговый метод наименьших квадратов реферат

Обновлено: 02.07.2024

До начала XIX в. учёные не имели определённых правил для решения системы уравнений, в которой число неизвестных меньше, чем число уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Гауссу (1795) принадлежит первое применение метода, а Лежандр (1805) независимо открыл и опубликовал его под современным названием (фр. Méthode des moindres quarrés). Лаплас связал метод с теорией вероятностей, а американский математик Эдрейн (1808) рассмотрел его теоретико-вероятностные приложения. Метод распространён и усовершенствован дальнейшими изысканиями Энке, Бесселя, Ганзена и других.

Содержание

Прикрепленные файлы: 1 файл

курсач.docx

Метод наименьших квадратов………………………………………..4

Б) вывод формул для нахождения коэффициентов………..4

Корреляционный анализ. Линейная корреляция. Выборочный коэффициент корреляции…………………………………………………… ………..5

Математическая статистика – наука о математических методах, позволяющих по статистическим данным, например по реализациям случайной величины (СВ), построить теоретико-вероятностную модель исследуемого явления. Задачи математической статистики являются, в некотором смысле, обратными к задачам теории вероятностей. Центральным понятием математической статистики является выборка.

Метод наименьших квадратов (МНК).

А).Суть метода наименьших квадратов (МНК).

Задача заключается в нахождении коэффициентов линейной зависимости, при которых функция двух переменных k и b принимает наименьшее значение. То есть, при данных k и b сумма квадратов отклонений экспериментальных данных от найденной прямой будет наименьшей.

Б).Вывод формул для нахождения коэффициентов.

Необходимо составить и решить систему из двух уравнений с двумя неизвестными.

Для этого находим частные производные функции

по переменным k и b, а затем приравниваем эти производные к нулю.

Далее решаем полученную систему уравнений любым методом (например методом подстановки или методом Крамера) и получаем формулы для нахождения коэффициентов по методу наименьших квадратов (МНК).

При данных k и b функция принимает наименьшее значение.

Корреляционный анализ. Линейная корреляция. Выборочный коэффициент корреляции.

Корреляционный анализ занимается степенью связи между двумя случайными величинами Х и Y.

Корреляционный анализ экспериментальных данных для двух случайных величин заключает в себе следующие основные приемы:

1. Вычисление выборочных коэффициентов корреляции.

2. Составление корреляционной таблицы.

3. Проверка статистической гипотезы значимости связи.

Корреляционная зависимость между случайными величинами Х и Y называется линейной корреляцией, если обе функции регрессии f(x) и φ(x) являются линейными. В этом случае обе линии регрессии являются прямыми; они называется прямыми регрессии.

Для оценки тесноты линейных корреляционных зависимостей между величинами Х и Y по результатам выборочных наблюдений вводится понятие выборочного коэффициента линейной корреляции, определяемого формулой:

где σX и σY выборочные средние квадратические отклонения величин Х и Y, которые вычисляются по формулам:

Следует отметить, что основной смысл выборочного коэффициента линейной корреляции rB состоит в том, что он представляет собой эмпирическую (т.е. найденную по результатам наблюдений над величинами Х и Y) оценку соответствующего генерального коэффициента линейной корреляции r: r=rB

Рассмотрим первое уравнение: в правой части этого уравнения стоит эндогенная переменная У, которая коррелирует со случайной компонентой st. Построим регрессию этой эндогенной переменной У на экзогенные переменные / и G: При выполнении определенных условий идентифицируемости оценки, полученные с помощью двух шагового метода наименьших квадратов, совпадают с оценками по косвенному методу наименьших… Читать ещё >

Двухшаговый метод наименьших квадратов ( реферат , курсовая , диплом , контрольная )

Для построения оценок структурных коэффициентов кроме косвенного метода наименьших квадратов используется двухшаговый метод наименьших квадратов. Косвенный метод наименьших квадратов, как было показано выше, заключается в построении оценок методом наименьших квадратов для приведенной формы модели и затем в нахождении оценок структурных коэффициентов через найденные оценки коэффициентов приведенной формы.

При использовании двухшагового метода наименьших квадратов выделяется одно уравнение системы, а остальные служат для определения инструментальных переменных.

Содержание этого метода состоит в следующем. Выделяется одно уравнение, в левой части которого стоит эндогенная переменная с коэффициентом, равным единице, а в правой — остальные переменные и случайное слагаемое. В качестве значений инструментальных переменных берутся значения оценок остальных эндогенных переменных, полученные по уравнениям регрессий, построенных на экзогенные (предопределенные) переменные — полученные оценки уже не коррелируют со случайными компонентами (по крайней мерс, можно ожидать, что корреляция оценок инструментальных переменных со случайными компонентами будет существенно слабее, чем корреляция эндогенных переменных со случайными компонентами). Для этого строится регрессия каждой из остальных эндогенных переменных, входящих в рассматриваемое уравнение, на все экзогенные переменные (по обычному методу наименьших квадратов) и вычисляются прогнозные значения этих переменных согласно полученным уравнениям регрессий. После этого все значения остальных эндогенных переменных в рассматриваемом уравнении заменяются значениями, вычисленными по найденным регрессионным зависимостям ["https://referat.bookap.info", 11].

На втором шаге строится регрессия (с помощью опять же обычного метода наименьших квадратов) рассматриваемой эндогенной переменной на прежние экзогенные переменные и новые инструментальные переменные (напомним, что их значения должны быть вычислены по регрессионным уравнениям). Коэффициенты этой регрессии и будут оценками структурных коэффициентов рассматриваемого уравнения с помощью двухшагового метода наименьших квадратов.

Таким образом, двухшаговый метод наименьших квадратов подразумевает выполнение следующих шагов:

Рассмотрим применение двухшагового метода наименьших квадратов на примере модели Кейнса (5.1.3) с учетом государственных расходов:

здесь G, — объем государственных расходов. Эндогенными переменными являются С и Y, экзогенными — / и G.

Рассмотрим первое уравнение: в правой части этого уравнения стоит эндогенная переменная У, которая коррелирует со случайной компонентой s_t. Построим регрессию этой эндогенной переменной У на экзогенные переменные / и G:

Значения У, вычисленные по найденному уравнению регрессии (5.2.2) подставим вместо фактических значений У в уравнение (5.2.1):

Затем с помощью обычного метода наименьших квадратов построим регрессию С на У. Найденное уравнение даст нам оценки структурных параметров этого уравнения.

Заметим, что при использовании двухшагового метода наименьших квадратов каждое уравнение оценивается фактически независимо от других. Существует трехшаговый метод наименьших квадратов, сочетающий процедуру одновременного оценивания и метод инструментальных переменных. Этот метод заключается в том, что на первом шаге к исходной модели применяется обобщенный метод наименьших квадратов с целью устранения корреляции случайных членов, а затем к полученным уравнениям применяется двухшаговый метод наименьших квадратов.

При выполнении определенных условий идентифицируемости оценки, полученные с помощью двух шагового метода наименьших квадратов, совпадают с оценками по косвенному методу наименьших квадратов.

Объектом статистического изучения в социальных науках являются сложные системы. Измерение тесноты связей между переменными, построение изолированных уравнений регрессии недостаточны для описания таких систем и объяснения механизма их функционирования. При использовании отдельных уравнений регрессии, например, для экономических расчетов в большинстве случаев предполагается, что аргументы (факторы) можно изменять независимо друг от друга.

Содержание работы

1. Система взаимосвязанных (одновременных) уравнений…………. 5

2. Приведенная форма модели…………………………………………….7

3. Проблема идентификации……………………………………………..10

4. Методы оценки параметров структурной формы модели…………..13

4.1. Двухшаговый метод наименьших квадратов………………………13

Содержимое работы - 1 файл

курсовая эконометрика.doc

Модель идентифицируема, если все структурные ее коэффициенты определяются однозначно, единственным образом по коэффициентам приведенной формы модели, т. е. если число параметров структурной модели равно числу параметров приведенной формы модели. В этом случае структурные коэффициенты модели оцениваются через параметры приведенной формы модели и модель идентифицируема.

Модель неидентифицируема, если число приведенных коэффициентов меньше числа структурных коэффициентов, и в результате структурные коэффициенты не могут быть оценены через коэффициенты приведенной формы модели.

Модель сверхидентифицируема, если число приведенных коэффициентов больше числа структурных коэффициентов. В этом случае на основе коэффициентов приведенной формы можно получить два или более значений одного структурного коэффициента. В этой модели число структурных коэффициентов меньше числа коэффициентов приведенной формы. Сверхидентифицируемая модель в отличие от неидентифицируемой модели практически решаема, но требует для этого специальных методов исчисления параметров.

Структурная модель всегда представляет собой систему совместных уравнений, каждое из которых требуется проверять на идентификацию. Модель считается идентифицируемой, если каждое уравнение системы идентифицируемо. Если хотя бы одно из уравнений системы неидентифицируемо, то и вся модель считается неидентифицируемой. Сверхидентифицируемая модель содержит хотя бы одно сверхидентифицируемое уравнение.

Выполнение условия идентифицируемости модели проверяется для каждого уравнения системы. Чтобы уравнение было идентифицируемо, необходимо, чтобы число предопределенных переменных, отсутствующих в данном уравнении, но присутствующих в системе, было равно числу эндогенных переменных в данном уравнении без одного.

Если обозначить число эндогенных переменных в -м уравнении системы через , а число экзогенных (предопределенных) переменных, которые содержатся в системе, но не входят в данное уравнение, — через , то условие идентифицируемости модели может быть записано в виде следующего счетного правила:

уравнение идентифицируемо

уравнение неидентифицируемо

уравнение сверхидентифицируемо

Для оценки параметров структурной модели система должна быть идентифицируема или сверхидентифицируема.

Рассмотренное счетное правило отражает необходимое, но недостаточное условие идентификации. Более точно условия идентификации определяются, если накладывать ограничения на коэффициенты матриц параметров структурной модели. Уравнение идентифицируемо, если по отсутствующим в нем переменным (эндогенным и экзогенным) можно из коэффициентов при них в других уравнениях системы получить матрицу, определитель которой не равен нулю, а ранг матрицы не меньше, чем число эндогенных переменных в системе без одного.

Целесообразность проверки условия идентификации модели через определитель матрицы коэффициентов, отсутствующих в данном уравнении, но присутствующих в других, объясняется тем, что возможна ситуация, когда для каждого уравнения системы выполнено счетное правило, а определитель матрицы названных коэффициентов равен нулю. В этом случае соблюдается лишь необходимое, но недостаточное условие идентификации.

В эконометрических моделях часто наряду с уравнениями, параметры которых должны быть статистически оценены, используются балансовые тождества переменных, коэффициенты при которых равны . В этом случае, хотя само тождество и не требует проверки на идентификацию, ибо коэффициенты при переменных в тождестве известны, в проверке на идентификацию собственно структурных уравнений системы тождества участвуют.

4. Методы оценки параметров структурной формы модели

Коэффициенты структурной модели могут быть оценены разными способами в зависимости от вида системы одновременных уравнений. Наибольшее распространение в литературе получили следующие методы оценивания коэффициентов структурной модели:

косвенный метод наименьших квадратов;
двухшаговый метод наименьших квадратов;
трехшаговый метод наименьших квадратов;
метод максимального правдоподобия с полной информацией;
метод максимального правдоподобия при ограниченной информации.

4.1. Двухшаговый метод наименьших квадратов

Если система сверхидентифицируема, то КМНК не используется, так как он не дает однозначных оценок для параметров структурной модели. В этом случае могут применяться разные методы оценивания, среди которых наиболее распространенным и простым является двухшаговый метод наименьших квадратов.

Основная идея ДМНК — на основе приведенной формы модели получить для сверхидентифицируемого уравнения теоретические значения эндогенных переменных, содержащихся в правой части уравнения. Далее, подставив их вместо фактических значений, можно применить обычный МНК к структурной форме сверхидентифицируемого уравнения.

на первом шаге при определении приведенной формы модели и нахождении на ее основе оценок теоретических значений эндогенной переменной ŷ_i = δ_i1 х ₁ + δ_i2 х₂ + . + δ_ij х_j
на втором шаге применительно к структурному сверхидентифицируемому уравнению при определении структурных коэффициентов модели по данным теоретических (расчетных) значений эндогенных переменных.

Сверхидентифицируемая структурная модель может быть двух типов:

все уравнения системы сверхидентифицируемы;
система содержит наряду со сверхидентифицируемыми точно идентифицируемые уравнения.

Если все уравнения системы сверхидентифицируемы, то для оценки структурных коэффициентов каждого уравнения используется ДМНК. Если в системе есть точно идентифицируемые уравнения, то структурные коэффициенты по ним находятся из системы приведенных уравнений.

Применим ДМНК к простейшей сверхидентифицируемой модели

y₁=b₁₂ (y₂+ x₁ )+е_1,

y₂ = b₂₁y₁ + a₂₂x₂ +е_2.

Данная модель может быть получена из предыдущей идентифицируемой модели

y₁= b₁₂y₂ + a₁₁x₁+ е_1,

y₂ = b₂₁y₁ + a₂₂x₂ + е_2,,

если наложить ограничения на ее параметры, а именно:

В результате первое уравнение стало сверхидентифицируемым: Н = 1 (у₁), D = 1 (x₂) и D + 1 > H. Второе уравнение не изменилось и является точно идентифицируемым: Н = 2 и D = 1, D + 1 = H.

На первом шаге найдем приведенную форму модели

у₁ = б₁₁ x₁+ б₁₂ x₂+ и₁,

у₂ = б₂₁x₁ + б₂₂x₂ + и₂.

После того как найдены оценки эндогенной переменной у₂, т.е. ŷ₂, обратимся к сверхидентифицируемому структурному уравнению

y₁ =b₁₂ (y₂+ x₁ )

Заменив фактические значения у₂ их оценками ŷ_2, найдем значения новой переменной

ŷ₂ + х₁= z.

Далее применим ДНК к уравнению

y₁ =b₁₂z,

Таким образом, сверхидентифицируемое структурное уравнение составит:

y₁=b₁₂ (y₂+ x₁ )+е_1,

y₂ = b₂₁y₁ + a₂₂x₂ + е_2,,

Эконометрика – это раздел экономики, занимающийся разработкой и применением статистических методов для измерений взаимосвязей между экономическими переменными (С.Фишер). С.А.Айвазян полагает, что эконометрика объединяет совокупность методов и моделей, позволяющих на базе экономической теории, экономической статистики и математики констатического инструментария придавать количественные выражения качественными зависимостями.

Широкому внедрению эконометрических методов способствовало появление во второй половине ХХ века ЭВМ и в частности персональных компьютеров.

Компьютерные эконометрические пакеты сделали эти методы более доступными и наглядными, так как всю наиболее трудоемкую работу, по расчетам статистики, параметров, построению таблиц и графиков в основном стал выполнять компьютер, а эконометристу осталась главным образом: постановка задачи, выбор соответствующих моделей и методов её решения, интерпретации результатов.

Под системой эконометрических уравнений обычно понимается система одновременных, совместных уравнений.

Двухшаговый метод наименьших квадратов является наиболее общим и широко распространенным методом решения системы одновременных уравнений. Для точно идентифицируемых уравнений ДМНК дает тот же результат, что и КМНК. Поэтому в ряде компьютерных программ, например, DSTAT для решения системы одновременных уравнений рассматривается лишь двухшаговый метод наименьших квадратов.

Приложение 1

Модель парной регрессии

Задание: используя исходные данные, построить модель парной регрессии для изучения зависимости х от у, построить диаграмму рассеяния.

Оглавление
Введение
История
Постановка задачи
Примеры
Свойства оценок на основе МНК
Парная линейная регрессия. Метод наименьших квадратов
Взвешенный метод наименьших квадратов
Системы одновременных уравнений
Нелинейная регрессия
Авторегрессионное преобразование
Применение МНК в экономике
Заключение
Список литературы
КИГМС, Организация и Технология Защиты Информации,2 курс/4семестр

Контрольная по эконометрике

формат xls
размер 985.5 КБ
добавлен 06 мая 2010 г.

Задание 1. Построить уравнение линейной парной регрессии дивидендов от курсовой цены акции. Метод наименьших квадратов. Задание 2. По исходным данным построить уравнение множественной регрессии, определить стандартизованные коэффициенты регрессии Задание 3. Провести идентификацию модели и описать структуру оценивания параметров уравнений структурной формы модели Задание 4. Проанализировать автокоррекцию уровней временного ряда. выявить и охаракте.

Контрольная работа - Модель парной линейной регрессии. Метод наименьших квадратов (МНК) для парной линейной регрессии. Коэффициент детерминации

формат doc
размер 230.5 КБ
добавлен 02 ноября 2010 г.

Содержание. Введение. Модель парной линейной регрессии Метод наименьших квадратов (НМК) для парной линейной регрессии Коэффициент детерминации Заключение Список используемой литературы

Контрольная работа по эконометрике

формат doc
размер 451 КБ
добавлен 19 июня 2010 г.

3 задачи: Уравнение регрессии; построение линейной, степенной, показательной, гиперболической моделей; косвенный метод наименьших квадратов; временные ряды

Курсовая работа - Множественная линейная регрессия

формат doc
размер 792.5 КБ
добавлен 11 октября 2010 г.

28 с. , 10 рис. , 6 источников Цель работы: исследование модели множественной регрессии. Методы решения: метод наименьших квадратов. Курсовая работа направлена на исследование функционирования предприятия, путем анализа построенной модели множественной регрессии. Данная модель позволит произвести мониторинг регрессирования многих факторов на интересующее нас поведение предприятия. Ключевые слова: регрессия, регрессионный анализ, метод наименьших.

Лекции - Эконометрия

формат doc
размер 203.22 КБ
добавлен 18 октября 2010 г.

ВНУ им. В. Даля. Кафедра прикладной статистики. Предмет, метод и задача дисциплины. Метод наименьших квадратов. Двухфакторная линейная модель: предсказание одного фактора на основании другого. Многофакторная регрессия: основные понятия. Интерпретация результатов многофакторного моделирования. Статистические выводы по многофакторной модели. Сложности и проблемы, связанные с множественной регрессией. Составление отчетов: представление результатов м.

Лукин О.А. Эконометрика: Учебное пособие

формат doc
размер 504 КБ
добавлен 01 января 2011 г.

РГОТУПС, 2003 г. Содержание Введение Линейная модель множественной регрессии Решение Нелинейные модели регрессии и их линеаризация Показатели качества регрессии Предпосылки метода наименьших квадратов Обобщенный метод наименьших квадратов Фиктивные переменные во множественной регрессии Модели временных рядов Системы эконометрических уравнений

Образцы СРСов по эконометрике

формат xls
размер 320.5 КБ
добавлен 28 октября 2011 г.

Нелинейные эконометрические модели, модель множественной линейной регрессии, сведения из теории вероятности, математической статистики, парная линейная регрессия и метод наименьших квадратов

Общий вариант фондовых лекций(методичка) 2 курс

формат doc
размер 1.67 МБ
добавлен 14 апреля 2011 г.

Парная регрессия и корреляция. Множественная регрессия и корреляция. Метод наименьших квадратов. системы эконометрических уравнений. и. т. д. Вэпи 2 курс.

Ответы на вопросы по Эконометрике

формат docx
размер 51.76 КБ
добавлен 06 февраля 2011 г.

Ответы на вопросы по Эконометрики за 5 курс 3 семестра. Национальный Институт Екатерины Великой. Эконометрический метод Проблема мультиколлинеарности Фиктивные переменные Предпосылки метода наименьших квадратов Гетероскедастичность Типы систем эконометрических уравнений Проблема идентифицируемости Алгоритм косвенного метода наименьших квадратов Аддитивная и мультипликативная модели временных рядов Метод скользящих средних Методы исключения тренд.

Шпоры по эконометрике

формат doc
размер 827.5 КБ
добавлен 06 июля 2010 г.

Предмет и задачи курса Определение экон-ки Эконометрика и экономич. теория Эконометрические модели Экономет-ка и ЭММ Область применения эконометрических моделей и методов Коэффициент парной корреляции Регрессионный анализ Построение модели Метод наименьших квадратов Построение линейной регрессии Корреляция Коэффициент детерминации Оценка значимости уравнения регрессии Множественная регрессия Матричная запись множественной линейной модели регресси.

на тему: Метод наименьших квадратов как применение теорем поиска экстремума функций многих переменных

Автор работы А.М.Филимонова Группа ББИ-21

Обозначение курсовой работы ТГТУ.080500.018 ДЭ

Руководитель работы А.Н.Пчелинцев

подпись, дата инициалы, фамилия

Тамбов 2014 г.

ЗАДАНИЕ

на курсовую работу

Студент А.М.Филимонова код 018 Группа ББИ-21

1 Тема: Метод наименьших квадратов как применение теорем поиска экстремума функций многих переменных

2 Срок представления работы к защите

3 Исходные данные для проектирования (научного исследования)

Учебная литература по теме работы

4 Перечень разделов пояснительной записки

4.2 Метод наименьших квадратов

4.3 Линейная парная регрессия и её коэффициенты

4.4 Применение МНК

4.6 Список используемых источников

5 Перечень графического материала:

Таблица 1 – Статистические данные в общем виде

Таблица 2 – Выборка из экономических показателей

Таблица 3 – Упорядоченная выборка

Таблица 4 – Расчётная таблица выборки

Рисунок 1 – График, изображающий прямую регрессии и точки отклонений

Рисунок 2 – График найденной регрессии

А.Н.Пчелинцев подпись, дата инициалы, фамилия

Задание принял к исполнению

подпись, дата инициалы, фамилия

Метод наименьших квадратов…………………………………………..

История появления метода наименьших квадратов…………………..

Понятие и определение метода наименьших квадратов………………

Линейная парная регрессия и её коэффициенты………………………

Понятие линейной парной регрессии…………………………………..

Вывод формул для нахождения коэффициентов регрессии………….

2.3 Проверка достаточного условия экстремума (минимума) функции.

3.1 Пример использования МНК для линейной парной регрессии ……..

3.2 Области применения МНК………………………………………………. 21

Список используемых источников…………………………………………. 25

Метод наименьших квадратов имеет большое применение во многих областях, так как это один из методов оценки величин по результатам измерений, содержащим случайные ошибки. Он часто оказывается полезным при обработке наблюдений.

Также, метод наименьших квадратов используется как составная часть некоторой более общей проблемы. Например, при необходимости проведения аппроксимации наиболее часто употребляется именно метод наименьших квадратов. На этом подходе основаны: регрессионный анализ в статистике, оценивание параметров в технике и т.д.

Цель моей курсовой работы – рассмотреть метод наименьших квадратов как применение теорем поиска экстремума функций многих переменных.

Исходя из поставленной цели, необходимо решить следующие задачи:

- рассмотреть метод наименьших квадратов, линейную парную регрессию;

- вывести формулы для нахождения коэффициентов линейной парной регрессии;

- доказать, что найденная функция принимает минимальное значение, если коэффициенты являются решениями системы.

1 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

1.1 История появления метода наименьших квадратов

Метод распространён и усовершенствован дальнейшими изысканиями Энке, Бесселя, Ганзена и других. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но зато даёт наиболее вероятные значения. Он получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков после подстановки каких бы то ни было других значений неизвестных. Решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть величины, по которым судят о степени точности выводов.

1.2 Понятие и определение метода наименьших квадратов

Метод наименьших квадратов — один из методов регрессионного анализа, использующийся для нахождения оценок параметров регрессии ,основанный на минимизации суммы квадратов всех остатков.

Регрессионный (линейный) анализ — статистический метод исследования зависимости между зависимой переменной Y и одной или несколькими независимыми переменными X1,X2. Xp. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения.

Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то, для увеличения точности, измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

Основная идея данного метода состоит в том, что в качестве критерия точности решения задачи рассматривается сумма квадратов ошибок, которую стремятся свести к минимуму. При использовании этого метода можно применять как численный, так и аналитический подход.

В частности, в качестве численной реализации метод наименьших квадратов подразумевает проведение как можно большего числа измерений неизвестной случайной величины. Причем, чем больше вычислений, тем точнее будет решение. На этом множестве вычислений (исходных данных) получают другое множество предполагаемых решений, из которого затем выбирается наилучшее. Если множество решений параметризировать, то метод наименьших квадратов сведется к поиску оптимального значения параметров.

В качестве аналитического подхода к реализации МНК на множестве исходных данных (измерений) и предполагаемом множестве решений определяется некоторая функциональная зависимость (функционал), которую можно выразить формулой, получаемой в качестве некоторой гипотезы, требующей подтверждения. В этом случае метод наименьших квадратов сводится к нахождению минимума этого функционала на множестве квадратов ошибок исходных данных.

Зачастую отклонения измерений от точного значения бывают как положительными, так и отрицательными. При определении средней погрешности измерений простое суммирование может привести к неверному выводу о качестве оценки, поскольку взаимное уничтожение положительных и отрицательных значений понизит мощность выборки множества измерений. А, следовательно, и точность оценки. Для того чтобы этого не произошло, и суммируют квадраты отклонений. Даже более того, чтобы выровнять размерность измеряемой величины и итоговой оценки, из суммы квадратов погрешностей извлекают квадратный корень.

Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений. Мы выполняем регрессионный анализ, используя выборку наблюдений, где a и b – выборочные оценки истинных (генеральных) параметров, α и β , которые определяют линию линейной регрессии в популяции (генеральной совокупности).

2 ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ И ЕЁ КОЭФФИЦИЕНТЫ

2.1 Понятие линейной парной регрессии

Регрессией в теории вероятностей и математической статистике принято

называть зависимость среднего значения какой-либо величины (y) от некоторой

Парной регрессией называется модель, выражающая зависимость средне-

го значения зависимой переменной y от одной независимой переменной х

где ŷ – зависимая переменная (результативный признак); х – независимая,

объясняющая переменная (признак–фактор).

Парная регрессия применяется, если имеется доминирующий фактор, обуславливающий большую долю изменения изучаемой объясняемой переменной,который и используется в качестве объясняющей переменной.

Множественной регрессией называют модель, выражающую зависимость

среднего значения зависимой переменной y от нескольких независимых пере-

менных х1, х2, …, хp

ŷ = f (х1, х2, …, хp) (2)

Множественная регрессия применяется в ситуациях, когда из множества

факторов, влияющих на результативный признак, нельзя выделить один доми-

нирующий фактор и необходимо учитывать одновременное влияние несколь-

Используя уравнение регрессии (1), соотношение между значениями пе-

ременными у и х (модель связи) можно записать как

где первое слагаемое f(x) можно интерпретировать как ту часть значения y, ко-торая объяснена уравнением регрессии (1), а второе слагаемое ε как необъяс-ненную часть значения y (или возмущение). Соотношение между этими частя-

ми характеризует качество уравнения регрессии, его способность представлять

зависимость между переменными х и y. При построении уравнения регрессии ε

рассматривается как ошибка модели, представляющая собой случайную вели-

чину, удовлетворяющую определенным предположениям.

Наличие составляющей ε обусловлено такими причинами, как наличие дополнительных факторов, оказывающих влияние на переменную y, неверный

вид функциональной зависимости f(x), ошибки измерения, выборочный харак-

тер исходных данных.

По виду аналитической зависимости различают линейные и нелинейные

Линейная парная регрессия описывается уравнением:

Итак, эта функция (4), описывающая изменение условного математического ожидания случайной переменной y при изменении значений х, называется функцией регрессии, а ее график – линией регрессии.

2.2 Вывод формул для нахождения коэффициентов регрессии

Пусть случайно выбранные исходные данные записаны в таблицу для упрощения дальнейших расчётов (таблица 1).

Читайте также: