Нелинейные регрессионные модели и их линеаризация реферат

Обновлено: 02.07.2024

Цель работы: Изучить модели нелинейной регрессии и область их применения.
Задачи работы:
Ознакомиться с понятиями линейной регрессии и видами нелинейных регрессий;
Привести к линейному виду нелинейные модели с помощью линеаризации;
Оценить качество полученных моделей и их адекватность;
Проанализировать влияние уровня инфляции на количество безработных.

Файлы: 1 файл

Курсовая моя.docx

В таблице 1.2 приведены формулы для расчета средних коэффициентов эластичности для наиболее часто используемых типов уравнений регрессии. 5

Таблица 1.2

Формулы расчета коэффициентов эластичности

Средний коэффициент эластичности,

Парабола второго порядка

Несмотря на широкое использование в эконометрике коэффициентов эластичности, возможны случаи, когда их расчет экономического смысла не имеет. Это происходит тогда, когда для рассматриваемых признаков бессмысленно определение изменения значений в процентах.

Оценка значимости уравнения регрессии в целом производится на основе F-критерия Фишера, которому предшествует дисперсионный анализ. В эконометрике он применяется как вспомогательное средство для изучения качества регрессионной модели.

где – общая сумма квадратов отклонений;

– сумма квадратов отклонений, объясненная регрессией (или факторная сумма квадратов отклонений);

– остаточная сумма квадратов отклонений, характеризующая влияние неучтенных в модели факторов. 6

Схема дисперсионного анализа имеет вид, представленный в таблице 1.3 ( – число наблюдений, – число параметров при переменной ).

Схема дисперсионного анализа

Число степеней свободы

Дисперсия на одну степень свободы

Определение дисперсии на одну степень свободы приводит дисперсии к сравнимому виду. Сопоставляя факторную и остаточную дисперсии в расчете на одну степень свободы, получим величину -критерия Фишера:

Фактическое значение -критерия Фишера (1.15) сравнивается с табличным значением при уровне значимости и степенях свободы и . При этом, если фактическое значение -критерия больше табличного, то признается статистическая значимость уравнения в целом.

Уравнение нелинейной регрессии, так же, как и в случае линейной зависимости, дополняется показателем тесноты связи. В данном случае это индекс корреляции:

где – общая дисперсия результативного признака ,

Величина данного показателя находится в пределах:. Чем ближе значение индекса корреляции к единице, тем теснее связь рассматриваемых признаков, тем более надежно уравнение регрессии. 7

Квадрат индекса корреляции носит название индекса детерминации и характеризует долю дисперсии результативного признака , объясняемую регрессией, в общей дисперсии результативного признака:

Где – факторная дисперсия.

Индекс детерминации можно сравнивать с коэффициентом детерминации для обоснования возможности применения линейной функции. Чем больше кривизна линии регрессии, тем величина меньше . А близость этих показателей указывает на то, что нет необходимости усложнять форму уравнения регрессии и можно использовать линейную функцию.

Индекс детерминации используется для проверки существенности в целом уравнения регрессии по -критерию Фишера:

где – индекс детерминации, – число наблюдений, – число параметров при переменной .

Фактическое значение - критерия (1.19) сравнивается с табличным при уровне значимости и числе степеней свободы (для остаточной суммы квадратов) и (для факторной суммы квадратов).

О качестве нелинейного уравнения регрессии можно также судить и по средней ошибке аппроксимации, которая вычисляется по формуле:

Аппроксимация данных с учетом их статистических параметров относится к задачам регрессии. Они обычно возникают при обработке экспериментальных данных, полученных в результате измерений процессов или физических явлений, статистических по своей природе (как, например, измерения в радиометрии и ядерной геофизике), или на высоком уровне помех (шумов). Задачей регрессионного анализа является подбор математических формул, наилучшим образом описывающих экспериментальные данные.

yk = f(xk, a0, a1, …, an) + k.

Функцию f(xk, a0, a1, …, an) называют регрессией величины y на величину х. Регрессионный анализ предусматривает задание вида функции f(xk, a0, a1, …, an) и определение численных значений ее параметров a0, a1, …, an, обеспечивающих наименьшую погрешность приближения к множеству значений yk. Как правило, при регрессионном анализе погрешность приближения вычисляется методом наименьших квадратов (МНК). Для этого выполняется минимизация функции квадратов остаточных ошибок:

a0, a1, …, an) = [f(xk, a0, a1, …, an) - yk] 2.

Для определения параметров a0, a1, …, an функция остаточных ошибок дифференцируется по всем параметрам, полученные уравнения частных производных приравниваются нулю и решаются в совокупности относительно всех значений параметров. Виды регрессии обычно называются по типу аппроксимирующих функций: полиномиальная, экспоненциальная, логарифмическая и т.п.

1. Линейная регрессия

Общий принцип. Простейший способ аппроксимации по МНК произвольных данных sk - с помощью полинома первой степени, т.е. функции вида y(t) = a+bt. С учетом дискретности данных по точкам tk, для функции остаточных ошибок имеем:

(a,b) = [(a+b·tk) - sk] 2.

Дифференцируем функцию остаточных ошибок по аргументам a, b, приравниваем полученные уравнения нулю и формируем 2 нормальных уравнения системы:

(a+b·tk) - sk º a1 + btk –sk = 0,

((a+b·tk) - sk) ·tk º atk + btk2 – sk·tk = 0,

Решение данной системы уравнений в явной форме для К-отсчетов:

b = [Ktk·sk –tksk] / [Ktk2 – (tk) 2],

a = [ sk – b tk] /K.

Полученные значения коэффициентов используем в уравнении регрессии y(t) = a+bt. По аналогичной методике вычисляются коэффициенты и любых других видов регрессии, отличаясь только громоздкостью соответствующих выражений.

Реализация в Mathcad. Линейная регрессия в системе Mathcad выполняется по векторам аргумента Х и отсчетов Y функциями:

intercept(X,Y) – вычисляет параметр а, смещение линии регрессии по вертикали;

slope(X,Y) – вычисляет параметр b, угловой коэффициент линии регрессии.

Расположение отсчетов по аргументу Х произвольное. Функцией corr(X,Y) дополнительно можно вычислить коэффициент корреляции Пирсона. Чем он ближе к 1, тем точнее обрабатываемые данные соответствуют линейной зависимости.

Пример выполнения линейной регрессии приведен на рис.2.1.1

2. Полиномиальная регрессия

Одномерная полиномиальная регрессия с произвольной степенью n полинома и с произвольными координатами отсчетов в Mathcad выполняется функциями:

regress(X,Y,n) – вычисляет вектор S для функции interp(…), в составе которого находятся коэффициенты ki полинома n-й степени;

interp(S,X,Y,x) – возвращает значения функции аппроксимации по координатам х.

Функция interp(…) реализует вычисления по формуле:

f(x) = k0 + k1·x1 + k2·x2 + … + kn·xn ≡ ki·xi.

Значения коэффициентов ki могут быть извлечены из вектора S функцией submatrix(S, 3, length(S), 0, 0).

Рис.2.2.1 Одномерная полиномиальная регрессия.

Зональная регрессия. Функция regress по всей совокупности точек создает один аппроксимирующий полином. При больших координатных интервалах с большим количеством отсчетов и достаточно сложной динамике изменения данных рекомендуется применять последовательную локальную регрессию отрезками полиномов малых степеней. В Mathcad это выполняется отрезками полиномов второй степени функцией loess(X, Y, span), которая формирует специальный вектор S для функции interp(S,X,Y,x). Аргумент span > 0 в этой функции (порядка 0.1-2) определяет размер локальной области и подбирается с учетом характера данных и необходимой степени их сглаживания (чем больше span, тем больше степень сглаживания данных).

На рис.2.2.2 приведен пример вычисления регрессии модельной кривой (отрезка синусоиды) в сумме с шумами. Вычисления выполнены для двух значений span с определением среднеквадратического приближения к базовой кривой. При моделировании каких-либо случайных процессов и сигналов на высоком уровне шумов по минимуму среднеквадратического приближения может определяться оптимальное значение параметра span.

3. Нелинейная регрессия

Линейное суммирование произвольных функций. В Mathcad имеется возможность выполнения регрессии с приближением к функции общего вида в виде весовой суммы функций fn(x):

f(x, Kn) = K1·f1(x) + K2·f2(x) + … + KN·fN(x),

при этом сами функции fn(x) могут быть любого, в том числе нелинейного типа. С одной стороны, это резко повышает возможности аналитического отображения функций регрессии. Но, с другой стороны, это требует от пользователя определенных навыков аппроксимации экспериментальных данных комбинациями достаточно простых функций.

Реализуется обобщенная регрессия по векторам X, Y и f функцией linfit(X,Y,f), которая вычисляет значения коэффициентов Kn. Вектор f должен содержать символьную запись функций fn(x). Координаты xk в векторе Х могут быть любыми, но расположенными в порядке возрастания значений х (с соответствующими отсчетами значений yk в векторе Y). Пример выполнения регрессии приведен на рис.2.3.1 Числовые параметры функций f1-f3 подбирались по минимуму среднеквадратического отклонения.

Рис.2.3.1 Обобщенная регрессия.

Регрессия общего типа. Второй вид нелинейной регрессии реализуется путем подбора параметров ki к заданной функции аппроксимации с использованием функции genfit(X,Y,S,F), которая возвращает коэффициенты ki, обеспечивающие минимальную среднеквадратическую погрешность приближения функции регрессии к входным данным (векторы Х и Y координат и отсчетов). Символьное выражение функции регрессии и символьные выражения ее производных по параметрам ki записываются в вектор F. Вектор S содержит начальные значения коэффициентов ki для решения системы нелинейных уравнений итерационным методом. Пример использования метода приведен на рис.2.3.2.

Типовые функции регрессии Mathcad. Для простых типовых формул аппроксимации предусмотрен ряд функций регрессии, в которых параметры функций подбираются программой Mathcad самостоятельно. К ним относятся следующие функции:

expfit(X,Y,S) – возвращает вектор, содержащий коэффициенты a, b и c экспоненциальной функции y(x) = a·exp(b·x) +c. В вектор S вводятся начальные значения коэффициентов a, b и c первого приближения. Для ориентировки по форме аппроксимационных функций и задания соответствующих начальных значений коэффициентов на рисунках слева приводится вид функций при постоянных значениях коэффициентов a и c.

lgsfit(X,Y,S) – то же, для выражения y(x) = a/(1+c·exp(b·x)).

- pwrfit(X,Y,S) – то же, для выражения y(x) = a·xb+c.

§§- sinfit(X,Y,S) – то же, для выражения y(x) = a·sin(x+b) +c. Подбирает коэффициенты для синусоидальной функции регрессии. Рисунок синусоиды общеизвестен.

- logfit(X,Y) – то же, для выражения y(x) =a·ln(x+b) +c. Задания начального приближения не требуется.

§§- medfit(X,Y) – то же, для выражения y(x) = a+b·x, т.е. для функции линейной регрессии. Задания начального приближения также не требуется. График – прямая линия.

На рис.2.3.3 приведен пример реализации синусоидальной регрессии модельного массива данных по базовой синусоиде в сопоставлении с зональной регрессией полиномом второй степени. Как можно видеть из сопоставления методов по среднеквадратическим приближения к базовой кривой и к исходным данным, известность функции математического ожидания для статистических данных с ее использованием в качестве базовой для функции регрессии дает возможность с более высокой точностью определять параметры регрессии в целом по всей совокупности данных, хотя при этом кривая регрессии не отражает локальных особенностей фактических отсчетов данной реализации. Это имеет место и для всех других методов с заданием функций регрессии.

4. Сглаживание данных

Сглаживание данных, как искаженных помехами, так и статистических по своей природе, также можно считать частным случаем регрессии без определения символьной формы ее функции, а потому может выполняться более простыми методами. В Mathcad для сглаживания применяются следующие функции:

supsmooth(X,Y) – возвращает вектор сглаженных данных Y с использованием линейного сглаживания методом наименьших квадратов по k-ближайших отсчетов с адаптивным выбором значения k с учетом динамики изменения данных. Значения вектора Х должны идти в порядке возрастания.

ksmooth(X,Y,b) – вычисляет вектор сглаженных данных на основе распределения Гаусса. Параметр b задает ширину окна сглаживания и должен быть в несколько раз больше интервала между отсчетами по оси х.

medsmooth(Y,b) - вычисляет вектор сглаженных данных по методу скользящей медианы с шириной окна b, которое должно быть нечетным числом.

Сопоставление методов сглаживания приведено на рис.2.4.1 Как можно видеть на этом рисунке, качество сглаживания функциями supsmooth(X,Y) и ksmooth(X,Y,b) практически идентично (при соответствующем выборе параметра b). Медианный способ уступает по своим возможностям двум другим. Можно заметить также, что на концевых точках интервала задания данных качество сглаживания ухудшается, особенно в медианном способе, который вообще не может выполнять свои функции на концевых интервалах длиной b/2.

5. Предсказание зависимостей

predict(Y,n,K), где n – степень полинома аппроксимации вектора равномерно распределенных данных Y, позволяет вычислить вектор К точек предсказания (экстраполяции) поведения произвольного сигнала за пределами его задания (по возрастанию координат х). Предсказание тем точнее, чем более гладкую форму имеет заданный сигнал. Пример использования функции приведен на рис.2.5 1 для гладкой и статистически зашумленной сигнальной кривой. Степень аппроксимирующего полинома определяет глубину использования входных данных и может быть достаточно небольшой для гладких и монотонных сигналов. Ошибка прогнозирования увеличивается по мере удаления от заданных данных.

Литература

1. Дьяконов В.П. Вейвлеты. От теории к практике. – М.: СОЛОН-Р, 2002. – 448 с.

2. Корн Г., Корн Е. Справочник по математике для научных работников и инженеров. – М.: Наука, 1984.

3. Эконометрика Под ред.И. И. Елисеевой 2002г.

4.А. А. Цыплаков, "Некоторые эконометрические методы. Метод максимального правдоподобия в эконометрии", ЭФ НГУ, 1997.

5. Суслов В.И., Ибрагимов Н.М., Талышева Л.П., Цыплаков А. А.

Эконометрия. - Новосибирск: Издательство СО РАН, 2005. - 744с.

6.В.П. Носко "Эконометрика" (Введение в регрессионный анализ временных рядов) Москва 2002

В данной курсовой работе рассматриваются нелинейные модели регрессии и линеаризация на примере влияния уровня инфляции (индекс потребительских цен) на количество безработных. В настоящий момент, в период мирового экономического кризиса, исследования этого влияния очень актуально. С повышением индекса потребительских цен (инфляции) сокращается количество рабочих мест и, следовательно, увеличивается количество безработных. Эконометрические исследования призваны выяснить, насколько тесно связаны между собой два этих показателя и по возможности определить и рассчитать возможные варианты развития общества и экономики страны при дальнейшем увеличении или наоборот снижении уровня потребительских цен (инфляции).

Цель работы: изучить. Изучит методы построения моделей нелинейных процессов.

Ознакомиться с понятиями линейной регрессии и видами нелинейных регрессий;
Привести внутренне линейные модели к линейному виду с помощью логарифмирования;
Оценить качество полученных моделей и их адекватность;
Проанализировать влияние уровня инфляции на количество безработных.

Объект исследования - исследование нелинейных моделей регрессии и линеаризации с помощью соотношения таких социально- экономических явлений как инфляция и безработица, их взаимосвязь.

В работе использовались различные методы исследования: эконометрические, экономические, математические, а также использование табличного процессора Microsoft Exel.

Курсовая работа состоит из 2-х глав. В первой главе приводятся теоретические и основы методов построения нелинейных регрессионных моделей. Приводятся определения понятий модели, линейной регрессии, рассматриваются основные виды нелинейной регрессии, и приведение их к линейному виду простой заменой переменных и дальнейшая оценка параметров. Наличие формул коэффициента эластичности, индекса корреляции, индекса детерминации и F- критерия Фишера позволяет оценить качество полученных моделей и их адекватность.

Во второй главе рассмотрены модели характеризующие зависимость между инфляцией и числом безработных, использованы линейная, параболическая, гиперболическая, полулогарифмическая и степенная функции, произведен подсчет параметров и основных коэффициентов.

Линейная регрессия и виды нелинейных моделей ре грессии.

Математические модели полезны для более полного понимания сущности происходящих процессов, их анализа. Модель, построенная и верифицированная на основе (уже имеющихся) наблюденных значений объясняющих переменных, может быть использована для прогноза значений зависимой переменной в будущем или для других наборов значений объясняющих переменных. 1

Простейшая модель регрессии – линейная регрессия. Линейная регрессия находит широкое применение в эконометрике ввиду четкой экономической интерпретации ее параметров.

Линейная регрессия сводится к нахождению уравнения вида

Уравнение вида позволяет по заданным значениям фактора находить теоретические значения результативного признака, подставляя в него фактические значения фактора .

Построение линейной регрессии сводится к оценке ее параметров – и . Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров и , при которых сумма квадратов отклонений фактических значений результативного признака от теоретических минимальна:

. (1. 2)
Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций.

ГОСТ

Понятие регрессии

Регрессия – это односторонняя зависимость, которая устанавливает соответствие между случайными величинам.

Сущность регрессии заключается в том, чтобы через математическое выражение установить связь между зависимой и независимыми переменными. Ее отличительной особенностью от функциональной зависимости является тот факт, что каждому значению независимой соответствует одно определенное значение зависимой. В регрессионной связи одной и той же величине могут соответствовать абсолютно разные величины.

Впервые регрессию стали использовать в конце девятнадцатого века. Она была применена для установления зависимости между параметрами человека. Регрессию смогли перенести на плоскость. Точки легли на одну прямую, поэтому ее назвали линейной.

Построение линейной регрессии подразумевает, что ошибок в ней нет. Тогда распределение величин происходит под влиянием нормального закона. То есть, среднее значение равно нулю, а отклонение постоянно.

Чтобы вычислить параметры модели часто применяют программное обеспечение. Оно позволяет обрабатывать большие массивы информации с минимальными ошибками. Существуют специальные методы, позволяющие проверить величину отклонения. Ошибки необходимы для того, чтобы находить доверительные интервалы и проверять выдвинутые в начале исследования гипотезы. Например, в статистике используется критерий Стьюдента, позволяющий сопоставить средние значения двух выборок.

Самое простое представление регрессии состоит из зависимости между соотношениями случайной и независимой величины. Этот подход необходим для установления функциональной связи, если величины не случайны. В практической деятельности коэффициенты неизвестны, поэтому их исследуют с помощью экспериментальных данных.

Нелинейные модели регрессии

Построение нелинейной регрессии осуществляется для того, чтобы провести анализ. В нем экспериментальные данные записываются в функциональную зависимость, описывающей нелинейную комбинацию, представляющую модель, которая зависит от одной или нескольких переменных. Чтобы приблизить полученные данные к практическим величинам используется метод последовательных приближений.

Готовые работы на аналогичную тему

Этот метод заключается в следующем. Исследователем определяются корни уравнения или системы уравнений для того, чтобы упростить решаемую задачу, либо определить неизвестные параметры.

Структура нелинейной регрессии состоит из независимых и зависимых переменных. Для каждой переменной устанавливается случайная величина со средним значением. Погрешность может появиться, но есть ее обрабатывать, то она выйдет за пределы модели. В случае, если переменные не свободны, то модель становится ошибочной, поэтому для исследования становится непригодной.

Вот некоторые примеры нелинейных функций:

Показательные.
Логарифмические.
Тригонометрические.
Степенные.
Функция Гаусса.
Кривые Лоуренца.

В некоторых случаях регрессионный анализ может быть сведен к линейному, но данный способ должен применяться с осторожностью. Чтобы получить наилучший вариант расчета применяются оптимизационные алгоритмы. На практике могут применяться оценочные значения совместно с методиками оптимизации. В результате надо найти глобальный минимум суммы квадратов.

Нелинейная регрессия чаще всего применяется, как статистика линейной. Это позволяет сместить статистику, поэтому полученные данные интерпретируются с осторожностью.

Линеаризация нелинейных моделей регрессии

Линеаризация – это преобразование. Оно осуществляется для того, чтобы упростить определенные модели и вычисления. Например, применение логарифма к обеим частям линейной регрессии позволяет оценить неизвестные параметры более простым способом.

Но использование нелинейного изменения уравнения требует осторожности. Это связано с тем, что данные будут изменяться. Поэтому появятся ошибки модели. Их интерпретация может привести к ошибочному суждению о гипотезе. Обычно в нелинейных уравнениях используется модель Гаусса для исследования ошибок, что необходимо учитывать при проверке.

В которых случаях применяется уравнение Лайнуивер – Берк, либо обобщенная линейная модель.

Чтобы уточнить построенную модель и снизить вероятность ошибок, независимая переменная разбивается на классы. Вследствие этого линейная регрессия разбивается посегментно. Она может дать результат, в котором будет видно, как ведет себя параметр в зависимом положении. Отображение изменений производится графически.

То есть сущность линеаризации заключается в том, что исследователь применяет особые методики для того, чтобы провести преобразования исходных данных. Это позволяет исследовать нелинейную зависимость. Переменные нелинейного уравнения преобразуются с помощью специальных методик в линейные. Это может привести к ошибкам, что необходимо учитывать в процессе преобразования уравнения. Метод может быть опасным, так как влияет на результат вычислений.

Сущность метода заключается в том, что нелинейные переменные заменяются линейными. Регрессия сводится к линейной. Такой подход часто используется для полиномов. Далее применяются известные и простые оценки исследования линейных регрессии. Но изменение полиномов должно так же проводиться с осторожностью. Чем выше порядок полинома, тем сложнее удержаться в рамках реалистичной интерпретации коэффициентов регрессии.

В логарифмических моделях составляется линейная модель с новыми переменными. Оценка результата происходит с помощью метода наименьших квадратов. Эта методика подходит для исследования кривых спроса и предложения, производственных функций, кривых освоения связи между трудоемкостью и производственными масштабами. Такой подход актуален при запуске новых видов продукции.

Цель работы: ознакомиться с методикой расчета показателей парной нелинейной регрессии и корреляции, овладеть приемами построения нелинейных регрессионных моделей с помощью MS Exсel.

2.1.1 Регрессия в виде степенной функции имеет вид:

Для оценки параметров модели линеаризую (привожу к линейному виду) модель путем логарифмирования: .

Обозначаю lny =Y, lna =A, lnx =X.

Тогда получаю: Y=A+bX.

Для расчетов составляю с помощью MS Excel вспомогательную таблицу, в которой рассчитаю натуральные логарифмы с помощью математической функции LN (рисунок 7).

Рисунок 7 Расчет натуральных логарифмов

Далее с помощью инструмента Регрессия рассчитываю параметры уравнения (рисунки 8, 9).

Рисунок 8 Диалоговое окно Регрессия

Рисунок 9 Результаты расчета параметров степенной функции

Таким образом, уравнение регрессии имеет вид:

Выполнив потенцирование, получим:

Параметр b=0,151 означает коэффициент эластичности, который показывает, что с ростом величины среднедушевых доходов населения на 1% общий коэффициент рождаемости увеличится в среднем на 0,151%.

2.1.2 Регрессия в виде экспоненты имеет вид:

. (13)

Для оценки ее параметров необходимо привести уравнение к линейному виду:

Для расчета параметров экспоненциальной прямой можно воспользоваться статистической функцией ЛГРФПРИБЛ MS Excel. Результаты вычислений представлены на рисунке 10.