Нелинейные модели регрессии кратко

Обновлено: 02.07.2024

Прошел месяц с появления моей первой статьи на Хабре и 20 дней с момента появления второй статьи про линейную регрессию. Статистика по просмотрам и целевым действиям аудитории копится, и именно она послужила отправной точкой для данной статьи. В ней мы коротко рассмотрим пример нелинейной регрессии (а именно, экспоненциальной) и с ее помощью построим модель конверсии, выделив среди пользователей две группы.

Итак, вот данные, которые будем использовать в качестве примера. Пики посещаемости (ряд Views, красный пунктир) приходятся на моменты выхода статей. Второй ряд данных (Regs, с множителем 100) показывает число читателей, выполнивших после прочтения определенное действие (регистрацию и скачивание Mathcad Express – с его помощью, к слову, вы сможете повторить все расчеты этой и предыдущих статей). Все картинки — это скриншоты Mathcad Express, а файл с расчетами вы можете взять здесь.

Понятно, что для анализа нужно выбрать тот фрагмент, который соответствует модели (на слишком близко к начальному пику и без суммирования со статистикой посещений после выхода второй статьи). Именно этот промежуток выделен зеленой стрелкой на первом графике, а в более крупном масштабе он выглядит вот так:

(T,Y) – массив из N экспериментальных точек, а множитель мы ввели для удобства (он не влияет на положение минимума). Дальше, конечно, можно было бы сразу написать одну-две строчки кода со встроенной функцией поиска минимума для получения искомых С0 и С1, однако, мы используем бесплатный Mathcad Express, где все они выключены, поэтому пойдем чуть более громоздким (зато более простым для понимания и наглядным) путем.
Для начала, посмотрим, как ведет себя функция R(c0, c1). Для этого зафиксируем несколько значений с0 и построим для каждого из них график функции одной переменной R(c0, х).

Видно, что для выбранных с0 любой из графиков семейства имеет один минимум, положение которого х зависит от с0, т.е. можно записать x=g(c0). Самый глубокий минимум, т.е., минимум R(c0, g(c0))~min будет искомым глобальным минимумом. Его-то нам и надо найти для решения задачи. Чтобы найти глобальный минимум, сначала (средствами, доступными в Mathcad Express) определим пользовательскую функцию g(y), а потом найдем минимум R(y, g(y)).

Не буду останавливаться на численном алгоритме вычисления минимума (кому интересно, он приведен в первой строчке следующего скриншота). Решение задачи (точка, в выбранных обозначениях с0=y0 и с1=х0), значение целевой функции в этой точке и график регрессии приведен ниже:

Обратите внимание на то, что значение целевой функции в минимуме (т.е. сумма квадратов невязок) снижается по сравнению со случаем с2=0 больше, чем на порядок!
В заключение, приведу результат работы встроенной функции expfit для нахождения экспоненциальной регрессии (имеющейся в коммерческой версии Mathcad Prime). Результат работы показан на графике зеленым пунктиром, а наш результат (тот же, что и на предыдущем графике) – красной сплошной линией.

Все картинки — это скриншоты Mathcad Express (сами расчеты можете взять здесь, повторить, а при желании изменить и использовать для своих нужд). Не забудьте в начале расчетов задать с2=0 или с2=150, чтобы выбрать первую или вторую модель соответственно.

Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций: гиперболы у = a + b/x + , параболы у = а + b  x + c  x 2 +  и др.

Различают два класса нелинейных регрессий:

– регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам;

– регрессии, нелинейные по оцениваемым параметрам.

Примером нелинейной регрессии по включенным в нее объясняющим переменным могут служить следующие функции:

– полиномы разных степеней: у = а + b  x + c  x 2 + ; у = а + b  x + c  x 2 + d  x 3 + ;

– равносторонняя гипербола у = a + b/x + .

К нелинейным регрессиям по оцениваемым параметрам относятся функции:

– степенная у = a  x b  ;

– показательная у = a  b x  ;

– экспоненциальная у = e a + b  x .

Нелинейная регрессия по включенным переменным не имеет никаких сложностей для оценки ее параметров. Они определяются, как и в линейной регрессии, методом наименьших квадратов (МНК), ибо эти функции линейны по параметрам. Так, в параболе второй степени

у = а₀ + a₁  x + a₂  x 2 + ,

заменив переменные x = x₁, x 2 = x₂, получим двухфакторное уравнение линейной регрессии:

у = а₀ + a₁  x₁ + a₂  x₂ + ,

для оценки параметров которого используется МНК

Соответственно для полинома третьего порядка

у = а₀ + a₁  x + a₂  x 2 + a₃  x 3 + 

при замене x = x₁, x 2 = x₂, x З = x₃ получим трехфакторную модель линейной регрессии

у = а₀ + a₁  x + a₂  x₂ + a₃  x₃ + ,

а для полинома k-го порядка

у= а₀ + a₁ x + a₂ x 2 + … a_k x k + 

получим линейную модель множественной регрессии с k объясняющими переменными:

у = а₀ + a₁  x + a₂  x₂ + … a_k  x_k+ .

Следовательно, полином любого порядка сводится к линейной регрессии с ее методами оценивания параметров и проверки гипотез. Как показывает опыт большинства исследователей, среди нелинейной полиномиальной регрессии чаще всего используется парабола второй степени; в отдельных случаях – полином третьего порядка. Ограничения в применении полиномов более высоких степеней связаны с требованием однородности исследуемой совокупности: чем выше порядок полинома, тем больше изгибов имеет кривая и соответственно меньше однородность совокупности по результативному признаку.

Модели регрессии, нелинейные по оцениваемым параметрам, подразделяются на внутренне линейные и внутренне нелинейные. Если нелинейная модель внутренне линейна, то с помощью соответствующих преобразований она может быть приведена к линейному виду. Если же нелинейная модель внутренне нелинейна, то она не может быть сведена к линейной функции. Например, в эконометрических исследованиях при изучении эластичности спроса от цены широко используется степенная функция

где y – спрос (количество); x – цена;  – случайная ошибка.

Данная модель нелинейна относительно оцениваемых параметров, ибо включает параметры a и b неаддитивно. Однако её можно считать внутренне линейной, ибо логарифмирование данного уравнения по основанию e приводит его к линейному виду:

ln y = ln a + b  ln x + ln 

Соответственно оценки параметров a и b могут быть найдены методом наименьших квадратов. В рассматриваемой степенной функции предполагается, что случайная ошибка  мультипликативно связана с объясняющей переменной x. Если же модель представить в виде , то она становится внутренне нелинейной, ибо её невозможно превратить в линейный вид.

Внутренне нелинейной будет и модель вида

потому что эти уравнения не могут быть преобразованы в уравнения, линейные по коэффициентам.

В специальных исследованиях по регрессионному анализу к нелинейным часто относят модели, только внутренне нелинейные по оцениваемым параметрам, а все другие модели, которые внешне нелинейны, но путем преобразования параметров могут быть приведены к линейному виду, относят к классу линейных моделей. Например, экспоненциальную модель y = e a + b  x ; ибо, прологарифмировав её по натуральному основанию, получим линейную форму модели

ln y = a + b  x + ln .

Если модель внутренне нелинейна по параметрам, то для оценки параметров используются итеративные процедуры, успешность которых зависит от вида уравнений и особенностей итеративной процедуры. Модели внутренне нелинейные по параметрам, могут иметь место в эконометрических исследованиях; однако большее распространение получили модели, приводимые к линейному виду. Решение такого типа моделей реализовано в стандартных пакетах прикладных программ.

Двойная логарифмическая модель (и зависимая, и объясняющая переменные заданы в логарифмическом виде). Получается при линеаризации уравнения . Сводится к линейной путем замены U=lnYZ=lnXA=lna: U= A +b · Z
Полулогарифмические модели - это модели вида

Обратная модель . Сводится к линейной путем замены Z=1/X Y=a+b·Z+
Степенная модель (полиномиальная) .

При выборе вида зависимости между двумя признаками нагляден графический метод, особенно для монотонных (не имеющих максимумы и минимумы) зависимостей. Наиболее характерные из них представлены на рис.2.4.

Рис.2.4. Графики монотонных зависимостей

При выборе зависимости во-первых, выбирается кривая, которая наиболее подходит для экспериментальных данных (исходя из аналитических предпосылок, либо визуально по графику), а во-вторых, если затруднительно выбрать одну из нескольких кривых, используют метод средних точек.

В таблице приведены основные типовые формулы, наиболее часто встречающиеся в эконометрических исследованиях. Для каждой зависимости рассчитываются координаты средних точек X_k и Y_k по формулам из таблицы. Средние точки наносят на график и выбирают ту формулу, средняя точка которой лежит ближе всего к экспериментальной кривой.

U = A + BZ; U = 1/Y; Z = 1/X;

3. Определение параметров уравнения регрессии

Рассмотрим нелинейные регрессии по оцениваемым параметрам. Пусть в результате наблюдения получен ряд изучаемого показателяX и Y. По этим значениям можно построить график.

X	x₁	x₂	…	x_n
Y	y₁	y₂	…	y_n

Затем необходимо определить параметры выбранной зависимости a и b таким образом, чтобы расчетная кривая лежала как можно ближе к экспериментальной кривой.

Для этого сначала необходимо привести уравнение регрессии к линейному виду. Это преобразование называется линеаризацией. Для этого необходимо ввести замену переменных согласно выбранной модели (в соответствии с таблицей). После введения новых переменных U и Z, необходимо рассчитать параметры A и В этого уравнения.

В качестве критерия близости S выбираем минимум суммы квадратов отклонений между экспериментальными и расчетными значениями. Учитывая, что в каждом конкретном случае линейный вид уравнения различный, запишем этот критерий в универсальном виде:

Для каждой формулы из табл. в этом критерии будут присутствовать разные переменные в зависимости от приведения их к линейному виду. Например, для первой формулы U = lgY; Z = lgX. Тогда система нормальных уравнений для определения параметров линейной зависимости будет иметь вид:

где [Z] = Z_i; [U] = U_i; [Z 2 ] = Z_iZ_i; [UZ] = U_iZ_i; n – количество экспериментов; A = lga и b – искомые коэффициенты уравнения (для определения а необходимо выполнить обратное преобразование: a = 10 A ).

Для нахождения соответствующих сумм в каждом случае необходимо получить различные вспомогательные таблицы с учетом приведения выражений к линейному виду. Например, для второй формулы из табл.2.3 Z_i = X_i, а U_i = lg(Y_i) и т.д.

Решив эту систему, получаем искомые значения параметров. Следует отметить, что при нахождении параметров других зависимостей необходимо сначала привести их к линейному виду согласно табл.2.3.

Для проверки правильности выполненных действий получаем расчетные значения подстановкой в найденную формулу экспериментальных значений X. Полученные расчетные значения наносим на график с экспериментальными данными и делаем вывод об адекватности.

X	x₁	x₂	…	x_n
Y	y₁ р	y₂ р	…	y_n р

Рассмотрим зависимость урожайности зерновых культур от количества внесенных удобрений:

Внесено удобрений, ц/га, x	1	2	3	4	5
Урожайность, ц/га, y	6	9	10	12	13

График экспериментальной кривой представлен на рисунке.

П ринимаем X₁ = 1, X_n = 5, Y₁ = 6, Y_n = 13. Находим координаты средних точек:

2) ; Y_k = 8,83;

5) ; Y_k = 9,5;

6) X_k = 1,67; Y_k = 8,21.

И наносим их на тот же график.

В связи с неровностью исходной кривой выбор зависимости неоднозначен – для учебных целей выбираем формулу 1: Y = a  Х b . В линейном виде U = A + bZ; U = lg Y; A = lg a; Z = lg X.

Система нормальных уравнений имеет вид:

Находим коэффициенты этой системы. Для этого оформляем табл. 2.4

Так как в линейном виде участвует переменная A, необходимо перейти к исходной переменной а, по формуле а = 10 А = 10 0,788 = 6,136. В итоге получаемY = 6,136  Х 0,474 .

Расчетные значения по полученному уравнению регрессии приведены в последнем столбце табл.2.4. исходные и расчетные значения урожайности приведены на следующем графике:

По взаимному расположению двух кривых можно сделать вывод о достаточно хорошей сходимости полученного уравнения (далее будут применены статистические критерии сходимости).

Регрессия – это односторонняя зависимость, которая устанавливает соответствие между случайными величинам.

Сущность регрессии заключается в том, чтобы через математическое выражение установить связь между зависимой и независимыми переменными. Ее отличительной особенностью от функциональной зависимости является тот факт, что каждому значению независимой соответствует одно определенное значение зависимой. В регрессионной связи одной и той же величине могут соответствовать абсолютно разные величины.

Впервые регрессию стали использовать в конце девятнадцатого века. Она была применена для установления зависимости между параметрами человека. Регрессию смогли перенести на плоскость. Точки легли на одну прямую, поэтому ее назвали линейной.

Построение линейной регрессии подразумевает, что ошибок в ней нет. Тогда распределение величин происходит под влиянием нормального закона. То есть, среднее значение равно нулю, а отклонение постоянно.

Чтобы вычислить параметры модели часто применяют программное обеспечение. Оно позволяет обрабатывать большие массивы информации с минимальными ошибками. Существуют специальные методы, позволяющие проверить величину отклонения. Ошибки необходимы для того, чтобы находить доверительные интервалы и проверять выдвинутые в начале исследования гипотезы. Например, в статистике используется критерий Стьюдента, позволяющий сопоставить средние значения двух выборок.

Самое простое представление регрессии состоит из зависимости между соотношениями случайной и независимой величины. Этот подход необходим для установления функциональной связи, если величины не случайны. В практической деятельности коэффициенты неизвестны, поэтому их исследуют с помощью экспериментальных данных.

Нелинейные модели регрессии

Построение нелинейной регрессии осуществляется для того, чтобы провести анализ. В нем экспериментальные данные записываются в функциональную зависимость, описывающей нелинейную комбинацию, представляющую модель, которая зависит от одной или нескольких переменных. Чтобы приблизить полученные данные к практическим величинам используется метод последовательных приближений.

Готовые работы на аналогичную тему

Этот метод заключается в следующем. Исследователем определяются корни уравнения или системы уравнений для того, чтобы упростить решаемую задачу, либо определить неизвестные параметры.

Структура нелинейной регрессии состоит из независимых и зависимых переменных. Для каждой переменной устанавливается случайная величина со средним значением. Погрешность может появиться, но есть ее обрабатывать, то она выйдет за пределы модели. В случае, если переменные не свободны, то модель становится ошибочной, поэтому для исследования становится непригодной.

Вот некоторые примеры нелинейных функций:

Показательные.
Логарифмические.
Тригонометрические.
Степенные.
Функция Гаусса.
Кривые Лоуренца.

В некоторых случаях регрессионный анализ может быть сведен к линейному, но данный способ должен применяться с осторожностью. Чтобы получить наилучший вариант расчета применяются оптимизационные алгоритмы. На практике могут применяться оценочные значения совместно с методиками оптимизации. В результате надо найти глобальный минимум суммы квадратов.

Нелинейная регрессия чаще всего применяется, как статистика линейной. Это позволяет сместить статистику, поэтому полученные данные интерпретируются с осторожностью.

Линеаризация нелинейных моделей регрессии

Линеаризация – это преобразование. Оно осуществляется для того, чтобы упростить определенные модели и вычисления. Например, применение логарифма к обеим частям линейной регрессии позволяет оценить неизвестные параметры более простым способом.

Но использование нелинейного изменения уравнения требует осторожности. Это связано с тем, что данные будут изменяться. Поэтому появятся ошибки модели. Их интерпретация может привести к ошибочному суждению о гипотезе. Обычно в нелинейных уравнениях используется модель Гаусса для исследования ошибок, что необходимо учитывать при проверке.

В которых случаях применяется уравнение Лайнуивер – Берк, либо обобщенная линейная модель.

Чтобы уточнить построенную модель и снизить вероятность ошибок, независимая переменная разбивается на классы. Вследствие этого линейная регрессия разбивается посегментно. Она может дать результат, в котором будет видно, как ведет себя параметр в зависимом положении. Отображение изменений производится графически.

То есть сущность линеаризации заключается в том, что исследователь применяет особые методики для того, чтобы провести преобразования исходных данных. Это позволяет исследовать нелинейную зависимость. Переменные нелинейного уравнения преобразуются с помощью специальных методик в линейные. Это может привести к ошибкам, что необходимо учитывать в процессе преобразования уравнения. Метод может быть опасным, так как влияет на результат вычислений.

Сущность метода заключается в том, что нелинейные переменные заменяются линейными. Регрессия сводится к линейной. Такой подход часто используется для полиномов. Далее применяются известные и простые оценки исследования линейных регрессии. Но изменение полиномов должно так же проводиться с осторожностью. Чем выше порядок полинома, тем сложнее удержаться в рамках реалистичной интерпретации коэффициентов регрессии.

В логарифмических моделях составляется линейная модель с новыми переменными. Оценка результата происходит с помощью метода наименьших квадратов. Эта методика подходит для исследования кривых спроса и предложения, производственных функций, кривых освоения связи между трудоемкостью и производственными масштабами. Такой подход актуален при запуске новых видов продукции.

До этого момента мы концентрировались на линейных зависимостях между переменными. Однако мир многообразен, и в процессе эконометрического моделирования часто приходится сталкиваться с нелинейными взаимосвязями. Обычно их использование мотивируется одной из двух причин:

Графическим анализом данных. Например, если на этапе предварительного исследования данных вы построили график, характеризующий взаимосвязь между вашими переменными, и увидели нечто подобное рисунку 4.3, то, скорее всего, вы придете к выводу, что связь нелинейна.
Содержательными теоретическими соображениями. К примеру, если вы анализируете зависимость между количеством используемых фирмой факторов производства и её объемом выпуска, вы наверняка захотите проверить, не описывается ли эта взаимосвязь производственной функцией Кобба — Дугласа, которая имеет следующий (нелинейный) вид: \( = A>K_^L_^\) .

Рассмотрим несколько нелинейных моделей, которые часто встречаются в эконометрическом анализе.

Рисунок 4.3. Пример нелинейной связи между переменными

Во многих случаях зависимость между переменными в экономике носит степенной характер:

Прологарифмируем правую и левую части этого равенства:

Переобозначим переменные более привычным нам образом: \( = \ln>A\) и \(\beta_ = a\) :

Наконец, чтобы сделать модель пригодной для эконометрического моделирования, добавим в неё случайные ошибки:

Поскольку в новом уравнении в правой и в левой частях стоят логарифмы исходных переменных, эту модель называют логарифмической (или двойной логарифмической).

Смысл проведенного преобразования состоит в том, что относительно параметров ( \(\beta_\) и \(\beta_\) ) новая модель является линейной. Поэтому к ней можно применять все стандартные методы оценивания, которые обсуждались в предшествующих главах. Точно так же можно вычислять МНК-оценки коэффициентов, рассчитывать их стандартные ошибки, тестировать гипотезы и так далее. Таким образом, стандартный трюк, который используют эконометристы, заключается в переходе от нелинейной по параметрам модели ( \( = A>x_^\) ) к линейной по параметрам 1 .

Единственное существенное отличие будет возникать в интерпретации полученного результата. Действительно, в линейной модели

коэффициент при переменной \(x_\) может быть интерпретирован так: увеличение переменной \(x_\) на одну единицу приводит к увеличению переменной \(y_\) на \(\beta_\) единиц.

Однако в логарифмической модели интерпретация коэффициента \(\beta_\) будет отличаться. Чтобы понять, как она устроена, перепишем логарифмическую модель следующим образом

и вычислим производную зависимой переменной по объясняющей переменной:

Преобразуем это выражение, выразим темп прироста зависимой переменной:

Или, что приближенно то же самое:

Таким образом, мы получаем следующую интерпретацию коэффициента при регрессоре: увеличение объясняющей переменной на один процент приводит к увеличению зависимой переменной в среднем на \(\beta_\) процентов. Иными словами, коэффициент \(\beta_\) характеризует эластичность зависимой переменной по объясняющей переменной 2 .

Аналогичным образом можно разобраться с тем, как интерпретировать коэффициент при переменной в линейно-логарифмической модели, то есть в модели следующего вида:

Возьмем производную зависимой переменной по объясняющей переменной:

Отсюда легко видеть, что если объясняющая переменная увеличивается на один процент, то есть \(\frac<\mathrmx_> = \frac\) , то зависимая переменная увеличивается на величину \(\mathrm >\) . Таким образом, коэффициент при переменной в линейно-логарифмической модели может быть интерпретирован следующим образом: увеличение объясняющей переменной на один процент приводит к увеличению зависимой переменной в среднем на \(\frac>\) единиц.

Для полноты картины осталось рассмотреть экспоненциальную зависимость:

Такая модель так же легко может быть приспособлена к оцениванию путем перехода к логарифмам (так как в этом случае она снова становится линейной по параметрам):

Так как в левой части этого уравнения стоит логарифм исходной зависимой переменной, а справа регрессор входит в уравнение линейно, такие модели называются логарифмически-линейными.

Чтобы понять, как можно интерпретировать результаты моделирования в этом случае, посмотрим, насколько меняется зависимая переменная при изменении объясняющей переменной на \(\mathrmx_\) :

Поэтому интерпретировать коэффициент в модели в этом случае можно так: увеличение регрессора на единицу приводит к увеличению зависимой переменной на \(<\left( > - 1> \right) \ast 100>\text.\)

Если коэффициент \(\beta_\) близок к нулю, то \(e^<\beta_>\approx<1 + \beta_>\) . В этом случае \(<\left( - 1> \right) \ast 100>\text\approx <\beta_\ast 100>\text\) и можно интерпретировать соответствующий коэффициент так: увеличение регрессора на единицу приводит к увеличению зависимой переменной на \( <\beta_\ast 100>\text\) .

На практике приближение является вполне удовлетворительным при \(\left| \beta_ \right| . В этом случае погрешность меньше одного процента. При бОльших по абсолютной величине значениях коэффициента \(\beta_\) лучше использовать точную формулу.

Все полученные нами выводы об интерпретации коэффициентов в линейной, логарифмической, логарифмически-линейной и линейно-логарифмической моделях обобщены в таблице 4.1.

Таблица 4.1. Интерпретация коэффициентов в разных моделях

Примечания: (1) Разумеется, если коэффициент \(\beta_\) отрицательный, то увеличение регрессора приводит не к увеличению, а, наоборот, к уменьшению зависимой переменной. (2) Следует помнить, что указанные интерпретации получены на основе приближенных формул. В последнем случае (для логарифмически-линейной модели) приближением можно пользоваться только в том случае, если коэффициент \(\beta_\) не слишком велик (см. пояснения в тексте параграфа).

Пример 4.3. Интерпретация коэффициента в логарифмически-линейной модели

Исследователь анализирует, как меняется ВВП некоторой страны во времени. Изучив график ВВП, исследователь заключил, что он растет экспоненциально, следовательно, для моделирования его динамики хорошо подойдет логарифмически-линейная модель:

Оценка параметров модели на ежегодных данных за 50 лет приводит к следующей линии регрессии:

Интерпретируйте полученные результаты.

Для начала отметим, что коэффициент при переменной \(t\) является статистически значимым, так как гипотеза \(H_: = 0>\) уверенно отвергается при уровне значимости 1%. (соответствующее расчетное значение тестовой статистики равно 0,02/0,001=20, что больше критического значения, которое составляет 2,68). Поэтому можно заключить, что со временем ВВП в рассматриваемой экономике, действительно, в среднем растет.

После этого можно перейти к интерпретации. В соответствии с полученным нами правилом интерпретации можно сказать, что увеличение переменной t на единицу приводит к увеличению переменной \(\mathitP_\) на 0,02*100%. Иными словами, в среднем ВВП в рассматриваемой экономике увеличивается на 2% в год.

В некоторых ситуациях зависимость между регрессором и объясняемой переменной носит немонотонный характер. См., например, рисунок 4.4. В таких случаях оправдано использование полиномиальных зависимостей. Например, квадратичных:

В это уравнение все коэффициенты снова входят линейно, а значит, параметры соответствующей модели также легко могут быть оценены обычным МНК.

Рис. 4.4. Немонотонный характер зависимости между переменными

Чувствительность зависимой переменной к изменению регрессора будет существенно зависеть от его величины:

Поэтому при интерпретации коэффициента указанную чувствительность обычно вычисляют в конкретной точке. Например, в точке среднего по выборке значения регрессора.

Иногда полиномиальные модели могут быть удобным инструментом. Особенно если немонотонный характер зависимости следует из содержательных соображений. Однако не следует увлекаться оценкой полиномов высоких степеней просто в угоду получению большого коэффициента R-квадрат. Конечно, технически через n точек всегда можно провести кривую, описываемую полиномом степени \(n - 1\) , и R-квадрат при этом будет равен единице. Однако содержательно интерпретировать подобную зависимость будет невозможно, результаты оценивания будут крайне неустойчивыми, а точность прогнозирования вне выборки — низкой. Поэтому на практике, как правило, ограничиваются квадратичными функциями.

Обратите внимание, что во всех рассмотренных ситуациях путем простых преобразований мы приводили модель к виду, в котором параметры входят в уравнение линейно. Конечно, можно привести пример функции, которая не сводится к линейной по параметрам:

В этом случае для оценивания параметров приходится использовать альтернативные методы (например, нелинейный МНК или метод максимального правдоподобия), обсуждение которых выходит за рамки этой главы. К счастью, в прикладных исследованиях часто можно обойтись теми моделями, которые мы разобрали выше.

Естественный вопрос, возникающий после рассмотрения разнообразных нелинейных моделей, состоит в том, как выбрать подходящий вид зависимости для ваших данных: использовать ли линейную модель, или логарифмическую, или ещё какую-то? Тут следует принимать во внимание следующие соображения:

Графический анализ исходных данных. Например, ясно, что если диаграммы рассеяния для ваших данных выглядят как рисунки 4.3 или 4.4, то использовать линейную модель будет не слишком хорошей идеей.
Графический анализ остатков. После построения модели отсортируйте наблюдения по возрастанию одного из регрессоров и постройте график остатков. Если остатки равномерно колеблются вокруг нуля (то есть, если их поведение не противоречит предпосылке о том, что они являются независимыми случайными величинами), это аргумент в пользу корректной спецификации. Подобный пример приведен на рисунке 4.5.а. Если же остатки имеют некоторый регулярный вид, например, как на рисунке 4.5.б, то, скорее всего, спецификация выбрана неверно 3 .
Экономическая теория. Как было сказано в самом начале данного параграфа, если в основе ваших эмпирических расчетов лежит теоретическая модель, то это может быть хорошим подспорьем в выборе корректной формы функциональной зависимости. Например, если вы моделируете кривую Лаффера 4 , то естественно использовать немонотонную функцию.
Формальные статистические критерии. Речь о них пойдет в заключительной части этого параграфа.

Одним из распространенных вариантов тестировать корректность выбранной функциональной формы модели является тест Рамсея (Ramsey test). Иногда его также называют RESET (Regression Equation Specification Error Test). Нулевая гипотеза в этом тесте состоит в том, что спецификация уравнения регрессии верна.

Процедура его проведения такова:

Оцениваем исходное уравнение, корректность спецификации которого как раз и хотим проверить. Например, такое:

Извлекаем предсказанные значения объясняемой переменной \(>_\) .

Оцениваем вспомогательное уравнение – в него включены все исходные переменные и дополнительно \(>_^\) и \(>_^\) :

Иногда, если в выборке доступно мало наблюдений, вместо двух слагаемых \(\alpha_>_^\) и \(\alpha_>_^\) в уравнение добавляют только одно из них.

Рис. 4.5а. Линия регрессии (верхний график) и соответствующий ей график остатков (нижний график) в случае, когда линейная функциональная форма связи между переменными является корректным предположением

Рис. 4.5б. Линия регрессии (верхний график) и соответствующий ей график остатков (нижний график) в случае, когда линейная функциональная форма связи между переменными является некорректным предположением, а в действительности зависимость носит нелинейный характер

Тест Рамсея может отвергать нулевую гипотезу по двум причинам: либо функциональная форма для уравнения выбрана ошибочно, либо в уравнении пропущены важные переменные. К сожалению, этот тест не дает четкого указания, что именно надо сделать для исправления ситуации, так что тут исследователю придется принимать решение самому. Однако в любом случае отвержение нулевой гипотезы тестом Рамсея — это повод задуматься о том, чтобы усовершенствовать спецификацию вашей модели 5 .

Иногда выбор функциональной формы осуществляют и на основе качества соответствия модели данным. Например, линейную модель \( = + \beta_>> + \varepsilon_>\) и линейно-логарифмическую модель \( = + \beta_>>\ln + \varepsilon_>\) можно сравнить при помощи коэффициента R-квадрат или суммы квадратов остатков. Такое сравнение будет корректным, так как у рассматриваемых типов моделей одинаковая зависимая переменная ( \(y_\) ). В то же время сравнивать линейную модель и логарифмическую модель подобным образом не следует, так как у логарифмической модели другая зависимая переменная ( \(\ln y_\) ). Поэтому сумма квадратов и общая сумма квадратов в таких моделях будут существенно отличаться просто из-за того, что измеряются в разных шкалах. В любом случае, как мы обсуждали выше, R-квадрат имеет существенные ограничения, поэтому в современных исследованиях при выборе функциональной формы гораздо чаще опираются на соображения экономической теории и спецификационные тесты.

Для читателя, знакомого с микроэкономикой, этот результат, скорее всего, является вполне ожидаемым: действительно, показатель степени в степенной зависимости численно равен соответствующей эластичности.↩︎

Дополнительные полезные соображения о том, какую информацию можно извлечь из анализа остатков уравнения регрессии, содержатся в следующей главе, посвященной гетероскедастичности.↩︎

Зависимость между ставкой налога и суммарными налоговыми поступлениями в государственный бюджет.↩︎

В более ранних исследованиях для выбора функциональной формы также использовались тесты Зарембки и Бокса — Кокса. См., например, Доугерти, 2009. ↩︎

Читайте также: