Обобщенный метод наименьших модулей реферат

Обновлено: 04.07.2024

Как известно, для решения задачи регрессии обычно используют MSE метрику, то есть квадрат ошибки. При этом есть ещё одна метрика - MAE, модуль ошибки. Однако он неудобен тем, что он не дифференциируем в нуле. У меня вопрос: неужели это так критично, не дифференциируемость только лишь в одной точке? Тем более, что в этой точке ошибка равна нулю. Вообще, если я верно представляю, можно по градиенту двигаться и двигаться и в момент, когда мы попадем в точку, где не получится взять градиент => скажем, что мы нашли минимум. То есть нам и не нужен градиент в этой точке, как только мы не сможем найти градиент в точке - объявляем эту точку искомым минимумом. В чем проблема такого подхода?

Недифференцируемость некритична - например, в нейронках активно используются функции типа - через них модуль выражается.
И модуль вполне используется - например, при регуляризации, когда к функции ошибки добавляется норма весов. Такая регуляризация, в отличии от , обычно приводит к разреженнным представлениям (большая часть коэффициентов близки к нулю).

На практике для большинства задач просто MSE интереснее, чем MAE - нам часто важнее, чтобы не было больших ошибок, чем чтобы маленькие были поменьше.

Это "поиски под фонарём". В том смысле, что под фонарём что-то да найдётся. Если целевая функция квадратична, то продифференцировав её для поиска минимума, придём к линейной системе уравнений. Которая решается. Решение единственно (ну, или бесконечно много дающих одинаковое значение невязки, мультиколлинеарность, но это лечится устранением лишнего из модели). И решить, в принципе, можно вручную (и решали больше века). А когда решили, опять же в силу того, что производные линейны, легко получаем оценки дисперсий коэффициентов и т.п. полезное.
Метод наименьших модулей приводит к задаче линейного программирования, методы решения которой это уже середина ХХ века, и вручную решать можно лишь в порядке воспитания воли. При этом решение не обязано быть однозначным даже при отсутствии избыточности переменных, зато возможна неустойчивость.

Вот пример неоднозначности, одинаковое значение ЦФ на любой прямой, проходящей в "зелёной области", а если внести малое возмущение в значение одного из наблюдений, может получить однозначный ответ, но "переключаемый" в зависимости от возмущения.
Линейной программирование не единственный метод, можно, например, использовать МНК, вводя веса так, чтобы взвешенные суммы квадратов были бы пропорциональны абсолютным значениям (чего добиваются итеративно). Это тоже усложнение алгоритма и не гарантирует единственности.

Последний раз редактировалось mserg 04.10.2017, 23:48, всего редактировалось 1 раз.

Если под модулем имеем "линейность", то MAE, в принципе, тоже приводит к линейному программированию.
Модуль заменяется с помощью двух переменных.
Например, если требуется

то делаем замену

Т.е. получаем линейный целевую функцию и линейные ограничения.
Простые градиентные алгоритмы, наверное, имеют право на существование, однако в случае возникновения симметрий / вырожденности и т.п. видимо "сломаются".

Судя по тому, что написали выше, проблем решить задачу с метрикой MAE не составляет труда. Тогда вопрос такой: так как MSE чувствительно к выбросам (мы же возводим ошибку в квадрат), то не лучше ли тогда использовать MAE? раз проблем при численном решении нет, то почему нет?

Они есть, и серьёзные. Трудоёмкость линейного программирования многократно превышает трудоёмкость МНК.

Насколько я знаю - МНК решается с помощью градиентного спуска и его модификаций. Разве нельзя его же применить для решения MAE?

Во-первых, ни разу. Во всяком случае, если речь о классическом МНК, когда модель -- это некоторый обобщённый многочлен. Тогда всё сводится просто к системе линейных уравнений, которая прокручивается мгновенно.

Во-вторых, если это не многочлен, а более общая модель, то в случае "линейной" нормы, в отличие от квадратичной, метод градиентного спуска просто откажет.

Последний раз редактировалось mserg 06.10.2017, 00:36, всего редактировалось 1 раз.

Можно побаловаться с данными, которые находятся на или около двух прямых линий на плоскости.

Например, накидаем на линию - 1000 точек, а на линию - 1001 точку.

Аппроксимация константой приводит к оптимуму по MAE !
Аппроксимация прямой , возможно, приведет к тому же результату.

MAE наши 1000 выбросов "труба шатал", но не смог.

Когда у меня смутная зависимость, я проверяю не только МНК (эксель это делает по ряду функций, в т.ч. полиномам степени до 6), но и по сумме модулей, и сумме квадратных корней из модулей, очень хорошо отсекает явные ошибки в измерениях. Хорошая зависимость проявляется во всех вариантах. Хотя да, если показатель степени брать очень малым, все преобразованные расстояния становятся единичными, а тогда какая разница, как проводить линию регрессии, сумма полюбому будет равна количеству точек. Решение неустойчиво.

Последний раз редактировалось Евгений Машеров 06.10.2017, 08:49, всего редактировалось 1 раз.

$y=a_0+a_1\sin t+a_2e^<t^2></p> <p>Для линейных задач - никогда (на всякий случай уточню, имеются в виду линейные по параметрам, то есть +a+3\ln\frac$
линейна). Для них именно в силу квадратичности функции производные линейны, и решение сводится к однократному решению системы уравнений (симплекс-метод требует многократного повторения подобных шагов). То есть регрессию МНК руками посчитать возможно, МНМ - нет. И до определённого времени это было препятствие неодолимое. С доступностью компьютеров это стало вторичным возражением, на первое место вышли вопросы исследования решения (для МНК получить оценки дисперсий коэффициентов, доказать несмещённость и т.п. не просто, а очень просто, для МНМ нетривиально) и эффективности. Последняя, вообще говоря, будет разной для разных законов распределения ошибки. Для нормального МНК эффективен, скажем, для задачи определения параметра положения МНК оценка среднее арифметическое на 25% эффективнее МНМ-оценки - медианы. Если же предполагается отклонения от нормальности, эффективен может быть другой метод (и не обязательно МНМ, его триумф на двойном экспоненциальном).
В обычной практике статистики могут применять МНМ, как один из пакета робастных методов, для построения грубой модели, которая позволяет выявить "выбросы", затем их проанализировать (прежде всего нестатистическими методами, а исходя из содержательных соображений), а после их удаления использовать МНК.

Оглавление
Введение
История
Постановка задачи
Примеры
Свойства оценок на основе МНК
Парная линейная регрессия. Метод наименьших квадратов
Взвешенный метод наименьших квадратов
Системы одновременных уравнений
Нелинейная регрессия
Авторегрессионное преобразование
Применение МНК в экономике
Заключение
Список литературы
КИГМС, Организация и Технология Защиты Информации,2 курс/4семестр

Контрольная по эконометрике

формат xls
размер 985.5 КБ
добавлен 06 мая 2010 г.

Задание 1. Построить уравнение линейной парной регрессии дивидендов от курсовой цены акции. Метод наименьших квадратов. Задание 2. По исходным данным построить уравнение множественной регрессии, определить стандартизованные коэффициенты регрессии Задание 3. Провести идентификацию модели и описать структуру оценивания параметров уравнений структурной формы модели Задание 4. Проанализировать автокоррекцию уровней временного ряда. выявить и охаракте.

Контрольная работа - Модель парной линейной регрессии. Метод наименьших квадратов (МНК) для парной линейной регрессии. Коэффициент детерминации

формат doc
размер 230.5 КБ
добавлен 02 ноября 2010 г.

Содержание. Введение. Модель парной линейной регрессии Метод наименьших квадратов (НМК) для парной линейной регрессии Коэффициент детерминации Заключение Список используемой литературы

Контрольная работа по эконометрике

формат doc
размер 451 КБ
добавлен 19 июня 2010 г.

3 задачи: Уравнение регрессии; построение линейной, степенной, показательной, гиперболической моделей; косвенный метод наименьших квадратов; временные ряды

Курсовая работа - Множественная линейная регрессия

формат doc
размер 792.5 КБ
добавлен 11 октября 2010 г.

28 с. , 10 рис. , 6 источников Цель работы: исследование модели множественной регрессии. Методы решения: метод наименьших квадратов. Курсовая работа направлена на исследование функционирования предприятия, путем анализа построенной модели множественной регрессии. Данная модель позволит произвести мониторинг регрессирования многих факторов на интересующее нас поведение предприятия. Ключевые слова: регрессия, регрессионный анализ, метод наименьших.

Лекции - Эконометрия

формат doc
размер 203.22 КБ
добавлен 18 октября 2010 г.

ВНУ им. В. Даля. Кафедра прикладной статистики. Предмет, метод и задача дисциплины. Метод наименьших квадратов. Двухфакторная линейная модель: предсказание одного фактора на основании другого. Многофакторная регрессия: основные понятия. Интерпретация результатов многофакторного моделирования. Статистические выводы по многофакторной модели. Сложности и проблемы, связанные с множественной регрессией. Составление отчетов: представление результатов м.

Лукин О.А. Эконометрика: Учебное пособие

формат doc
размер 504 КБ
добавлен 01 января 2011 г.

РГОТУПС, 2003 г. Содержание Введение Линейная модель множественной регрессии Решение Нелинейные модели регрессии и их линеаризация Показатели качества регрессии Предпосылки метода наименьших квадратов Обобщенный метод наименьших квадратов Фиктивные переменные во множественной регрессии Модели временных рядов Системы эконометрических уравнений

Образцы СРСов по эконометрике

формат xls
размер 320.5 КБ
добавлен 28 октября 2011 г.

Нелинейные эконометрические модели, модель множественной линейной регрессии, сведения из теории вероятности, математической статистики, парная линейная регрессия и метод наименьших квадратов

Общий вариант фондовых лекций(методичка) 2 курс

формат doc
размер 1.67 МБ
добавлен 14 апреля 2011 г.

Парная регрессия и корреляция. Множественная регрессия и корреляция. Метод наименьших квадратов. системы эконометрических уравнений. и. т. д. Вэпи 2 курс.

Ответы на вопросы по Эконометрике

формат docx
размер 51.76 КБ
добавлен 06 февраля 2011 г.

Ответы на вопросы по Эконометрики за 5 курс 3 семестра. Национальный Институт Екатерины Великой. Эконометрический метод Проблема мультиколлинеарности Фиктивные переменные Предпосылки метода наименьших квадратов Гетероскедастичность Типы систем эконометрических уравнений Проблема идентифицируемости Алгоритм косвенного метода наименьших квадратов Аддитивная и мультипликативная модели временных рядов Метод скользящих средних Методы исключения тренд.

Шпоры по эконометрике

формат doc
размер 827.5 КБ
добавлен 06 июля 2010 г.

Предмет и задачи курса Определение экон-ки Эконометрика и экономич. теория Эконометрические модели Экономет-ка и ЭММ Область применения эконометрических моделей и методов Коэффициент парной корреляции Регрессионный анализ Построение модели Метод наименьших квадратов Построение линейной регрессии Корреляция Коэффициент детерминации Оценка значимости уравнения регрессии Множественная регрессия Матричная запись множественной линейной модели регресси.

При оценке параметров уравнения регрессии применяется метод наименьших квадратов. При этом делаются определенные предпосылки относительно случайной составляющей .

В модели случайная составляющая представляет собой ненаблюдаемую величину. После того как проведена оценка параметров модели, рассчитав разности фактических и теоретических значений результативного признака у, можно определить оценки случайной составляющей у — у_х. Их можно считать некоторой выборочной реализацией неизвестного остатка заданного уравнения, т. е. .
При изменении спецификации модели, добавлении в нее новых
наблюдений выборочные оценки остатков ,могут меняться. Поэтому в задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений, т.е остаточных величин.

Коэффициенты регрессии, найденные из системы нормальных уравнений, представляют собой выборочные оценки характеристики силы связи. Их несмещенность является желательным свойством, так как только в этом случае они могут иметь практическую значимость. Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Следовательно, при большом числе выборочных оцениваний остатки не будут накапливаться и найденный параметр регрессии b, можно рассматривать как среднее значение из возможного большого количества несмещенных оценок. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным выборкам.

Для практических целей важна не только несмещенность, но и эффективность оценок. Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. Поэтому несмещенность оценки должна дополняться минимальной дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.

Степень реалистичности доверительных интервалов параметров регрессии обеспечивается, если оценки будут не только не смещенными и эффективными, но и состоятельными. Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительны интервал ожидаемого значения параметра регрессии b имеет предел значений вероятности, равный единице. Иными словами вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице.

Указанные критерии оценок (несмещенность, состоятельность, эффективность), обязательно учитываются при разных способах оценивания. Метод наименьших квадратов строит оценки регрессии на основе минимизации суммы квадратов остатков. Поэтому очень важно исследовать поведение остаточный величин регрессии . Условия, необходимые для получения несмещенных, состоятельных и эффективных оценок, представляют собой предпосылки МНК, соблюдение которых желательно для получения достоверных результатов регрессии.

Исследования остатков предполагают проверку наличия следующих пяти предпосылок МНК:

случайный характер остатков;
нулевая средняя величина остатков, не зависящая от х;
гомоскедастичность - дисперсия каждого отклонения
одинакова для всех значений х;
отсутствие автокорреляции остатков. Значения остатков
распределены независимо друг от друга;
остатки подчиняются нормальному распределению.

В тех случаях, когда все пять предпосылок выполняются, оценки, полученные по МНК и по методу максимального правдоподобия, совпадают между собой. Если распределение случайных остатков не соответствует некоторым предпосылкам метода наименьших квадратов, то следует корректировать модель.

Прежде всего проверяется случайный характер остатков - предпосылка МНК. С этой целью стоится график зависимости остатков от теоретических значений результативного признака у (рис. 3.2).

Если на графике нет направленности в расположении точек , то остатки , представляют собой случайные величины и МНК оправдан, теоретические значения у_х хорошо аппроксимируют фактические значения у.

Вторая предпосылка МНК относительно нулевой средней личины остатков означает, что . Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных. Для моделей, нелинейных по оцениваемым: параметрам и приводимых к линейному виду логарифмированием, средняя ошибка равна нулю для логарифмов исходных данных.

С целью проверки выполнения этой предпосылки строится график зависимости случайных остатков от факторов, включенных в регрессию х, (рис. 3.4).

Если расположение остатков на графике не имеет навленности, то они независимы от значений хj.
Если же график показывает наличие зависимости и х, то модель неадекватна. Причины неадекватности могут быть разные.
Возможно, нарушена третья предпосылка МНК и дисперсия остатков
непостоянна для каждого значения фактора хj. Скопление точек в определенных участках значений фактора хj говорит о наличии систематической погрешности модели.

Корреляция случайных остатков с факторными признаками позволяет проводить корректировку модели, в частности использовать кусочно-линейные модели.

Совершенно необходимым для получения по МНК cocтоятельных оценок параметров регрессии является соблюдение третьей и четвертой предпосылок.

В соответствии с третьей предпосылкой метода наименьших квадратов требуется, чтобы дисперсия остатков была гомоскедатичной. Это значит, что для каждого значения фактора хj остатки имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность (рис. 3.5).

Гомоскедастичность остатков означает, что дисперсия остатков одинакова для каждого значения х. Используя трехмерное изображение, получим графики, иллюстрирующие гомо- и гетероскедастичность ( рис 3.6, 3.7).