Метод наименьших квадратов реферат

Обновлено: 04.07.2024

на тему: Метод наименьших квадратов как применение теорем поиска экстремума функций многих переменных

Автор работы А.М.Филимонова Группа ББИ-21

Обозначение курсовой работы ТГТУ.080500.018 ДЭ

Руководитель работы А.Н.Пчелинцев

подпись, дата инициалы, фамилия

Тамбов 2014 г.

ЗАДАНИЕ

на курсовую работу

Студент А.М.Филимонова код 018 Группа ББИ-21

1 Тема: Метод наименьших квадратов как применение теорем поиска экстремума функций многих переменных

2 Срок представления работы к защите

3 Исходные данные для проектирования (научного исследования)

Учебная литература по теме работы

4 Перечень разделов пояснительной записки

4.2 Метод наименьших квадратов

4.3 Линейная парная регрессия и её коэффициенты

4.4 Применение МНК

4.6 Список используемых источников

5 Перечень графического материала:

Таблица 1 – Статистические данные в общем виде

Таблица 2 – Выборка из экономических показателей

Таблица 3 – Упорядоченная выборка

Таблица 4 – Расчётная таблица выборки

Рисунок 1 – График, изображающий прямую регрессии и точки отклонений

Рисунок 2 – График найденной регрессии

А.Н.Пчелинцев подпись, дата инициалы, фамилия

Задание принял к исполнению

подпись, дата инициалы, фамилия

Метод наименьших квадратов…………………………………………..

История появления метода наименьших квадратов…………………..

Понятие и определение метода наименьших квадратов………………

Линейная парная регрессия и её коэффициенты………………………

Понятие линейной парной регрессии…………………………………..

Вывод формул для нахождения коэффициентов регрессии………….

2.3 Проверка достаточного условия экстремума (минимума) функции.

3.1 Пример использования МНК для линейной парной регрессии ……..

3.2 Области применения МНК………………………………………………. 21

Список используемых источников…………………………………………. 25

Метод наименьших квадратов имеет большое применение во многих областях, так как это один из методов оценки величин по результатам измерений, содержащим случайные ошибки. Он часто оказывается полезным при обработке наблюдений.

Также, метод наименьших квадратов используется как составная часть некоторой более общей проблемы. Например, при необходимости проведения аппроксимации наиболее часто употребляется именно метод наименьших квадратов. На этом подходе основаны: регрессионный анализ в статистике, оценивание параметров в технике и т.д.

Цель моей курсовой работы – рассмотреть метод наименьших квадратов как применение теорем поиска экстремума функций многих переменных.

Исходя из поставленной цели, необходимо решить следующие задачи:

- рассмотреть метод наименьших квадратов, линейную парную регрессию;

- вывести формулы для нахождения коэффициентов линейной парной регрессии;

- доказать, что найденная функция принимает минимальное значение, если коэффициенты являются решениями системы.

1 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

1.1 История появления метода наименьших квадратов

До начала XIX в. учёные не имели определённых правил для решения системы уравнений, в которой число неизвестных меньше, чем число уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Гауссу (1795) принадлежит первое применение метода, а Лежандр (1805) независимо открыл и опубликовал его под современным названием (фр. Méthode des moindres quarrés). Лаплас связал метод с теорией вероятностей, а американский математик Эдрейн (1808) рассмотрел его теоретико-вероятностные приложения.

Метод распространён и усовершенствован дальнейшими изысканиями Энке, Бесселя, Ганзена и других. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но зато даёт наиболее вероятные значения. Он получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков после подстановки каких бы то ни было других значений неизвестных. Решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть величины, по которым судят о степени точности выводов.

1.2 Понятие и определение метода наименьших квадратов

Метод наименьших квадратов — один из методов регрессионного анализа, использующийся для нахождения оценок параметров регрессии ,основанный на минимизации суммы квадратов всех остатков.

Регрессионный (линейный) анализ — статистический метод исследования зависимости между зависимой переменной Y и одной или несколькими независимыми переменными X1,X2. Xp. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения.

Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то, для увеличения точности, измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

Основная идея данного метода состоит в том, что в качестве критерия точности решения задачи рассматривается сумма квадратов ошибок, которую стремятся свести к минимуму. При использовании этого метода можно применять как численный, так и аналитический подход.

В частности, в качестве численной реализации метод наименьших квадратов подразумевает проведение как можно большего числа измерений неизвестной случайной величины. Причем, чем больше вычислений, тем точнее будет решение. На этом множестве вычислений (исходных данных) получают другое множество предполагаемых решений, из которого затем выбирается наилучшее. Если множество решений параметризировать, то метод наименьших квадратов сведется к поиску оптимального значения параметров.

В качестве аналитического подхода к реализации МНК на множестве исходных данных (измерений) и предполагаемом множестве решений определяется некоторая функциональная зависимость (функционал), которую можно выразить формулой, получаемой в качестве некоторой гипотезы, требующей подтверждения. В этом случае метод наименьших квадратов сводится к нахождению минимума этого функционала на множестве квадратов ошибок исходных данных.

Зачастую отклонения измерений от точного значения бывают как положительными, так и отрицательными. При определении средней погрешности измерений простое суммирование может привести к неверному выводу о качестве оценки, поскольку взаимное уничтожение положительных и отрицательных значений понизит мощность выборки множества измерений. А, следовательно, и точность оценки. Для того чтобы этого не произошло, и суммируют квадраты отклонений. Даже более того, чтобы выровнять размерность измеряемой величины и итоговой оценки, из суммы квадратов погрешностей извлекают квадратный корень.

Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений. Мы выполняем регрессионный анализ, используя выборку наблюдений, где a и b – выборочные оценки истинных (генеральных) параметров, α и β , которые определяют линию линейной регрессии в популяции (генеральной совокупности).

2 ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ И ЕЁ КОЭФФИЦИЕНТЫ

2.1 Понятие линейной парной регрессии

Регрессией в теории вероятностей и математической статистике принято

называть зависимость среднего значения какой-либо величины (y) от некоторой

Парной регрессией называется модель, выражающая зависимость средне-

го значения зависимой переменной y от одной независимой переменной х

где ŷ – зависимая переменная (результативный признак); х – независимая,

объясняющая переменная (признак–фактор).

Парная регрессия применяется, если имеется доминирующий фактор, обуславливающий большую долю изменения изучаемой объясняемой переменной,который и используется в качестве объясняющей переменной.

Множественной регрессией называют модель, выражающую зависимость

среднего значения зависимой переменной y от нескольких независимых пере-

менных х1, х2, …, хp

ŷ = f (х1, х2, …, хp) (2)

Множественная регрессия применяется в ситуациях, когда из множества

факторов, влияющих на результативный признак, нельзя выделить один доми-

нирующий фактор и необходимо учитывать одновременное влияние несколь-

Используя уравнение регрессии (1), соотношение между значениями пе-

ременными у и х (модель связи) можно записать как

где первое слагаемое f(x) можно интерпретировать как ту часть значения y, ко-торая объяснена уравнением регрессии (1), а второе слагаемое ε как необъяс-ненную часть значения y (или возмущение). Соотношение между этими частя-

ми характеризует качество уравнения регрессии, его способность представлять

зависимость между переменными х и y. При построении уравнения регрессии ε

рассматривается как ошибка модели, представляющая собой случайную вели-

чину, удовлетворяющую определенным предположениям.

Наличие составляющей ε обусловлено такими причинами, как наличие дополнительных факторов, оказывающих влияние на переменную y, неверный

вид функциональной зависимости f(x), ошибки измерения, выборочный харак-

тер исходных данных.

По виду аналитической зависимости различают линейные и нелинейные

Линейная парная регрессия описывается уравнением:

Итак, эта функция (4), описывающая изменение условного математического ожидания случайной переменной y при изменении значений х, называется функцией регрессии, а ее график – линией регрессии.

2.2 Вывод формул для нахождения коэффициентов регрессии

Пусть случайно выбранные исходные данные записаны в таблицу для упрощения дальнейших расчётов (таблица 1).

Метод наименьших квадратов, происходит от английского – Ordinary Least Squares – математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов некоторых функций от искомых переменных.
Можно выделить следующие достоинства метода:
а) расчеты сводятся к механической процедуре нахождения коэффициентов;
б) доступность полученных математических выводов.
Основным недостатком метода наименьших квадратов является чувствительность оценок к резким выбросам, которые встречаются в исходных данных.

Файлы: 1 файл

Конспект на тему Метод наименьших квадратов по дисциплине Эконометрика Соболева О.А., гр. 312.docx

МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

Метод наименьших квадратов, происходит от английского – Ordinary Least Squares – математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов некоторых функций от искомых переменных. Он может использоваться для решения переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функцией. МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным.

Можно выделить следующие достоинства метода:

расчеты сводятся к механической процедуре нахождения коэффициентов;
доступность полученных математических выводов.

Основным недостатком метода наименьших квадратов является чувствительность оценок к резким выбросам, которые встречаются в исходных данных.

Рассмотри сущность применение классического метода наименьших квадратов. Пусть дана система уравнений f_i(x)= y_i, i=1…n где:

f_i – некоторые функции;

y_i – некоторые известные значения;

x – набор неизвестных (искомых) переменных.

Для произвольных значений x значения y_i отличаются от f_i(x).

Суть метода наименьших квадратов заключается в том, чтобы найти такие значения x, при которых минимизируется сумма квадратов отклонений (ошибок) e_i= y_{i –} f_i(x):

Используя оператор псевдоинверсии, решение можно переписать так:

x=A + b, где A + - псевдообратная матрица для A.

Рассмотрим аппроксимацию данны х и метод наименьших квадратов.

Аппроксимация это приближенное выражение каких–либо математических объектов, чисел или функций, через другие более простые. В научных исследованиях аппроксимация применяется для описания, анализа, обобщения и дальнейшего использования эмпирических результатов. Как известно, между величинами может существовать точная функциональная связь, когда одному значению аргумента соответствует одно определенное значение, и менее точная корреляционная связь, когда одному конкретному значению аргумента соответствует приближенное значение или некоторое множество значений функции, в той или иной степени близких друг к другу. При выборе аппроксимации следует исходить из конкретной задачи исследования. Обычно, чем более простое уравнение используется для аппроксимации, тем более приблизительно получаемое описание зависимости.

В регрессионном анализе и в частности в эконометрике используются вероятностные модели зависимости между переменными

где – так называемые случайные ошибки модели.

Соответственно, отклонения наблюдаемых значений y от модельных f(x,b) предполагается уже в самой модели. Сущность обычного, классического метода наименьших квадратов заключается в том, чтобы найти такие параметры b, при которых сумма квадратов отклонений (ошибок, для регрессионных моделей их часто называют остатками регрессии) будет минимальной: ,

где RSS – происходит от английского Residual Sum of Squares и определяется как:

В общем случае решение этой задачи может осуществляться численными методами оптимизации (минимизации). В этом случае говорят о нелинейном методе наименьших квадратов (NLLS происходит от английского Non–Linear Least Squares). Во многих случаях можно получить аналитическое решение. Для решения задачи минимизации необходимо найти стационарные точки функции RSS(b), продифференцировав её по неизвестным параметрам b, приравняв производные к нулю и решив полученную систему уравнений:

Метод наименьших квадратов широко применяется для построения регрессионных моделей при обработке экспериментальных данных. Наиболее распространенным является случай линейной регрессии.

Пусть регрессионная зависимость является линейной:

Пусть y векторстолбец наблюдений объясняемой переменной, x это матрица наблюдений факторов (строки матрицы векторы значений факторов в данном наблюдении, по столбцам вектор значений данного фактора во всех наблюдениях). Матричное представление линейной модели имеет вид:

Тогда вектор оценок объясняемой переменной и вектор остатков регрессии будут равны

соответственно сумма квадратов остатков регрессии будет равна

Дифференцируя эту функцию по вектору параметров b и приравняв производные к нулю, получим систему уравнений (в матричной форме):

В расшифрованной матричной форме эта система уравнений выглядит следующим образом:

где все суммы берутся по всем допустимым значениям t.

Если в модель включена константа, то при всех t, поэтому в левом верхнем углу матрицы системы уравнений находится количество наблюдений n, а в остальных элементах первой строки и первого столбца – просто суммы значений переменных: и первый элемент правой части системы – .

Решение этой системы уравнений и дает общую формулу метода наименьших квадратов – оценок для линейной модели:

Для аналитических целей оказывается полезным последнее представление этой формулы в системе уравнений при делении на n, вместо сумм фигурируют средние арифметические. Если в регрессионной модели данные центрированы, то в этом представлении первая матрица имеет смысл выборочной ковариационной матрицы факторов, а вторая – вектор ковариаций факторов с зависимой переменной. Если кроме того данные ещё и нормированы на средне квадратичное отклонение (то есть в конечном итоге стандартизированы), то первая матрица имеет смысл выборочной корреляционной матрицы факторов, второй вектор – вектора выборочных корреляций факторов с зависимой переменной.

Немаловажное свойство метода наименьших квадратов – оценок для моделей с константой – линия построенной регрессии проходит через центр тяжести выборочных данных, то есть выполняется равенство:

В частности, в крайнем случае, когда единственным регрессором является константа, получаем, что метод наименьших квадратов – оценка единственного параметра (собственно константы) равна среднему значению объясняемой переменной. То есть среднее арифметическое, известное своими хорошими свойствами из законов больших чисел, также является метод наименьших квадратов – оценкой удовлетворяет критерию минимума суммы квадратов отклонений от неё.

В случае парной линейной регрессии , когда оценивается линейная зависимость одной переменной от другой, формулы расчета упрощаются (можно обойтись без матричной алгебры). Система уравнений имеет вид:

Отсюда несложно найти оценки коэффициентов:

Несмотря на то, что в общем случае модели с константой предпочтительней, в некоторых случаях из теоретических соображений известно, что константа a должна быть равна нулю. Например, в физике зависимость между напряжением и силой тока имеет вид U=I R; замеряя напряжение и силу тока, необходимо оценить сопротивление. В таком случае речь идёт о модели y=bx. В этом случае вместо системы уравнений имеем единственное уравнение

следовательно, формула оценки единственного коэффициента имеет вид:

Статистические свойства метода наименьших квадратов - оценок

В первую очередь, отметим, что для линейных моделей метода наименьших квадратов – оценки являются линейными оценками, как это следует из вышеприведённой формулы. Для несмещенности метода наименьших квадратов – оценок необходимо и достаточно выполнения важнейшего условия регрессионного анализа: условное по факторам математическое ожидание случайной ошибки должно быть равно нулю. Данное условие, в частности, выполнено, если:

математическое ожидание случайных ошибок равно нулю, и
факторы и случайные ошибки – независимые случайные величины.

Первое условие можно считать выполненным всегда для моделей с константой. Константа – величина, значение которой не меняется, в этом она противоположна переменной. Константа берёт на себя ненулевое математическое ожидание ошибок (поэтому модели с константой в общем случае предпочтительнее).

Если это свойство не выполнено, то можно считать, что практически любые оценки будут крайне неудовлетворительными: они не будут даже состоятельными (то есть даже очень большой объём данных не позволяет получить качественные оценки в этом случае). В классическом случае делается более сильное предположение о детерминированности факторов, в отличие от случайной ошибки, что автоматически означает выполнение условия экзогенности. В общем случае для состоятельности оценок достаточно выполнения условия экзогенности вместе со сходимостью матрицы V_x к некоторой невырожденной матрице при увеличении объёма выборки до бесконечности.

Для того, чтобы кроме состоятельности и несмещенности, оценки (обычного) метода наименьших квадратов были ещё и эффективными (наилучшими в классе линейных несмещенных оценок) необходимо выполнение дополнительных свойств случайной ошибки:

Содержание

Прикрепленные файлы: 1 файл

курсач.docx

Метод наименьших квадратов………………………………………..4

Б) вывод формул для нахождения коэффициентов………..4

Корреляционный анализ. Линейная корреляция. Выборочный коэффициент корреляции…………………………………………………… ………..5

Математическая статистика – наука о математических методах, позволяющих по статистическим данным, например по реализациям случайной величины (СВ), построить теоретико-вероятностную модель исследуемого явления. Задачи математической статистики являются, в некотором смысле, обратными к задачам теории вероятностей. Центральным понятием математической статистики является выборка.

Метод наименьших квадратов (МНК).

А).Суть метода наименьших квадратов (МНК).

Задача заключается в нахождении коэффициентов линейной зависимости, при которых функция двух переменных k и b принимает наименьшее значение. То есть, при данных k и b сумма квадратов отклонений экспериментальных данных от найденной прямой будет наименьшей.

Б).Вывод формул для нахождения коэффициентов.

Необходимо составить и решить систему из двух уравнений с двумя неизвестными.

Для этого находим частные производные функции

по переменным k и b, а затем приравниваем эти производные к нулю.

Далее решаем полученную систему уравнений любым методом (например методом подстановки или методом Крамера) и получаем формулы для нахождения коэффициентов по методу наименьших квадратов (МНК).

При данных k и b функция принимает наименьшее значение.

Корреляционный анализ. Линейная корреляция. Выборочный коэффициент корреляции.

Корреляционный анализ занимается степенью связи между двумя случайными величинами Х и Y.

Корреляционный анализ экспериментальных данных для двух случайных величин заключает в себе следующие основные приемы:

1. Вычисление выборочных коэффициентов корреляции.

2. Составление корреляционной таблицы.

3. Проверка статистической гипотезы значимости связи.

Корреляционная зависимость между случайными величинами Х и Y называется линейной корреляцией, если обе функции регрессии f(x) и φ(x) являются линейными. В этом случае обе линии регрессии являются прямыми; они называется прямыми регрессии.

Для оценки тесноты линейных корреляционных зависимостей между величинами Х и Y по результатам выборочных наблюдений вводится понятие выборочного коэффициента линейной корреляции, определяемого формулой:

где σX и σY выборочные средние квадратические отклонения величин Х и Y, которые вычисляются по формулам:

Следует отметить, что основной смысл выборочного коэффициента линейной корреляции rB состоит в том, что он представляет собой эмпирическую (т.е. найденную по результатам наблюдений над величинами Х и Y) оценку соответствующего генерального коэффициента линейной корреляции r: r=rB

Лекции

Лабораторные

Справочники

Эссе

Вопросы

Стандарты

Программы

Дипломные

Курсовые

Помогалки

Графические

Доступные файлы (1):

Физико- математический факультет

Кафедра прикладной математики и вычислительной техники

студент(ка) 47 гр.
Научный руководитель

Оценка:__________________

Глава 1.Теоретические сведения

§ 1 Многочлен Лагранжа

1. 1 Постановка задачи……………………………………………4

1. 2 Построение интерполяционного многочлена Лагранжа…..5

§ 2 Метод наименьших квадратов

2. 1 Постановка задачи…………………………………………. 9

2. 2 Нахождение приближающей функции в виде линейной функции и квадратного трехчлена……………………………………..13

2. 3 Нахождение приближающей функции в виде других элементарных функций………………………………………………….15

Глава 2 . Вычислительный эксперимент

§ 1 Листинг программы по МНК…………………………………….25

§ 2 Листинг программы по многочлену Лагранжа………………….29

Список использованной литературы

Метод наименьших квадратов (МНК) – один из наиболее широко используемых методов при решении многих задач восстановления регрессионных зависимостей, а также в во многих областях математики, в частности в теории интерполяции функций, статистике, экономике. Впервые МНК был использован Лежандром в 1806 г. для решения задач небесной механики на основе экспериментальных данных астрономических наблюдений. В 1809 г. Гаусс изложил статистическую интерпретацию МНК и тем самым дал начало широкого применения статистических методов при решении задач восстановления регрессионных зависимостей. Этот способ распространён и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена.

^ Глава 1. Теоретические сведения

§ 1 Многочлен Лагранжа

1. 1 Постановка задачи

Пусть задана функция y=f(x). Часто нахождение значений этой функции может оказаться трудоемкой задачей. Например, - параметр в некоторой сложной задаче, после решения которой определяется значение f(x), или f(x) измеряется в дорогостоящем эксперименте. В этих случаях можно получить небольшую таблицу значений функции, но прямое нахождение ее значений при большом количестве значений аргумента нереально. В такой ситуации f(x) заменяется приближенной функцией , которая в определенном смысле близка к функции f(x). Близость обеспечивается введением в функцию свободных параметров и их соответствующим выбором.

Итак, известны значения функции f(x) в точках , . Потребуем, чтобы для некоторой функции , где - свободные параметры, выполнялись равенства:

(1)

Если (1) рассматривать как систему для определения , то этот способ называется интерполяцией (Лагранжевой).

Если зависит от нелинейно, то интерполяция нелинейная, иначе интерполяция линейная. В случае линейной интерполяции можно записать

(2)

(где - система линейно-независимых функций)

Подставим (2) в (1). Относительно получаем линейную систему уравнений:

, (3)

Для однозначной разрешимости системы должно быть .

Для того, чтобы задача интерполирования имела единственное решение, система функций должна для любых несовпадающих удовлетворять условию:

(4)

Система функций, удовлетворяющая условию (4), называется чебышевской.

^ 1. 2 Построение интерполяционного многочлена Лагранжа

Наиболее простой и (для многих случаев) удобной является система функций , . Функция при этом представляет собой многочлен степени (интерполяционный многочлен) с коэффициентами .

Система уравнений (3) в этом случае имеет вид:

, (5)

Определителем этой системы является отличный от нуля определитель Вандермонда:

Отсюда следует, что интерполяционный многочлен существует и единственен.

Непосредственное решение системы (5) для нахождения a_j уже при небольших n приводит к сильному искажению значений a_j. Получим явный вид интерполяционного многочлена, не решая систему (5).

Если y С[a,b]- многочлен степени n , то - искомый интерполяционный многочлен степени ,т.к..

Так как при , то y C[a,b] делится на для любых , то есть

. Так как , то .

(6)

Такая форма записи интерполяционного многочлена называется многочленом Лагранжа и обозначается, как правило, .

Существуют и другие формы записи того же самого интерполяционного многочлена.

Если обозначить , то

(6) можно записать в виде

^ 1. 3 Остаточный член

В узлах многочлен Лагранжа совпадает с заданной функцией, в остальных точках в общем случае не совпадает с (кроме случая, когда многочлен степени не выше ). Разность остаточный член. Запишем ее в виде .

При. Найдем постоянную такую, чтобы в некоторой фиксированной точке , в которой мы рассматриваем погрешность.

Будем предполагать, что раз дифференцируема.

Значение c, при котором существует и равно . Тогда функция равна нулю по крайней мере в точках .

По теореме Ролля производная равна нулю по крайней мере в точках . Далее, равна нулю по крайней мере в n точках и т.д.

Для - производной получаем, что существует по крайней мере одна точка такая, что

Отсюда получаем при .

Значение зависит от - точки, в которой рассматривается погрешность.

В этом случае в точке , т.е. остаточный член в точке имеет вид:

Оценка остаточного члена:

, где

§ 2 Метод наименьших квадратов для аппроксимации функций

^ 2.1 Постановка задачи

Можно, разумеется, применить метод интерполяции: построить интерполяционный многочлен, значения которого в точках x_1, x_2, … x_n будут совпадать с соответствующими значениями f(x) из таблицы. Однако совпадение значений в узлах иногда может вовсе не значить совпадения характеров поведения исходной и интерполирующей функций. Требование неукоснительного совпадения значений в узлах выглядит тем более неоправданным, если значения функции f(x) получены в результате измерений и являются приближенными.

Практически вид приближающей функции F можно определить следующим образом. По данным таблицы строится точечный график функции, а затем как на рисунке проводится плавная кривая, по возможности наилучшим образом отражающая характер расположения точек. По полученной таким образом кривой устанавливается вид приближающей функции( обычно из числа простых по виду аналитических функций)

Рассмотрим один из распространенных способов нахождения эмпирической формулы. Предположим, что приближающая функция F в точках x_1, x_2, .. x_n имеет значения

Требование близости табличных значений y_1, y_2,… y_n .и значений (1) можно истолковать следующим образом. Будем рассматривать совокупность значений функции f(x) из таблицы как координаты двух точек n- мерного пространства. С учетом этого задача приближения функции f может быть переформулирована следующим образом: найти такую функцию F заданного вида, чтобы расстояние между точками M(y_1, y_2,… y_n₎ и было наименьшим. Если воспользоваться метрикой евклидова пространства, то это условие сводится к требованию, чтобы величина была наименьшей. Легко видеть, что это требование равносильно следующему: чтобы была наименьшей сумма квадратов

Итак, задача приближения функции f теперь формулируется следующим образом: для функции f, заданной таблицей, найти функцию F определенного вида, чтобы сумма квадратов (2) был наименьшей

Эта задача носит название задачи приближения функции методом наименьших квадратов.

В качестве приближающих функций в зависимости от характера точечного графика функции f часто используют следующие функции:

Здесь a, b, c,m – параметры. Когда вид приближающей функции установлен, задача сводится только к отысканию значений параметров.

Рассмотрим метод нахождения параметров приближающей функции в общем виде на примере приближающей функции с тремя параметрами

Итак, имеем i=1,2, …, n Сумма квадратов разностей соответствующих значений функций f и F будет иметь вид

Эта сумма является функцией трех переменных(параметров a, b и c) Задача сводится к отысканию минимума этой функции. Используем необходимое условие экстремума функции трех переменных:

которое в данном случае примет вид:

Решив эту систему из трех уравнений с тремя неизвестными относительно параметров a, b и с, мы получим конкретный вид искомый функции F(x, a, b, c). Как видно из рассмотренного примера, изменение параметров не приведет к сущности самого подхода, а выразится лишь в изменении количество уравнений в системе (4)

Естественно ожидать, что значения найденной функции F(x, a, b, c) в точках будут отличатся от табличных значений Значения разностей (i=1, 2, …, n) (5) называются отклонениями( или уклонениями) измеренных значений y от вычисленных по формуле (3) Для эмпирической формулы (3) в соответствии с исходной таблицей можно найти сумму квадратов отклонений , которая в соответствии с принципов наименьших квадратов для заданного вида приближающей функции( и найденных значений параметров) должна быть наименьшей. Из двух приближений одной и той же табличной функции, согласно принципу наименьших квадратов, лучшим является то, для которого σ имеет наименьшее значение

^ 2.2 Нахождение приближающей функции в виде линейной функции и квадратного трехчлена

Будем искать приближающую функцию в виде:

Найдем частные производные по параметрам a и b: и составим систему вида (4)

Сумма здесь и далее берется по параметру i в пределах от 1 до n

деля каждое уравнение на n, получим:

Тогда последняя система будет иметь следующий вид:

Коэффициенты этой системы - числа, которые в каждой конкретной задаче приближения могут быть легко вычислены по формулам (8), в которых - значения из исходной таблицы. Решив систему (9), получим значения параметров a и b и, следовательно, конкретный вид линейной функции (5)

В случае нахождения приближающей функции в виде квадратного трехчлена имеем:

Находим частные производные:

Составим систему вида (3)

После несложных преобразований получается система трех линейных уравнений с неизвестными a,b и c. Коэффициенты системы, так же как и в случае линейной функции, выражаются только через известные данные исходной таблицы:

Здесь использованы обозначения (8), а также

Решение системы (11) дает значения параметров a, b и c для приближающей функции (10)

^ 2. 3 Нахождение приближающей функции в виде других элементарных функций

Покажем, как нахождение приближающей функции с двумя параметрами F(x, a, b) в виде различных элементарных функций может быть сведено к нахождению параметров линейной функции

^ 2.3.1 Степенная функция

Будем искать приближающую функцию в виде

(так называемая геометрическая регрессия). Предполагая, что в исходной таблице значения аргумента и значения функции положительны, прологарифмируем (13) при условии a>0:

ln F = ln a+m ln x (14)

Так как функция F является приближающей для функции f, функция ln F будет приближающей для функции ln f. Введем новую переменную u = ln x, тогда, как следует из (14), ln F будет новой функцией от u: Ф(u). Примем обозначения:

m = A; ln a = B (15)

Теперь равенство (14) примет вид Ф(u, А, B)= Au+B (16) , т. е. задача свелась к отысканию приближающей функции в виде линейной.

по данной таблице вычислить новую таблицу, прологарифмировав значения x и y;
по новой таблице найти параметры A и B приближающей функции вида (16)
использую обозначения (15), найти значения параметров a и m и подставить их в выражение (13)

^ 2.3.2 Показательная функция.

Пусть исходная таблица такова, что приближающую функцию целесообразно искать в виде показательной функции

(так называемая экспоненциальная регрессия) Прологарифмируем равенство (16)

ln F = ln a + mx (18)

Приняв обозначения (15), перепишем (18) в виде

Таким образом, для нахождения приближающей функции в виде (17) нужно логарифмировать значения функции в исходной таблице и, рассматривая их совместно с исходными значениями аргумента, построить для новой таблицы приближающую функцию вида (6). Вслед за этим в соответствии с обозначениями (15) останется получить значения искомых параметров a,m и подставить их в формулу (17)

Если среди исходных значений y есть отрицательные числа, то, как и в случае построения геометрической регрессии, следует сделать необходимый параллельный перенос.

^ 2.3.3 Дробно- линейная функция

Будем искать приближающую функцию в виде

Равенство (20) перепишем следующим образом:

Из последнего равенства следует, что для нахождения значений параметров a и b по заданной таблице нужно составить новую таблицу, в которой значения аргумента оставить прежними, а значения функции заменить обратными числами. После этого для полученной таблицы найти приближающую функцию вида ax+b. Найденные значения параметров a и b подставить в формулу (20)

^ 2.3.4 Логарифмическая функция

Пусть приближающая функция имеет вид

Легко видеть, что для перехода к линейной функции достаточно сделать подстановку ln x = u. Отсюда следует, что для нахождения значений a и b нужно прологарифмировать значения аргумента в исходной таблице и, рассматривая полученные значения в совокупности с исходными значениями функции ,найти для полученной таким образом таблицы приближающую функцию в виде линейной. Коэффициенты a и b найденной функции подставить в формулу (21)

^ 2.3.5 Обратно- пропорциональная зависимость

Если точечный график, построенный по исходной таблице, дает ветвь гиперболы, приближающую функцию можно искать в виде

Для перехода к линейной функции сделаем подстановку u=1/x:

Практически перед нахождением приближающей функции вида (22) значения аргумента в исходной таблице следует заменить обратными числами и найти для новой таблицы приближающую функцию в виде линейной (6). Полученные значения параметров a и b подставить в формулу (22)

^ 2.3.6 Дробно- рациональная функция

Пусть приближающая функция ищется в виде

Имеем: , так что задача сводится к случаю, рассмотренному в предыдущем пункте.

Действительно, если в исходной таблице заменить значения x и y обратными величинами по формулам z=1/x, u=1/y и искать для новой таблицы приближающую функцию вида , то найденные значения a и b будут искомыми для формулы (24)
^ 2.3.7 Пример нахождения приближающей функции методом наименьших квадратов

Для сравнения качества приближений рассмотрим параллельно два способа приближения заданной функции: в виде линейной функции и в виде степенной функции . После нахождения значений параметров a и b, c и m можно найти суммы квадратов отклонений (2) и установить какой из двух приближений лучше.

Значения параметров a и b линейной функции находятся из системы вида (9), коэффициенты которой вычисляются по данным табл. 1 в соответствиями с обозначениями (8). Для вычисления коэффициентов системы по табл. 1 составим вспомогательную табл. 2, в последней строке которой получены суммы значений по соответствующим столбцам. Разделив полученные суммы на число элементов в столбцах, имеем в соответствии с формулами (7)

Читайте также: