Г Л А В А   4

 

Аппроксимация функций


 

 

§ 1. Основные понятия и определения

 

Постановка задачи. Основу математических моделей многих процессов и явлений в физике, химии, биологии, экономике и других областях составляют уравнения различного вида: нелинейные уравнения, обыкновенные дифференциальные уравнения, дифференциальные уравнения в частных производных и т.д. Для решения подобных уравнений необходимо иметь возможность вычислять значения функций, входящих в описание математической модели рассматриваемого процесса или явления, при произвольном значении аргумента. Для сложных моделей подобные вычисления могут быть трудоемкими даже при использовании компьютера.

Используемые в математических моделях функции могут быть заданы как аналитическим способом (в виде формулы), так и табличным, при котором функция известна только при определенных дискретных значениях аргумента. В частности, если функциональная зависимость получена в результате расчетов, проведенных на ЭВМ,  или в процессе измерений, осуществленных в рамках какого-либо эксперимента, то она оказывается заданной именно табличным способом. На практике нам могут понадобиться значения функции и в других точках, отличных от тех, что заданы в таблице. Однако получить эти значения можно только путем сложных расчетов или проведением дорогостоящих экспериментов.

Таким образом, с точки зрения экономии времени и средств мы приходим к задаче вычисления приближенных значений функции при любом значении аргумента на основе имеющихся табличных данных.

Эта задача решается путем приближенной замены функции  более простой функцией , которую нетрудно вычислять при любом значении аргумента x в заданном интервале его изменения. Введенную функцию можно использовать не только для приближенного определения численных значений , но и для проведения аналитических расчетов при теоретическом исследовании модели.

Приближение функции  более простой функцией  называется аппроксимацией (от латинского approximo – приближаюсь). Аппроксимирующую функцию  строят таким образом, чтобы отклонения (в некотором смысле)  от  в заданной области было наименьшим. Понятие “малого отклонения” зависит от того, каким способом оценивается близость двух функций , поэтому оно будет уточняться в дальнейшем при рассмотрении конкретных методов аппроксимации.

Непрерывная аппроксимация. Если исходная функция  задана аналитическим выражением, то при построении аппроксимирующей функции  возможно требовать минимальности отклонения одной функции от другой на некотором непрерывном множестве точек, например, на отрезке . Такой вид аппроксимации называется непрерывным или интегральным.

Теоретически для наилучшего приближения целесообразно требовать, чтобы во всех точках некоторого отрезка  отклонения аппроксимирующей функции  от функции  было по абсолютной величине меньше заданной величины :

,   .

В этом случае говорят, что функция  равномерно приближает функцию  с точностью e на интервале . Практическое получение равномерного приближение представляет большие трудности, и поэтому этот способ применяется главным образом в теоретических исследованиях.

Наиболее употребительным является так называемое среднеквадратичное приближение, для которого наименьшее значение имеет величина

.

Потребовав обращения в нуль частных производных от М по параметрам, определяющим функцию , получают уравнения, позволяющие найти наилучшие (в указанном смысле) значения этих параметров.

Точечная аппроксимация. Аппроксимация, при которой приближение строится на заданном дискретном множестве точек , называется точечной.

Для  получения точечного среднеквадратичного приближения функции , заданной таблично, аппроксимирующую функцию  строят из условия минимума величины

,

где  – значения функции  в точках .

Основная сфера применения среднеквадратичного приближения – обработка экспериментальных данных (построение эмпирических формул).

Другим видом точечной аппроксимации является интерполирование, при котором аппроксимирующая функция принимает в заданных точках , те же значения , что и функция , т.е.

 

,    .

 

 В этом случае, близость интерполирующей функции к заданной функции состоит в том, что их значения совпадают на заданной системе точек.

На рис. 4.1. показаны качественные графики интерполяционной функции (сплошная линия) и результаты среднеквадратичного приближе­ния (пунктирная линия). Точками отмечены табличные значения функции .

 

 

 

§ 2. Интерполирование

 

Постановка задачи. Пусть функция  задана таблицей значений:

 

x

f(x)

 

Аппроксимирующую функцию  будем строить таким образом, чтобы ее значения в точках  совпадали с табличными значениями заданной функции  f(x):

.              (4.1)

Такой способ введения аппроксимирующей функции называют лагранжевой интерполяцией, а условия (4.1) – условиями Лагранжа. Аппроксимирующая функция , удовлетворяющая условиям Лагранжа, называется интерполяционной функцией. Значения  в данном контексте называют узлами  интерполяции.

Задача интерполяции состоит в нахождение приближенных значений табличной функции при аргументах x, не совпадающих с узловыми, путем вычисления значений интерполяционной функции . Если значение аргумента расположено внутри интервала , то нахождение приближенного значения функции f(x) называют интерполяцией, если аппроксимирующую функцию вычисляют вне интервала , то процесс называют экстраполяцией. Происхождение этих терминов связано с латинскими словами: inter между, внутри, extra – вне, pole – узел.

Интерполяция степенным многочленом (полиномом). Известно, что через  точек на плоскости можно провести кривую, являющуюся графиком степенного многочлена (полинома) степени n, причем такой полином единственный. Например, через две точки на плоскости можно провести только одну единственную прямую, т.е. полином первой степени, через три точки – параболу – полином второй степени и т.д. Этот факт лежит в основе полиномиальной интерполяции, при которой функцию  строят в виде полинома степени n. Если на всем интервале интерполяции , содержащем  узлов,  строят один полином степени n, то говорят о глобальной интерполяции. Если интервал интерполяции  разбивают на меньшие отрезки, содержащие два или более узлов, и на каждом из отрезков строят свой (локальный) интерполяционный полином соответствующей степени, то говорят о локальной или многоинтервальной интерполяции.

Полином в каноническом виде. Выберем в качестве аппроксимирующей функции  полином степени n в каноническом виде

 .                (4.2)

Коэффициенты полинома  определяются из условий Лагранжа, , что с учетом выражения (4.2) дает систему уравнений с n+1 неизвестными:

.                          (4.3)

Систему уравнений (4.3) можно кратко записать следующим образом

                          (4.3’)

или в матричной форме

,

где с – вектор-столбец, содержащий неизвестные коэффициенты , y – вектор-столбец, составленный из табличных значений функции , а матрица A имеет вид

.

Система линейных алгебраических уравнений (4.3) относительно неизвестных  будет иметь решение, если определитель системы (определитель матрицы А) отличен от нуля. Определитель матрицы А, известный в алгебре как определитель Вандермонда, имеет аналитическое выражение:

.

Из этого выражения видно, что , если среди узлов  нет совпадающих.

Формально решение системы уравнений (4.3) может быть записано в матричном виде:

,

где  – обратная матрица (, I – единичная диагональная матрица).

Интерполяционный полином Лагранжа. Лагранж предложил строить интерполяционный полином в виде разложения

,            (4.4)

где  – базисные функции.

Для того, чтобы полином, записанный в форме (4.4), удовлетворял условиям Лагранжа, т.е. был бы интерполяционным, базисные функции  должны обладать следующими свойствами:

1)     быть полином степени n

2)     удовлетворять условию .

Лагранж показал, что функции, обладающие указанными свойствами, должны иметь следующий вид

 

.

 (4.5)

С учетом выражения (4.5) интерполяционный полином Лагранжа может быть записан в виде

.                                  (4.6)

В отличии от интерполяционного полинома в канонической форме для вычисления значений полинома Лагранжа не требуется предварительно определять коэффициенты полинома путем решения системы уравнений. Однако для каждого значения аргумента x полином Лагранжа приходится пересчитывать вновь, коэффициенты же канонического полинома вычисляются только один раз. Поэтому практическое применение полинома Лагранжа оправдано только в том случае, когда интерполяционная функция вычисляется в сравнительно небольшом количестве точек x.

Ø Замечание. Интерполяционный полином Лагранжа оказывается очень удобным для приближенного вычисления определенных интегралов. Если, например, некоторую функцию заменить интерполяционным полином Лагранжа, то определенный интеграл от нее может быть вычислен следующим образом  . Значения интегралов от  не зависят от  и могут быть легко вычислены аналитически.<

Интерполяционный полином Ньютона. Рассмотрим еще одну форму записи интерполяционного полинома

                 (4.7)

Требования совпадения значений полинома с заданными значения функции в узловых точках ,  приводит к системе линейных уравнений с треугольной матрицей для неизвестных коэффициентов :

,              (4.8)

решение которой не составляет труда.

Интерполяционный полином, записанный в форме (4.7), называется полиномом Ньютона. Интересная особенность полинома Ньютона состоит в том, что каждая частичная сумма его первых  слагаемых представляет собой интерполяционный полином степени m, построенный по первым  табличным данным.

Погрешность глобальной интерполяции. Ошибка приближения функции  интерполяционным полиномом  n-й степени  в точке x определяется разностью

.                                    (4.9)

Можно показать, что погрешность  определяется следующим выражением [8]

.                                (4.10)

Здесь  – производная (n+1) порядка функции  в некоторой точке , а функция  определена как

                                   (4.11)

Если максимальное значение производной  равно

,

то для погрешности интерполяции следует оценка

.                                 (4.12)

Конкретная величина погрешности в точке x зависит, очевидно, от значения функции  в этой точке. Качественный характер зависимости  показан на рис. 4.2.

Из рисунка видно, что погрешность интерполяции тем выше, чем ближе точка x лежит к концам отрезка . За пределами отрезка интерполяции (т.е. при экстраполяции)  быстро растет, поэтому погрешность возрастает существенно.

Вследствие описанного поведения погрешности, глобальная интерполяция в некоторых случаях может давать совершенно неудовлетворительный результат.

Такого рода ситуацию в 1901 году обнаружил К. Рунге. Он строил на отрезке  интерполяционные полиномы с равномерным расположением узлов для функции . Оказалось, что при увеличении степени интерполяционного полинома его значения сильно отклоняются от точных значений функции для любой точки x при .

В качестве примера на рис 4.3 приведены результаты интерполяции функции  полиномом 8-й степени. Пунктирной линией показан график исходной функции, сплошная линия показывает график интерполяционного полинома, построенного по заданным точкам.

В некоторых случаях удается улучшить результаты глобальной интерполяции за счет специального расположения узлов интерполяции (если они не зафиксированы). Доказано, что если функция  имеет непрерывную производную на отрезке , то при выборе значений , совпадающих с корнями полинома Чебышева степени n, интерполяционные полиномы  степени n-1 сходятся к значениям функции в любой точке этого отрезка. Корни многочлена Чебышева на отрезке  определяются выражением

,    .

Они расположены неравномерно на отрезке и сгущаются к его концам. Такое сгущение компенсирует увеличение погрешности интерполяции при приближении к концам отрезка, которое имеет место при равномерном расположении узлов.

Однако не всегда удается выбрать такое специальное расположение узлов, которое обеспечивает хорошую точность глобальной интерполяции. В тех случаях, когда узлы интерполяции фиксированы, уменьшение погрешности интерполяции осуществляют за счет уменьшения степени интерполяционных полиномов, применяя многоинтервальную интерполяцию.

Многоинтервальная  интерполяция. Как было отмечено выше, глобальная интерполяция не всегда дает удовлетворительные результаты. Несмотря на выполнение условий Лагранжа в узлах, интерполяционная функция может иметь значительное отклонение от аппроксимируемой кривой между узлами. С увеличением количества узлов возрастает и степень интерполяционного полинома, что может приводить к увеличению погрешности в результате возникновения так называемого явления волнистости. Для того чтобы избежать высокой степени полинома отрезок интерполяции разбивают на несколько частей, и на каждом частичном интервале строят самостоятельный (локальный) полином невысокой степени. Ниже рассматриваются наиболее часто используемые виды многоинтервальной интерполяции.

Кусочно-линейная интерполяция. Кусочно-линейная интерполяция является простейшим видом многоинтервальной интерполяции, при которой исходная функция на каждом частичном интервале  аппроксимируется отрезком прямой, соединяющим точки  и :

.                       (4.13)

При использовании кусочно-линейной интерполяции сначала нужно определить интервал, в который попадает значение аргумента x, а затем подставить его в формулу (4.13). Для случая равноотстоящих узлов  номер интервала i, в который попадает значение аргумента, можно определить следующим образом

,

где  – целая часть аргумента x.

Кусочно-квадратичная интерполяция. Если рассмотреть интервал, содержащий три узловых точки, например, ,  и , то аналогично можно построить интерполяционный полином второй степени, т.е. параболу (для случая равноотстоящих узлов ):

 

.

(4.14)

Сплайн-интерполяция. Существенным недостатком кусочной интерполяции является то, что в точках стыка разных интерполяционных полиномов оказывается разрывной их первая производная (функция имеет излом). Этот недостаток устраняется при использовании особого вида многоинтервальной интерполяции – интерполяции сплайнами (англ. spline – рейка, линейка).

Сплайн – это функция, которая на каждом частичном интервале представляется полиномом некоторой степени, и на всем отрезке интерполяции  непрерывна вместе с несколькими своими производными. На практике широкое применение получили сплайны третьей степени (кубические сплайны).

На интервале  кубический сплайн можно представить в следующем виде

,         (4.15)

где  – коэффициенты сплайнов;  – номер сплайна (интервала).

Для определения коэффициентов сплайнов  на всех n элементарных отрезках необходимо получить 4n уравнений. Часть из них вытекает из так называемых условий сшивания соседних сплайнов в узловых точках:

1) равенство значений сплайнов  и аппроксимируемой функции в узлах – условия Лагранжа, т.е. ,  . Эти условия можно записать в виде:

,

,  .                         (4.16)

2) непрерывность первой и второй производной сплайнов в узлах

,   ,          (4.17)

Подставляя выражение (4.15) в (4.17) получаем  уравнений

,

.                                      (4.18)

Недостающие два уравнения можно получить из условия закрепления концов сплайна. Если потребовать нулевой кривизны сплайна в граничных точках  и , то дополнительными условиями будут являться равенства нулю вторых производных сплайнов на концах интервала интерполяции:

,  .                              (4.19)

Дополнительные условия могут быть и иными поскольку их выбор, в общем случае, зависит от конкретной задачи.

Подстановка выражения (4.15) в (4.19) дает

,   .                         (4.20)

Соотношения (4.16), (4.18) и (4.20) дают полную систему из 4n линейных алгебраических уравнений относительно коэффициентов сплайнов . На практике эту систему преобразуют к виду с трехдиагональной матрицей и решают методом прогонки (см. гл. 3).

Интерполяция сплайнами имеет очень простое и наглядное физико-механическое обоснование. Если попытаться совместить упругую металлическую линейку (или тонкий стержень) с узловыми точками, то форма, которую примет в этом случае линейка между соседними узлами будет совпадать с графиком  кубического сплайна (сплошная линия на рис. 4.4). С физической точки зрения линейка принимает форму, при которой оказывается минимальной её потенциальная энергия. Из курса сопротивления материалов известно, что при этом форма линейки будет описываться уравнением вида . Откуда следует, что между каждой парой соседних узлов функция  является полиномом степени не выше третьей. Вне узловых точек, где линейка свободна, она описывается уравнением прямой. Соответствующее поведение сплайна обеспечивается условием (4.19), в связи с чем, его иногда называют “условием свободных концов сплайнов”. Если к свободным концам линейки подвесить небольшие грузы, то линейка деформируется (пунктирная линия на рис. 4.4) и ее поведение вне узловых точек может быть описано, например, уравнением параболы. В этом случае условия (4.19) будут совершенно иными  (“условия нагруженных сплайнов”).

§ 4. Метод наименьших квадратов

Постановка задачи. Рассмотренный в предыдущем параграфе способ аппроксимации функций предполагает точное совпадение значений аппроксимирующей и заданной функций в определенных точках – узлах интерполяции. В некоторых случаях такой способ построения аппроксимирующей функции оказывается совершенно нецелесообразным. Например, если речь идет об обработке экспериментальных данных, полученных в результате наблюдений или измерений. Дело в том, что экспериментальные данные всегда содержат в себе ошибки различного рода, которые можно условно разбить на три категории по их происхождению и величине: систематические, случайные и грубые.

Систематические ошибки, как правило, дают отклонения в одну сторону от истинного значения измеряемой величины. Они могут быть постоянными или закономерно изменяться при повторении опыта, и их причины и характер известны. Систематические ошибки могут быть вызваны условиями эксперимента, дефектом измерительного прибора, его плохой градуировкой. Эти ошибки можно устранить наладкой аппаратуры или введением соответствующих поправок.

Случайные ошибки определяются большим числом факторов, которые не могут быть устранены или в полной мере учтены при измерении или при обработке результатов. Они имеют случайных, несистематический характер, дают отклонения от истинного значения в ту и другую стороны при повторении измерений. С вероятностной точки зрения математическое ожидание случайной ошибки равно нулю. Поэтому статистическая обработка данных позволяет определить величину случайной ошибки и уменьшить ее путем многократного повторения измерений. Однако многократное повторение измерений не всегда целесообразно, поскольку для этого могут потребоваться большие материальные или временные ресурсы. Значительно дешевле и быстрее можно получить уточненные данные надлежащей математической обработкой имеющихся результатов измерений.

Грубые ошибки сильно искажаю результат измерений и по величине  могут существенно превосходить систематические и случайные ошибки. Такие измерения отбрасываются и в дальнейшую обработку не включаются.

Таким образом, экспериментальные данные неизбежно содержат случайные ошибки. Как уже отмечалось, теоретически, случайная ошибка может быть уменьшена до сколь угодно малой величины путем проведения многократных измерений. Однако более эффективным способом избавления от случайных ошибок является подход, позволяющий получить уточненные данные надлежащей математической обработкой имеющихся результатов измерений

Один из распространенных способов математической обработки экспериментальных данных состоит в определении вида и параметров функциональной связи между исследуемыми величинами на основании результатов измерений.

Пусть, в ходе эксперимента по изучению зависимости между величинами y и x путем измерений была получена таблица значений:

 

x

y

 

Задача состоит в том, чтобы найти формулу

,                                           (4.21)

 приближенно выражающую эту зависимость. Приближенная зависимость (4.21), полученная на основании экспериментальных данных, называется эмпирической формулой.

Построение эмпирической формулы с условием обязательного прохождения ее графика через экспериментальные точки (как это имеет место при интерполировании) означало бы тщательное повторение имеющихся в экспериментальных данных случайных ошибок. Поэтому здесь задача состоит в отыскании такой функции, график которой не проходит через экспериментальные точки, но при этом правильно отражает характер исследуемой зависимости. Разумеется, что график такой функции должен проходить по возможности близко от всех экспериментальных точек.

Подбор эмпирических формул. Процесс построения эмпирической формулы для установленной из опыта функциональной зависимости распадается на два этапа: сначала выбирается вид формулы и уже после этого определяются численные значения параметров, для которых приближение оказывается наилучшим (в некотором смысле).

Если в ходе эксперимента исследовалась зависимость, характер которой известен, то вид эмпирической формулы может быть определен из теоретических соображений. Так, например, при исследовании зависимости силы тока на каком-либо участке электрической цепи, содержащем только линейные элементы (например, резисторы) от напряжения на этом участке вполне естественно ожидать, что зависимость будет иметь линейный характер

,

что просто следует из закона Ома для участка цепи .

Иначе обстоит дело, если характер исследуемой зависимости неизвестен, и никаких теоретических соображений по этому поводу сделать нельзя. В таких случаях поступают следующим образом. По экспериментальным данным строится точечный график. Затем проводится плавная кривая, по возможности наилучшим образом отражающая характер расположения точек. Полученная таким образом кривая сравнивается с графиками простых по виду аналитических функций и на основе такого сравнения делается выбор эмпирической формулы.

Наиболее часто используют следующие функции:

 

1)            2)                    3)

4)                5)                   6)

 

Поскольку сходство графиков, определяемое грубо “на глаз”, может оказаться обманчивым (особенно при неудачно выбранном масштабе), следует, выбрав какую либо формулу, прежде чем определять значения параметров, проверить возможность ее применения по методу выравнивания.

Метод выравнивания (линеаризация данных). Для описания метода выравнивания рассмотрим пример. На рис.4.5(а) представлен точечный график, построенный по экспериментальным данным. Из вида графика можно предположить, что зависимость  носит экспоненциальный характер:

.

Прологарифмируем правую и левую части этого уравнения:

.         (*)

Нетрудно заметить, что величины  и x оказываются связаны линейной зависимостью.

Если экспериментальные данные, т.е. пары точек  действительно связаны экспоненциальной зависимостью, то согласно (*), график зависимости  от  должен быть близок к линейному (рис. 4.5б). Если это так, то выбор эмпирической формулы сделан правильно.

Таким образом, метод выравнивания заключается в следующем: предполагая, что между x и y существует зависимость определенного вида, находят некоторые величины  и , которые при сделанном предположении оказываются связаны линейной зависимостью. Затем для заданных значений  и  вычисляют соответственные значения  и  и изображают их графически. Из графика легко увидеть, близка ли зависимость между  и  к линейной и, следовательно, подходит ли выбранная формула или нет.

Преобразования, которые сводят нелинейную зависимость к линейной называются линеаризующими преобразованиями.

В рассмотренном выше примере, преобразования, линеаризующие (выравнивающие) экспоненциальную зависимость имеют вид:

,   .

Ниже в таблице приведены линеаризующие преобразования для некоторых элементарных функций.

Таблица 1.

Функция

a

b

x

y

x

y

y

 

Определение параметров эмпирической формулы. Метод
наименьших квадратов
. Будем считать, что вид эмпирической формулы выбран, и ее можно представить следующим образом

,                                (4.22)

где  – известная функция,  – неизвестные параметры. Задача состоит в том, чтобы определить такие значения параметров, при которых эмпирическая формула дает хорошее приближение данной функции, значения которой в точках  равны  ().

Как уже отмечалось выше, здесь не ставиться условие совпадения экспериментальных данных  со значениями эмпирической функции (4.22) в точках . Следовательно, эти значения могут отличаться (отклоняться) друг от друга на величину

,     .           (4.23)

Задача нахождения наилучших значений параметров  сводится к минимизации отклонений .

Один из способов решения этой задачи – среднеквадратичное приближение, суть которого состоит в следующем. Составим сумму квадратов отклонений для всех табличных точек:

.                (4.24)

Параметры  эмпирической формулы (4.22) будем определять из условия минимума функции . В этом состоит метод наименьших квадратов (МНК)[1].

Ø Замечание. В теории вероятностей доказывается, что полученные таким методом значения параметров наиболее вероятны, если отклонения  подчиняются нормальному закону распределения. Более подробно вероятностное обоснование метода наименьших квадратов будет рассмотрено ниже. <

Поскольку неизвестные параметры  выступают здесь в роли независимых переменных функции Q, то ее минимум (экстремум) найдем, приравнивая нулю частные производные по этим переменным:

 

,                 (4.25)

или с учетом (4.24)

 

,               (4.26)

 

где  – значение частной производной от функции  по параметру  в точке .

Соотношения (4.26) – система линейных алгебраических уравнений для определения параметров .

Линейная аппроксимация. Рассмотрим применение метода наименьших квадратов для определения коэффициентов линейной функции:

.

Уравнения (4.26) в данном случае будут иметь простой вид

или

   .                       (4.27)

 

Разделив все слагаемые в уравнениях (4.27) на  получим

 ,                            (4.28)

где  введены следующие обозначения

 

,    ,

,    .

 

Решая систему уравнений (4.28) найдем формулы для коэффициентов а и b линейного уравнения:

 

,                                   (4.29)

 

.                                 (4.30)

 

В тех случаях, когда нелинейную зависимость удается свести к линейной методом выравнивания, формулы (4.29) и (4.30) могут быть использованы для нахождения параметров линеаризованной зависимости с последующим определением неизвестных параметров исходной нелинейной зависимости. Так, например, выравнивая экспоненциальную зависимость , получаем уравнение

 

,

 

где , , . .  По формулам (4.29) и (4.30) находим коэффициенты  и . С учетом введенных обозначений параметр a экспоненциальной зависимости определяется как .

Приближение обобщенными многочленами. В наиболее общем случае аппроксимирующую функцию  можно выбрать в виде линейной комбинации

 

,     (4.31)

 

где , , …,  – базисные функции; . Выбор конкретных базисных функций зависит от свойств аппроксимируемой функции, таких как периодичность, экспоненциальный или логарифмический характер, свойства симметрии, наличие асимптотики и т.д.

Уравнения (4.26) в данном случае будут иметь вид

 

.         (4.32)

Система линейных алгебраических уравнений (4.32) может быть компактно представлена в матричной форме

.                                    (4.33)

Матрица этой системы имеет следующий вид

             (4.34)

и называется матрицей Грама. Элементы матрица Грама являются скалярными произведениями базисных функций

.                            (4.35)

Вектор свободных членов g в уравнении (4.33) имеет вид

,                                          (4.36)

где элементы столбца определяются аналогично (4.35)

.                                 (4.37)

Отметим некоторые свойства матрицы Грама, полезные при программировании алгоритмов метода наименьших квадратов:

1) матрица симметрична, т.е. , что позволяет сократить объем вычислений при заполнении матрицы;

2) диагональные элементы матрицы положительны ;

3) определитель матрицы будет отличен от нуля, если в качестве базиса выбраны линейно независимые функции , при этом система (4.33) имеет единственное решение.

Степенной базис. Выберем базисные функции в виде последовательности степеней аргумента x, которые линейно независимы,

, , …, .

В этом случае, так же как и при интерполяции, мы будем аппроксимировать экспериментальную зависимость полиномом (см. ф. 4.2)

.         (4.38)

Однако степень полинома m выбирают обычно много меньше n (напомним, что при лагранжевой интерполяции ), ограничиваясь полиномами первой, второй и третьей степени. Если же выбрать , то на основании единственности интерполяционного полинома получим функцию , совпадающую с интерполяционным полиномом степени n, аппроксимирующая кривая пройдет через все экспериментальные точки и величина Q будет равна нулю. Последнее обстоятельство можно использовать для отладки и тестирования программ, реализующих алгоритмы МНК.

Матрица Грама  (4.34) и вектор свободных членов  (4.36) в случае степенного базиса будут иметь вид

,    

(4.39)

или

,  , ,   .       (4.40)

 

Вероятностное обоснование метода наименьших квадратов. Предположим, что истинная зависимость между величинами x и y выражается формулой ; экспериментальные точки отклоняются от этой зависимости вследствие неизбежных случайных ошибок измерений. Известно, что случайные ошибки измерения, как правило, подчиняются нормальному закону распределения. Допустим, что это так. Рассмотрим какое-нибудь выбранное значение аргумента . Результат измерения есть значение случайной величины , распределенной также по нормальному закону с математическим ожиданием  и со среднеквадратичным отклонением , характеризующем величину ошибки. Будем считать, что точность измерений во всех точках одинакова:

.

Тогда нормальный закон, по которому распределена величина , можно записать в виде

В результате опыта – ряда измерений – произошло следующее событие: случайные величины (,, …, ) приняли совокупность значений (,, …, ). Поставим задачу, так подобрать математические ожидания , , …, , чтобы вероятность этого события была максимальна (так называемый “принцип максимального правдоподобия”).

Строго говоря, вероятность любого из событий  равна нулю, так как величины  непрерывны; поэтому мы будем пользоваться не вероятностями событий , а вероятностями того, что величина  примет значение в интервале . Вероятность такого события равна произведению плотности вероятности  на элемент :

            (4.41)

Так как опыты независимы, то вероятность того, что система случайных величин (,, …, ), примет совокупность значений в интервалах   будет равна произведению вероятностей (4.41) для всех значений i.

.      (4.42)

Для того, чтобы эта вероятность была максимальна, необходимо, чтобы показатель степени экспоненты в (4.42) был бы минимальным. Отсюда мы получаем требование метода наименьших квадратов: для того, чтобы совокупность измеренных значений (,, …, ) была бы наивероятнейшей, нужно выбрать функцию , так, чтобы сумма квадратов отклонений измеренных значений  от  была минимальной:

.

Так обосновывается метод наименьших квадратов исходя из нормального закона распределения ошибок измерения и требования максимальной вероятности данной совокупности измеренных значений.

 

 

Вопросы для самоконтроля

1.     В чем состоит задача аппроксимации функций?

2.     В чем состоит особенность аппроксимации таблично заданной функции методом интерполирования?

3.     Как связана степень интерполяционного полинома с количеством узлов при глобальной интерполяции?

4.     В чем заключается идея локальной интерполяции?

5.     В чем отличие интерполяции кубическими сплайнами от кусочно-кубической интерполяции?

6.     Как осуществляется подбор эмпирической формулы для установленной из опыта зависимости?

7.     Каким образом сводится задача построения нелинейных аппроксимирующих функций к случаю линейной функции?

8.     В чем состоит идея метода наименьших квадратов и какова основная область его применения? Чем отличается этот метод от метода интерполяции?

9.     Как обосновывается метод наименьших квадратов с вероятностной точки зрения?

 

 



[1] Метод наименьших квадратов не является единственным способом минимизации отклонений ei. Существуют и другие способы решения этой задачи, в частности, метод выбранных точек и метод средних (см., например, [25]).