Практическое занятие 12.1.
Метод наименьших квадратов
Пусть в некоторой предметной области исследуются показатели Х, У, которые имеют количественное выражение. При этом есть все основания полагать, что показатель У зависит от показателя Х. Это предположение может быть как научной гипотезой, так и основываться на элементарном здравом смысле.
Пример.
Х – торговая площадь продовольственного магазина, кв.м., У – годовой товарооборот продовольственного магазина, млн. руб.
Совершенно понятно, что чем больше площадь магазина, тем в большинстве случаев будет больше его товарооборот.
Предположим, что после проведения n наблюдений в нашем распоряжении оказываются числовые данные:
|
X |
|
|
… |
|
|
Y |
|
|
… |
|
Понятно, что х1 – это площадь 1-го магазина, у1 – его годовой товарооборот, х2 – площадь 2-го магазина, у2 – его годовой товарооборот и т.д. Кстати, довольно точную оценку товарооборота можно получить средствами математической статистики.
Табличные данные также можно записать в виде точек М1(х1;у1), М2(х2;у2), …, Мn(хn;уn), и изобразить в привычной для нас декартовой системе координат ХОУ.
Нужно подобрать функцию y=f(x), график которой проходит как можно ближе к точкам M1, M2, …, Mn. Такую функцию называют аппроксимирующей (аппроксимация – приближение) или теоретической функцией. Вообще говоря, тут сразу появляется очевидный вариант такой функции – многочлен высокой степени, график которого проходит через все точки. Но этот вариант сложен, а зачастую и просто некорректен (т.к. график будет всё время «петлять» и плохо отражать главную тенденцию).
Таким образом, разыскиваемая функция должна быть достаточно проста и в то же время отражать зависимость адекватно. Один из методов нахождения таких функций называется методом наименьших квадратов.
Сначала разберём идею метода наименьших квадратов в общем виде: Пусть некоторая функция y=f(x) приближает экспериментальные данные М1(х1;у1), М2(х2;у2), …, Мn(хn;уn):
Как оценить точность данного приближения? Вычислим f(x1), f(x2),…, f(xn) и разности (отклонения) e1=y1-f(x1), e2=y2-f(x2),…, en=yn-f(xn) между экспериментальными и функциональными значениями. Первая мысль, которая приходит в голову – это оценить, насколько велика сумма е1+е2+…+еn, но проблема состоит в том, что разности могут быть и отрицательны (например, e2=y2-f(x2)<0) и отклонения в результате такого суммирования будут взаимно уничтожаться.
Поэтому в качестве оценки точности приближения
принимают сумму модулей отклонений: 
или
в свернутом виде:
.
Такой метод существует и называется он методом наименьших модулей.
Однако на практике получил гораздо большее распространение метод наименьших квадратов, в котором возможные отрицательные значения ликвидируются не модулем, а возведением отклонений в квадрат:
,
после чего усилия направлены на подбор такой функции y=f(x), чтобы сумма квадратов отклонений
была как можно меньше.
Как отмечалось выше, подбираемая функция должна быть достаточно проста – но ведь и таких функций тоже немало: линейная, гиперболическая, экспоненциальная, логарифмическая, квадратичная и т.д. Какой класс функций выбрать для исследования? Примитивный, но эффективный приём:
– Проще всего изобразить точки M1, M2, …, Mn на чертеже и проанализировать их расположение.
Если они имеют тенденцию располагаться по
прямой, то следует искать уравнение прямой y=f(x)=ax+b
с
оптимальными значениями a
и b. Иными словами, задача
состоит в нахождении таких коэффициентов a
и
b – чтобы сумма квадратов отклонений 
была
наименьшей.
Обратим внимание, что речь идёт о функции двух переменных, аргументами которой являются параметры разыскиваемых зависимостей:
.
Таким образом, требуется решить стандартную задачу – найти минимум функции двух переменных.
Предположим, что точки М1(х1;у1), М2(х2;у2), …, Мn(хn;уn) имеют тенденцию располагаться по прямой линии и есть все основания полагать наличие линейной зависимости y=ax+b товарооборота от торговой площади. Найдём такие коэффициенты a и b, чтобы сумма квадратов отклонений
была наименьшей.
Для решения этой задачи, сначала найдем частные производные 1-го порядка. Согласно правилу линейности операции дифференцирования можно находить производные под значком суммы:
Получим систему:
Сформулируем алгоритм решения нашей задачи:
Координаты точек М1(х1;у1), М2(х2;у2), …, Мn(хn;уn) заданы.
Суммы 
найти
несложно.
Составляем простейшую систему двух линейных уравнений с двумя неизвестными (a и b).
Решаем систему, например, методом Крамера, в результате чего получаем стационарную точку S(a*;b*).
Проверяя достаточное условие экстремума,
можно убедиться, что в данной точке функция 
достигает
именно минимума.
Вывод:
Функция y=f(x)=a*x+b* наилучшим образом (по крайне мере, по сравнению с любой другой линейной функцией) приближает экспериментальные точки M1, M2, …, Mn. То есть график этой функции проходит максимально близко к эмпирическим точкам. В традициях математической статистики полученную аппроксимирующую функцию также называют уравнением парной линейной регрессии.
Рассматриваемая задача имеет большое практическое значение. В ситуации с нашим примером, уравнение y=f(x)=a*x+b* позволяет прогнозировать, какой товарооборот (у) будет у магазина при том или ином значении торговой площади (том или ином значении х). Понятно,что полученный прогноз будет лишь прогнозом, но во многих случаях он окажется достаточно точным.
Контрольные вопросы
1. Аппроксимирующая функция
2. Метод наименьших квадратов
3. Отклонения между экспериментальными и функциональными значениями.
4. Минимум функции двух переменных
5. Уравнением парной линейной регрессии