Слободянюк А.И. Метод наименьших квадратов в школьном физическом эксперименте // Фiзiка: праблемы. выкладання.– 1995. – Вып. 1. – С. 88-99.

К настоящему времени разработано несколько методов обработки результатов измерений. Наиболее употребительным и точным является метод наименьших квадратов (МНК).

В статье излагается суть метода наименьших квадратов, условия его применимости. Авторы предлагают примеры использования метода МНК.

Как правило, все физические эксперименты сводятся к измерению зависимости некоторой величины u от одной или нескольких других величин z 1 , z 2 , …, z n .

Необходимость получения зависимости (а не проведения «точечного» измерения при фиксированных значениях параметров) оправдывается следующими преимуществами:

• возможностью проверки теоретических построений;

• возможностью исключения трудноопределяемых параметров;

• в некоторых случаях более простым способом оценки погрешностей.

К настоящему времени разработано несколько методов обработки результатов измерений. Наиболее употребительным, простым и обоснованным является метод наименьших квадратов (МНК).

1. Суть метода наименьших квадратов, условия его применимости

Допустим, нам известен вид функциональной зависимости физической величины u от другой физической величины z , но не известны параметры этой зависимости a , b , c ,... . В результате проведенных измерений получена таблица значений u i при некоторых значениях . Требуется найти такие значения параметров a , b , c ,... при которых функция наилучшим образом описывает экспериментальные данные.

МНК утверждает, что «наилучшей» кривой будет такая, для которой сумма квадратов отклонений экспериментальных значений u i от значений функции минимальна. Таким образом, для определения параметров a , b , c ,... необходимо найти минимум функции

. (1)

Отметим, что Φ рассматривается здесь как функция параметров a , b , c ,..., так как величины u i , z i известны из экспериментальных данных.

В общем случае нахождение минимума функции (1) удается сделать далеко не всегда. Поэтому для практической реализации МНК часто применяют следующий искусственный прием: находят некоторое функциональное преобразование , которое приводит исследуемую зависимость к линейному виду

для которого реализация МНК наиболее проста. Примеры преобразований такого типа приведены в табл. 1. Некоторые преобразования будут рассмотрены ниже при изложении конкретных примеров.

Подставим выражение (2) в выражение (1)

(3)

и получим уравнения для определения параметров а и b . Для этого вычислим производные функции Φ по а и b и приравняем их к нулю,

(4)

Данная система является линейной и легко решается:

(5)

Однако полученные выражения не очень удобны для практических расчетов, поэтому перепишем их в несколько иной форме. Для этого обозначим

(6)

(угловые скобки означают среднее арифметическое по экспериментальным данным) и запишем

(7)

Из второго уравнения системы (4) выразим .

Выражения (6), (7) позволяют достаточно быстро с помощью непрограммируемого калькулятора рассчитать параметры линейной зависимости (2).

Сформулируем условия, при которых полученные таким способом значения параметров являются оптимальными (несмещенными, состоятельными, эффективными оценками ).

1. Результаты измерений являются независимыми.

2. Погрешности измерений подчиняются нормальному распределению.

3. Величины х i , известны точно.

Практически МНК в изложенной форме применяют, если погрешности измерений у i значительно (более чем на порядок) превосходят погрешности измерений величин x i .

При выполнении этих условий параметры а , b линейно выражаются через результаты измерений у i , (погрешностями измерений x i пренебрегаем), поэтому погрешность определения параметров может быть найдена стандартным методом как погрешность косвенного измерения. Несколько громоздкие выкладки приводят к следующим формулам для оценок погрешностей:

(8)

где , остальные обозначения сохраняем прежними:

(9)

Таким образом, формулы (6) – (9) полностью исчерпывают МНК для анализа линейной зависимости. Формулы (7) – (8) дают оценки только случайных погрешностей измерений. Их использование полностью оправдано, если этот тип погрешностей преобладает, что чаще всего бывает на практике. Свидетельством такого преобладания является заметный разброс точек (у i , х i ) на графике, когда эти точки не ложатся точно на прямую. Отметим, что постоянная систематическая приборная погрешность не влияет на определение параметра а и является аддитивной добавкой к погрешности параметра b , т.е. если приборная погрешность измерения величин у i равна , то .

Отметим также, что в некоторых случаях необходимо проводить несколько измерений величины u при одном и том же значении z . В этом случае никаких модификаций МНК не требуется. Достаточно рассматривать эти значения как независимые, т.е. включать в расчеты пары z i , u i ·с одними и теми же значениями z i . Иными словами, одному значению z может соответствовать несколько значений u . Естественно, не могут быть все z одинаковыми, иначе в формуле (5) в знаменателе окажется нуль.

2. Практическая реализация МНК для линейной зависимости на непрограммируемом калькуляторе

Как показывает опыт, лучше всего для расчетов параметров линейной зависимости и их погрешностей воспользоваться заранее приготовленным бланком (табл. 2). В колонке 1 записываются номера проведенных измерений (i = 1, 2, ..., Ν ); в колонках 2, 3 – результаты измерений величин z i , u i .

Первым шагом использования этого бланка для реализации МНК является заполнение колонок 4, 5. В них представляются результаты преобразований от z , u к величинам х , у , между которыми ищется линейная зависимость.

Расчетные формулы, представленные в колонке 6, допускают вычисления на калькуляторе без записи промежуточных результатов. Любой, даже самый простейший калькулятор, имеет одну ячейку памяти, в которой можно накапливать значения сумм. Расчеты следует проводить в такой последовательности:

1) вычислить – для этого последовательно ввести в память все значения х i , записанные в колонке 4, и после этого содержимое разделить на число пар измерений N, результат записать в колонке 7;

2) вычислить , последовательно набирая значения x i , накопить в памяти сумму их квадратов (набрать значения – «умножить» – «равно» – «в память +») и разделить на N , от полученного результата вычесть квадрат среднего, результат записать в колонке 7;

3 – 4) аналогично вычислить и ;

5) в памяти накопить сумму произведений , разделить на N , вычесть произведение средних и разделить на – получить значение параметра а .

Дальнейшие расчеты вполне очевидны.

3. Пример использования МНК

Задача . С помощью математического маятника измерить ускорение свободного падения.

Оборудование : нить, грузик, штатив, линейка, секундомер.

Решение . Период малых колебаний математического маятника Т определяется по формуле . Эту формулу можно преобразовать к виду .

Иными словами, между длиной маятника l и квадратом периода существует линейная связь, которую мы запишем в виде: , где (преобразование к линейному виду). Введение параметра b в данном случае не является обязательным, так как теоретически b = 0. Однако запись линейной зависимости в общем виде позволяет учесть автоматически погрешность в определении длины маятника, более того, в этом случае можно измерять не длину маятника, а только ее изменение. Если же все измерения проведены корректно, то МНК должен привести к результату , что и будет свидетельствовать о том, что .

Результаты измерений изменения длины маятника Δl (измерялось расстояние от точки подвеса до некоторой фиксированной точки на нити) и времени t двадцати колебаний (измерено с помощью ручных часов) приведены в табл. 3. Там же представлены результаты расчетов по изложенной методике.

Вычислив коэффициент а , можно найти значение ускорения свободного падения и его погрешность .

Окончательный результат м/с.

Значение параметра b не использовалось (смысл полученной величины – расстояние от фиксированной точки на нити до центра масс груза). Использование этого параметра оправдано сложностью точного определения положения центра тяжести.

4. Экспериментальные задачи, предполагающие использование МНК

В заключение предложим несколько экспериментальных задач, для решения которых следует использовать изложенный метод. Каждая задача снабжена краткими указаниями к решению. Так как в каждом случае формулы для оценок погрешностей очевидны, то здесь они не приводятся.

Задача 1 . Период колебаний математического маятника зависит от амплитуды j 0 (в радианах) по закону

(10)

Определите значение параметра β.

Оборудование : нить, груз, штатив, транспортир, электронный секундомер.

Указания к решению . Зависимость периода колебаний от амплитуды достаточно слабая. Чтобы ее обнаружить, необходимо проводить измерения с высокой точностью (–0,01 с), для чего требуется электронный секундомер.

Зависимость (10) представим в виде , где y = T ,b = Т 0 . По МНК для линейной зависимости можно найти значения параметров а и b , тогда искомый коэффициент определится по формуле (отметим, что теоретическое значение ).

Задача 2 . Определите фокусное расстояние собирающей линзы.

Оборудование : источник света, экран, линза, линейка.

Указания к решению . Воспользуемся формулой тонкой линзы

где d – расстояние от предмета до линзы, f – расстояние от линзы до изображения, F – фокусное расстояние линзы.

Обозначим , тогда . Если измерить несколько пар значений d i и f i и нанести на график точки , то эти точки должны лечь на прямую, которая отсекает на осях х , у отрезки, численно равные . Если обработать эту зависимость по МНК, можно получить и затем найти .

Задача 3 . Остывание воды описывается формулой , где Δ T –разность температур воды и воздуха в комнате, ΔT 0 – эта же разность в момент времени t = 0. Определите, сколько времени прошло с момента кипения воды.

Оборудование : горячая вода в сосуде, термометр, часы.

Указания к решению . Необходимо заранее закипятить воду и поставить ее остывать. Через некоторое время этот сосуд можно предоставить для выполнения задания. Следует иметь в виду, что время остывания стакана воды при комнатных условиях порядка 40 мин.

Для решения поставленной задачи необходимо измерить зависимость температуры воды T от времени t . Далее, перепишем приведенную формулу в виде , где T 0 – комнатная температура, T кип – температура кипения воды, t 0 – время, прошедшее от закипания до начала измерения. Так как в. формулу входят только разности температур, то можно пользоваться шкалой Цельсия. Прологарифмируем последнее выражение

(12)

и обозначим , x = t , получим линейную зависимость

Обрабатывая результаты измерений по МНК, найдем значения параметров а , b , из которых можно вычислить искомое значение времени t 0: .

Задача 4 . Исследуйте, как зависит сила сопротивления воздуха, действующая на падающие кусочки бумаги, от скорости последних.

Оборудование : кусочки бумаги, секундомер.

Указания к решению . Кусочки бумаги следует сделать квадратными (приблизительно см).и слегка изогнуть в виде «парашютиков», чтобы их падений было устойчивым. Отлично для этой же цели подходят одноразовые тарелочки, изготовленные из плотной бумаги или фольги.

Падение бумажных тарелочек (или парашютиков) происходит с постоянной скоростью, если пренебречь небольшим начальным этапом разгона. Сила сопротивления воздуха зависит от скорости u по закону

(требуется определить γ), при установившемся движении эта сила численно равна силе тяжести , следовательно, скорость установившегося движения , а время падения с высоты h :

(14)

Возьмем несколько (1, 2, 3, ..., 5) одинаковых тарелочек и измерим время падения t n сложенных вместе n тарелочек. Коэффициент с в формуле (13) будет одинаков (он зависит только от формы тарелочки), масса же падающих тел , где m 0 – масса одной тарелочки. Используем (14): , в логарифмической форме

(15)

Как следует из этой формулы, между и существует линейная связь , где , в b вошли все остальные постоянные величины, измерять которые нет необходимости.

Таким образом, измерив зависимость времени падения t n , от числа сложенных вместе n тарелочек и построив зависимость (15), по МНК можно найти значение параметра а и искомой величины .

При проведении эксперимента необходимо иметь в виду, что время падения кусочка бумаги см с высоты равно приблизительно 1,5 с, поэтому необходимо измерять время падения с погрешностью порядка 0,1 с. Следовательно, для каждого значения числа n нужно получить несколько значений t n . Подчеркнем, что в этой ситуации нет необходимости предварительно рассчитывать средние значения , можно (и нужно) рассматривать все результаты измерения как независимые и включать их в бланк расчета.

Еще одна задача подобного типа подробно рассмотрена в журнале «Фокус» .

5. Заключение

Рассмотренный алгоритм расчетов по МНК апробирован на летних сборах в лагере «Зубренок». Проведенные с победителями олимпиад занятия показали, что этот метод вполне доступен школьникам старших классов с углубленным изучением физики. После приобретения навыка работы на микрокалькуляторе расчеты занимают приблизительно 5–10 мин.

Необходимость изучения методов графической обработки результатов (по MHK или другим) обосновывается участием команд республики на международных соревнованиях, (олимпиадах, турнирах юных физиков), где графические методы занимают главенствующее место и оцениваются весьма высоко.

1. Тэйлор Дж. Введение в теорию ошибок. – М: Мир, 1985.

2. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983.

3. Тимофеев А.. Проверим Стокса? – Фокус. – 1995. – №2. – С. 44-49.

Приведение к линейной зависимости

Бланк расчета параметров линейной зависимости

Определение параметров зависимости
периода колебаний маятника от его длины

Метод наименьших квадратов является одним из наиболее распространенных и наиболее разработанных вследствие своей простоты и эффективности методов оценки параметров линейных . Вместе с тем, при его применении следует соблюдать определенную осторожность, поскольку построенные с его использованием модели могут не удовлетворять целому ряду требований к качеству их параметров и, вследствие этого, недостаточно “хорошо” отображать закономерности развития процесса .

Рассмотрим процедуру оценки параметров линейной эконометрической модели с помощью метода наименьших квадратов более подробно. Такая модель в общем виде может быть представлена уравнением (1.2):

y t = a 0 + a 1 х 1 t +...+ a n х nt + ε t .

Исходными данными при оценке параметров a 0 , a 1 ,..., a n является вектор значений зависимой переменной y = (y 1 , y 2 , ... , y T)" и матрица значений независимых переменных

в которой первый столбец, состоящий из единиц, соответствует коэффициенту модели .

Название свое метод наименьших квадратов получил, исходя из основного принципа, которому должны удовлетворять полученные на его основе оценки параметров: сумма квадратов ошибки модели должна быть минимальной.

Примеры решения задач методом наименьших квадратов

Пример 2.1. Торговое предприятие имеет сеть, состоящую из 12 магазинов, информация о деятельности которых представлена в табл. 2.1.

Руководство предприятия хотело бы знать, как зависит размер годового от торговой площади магазина.

Таблица 2.1

Решение методом наименьших квадратов. Обозначим — годовой товарооборот -го магазина, млн руб.; — торговая площадь -го магазина, тыс. м 2 .

Рис.2.1. Диаграмма рассеяния для примера 2.1

Для определения формы функциональной зависимости между переменными и построим диаграмму рассеяния (рис. 2.1).

На основании диаграммы рассеяния можно сделать вывод о позитивной зависимости годового товарооборота от торговой площади (т.е. у будет расти с ростом ). Наиболее подходящая форма функциональной связи — линейная .

Информация для проведения дальнейших расчетов представлена в табл. 2.2. С помощью метода наименьших квадратов оценим параметры линейной однофакторной эконометрической модели

Таблица 2.2

Таким образом,

Cледовательно, при увеличении торговой площади на 1 тыс. м 2 при прочих равных условиях среднегодовой товарооборот увеличивается на 67,8871 млн руб.

Пример 2.2. Руководство предприятия заметило, что годовой товарооборот зависит не только от торговой площади магазина (см. пример 2.1), но и от среднего числа посетителей. Соответствующая информация представлена в табл. 2.3.

Таблица 2.3

Решение. Обозначим — среднее число посетителей -го магазина в день, тыс. чел.

Для определения формы функциональной зависимости между переменными и построим диаграмму рассеяния (рис. 2.2).

На основании диаграммы рассеяния можно сделать вывод о позитивной зависимости годового товарооборота от среднего числа посетителей в день (т.е. у будет расти с ростом ). Форма функциональной зависимости — линейная.

Рис. 2.2. Диаграмма рассеяния для примера 2.2

Таблица 2.4

В целом необходимо определить параметры двухфакторной эконометрической модели

у t = a 0 + a 1 х 1 t + a 2 х 2 t + ε t

Информация, требующаяся для дальнейших расчетов, представлена в табл. 2.4.

Оценим параметры линейной двухфакторной эконометрической модели с помощью метода наименьших квадратов.

Таким образом,

Оценка коэффициента =61,6583 показывает, что при прочих равных условиях с увеличением торговой площади на 1 тыс. м 2 годовой товарооборот увеличится в среднем на 61,6583 млн руб.

Метод наименьших квадратов

Метод наименьших квадратов (МНК, OLS, Ordinary Least Squares ) - один из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным. Метод основан на минимизации суммы квадратов остатков регрессии.

Необходимо отметить, что собственно методом наименьших квадратов можно назвать метод решения задачи в любой области, если решение заключается или удовлетворяет некоторому критерию минимизации суммы квадратов некоторых функций от искомых переменных. Поэтому метод наименьших квадратов может применяться также для приближённого представления (аппроксимации) заданной функции другими (более простыми) функциями, при нахождении совокупности величин, удовлетворяющих уравнениям или ограничениям, количество которых превышает количество этих величин и т. д.

Сущность МНК

Пусть задана некоторая (параметрическая) модель вероятностной (регрессионной) зависимости между (объясняемой) переменной y и множеством факторов (объясняющих переменных) x

где - вектор неизвестных параметров модели

Пусть также имеются выборочные наблюдения значений указанных переменных. Пусть - номер наблюдения (). Тогда - значения переменных в -м наблюдении. Тогда при заданных значениях параметров b можно рассчитать теоретические (модельные) значения объясняемой переменной y:

Величина остатков зависит от значений параметров b.

Сущность МНК (обычного, классического) заключается в том, чтобы найти такие параметры b, при которых сумма квадратов остатков (англ. Residual Sum of Squares ) будет минимальной:

В общем случае решение этой задачи может осуществляться численными методами оптимизации (минимизации). В этом случае говорят о нелинейном МНК (NLS или NLLS - англ. Non-Linear Least Squares ). Во многих случаях можно получить аналитическое решение. Для решения задачи минимизации необходимо найти стационарные точки функции , продифференцировав её по неизвестным параметрам b, приравняв производные к нулю и решив полученную систему уравнений:

Если случайные ошибки модели имеют нормальное распределение , имеют одинаковую дисперсию и некоррелированы между собой, МНК-оценки параметров совпадают с оценками метода максимального правдоподобия (ММП) .

МНК в случае линейной модели

Пусть регрессионная зависимость является линейной:

Пусть y - вектор-столбец наблюдений объясняемой переменной, а - матрица наблюдений факторов (строки матрицы - векторы значений факторов в данном наблюдении, по столбцам - вектор значений данного фактора во всех наблюдениях). Матричное представление линейной модели имеет вид:

Тогда вектор оценок объясняемой переменной и вектор остатков регрессии будут равны

соответственно сумма квадратов остатков регрессии будет равна

Дифференцируя эту функцию по вектору параметров и приравняв производные к нулю, получим систему уравнений (в матричной форме):

Решение этой системы уравнений и дает общую формулу МНК-оценок для линейной модели:

Для аналитических целей оказывается полезным последнее представление этой формулы. Если в регрессионной модели данные центрированы , то в этом представлении первая матрица имеет смысл выборочной ковариационной матрицы факторов, а вторая - вектор ковариаций факторов с зависимой переменной. Если кроме того данные ещё и нормированы на СКО (то есть в конечном итоге стандартизированы ), то первая матрица имеет смысл выборочной корреляционной матрицы факторов, второй вектор - вектора выборочных корреляций факторов с зависимой переменной.

Немаловажное свойство МНК-оценок для моделей с константой - линия построенной регрессии проходит через центр тяжести выборочных данных, то есть выполняется равенство:

В частности, в крайнем случае, когда единственным регрессором является константа, получаем, что МНК-оценка единственного параметра (собственно константы) равна среднему значению объясняемой переменной. То есть среднее арифметическое, известное своими хорошими свойствами из законов больших чисел, также является МНК-оценкой - удовлетворяет критерию минимума суммы квадратов отклонений от неё.

Пример: простейшая (парная) регрессия

В случае парной линейной регрессии формулы расчета упрощаются (можно обойтись без матричной алгебры):

Свойства МНК-оценок

В первую очередь, отметим, что для линейных моделей МНК-оценки являются линейными оценками, как это следует из вышеприведённой формулы. Для несмещенности МНК-оценок необходимо и достаточно выполнения важнейшего условия регрессионного анализа : условное по факторам математическое ожидание случайной ошибки должно быть равно нулю. Данное условие, в частности, выполнено, если

1. математическое ожидание случайных ошибок равно нулю, и
2. факторы и случайные ошибки - независимые случайные величины.

Второе условие - условие экзогенности факторов - принципиальное. Если это свойство не выполнено, то можно считать, что практически любые оценки будут крайне неудовлетворительными: они не будут даже состоятельными (то есть даже очень большой объём данных не позволяет получить качественные оценки в этом случае). В классическом случае делается более сильное предположение о детерминированности факторов, в отличие от случайной ошибки, что автоматически означает выполнение условия экзогенности. В общем случае для состоятельности оценок достаточно выполнения условия экзогенности вместе со сходимостью матрицы к некоторой невырожденной матрице при увеличении объёма выборки до бесконечности.

Для того, чтобы кроме состоятельности и несмещенности , оценки (обычного) МНК были ещё и эффективными (наилучшими в классе линейных несмещенных оценок) необходимо выполнение дополнительных свойств случайной ошибки:

Данные предположения можно сформулировать для ковариационной матрицы вектора случайных ошибок

Линейная модель, удовлетворяющая таким условиям, называется классической . МНК-оценки для классической линейной регрессии являются несмещёнными , состоятельными и наиболее эффективными оценками в классе всех линейных несмещённых оценок (в англоязычной литературе иногда употребляют аббревиатуру BLUE (Best Linear Unbaised Estimator ) - наилучшая линейная несмещённая оценка; в отечественной литературе чаще приводится теорема Гаусса - Маркова). Как нетрудно показать, ковариационная матрица вектора оценок коэффициентов будет равна:

Обобщенный МНК

Метод наименьших квадратов допускает широкое обобщение. Вместо минимизации суммы квадратов остатков можно минимизировать некоторую положительно определенную квадратичную форму от вектора остатков , где - некоторая симметрическая положительно определенная весовая матрица. Обычный МНК является частным случаем данного подхода, когда весовая матрица пропорциональна единичной матрице. Как известно из теории симметрических матриц (или операторов) для таких матриц существует разложение . Следовательно, указанный функционал можно представить следующим образом , то есть этот функционал можно представить как сумму квадратов некоторых преобразованных «остатков». Таким образом, можно выделить класс методов наименьших квадратов - LS-методы (Least Squares).

Доказано (теорема Айткена), что для обобщенной линейной регрессионной модели (в которой на ковариационную матрицу случайных ошибок не налагается никаких ограничений) наиболее эффективными (в классе линейных несмещенных оценок) являются оценки т. н. обобщенного МНК (ОМНК, GLS - Generalized Least Squares) - LS-метода с весовой матрицей, равной обратной ковариационной матрице случайных ошибок: .

Можно показать, что формула ОМНК-оценок параметров линейной модели имеет вид

Ковариационная матрица этих оценок соответственно будет равна

Фактически сущность ОМНК заключается в определенном (линейном) преобразовании (P) исходных данных и применении обычного МНК к преобразованным данным. Цель этого преобразования - для преобразованных данных случайные ошибки уже удовлетворяют классическим предположениям.

Взвешенный МНК

В случае диагональной весовой матрицы (а значит и ковариационной матрицы случайных ошибок) имеем так называемый взвешенный МНК (WLS - Weighted Least Squares). В данном случае минимизируется взвешенная сумма квадратов остатков модели, то есть каждое наблюдение получает «вес», обратно пропорциональный дисперсии случайной ошибки в данном наблюдении: . Фактически данные преобразуются взвешиванием наблюдений (делением на величину, пропорциональную предполагаемому стандартному отклонению случайных ошибок), а к взвешенным данным применяется обычный МНК.

Некоторые частные случаи применения МНК на практике

Аппроксимация линейной зависимости

Рассмотрим случай, когда в результате изучения зависимости некоторой скалярной величины от некоторой скалярной величины (Это может быть, например, зависимость напряжения от силы тока : , где - постоянная величина, сопротивление проводника) было проведено измерений этих величин, в результате которых были получены значения и соответствующие им значения . Данные измерений должны быть записаны в таблице.

Таблица. Результаты измерений.

Вопрос звучит так: какое значение коэффициента можно подобрать, чтобы наилучшим образом описать зависимость ? Согласно МНК это значение должно быть таким, чтобы сумма квадратов отклонений величин от величин

была минимальной

Сумма квадратов отклонений имеет один экстремум - минимум, что позволяет нам использовать эту формулу . Найдём из этой формулы значение коэффициента . Для этого преобразуем её левую часть следующим образом:

Последняя формула позволяет нам найти значение коэффициента , что и требовалось в задаче.

История

До начала XIX в. учёные не имели определённых правил для решения системы уравнений , в которой число неизвестных меньше, чем число уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Гауссу (1795) принадлежит первое применение метода, а Лежандр (1805) независимо открыл и опубликовал его под современным названием (фр. Méthode des moindres quarrés ) . Лаплас связал метод с теорией вероятностей , а американский математик Эдрейн (1808) рассмотрел его теоретико-вероятностные приложения . Метод распространён и усовершенствован дальнейшими изысканиями Энке , Бесселя , Ганзена и других.

Альтернативное использование МНК

Идея метода наименьших квадратов может быть использована также в других случаях, не связанных напрямую с регрессионным анализом. Дело в том, что сумма квадратов является одной из наиболее распространенных мер близости для векторов (евклидова метрика в конечномерных пространствах).

Одно из применений - «решение» систем линейных уравнений, в которых число уравнений больше числа переменных

где матрица не квадратная, а прямоугольная размера .

Такая система уравнений, в общем случае не имеет решения (если ранг на самом деле больше числа переменных). Поэтому эту систему можно «решить» только в смысле выбора такого вектора , чтобы минимизировать «расстояние» между векторами и . Для этого можно применить критерий минимизации суммы квадратов разностей левой и правой частей уравнений системы, то есть . Нетрудно показать, что решение этой задачи минимизации приводит к решению следующей системы уравнений