Задание функции потерь - Метод взвешенных наименьших квадратов

Большинство регрессионных моделей может быть оценено с использованием метода наименьших квадратов, т.е. с использованием в процедуре оценивания функции потерь, равной сумме квадратов отклонений наблюдаемых значений от предсказываемых. Однако, как говорилось в разделе Вводный обзор, имеются случаи, когда вполне приемлемо использование метода взвешенных наименьших квадратов.

Например, вычисление весов стандартных ошибок в линейной регрессионной модели основывается на предположении, что остатки одинаково распределены на всей области значений независимых переменных. Если же это предположение нарушается, нам следует рассматривать метод взвешенных наименьших квадратов.

Например, предположим, что конструкторская фирма заинтересована в оценке взаимосвязи между предлагаемым размером сделки и размером издержек при ее оформлении и заключении. Интуитивно понятно, что чем больше проект, тем больше изменчивость остатков вокруг оцениваемой линии регрессии.

Ниже показан точечный график входных данных, взятый из книги Neter, Wasserman and Kutner (1985, стр. 169; см. файл данных Bid_prep.sta, ниже). Заметим, что размер сделки (по горизонтальной оси) измеряется в миллионах долларов, а размер издержек измеряется в тысячах долларов. Как вы видите, изменчивость остатков вокруг линии регрессии действительно больше при больших величинах размера сделки.

Не вдаваясь в детали (см. работу Neter и др., 1985, стр. 167), на интуитивном уровне видно, что можно придать остаткам вес, обратно пропорциональный квадрату значения x; это соответствует ситуации, когда мы придаем одинаковое значение как большим, так и малым размерам сделок, и в результате, мы получим более стабильную оценку. Этот метод оценивания также называется методом взвешенных наименьших квадратов.

Задание уравнения и функции потерь. Давайте теперь зададим метод взвешенных наименьших квадратов в нашей программе. Откройте файл данных Bid_prep.sta с помощью меню Файл, выбрав команду Открыть; наиболее вероятно, что этот файл данных находится в директории /Examples/Datasets.

Выберите команду Нелинейное оценивание в меню Анализ - Углубленные методы анализа для отображения стартовой панели модуля Нелинейное оценивание. Далее выберите опцию Регрессия пользователя: произвольная функция потерь. В появившемся диалоговом окне Регрессионная функция пользователя нажмите кнопку Оцениваемая функция и функция потерь, на экране отобразится диалог Оцениваемая функция и функция потерь. Далее задайте стандартное уравнение линейной регрессии (bid_cost = intercpt + slope*bid_size) в поле Оцениваемая функция и следующую функцию: ((OBS-PRED)**2) * (1/bid_size**2) в поле Функция потерь.

Первая часть функции потерь (т.е. (OBS-PRED)**2) задает обычную сумму квадратов. Однако при каждом наблюдении потери оцениваются весом, равным единице на квадрат размера сделки (т.е. умножаются на (1/bid_size**2)).

Оценивание и результаты. Теперь нажмите кнопку OK в этом окне и еще раз в окне Регрессионная функция пользователя для отображения диалога Оценивание модели. Вы можете оценить эту модель, не меняя установленных по умолчанию значений в диалоговом окне Оценивание модели. Просто щелкните на кнопке OK, чтобы открыть диалог Результаты. Здесь нажмите кнопку Параметры и стандартные ошибки, активизируется таблица результатов с параметрами оценивания и их стандартными ошибками.

Приближенные значения стандартных ошибок для свободного члена и углового коэффициента равны .965 и .404, соответственно. Если вы повторите анализ данных, используя стандартный метод наименьших квадратов (или с помощью модуля Множественная регрессия), вы получите стандартные ошибки, равные 3.252 и .5285, соответственно. Отсюда, мы можем заключить, что оценки параметров, основанные на методе взвешенных наименьших квадратов, более стабильны (более устойчивы к случайным изменениям исследуемой выборки).

Оценивание по методу взвешенных наименьших квадратов с помощью модулей Множественной регрессии или Общие регрессионные модели. Вы можете вычислить оценку по методу взвешенных наименьших квадратов для линейных моделей с помощью модуля Множественная регрессия или Общие регрессионные модели. Чтобы повторить полученные результаты в этом примере, сначала добавьте переменную в файл Bid_prep.sta и (например, с именем Weight) и присвойте ей значения 1/bid_size**2; т.е. посчитайте те веса, которые мы ранее задавали для квадратов отклонений, изменяя функцию потерь обычного метода наименьших квадратов в диалоговом окне Оцениваемая функция и функция потерь. Поскольку модули Множественная регрессия, ОРМ и ГЛМ использует для оценивания параметров по методу взвешенных наименьших квадратов матричные алгебраические выражения (подробнее см., например, Neter, Wassermann and Kutner, 1985), вместо итеративной процедуры, использованной в этом примере, для больших файлов данных программа более эффективна, и часто работает гораздо быстрее.

Скачать "Задание функции"

Attachments:

File	Описание
Задание функции потерь - Метод взвешенных наименьших квадратов	Издержки по сделкам - Задание функции потерь - Bid_prep.sta