книги / Эконометрика. Начальный курс
.pdf5.1. Стохастические регрессоры |
151 |
|
Е(е I X ) = |
Е (М у I X ) = M E (у | X ) = M X 0 = 0; |
|
V(e | X ) = |
V (M y | X ) = M V (у | Х ) М ' = <г2М . |
|
Отсюда следует, что
Е(е'е | X ) = a 2tr(M );
Е(52 |Х ) = ц2;
E(V(3) | X ) = E(a2(X 'X ) - ! |Х ) = Е{Э2 | Х )(Х 'Х ) - !
= а2(Х'Х)~1.
При выводе этих равенств мы постоянно используем тот факт, что сомножитель, функционально зависящий от условия (матри цы X ), например, М , можно выносить из-под знака условного ма тематического ожидания. Таким образом, оценки 0, а2 и V(/3) яв ляются условно (относительно X ) несмещенными. Используя еще одно свойство условного математического ожидания — правило повторного ожидания, нетрудно установить безусловную несме щенность этих оценок:
Е(3) = Е (Е (3 |Х )) = Е(/3)=/3;
Е<т2 = Е(Е(<т2 I X )) = а 2;
E(V(3)) = E(E(V(3) | X)) = ц2Е ((Х ,Х )-1) = V(3). |
(5.1) |
Нетрудно также доказать соответствующий вариант теоре мы Гаусса-Маркова, а именно, что среди всех линейных условно несмещенных оценок вектора 0 его МНК-оценка обладает наи меньшей условной ковариационной матрицей. Итак, при выпол нении условий 1), 2), 3) МНК-оценка в модели со стохастически ми регрессорами обладает свойствами, аналогичными свойствам МНК-оценки в классической модели.
Следует понимать, что условия 1), 2) касаются совместного распределения X и е. Из 1), в частности, вытекает некоррели
рованность |
X |
и е. Действительно, поскольку |
Е(е) = Е(Е(е |
| |
X )) = 0, |
то |
Cov(xy, £т) = Е(ху£т ) = Е(Е(хУ£то|Х )) |
= |
|
E(xj,-E(£m | X )) |
= 0. Обратное, вообще говоря, |
неверно. Однако |
152 |
Гл. 5 Некоторые обобщения множественной регрессии |
если X |
и е независимы и Е(е) = 0, Е(ее') = сг21, то выполнены |
1) и 2). |
|
Остановимся, наконец, на проблеме состоятельности МНКоценки в этой модели. Напомним, что оценка параметра называет ся состоятельной, если ее предел по вероятности при увеличении числа наблюдений стремится к истинному значению параметра. В данном случае требуется сформулировать условия, при выпол нении которых р Нпц..,^/3 = /3. Итак, пусть п —►оо (напомним, что п представляет количество наблюдений и, следовательно, при увеличении п возрастают размерности векторов у и е, увеличи вается количество строк матрицы X , в то время как число ее столбцов и размерность вектора /3 остаются равными к). Сделаем элементарное преобразование:
/3 = ( Х ' Х У ' Х ' у = /3 + ( Х ' Х ^ Х ' е
= 0 + Ц , х ' х У ' Ц х '‘ ) |
<52> |
ипредположим, что выполнены следующие условия:
4)существует р Ншп_ 00 (1/п) Х ' Х = А , причем матрица А по ложительно определена (и, следовательно, существует Л -1);
5)plimn_ 00 (1/n) X ' t = 0.
Тогда из теоремы Слуцкого (см. приложение МС, п. 5) и (5.2) следует, что plimn_ 00/3 = /3, т. е. оценка /3 состоятельна.
В некоторых случаях условия 4), 5) достаточно легко прове ряются. Пусть, например, строки матрицы X независимы и оди наково распределены (как случайные /s-мерные векторы), век тор ошибок е состоит из независимых и одинаково распреде ленных компонент, Ее = 0, X и е независимы. Иными слова ми, значения объясняющих переменных в каждом наблюдении выбираются из одной и той же генеральной совокупности, при чем наблюдения между собой независимы и не зависят от слу чайных ошибок. Обозначим = Е(х«х#), i , j = 1,...,& (эти числя не зависят от t, поскольку строки матрицы X одинако во распределены), и пусть А = (tty). Тогда по закону боль ших чисел plimn_ 00(l/ n ) X fX = A, и если распределение каждой
5.1. Стохастические регрессоры |
153 |
строки ие сосредоточено на какой-либо гиперплоскости простран ства Я*, то матрица А положительно определена» Аналогично,
Р( ( l / n J X 'e ) . = Е (xti£t) =0 в силу независимости Х н е .
Подчеркнем, что из представления (5.2) следует, что при нали чии корреляции между Х н е МНК-оценка будет, вообще говоря, смещенной и несостоятельной.
Замечание. В рамках ограничений 1), 2), 3) для состоятельно сти МНК-оценки достаточно требовать выполнения условия 4) (с точностью до некоторых математических тонкостей), так как в силу (5.1)
У0) =о2Е((Х'Х)-!) = -<72е((-Х 'Х ^ j -* О при п —» оо |
|
п |
V\п |
и, следовательно, plimn_ 0O/3 = (3. Мы, однако, привели условия
4)и 5) ввиду их большей универсальности: как легко понять, для доказательства состоятельности МНК-оценки при выполнении 4),
5)требуются только равенство у = Х(3 + е и вид МНК-оценки, а условия 1), 2), 3) явно не используются.
Можно сделать следующие выводы:
1)если в регрессионной модели объясняющие переменные слу чайны и выполнены условия 1)-3) (в частности, регрессоры
иошибки должны быть некоррелированы), то МНК-оценка
исвязанные с ней статистики (оценка дисперсии и ковариа ционной матрицы) являются как условно (при фиксирован ной матрице X ), так и безусловно несмещенными;
2)имеет место условный вариант теоремы Гаусса-Маркова;
3)при выполнении условий 4), 5) МНК-оценка состоятельна, в частности, это справедливо, если в каждом наблюдении значения объясняющих переменных выбираются из одной и той же генеральной совокупности, а ошибки независимы, одинаково распределены и не зависят от регрессоров;
4)если регрессоры и ошибки коррелированы, то МНК-оценка будет в общем случае смещенной и несостоятельной.
154 |
Гл. 5. Некоторые обобщения множественной регрессии |
5.2.Обобщенный метод наименьших квадратов
Одно из предположений классической регрессионной модели со стоит в том, что случайные ошибки некоррелироваиы между со бой и имеют постоянную дисперсию. В тех случаях, когда на блюдаемые объекты достаточно однородны, не сильно отличают ся друг от друга, такое допущение оправдано. Однако во многих ситуациях такое предположение нереалистично. Например, если исследуется зависимость расходов на питание в семье от ее общего дохода, то естественно ожидать, что разброс в данных будет вы ше для семей с более высоким доходом. Это означает, что диспер сии зависимых величин (а следовательно, и случайных ошибок) не постоянны. Это явление в эконометрике называется гетероскедастичностъю (в отличие от гомоскедастпичиости — равенства дисперсий). Кроме того, при анализе временных рядов в довольно редких случаях можно считать, что наблюдения некоррелированы во времени. Как правило, значение исследуемой величины в текущий момент времени статистически зависит от ее значений в прошлом, что означает наличие корреляции между ошибками. Поэтому естественно изучать модели регрессии без предположе ния, что V(e) = а1!.
В данном разделе мы будем рассматривать так называемую
обобщенную регрессионную модель |
|
у = Х 0 + е, |
(5.3) |
где у — п х 1 вектор зависимой переменной, X — n x к матрица независимых переменных, /3 — к х 1 вектор неизвестных парамет ров, е — п х 1 вектор случайных ошибок, причем:
1)матрица X неслучайна и имеет полный ранг;
2)Ее = 0;
3)V(e) = ft, и матрица ft положительно определена.
Иными словами, обобщенная модель отличается от классиче ской только условием 3).
5.2. Обобщенный метод наименьших квадратов |
155 |
1. Обычный метод наименьших квадратов. К системе (5.3) можно применить обычный метод наименьших квадратов. Пусть
/3OLS = /3 = ( Х ' Х ) ~ 1Х ' у — МНК-оценка вектора /3, е = М у = (I —Х ( Х ' Х ) ~ 1Х ' ) у — вектор остатков. Тогда нетрудно прове рить, что
Е ф ) = (3 + ( Х ' Х ) - ' Х ' Е ( е ) = (3,
т. е. (3 является несмещенной оценкой,
Уф) = (Х ' Х ) - хХ ' У { у ) Х ( Х ' Х ) - 1 = ( Х ,Х ) ~ 1Х ,И Х ( Х ' Х ) - \
Е(е) = M E (у) = 0, V(e) = М И М ' = М И М
(напомним, что М 2 = М , М ' = М и M X = 0). Поэтому для математического ожидания суммы квадратов остатков получаем следующее выражение (ср. (3.17)):
Е(е'е) = tr (V(e)) = tr ( М И М ) = tr (М 2И) = tr (МИ).
Следовательно, |
|
|
|
Е(<?2) = Е е'е |
tr ( МИ) |
|
п — к |
п — к |
Таким образом, если в качестве оценки матрицы ковариа |
||
ций V(/3) |
взять стандартную оценку V((3) = д2( Х ' Х ) ~ г, то |
|
E(V(/9)) = |
(1/(п —к)) tr (М О )(Х 'Х )-1, что, в общем случае, не |
совпадает с V(/3). Значит, оценка матрицы ковариаций вектора 13, получаемая при использовании обычного метода наименьших квадратов, является смещенной.
Заметим, что с очевидными изменениями, подобно тому, как это сделано в п. 5.1, можно получить аналогичные результаты для стохастических регрессоров X . В частности,
Уф) = Е ((Х 'Х )"1Х 'П Х (Х 'Х )-1)
=И(;х'*Г(;х'пх)(;х'хГ)'
откуда следует, что если при п —* оо матрицы (1/ п ) Х ' Х и (1/ п ) Х ' П Х стремятся к положительно определенным матрицам,
156 Гл. 5. Некоторые обобщения множественной регрессии
*»Ч|
то V(/3) —> 0 и, значит, оценка /3 будет состоятельной. Однако в отличие от классической модели, она не будет оптимальной в смысле теоремы Гаусса-Маркова. Для получения эффективной оценки надо воспользоваться так называемым обобщенным ме тодом наименьших квадратов (ОМНК).
2. Обобщенный метод наименьших квадратов. Ответ на вопрос об эффективной линейной несмещенной оценке вектора (3 для мо дели (5.3) дает следующая теорема.
Теорема Айткена. В классе линейных несмещенных оценок вектора /3 для обобщенной регрессионной модели оценка
3* = (Х 'П -1Х ) - 1Х 'П -1у |
(5.4) |
имеет наименьшую матрицу ковариаций.
Д о к а з а т е л ь с т в о . Нетрудно проверить, что оценка (5.4) действительно несмещена. Далее, в силу условия 3) матрица О -1 положительно определена и симметрична, поэтому существу ет такая невырожденная п х п матрица Р , что
Р 'Р = О "1. |
(5.5) |
В самом деле, так как П-1 симметрична, то существует ортого нальная матрица S , такая что ft-1 = S 'A S, где А — диагональная матрица, на главной диагонали которой стоят собственные чис ла А», г = 1,... ,п, матрицы ft-1. В силу положительной опреде ленности О-1 все они положительны, поэтому можно определить диагональную м атриц А1/2, на главной диагонали которой сто ят числа А|/2, г = 1,... ,п. Теперь достаточно взять Р = A1/2 S. Заметим, что представление (5.5) не единственно, но для наших рассуждений это несущественно. Умножим равенство (5.3) слева на Р и обозначим у* = Р у , X * = Р Х , е* = Р е. Таким образом,
|
у* = Х*(3 + е*, |
(5.6) |
|
причем Е(е*) = |
0 и V(e*) = РПР* = I , поскольку в силу (5.5) |
||
Р ' = П *Р |
Кроме того, rank(X*) |
= к, так как Р |
невыро |
ждена. Это означает, что для модели |
(5.6) выполнены условия |
5.2. Обобщенный метод наименьших квадратов |
157 |
теоремы Гаусса-Маркова и, следовательно, оптимальной в классе несмещенных и линейных по у* оценок вектора /3 является оценка (см. (3.4))
3* = ( Х ^ Х ^ - ' Х ^ у * = (X'Р1Р X ) ~ lX 'Р 1Р у
= (Х 'П - , Х ) - , Х ' П - 1у, (5.7)
что совпадает с (5.4). Остается заметить, что поскольку матрица Р невырождена, то класс оценок, линейных по у*, совпадает с классом оценок, линейных по у. Доказательство закончено.
Так как V(y) = О, то из (5.7) непосредственно следует, что
V(3*) = |
(X'Sl~lX ) - \ |
(5.8) |
Жф |
А |
Generalized |
Оценку /3 часто будем |
обозначать )3GLS (GLS, |
Least Squares). Нетрудно проверить, что если ft = а21, т.е. мо дель является классической, то /3QLS = /^OLS> как и следовало ожидать. Использование термина «обобщенный метод наимень-» ших квадратов» объясняется следующим соображением. Как по казано при доказательстве теоремы Айткена, оценка /3GLS полу
чается минимизащией по Ь сумм квадратов отклонений /(6) |
= |
|
е*'е* |
= (у* —Х*Ь)'(у* —Х*Ъ) для системы (5.6). Но f(b) |
= |
(у - |
ХЬ)'Р,Р (у - ХЬ) = (у - ХЬ)'П-'(у - ХЬ) = e 'f t^ e , т.е. |
для построения оптимальной оценки в модели (5.3) надо миними зировать «обобщенную» сумму квадратов отклонений e 'ft-1e.
Проверять гипотезы о наличии линейных ограничений можно как непосредственно, используя (5.8), так и с помощью вспомо гательной регрессии (5.6). Например, если в предположении нор мальности ошибок е требуется проверить гипотезу Но: Д/3 = г против альтернативной, то можно воспользоваться тем фактом, что статистика
(R0* - г У М Я Р ) ) - 1^ * - г )
= (ДЗ* - г)/(Я (Х /П -1ЛГ)-1# ) _1(j?3* - г) (5.9)
при гипотезе Но имеет распределение х2(д), где q = гапк(Д) (при ложение МС, п. 4, N9). А можно точно так же, как и в п. (3.5),
158 |
Гл. 5. Некоторые обобщения множественной регрессии |
для системы |
(5.6) провести две регрессии — без ограничения и |
с ограничением, получить соответствующие остатки e(jR и е ^ и составить статистику
р _ (eReR ~ eUReUR.)/Я
(eUReU R )/(n —
которая при гипотезе Но имеет распределение Фишера F(q, п —к). Бели вектор ошибок е имеет многомерное нормальное распре деление, то можно проверить, что оценка вектора /3, получаемая с помощью обобщенного метода наименьших квадратов, совпа дает с оценкой максимального правдоподобия (естественно, при
известной матрице ft): /3GLs = Эмь-
Для обобщенной регрессионной модели, в отличие от класси ческой, коэффициент детерминации
р2 _ I _ (У ~ -^3GLS)'(у ~ * 3 GLS)
U v t - y ) 2
не может служить удовлетворительной мерой качества подгонки. В общем случае он даже не обязан лежать в интервале [0, 1], а добавление или удаление независимой переменной не обязательно приводит к его увеличению или уменьшению. Также нет особого смысла ориентироваться на коэффициент детерминации для ре грессии (5.6): во-первых, даже если среди исходных регрессоров X содержался постоянный член, в преобразованных регрессорах X* его может не оказаться, а во-вторых, в общем случае труд но установить связь между качеством подгонки вспомогательной модели (5.6) и исходной модели.
Подчеркнем еще раз, что для применения ОМНК необходимо знать матрицу ft, что на практике бывает крайне редко. Поэто му вполне естественным кажется такой способ: оценить (какимнибудь образом) матрицу ft, а затем использовать эту оценку в формуле (5.4) вместо ft. Этот подход составляет суть так назы ваемого доступного обобщенного метода наименьших квадратов (Feasible Generalized Least Squares), о котором подробнее говорит ся в разделе 5.3. Построенную с его помощью оценку обозначим
5.2. Обобщенный метод наименьших квадратов |
159 |
/3FGLS. Следует понимать, что в общем случал матрица П содер жит п(п + 1)/2 неизвестных параметров (в силу ее симметрично сти) и, имея только п наблюдений, нет никакой надежды получить для нее «хорошую» оценку. Поэтому для получения содержатель ных результатов приходится вводить дополнительные условия на структуру матрицы fI.
Выводы:
1)для^обобщенной регрессионной модели обычная МНК-оцен- ка /3QLS вектора /3 является несмещенной, состоятельной, но в отличие от классического случая не эффективной (в смыс ле минимума ковариащионной матрицы);
2)оценка матрицы ковариаций вектора /3QLS является смещен ной;
3)эффективной в классе линейных несмещенных оценок яв ляется оценка (5.4), получаемая обобщенным методом наи меньших квадратов (ОМНК);
4)для нахождения ОМНК-оценки /3QLS необходимо знать ко вариационную матрицу ft вектора ошибок;
5)ОМНК-оценка может быть получена применением обычно го метода наименьших квадратов к вспомогательной систе ме (5.6), получаемой линейным преобразованием исходной модели (5.3);
6)проверка гипотез о наличии линейных ограничений прово дится так же, как и в классическом случае либо непосред ственно, либо с помощью остатков регрессий без ограниче ний и с ограничением для вспомогательной модели (5.6);
7)в случае нормального распределения вектора ошибок ОМНК-оценка совпадает с оценкой максимального правдо подобия;
8)коэффициент детерминации не может служить удовлетвори тельной мерой качества подгонки при использовании обоб щенного метода наименьших квадратов.
160 |
Гл. 5. Некоторые обобщения множественной регрессии |
5.3.Доступный обобщенный метод наименьших квадратов
Рассмотрим стандартную линейную модель
у = Х/3 + е, |
(5.10) |
где
e~W(0,<72ft). (5.11)
В случае когда п х п нормированная1 матрица ковариаций П полностью известна, то, как было показано в разделе 5.2, наилуч шая линейная несмещенная оценка (а также оценка максималь ного правдоподобия для (3) задается формулой (см. (5.4))
3 = (Х '1 Г 1Х ) - 1А:'1Г1у |
(5.12) |
и распределена но нормальному закону:
3 ~ Л ^ Д ^ Л - 'П " 1* ) - 1). |
(5.13) |
Напомним (п. 5.2), что оценка (5.12) называется оценкой обоб щенного метода наименьших квадратов и может быть получена из решения оптимизационной задачи*
гшп (у - Х (3 )'П г\у - Х(3). |
(5.14) |
На практике матрица ft почти никогда неизвестна. Мы пред положим, что нам задана структура матрицы ft (т. е. форма ее функциональной зависимости от сравнительно небольшого коли чества параметров), но не сами значения параметров. Например, мы можем знать (или допустить), что ошибки в (5.10) порожда ются авторегрессионным процессом первого порядка, так что
1 |
Р |
Рп-П |
|
Р |
1 |
) |
(5.15) |
f t( p ) = |
|
||
„п—1 |
|
Р |
|
р |
1 |
|
|
|
|
'Здесь мы используем нормировку tr(fl) = 1.