книги / Основы теории оценивания с приложениями к задачам обработки навигационной информации. Ч. 1 Введение в теорию оценивания
.pdf1.4.Условная плотность распределения вероятностей
Внастоящем разделе вводится имеющее существенное значе ние в теории оценивания понятие условной (апостериорной) ф.п.р.в. и рассматривается правило и пример вычисления парамет ров условной гауссовской плотности двух векторов при условии, что один из них зафиксирован. Обсуждается задача регрессии, имеющая тесную связь с байесовскими задачами оценивания, ко торые рассматриваются в главе 2.
1.4.1.Формулы Байеса. Условные математическое ожидание
иматрица ковариаций
Пусть заданы два случайных вектора х и у , для которых будем полагать известной совместную ф.п.р.в. / хд (х, у ) . Осуществляя интегрирование этой функции по х или у, можем получить со гласно (1.2.5) соответственно ф.п.р.в. j\.(y) и / х(х), определяю
щие статистические свойства для каждого вектора по отдельности. Если х и у независимы, то [16,44]
Л,у (X V) = Л- (-v)./y (г)
В более общем случае справедлива формула умножения плотностей вероятности
Л ,>• (x>y) = f G v /r)/y(y) = / (y/x)fx(x). (1.4.1)
Входящие в эти соотношения плотности f ( x / y ) н f ( y lx) оп ределяют статистические свойства векторов х и у при условии, что вектор, стоящий справа от черты фиксирован. Поэтому эти плотности называются условными плотностями распределения вероятности или просто условными плотностями. При решении задач оценивания условные плотности / (х / у) и f ( y ! х) также называют апостериорными плотностями, тем самым подчерки вается тот факт, что эти плотности соответствуют апостериорной ситуации, т.е. такой, при которой одни из векторов, связанный с оцениваемым вектором, фиксируется. В этом случае исходные
81
плотности / х (.т), f y (у) |
принято называть априорными. Из соот |
|
ношения (1.4.1) следует, что |
|
|
Л ,у (*>-)') |
/х,у (Х,у) |
|
/(*/)') =■ |
|
(1.4.2) |
J |
fx#(x>y)dx |
/у (У) ’ |
|
||
а |
|
|
Л,у(*о;) |
Л,у(^.у) |
|
/О '/* ) |
|
(1.4.3) |
/* (* )
Соотношения (1.4.2), (1.4.3) известны как формулы Байеса [16]. Выражения (1.4.1)-(1.4.3) обеспечивают возможность нахож дения условных плотностей по известной совместной плотности
/ Х0Д х,у). Из них, в частности, следует, что при независимости векторов х и у условные и априорные ф.п.р.в. между собой сов
падают.
Согласно (14.2) условную плотность формально можно полу
чить в два приема. Сначала в |
совместной плотности / Х)У(х, >’) |
|||
фиксируется значение |
у , т. е. |
/ x.v(.v,у =у*) |
Относительно х |
|
функция |
/ х,у (х, У = У*) |
будет пропорциональна условной плотно |
||
сти, г.е. |
/ х у (х, у = у*) ос / ( х / у = у* ). Иными |
словами, условная |
||
плотность как функция |
х подобна совместной ф.п.р.в. при фикси |
|||
рованном |
значении у |
Для того чтобы функция / Х>у(х,у = у*) |
||
приобрела свойства плотности, необходимо разделить ее на неза
висящую от |
х величину, |
представляющую собой интеграл от |
э|е |
п0 аргументу |
х, т. е. обеспечить выполнение усло |
/х,у(*>У = У ) |
вия нормировки (1.2.4). Полученная в результате величина совпа дете / У(у = у*) в силу условия согласованности (1.2.5).
Математическое ожидание х(у) = j x f (х I y)dx и матрицу ко вариаций Р х/> = J (х - х (у))(х - х (у ))г / ( х / y )d x , соответст
вующие f ( x l у), называют условным математическим ожида нием и условной матрицей ковариаций. В случае когда речь идет о скалярной с.в., используют понятие условной дисперсии.
Условные плотности распределения обладают теми же свойст вами, что и обычные. В частности, если рассмотреть плотность для трех векторов / x,y)Z(х>У>2)->то, привлекая условие согласованно
сти (1.2.5), можно записать следующие равенства: |
|
Д х / z) = J /(л-, у / z)dy; |
( 1.4.4) |
f( x / z) = J f{ x / y, г)Д у / z)dy. |
(1.4.5) |
Выражения (1.4.4), (1.4.5) удобно использовать в случае необ ходимости исключения аргументов, стоящих слева и справа от черты в условной плотности [87].
1.4.2. Правила нахождения параметров условной гауссовской плотности
Получим соотношения, позволяющие находить параметры ус ловной гауссовской плотности распределения [50]. Предполо жим, что совместная ф.п.р.в. двух гауссовских векторов х и у
размерности п и т имеет вид
Л,у (*»У) = ^ ( х т,;'т)Т;(xTJ T)Т , |
(1.4.6) |
|
рху |
|
|
где |
' |
|
(рч>')т р У |
|
|
Ясно, что для каждого вектора по отдельности для ф.п.р.в.
справедливо представление: |
|
/ х(х) = ^ (х ;х ,Р Л); |
(1.4.7) |
/ уО О = л ^ р-У)- |
(1.4.8) |
Найдем параметры условной плотности распределения вероят ности f(xlÿ), полагая фиксированным значение вектора у.
Предварительно представим обратную матрицу в виде
' A B
5 T C
В соответствии с правилами обращения блочных матриц можно записать [50, с. 107]:
А = |
р Х _ р ху ( р у у р ух |
= |
j-1 + (р* Jr1 p x y ç p yx ( р Х j- 1 . ( 1 4 1 0) |
|
|
B = - A P xy[py Y = - (p * )" 1JB^ C ; |
(1.4.11) |
||
С = |
р У - р У Х ^ У р ф ] |
1= (p ^)_1+ (p>’)“l P-’a ^ ( p |
- v)“1.(1.4.12) |
|
Используя (1.4.2) с учетом (1.4.6) и (1.4.8), запишем
1 |
* а, |
рху л
_{РХУ)Т |
Г у 1 |
f ( x / y ) = -
Щу,у,рУ)
Это выражение нетрудно преобразовать к виду
/С * ! } ’) - ' |
1 - |
I , |
ехр{- \ J (х, 7)} , |
(1.4.13) |
|
|
(2л) л/2 |
И |
1 2 |
J |
|
в котором
В х —X
Лх,у) = Сх - х ) г (у - у ) г
в т с -{ргУ . ( у - у )
Учитывая (1.4.11), (1.4.12), запишем
1--- J{x,y) = \ x - x f , ( у - у ) т
в т с - [ р у ) _
(х - х)
{ у - у ) .
= (х- х)тА(х - х ) + ( х - х)тВ(у - _у)+ (у - у)гВт(х - дг)+
+ (у-у)Т с - ( р ;,)г j(_y~ÿ) = (х - J)T А(х - х) + 2{х - х)т АРху{ру
~ 7 \Т |
[Р у У Р ухА Р ху{рУУ ( у - у ) = |
* ( У - У ) + (У- У) |
{ x - x ) - P xy{py ) \ y - ÿ ) \ 1 { х - У ) - р х у [ РУ у { у _ у)
Отсюда следует, что
J{x,y) = (л- - х)тА(х - х ) ,
где х - х + Р ху (ру ) *(у - у ) .
Преобразуем теперь первый сомножитель в (1.4.13). Запишем
р Х |
р х у ~ |
Рх - р уу(ру)~1ру* \ Р*У |
|||
(Рхуу |
ру _ |
||||
|
0 |
р у __(Ру[ Рух Î Ет_i |
|||
Отсюда с очевидностью получаем |
|
||||
|
|
|р |= |
р х - p v ^ |
y p y* Ру |
|
и таким образом
(1.4.15)
Анализ соотношений ( 1.4.13)—(1.4.15) показывает, что условная плотность / (х / у) является гауссовской, т.е.
f ( x / у) = N (X ;X ( V), Р х/у). а ее параметры определяются с помо щью следующих соотношений:
х(у) = Х + Р Х’(РУУ ( у - у ) ; |
(1.4.16) |
Рх1у = Рх - Рху(Ру)~1(Рху)т |
(1.4.17) |
Соотношения (1.4.16), (1.4.17) определяют правило нахождения параметров условной гауссовской плотности для двух совместно гауссовских векторов.
1.4.3. Примеры нахождения параметров условной гауссовской плотности
Конкретизируем полученные в предыдущем подразделе выра жения для двух примеров.
♦ П р и м е р 1.4.1. Пусть задан двухмерный центрированный гаус
совский случайный вектор х = (Х],х2)т с матрицей ковариаций вида
(1.2.14). Требуется найти параметры условной гауссовской плотности для первой его компоненты в предположении, что вторая компонента зафик сирована.
С учетом (1.2.14), (1.2.15), (1.4.16), (1.4.17) запишем следующие соот ношения для условных математического ожидания и дисперсии:
х.= г —Lx,;
а2 ‘
т.е. |
|
|
( |
|
|
|
|
\ |
|
/ (х, / х2 ) = -----, |
ехр |
X] —Г---- Л*2 |
||
|
G ^ l n ( l - r 2) |
2(1 ~ г 2)а2 |
а 2 |
|
На рис. |
1.4.1 |
представлены |
графики условных |
плотностей |
присТ] = а 2 =1 |
при различных значениях г и х2 = 1 . Из графиков сле |
|||
дует, что при увеличении коэффициента корреляции условная дисперсия уменьшается. Это вполне закономерно, поскольку коэффициент корреля ции отражает степень статистической зависимости одной величины отно сительно другой. Чем больше эта зависимость, тем существеннее умень
шается условная дисперсия по сравнению с априорной. Нетрудно заме-
( \
тить, что при г —> 1 Д * , / х 2)->0 А,
V У
Рис. 1.4.1. Графики гауссовской условной плотности распределения при раз личных значениях нормированного коэффициента корреляции
♦ П р и м е р |
1.4.2. Пусть так же, как и в примере 1.3.5, для двух |
векторов х и V |
размерности п и т определены математическое ожи |
дание и матрица ковариаций, и, кроме того, известно, что их совместное распределение гауссовское, т.е.
/г х |
РХ |
в |
/x,v(*>v) = N |
ВТ |
(1.4.18) |
|
Pv |
|
Пусть вектор у связан с X и V соотношением вида |
||
у = Нх + V |
|
(1.4.19) |
Необходимо найти условную плотность распределения вероятности fix/у). В решении этой задачи удобно выделить два этапа.
Суть первого этапа сводится к нахождению плотности распределения вероятности совместного вектора, включающего х и у В разделе 1.3.3.
показано, что
( г |
X |
п |
р х |
РХНТ+В |
Т.(1.4.20) |
|
X |
|
|||
fx,y(x,y) = NIbJ1{ж+ v j |
Вт+НРХ HPxHr + НВ +ВТНТ + Pvl |
||||
Искомую плотность fix/у) легко получить на втором этапе, используя
приведенное выше правило нахождения условной гауссовской плотности
П х ! у ) = ы {х ,х (у ),Р ‘ '’ )' |
(1.4.21) |
где условное математическое ожидание и условная матрица ковариаций в соответствии с выражениями (1.4.16), (1.4.17) определяются как
х(у) = х + (РхН т+ В)(НРХН х + НВ + ВХН Х+ Pv)~l (у - Н х - v);
(1.4.22)
Р х' у = Р х - (Р ХН Т + B)(HPxH r + Н В + В ТН Т + P V)_I (5 Т+ НРХ) .(1.4.23)
В частном случае, когда векторы х и V независимы и v = 0 , эти вы ражения упрощаются:
х (х ) = Х + К ( у - Нх) ; |
(1.4.24) |
К =РХН Т(НРХН Т +Pv)~l - |
(1.4.25) |
Pxly =РХ - Р ХН Т(НРХН Т +Pv)~lHPx |
(1.4.26) |
в справедливости которого легко убедиться с помощью леммы об обра щении матриц (П1.1.48).
Принимая во внимание соотношение (1.4.27) и очевидную цепочку равенств[50]
р хн х(н р хн т +pvy l =[(р*)-1 + я т( Р Т 'я ] ’ 1[(/>•')“' + Н г(Руу 1н]х
xPxHT(HPxHl +Pv)~l =Рх/у[нт+Hr(Pry lHPxHT]x х(НРхНт+Pvy ' =PxlyHr(Pvy l,
для матрицы К в (1.4.25) получаем
K = Px/yH T(Pvy l |
(1.4.28) ♦ |
По аналогии с результатом, полученным в примере 1.4.2 для / (jc /y ), можно показать, что (см. задачу 1.4.1)
/ 0 7 * ) = |
(1.4.29) |
|
где |
|
|
j)(x) = |
Нх + V + {Вх (Рх)~1+ Н ) ( х - х ) ; (1.4.30) |
|
Pylx =P V- В Т(РХУ 1В |
(1.4.31) |
|
Нетрудно заметить, |
что v(x) = v + B T(Px)~l(x —х) и |
|
р у/х = p v,x представляют собой условное математическое ожи дание и матрицу ковариаций вектора v при фиксированном зна чении вектора х . Это вполне объяснимо, поскольку у = Нх + v , и при фиксации х математическое ожидание и матрица ковариаций случайного вектора у будут определяться условным математиче ским ожиданием и условной матрицей ковариаций вектора v
Наиболее важные выражения, связанные с задачей нахождения параметров условной гауссовской плотности широко и часто ис пользуемые при решении задач оценивания, сведены в табл. 1.4.1.
Нахождение параметров условной гауссовской плотности
Условия |
|
|
Задача |
||
Задана флl.p.B. |
|
Найти |
|||
/V - |
X |
р х |
р*>' ^ |
условную |
|
ф.п.р.в. |
|||||
fx,v(x>y) = N |
У _ |
|
|
||
{Рхуу |
Р у \ ) |
А х / у ) |
|||
1Ь'. |
1У. |
||||
Решение |
1 |
f { x ! ÿ ) = N( x - x{ y\ P* '>)
х (у ) = х + Р ху( р у )-1 (у - у) Р х1У —р х _ р * У (р ху}т
f { x l y ) = N[ x - x{ y) , Px,y) х{у) = х + К ( у - В с)
Задаьia ф.1тр.в. |
|
Найти |
К - РхН х(НРХH'1 + P v)~l |
|||
/ |
д: |
|
|
|||
f x A x’v) = N |
* 1 Г Р * |
0 11 |
условную |
р х/у = р х - р х н г(Н рхн т+ p v y l нрХ |
||
|
5 |
PvJ |
ф.п.р.в. |
|
||
\ |
VJ |
Oj’ o |
|
|||
А х / у ) |
Р х1У = р р * )_1 + r r \ p vy xHJ |
|||||
и вектор |
У = Hx + v |
|
||||
|
|
|||||
K = p xlyH'r(PvT l
При построении изучаемых в дальнейшем алгоритмов оценива ния важной является задача описания одного случайного вектора
хпри фиксированном значении другого статистически связанного
сним вектора у , так называемая задача регрессии х по у . В ма
тематическом плане эта задача сводится к получению наилучшей в некотором смысле аппроксимации вектора х с помощью функции х(у) от вектора у
Выберем при оценке качества аппроксимации квадратичную
функцию |
|
|
|
|
|
|
Их - а (у )) = ^ (х( - |
Xg(у))2 = |
(х - |
À(y))T(х - |
х(у)) = Sp{(x- х ( у ) ) ( х - х(у))т} |
||
/=1 |
|
|
|
|
|
(1.4.32) |
|
|
|
|
|
|
|
Тогда задачу регрессии |
х |
по |
у |
можно сформулировать как за |
||
дачу нахождения |
такой |
функции |
х(у), которая минимизирует |
|||
критерий |
|
|
|
|
|
|
У = Л/х у (а- - A ( V))T (а - а (у)) = J J |
(а - |
A ( V))T (A - х(у))/ху (х, y)dxdy. |
||||
|
|
|
|
|
|
(1.4.33) |
Из этого соотношения следует, что для решения сформулиро ванной задачи требуется знание совместной ф.п.р.в. f xy ( а , у)
Нетрудно убедиться в том, что решением задачи регрессии является математическое ожидание, соответствующее апосте
риорной плотности / ( х / у ) , т.е. [16] |
|
*(у) = Jx f ( x / y)dx. |
(1-4.34)) |
Этот результат доказывается весьма просто. Действительно, представляя интеграл (1.4.33) в виде
J = \ { ( x - x ( y ) ) T( x - x ( y ) ) f ( x / y ) d x f ( y ) d y
идифференцируя его по оценке, можем записать
-* 0 0 )?(* - x(y))f(x/y)dx = -2 J ( а - х(у)У f(xly)dx =0.
Отсюда следует, что