книги / Регулярные методы решения некорректно поставленных задач
..pdfром / |
размерности т>п . Пусть |
р(м), р ( / ) |
— априорные плот |
ности |
вероятности векторов м и / |
, a p(f\ и) |
—плотность вероят |
ности вектора / |
при известном состоянии м. Тогда по правилу Байе |
са апостериорная плотность вероятности имеет вид |
|
pjf\u)pju ) |
|
р(ц 1Я = |
( 11) |
|
Pif) |
Если имеется к измерений вектора/: f \ , . . . , /*, то за основную примем следующую гипотезу: в качестве априорной плотности вероятности вектора состояния м при i-м измерении принимается апостериорная вероятность вектора и после i —1-го измерения. Тогда, используя (11), получаем
Piifi\ U) Pi_ 1 (и \fj_i)
|
I/ I) |
Pifi) |
|
к; |
|
|
|
|
|
||
где Pi(u | // ) |
— апостериорная плотность вероятности вектора и |
||||
после i измерений, а р0(и | / 0) = р(м). Легко видеть, что |
|||||
|
|
/t |
|
Л |
|
Pfc(«l/k)=P(«) П |
p,(fi\u)l П pifi). |
|
|||
|
|
i=1 |
|
/= 1 |
|
Естественно |
выбрать |
вектор |
йк согласно |
принципу максимума |
|
правдоподобия: |
|
|
|
||
Pkiuk \fk) |
= sup Pkiu\fk). |
|
(12) |
||
|
|
U |
|
|
|
Если |
|
|
|
|
|
р(м) |
= const • ехр{ --(и - и0 )ТС(и - м0)}, |
||||
Pf |
I и )= |
Pifi I u)= const |
exp { - i A u - f i f P i A u |
||
где С и P - |
положительно определенные |
симметричные матрицы |
порядка п и т соответственно, м0 —заданный вектор размерности п, А —матрица размера тХп, то (12) дает уравнение
( 7 |
C + A TP A ) u k =ATP f k + 7 Си0, |
f k = ~X |
i |
(13) |
|
\ /с |
/ |
К |
/С |
f |
1 |
Пусть h = t= т= f = 0. Тогда (10) принимает вид |
|
|
|||
|
~ б2 |
L * i L u - g ) = 0. |
|
|
(14) |
Л * ( 4 и - / ) + — |
|
|
Сделаем следующие предположения. Пусть H = G =Rn nu= (и ь •. •
. . . , u n) T, II и 111 = к 2 +Мг +•••+«»•
1Л-п
Предположим, что А задается прямоугольной матрицей размера m X и, т.е. соответствующий оператор действует из в R m. В
91
качестве F возьмем пространство R m, наделенное нормой \\f\\P =
= (Pf, f) If2 , Р = РТ - |
положительно определенная матрица. Как |
|
легко видеть, А * =А ТР. Далее считаем g = Lu0,C = L T L /у2 . |
|
|
Тогда (14) принимает вид |
|
|
(52Си + А ТРА ) и - A TP f + 62Си0. |
(15) |
|
Если Р =Р/а 2, а > |
0, то (13) принимает вид |
|
С + А тРА^йк = |
Си0 + A TP f k. |
(16) |
Нетрудно видеть, что величина а2/к характеризует точность векто ра j k, полученного по результатам полного эксперимента, заклю чающегося в к последовательных измерениях вектора /.
Тем самым установлена полная аналогия между детерминиро ванным байесовским методом, изложенным выше, и последова тельной байесовской регуляризацией, сводящейся к последова тельному решению уравнений (13).
Обозначим в (16) <х = о2 /к. Тогда уравнение принимает вид
(аС + А тРА) ик = A TP f k +аСи0,
и, следовательно,
ик = (аС + А тРА)~1 (аСи0 +ATP f k).
Если повышается точность эксперимента или беспредельно увели чивается число измерений вектора /, т.е. к -►<», то а -*0. Естествен но поставить вопрос о вычислении пределов матриц
а(аС + А тР А у 1 С, (аС+АТРА) ~ 1 А ТР, а -+ 0.
Для упрощения решения этого вопроса считаем Р = Е (единич ная матрица). Пусть
Ra - (аС + A TA)~l А т, Zot=a(aC + A TA y i С.
Представим |
матрицу С в виде произведения С = К тК, где К - |
Квадратная невырожденная матрица порядка п. Тогда |
|
Ra = К ' 1 |
(аЕ +NTN y iN, Za = а К ' х (аЕ + ^ г ЛГ)'' К, |
где N = АК~Х.
Так |
как матрица N TN неотрицательно определе! а и симметрич |
||
на, то |
существует ортогональная |
матрица Q такая, что N TN = |
|
= QT А 0, |
где А = diag{s2, . . . , |
s2m) составлена из собственных |
|
значений |
матрицыN TN, расположенных в порядке убывания: |
92
Легко видеть, что
Za = а К ~1QT (аЕ + A) -1 QK,
и, следовательно,
Нш Za = K - ' Q TEn_rQ,
0L О
где
4 -Г = diag{0, О, . . . , О, 1. 1 , . . . , 1 >,
гп—г
г - ранг матрицы N TN |
(или N). Заметим, что при г = п, т.е. если |
|
|
|
л |
матрица N полного ранга, матрица Е0 —нулевая и, следовательно, |
||
lim Z = О, |
г = л. |
|
.«->о |
|
|
Для определения |
Нш |
заметим, что |
|
а -> О |
|
lim (aE + N TN y l N T =N*,
а -> О
где N + - псевдообратная матрица к матрице Ж в смысле МураПенроуза (в § 24 этот факт будет следовать из более общих рас смотрений). Поэтому
lim Ra = l T lN +.
0L-+ О
А
Итак, оба предела найдены. Замечая, ч т о / -►/ при а -^0 (по ве роятности) и используя полученные выше предельные соотношения дляЯ а и Za , получаем (по вероятности)
lim uk =K~1 N +f + K~l QTEn_t QKu0. Of* 0
Если r = л, TO lim а -►О
ра м0, характеризующего априорное состояние изучаемого объекта. В этом случае uk N*f.
§ 15. Принцип оптимальности невязки для уравнений с нелинейными операторами
1. Пусть U и F - полные метрические пространства. Рассмотрим задачу приближенного решения уравнения
Au=f, . / G F , |
( 1) |
где оператор А определен на непустом множестве DA C U и дейст-
93
вует из Uв F . Обозначим
цА = |
inf |
pF (Au,f). |
U &DA |
|
|
Величина |
рА характеризует меру несовместности уравнения (1). |
|
Решение задачи |
(1) понимается в смысле метода наименьших квад |
ратов, т.е. является элементом и Е Ол , для которого pF (Ай, f) = = рА. В случае разрешимости ( 1) в классическом смысле цА = 0. В дальнейшем существование обратного оператора Л "1 не предпо лагается. В противном случае он может не быть непрерывным или определенным на всем пространстве F. Таким образом, задача ре шения уравнения ( 1) в общем случае является некорректно постав ленной. Пусть U = {u€:DA: pF (Ли, f ) = цл } Фф.
Далее строится устойчивый метод решения уравнения ( 1) при минимальных априорных требованиях. Это подразумевает сле дующее:
а) алгоритм решения ( 1) с приближенными данными не исполь зует никакой количественной информации об искомом решении; б) стабилизирующий функционал выбирается не априорно, как при формулировке основной задачи, а из естественного условия аппроксимации исходного оператора А, которое легко выписывает
ся во всех известных случаях.
Предположим, что вместо совокупности d = { /, А, рА) |
точных |
||||
данных задачи (1) известны приближенные данные d - { f , |
А, |
рА } . |
|||
Здесь элементы f G F: pF (/* ,/)< 5, 5 -»0, значения |
рА: рА > |
рА , |
|||
ЦА - ИА -*0. Операторы А определены на множествах D * D D, |
|||||
где D С DA —априорно задаваемое непустое множество, и удовлет |
|||||
воряют на D условию аппроксимации |
|
|
|
||
р(и)<$(И)Ц(и), |
u e D , |
|
|
(2) |
|
где р (и) = |
pF (Аи, А и) |
- функционал невязки, a f |
f (h), h > 0, |
||
lim f (h) |
= 0, характеризует порядок погрешности аппроксима- |
||||
h -►О |
|
|
|
|
|
ции оператора А. Функционал £2 (и) —некоторый оценочный функ
ционал. Заметим, что получение оценок типа (2) является класси ческой задачей теории приближенных методов и легко выполняется
обычными средствами анализа.
Далее считаем, что U f = U П D Фф. Так как условие и Е Д как правило, включает в себя требование некоторой ’’гладкости” эле ментов и, то Uf можно назвать множеством ’’гладких” решений уравнения (1). Очевидно, что задание другого D приводит к иному множеству ’’гладких” решений.
При мер. Пусть на множестве D задано семейство ’’проецирую щих” операторов Р, определенных на D при любом h > 0 и со зна-
94
чениями в D, удовлетворяющих условию
lim ри (и.Ри) = 0, м Е Д
и - о
Будем предполагать, что известна также оценка
Pv (uyP u ) < ^ ( h ) £2(м), м е д
где f 0 (А) |
- функция типа f (h). Предположим, что оператор А на |
|
D удовлетворяет условию Липшица с постоянной К, т.е. |
||
pF (Ли, |
Av) < К Pjj (м, v) V w, |
Д |
Определим аппроксимирующее семейство операторов, полагая
А - АР на Д Тогда имеем
pF (А и, Л и) < /Сри (Ри. м) < A^fo (А) £2(м), м б Д
т.е. условие аппроксимации (2) выполнено при f (A) =A' f 0 (A). Заметим, что оценки типа приведенной для величины ри (и. Ри)
(и Е D) широко известны в теории приближений для различных классов пространств и множеств.
Определим множество ио формальных решений задачи ( 1):
Ua = ( u e D : P p ( A u J ) < U h ) Щи) + рА + 5 } ,
где вектор о = (5, h, £) характеризует точность приближенных дан
ных d = |
{А, /, |
задачи. Используя неравенство треугольника |
|
и условие аппроксимации (2), для любого элемента и Е |
полу |
||
чаем: и Е |
ио. Таким образом, U0 Э Uf и, следовательно, непусто. |
Для построения устойчивых приближений предлагается следую щий принцип оптимальности: выбирать такиеиа Е ио, для которых
т0 = inf П(м)= £2(ма). |
(3) |
ие.и0 |
|
Легко видеть,что этот принцип приводит к выбору в качестве при ближенного решения задачи ( 1) таких элементов из множества формальных решений U0, которые имеют минимально допустимую невязку. Поэтому естественно предложенный способ построения приближенных решений задачи (1) назвать принципом оптималь ности невязки.
2. При приближенной реализации принципа оптимальности не вязки нет необходимости искать элементы иа, в точности являю щиеся решением этой задачи. Поэтому предположим, что определе на последовательность {е„} 0 при п -+°° и каким-то способом указаны элементы и к Е Ua такие, что
Sl(uK) < mG+ еп, П “►оо. |
(4) |
95
где вектор к = (6, Л, £, е„) характеризует уже и точность решения оптимизационной задачи (3).
Т е о р е м а |
44. Пусть оператор А |
замкнут на множестве D и |
||||||||
из одновременного выполнения соотношений |
|
|
|
|||||||
um GD, |
lim |
pF (A um, f ) = рА . |
sup Г2 (и1П) < °° |
|
||||||
|
|
m |
00 |
|
|
m |
|
|
|
|
следует, что последовательности (ит) , { А и т |
} компактные U |
|||||||||
и F соответственно. Тогда для построенного выше семейства и к |
||||||||||
имеет место соотношение |
|
|
|
|
|
|
||||
lim |
Pv (wK, |
Uf ) = 0. |
|
|
|
|
|
(5) |
||
к -* 0 |
|
|
|
|
|
|
|
|
|
|
(Здесь ри (икч |
Uf) = |
|
inf ри (ик, и) - расстояние от элемен- |
|||||||
|
|
|
|
|
w е uf |
|
|
|
|
|
та ик до множества Uf в пространстве U [131].) |
|
|
|
|||||||
Д о к а з а т е л ь с т в о . |
Очевидно, |
та < £2 (ы) |
VM 6 |
t/^. По |
||||||
этому |
|
|
|
|
|
|
|
|
|
|
П(ик) < |
П( и ) |
+ ея, |
л-юо, |
|
|
|
(6) |
|||
|
|
|
|
|
|
+25 + 2f (А) (П(йг) +е„) |
|
|
||
и, следовательно, |
|
|
|
|
|
|
|
|||
lim pF (Аик, / ) = |
, |
lim Г2(ик)< га = |
inf |
ft(w). |
(7) |
|||||
к |
0 |
|
|
|
|
к -> 0 |
|
и G Uf |
|
|
Пусть кт |
0, |
т -+©о, ит = ик . Согласно |
(7) |
и условию тео |
||||||
ремы |
последовательности |
{ит} и |
{ Аит ) компактные |
U и F |
соответственно. Без ограничения общности считаем их сходящими
ся: ит -►м0, Д ит |
-►/о, га ->оо. В силу замкнутости оператора^ на |
D имеем w0 £ Д |
Лм0 = /о. Из (7) вытекает, чтоpF (Au0 ,f) = рА, |
т.е. w0 € f//. Отсюда следует (5). Теорема доказана. |
|
З а м е ч а н и е . |
Если задача (1) разрешима однозначно, т.е. |
Uf = { и } |
- |
одноэлементное множество, то вместо (4) имеет место |
|||
сходимость в обычном смысле: |
lim ри (ик, и) |
= 0. Если рА = 0, |
|||
|
|
|
к —►О |
{Аип } является |
|
то требование компактности последовательности |
|||||
излишним. |
__ |
|
Л |
|
|
3. Пусть 5 = h = £= 0. Множество U решений задачи |
|||||
га = |
inf |
£2(w) = £2(w), |
uG |
Uf , |
(8) |
we uf |
|
|
|
||
назовем множеством ^минимальных решений |
задачи (1). Пред |
||||
ставляет интерес следующая |
|
|
|
96
Т е о р е м а 45. Пусть выполнены условия теоремы 44 и, кроме того, функционал 12 (и) полунепрерывен снизу на D. Тогда мно
жество Sl-минималъных решений непусто: ПФф.
Напомним, что вещественный функционал <£ (и) (и Е £>), назы вается полунепрерывным снизу на Д если из соотношений
ип Е Д |
lim |
ип =и £ D |
|
|
п -+ 00 |
|
|
следует, что |
|
|
|
¥>(и) < |
Jim . |
(м„). |
|
|
П-+ оо |
|
Пусть заданы е„ -> 0 +, л -*°°, а элемен |
Д о к а з а т е л ь с т в о . |
|||
ты ип Е Uудовлетворяют соотношению |
|||
П ( м „ ) < т + е„. |
(9) |
||
Последовательности {«„} , |
{ Л м„ } тогда, очевидно, компактны. |
||
|
|
|
А |
Без ограничения общности их можно считать сходящимися: ип -*и,
А |
а |
Л Л |
А ип -> /. Так как оператор А замкнут, то и Е Д |
А и = /. Кроме |
|
того, pF (Ли, / ) |
= рА . Таким образом, й € Uf. Воспользовавшись |
|
полунепрерывностью снизу на D функционала 12 и соотношением |
(9), получаем |
|
|
£2(и) < lim 12(ип) < |
lim 12(ип) < т. |
(10) |
п -+ 00 |
п “►00 |
|
Из (10) следует, что элемент и принадлежит множеству 12-мини мальных решений задачи ( 1). Теорема доказана.
З а м е ч а н и е . Если уравнение (1) имеет единственное реше ние и Е Uf, то, очевидно, оно же будет и 12-минимальным реше
нием. Множество U одноэлементно также в том случае, когда пространства U и F линейны, оператор А также линеен, множест во D замкнуто и выпукло, а функционал 12 (и) строго выпуклый, по крайней мере, на множестве Uf (при этом, естественно, предпо лагаются выполненными все условия теоремы 45).
Утверждение теоремы 44 существенно уточняется.
Т е о р е м а |
46. |
Пусть выполнены условия |
теоремы 45, а эле |
|
менты ик определены в соответствий с (4). Тогда |
||||
|
А * |
|
|
|
lim ри (ик, U ) = 0. |
|
|
||
к -* О |
|
|
|
|
Д о к а з а т е л ь с т в о . |
Для выбранной в теореме 44 последо |
|||
вательности ит = ик и |
элемента и0 = lim |
ит в силу ПОЛУНе- |
||
|
|
JW |
т —>00 |
|
прерывности снизу наD функционала J2 (и) получаем |
||||
S2(t/0) < |
Hm |
S2(um ). |
(11) |
|
т -*■°° |
|
|
|
7. В.А. Морозов |
97 |
Из (7) и ( 11) следует соотношение £2(м0) < т, которое вместе с доказанной в теореме 44 принадлежностью и0 Е Uf приводит к заключению,что и0 Е U. Отсюда вытекает требуемое утверждение.
З а м е ч а н и е . При доказательстве теоремы 46 фактически показано, что справедливо более сильное предельное соотношение:
а |
Л |
Иш max {рр(Аик, f ) —цА , pv (uK, U ), |
| £2(uK) - т |> = 0. |
к - '° |
(12) |
4. Далее предположим, что пространства U и F - рефлексивные банаховы пространства.
Т е о р е м а 47. Пусть оператор А слабо замкнут на D, функцио нал £1 (и) слабо полунепрерывен снизу на Du из соотношений
un Е D,
lim |
\\Aun - f\\F =pA, &(un) < const <«> |
п -* 00 |
|
следует, |
что последовательность {и^} ограничена в U. Тогда |
множество ^-минимальных решений Uнепусто.
З а м е ч а н и е . Оператор А называется слабо замкнутым на D, если из соотношений
сл |
сл |
un ED, ип -+ Wo, Лип |
-►/о, п + оо, |
вытекает и0 Е D, Им0 =/о- Вещественный функционал (и) назы вается слабо полунепрерывным снизу на D, если из соотношений
и„ s D, |
СЛ |
п -*■оо, |
и0 |
G D |
ип -* и0, |
||||
следует |
|
|
|
|
<р(и0) < |
Ши <р(и„). |
|
|
|
|
м->°° |
|
|
|
Д о к а з а т е л ь с т в о . Пусть |
еп -+ 0 и ип Е Uf таковы, что |
|||
S2(u„)<w + e„. |
|
|
(13) |
Согласно условию теоремы последовательности {и„ } и {Аип } ограничены в U и F соответственно, а так как эти пространства реф лексивны, то эти последователоности и слабо компактны. Считаем
|
СЛ А |
сл j> |
без ограничения общности, что ип и, |
Аип -►/. Тогда в силу |
|
слабой |
замкнутости оператора А на D имеем и Е D, А и = /. Из |
|
слабой |
полунепрерывности снизу нормы в рефлексивном простран |
стве следует \\Аи - f\\F = рА, т.е. и Е Uf. Из условия слабой полунепрерывности снизу функционала £2 (и) и соотношения (13)
98
вытекают оценки £2(й) < Иш £2(ип) < т,
п —* °°
Ал
т.е. и € U, что и требовалось. Теорема доказана.
Условия теоремы 47 выполнены, например, если множество D замкнуто и выпукло, оператор А линеен и непрерывен, функцио нал £2 (м) - полунепрерывный снизу и выпуклый на D.
Переходим к доказательству следующего утверждения.
Т е о р е м а 48. Пусть выполнены условия теоремы 47. Тогда для элементов ик Е ио%удовлетворяющих условию (4) .имеет мес то соотношение
lim inf а (| и* (м - ик) | + к-* 0 и е и
+ \ Г ( А и - А и к)\ + \ П ( и к ) - т \ + \ \ Аик - П Р - ц А } =0, (14)
где и* и f* - произвольные линейные функционалы в U и F соот ветственно.
Д о к а з а т е л ь с т в о . Из соотношений (17) получаем
lim. £2(мк) < т, |
(15) |
к -* 0 |
|
lim || А ик - f \ \ F = nA . |
(16) |
кО
Из (15) и (16) следует слабая компактность семейств ик и А и к в U
и F соответственно. Пусть ит = ик |
(т =■1 , 2 , . . . ) - |
любая ПОД- |
|
fW |
сл |
А |
|
последовательность такая, что м т |
СЛ А |
А |
|
-> и, |
Аит |
/. В силу |
слабой замкнутости оператора А и свойства полунепрерывное™
снизу нормы в банаховом пространстве получаем и Е Д |
А и = /, |
||||
и, следовательно, |
|
|
|
||
рА < |
\ \ A u - f \ \ F < lim |
\\Аит - f \ \ F = рА . |
(17) |
||
|
|
|
т -*■ |
00 |
|
Отсюда следует, что и Е U, т.е. является решением задачи (1). |
|||||
Далее, в |
силу |
слабой |
полунепрерывное™ снизу функционала |
||
£2(и) на D имеем |
|
|
|
||
£2(й)< |
lirn |
£2(um)< |
lim £2(HW) < W, |
(18) |
|
|
т |
-* °° |
|
т 00 |
|
а |
А |
|
|
|
|
т.е. и Е U, поэтому |
|
|
|||
lim |
Sl(um) = т. |
|
(19) |
тоо
7* |
99 |
Из произвольности выбора подпоследовательности {ит} вытекает (14). Теорема доказана.
З а м е ч а н и е . Если рА = 0, то теорема 48 справедлива без предположения о рефлексивности пространства F. Более того, F можно в этом случае считать просто нормированным пространст вом.
Пусть F удовлетворяет условиям Ефимова-Стечкина, т.е. из слабой сходимости элементов и их норм следует сильная сходи мость. Тогда утверждение теоремы 48 допускает некоторое усиле ние: имеет место соотношение
Нш {\ \Аи - Аик ||F + |
inf л (|w* { и - и к)\ + \ f h - 12(ик)|} = 0. |
к ^ ° |
мЕС/ |
Пусть выполняются условия теоремы 48 и, кроме того, функ ционал 12 (и) = \\Lu - g\\G (где L - оператор, действующий из U в рефлексивное банахово пространство G) имеет область определе ния DL Э D. Если оператор L слабо непрерывен на D, то, как не трудно показать, функционал 12 (и) = \\Lu - g\\G слабо полуне прерывен снизу на D. Рассуждая точно так же, как и при доказа тельстве теоремы 48, можно установить, что справедливо соот ношение
lim |
{ inf л(|м* ( и - и к) \ + \ f * ( A u - A u K)\ + |
к ^ ° |
uEl/ |
+ |g* ( L u - L u K) |) + |\AuK- f \ \ F - vA + | ||Lu K-g \\G - m | } = 0,
где g* —любой линейный функционал на G.
Если F и G удовлетворяют условиям Ефимова-Стечкина, то
предыдущее соотношение можно уточнить: |
|
lim inf л {| и* (и —ик) | + | и —иJ } = 0. |
(20) |
х-* 0 иЕ(/ |
|
Отметим, что условия Ефимова—Стечкина выполнены, напри мер, для всякого гильбертова пространства, а также для банахо вых пространств типа Lp (р > 1).
5. Из приведенных ранее соотношений не видно, будет ли иметь место сильная сходимость приближений в основном пространстве U. Следующая теорема дает достаточные условия для такой сходи мости.
Т е о р е м а 49. Если пространства F и G удовлетворяют уело- виям Ефимова-Стечкина, 12 (w) ^ \\Lu—g\\G (и G D), операто
ры А и L слабо замкнуты на D и для любых и, |
v Е D выполнено |
условие дополнительности |
|
7 (|| и - и || (/) < || Аи -А и || + ||L « - / ; U ||2G = |
| и - и | 2, |
100