книги / Основы теории оценивания с приложениями к задачам обработки навигационной информации. Ч. 1 Введение в теорию оценивания

2.2.2. Общеерешение задачи синтеза алгоритмов на основе метода наименьших квадратов в линейном случае

Простота получения алгоритма вычисления оценки, т.е. задачи синтеза, в рассмотренном выше примере является следствием того факта, что измерения линейным образом зависят от неизвестной амплитуды и ошибок измерения. Рассмотрим, к чему сводится ал­ горитм решения задачи оценивания в линейной постановке в об­ щем случае, т.е. тогда, когда измерения могут быть представлены в виде (2.1.11). Для обычного МНК при таких измерениях мини­ мизируемый критерий (2 .2 .1 ) запишется как

J MI1K(х) = ( у - Нх)Т(у -	Нх) .	(2.2.7)
Нетрудно заметить, что относительно	х функция (2.2.7) пред­
ставляет собой квадратичную форму
/ мнк(х) = хтН тНх - 2хтН ту + уту ,		(2.2.8)

которая при невырожденной Н ТН имеет единственный экстре­ мум, и при этом достаточное условие (2.2.4) выполнено.

Принимая во внимание соотношение (П1.1.61), систему нор­ мальных уравнений, соответствующую критерию (2.2.7), можно записать

Н т(у - Нх) =0 .

Условие невырожденности Н ТН будем называть условием наблюдаемости. Использование этого термина вполне оправданно, поскольку в этом случае имеем:

хшк{у) = (НтН)- 'Нгу	(2.2.9)
ИЛИ
хШ1К(у) = К шку,	(2 .2 .1 0 )
где
к мж= ( я тя ) -1я т	(2 .2 .1 1 )

Отсюда следует, что при отсутствии ошибок измерений и вы­ полнении условия наблюдаемости

хм,|К(;к) = ( Я тЯ ) “'Я тЯх = х,

(2.2.12)

т.е. оценка совпадает с истинным значением вектора.

Поступая аналогично при решении линейной задачи в случае

ОМНК и считая невырожденной H 1QH , запишем:

j омнк ( х ) =	( у _ Н ху Q(y - Нх) ;		(2.2.13)
х 0М|,к(у) =	К от,ку,		(2.2.14)
где
Кшнк =(H TQH Y H tQ			(2.2.15)
Заметим, что, как правило, матрица		Q не вырождена, и, таким
образом, при выполнении	условия	наблюдаемости матрица

H 7QH также является невырожденной.

Для ММНК (см. задачу 2.2.1) получим следующий набор соот­ ношений:

J мм,,к (х) = (у - Нх)т0(у - Нх) + (х - х)тD(x - х) ;	(2.2.16)
хт'"к(у) = х + К"мт(у - Нх),	(2.2.17)
где
К тшк =(D + H TOH Y Н 70 .	(2.2.18)
Представленные соотношения сведены в табл. 2.2.2.

Т а б л и ц а 2.2.2 Наблюдаемые критерии в линейной задаче оценивании

Метод	Критерий
мнк	Г"'Чх) = Ь’- Н х У { у - Н х )
омнк	J om'K(х) = (у — Нх)Т Q(y -	Нх)
ММНК	J ммнк (д) = (у - Нх)7Q{y -	Нх) -t
	+ (д - х)тD (x - x )

Алгоритм

хмпкО ) = К м"ку,

ЛГМНК = ( н тн)~1н т хшш(у) = К оы,жу,

К омнк = ( я TQH )~l H TQ

х',ш,к(у) = х + К тшк( у - Н х ) ,

к тшк =(D +H TQ H Y H 7Q

Обращаем внимание на одно весьма важное обстоятельство - все получающиеся оценки линейным образом зависят от измере­ ний. Это есть следствие линейности измерений (2.1.11) и квадра-

тачного характера минимизируемых критериев (2.2.7), (2.2.13), (2.2.16).

Понятно, что с использованием приведенных соотношений для рассмотренного выше примера 2 .2 . 1 легко получить представлен­ ные в нем выражения для оценок. Для этого достаточно учесть вид матрицы Я , которая, как нетрудно понять, записывается как

Ят = [sin(orti ), sin(<ü* 2 ),.... sin(ccrt,„)] ■ Рассмотрим еще два примера.

♦П р и м е р 2.2.2. Конкретизируем выражения для оценок в задаче оценивания неизвестной скалярной величины по скалярным измерениям

(2.1.1), выбирая в критерии (2.2.11) для простоты матрицу Q диагональ­ ной с элементами q, > 0 , i = 1 т , а в критерии (2.2.16), полагая D - d

Очевидно, что минимизируемый критерий и в этом случае имеет вид параболы, и, поскольку матрица Н Т = [1,1.... 1], выражения для оценок

будут определяться в соответствии с соотношениями, приведенными в табл. 2.2.3.

				Таблица 2.2.3
	Алгоритмы оценивания для трех вариантов МНК
для простейшего примера нахождения X но измерениям у ( =д; + у /9 / = 1./л
Метод	Кри ерий		Алгори м
МНК	m			1 m
	/=]	-о м н к _	m	»'м~омнк		Ч\
				2>,
ОМНК	m		"i У\JJ/		~m
	/= 1					ъ,
				m 1=1
	JmK(x)=d(x-x)2+	д-мм,,к=рзс + £ç;my.,
		_	d	i=1		п
	+ £*,(*-*)а				~
			m’4i			4i
М М Н К	m	R=-------		~ммик
		d+zi,
	i=l					l=

Из этих выражений следует, что в МНК оценка представляет собой среднеарифметическое от измерений y i Для ОМНК оценка определяет­ ся в результате «взвешивания» измерений с нормированными коэффици­ ентами:

т	1	~омнк
~OMHK
Z4 i	= 1 ;	Чх

i=i

Для ММНК изменяется нормировка, что обусловлено наличием апри­ орной информации, и добавляется дополнительное слагаемое.

П р и м е р 2.2.3. Будем полагать, что требуется оценить начальное значения координаты х0 и значение скорости V по измерениям типа (2.1.3).

Критерий МНК в этой задаче будет определяться как

^ мнк( * о , п = £ о ' / - * 0 - ^ ) 3

/=1

Принимая во внимание обозначения (2.1.4), легко убедиться в том, что этот критерий представляет собой квадратичную форму (2.2.8), кото­

рая может быть записана в виде						Т\
	/г
	т		Z'*-			Е л
Умшс(х) = (х1,х2) 1 т			/=1	* 1	- 2	1=1	Е	л 2
			т			т
	Е«<		Z	' - 2			1=1
	i=l		i=l			1=1
или
п	п т	( т ^		( т		т	Л т п
Умпк(х) = mxf + x i £ t r +2X]X2			Z h	- Ц		+ x2 I ttiy i		+ 1 y f
	i- 1	\/=l )		V i=l		i=l	)	/=1

Используя соотношение (2.2.9), получим следующее выражение:

					т	-1
	х\			т		‘,	1
					Е
	' ~мнк"				/=1
	■Г.МНК		I	т		2
					т
	Х 2			'	, Е '
		_/=1			1 = 1		_ /=1

-----------1

Для ОМНК при диагональной матрице Q в критерии появятся со­ множители q t , и выражения для оценки преобразуются к виду

т т -1 т

É?/	£?А	£ а д
f =l	i = 1	/=1
т	т	т
	1 > /,2
_ »=|	i=i	_ /«I

Не представляет труда конкретизировать в этом примере и выражение для критерия и оценки применительно к ММНК.

На рис. 2.2.3 представлена реализация измеренных значений коорди­ нат на фоне графика, соответствующего их действительным значениям для случая, когда измерения проводятся на интервале 10 с с шагом в 1 с при х0 =1м и V = 1 м/с. На рис. 2.2.4 приведена функция, описывающая

поведение критерия J MHK(x) и представляющая собой вытянутый вдоль

одной из осей параболоид, соответствующий квадратичной форме.

Рис. 2.2.3. Реализация измерений	Рис. 2.2.4. Минимизируемый критерий
Уи = хо + V t , + v „ i = ljn	J MHK{x0,V)
	♦

2.2.3.Анализ точности в методе наименьших квадратов

влинейном случае

При постановке задачи в разделе 2.1 отмечалось, что помимо решения задачи синтеза алгоритмов весьма важной является зада­ ча анализа точности, т.е. исследования свойств ошибок получае­ мых оценок. Для линейного случая с использованием соотноше­ ний (2.2.10), (2.2.14) для МНК и ОМНК могут быть получены яв­ ные выражения для ошибок оценок:

е“,,кСи) = а- - ÂM,IK(^) = а - К ш,ку = (£ - К ШЖН) а - К ы" \ ;

Еоы"к(у) = х - х отк(у) = х - К ошку = { Е - К оыпкН ) х - K 0MliKv

Поскольку для МНК и ОМНК справедливы соотношения:

Е - К"нкН = Е - (# Ttf )"' Н ТН = 0 ;	(2.2.20)
Е - К ошкН = Е - (HTQH)~1H rQH = 0,	(2.2.21)

ошибки, соответствующие этим двум методам, могут быть записа­ ны так:

£мнк(у) = -Л :мнку ;	(2.2.22)
Еошк(у) = _к ошшу	(2.2.23)

Для ММНК в силу того, что ( Е - К ммикН ) * 0 , уравнение для ошибок оценок примет вид

£m"'K(y) = X - х мтк(у) = { Е - К мткН ) ( х - х ) - K MM"Kv. (2.2.24)

Из полученных соотношений вытекает следующий вывод. Ошибки оценок, соответствующие МНК и ОМНК в линейном слу­ чае, не содержат слагаемых, зависящих от вектора оцениваемых параметров, а зависят только от ошибок измерения. В этих усло­ виях можно говорить об инвариантности (независимости) оши­ бок оценивания относительно искомого вектора. Что касается ММНК, то для него ошибка оценивания зависит еще и от значения самого оцениваемого вектора, и, таким образом, она не обладает свойством инвариантности.

Достоинство рассмотренных методов заключается в том, что на этапе синтеза алгоритмов какая-либо априорная информация ста­ тистического характера не привлекается. Однако ее отсутствие затрудняет решение задачи анализа точности. Такая возможность открывается, если ввести предположение о случайном характере как ошибок измерения (в случае МНК и ОМНК), так и оценивае­ мого вектора (в случае ММНК).

Введем такие предположения, полагая, в частности, что ошибки

измерения v,-, i = 1 являются центрированными случайными ве­

личинами, для которых определена матрица ковариаций R . В этом случае из соотношений (2.2.22), (2.2.23) вытекает, что ошибки оценок для МНК и ОМНК также будут центрированными с матри­ цами ковариаций:

рмик = A/{ ( £ MHKV)CKMHKV)t }= (H TH)~lH TRH(HTH)~l ; (2.2.25)

роинк = (я тQH ^j 1 H JQRQH (H JQH ) 1

(2.2.26)

Для того чтобы вычислить матрицу ковариаций ошибок оцени­ вания для ММНК, необходимо не только дополнительно ввести предположение о случайном характере оцениваемого вектора и задать статистические свойства для векторов v и х по отдельно­ сти, но и определить их взаимные статистические свойства. Если, к примеру, считать, что х и v некоррелированные между собой случайные векторы с математическими ожиданиями х и v = 0 и

матрицами ковариаций R , Рх , то с использованием представле­ ния (2.2.24) нетрудно убедиться в том, что ошибки оценивания также являются центрированными, и для соответствующей им матрицы ковариаций можем получить соотношение

рМ М Н К _ _ К ш х ш Ц ^ р х (J ? — ММНК ММНК -jT Ç2 9 27)

где матрица /Сммнк задается выражением (2.2.18).

Если в критерии (2.2.13) принять 0 = R~*, то оценки ОМНК и

матрица ковариаций их ошибок могут быть записаны как:
	хош,к(у) =		(H TR-'H)-'HxR-ly,			(2.2.28)
		ромнк = (я т7Г‘я ) 1				(2.2.29)
Если,	кроме	того,	считать,	что	£> = (р л)	то
АГММ,,К =({р х) 1 + Я		т7?-1я )	H TR~l	и выражения для		оценки

(2.2.17) и соответствующей ей матрице ковариаций (см. задачу 2.2.3) примут вид:

хшшк(у) = х + ((РХУ1 + Н тЯ ~ ' н У н тЯ~](у - Нх) ;	(2.2.30)
рммнк = ^ p * ) _1 + H rR~]H^j '	(2.2.31)

Возможность вычисления матриц ковариаций ошибок оценива­ ния обеспечивает существенное продвижение в решении задачи анализа точности, поскольку удается охарактеризовать ее на коли­ чественном уровне. В частности, диагональные элементы полу­ ченных матриц ковариаций ошибок оценивания (2.2.25)-(2.2.27) представляют собой дисперсии ошибок оценивания компонент искомого вектора х.

Значения диагональных элементов матрицы Рх обычно назы­ вают априорными дисперсиями ошибки оценивания. Такое на­ звание вполне обоснованно, если считать, что до проведения изме­ рений в качестве априорной оценки целесообразно использовать значение математического ожидания х Сопоставление априор­ ных дисперсий с соответствующими апостериорными диспер­ сиями (диагональными элементами матриц ковариаций (2.2.25)- (2.2.27)), т. е. с теми, которые получены после проведения измере­ ний с использованием различных алгоритмов, позволяет оценить эффективность этих алгоритмов. Соответственно, матрицу кова­

риаций Рх называют априорной матрицей, а матрицы (2.2.25)-(2.2.27) - апостериорными матрицами ковариаций

ошибок оценивания.

Если дополнительно наряду с предположением об известных значениях математических ожиданий и матриц ковариаций, счи­ тать, что ошибки измерения и оцениваемый вектор гауссовские, то в силу линейного характера преобразований (2.2.22)-(2.2.24) это обеспечивает гауссовский характер и ошибок оценивания для рас­ сматриваемых методов. Иными словами, становится известной ф.п.р.в. для вектора ошибок оценивания. Наличие ф.п.р.в. обеспе­ чивает полное описание их статистических свойств. В частности, для них могут быть рассчитаны такие характеристики, как вероят­ ная ошибка, предельная ошибка, квантили и т.д.

♦ П р	и м е р	2.2.4. Будем считать, что в примере 2.2.2		х является
„	w	„	-	„	2
случайной величиной с математическим ожиданием			х и дисперсией		GQ ,

а ошибки измерения - центрированные, некоррелированные между собой

и с .Y случайные величины с дисперсиями r f ,	i = 1 т (неравноточные
измерения), а в частном случае rf =r~, i = 1 т	(равноточные измере­

ния). Получим выражения для ошибок оценивания и соответствующих им дисперсий для трех вариантов МНК, применительно к задаче оцени­ вания скалярной величины Л'.

При сделанных предположениях матрица R диагональная с элементам

г ? , i = 1 .т; матрица # т = [1Д..1] ; матрица	Q диагональная с элементами
= I / г~ в первом случае, и q-{ = 1 //-2 , i -	l.m - во втором. Таким обра­

зом, нетрудно получить представленные в табл. 2.2.4 выражения

Уравнения ошибок оценивания и значения их дисперсии для трех вариантов МНК в простейшем примере

Метод

МНК

ом н к

ммнк

Ошибки оценки

		1	т
	е - " * = ±		£	„ (
		т м
gOMHK ^	V ç ? MI,Kv			grOMUK _	Qi
	f-1	1	'	4 '	m
					/=1
				M
BMM,,KÜO =p<x-*) + l 9 r HV
				f=i
~ MMHIC		Qi		о	^
*	=	m		’P =	»
		d + Y j ^ i		d + J ? qi
		i=l

Дисперсии

Неравиоточные измерения

m

&

pMHK 1=1

"m 2

	f	m	1	V 1
pOMIJK _			1
	v.'=l		'V	>
	Г			“H
рммнк	1		, V '	1
	1			1
~	l2 " + 2 - r r
	L^o		/=1	J

Равноточные измерения

2	2
г?	= r

p мнк _ £ _

m

,.2 pOMHK _ 1_

m

2 2 pMMIIK _ G0r

r 2 + CTQWÎ

__________________________ 1

Втабл. 2.2.5 приведены результаты расчета СКО ошибок оценивания,

взависимости от числа измерений для ОМНК и ММНК при одинаковых

дисперсиях ошибок измерения				г = \ , т= TTTÔ.
								Т а б л и ц а		2.2.5
Значения СКО ошибок оценивания в зависимости от числа измерений
		для ОМНК и ММНК при разных значениях ст0
					Номер измерения
Метод	1	2	3	4	5	6	7	8	9	10
ОМНК	1	0,7	0,58	0,5	0,45	0,41	0,38	0,35	0,33	0,32
ММНК
а о >10,	1	0,7	0,58	0,5	0,45	0,41	0,38	0,35	0,33	0,32
х - 0
ММНК
а 0 = 1 >	0,7	0,58	0,5	0,45	0,41	0,38	0,35	0,33	0,32	0,3
.7 = 0

Из результатов следует, что для ОМНК и ММНК при ао>10 отличия в точности не проявляются. Влияние априорной информации в данном

случае незначительно, поскольку <70 » г При 0 О= /• = 1 это влияние

существенно лишь при малом числе измерений. Фактически СКО для ОМНК совпадает с СКО для ММНК на предыдущем шаге. Такое пове­ дение легко объясняется, если принять во внимание приводимую далее в подразделе 2.2.4 возможную трактовку учета наличия априорной инфор­ мации в виде дополнительного измерения (2.2.46).♦

Конкретизируем теперь соотношения (2.2.25), (2.2.26), (2.2.31) для задачи оценивания двухмерного вектора, рассмотренной в примере 2.2.3.

♦ П р и м е р 2.2.5. Получим выражения для матриц ковариаций ошибок оценивания коэффициентов полинома первой степени по изме­ рениям типа (2.1.3), считая, что ошибки измерения являются некоррели­ рованными между собой центрированными случайными величинами с одинаковыми дисперсиями, равными г , а оцениваемые коэффициенты представляют собой центрированные ( х = 0 ), некоррелированные между собой и с ошибками измерений случайные величины с матрицей кова­

риаций р х = <*о

<*Г