книги / Математическая теория энтропии
..pdf12 Предисловие редактора перевода
размерностью носителя инвариантной меры или, как принято говорить, с размерностью меры (см. Бунимович, Лесин, Синай, Якобсон [1985]).
Упомянем теперь несколько обобщений понятия энтропии для общих динамических систем и близких объектов. Понятие энтропии группы, действующей с инвариантной мерой, парал лельное определению Синая для групп Z и R, было введено Кирилловым [67]. Содержательным оно оказалось лишь для аменабельных групп; для более общих групп инвариантом яв ляется не энтропия, а факт ее равенства нулю, ненулевому поло жительному числу или бесконечности. Для аменабельных групп имеется ряд результатов — см. Kieifer [1975], Пицкель, Стёпин [1971], Пицкель [1975], Сафонов | [1983]. Общее определение Кириллова привело Кушниренко ![73] к понятию Л-энтропии для действия группы Z («последовательностная энтропия») — см. разд. 2.13. В последние годы эт^от инвариант интенсивно ис пользуется для изучения автоморфизмов, близких к автомор физмам с дискретным спектром, типа знаменитого примера Морса (см. Dekking [1980], Lemanczyk [1985]). Заметим по путно, что анализ примера Морса привел к развитию теории так называемых подстановочных систем, которая нашла применения в теории автоматов, статистическбй физике, теории квазикри
сталлов и др. (см. Mendes France |
(1983]); этот класс совпадает |
|
с классом стационарных адическйх сдвигов |
(Вершик [1981, |
|
1982, 1986] и Лившиц [1987]). |
! |
1973] и незави |
В другом направлении Вершик |
[1970, 1971, |
симо иным способом Стёпин [1971] определили энтропию убы вающих последовательностей однородных измеримых разбиений, которая является метрическим инвариантом последовательности и используется в траекторной и ограниченной траекторной тео
рии динамических систем (Rudolph |
[1985b]). Отметим |
еще эн |
тропию случайных блужданий (Avez [1976а], Вершик, |
Кайма- |
|
нович [1979], Kaimanovich, Vershik |
[1983], Derriennic |
[1986]), |
тесно связанную с теорией границ марковских процессов. В этих работах энтропия измеряет экспоненциальную скорость роста числахостояний (слов), которые может достичь типичная траек тория за данное время, а равенство! энтропии нулю равносильно тривиальности границы-выход мар'ковского процесса, т. е. от сутствию нетривиальных ограниченных гармонических функций
(лиувиллевость). |
j |
Помимо случайных блужданий |
на группах эта теория при |
менима ко всем «достаточно однородным» марковским процес сам, например, к броуновскому движению на накрывающих многообразиях или на слоениях компактных многообразий (Кайманович [1986, 1988]). Энтропия броуновского движения на уни версальном накрывающем пространстве компактных многообра
Предисловие редактора перевода |
13 |
зий отрицательной кривизны тесно связана |
с топологической |
и метрической энтропией геодезического потока. Заметим, что в этой теории большую роль играет энтропийное расстояние Кульбака — Лейблера, применяемое в математической стати стике (Кульбак [1967], Ченцов [1972], Ибрагимов, Хасьминский [1979]).
В самое последнее время наметились применения энтропий ной теории к теории клеточных автоматов (Sinai [1985], Milnor [1986], Wolfram [1986]). Энтропия появляется в вероятностной теории представлений, где выступает в духе теоремы Шеннона — Макмиллана — Бреймана как характеристика скорости убыва ния вероятностей представлений той или иной группы при стремлении порядка к бесконечности (Вершик, Керов [1985]* Вершик [1987] ).
Нельзя не упомянуть о нескольких «энтропиях», относящихся к теории некоммутативных динамических систем. В работе Кон на и Штёрмера (Connes, Stormer [1975]) по образцу Колмого рова — Синая определена энтропия автоморфизма фактора типа III. В последующих работах это определение было перенесено на общие факторы, впрочем, достаточно убедительные примене ния этого понятия появились лишь недавно. Конн доказал не изоморфность некоммутативных сдвигов Бернулли с разной эн тропией, т. е. бесконечных двусторонних тензорных произведе ний алгебр матриц с продакт-состояниями. Вопрос о связи классической и квантово-физической энтропии с математиче скими понятиями энтропии все еще не прояснен в достаточной степени (см. Стёпин, Шухов [1982], Besson [1981], Connes [1985], Connes, Narnhofer, Thirring [1987]).
Читателю книги следует'иметь в виду, что в ней содержатся не все существенные результаты энтропийной теории динамиче ских систем. О некоторых из них мы говорили выше, другие были получены уже после выхода в свет английского оригинала книги. Я попросил переводчика составить дополнительный спи сок литературы. Этот список, содержащий около 500 названий, служит отличным доказательством высокой математической ак тивности в этой области и показывает, насколько трудно было бы сейчас дать сколько-нибудь полный обзор современной тео рии энтропии. Ссылки на этот список и ряд комментариев со держатся в примечаниях переводчика (при ссылках на литера туру из дополнительного списка в квадратных скобках указы вается год выхода работы).
В заключение я хотел бы поблагодарить авторов, любезно приславших исправления специально для русского перевода; ряд неточностей и опечаток был исправлен переводчиком.
И юль 1987 г. |
А. М. Вершик |
ОТ РЕДАКТОРА ЭНЦИКЛОПЕДИИ
Математика состоит главным образом из фактов, которые мож но представить и описать подобно любому явлению природы. Эти факты, сформулированные явно в виде теорем или упоми наемые по ходу доказательств, составляют основную часть при ложений математики и будут существовать всегда, несмотря на изменчивость направлений и интересов в данной науке.
Цель настоящей энциклопедии — постараться осветить все области математики. Непременным требованием к автору яв ляются ясность и четкость изложения материала, доступность для широкого круга .читателей, а *также наличие подробной библиографии. Тома энциклопедии объединяются в серии, кото рые соответствуют различным областям современной матема тики; порядок выхода книг в отдельных сериях не устанавли вается. Число томов и серий время от времени будет пересма триваться и корректироваться.
Мы надеемся, что наше смелое предприятие будет способ ствовать еще более широкому применению математики не толь ко там, где без нее нельзя обойтись, но даже в тех областях, где ее следовало бы применять и где из-за недостатка информации это пока не делается.
Джан-Карло Рота
ПРЕДИСЛОВИЕ РЕДАКТОРА СЕРИИ
Энтропия — понятие, сыгравшее центральную роль в ряде об ластей науки, в частности в статистической механике и теории информации. Использование аппарата теории вероятностей по зволило в последние годы прояснить связи между различными применениями энтропии. Сейчас стало возможным увидеть в казавшихся ранее изолированными результатах из различных дисциплин элементы более общей математической теории эн тропии.
Настоящая книга содержит замкнутое изложение математи ческой теории энтропии. В нее включены сведения из теории вероятностей, необходимые для понимания основных вопросов,, связанных с энтропией. Кроме того, тщательно отобранные при меры расположены так, что читатель, опустив доказательства некоторых теорем, тем не менее сможет получить представление об этих теоремах из разбора примеров.
В последних четырех главах дается описание тех разделов теории информации, эргодической теории, статистической меха ники и топологической динамики, на которые понятие эйтропии оказало наиболее сильное влияние. Эти главы можно читать не зависимо друг от друга. Примеры показывают, как идеи, возник шие в одной области, воздействовали на другие области. Гла ва 3 содержит краткое описание роли энтропии в теории инфор мации как меры потока информации и служит дополнением к первой части «Теории информации и кодирования» Р. Дж. Макелиса (том 3 настоящей энциклопедии). Недавние применения энтропии в статистической механике и топологической динамике приводятся в гл. 5 и 6. Эти две главы представляют собой хоро шее введение к «Термодинамическому формализму» Д. Рюэля (том ^5 энциклопедии). В главе 4, посвященной эргодической теории, описывается развитие принадлежащей Колмогорову идеи применения энтропии Шеннона к изучению автоморфизмов пространств с конечной мерой. Кульминацией этой деятельности явилось приведенное в этой главе доказательство теоремы Кол могорова — Орнстейна об изоморфизме.
16 |
Предисловие редактора серии |
Представленное в книге математическое изложение основ ных свойств энтропии и приведенные разнообразные приложения делают этот том ценным вкладом в энциклопедию.
Джеймс К. Брукс, Главный редактор серии
«Теория функций вещественной переменной»
Нашим женам:
Джо Мартин и Мери Ингленд
ПРЕДИСЛОВИЕ АВТОРОВ
Тридцать лет назад Клод Шеннон опубликовал статью под названием «Математическая теория связи». В ней он ввел ко личественную меру неопределенности, связанной со случайными событиями, и назвал ее энтропией. Влияние этой работы на состояние как теории, так и практики связи все еще ощущается; сама же энтропия Шеннона была с большим успехом использо вана в ряде областей математики. В частности, применение ее к динамическим системам А. Н. Колмогоровым и Я. Г. Синаем привело к полному решению долгое время остававшейся откры той проблемы эргодической теории, к введению нового инва рианта гладких динамических систем и к уточнению некоторых положений классической статистической механики.
В этой книге мы стремились дать достаточно полное и замк нутое изложение теории энтропии и ее обобщений, доступное читателю, знакомому со стандартным курсом абстрактной тео рии меры, и хотели показать применения энтропии в теории ин формации, эргодической теории и топологической динамике. Мы не делали попытки описать современное состояние этих дисцип лин; напротив, скорее ограничились лишь теми областями, на которые оказали влияние понятие энтропии Шеннона и ее раз витие Колмогоровым и Синаем. Таким образом, наша цель двояка: во-первых, дать замкнутое изложение всех основных свойств энтропии и ее модификаций с достаточно подробными доказательствами; во-вторых, представить картину применений энтропии в тех областях математики, где она успешно исполь зовалась. Основное внимание мы уделяем эргодической теории, поскольку именно здесь были получены наиболее впечатляющие результаты.
Слово «энтропия» было впервые использовано в 1864 г. Ру дольфом Клаузиусом в его книге «Abhandlungen fiber die Warmetheorie» («Сочинения по теории теплоты») для названия ве личины, характеризующей процессы перехода тепловой энергии в механическую, и в термодинамике оно сохранило именно это значение. Связь между энтропией как мерой неопределенности
18 Предисловие авторов
и термодинамической энтропией оставалась неясной на протя жении ряда лет. С введением мер на бесконечных системах, названных гиббсовскими состояниями, эта связь прояснилась. Мы обсуждаем ее в последней главе на примере классических решетчатых систем.
По этому поводу трудно удержаться от повторения замеча ния, сделанного Шенноном Майрону Трибусу и приведенного в статье Трибуса и Эдварда Макирвина «Энергия и информа ция» (Scientific American, 1971). В беседе о введенной им мере неопределенности Шеннон сказал: «Меня больше всего беспо коило, как назвать эту величину. Я думал назвать ее «информа цией», но это слово слишком перегружено, поэтому я решил остановиться на «неопределенности». Когда я обсуждал все это с Джоном фон Нейманом, тот предложил лучшую идею. Фон Нейман сказал мне: «Вам следует назвать ее энтропией по двук причинам. Во-первых, ваша функция неопределенности исполь зовалась в статистической механике под этим названием, так. что у нее уже есть имя. Во-вторых, и это важнее, никто не знает, что же такое эта энтропия на самом деле, поэтому в споре преимущество всегда будет на вашей стороне». Мы на деемся, что читатель также сможет пользоваться этим преиму ществом, после того как прочитает нашу книгу.
Подготовка рукописи была бы куда более трудной без щед рой поддержки отделений математики университета Виргинии и колледжа Суортмор, а также без точной и аккуратной маши нописи Беверли Уотсон. Мы с особой благодарностью отмечаем ее внимание и терпение при перепечатке основной части ру кописи, равно как и её способность к правильному пониманию крошечных, часто неразборчивых каракулей первого автора. Мы благодарим также Дженис Бэббит, Барбару Смит и Джо Филдс, печатавших отрывки из первой главы, и Мэри Браун, печатав шую исправления. Наконец, мы признательны Алану Салески за внимательное прочтение первых трех глав.
Натаниель Ф. Дж. Мартин Джеймс У. Ингленд
УКАЗАТЕЛЬ ОБОЗНАЧЕНИИ
Символ
<а, зг, Р)
<% У Е- Р\)
{S, 9 , ц,)
</, 2, X)
2(S)
S' (S)
SL
2 k (Q)
X(Q)
<Q, Г , P, T) <T, |)
<B; />,,.... Pk)
Tail (T, lo)
йл
12 (S), ц]
(2 (S), P(w, •), 2(B )]
Г
5. *1. 5. a. P
V
8
я(Т) или я
Значение Раздел
Вероятностное |
пространство |
|
1.1 |
|||
Факторпространство |
по разбиению £ |
1.2 |
||||
Дискретное вероятностное |
простран |
1.2 |
||||
ство с распределением f |
|
|
1.2 |
|||
Единичный интервал с мерой Лебега |
||||||
Множество бесконечных в обе сторо |
1.2 |
|||||
ны последовательностей |
элементов |
|
||||
множества S |
|
|
|
4.8 |
||
Множество бесконечных в одну сто |
||||||
рону |
последовательностей |
элемен |
|
|||
тов множества 5 |
|
|
|
1.3; 4.4 |
||
Совокупность всех измеримых разбие |
||||||
ний |
|
всех |
упорядоченных |
4.4 |
||
Совокупность |
||||||
измеримых разбиений с не более |
|
|||||
чем k элементами |
упорядоченных |
4.4 |
||||
Совокупность |
всех |
|||||
измеримых |
разбиений с |
конечным |
|
|||
числом элементов |
|
|
|
1.7 |
||
Динамическая система |
|
процесс, |
||||
Стационарный |
случайный |
|
1.7 |
|||
заданный автоморфизмом Т и раз |
|
|||||
биением g |
|
распределением |
4.3 |
|||
Сдвиг |
Бернулли с |
|||||
(Pt, - - : P k) |
|
|
|
|
4.3 |
|
Хвостовое разбиение случайного про |
||||||
цесса |
(Т, g) |
конфигураций |
решет |
6.3 |
||
Пространство |
||||||
чатой системы на множестве А |
3.2 |
|||||
Дискретный источник |
|
|
||||
Канал |
|
|
|
|
|
3.4 |
a-алгебра измеримых £- множеств |
1.3 |
|||||
Измеримые разбиения |
|
|
1.2 |
|||
Тривиальное разбиение |
|
|
1.2 |
|||
Точечное разбиение |
автоморфизма Т |
1.2 |
||||
Разбиение Пинскера |
2.9 |
20
Символ
st, Я
t<5 Л
с
1 < Л
зФ < Я
Ц- Сл
гv л
V a £a
st- V Я
S Л Л
А а !о
6"
1+
Г " 1
ir «
Г
г
1<*(1>-<*(л)1
1 £ - л 1
я а . л)
а
Наш
N|
NS.6
MS (/)
Ра
Ра ,а ,
Е(х)
Р(• М)
Указатель |
обозначений |
|
|
|
|
|||
|
|
|
Значение |
|
|
|
Раздел |
|
Открытые |
покрытия |
топологического |
5.2 |
|||||
пространства |
|
|
|
|
|
1.3 |
||
Разбиение т) измельчает разбиение £ |
||||||||
Разбиение |
ц 1с-измельчает |
разбие |
4.4 |
|||||
ние 1 |
|
\ |
|
& измельчает |
5.2 |
|||
Открытое |
покрытие |
|||||||
Разбиение £ стнезависимо от разбие |
4.3 |
|||||||
ния Т) |
|
|
|
|
|
|
|
|
Произведение разбиений 5 и Л |
|
1 .3 |
||||||
Произведение | |
семейства |
разбиений |
1.3 |
|||||
На |
|
|
открытых |
|
покрытий |
5.2 |
||
Произведение |
|
|
||||||
S& и & |
|
|
|
|
|
|
|
1.3 |
Пересечение разбиений J и г] |
|
|||||||
Пересечение |
семейства |
разбиений |
1.3 |
|||||
{£<*} |
|
|
семейства |
разбиений |
4.3 |
|||
Произведение |
|
|||||||
{Т/|: 0 < / < п — 1} |
|
|
|
|
||||
Произведение |
|
семейства |
разбиений |
4.3 |
||||
0 < |
/ < |
оо) |
|
|
|
|
|
|
Произведение |
|
семейства |
разбиений |
4.3 |
||||
{T-'l: I < |
/ < «} |
|
разбиений |
4.5 |
||||
Произведение |
|
семейства |
||||||
{Т -^ : 0 < / < n - l } |
разбиений |
4.3 |
||||||
Произведение |
|
семейства |
||||||
( т - '|: 1 |
< / < о о } |
|
|
|
|
|
||
Произведение |
|
семейства |
разбиений |
4.3 |
||||
{Т7£: — оо < |
/ < оо} |
|
|
|
|
|||
Расстояние по |
распределению |
меж |
4.4 |
|||||
ду разбиениями £ и т) |
|
|
|
|
||||
Расстояние |
|
в |
метрике |
разбиений |
4.4 |
|||
между ^ |
и т)! |
|
|
|
|
|
|
|
Расстояние |
Рохлина |
между |
|
5 и Л |
4.4 |
|||
5-метрика |
|
|
|
|
|
|
|
4.5 |
Метрика Хеммйнга |
|
|
|
|
4.5 |
|||
Проекция на |
факторпространство по |
Г.З |
||||||
разбиению £ |
|
|
|
|
|
|
||
Проекция |
факторпространства |
по |
1.3 |
|||||
разбиению |
£ |
на |
факторпростран |
|
||||
ство по разбиению £ |
|
|
|
4.5 |
||||
л-имя точки / относительно разбие |
||||||||
ния £ |
|
конфигураций |
|
на |
мно |
6.4 |
||
Ограничение |
|
|||||||
жество А |
конфигураций |
из |
й Лз |
6.4 |
||||
Ограничение |
||||||||
на множество Ai |
|
|
|
|
1.4 |
|||
Математическое |
ожидание случайной |
|||||||
величины х |
|
|
|
|
|
|
1.5 |
|
Условная |
вероятность относительно |
события А
Символ
pt (. | с) или р Ч “ . •)
Еt (х | с) или
d( |)
/(1 )
Я(1) / (I/S)
Я(?/£)
/ (1; л)
h (Т. £)
h (Т) или Лд (Т)
И (si-) h (Т, si)
hd (T, КУ
АЛ(Т)
S(P)
S((X)
Р{ Т, •) Р(ф) И ф)
*Л,Л,
ж л (ф)
С(Р)
Р (И. Р)
Указатель обозначений |
|
|
|
|
|
2Г |
|||
. |
|
Значение |
|
|
|
|
Раздел |
||
Каноническое |
семейство |
условных |
1.5 |
||||||
мер разбиения £ |
|
|
|
|
|
|
|||
Условное |
математическое |
ожидание |
1.6 |
||||||
случайной величины |
х |
относитель |
|
|
|||||
но разбиения £ |
|
|
|
|
|
|
|
||
Дискретный |
вероятностный |
вектор, |
4А |
||||||
отвечающий |
упорядоченному |
раз |
|
|
|||||
биению £ |
|
|
|
|
|
|
|
|
|
Информационная |
функция |
разбие |
2.2 |
||||||
ния £ |
|
|
|
|
|
|
|
|
|
Знтропия разбиения £ |
|
|
|
|
2.2 |
||||
Условная |
информация |
разбиения £ |
2.4; |
2.5 |
|||||
относительно разбиения £ |
|
|
|
|
|||||
Условная энтропия разбиения £ отно |
2.4; |
2.6» |
|||||||
сительно разбиения £ |
|
|
|
|
|
|
|||
Взаимная информация разбиений £ и |
2.5 |
||||||||
ц друг относительно друга |
|
|
|
|
|||||
Энтропия |
преобразования. Т |
относи |
2.7 |
||||||
тельно разбиения £, или скорость |
|
|
|||||||
создания информации |
|
|
|
|
|
|
|||
Энтропия преобразования |
Т |
|
S& |
2.а |
|||||
Энтропия |
открытого покрытия |
5.2 |
|||||||
Топологическая |
энтропия |
отображе- |
5.2 |
*ния Т относительно открытого по крытия st
Топологическая |
энтропия |
по Боуэну |
5.4 |
||
отображения |
Т относительно ком |
|
|||
пакта к |
|
|
|
|
|
Топологическая |
энтропия |
по Боуэну |
5.4 |
||
отображения Т |
|
|
|
||
Энтропия состояния Р |
|
6.5 |
|||
Средняя |
энтропия |
трансляционно |
. 6.5 |
||
инвариантного состояния ц |
|
||||
Давление |
непрерывного |
отображе |
5.4 |
||
ния Т |
|
|
|
|
|
Давление |
трансляционно-инвариант |
6.5 |
|||
ного взаимодействия ф |
|
6.5 |
|||
Энергия взаимодействия ф для со |
|||||
стояния р, |
|
|
|
6.4 |
|
Функционал энергии |
|
|
|||
Взаимодействие |
между множествами |
6.4 |
|||
Ai и Лг |
|
|
|
|
6.4 |
Статистическая сумма |
|
||||
Пропускная способность |
канала |
3.4 |
|||
Скорость |
передачи |
информации по |
3.4 |
||
каналу . |
|
|
|
|
|