книги2 / 260

А.А.Кононков

121

между объектами, выбор меры расстояния существенно влияет на результаты кластеризации, поэтому данной проблеме в литературе уделено достойное место.

Ниже приведен обзор литературы по кластерному анализу, а также его комбинированному использованию с другими методами многомерного статистического анализа.

Представляется целесообразным разбить обзор на две части – в начале обзора рассмотрены три публикации, в которых излагается теория кластерного анализа, а также его методы без конкретизации области исследований, во второй части представлены несколько публикаций опубликованных во всемирной сети Интернета, что подтверждает актуальность применения методов кластеризации в различных исследованиях. Далее в обзоре рассмотрены статьи, рассматривающие применения кластерного анализа в конкретной области, например социальных исследованиях, это сделано для того, чтобы показать, что выбор методов все же зависит от области исследования и ожидаемого результата.

Дюран Б. и Оделл П. Кластерный анализ. Пер. с Демиденко. Под ред. Боярского.- М.: «Статистика», 1974.- 128 с.

Обзор состояния теории и практики применения «кластерного анализа» приведен в книге Дюрана и Одель. В ней авторы подчеркивают, что этот метод имеет все преимущества метода комбинаторной группировки, но свободен от его главного недостатка – распыления материала, что открывает большие перспективы применения рассматриваемого метода в статистическом анализе, в классификации объектов, в исследовании связей и типизации выборки. Эта книга отличается полнотой и доступностью

ивместе с тем краткостью изложения материала. Она разбита на 6 глав –

вначале книги даются основные идеи кластеризации, дальше затрагиваются проблемы, с которыми сталкивается исследователь, если использует кластеризацию полным перебором. В книге также освещаются методы графического представления матриц сходства и собственно результатов кластеризации – наиболее авторы выделяют метод дендограмм.

Мендель И.Д. Кластерный анализ.- М.: Финансы и статистика, 1988.- 176с.: ил.

Вданной книге предпринята попытка систематизировать и дать сравнительный анализ многочисленных алгоритмов кластеризации. В ней также приводятся примеры использования кластерного анализа в соци- ально-экономических исследованиях. В книге наилучшим образом изложена проблема измерения близости объектов, с которой сталкиваются все исследователи, пытающиеся применять кластерный анализ в своих работах. Это обусловлено тем, что объекты обычно имеют параметры, изме-

122	Методы кластерного анализа в научных исследованиях

ряемые в различных величинах, иногда даже качественные, в этом случае встает проблема нормировки значений и формализации отношения близости или удаления объектов друг от друга.

Ким Дж. – О. Ким Факторный, дискриминантный, кластерный анализ: пер с англ./ Дж. – О. Ким, Ч.У. Мюллер, У.Р. Клекка и др.; Под ред. И.С. Енюкова.- М.: Финансы и статистика,1989.- 215 с.: ил.

Книга представляет сборник работ американских ученых, в которых рассмотрен аппарат факторного, дискриминантного и кластерного анализа, широко применяемый в социально-экономических классификациях и анализе неявных закономерностей в экономических и социальных процессах. В настоящую книгу вошли три выпуска серии «Quantitative Application in Social Sciences» издаваемых американской фирмой «Sage Publication», представляющие некоторые важнейшие методы многомерного статистического анализа.

Данное издание является хорошим справочником для научных работников, преподавателей, студентов, аспирантов экономических вузов.

Айвазян С.А. Прикладная статистика : Классификация и снижение размерности: Справ. изд. / С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Е.Д. Мешалкин; под ред. С.А. Айвазяна.- М: Финансы и статистика, 1989.- 607 с.

Книга является третьей в трехтомном справочном издании этих же авторов посвященным прикладной статистике. Данный том посвящен актуальным аспектам общей проблемы статистического анализа данных – задачам классификации объектов, снижению размерности исследуемого признакового пространства и статистическим методам их решения. В настоящее время, когда вычислительные мощности уже достигли определенного уровня, главной проблемой теории и практики классификации и снижения размерности стало развитие достаточно изощренного и эффективного в приложениях математического аппарата, при написании данной книги авторы ставили целью достаточно полно систематизировать все достижения. В результате им удалось выстроить методологическую схему применения методов статистического анализа данных, снабдив ее необходимыми практическими рекомендациями (включая вопросы преодоления вычислительных трудностей и использования подходящего программного обеспечения).

Настоящая книга будет полезна для специалистов, применяющих методы анализа данных.

Абдулганеев М.Т., Владимиров В.Н. Типология поселений Алтая 6-2 вв. до н.э.: Монография. Барнаул: Изд-во Алт. ун-та, 1997. 148 с.

А.А.Кононков

123

В монографии представлена типология поселений лесостепного, степного и предгорного Алтая скифского времени, созданная на основе применения методов многомерного статистического анализа (факторный анализ, кластер-анализ, fuzzy classification). В основе типологии лежит изучение орнаментальных традиций основных археологических культур, распространенных на территории Алтая в то время. Весь анализ проведен на компьютере с использованием стандартного и оригинального программного обеспечения. Это позволило внести существенные коррективы в культурно-хронологическую схему развития населения Алтая в скифское время, четко разграничить выделенные на этой территории археологические культуры.

Кораблёва Г.В., Широков Л.А. Алгоритмы классификации и кластеризации компонентов сложных изделий для адаптивной системы планирования Машиностроительного производства.// Материалы ежегодной конференции.-Свободный доступ.- http://www.msiu.ru/conference/section_2/2_6_conference_1.doc

Встатье представлены принципы эффективности планирования производства, на примере машиностроительного производства. Показан один из возможных путей достижения оптимальности и эффективности процесса планирования. Он основан на использовании экономикоматематических моделей, которые позволяют сократить количество уравнений для расчета модели планирования производства. С целью уменьшения времени нахождения оптимального производственного плана применяются методы классификации и кластеризации. Также приведен пример использования методов классификации для уменьшения анализируемых данных, в частности: с целью сокращения числа строк в матрице запасов ресурсов производится их классификация по известным признакам. При классификации применяются многомерные методы обобщенных расстояний Махаланобиса и алгоритм Беккера.

Статья будет полезна для исследователей, желающих ознакомиться с практикой применения кластерного анализа в конкретной области.

Коновалов А.В. Об особенностях применения многомерного статистического анализа в исторических исследованиях.- Свободный доступ.- http://sodmu.narod.ru/archive/konovalov.doc

Встатье приведен пример использования многомерного анализа в исторических исследованиях. На основе совместного использования кластерного, и факторного анализов. Проводились исследование социального и материального деления хуторян и общинников Симбирской губернии, данные для исследований были взяты из массового статистического

124	Методы кластерного анализа в научных исследованиях

источника – «Кратких бюджетных сведений по хуторским и общинным крестьянским хозяйствам Симбирской губернии».

Методы многомерного анализа применяются последовательно, сначала с помощью агломеративно-иерархического метода кластерного анализа (основная идея этого метода заключается в последовательном объединении группируемых объектов – сначала самых близких, затем все более удаленных друг от друга) получают группировку объектов в исходном многомерном пространстве признаков, а затем с помощью факторного анализа выявляют небольшое количество основных факторов. В результате исследователи получают наглядную интерпретацию результатов на плоскости. Что дает исследователю возможность более четко интерпретировать полученное разбиение на классы.

Ценность статьи заключается в примере комбинирования методов многомерного статистического анализа, а также примере использования автоматических процедур кластеризации пакета Statistica.

С.А.Айвазян, В.С.Степанов Программное обеспечение по статистическому анализу данных: методология сравнительного анализа и выборочный обзор рынка.- Свободный доступ.- http://stphs.narod.ru/SAS/STatProg.htm

В статье описывается методология сравнительного анализа множества однотипных статистических программных продуктов (СПП), а также подходы к ценообразованию на рынке СПП. Предлагаемая методология является развитием и определенной коррекцией методики, разработанной и активно используемой Национальной лабораторией по тестированию программных продуктов (США). Предложения авторов статьи сводятся, в основном, к необходимости включения в принятую ранее блок-схему нового важного базового свойства «Степень интеллектуализации СПП», к разработке существенно иного подхода к определению «весов» детализированных характеристик и различных базовых свойств, а также к увязке этих вопросов с вопросами ценообразования на рынке СПП.

Статья содержит также выборочный аналитический обзор мирового рынка СПП, особенно подробный применительно к пакетам, решающим задачи статистической классификации и снижения размерности (независимо от предметной области их применения).

Содержащаяся в статье информация может оказаться полезной пользователям (в частности, в более квалифицированном подходе к решению вопроса о приобретении того или иного пакета), специалистамразработчикам наукоемких программ и исследователям, а также руководителям различных аналитических служб (банков, бирж, маркетинговых

А.А.Кононков

125

и консалтинговых агентств, экономических, медицинских, геофизических, промышленных исследовательских центров и т.п.).

Многомерный статистический анализ в социально-экономических исследованиях// Под ред. Айвазян С.А., Френкель А.А - М.:«Наука», 1974.- 416с.

В настоящем издании освещены теоретические, методологический и экономико-прикладные аспекты многомерного статистического анализа, рассматриваются вопросы построения экономико-статистических моделей с помощью факторного анализа, метода главных компонент, кластерного анализа и других методов многомерной статистики. Большое внимание уделено описанию основных алгоритмов и их приложений в экономике, приведены результаты различных практических исследований с применением многомерного статистического анализа. Эта книга интересна тем, что в ней можно проследить, как разные ученые решают схожие проблемы кластеризации данных и сравнить различные методы кластерного анализа.

Ле Ба Хонг Минь

АЛГОРИТМ ПЕРЕВОДА СЛОВ С РУССКОГО ЯЗЫКА НА ВЬЕТНАМСКИЙ

Одной из главных функций системы машинного перевода является функция «Трансфер». Основной ее задачей является перевод русской семантической сети во вьетнамскую семантическую сеть. Из результатов курсовой работы «Формальные признаки структур для перевода» нам известно, что машинный перевод будет правилен, если две сети полиморфны, то есть их графы схожи по дугам и вершинам. В этой статье мы рассматриваем алгоритм нахождения вьетнамского слова, которое больше всего соответствует русскому не только с грамматической точки зрения, но и с точки зрения лексики, то есть значения этого слова.

Элементы модуля «Трансфер»

1. Входные данные

Система машинного перевода – это последовательность различных элементов системы. Результаты предыдущего элемента процесса являются входными данными для следующего элемента. Входными данными для модуля «Трансфер» являются выходные данные модуля «Семантического анализа», то есть семантическая сеть предложения, требующего перевода. В этом графе вершинами являются слова или словосочетания, у которых определены лексические значения и грамматические свойства, а дуги отображают отношения между словами.

Пример структуры слова в словаре:

статья Валить: КАТ = 1 ЭТК.СИТ ГХ = 1 ГЛ:ГГ

ВАЛ = АГЕНТ , А1 , С ОБ , А2 , С

ГХ1 = 1 подл : И СХ1 = 1 ОДУШ ГХ2 = 1 п_доп :

Семантическая сеть.

Ле Ба Хонг Минь

127

Мы хотим, чтобы она ответила на все вопросы

хотим

СУБ

СОДЕРЖ чтобы

ответила

мы

СУБ

ОГРН

она

ПРИЗН

вопросы

все

2. Словарь

Бинарный словарь — определяет все вьетнамские слова, которые подходят по значения к русскому слову.

Пример:

Гулять: Đi chơi

Đi nghỉ

ВOCC вьетнамский общесемантический словарь — определяет все грамматические и лексические значения вьетнамских слов. Структура этого словаря похожа на структуру словаря РOCC.

Пример:

статья “ địa chỉ” :

ГХ = 1 VERB

СХ = 1 КОММУНИК ВАЛ = СУБ , А1 , С АДР , А2 , С

СОДЕРЖ , А3 , С СПОСОБ , А4 , С

ГХ1 = 1 chủ thể ГХ2 = 1 đối tượng

СХ2 = 1 ОДУШ ГХ3 = 1 đối tượng

2 cùng với + danh từ

СХ3 = 1 ИНФ 2 СИТУАТ

128	Алгоритм перевода слов с русского языка на вьетнамский

ГХ4 = 1 như + danh từ НЕСОВМ = 2.1 , 3.1

3. Алгоритм выбора слова

Задача этого алгоритма выбор вьетнамских слов, которые наиболее соответствуют русскому слову в этой семантической сети, используя данные словаря.

4. Выходные данные

На выходе функции «Трансфер» будет получена вьетнамская семантическая сеть, которая идентична входящей. Каждая вершина этой сети – вьетнамское слово, грамматические значения которых определены.

Пример:

Мы хотим, чтобы она ответила на все вопросы – Chúng tôi muốn cô ấy trả lời tất cả câu hỏi.

Muốn

СОДЕРЖ

СУБ

Trả lời

Chúng tôi

СУБ

ОГРН

Cô ấy

ПРИЗН

Câu hỏi

Tất cả

Алгоритм функции «Трансфер»

1.Получить семантическую сеть, соответствующую русскому предложению.

2.Получить слово из этой сети.

3.Найти перевод этого слова на вьетнамский язык.

3.1.Если было найдено только одно похожее вьетнамское слово, то это слово является результатом функции.

Ле Ба Хонг Минь

129

3.2. Если русскому слову соответствует несколько вариантов вьетнамских слов, то

3.2.1.Определить грамматические и лексические характеристики слов, используя словарь ВOCC.

3.2.2.Для каждого слова определить вероятность связи этого слова с другими словами семантической сети, которые связаны с этим словом

3.2.3.Выбрать слово имеющее самую большую вероятность

4. Построить семантическую сеть вьетнамского предложения с помощью слов определенных на предыдущем этапе, соответствующую семантической сети русского предложения.

Литература

1.Н.Н.Леонтьева “Автоматическое понимание текстов: системы,

модели, ресурсы” — М.: ACADEMA, 2006 г.

2.“Lý thuyết đồ thị và ứng dụng ” — Ханой: Научная редакция, 1980 г.

3.“Трансфер” http://www.aot.ru/docs/transfer.html

И.М.Нейский

КЛАССИФИКАЦИЯ И СРАВНЕНИЕ МЕТОДОВ КЛАСТЕРИЗАЦИИ

Методы кластерного анализа являются наиболее распространенными в различных технологиях обработки данных. Приведем их классификацию и описание.

Методы по способу обработки данных [1]:

Иерархические методы:

Агломеративные методы AGNES (Agglomerative Nesting):

-CURE;

-ROCK;

-CHAMELEON и т.д.

Дивизимные методы DIANA (Divisive Analysis):

-BIRCH;

-MST и т.д.

Неиерархические методы.

Итеративные

-К-средних (k-means);

-PAM (k-means + k-medoids);

-CLOPE;

-LargeItem и т.д.

Методы по способу анализа данных:

-Четкие;

-Нечеткие.

Методы по количеству применений алгоритмов кластеризации:

-С одноэтапной кластеризацией;

-С многоэтапной кластеризацией.

Методы по возможности расширения объема обрабатываемых данных:

-Масштабируемые;

-Немасштабируемые.

Методы по времени выполнения кластеризации [1]:

-Потоковые (on-line);

-Не потоковые (off-line).