hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
w				to							Г Л А В А 8
w Click
									o	m
	w
	.							.c
		p					g
			df			n		e
				-xcha

Интеграция и интероперабельность данных

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Архитектура

Качество	данных
	данных

	проектирование
Моделирование		данных	операции
			данными
и		Хранение
			с

Метаданные Руководство

данными

Безопасность данных

		данных
	-аналитика
	Ведение
хранилищ			Справочные
	бизнес
и				основные
			и

данные

и
документамиинтероперабельность
	Интеграция
и	данных
Управление
контентом

DAMA-DMBOK2 Data Management Framework

1. ВВЕДЕНИЕ

Интеграция и интероперабельность данных (Data Integration and Interoperability, DII) — область знаний по управлению данными, которая описывает процессы, связанные с перемещением и консолидацией данных как внутри хранилищ, приложений и организаций, так и в рамках обеспечения их взаимодействия. Интеграция позволяет объединять данные в согласованные физические или виртуальные формы. Под интероперабельностью данных подразумевается способность двух или более систем к обмену информацией. Решения в области DII необходимы для реализации

Интеграция и интероперабельность данных

323

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

					hang		e
				C				E
			X
		-							d
		F								t
		D								i
										r
	P						NOW!			o
						BUY
					to
	w Click										m
w
		w								o
		.							.c
			p					g
				df			n		e
					-x cha

базовых функций управления данными, которые используются в большинстве организаций. К ним относятся:

миграция и конвертация данных;

консолидация данных в концентраторах (или хабах — hubs) или витринах;

интеграция программных продуктов сторонних поставщиков в единый комплекс приложе ний организации;

совместное использование данных различными приложениями как в рамках одной организа ции, так и в рамках группы организаций;

распространение данных по хранилищам и ЦОДам;

архивирование данных;

управление интерфейсами обмена данными;

получение внешних данных и подготовка их к использованию;

интеграция структурированных и неструктурированных данных;

предоставление оперативной информации и поддержка управленческих решений.

DII находится в зависимости от других областей управления данными:

руководство данными — в части определения правил преобразования данных и структуры сообщений;

архитектура данных — в части разработки архитектуры DII-решений;

безопасность данных — в части обеспечения соответствия DII-решений требованиям по безо пасности данных, как постоянно хранимых (persistent), так и виртуальных (virtual), а также «дан ных в движении» (in motion), которые перемещаются между приложениями и организациями;

метаданные — в части отслеживания такой информации, как техническое описание дан ных (постоянно хранимых, виртуальных и передаваемых), описание их значения для бизне са, описание бизнес-правил преобразования данных, а также история операций и сведения о происхождении (lineage) данных;

хранение и операции с данными — в части физической реализации решений по хранению данных;

моделирование и проектирование данных — в части проектирования структур данных (по стоянно хранимых, виртуальных, а также сообщений, которые перемещаются между прило жениями и организациями).

Интеграция и интероперабельность данных критически важны для ведения хранилищ данных и бизнес-аналитики, а также для управления справочными и основными данными, поскольку обе эти области управления данными сфокусированы на преобразовании и интеграции данных из систем-источников в консолидационных хабах, с последующей передачей консолидированных данных в целевые системы, которые предоставляют их потребителям (людям и другим системам).

324	Г Л А В А 8

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

					hang		e
				C				E
			X
		-							d
		F								t
		D								i
										r
	P						NOW!			o
						BUY
					to
	w Click										m
w
		w								o
		.							.c
			p					g
				df			n		e
					-x cha

Интеграция и интероперабельность данных занимают центральное место в недавно появив шейся области управления большими данными. Эта область подразумевает интеграцию раз личных видов данных, включая структурированные данные из всевозможных БД, неструктури рованные текстовые данные из документов или файлов, а также неструктурированные данные других видов, такие как аудио, видео и потоковые. Большие данные могут быть объектом ин теллектуального анализа, использоваться для построения предиктивных моделей и получения оперативной информации.

1.1 Бизнес-драйверы

Потребность в управлении перемещением данных — основной драйвер DII. Поскольку в боль шинстве организаций имеются сотни, а то и тысячи всевозможных баз и хранилищ данных,

управление процессами перемещения данных между местами хранения внутри организации и обмена данными с другими организациями становится одной из главных сфер ответственности любой ИТ-службы. Без надлежащего управления процесс перемещения данных быстро исчер пает все их ресурсы и возможности, лишив при этом необходимой поддержки традиционные приложения и области управления данными.

Повсеместный переход организаций на использование покупного прикладного ПО вместо разработки собственного усилил потребность в обеспечении интеграции и интероперабельно сти на корпоративном уровне. Каждое коммерческое приложение добавляет собственный набор хранилищ основных данных, транзакционных данных и данных отчетов, и все их приходится интегрировать с другими хранилищами данных, уже имеющимися в организации. Даже системы планирования ресурсов предприятия (ERP), обеспечивающие выполнение общих функций орга низации, практически никогда не охватывают всех необходимых хранилищ данных. Они также должны интегрировать свои данные с другими данными организации.

Потребность в управлении сложностью и связанные со сложностью затраты требуют корпоративного подхода к построению архитектуры интеграции. Очевидно, что корпоративная архитектура более эффективна и менее затратна, чем распределенные решения или решения «точка-точка». Разработка решений «точка-точка» для связи между приложениями может по требовать тысяч или даже миллионов интерфейсов обмена, что быстро исчерпает возможности даже самой эффективной службы ИТ-поддержки.

Информационные хабы (hubs), такие как хранилища данных (data warehouses) и решения по управлению основными данными, значительно облегчают преодоление этой проблемы, обеспе чивая консолидацию данных, которые требуются многим приложениям, а также унификацию представления этих данных. Аналогичным образом и задачи управления операционными и тран закционными данными, требующими общего доступа в рамках всей организации, значительно

упрощаются, если использовать методы интеграции данных корпоративного уровня: например, по схеме звезды с интеграцией в центре (hub-and-spoke, дословно — «ступица и спица») в сочета нии с каноническими моделями обмена сообщениями.

Интеграция и интероперабельность данных

325

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

ИНТЕГРАЦИЯ И ИНТЕРОПЕРАБЕЛЬНОСТЬ ДАННЫХ

Определение: Управление перемещением и консолидацией данных как внутри приложений и организаций, так и в рамках обеспечения их взаимодействия

Цели:

1.Предоставление данных с соблюдением требований по обеспечению информационной безопасности и нормативно-правового соответствия, в нужном формате и в заданные сроки

2.Снижение стоимости и сложности решений по управлению данными за счет разработки общих моделей и интерфейсов

3.Выявление значимых событий и автоматический запуск процедур выдачи уведомлений и принятия мер

4.Поддержка функций BI, аналитики, управления основными данными и обеспечение операционной эффективности

Бизнесдрайверы

Входные материалы:				Проводимые работы:						Результаты:
• Цели и стратегии бизнеса				1. Планирование и анализ (П)						• Архитектура DII
• Потребности в данных				1.	Требования к интеграции					• Спецификации обмена
и стандарты данных					и жизненному циклу данных					данными
• Требования по				2.	Исследование данных					• Соглашения о доступе
обеспечению нормативно-				3.	Документирование					к данным
правового соответствия					происхождения данных					• Сервисы данных
и информационной				4.	Профилирование данных					• Пороговые условия
безопасности				5.	Проверка соблюдения					реагирования
• Архитектуры данных,					бизнес-правил					и уведомления
				2. Проектирование DII-решений (П)
процессов, приложений										при обработке сложных
				1.	Проектирование компонентов
и технической										событий
					решения
инфраструктуры
				2.	Мэппинг исходных структур
• Семантика данных
					данных на целевые
• Данные источников
				3.	Проектирование оркестровки
					данных
				3. Разработка DII-решений (Р)
				1.	Разработка сервисов данных
				2.	Разработка потоков данных
				3.	Выработка подхода к миграции
					данных
				4.	Разработка потоков обработки
					сложных событий
				5.	Ведение метаданных для DII
				4. Внедрение и мониторинг (О)
Поставщики:				Участники:						Потребители:
• Производители данных				• Архитекторы данных						• Потребители информации
				• Бизнес-аналитики и аналитики данных						• Работники
• Управляющий комитет
				• Разработчики моделей данных						интеллектуального труда
по ИТ
				• Распорядители данных						• Руководители
• Руководители
				• Разработчики ETL-решений, сервисов						и менеджеры
и менеджеры
				и интерфейсов
• Эксперты в предметных
				• Менеджеры проектов и программ
областях
					Технические
					драйверы
				Инструменты:						Метрики:
Методы:
• Интеграция по схеме				• Программный комплекс						• Объемы и скорость
звезды (hub-and-spoke)				преобразования данных						передачи данных
• Извлечение,				• Сервер виртуализации данных						• Задержка данных
преобразование,				• Корпоративная шина данных						• Время внедрения
загрузка (ELT)
				• Средства моделирования данных						доработок
• Корпоративаня
				и процессов						• Стоимость и сложность
интеграция приложений
				• Средства профилирования данных						решения
(EAI)
• Сервис-ориентированная				• Репозиторий метаданных						• Полученная выгода
архитектура (SOA)

(П) Планирование, (К) Контроль, (Р) Разработка, (О) Операции

Рисунок 66.

Контекстная диаграмма: интеграция и интероперабельность данных

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

326	Г Л А В А 8