hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

Организация переподготовки и обучения, включая:

обучение пользователей и повышение квалификации ответственных за данные;

измерение и анализ показателей эффективности управления данными;

тренинги по управлению данными, формированию запросов и отчетов.

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

2.4 Создание и ведение метаданных

Как явствует из детального описания в разделе 1.3.5, метаданные создаются самыми разнообраз ными процессами и сохраняются на различных участках работы организации. Однако для обес печения высокого качества метаданных управлять ими нужно как единым информационным продуктом. Сами по себе качественные метаданные не образуются. Управление ими требует пла нирования в масштабах организации (см. главу 13).

Ниже перечислены наиболее общие принципы обеспечения качества метаданных.

Ответственность. Нужно понимать, что метаданные чаще всего создаются в рамках форма лизованных процессов (моделирование данных, разработка систем (SDLC), определение биз нес-процессов и т. п.), и лица, отвечающие за эти процессы, в равной мере несут ответствен ность и за качество метаданных.

Стандарты. Устанавливайте стандарты метаданных и соответствующие им правила управ ления метаданными, контролируйте их соблюдение и проверяйте действующие стандарты на предмет их полезности с точки зрения упрощения интеграции и использования метаданных.

Совершенствование. Создайте механизм обратной связи, чтобы потребители имели возмож ность оперативно информировать группу управления метаданными о неточных или устарев ших данных.

Как и любые другие данные, метаданные можно профилировать и проверять на предмет их ка чества. Кроме того, деятельность по ведению метаданных должна быть регламентирована или осуществляться в рамках подлежащего аудиту компонента работ по проекту.

2.4.1 Интеграция метаданных

Интеграционные процессы заключаются в сборе и консолидации метаданных в масштабах орга низации, включая не только генерируемые собственными системами и приложениями, но и по ступающие извне. В центральном репозитории метаданных должна осуществляться интеграция извлеченных из систем-источников технических метаданных с метаданными, описывающими технологические процессы, бизнес-процессы и административные процедуры. Технически из влечение метаданных из источников может реализовываться с помощью специальных программ ных модулей — адаптеров, сканеров или сопрягающих приложений. В интегрированных средах иногда возможен вариант прямого доступа системы управления центральным репозиторием ме таданных к базам данных источников. Адаптеры или сканеры данных поставляются в комплекте

Управление метаданными

547

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

					hang		e
				C				E
			X
		-							d
		F								t
		D								i
										r
	P						NOW!			o
						BUY
					to
	w Click										m
w
		w								o
		.							.c
			p					g
				df			n		e
					-x cha

многих коммерческих инструментов разработки ПО, включая и специализированные средства интеграции метаданных. В крайнем случае их можно разработать самостоятельно, используя предлагаемые инструментами API .

Главные трудности подстерегают проектировщиков там, где необходимо обеспечить интегра цию метаданных при одновременной поддержке высокоуровневого согласования и управления. Скажем, любая попытка интеграции внутренних наборов данных с разнородными данными из внешних источников (официальной статистикой, неструктурированными данными из публика ций, статей и аналитических отчетов и т. п.) неизбежно осложняется вследствие возникновения массы вопросов по поводу обеспечения качества и семантической согласованности.

Сканирование источников на предмет выявления метаданных, подлежащих интеграции в ре позитории, может быть реализовано двумя путями.

Прямой интерфейс. Одноэтапный процесс сканирования и загрузки: сканер просто выявля ет в системе-источнике метаданные, которые нужно загрузить, а затем напрямую вызывает компонент загрузки данных соответствующего формата, который и загружает выявленные метаданные в репозиторий. Никаких промежуточных форматированных файлов выгрузки/ загрузки метаданных не создается; всё делается за один прием.

Опосредованный интерфейс. Двухэтапный процесс: сканер собирает метаданные из систе мы-источника и выгружает их в промежуточный файл данных установленного формата, ко торый затем считывается и обрабатывается службой сбора данных хранилища метаданных. Подобные интерфейсы присущи более открытым архитектурам, поскольку допускают раз личные методы формирования, считывания и обработки файлов переноса данных.

В процессе сканирования создаются и используются служебные файлы нескольких типов:

Контрольный файл с информацией о модели данных системы-источника.

Файл для повторного использования с правилами обработки, которые можно использовать повторно при осуществлении загрузок.

Файлы журналов, создающиеся при выполнении всех процедур на каждом шаге обработки каждого цикла сканирования и/или загрузки.

Временные файлы или файлы с резервными копиями, используемые при выполнении про цесса как вспомогательные, а также для отслеживания изменений и/или обеспечения аварий ного восстановления.

Для хранения временных и резервных файлов используйте область временного хранения (staging area). Эта область обеспечивает возможность как восстановления, так и отслеживания измене ний в источниках, повлекших проблемы с качеством метаданных. В зависимости от архитектуры буферная область может быть реализована в виде отдельного каталога файлов или базы данных.

548	Г Л А В А 12

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

					hang		e
				C				E
			X
		-							d
		F								t
		D								i
										r
	P						NOW!			o
						BUY
					to
	w Click										m
w
		w								o
		.							.c
			p					g
				df			n		e
					-x cha

Для интеграции метаданных обычно вполне подходят средства управления хранилищами данных и BI-приложениями (см. главы 8 и 11).

2.4.2 Распространение и доставка метаданных

Для доставки метаданных потребителям данных (пользователям, приложениям или инструмен там), которые нуждаются в их регулярном обновлении, могут использоваться следующие каналы, средства и механизмы:

веб-сайты метаданных во внутренней сети, поддерживающие функции навигации, поиска, обработки запросов, формирования отчетов и анализа;

отчеты, глоссарии и другие документы;

хранилища и витрины данных, инструменты бизнес-аналитики (BI);

средства моделирования данных и программирования приложений;

обмен сообщениями и транзакционными данными;

веб-сервисы и API;

интерфейсные решения сторонних организаций (например, решения по поддержке цепочек поставок).

Решение по управлению метаданными нередко реализуется в связке с BI-решением, что обеспе чивает полноту и своевременность синхронизации метаданных с BI-контентом, а также возмож ность включения метаданных в результаты бизнес-аналитики, выдаваемые конечным пользова телям. Аналогичным образом и некоторым системам управления взаимоотношениями с клиен тами (CRM), а также другим компонентам систем планирования ресурсов предприятия (ERP) может требоваться интеграция метаданных на уровне доставки.

Обмен метаданными с внешними организациями осуществляется через файлы (в виде пло ских файлов, а также файлов XML или JSON) или веб-сервисы.

2.5 Применение метаданных в аналитике и при формировании запросов и отчетов

Метаданные задают направления использования информационных активов. Необходимо в полной мере использовать метаданные в бизнес-аналитике (включая формирование стати стических и аналитических отчетов), принятии решений (оперативных, тактических и страте гических) и изучении бизнес-семантики (без знания бизнес-терминологии невозможно понять смысл бизнеса). Репозиторий метаданных обязательно должен иметь портал или клиентское приложение для пользователей с поддержкой функций поиска и извлечения любых метаданных, которые могут потребоваться для вышеописанных потребностей, изучения накопленных дан ных и управления ими. Можно предусмотреть дифференцированные наборы интерфейсов для бизнес-пользователей, технических пользователей и разработчиков, поддерживающие только те функции, которые требуются представителям каждой из названных групп. Для планирования

Управление метаданными

549