hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

					hang		e
				C				E
			X
		-							d
		F								t
		D								i
										r
	P						NOW!			o
						BUY
					to
	w Click										m
w
		w								o
		.							.c
			p					g
				df			n		e
					-x cha

чего совместный доступ к ним обеспечивается опять же через центральный узел, который играет роль справочной системы (см. рис. 77). Это устраняет всякую необходимость доступа к записям, хранящимся непосредственно в системах учета. Консолидированный подход по зволяет получать картину данных в масштабах организации без дополнительной нагрузки на системы ведения записей. Все вышеперечисленные плюсы, однако, могут быть перечеркнуты двумя серьезными минусами — дублированием (репликацией) всех данных в центральном хранилище и слишком высоким временем задержки обмена операционными данными между системами на серверах центрального узла.

2. ПРОВОДИМЫЕ РАБОТЫ

Как уже подчеркивалось в разделе 1.3.1, основные данные и справочные данные имеют достаточ но много общего по некоторым характеристикам. В частности, и те и другие являются ресурсами совместного доступа, описывающими контекст и смысловое значение других данных, и управле ние ими должно вестись на уровне организации. Но имеются и важные различия между ними. Наборы справочных данных значительно компактнее и стабильнее массивов основных данных и не требуют сравнения, слияния или связывания и т. п. Поэтому в настоящем разделе будут отдельно описаны сначала направления работ по управлению основными данными (MDM), а за тем — по управлению справочными данными.

2.1 Работы по управлению основными данными

2.1.1 Определение драйверов и требований к MDM

Вкаждой организации существует собственный уникальный набор стимулов для развития си стем MDM и препятствий на пути к этому. Факторы влияния включают число, тип и поколение используемых ИТ-систем, поддерживаемые ими бизнес-процессы, назначение и порядок исполь зования самих основных данных в транзакционных и аналитических процессах. Драйверы раз вития систем MDM часто включают поиск возможностей для совершенствования обслуживания клиентов и повышения эффективности/производительности, а также снижения рисков в области информационной безопасности, защиты конфиденциальных и персональных данных, соблюде ния прочих внешних требований. Препятствиями могут являться различия в трактовке и струк туре данных в зависимости от системы. Устранению препятствий часто мешают культурные барьеры: например, бизнес-подразделения частенько не желают нести дополнительные затраты на согласование привычных каждому из них систем и процессов между собой, невзирая на оче видную итоговую выгоду от такого согласования для всей организации в целом.

Врамках одного приложения основные данные обычно определить несложно. Куда сложнее выработать согласованный набор стандартных определений для всех имеющихся приложений.

Вбольшинстве организаций к решению этой задачи подходят поэтапно, определяя основные

456	Г Л А В А 10

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

					hang		e
				C				E
			X
		-							d
		F								t
		D								i
										r
	P						NOW!			o
						BUY
					to
	w Click										m
w
		w								o
		.							.c
			p					g
				df			n		e
					-x cha

данные поочередно для каждой предметной области, а в особо сложных случаях и поочередно для каждого сущностного объекта. Выбор приоритетных направлений проработки основных данных рекомендуется подкреплять анализом полезности и окупаемости затрат на предлагаемые усовер шенствования с учетом относительной сложности предметных областей, для которых требуется выработать единые наборы основных данных. Начинать лучше с простейших категорий и перехо дить к более сложным, уже наработав определенный опыт.

2.1.2 Анализ и оценка источников данных

За основу при проработке структуры основных данных в системе MDM так или иначе берутся существующие данные приложений. Важно понять структуру и содержание данных каждого при ложения и процессы их сбора или создания. Одним из полезных побочных продуктов работ по MDM становится совершенствование структуры метаданных в процессе экспертизы качества существующих данных. Первичная же цель такой экспертизы — понять, каким именно образом можно соотнести всю совокупность имеющихся данных с атрибутами основных данных. В про цессе такого соотнесения как раз и вырабатываются четкие определения и устанавливается над лежащий уровень детализации этих атрибутов. На каких-то этапах определения и описания атри бутов основных данных неизбежно встают вопросы семантического характера. Ответственным за данные в предметных областях нужно обязательно согласовывать названия и определения, кото рые будут использоваться на уровне организации, со всеми бизнес-подразделениями, чтобы ито говый набор основных данных был понятен всем, кто будет иметь к нему доступ (см. главы 3 и 13).

Второе направление экспертной оценки источников состоит в изучении вопросов качества данных. Некачественные данные создадут проблемы с реализацией проекта MDM, так что в слу чае необходимости следует докапываться до первопричин низкого качества данных в перво источниках. Главное — никогда не принимать качество данных на веру, ибо за такую доверчи вость можно дорого поплатиться. Безопаснее и надежнее исходить из того, что любые данные априори некачественны, то есть ненадежны, неточны, недостоверны, неполны или неадекватны. Всегда проводите экспертизу качества данных и приемлемости источника, прежде чем включать их в среду основных данных.

Самые большие трудности, как уже отмечалось, создают рассогласованные источники дан ных. Особенно сложно разбираться с ситуациями, когда друг другу противоречат формально вы сококачественные данные из двух альтернативных источников. Причины такой ситуации могут крыться в трудноуловимых структурных различиях или расхождениях в правилах вычисления или представления значений. Но именно инициативы по согласованию основных данных как раз и дают хорошую возможность для выявления и устранения столь неприятных ситуаций посред ством определения и внедрения стандартов сбора или создания информации, которые станут едиными для всех приложений и исключат их рассогласованность по данным.

Для некоторых объектов основных данных, таких как клиент, покупатель или продавец, су ществует возможность приобретать стандартизированные коммерческие данные (например, справочные каталоги) и уже на их основе вести дальнейшую проработку MDM. Некоторые

Справочные и основные данные

457

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

					hang		e
				C				E
			X
		-							d
		F								t
		D								i
										r
	P						NOW!			o
						BUY
					to
	w Click										m
w
		w								o
		.							.c
			p					g
				df			n		e
					-x cha

поставщики предлагают рафинированные по чистоте каталоги, например, предприятий по от раслям или специалистов по профилям (аккредитованных медучреждений или сертифицирован ных врачей), с которыми можно сверять внутриорганизационные данные в части названий, имен, контактов и адресов (см. раздел 1.3.3.10). Помимо экспертизы качества существующих данных необходимо также удостовериться и в правильном понимании технологий сбора вводных для выработки основных данных, ведь специфика используемых технологий также оказывает влия ние на выбор архитектуры среды MDM.

2.1.3 Определение архитектурного подхода

Выбор архитектуры среды MDM зависит от стратегии бизнеса, платформ существующих источ ников данных, характера и структуры самих данных, в частности от их генеалогии и волатильно сти, а также от допусков по запаздыванию синхронизации данных. Архитектура должна согласо вываться с моделями потребления данных и совместного доступа к данным. Инструментальное оснащение также будет зависеть не только от потребностей бизнеса, но и от выбранных вари антов архитектурных решений. Оно помогает доопределять основные данные независимо от их ведения в режимах эксплуатации и обслуживания или на этапе ввода модифицируемых систем в эксплуатацию.

Нужно принимать во внимание и число систем-источников, интегрируемых в решение по MDM, и специфику платформ, на которых реализованы эти системы, а также размер организа ции и ее географический охват. В небольших организациях можно вполне эффективно исполь зовать централизованную схему, построенную вокруг единого транзакционного ЦОД, тогда как в организациях, осуществляющих свою деятельность в глобальных масштабах, неизбежно име ется множество локальных систем, интегрировать которые, вероятно, лучше через реестр. В ор ганизации, где бизнес-подразделения практически не сообщаются между собой, работают парал лельно и имеют собственные системы, вероятно, целесообразно применять консолидированный (гибридный) подход. Участие в согласовании подхода должны принимать и эксперты по предмет ным областям, и проектировщики архитектуры данных и корпоративной архитектуры.

Архитектура с использованием центрального хаба совместного доступа к основным данным особенно полезна при отсутствии четко проработанной системы учета/ведения записей основ ных данных. В этом случае данные поступают в центр управления основными данными из множе ства систем. При поступлении новых или обновленных данных из одной из периферийных систем именно такая звездообразная архитектура обеспечивает надлежащий контроль согласования дан ных в других системах с новыми данными. Центр управления совместным доступом становится единым источником контента основных данных для всех хранилищ или витрин данных, упрощает

иускоряет формирование выборок и обработку данных с целью их преобразования, исправления

исогласования. В хранилищах данных должны вестись журналы изменений данных, передавае мых на центральный хаб, чтобы их всегда можно было отследить и при необходимости отменить, а вот в центральной узловой системе управления совместным доступом при такой архитектуре вполне можно обойтись одним лишь текущим представлением основных данных

458	Г Л А В А 10

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

2.1.4 Моделирование основных данных

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-x cha

Управление основными данными — это процесс интеграции данных из множественных источ ников. Для обеспечения согласованности получаемых результатов и возможности оперативного подключения новых источников по мере расширения организации необходимо иметь прорабо танные модели данных во всех предметных областях. Логическая или каноническая модель мо жет определяться для всех предметных областей в центральном узле совместного доступа, что позволит устанавливать согласованные между собой на уровне организации определения объек тов и атрибутов физических моделей данных, используемых в системах различных подразделе ний (см. главы 5 и 8).

2.1.5 Внедрение процессов распоряжения и ведения основных данных

Технические решения могут отлично справляться с задачами сравнения, слияния и управления идентификаторами записей основных данных. Однако без должного распоряжения этими дан ными, осуществляемого специалистами, отвечающими за состояние систем MDM, обойтись не получится, поскольку нужно своевременно выявлять и исправлять случаи выпадения отдельных записей из автоматизированного процесса, а также отыскивать и устранять первопричины таких выпадений на уровне самих процессов. На проекты по совершенствованию MDM должны выде ляться достаточные для обеспечения качества основных данных ресурсы, и вестись такие работы должны на постоянной основе. Необходимо вести текущий анализ записей, вносить корректи ровки в системы-источники и вырабатывать рекомендации, служащие вводными для техниче ских специалистов, отвечающих за тонкую настройку и доработку алгоритмов MDM.

2.1.6 Определение руководящих политик в области использования основных данных и обеспечение их соблюдения

Запуск единой корпоративной системы MDM требует массы усилий, которые по-настоящему на чинают окупаться (за счет повышения эффективности и качества работы и обслуживания клиен тов) лишь после того, как люди и системы приступят к практическому использованию основных данных. Следовательно, в рамках внедрения MDM должна быть создана дорожная карта перево да всех информационных систем на использование значений и идентификаторов основных дан ных при реализации операционных процессов. Для полной гарантии согласованности значений основных данных на уровне организации установите однонаправленные замкнутые циклы связи между системами.

2.2 Работы по управлению справочными данными

2.2.1 Определение драйверов и требований

Основным драйвером сбора/создания и ведения справочных данных служит необходимость их применения для обеспечения эффективности и качества обработки транзакционных данных. Централизованное управление справочными данными обходится существенно дешевле ведения

Справочные и основные данные

459

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

					hang		e
				C				E
			X
		-							d
		F								t
		D								i
										r
	P						NOW!			o
						BUY
					to
	w Click										m
w
		w								o
		.							.c
			p					g
				df			n		e
					-x cha

собственных наборов справочных данных каждым бизнес-подразделением и устраняет риск рас согласованности систем. К слову, различные наборы справочных данных существенно разнятся и по важности, и по сложности структуры, и по трудоемкости их ведения. Поэтому нужно вы делить приоритетные наборы справочных данных и ориентироваться на них при определении требований к системе управления справочными данными. После создания и запуска системы до полнительные новые наборы справочных данных можно будет определять и настраивать в рам ках спецпроектов. Существующие же наборы справочных данных должны проходить регулярные циклы регламентного обслуживания согласно опубликованному графику.

2.2.2 Оценка источников данных

В большинстве отраслей имеются стандартные источники справочных данных и уполномочен ные организации, которые занимаются их созданием и обновлением. Одни организации распро страняют наборы справочных данных бесплатно, другие на коммерческой основе. На отраслевых рынках информационных услуг часто также имеются посредники, красиво переупаковывающие и доукомплектовывающие справочные данные функциональными дополнениями и с выгодой для себя перепродающие их конечным потребителям. В зависимости от числа наборов и типа справочных данных, которые нужны организации, приобретение у коммерческих поставщиков готовых наборов может оказаться более чем удобным решением, особенно если поставщик га рантирует качество и регулярное обновление данных до последних версий.

Большинство организаций, включая те, что используют справочные данные из внешних источников, ведет также и собственные наборы справочных данных, которые создаются внутри организации. Определение внутренних или местных источников справочных данных часто бы вает сложнее, нежели в случае стандартных отраслевых справочников. Как и в случае с основ ными данными, внутренние источники справочных данных должны четко идентифицироваться, а данные из них выверяться в рамках работ по обеспечению качества. Руководство бизнес-под разделений, в чьем непосредственном распоряжении находятся такие данные, должно понимать все плюсы централизованного управления и с готовностью соглашаться на их передачу в общую базу справочных данных организации, а также оказывать всяческое содействие в части их сопро вождения.

2.2.3 Определение архитектурного подхода

Перед покупкой готового или началом проектирования собственного программного средства управления справочными данными критически важно правильно оценить и учесть все требования и возможные трудности управления справочными данными, которые необходимы организации. Особого внимания требует оценка данных на предмет их стабильности (большинство справочных данных достаточно статичны, но встречаются и весьма переменчивые), необходимой частоты об новлений и моделей потребления. Определитесь, нужно ли вести и хранить историю изменений определений и/или значений справочных данных. Если планируете пользоваться коммерческими данными от стороннего поставщика, уточните графики их поставки и метод интеграции.

460	Г Л А В А 10

				hang		e
			C				E
		X
	-							d
	F								t
	D								i
									r
P						NOW!			o
					BUY
				to
w Click										m
w
	w								o
	.							.c
		p					g
			df			n		e
				-xcha

					hang		e
				C				E
			X
		-							d
		F								t
		D								i
										r
	P						NOW!			o
						BUY
					to
	w Click										m
w
		w								o
		.							.c
			p					g
				df			n		e
					-x cha

Архитектурный подход должен вырабатываться с учетом того, что какую-то часть справоч ных данных в любом случае придется обновлять в ручном режиме. Обеспечьте наличие доста точно простого интерфейса прямого обновления, но при этом конфигурируемого, чтобы можно было вносить изменения в базовые правила ввода данных, с целью учета таких особенностей, как, например, иерархические отношения в структуре справочных данных. Средство обновления данных в составе системы RDM должно позволять операторам вносить в справочные данные изменения по мере надобности без обращения за технической поддержкой и включать автомати зированные рабочие процессы — в частности, получения необходимых согласований и отправки уведомлений. Операторы системы RDM должны планировать график обновлений в соответствии с периодичностью публикации новых кодов. Потребители данных должны получать уведомления обо всех изменениях в системе и обновлениях версий справочных данных. В тех случаях, когда от справочных данных зависят какие-либо логические параметры программного обеспечения, потенциальное влияние изменений на работу программ следует изучать и учитывать до внесения изменений в справочные данные.

2.2.4 Моделирование наборов справочных данных

Многие считают, что к справочным данным относятся лишь простые табличные списки кодов с расшифровками или описаниями. Однако многие справочные данные имеют значительно более сложную структуру. Например, публикуемые в США наборы данных о почтовых индексах (ZIP Codes) обычно включают информацию о штате и округе, а также другие геополитические атрибу ты. В целях обеспечения возможности использования справочных данных в долгосрочной пер спективе и в привязке к метаданным, да и просто для обеспечения точности и согласованности самих справочных данных нелишним и весьма полезным является создание четких логических и физических моделей наборов справочных данных. Модели помогают потребителям данных разбираться в связях внутри набора справочных данных и могут использоваться для определе ния правил и критериев контроля их качества.

2.2.5 Внедрение процессов распоряжения и ведения справочных данных

Справочные данные требуют ответственного подхода к обеспечению их полноты и актуальности

вчасти значений, а также четкости и понятности в части определений. Для этого назначаются ответственные за ведение различных наборов справочных данных, которым в отдельных случаях может быть поручено и сопровождение, и техническое обслуживание соответствующих систем, а оно в любом случае должно проводиться при их посильном участии. Например, если несколь ко бизнес-подразделений используют в своей работе один и тот же набор справочных данных

врамках общей для всех концептуальной модели, куратор этого набора может выступать в роли ведущего на рабочих совещаниях, посвященных согласованию понятий и определению общих для всех ценностей.

Впроцесс администрирования справочных данных полезно включить ведение основ ных метаданных о каждом наборе справочных данных, например: фамилия ответственного;

Справочные и основные данные

461