Концепция правил качества¶
Важной составляющей управления ключевыми данными является контроль качества самих данных. Система Юниверс DG имеет несколько инструментов контроля качества, каждый из которых призван решать определенные задачи. Главным инструментом являются правила качества данных.
Правила предназначены для проверки значений атрибутов записей на соответствие заданным условиям. Если значение атрибута не отвечает условиям, то создается ошибка качества, которую следует исправить.
Правила качества настраиваются для каждого типа актива отдельно. При создании правила задается его имя (уникальное для каждого правила), описание, условия при котором оно запускается и для каких источников данных будет применяться.
Каждое правило качества создается на основе функции обработки данных. Функция принимает на вход данные, определенным образом обрабатывает и выдает выходные параметры.
Функции делятся на стандартные и пользовательские, простые и композитные. Стандартные: предустановленные функции, которые идут в комплекте с продуктом. Пользовательские: созданные заказчиком для личных целей. Простые функции: выполняющие действие, состоящее из одного шага. Композитные: состоящие из 2 или более шагов, зачастую создаваемые из нескольких простых функций.
Примеры функций. Простая: перевод текста в верхний регистр. Комплексная: поиск в тексте одного из нескольких ключевых слов и добавление к определенному слову специального префикса.
Каждое правило качества может работать в одном из трех режимов. При разработке функций обработки данных необходимо учитывать, в каком режиме будет работать правило качества, для которого создается функция.
"Валидация". Проверка значения атрибута на соответствие заданным правилам. Цель валидации – удостовериться, верно ли значение атрибута, поэтому на основании проверки выдается ошибка. Пример валидации: заполнен ли атрибут "Телефон". Если нет, то создается ошибка с указанием проблемы (при этом запись доступна для сохранения).
"Обогащение". Изменение данных в ходе работы функции. Цель обогащения – трансформировать данные так, чтобы они были заполнены унифицировано, либо дополнить данные новыми значениями. При срабатывании обогащения сохранение записи приводит к созданию новой или обновленной исходной записи. Примеры обогащения: 1) автоматический перевод первого символа из строчного в прописной для атрибута "Имя"; 2) заполнение атрибута "Телефон" из содержимого атрибута "Комментарий".
"Валидация + обогащение". Объединение двух типов.
Каждое правило качества содержит категории критичности. Критичность определяет, насколько серьезна ошибка, что помогает пользователю расставлять приоритеты для отработки ошибок.
Порядок правил имеет значение. Первое правило качества будет выполняться первым, второе – следующим и так далее. Доступно изменение порядка правил в интерфейсе пользователя.
Сохраненные правила качества можно протестировать на существующих или пользовательских (абстрактных) записях активов.
Виды простых правил обогащения данных:
Удаление лишних пробелов, оставляя лишь по одному пробелу между словами;
Преобразование текста в верхний регистр;
Преобразование двойных дефисов в одинарный;
Удаление пробела между дефисом и словом.