Концепция правил качества

Идея правил качества заключается в том, что по правилам происходит проверка значений атрибутов записей на соответствие заданным условиям. Если значение атрибута не отвечает условиям, то значения атрибутов либо исправляются автоматически, либо создается ошибка качества, которую следует исправить.

Правила качества настраиваются отдельно для каждого атрибута реестра/справочника. При создании правила задается его имя (уникальное для каждого правила), описание, условия при котором оно запускается, и для каких источников данных будет применяться.

Каждое правило качества создается на основе функции обработки данных. Функция принимает на вход данные, определенным образом обрабатывает и выдает выходные параметры.

  • Функции делятся на стандартные и пользовательские, простые и композитные. Стандартные: предустановленные функции, которые идут в комплекте с продуктом. Пользовательские: созданные заказчиком для личных целей. Простые функции: выполняющие действие, состоящее из одного шага. Композитные: состоящие из 2 или более шагов, зачастую создаваемые из нескольких простых функций.

  • Примеры функций. Простая: перевод текста в верхний регистр. Комплексная: поиск в тексте одного из нескольких ключевых слов и добавление к определенному слову специального префикса.

Каждое правило качества может работать в одном из двух режимов. При разработке функций обработки данных необходимо учитывать, в каком режиме будет работать правило качества, для которого создается функция.

  • "Валидация". Проверка значения атрибута на соответствие заданным правилам. Цель валидации – удостовериться, верно ли значение атрибута, поэтому на основании проверки выдается ошибка (см. примечание ниже). Пример валидации: заполнен ли атрибут "Телефон". Если нет, то создается ошибка с указанием проблемы.

  • "Обогащение". Изменение данных в ходе работы функции. Цель обогащения – трансформировать данные так, чтобы они были заполнены унифицировано, либо дополнить данные новыми значениями. При срабатывании обогащения сохранение записи приводит к созданию новой или обновленной исходной записи. Примеры обогащения: 1) автоматический перевод первого символа из строчного в прописной для атрибута "Имя"; 2) заполнение атрибута "Телефон" из содержимого атрибута "Комментарий".

Каждое правило качества содержит категории критичности. Критичность определяет, насколько серьезна ошибка, что помогает оператору данных расставлять приоритеты для отработки ошибок.

Порядок правил в реестре/справочнике имеет значение. Первое правило качества будет выполняться первым, второе – следующим, и так далее. Доступно изменение порядка правил в интерфейсе пользователя.

Сохраненные правила качества можно протестировать на существующих или пользовательских (абстрактных) записях.

Виды простых правил обогащения данных:

  • Удаление лишних пробелов, оставляя лишь по одному пробелу между словами;

  • Преобразование текста в верхний регистр;

  • Преобразование двойных дефисов в одинарный;

  • Удаление пробела между дефисом и словом.

Подробнее о сценариях работы правил качества см. в статье.