Настройка фаз выполнения правил качества

Фазы выполнения могут быть настроены только для потока выполнения org.unidata.mdm.data[RECORD_UPSERT_START]. Использование фаз создает коллекции правил качества, которые будут запускаться на различных этапах работы потока выполнения. Это распределяет нагрузку на систему. Кроме того, каждая фаза обрабатывает правила качества особым образом.

Доступны следующие фазы:

  • ORIGIN. Срабатывает первой. Выдает PlatformValidationException (ошибку валидации) в случае, если хотя бы одно из правил качества (в режиме валидации) возвращает ошибку с индикатором RED (высокая критичность). При этом вставка записей прекращается. Также, пока фаза работает, правила качества в режиме обогащения обновляют записи. Обновление записей прекращается при появлении первой ошибки валидации.

  • ETALON. Срабатывает последней. Не создает собственных ошибок. Любые ошибки валидации на этой фазе только индексируются. Правила качества в режиме обогащения обновляют записи.

Внутренний API модели DQ собирает коллекции наборов правил двумя способами:

  • Используя имя реестра / справочника и имя фазы. Применяется коннекторами ORIGIN и ETALON. Коннекторы собирают коллекцию правил качества в соответствии с тем, как правила помечены в разделе "Качество данных" > закладка "Назначение правил". Например, если несколько наборов назначены на фазу ORIGIN, и фаза ORIGIN присутствует в потоке выполнения, то в результате все правила качества в указанных наборах будут соответствовать фазе ORIGIN.

  • Используя только имя реестра / справочника. Используется коннектором DQ, который содержится в потоке по умолчанию. Коннектор по умолчанию выбирает все наборы правил, вне зависимости от того, как они помечены в разделе "Качество данных" > закладка "Назначение правил".

Настройка потока выполнения

Для настройки фаз правил качества:

  1. Откройте поток выполнения: org.unidata.mdm.data[RECORD_UPSERT_START].

  2. Уберите из потока сегмент типа Connector, который содержится в потоке по умолчанию: [RECORD_QUALITY_CONNECTOR]. Сегмент расположен в селекторе DRAFT ветки REGULAR. Это необходимо, так как в противном случае стандартный коннектор DQ будет конфликтовать с коннекторами фаз.

  3. После сегмента типа Point: [RECORD_UPSERT_MODBOX] добавьте еще один сегмент типа Point: [RECORD_UPSERT_QUALITY_ORIGIN].

  4. После сегмента типа Point: [RECORD_UPSERT_TIMELINE] добавьте еще один сегмент типа Point: [RECORD_UPSERT_QUALITY_ETALON].

  5. Нажмите кнопку "Сохранить", расположенную в правом верхнем углу экрана.

Для того, чтобы добавленные фазы можно было использовать, их необходимо сконфигурировать в разделе "Качество данных" > закладка "Фазы выполнения".

Поток выполнения фаз правил качества

Рисунок 1 - Поток выполнения фаз правил качества