Закладка "Фазы выполнения"

Общие сведения

Правила качества данных могут быть запущены во время разных фаз потока выполнения. За счет этого становится возможным:

  • Распределение нагрузки на систему.

  • Применение различных сценариев запуска качества данных.

В Юниверс DG не реализовано редактирование стандартных фаз выполнения, но поддерживается реализация кастомных фаз.

Изменения в правилах качества вносятся в поток выполнения "Вставка записи". По умолчанию изменения правил качества вносятся на фазе ETALON: Любые ошибки валидации на этой фазе только индексируются. Правила качества в режиме обогащения обновляют записи. Фаза запускается после того, как в систему будут сохранены данные о периодах актуальности.

Кастомные фазы выполнения могут быть реализованы либо через точку расширения в пайплайне, либо в других обработчиках. Например:

  • В сервисных задачах бизнес-процесса;

  • В обработчиках внешних проверок правил качества (через сторонние сервисы);

  • При изменении состава бизнес-ролей для актива.

Схема работы фаз выполнения

  1. Фазы добавляются в поток выполнения "Вставка записи".

  2. Описание фаз добавляется в разделе “Качество данных” > закладка “Фазы выполнения”.

  3. После того как описание фаз создано, в разделе “Качество данных” > закладка “Назначение” появляются столбцы с названиями фаз выполнения.

  4. При назначении правил качества выбирается тип актива, для которого в соответствующих столбцах фаз указывается один или несколько наборов правил качества.

  5. При загрузке данных в выбранный тип актива запускается поток выполнения "Вставка записи".

    • Первой запускается фаза ORIGIN. В процессе загрузки данных сработают все наборы правил качества, которые были указаны для этой фазы и этого типа актива. Если фаза завершится без критических ошибок, то вставка записей продолжится.

    • Фаза ETALON запускается после того, как будут загружены все данные о периодах актуальности записей. Фаза ETALON использует периоды актуальности, поэтому такая последовательность обязательна. Эта фаза не выдает ошибок, поэтому завершится, сохранив все данные об ошибках в индексах.

  6. В результате должны быть загружены данные в систему (с учетом всех ошибок качества, трансформаций и т.д.).

Добавление фазы

Чтобы создать фазу выполнения:

  1. Убедитесь, что фазы добавлены в потоки выполнения.

  2. Вернитесь в раздел "Правила качества" - закладка "Фазы выполнения".

  3. Нажмите кнопку "Создать фазу выполнения", расположенную в правой углу таблицы.

  4. В результате действия откроется выдвижная панель с настройками новой фазы.

  5. Укажите логическое имя фазы выполнения. Имя фазы должно быть таким же, как в используемом обработчике.

  6. Укажите отображаемое имя фазы. Оно может быть любым удобным для идентификации фазы.

  7. При необходимости добавьте описание.

  8. Сохраните изменения. Нажмите кнопку image2 «Сохранить», расположенную в верхнем правом углу панели.