Фазы выполнения

Общие сведения

Правила качества данных могут быть запущены во время разных фаз потока выполнения. За счет этого становится возможным:

  • Распределение нагрузки на систему.

  • Применение различных сценариев запуска качества данных.

Доступны следующие фазы:

  • ORIGIN. Срабатывает первой. Если хотя бы одно правило качество валидации выдает критическую ошибку, то процесс вставки / обновления записей прекращается. Если в этой фазе содержатся правила качества обогащения, то записи будут обновляться также до появления первой ошибки валидации.

  • ETALON. Любые ошибки валидации на этой фазе только индексируются. Правила качества в режиме обогащения обновляют записи. Фаза запускается после того, как в систему будут сохранены данные о периодах актуальности.

Схема работы фаз выполнения

  1. Фазы добавляются в поток выполнения "Вставка записи".

  2. Описание фаз Добавление фазы в разделе “Качество данных” > закладка “Фазы выполнения”.

  3. После того, как описание фаз создано, в разделе “Качество данных” > закладка “Назначение” появляются столбцы с названиями фаз выполнения.

  4. При назначении правил качества выбирается реестр (справочник). Для реестра (справочника) в соответствующих столбцах фаз указывается один или несколько наборов правил качества.

  5. При загрузке данных в выбранный реестр (справочник) запускается поток выполнения "Вставка записи".

    • Первой запускается фаза ORIGIN. В процессе загрузки данных сработают все наборы правил качества, которые были указаны для этой фазы и этого реестра (справочника). Если фаза завершится без критических ошибок, то вставка записей продолжится.

    • Фаза ETALON запускается после того, как будут загружены все данные о периодах актуальности записей. Фаза ETALON использует периоды актуальности, поэтому такая последовательность обязательна. Эта фаза не выдает ошибок, поэтому завершится, сохранив все данные об ошибках в индексах.

  6. В результате должны быть загружены данные в систему (с учетом всех ошибок качества, трансформаций и т.д.).

Добавление фазы

Предварительно:

  1. Убедитесь, что фазы добавлены в потоки выполнения.

  2. Вернитесь в раздел "Правила качества", если это не сделано ранее.

  3. Нажмите кнопку image1, расположенную в верхнем правом углу экрана.

  4. Выберите пункт "Перейти в расширенный режим".

  5. Убедитесь, что включен режим черновика и выбран черновик.

  6. Перейдите в закладку "Фазы выполнения" (Рисунок 1).

Добавление фазы:

  1. Нажмите кнопку "Добавить фазу выполнения", расположенную в правой части заголовка таблицы фаз.

  2. В результате действия откроется выдвижная панель с настройками новой фазы.

  3. Укажите логическое имя фазы выполнения. На текущий момент доступны варианты: origin, etalon.

  4. Укажите отображаемое имя фазы. Оно может быть любым удобным для идентификации фазы.

  5. При необходимости укажите описание.

  6. Сохраните изменения. Нажмите кнопку «Сохранить», расположенную в верхнем правом углу выдвижной панели.

Закладка "Фазы выполнения"

Рисунок 1 - Закладка "Фазы выполнения"