Получение результатов проверок

Типы активов для хранения результатов

Для хранения результатов проверок из сторонних DQ-систем в Юниверс DG имеются специальные типы актива:

  • Проверка качества (dq_check) - корневой тип актива, от которого наследуются все типы активы проверок качества данных, предназначенные для внешних DQ-систем;

  • Правило качества (dq_rule) - тип актива для описания правил качества (общий для всех DQ-систем);

  • Проверка качества FormIT (dq_check_formit) - тип актива, наследованный от типа актива "Проверка качества" и предназначенный для DQ-системы FormIT. Содержит записи проверок качества.

Активы "Проверка качества" и "Проверка качества FormIT" связаны с активом "Правило качества" связями типа has_dq_check.

Примечание

В следующих релизах в записях актива "Правило качества" будут доступны для просмотра результаты проверок, связанные с конкретным правилом

Указанные типы активов и связи также могут быть загружены в систему автоматически. Для этого в файле конфигурации .env должен быть указан параметр DG_DQ_ENSURE_MODEL со значением true.

Получение результатов проверок

Чтобы получить данные проверки:

  1. Создайте новый тип актива, наследованный от типа актива "Проверка качества", для сохранения результатов из сторонней DQ-системы.

    • Для сохранения результатов из системы FormIT используйте тип актива "Проверка качества FormIT".

  2. Создайте связь типа dq_check_link и укажите для нее следующие параметры (Рисунок 1):

    • От типа актива - выберите исходящий тип актива: ранее созданный тип актива или "Проверка качества FormIT".

    • К типу актива - выберите тип актива, объекты которого будут проверяться.

    • Имя типа связи - выберите dq_check_link.

  3. Запустите проверку данных в сторонней DQ-системе, в результате которой в ней будет создан актив проверки с эталонным ключом.

  4. Результаты проверок будут загружены в Юниверс DG в тип актива, выбранный исходящим, по эталонному ключу. Например, результаты проверок из системы FormIT загружаются в специальный актив "Проверка качества FormIT".

Пример заполнения параметров связи dq_check_link

Рисунок 1 – Пример заполнения параметров связи dq_check_link

Карточка актива проверки качества

Активы, наследованные от типа актива "Проверка качества" (например, "Проверка качества FormIT"), содержат записи с результатами проверок качества. Карточки этих записей помимо стандартных вкладок также содержат дополнительную вкладку "Результаты ПК".

Вкладка отображает результаты проверки качества выбранного типа актива, если выполняется одно из следующих условий:

  • Актив, предназначенный для проверки, имеет входящую связь типа dq_check_link;

  • Актив имеет родительский типа актива "Проверка качества".

В таблице "Результаты проверок" отображаются результаты последней проверки (Рисунок 2 - 1).

  • В выпадающем списке "Вид результата" можно выбрать вид представления исторических данных. В текущей реализации доступен только вид Таблица, дополнительные виды могут быть добавлены с помощью специальной точки расширения.

При нажатии на строку проверки открывается вторая таблица с подробной историей проверок (Рисунок 2 - 2).

Настройка таблицы "История проверок"

Для таблицы доступны следующие фильтры:

  • Время запуска. Дата выполнения проверки (начальная и конечная даты);

  • Качество. Фильтр по результату качества проверки: Высокое, Среднее, Низкое (зеленый, желтый и красный лейблы в таблице соответственно);

  • Процент ошибочных записей. Фильтр по количеству записей с ошибками (в %).

Для применения фильтра - нажмите кнопку "Поиск", для сброса - кнопку "Очистить".

Примечание

В текущей реализации вид отображения результатов доступен только в виде таблицы.

Дополнительная область настроек

Доп. область настроек (на панели справа) содержит секцию "Последняя проверка" с краткой информацией о последних результатах проверки качества (Рисунок 2 - 3):

  • Лейбл (зеленого, желтого или красного цвета) отображает процент количества записей без ошибок.

  • Два числа вида "N/N" отображают общее количество записей/ количество записей с ошибками соответственно.

При нажатии на имя проверки в новой вкладке откроется карточка записи проверенного актива.

Если записей о проверках больше 5 - отобразится кнопка "Показать еще...", при нажатии на которую откроется карточка записи проверенного актива - вкладка "Результаты ПК".

Пример отображения вкладки "Результаты ПК"

Рисунок 2 – Пример отображения вкладки "Результаты ПК": 1 - Таблица "Результаты проверок"; 2 - Таблица "История проверок"; 3 - Секция доп. настроек "Последняя проверка"

Отображение результатов проверок на графе

Во вкладке "Граф связей" панель настроек графа также содержит секцию "Последняя проверка" с краткой информацией о последних результатах проверки качества.

При нажатии на строку проверки откроется карточка записи проверенного актива - вкладка "Результаты ПК".

В контекстном меню, вызываемом кликом правой кнопкой мыши на блок с именем проверки, отображается пункт "Результаты проверки качества" (Рисунок 3).

При выборе пункта появляется панель с результатом проверок качества для соответствующего актива (Рисунок 3).

Совет

Описание стандартных параметров графа см. в соответствующем разделе

Пункт меню "Результаты проверки качества" и панель результатов проверок

Рисунок 3 – Пункт меню "Результаты проверки качества" и панель результатов проверок

Фильтрация по качеству результатов проверки

Выбор границ высокого и низкого качества результатов проверки определяется индивидуально для каждой проверки следующим образом:

  • Если у актива проверки качества заполнены оба параметра 1: "Граница высокого качества" и "Граница низкого качества", и значение параметра "Граница высокого качества" строго больше чем значение значение параметра "Граница низкого качества", тогда границами качества результатов проверки выбираются значения этих параметров.

  • Иначе (т.е. не заполнены оба параметра границ качества или заполнены невалидными значениями), если значение параметра "Граница высокого качества" строго больше, чем значение параметра "Граница низкого качества", тогда границами качества результатов проверки выбираются значения этих параметров.

  • Иначе (т.е. значение параметра "Граница высокого качества" больше, чем значение параметра "Граница низкого качества") границами качества результатов проверки выбираются значения параметров по умолчанию, т.е. 90 и 10.

1

Параметры задаются в интерфейсе раздела "Параметры системы" и в файле backend.properties

Принадлежность к определенному качеству результата проверки определяется следующим образом:

  • Высокое качество: значение результата принимает значение в промежутке от "Границы высокого качества" до 100 включительно.

  • Среднее качество: значение результат принимает значение в промежутке от "Границы низкого качества" до "Границы высокого качества" не включительно.

  • Низкое качество: значение результат принимает значение в промежутке от 0 до "Границы низкого качества" включительно.