Разметка данных
Примечание
Для работы механизма разметки обязательно установите отдельный экземпляр модуля DG Discovery.
Общие сведения
Разметка данных — это процесс автоматического определения типа информации в ваших данных (например, в столбцах таблиц) и присвоения им специальных меток-категорий.
Применение разметки
Представьте, что у вас есть тысяча столбцов с названиями вроде cust_id, client_name, date_reg. Без разметки:
Вы не поймете, где хранятся персональные данные (например, ФИО или паспорт).
Не отследите, где есть финансовые показатели (например, salary или credit_card).
Рискуете нарушить требования регуляторов или законов (GDPR, 152-ФЗ и т.д.).
Метки решают это: они помечают данные как Персональные, Финансы, Конфиденциально и т.д. на основе правил.
В Юниверс DG разметка данных подразумевает прежде всего процесс присвоения (назначения) меток данных объектам физического слоя. Метки данных представляют собой категории (например, Финансы) и позволяют настроить правила, с помощью которых можно получить информацию о данных, хранящихся в метаданных (например, какие значения хранит колонка).
Главная задача разметки данных - определить, какие данные хранятся в метаданных и данных, и присвоить их, т.е. связать с ними термин (актив не физического слоя).
Назначать метки активам и переназначать их можно в разделе "Каталог меток данных".
После запуска операции разметки данных в карточке данных отображаются метки данных в виде отдельного виджета.
Ограничения: При отсутствии прав на один из ресурсов "Просмотр каталога меток данных" или "Управление каталогом меток данных" метка "На согласовании" не будет отображаться в карточке актива.
Пример порядка действий по разметке данных: Создание метки → Настройка правил → Запуск сканирования → Автоматическое назначение.
Композитные метки
Композитная (составная) метка предназначена для маркировки таблиц (типов активов с тегом category:table). Она может быть назначена как вручную, так и автоматически в результате операции разметки. Автоматическое назначение происходит, если выполнено композитное правило, построенное из простых меток, назначенных на колонки таблицы. При этом учитываются только согласованные метки колонок. Композитные метки могут быть отклонены (переведены в статус "Отклонена").
В списке меток данные группируются в три фиксированные категории: Простые, Умные и Композитные.
Особенности работы с вложенными связями
Разметка данных выполняется с учётом вложенных связей между активами физического слоя.
При наличии у актива нескольких вложенных связей разметка применяется ко всем доступным дочерним объектам, полученным по цепочке связей.
При выполнении разметки:
система последовательно проходит все вложенные связи актива;
для каждого дочернего объекта выполняется анализ данных в соответствии с настроенными правилами;
предложения по назначению меток формируются для всех обнаруженных объектов, независимо от количества уровней вложенности.
Таким образом, разметка данных корректно работает при наличии у актива более одной вложенной связи и не зависит от глубины и разветвленности структуры модели.
Обзор раздела
Раздел "Метки данных" представляет собой типовой раздел системы, имеющий список созданных меток в левой части экрана и настройку параметров в правой (Рисунок 1).
Создание новой метки возможно только в режиме черновика.
Рисунок 1 – Пример отображения раздела "Метки данных": 1 - список существующих меток, 2 - настройка параметров меток
Создание меток
Чтобы создать метку данных:
Перейдите в раздел "Метки данных", если это не было сделано ранее, и включите режим черновика.
Нажмите кнопку
"Создать", расположенную в нижней части списка меток.Заполните основные параметры метки:
Имя. Логическое имя, должно содержать латинские буквы, цифры, символы "-", "_" и начинаться с буквы. Не может содержать пробелы. После сохранения недоступно для изменения.
Отображаемое имя. Имя, которое отображается в интерфейсе.
Описание. Краткая информация о добавляемой метке.
Тип метки. Выберите тип создаваемой метки:
Простая - обычная метка, которая может назначаться на колонки или таблицы.
Композитная - составная метка, предназначенная для таблиц. Правило для композитной метки строится из простых меток и логических операторов (И/ИЛИ).
Тип актива, связанный с термином. Выбор типа актива из выпадающего списка, с записями которого будут связаны объекты физического слоя.
Доп. параметры. Перечень параметров (пара "имя" – "значение"), которые содержат дополнительную текстовую информацию. На параметры могут ссылаться кастомные расширения, также параметры могут содержать нестандартную информацию из внешних систем.
В секции "Правила данных и/или правила метаданных" выберите правило разметки из списка ранее созданных. Для композитной метки эта секция заменяется конструктором правила, в котором можно составить логическое выражение из существующих простых меток (например,
Метка1 И Метка2 ИЛИ Метка3). Правило считается выполненным, если для колонок таблицы назначены все указанные в выражении метки с учетом логических операторов.Метка должна иметь как минимум 1 правило.
С помощью кнопки
в конце строки доступен переход в модальное окно для редактирования правила.
В секции "Соответствие данных" заполните следующие поля:
Минимальное соответствие. Процент строк из выборки данных, удовлетворяющих правилу, для формирования предложения о назначении метки (статус "На согласовании"). Значение должно быть в диапазоне от 1 до 99.
Автоматическое принятие. Процент строк из выборки данных, удовлетворяющих правилу, для автоматического согласования метки (статус "Согласовано"). Значение должно быть в диапазоне от 2 до 100.
В случае если выбраны правило данных и правило метаданных - укажите способ разрешения конфликтов. Конфликт возникает в двух случаях:
(название колонки удовлетворяет правилу метаданных) И (процент соответствия данных колонки < минимальное соответствие);
(название колонки НЕ удовлетворяет правилу метаданных) И (процент соответствия данных колонки >= минимальное соответствие).
Доступны четыре стратегии разрешения конфликтов:
Разметить по правилу данных - результат выполнения правила метаданных будет проигнорирован. Метка будет присвоена/отклонена только на основе результатов правила данных.
Разметить по правилу метаданных - результат выполнения правила данных будет проигнорирован. Метка будет присвоена/отклонена только на основе результатов правила метаданных.
Отклонить - в случае возникновения конфликта метка будет отклонена.
Сформировать предложения - в случае возникновения конфликта метка будет присвоена в статусе "На согласовании".
Нажмите кнопку
"Сохранить", расположенную в правом верхнем углу.Опубликуйте черновик с помощью кнопки
внизу списка меток.
Примечания:
В случае отклонения метки операцией разметки метка НЕ будет присвоена колонке со статусом "Отклонена". Операция пропускает назначение меток с таким статусом.
Для умных меток, созданных автоматически в карточке актива, разделы "Правила данных и/или правила метаданных" и "Соответствие данных" недоступны для редактирования. Такие метки имеют синий индикатор в интерфейсе и могут быть изменены только путем удаления и повторного создания.
Композитные метки после создания могут быть назначены на таблицы вручную или автоматически по результатам разметки. При автоматическом назначении проверка композитного правила выполняется только на основе согласованных простых меток, уже назначенных на колонки таблицы. Композитная метка всегда имеет статус "Согласована", но может быть переведена в "Отклонена" вручную.
Композитные метки отображаются в отдельной группе дерева меток и не участвуют в обычных правилах данных/метаданных.
Создание правил и функций
Чтобы создать новое правило:
Нажмите кнопку
внизу списка меток.В результате действия откроется модальное окно, содержащее 3 вкладки: "Правила данных", "Правила метаданных" и "Функции".
Убедитесь, что открыта необходимая вкладка "Правила ..." (Рисунок 2).
Для правил данных доступны те же функции, что и для правил метаданных.
Для создания нового правила нажмите кнопку
"Создать" внизу списка правил.Заполните параметры правила:
Имя. Логическое имя, должно содержать латинские буквы, цифры, символы "-", "_" и начинаться с буквы. Не может содержать пробелы. После сохранения недоступно для изменения.
Отображаемое имя. Имя, которое отображается в интерфейсе.
Описание. Краткая информация о добавляемом правиле.
Доп. параметры. Перечень параметров (пара "имя" – "значение"), которые содержат дополнительную текстовую информацию. На параметры могут ссылаться кастомные расширения, также параметры могут содержать нестандартную информацию из внешних систем.
Функция. Выбор функции из выпадающего списка ранее созданных в системе. Могут быть выбраны функции, у которых есть хотя бы один входной строковой порт и хотя бы один выходной логический порт. Если в системе нет ни одной функции - создайте их.
Для использования функции в правилах метаданных она должна иметь хотя бы один входящий порт с типом "Строка" и один исходящий порт с типом "Булевый". В качестве проверяемого значения во входящий порт функции должна быть передана константа
$value.
Нажмите кнопку
"Сохранить", расположенную в правом верхнем углу.
Чтобы создать новую функцию:
Нажмите кнопку
внизу списка меток.В результате действия откроется модальное окно, содержащее 2 вкладки: "Правила" и "Функции".
Перейдите во вкладку "Функции" (Рисунок 3).
Для создания новой функции нажмите кнопку
"Создать" внизу списка функций и выберите: "Java" или "Композитная".При выборе пункта Java в результате действия откроется мастер добавления функций:
На первом шаге выделите требуемую библиотеку, ранее загруженную в систему. Или добавьте новую по кнопке "Добавить библиотеку" в левом нижнем углу.
На втором шаге добавьте одну или несколько функций, содержащихся в библиотеке.
На третьем шаге заполните параметры функции: логическое и отображаемое имя. При необходимости, добавьте описание.
Нажмите "Добавить".
При выборе пункта "Композитная" в результате действия отроется окно настройки новой функции:
Укажите основные настройки функции: Имя, Отображаемое имя, Описание.
Установите необходимые режимы обработки функции: глобальный и/или локальный.
Создайте необходимую функцию с помощью редактора, используя готовые функции, константы, условия.
Во входные порты может быть указана либо константа, либо displayName.
Сохраните изменения. Нажмите кнопку "Сохранить", расположенную в верхнем правом углу окна настройки функции.
В результате действия новая функция будет добавлена в список.
Настройка доступа к данным для разметки
Разметка данных выполняется на основе информации, получаемой из целевых источников. Доступ к этим источникам обеспечивает исключительно модуль Discovery (отдельный backend-инстанс).
Universe DG не подключается к данным напрямую.
Чтобы разметка данных работала:
Убедитесь, что инстанс Discovery установлен и запущен.
Откройте сетевые порты от инстанса Discovery ко всем информационным системам, к которым необходимо обращаться.
Настройте подключения в Discovery к этим ИС.
Без выполненных шагов 1-2 данные не будут поступать в DG, и разметка не сможет быть сформирована
Удаление меток
Чтобы удалить метку:
Выберите необходимую метку данных из списка существующих.
Нажмите кнопку
"Удалить", расположенную в правом верхнем углу.Подтвердите удаление в модальном окне.
Примечание
Метку невозможно удалить, если она имеет назначения в разделе "Каталог меток данных" и используется в настройках раздела "Информационные системы" (например, в сканере). Перед удалением метки необходимо снять все назначения в указанных разделах.
Рисунок 2 – Пример настройки правила данных
Рисунок 3 – Пример отображения вкладки "Функции"