Разметка данных

Метки данных позволяют настроить правила, с помощью которых можно получить информацию о данных, хранящихся в метаданных (например, какие значения хранит колонка).

Процесс присвоения (назначения) меток данных объектам физического слоя называется разметка данных.

Главная задача разметки данных - определить, какие данные хранятся в метаданных и данных, и присвоить их, т.е. связать с ними термин (актив не физического слоя).

Управление назначениями меток (проставлением меток на активы) и запуск переназначения осуществляется в разделе "Каталог меток данных".

После запуска операции разметки данных в карточке данных отображаются метки данных в виде отдельного виджета.

• При отсутствии прав на один из ресурсов "Просмотр каталога меток данных" или "Управление каталогом меток данных" метка "На согласовании" не будет отображаться в карточке актива.

Примечание

Для работы механизма разметки обязателен к установке отдельный инстанс DG Discovery.

Обзор раздела

Раздел "Метки данных" представляет собой типовой раздел системы, имеющий список созданных меток в левой части экрана и настройку параметров в правой (Рисунок 1).

Создание новой метки происходит во включенном режиме черновика.

Рисунок 1 – Пример отображения раздела "Метки данных": 1 - список существующих меток, 2 - настройка параметров меток

Создание меток

Чтобы создать метку данных:

1. Перейдите в раздел "Метки данных", если это не было сделано ранее, и включите режим черновика.

2. Нажмите кнопку "Создать", расположенную в нижней части списка меток.

3. Заполните основные параметры метки:

   • Имя. Логическое имя, должно содержать латинские буквы, цифры, символы "-", "_" и начинаться с буквы. Не может содержать пробелы. После сохранения недоступно для изменения.

   • Отображаемое имя. Имя, которое отображается в интерфейсе.

   • Описание. Краткая информация о добавляемой метке.

   • Тип актива, связанный с термином. Выбор типа актива из выпадающего списка, с записями которого будут связаны объекты физического слоя.

   • Доп. параметры. Перечень параметров (пара "имя" – "значение"), которые содержат дополнительную текстовую информацию. На параметры могут ссылаться кастомные расширения, также параметры могут содержать нестандартную информацию из внешних систем.

4. В секции "Правила данных и/или правила метаданных" выберите правило разметки из списка ранее созданных.

   • Метка должна иметь как минимум 1 правило.

   • С помощью кнопки в конце строки доступен переход в модальное окно для редактирования правила.

5. В секции "Соответствие данных" заполните следующие поля:

   • Минимальное соответствие. Процент строк из выборки данных, удовлетворяющих правилу, для формирования предложения о назначении метки (статус "На согласовании"). Значение должно быть в диапазоне от 1 до 99.

   • Автоматическое принятие. Процент строк из выборки данных, удовлетворяющих правилу, для автоматического согласования метки (статус "Согласовано"). Значение должно быть в диапазоне от 2 до 100.

6. В случае если выбраны правило данных и правило метаданных - укажите способ разрешения конфликтов. Конфликт возникает в двух случаях:

   • (название колонки удовлетворяет правилу метаданных) И (процент соответствия данных колонки < минимальное соответствие);

   • (название колонки НЕ удовлетворяет правилу метаданных) И (процент соответствия данных колонки >= минимальное соответствие).

   Доступны 4-е стратегии разрешения конфликтов:

   • Разметить по правилу данных - результат выполнения правила метаданных будет проигнорирован. Метка будет присвоена/отклонена только на основе результатов правила данных.

   • Разметить по правилу метаданных - результат выполнения правила данных будет проигнорирован. Метка будет присвоена/отклонена только на основе результатов правила метаданных.

   • Отклонить - в случае возникновения конфликта метка будет отклонена.

   • Сформировать предложения - в случае возникновения конфликта метка будет присвоена в статусе "На согласовании".

7. Нажмите кнопку "Сохранить", расположенную в правом верхнем углу.

8. Опубликуйте черновик с помощью кнопки внизу списка меток.

Примечание

В случае отклонения метки операцией разметки метка НЕ будет присвоена колонке со статусом "Отклонена". Операция пропускает назначение меток с таким статусом.

Создание правил и функций

Чтобы создать новое правило:

1. Нажмите кнопку внизу списка меток.

2. В результате действия откроется модальное окно, содержащее 3 вкладки: "Правила данных", "Правила метаданных" и "Функции".

3. Убедитесь, что открыта необходимая вкладка "Правила ..." (Рисунок 2).

   • Для правил данных доступны те же функции, что и для правил метаданных.

4. Для создания нового правила нажмите кнопку "Создать" внизу списка правил.

5. Заполните параметры правила:

   • Имя. Логическое имя, должно содержать латинские буквы, цифры, символы "-", "_" и начинаться с буквы. Не может содержать пробелы. После сохранения недоступно для изменения.

   • Отображаемое имя. Имя, которое отображается в интерфейсе.

   • Описание. Краткая информация о добавляемом правиле.

   • Доп. параметры. Перечень параметров (пара "имя" – "значение"), которые содержат дополнительную текстовую информацию. На параметры могут ссылаться кастомные расширения, также параметры могут содержать нестандартную информацию из внешних систем.

   • Функция. Выбор функции из выпадающего списка ранее созданных в системе. Могут быть выбраны функции, у которых есть хотя бы один входной строковой порт и хотя бы один выходной логический порт. Если в системе нет ни одной функции - создайте их.

     • Для использования функции в правилах метаданных она должна иметь хотя бы один входящий порт с типом "Строка" и один исходящий порт с типом "Булевый". В качестве проверяемого значения во входящий порт функции должна быть передана константа $value.

6. Нажмите кнопку "Сохранить", расположенную в правом верхнем углу.

Чтобы создать новую функцию:

1. Нажмите кнопку внизу списка меток.

2. В результате действия откроется модальное окно, содержащее 2 вкладки: "Правила" и "Функции".

3. Перейдите во вкладку "Функции" (Рисунок 3).

4. Для создания новой функции нажмите кнопку "Создать" внизу списка функций и выберите: "Java" или "Композитная".

5. При выборе пункта Java в результате действия откроется мастер добавления функций:

   • На первом шаге выделите требуемую библиотеку, ранее загруженную в систему. Или добавьте новую по кнопке "Добавить библиотеку" в левом нижнем углу.

   • На втором шаге добавьте одну или несколько функций, содержащихся в библиотеке.

   • На третьем шаге заполните параметры функции: логическое и отображаемое имя. При необходимости, добавьте описание.

   • Нажмите "Добавить".

6. При выборе пункта "Композитная" в результате действия отроется окно настройки новой функции:

   • Укажите основные настройки функции: Имя, Отображаемое имя, Описание.

   • Установите необходимые режимы обработки функции: глобальный и/или локальный.

   • Создайте необходимую функцию с помощью редактора, используя готовые функции, константы, условия.

     • Во входные порты может быть указана либо константа, либо displayName.

   • Сохраните изменения. Нажмите кнопку "Сохранить", расположенную в верхнем правом углу окна настройки функции.

7. В результате действия новая функция будет добавлена в список.

Удаление меток

Чтобы удалить метку:

1. Выберите необходимую метку данных из списка существующих.

2. Нажмите кнопку "Удалить", расположенную в правом верхнем углу.

3. Подтвердите удаление в модальном окне.

Примечание

Метку невозможно удалить, если она имеет назначения в разделе "Каталог меток данных". Для возможности удаления сначала необходимо снять все назначения.

Рисунок 2 – Пример настройки правила данных

Рисунок 3 – Пример отображения вкладки "Функции"