Работа с источниками данных

Источники данных – это обозначение сторонних информационных систем, от имени которых данные могут загружаться в Юниверс DG.

Каждая запись имеет свой источник данных. Каждый источник данных обладает собственным уровнем доверия (весом), что влияет на приоритет одних данных перед другими при загрузке, объединении дубликатов и т.д.

Юниверс DG получает метаинформацию из источников данных с помощью краулеров за счет создания подключения к системе-источнику. Юниверс DG позволяет создавать несколько подключений, которые могут быть соединены с несколькими системами одного и того же источника данных с помощью информационных систем.

Совет

Получение данных из внешних источников и их последующая загрузка в систему Юниверс DG доступна с помощью настроек, осуществляемых по разделам в следующей последовательности: Источники данных → Библиотеки → Краулеры → Подключения → Информационные системы → Сканеры

Создание источника данных

Чтобы создать источник данных:

Нажмите кнопку "Создать", расположенную в нижней части списка источников данных.
В результате действия будет создан новый источник данных. Свойства источника данных будут отображены в основной рабочей области экрана (Рисунок 1).
Заполните свойства источника данных:
- Имя: Логическое имя, должно содержать латинские буквы, цифры, символы "-", "_" и начинаться с буквы. Не может содержать пробелы. После сохранения перечисления изменить имя будет нельзя.
- Описание: произвольное описание источника данных.
- Вес: В зависимости от качества и уровня доверия источнику может быть присвоен вес от 0 до 100.
- Тип: Тип источника определяет список доступных для использования краулеров данных и метаданных. По умолчанию UNDEFINED - позволяет использовать любой тип краулера.
- Дополнительные параметры. Перечень параметров (пара "имя" – "значение"), которые содержат дополнительную текстовую информацию. На параметры могут ссылаться кастомные расширения, также параметры могут содержать нестандартную информацию из внешних систем.
При необходимости сохраните изменения. Нажмите кнопку "Сохранить", расположенную в верхнем правом углу экрана. Если при сохранении будут обнаружены ошибки заполнения, то на экране отобразится соответствующее сообщение.

Рисунок 1 – Пример отображения настроек источника данных

Редактирование источника данных

Чтобы редактировать источник данных:

Выберите требуемый источник данных из списка источников.
Внесите требуемые изменения. Поле "Имя" недоступно для редактирования.
Сохраните изменения. Нажмите кнопку "Сохранить", расположенную в верхнем правом углу экрана.

Удаление источника данных

Чтобы удалить источник данных:

Нажмите кнопку "Удалить", расположенную в верхнем правом углу экрана.
Подтвердите изменения.

Системный источник данных удалить нельзя.

Тип источника данных

Тип краулера для использования в источниках данных должен быть определен в его дескрипторе. Допускается задание нескольких поддерживаемых типов.

Пример:

CrawlerDescriptor descriptor = new CrawlerDescriptor()
      .withName("postgres-data-crawler")
      .withDisplayName(() -> "Краулер данных PostgreSQL")
      .withDescription(() -> "Краулер данных для базы данных PostgreSQL")
      .withSupported(CrawlerExecutionScope.DATA)
      .withConnectParameters(CONNECT_PARAMS)
      .withTypes("POSTGRES")
      .withRuntimeParameters(QUERY, LIMIT);

Тип краулера по умолчанию - UNDEFINED, что позволяет использовать его для этого источника данных.

В случае несоответствия типа системы источника типу краулера метаданных в сканерах или типу краулера данных в разметке - отобразится соответствующее предупреждение в настройках подключения (сохранение настроек при этом доступно).

Существует возможность расширения стандартного списка типов источников. Для этого необходимо зарегистрировать свой тип через org.unidata.mdm.core.type.model.sourcesystem.SourceSystemTypes.register(SourceSystemType).

Пример регистрации нового типа в классе модуля:

public class CustomModule extends AbstractModule {
   @Override
   public void start() {
      SourceSystemTypes.register(SourceSystemType.of("UDG", "Universe Data Governance"));
   }
}