Загрузка данных из внешних источников

Получение данных из внешних источников и их последующая загрузка в систему Юниверс DG доступна посредством обнаружения и сбора (краулинга) метаинформации при создании информационных систем (ИС).

Объекты (например, типы активов), загруженные в систему из внешних источников с помощью системных краулеров DG (например, краулера PostgreSQL), считаются объектами физического слоя.

Создание и настройка подключения к внешним источникам осуществляется по разделам в следующей последовательности:

  • Источники данных - содержат перечень сторонних информационных систем, данные из которых используются системой Юниверс DG в качестве исходных.

  • Библиотеки - позволяют загрузить пользовательские библиотеки с краулерами в формате .jar.

  • Краулеры - собирают метаинформацию путем подключения к источнику данных; загружают связанные метаданные в систему Юниверс DG.

  • Подключения - позволяют создать соединение системы Юниверс DG с внешним источником данных.

  • Информационные системы - это совокупность технических единиц, позволяющих получать метаинформацию из нескольких систем одного и того же источника данных.

  • Сканеры - регулируют процесс обнаружения и сбора (краулинга) метаинформации по заданному расписанию.

При запуске сканера происходит валидация и объединение модели типов активов. Если новая версия модели конфликтует с текущей, то пользователю отображается соответствующее предупреждение. См. подробнее принцип валидации и объединения моделей.

Также объекты могут загружаться в систему вручную из библиотек в разделе "Управление активами".

Шаги настройки

Чтобы загрузить данные из внешнего источника:

  1. Создайте источник данных в разделе "Источники данных", указав его основные параметры и задав вес источника. Вес определяет уровень доверия к источнику в диапазоне 0 - 100.

../../_images/image3.png
  1. В разделе "Библиотеки" загрузите .jar файл библиотеки, содержащий набор краулеров для сбора информации из внешней системы.

../../_images/image4.png
  1. Перейдите в раздел "Краулеры" и добавьте новый краулер в систему из перечня ранее загруженных библиотек. Также доступно использование библиотек, загруженных по умолчанию.

../../_images/image5.png
  1. Далее создайте подключение в разделе "Подключения", задав необходимые параметры и выбрав ранее загруженный в систему краулер.

../../_images/image6.png
  1. Перейдите в раздел "Информационные системы" и создайте информационную систему, указав нужные свойства.

../../_images/image7.png
  1. Далее заполните настройки сканирования, выбрав сканер из выпадающего списка существующих или создав новый, и задайте расписание, по которому будет осуществляться сканирование. При необходимости выполните проверку подключения сканера.

../../_images/image8.png
  1. Запустите сканер и дождитесь его выполнения.

../../_images/image9.png
  1. Результат сканирования будет отображен в таблице в столбце "Статус", а также в системных уведомлениях (image1 "Меню пользователя" → "Уведомления"). Детализация будет содержать информацию об изменении количества активов и связей.

../../_images/image10.png