Использование сторонних краулеров

Набор краулеров «Плюс7 Сканеры метаданных» позволяет собирать информацию через REST из различных внешних систем, например:

  • Oracle

  • JDBC

  • Hive

  • MS SQL Server

Также ознакомьтесь с инструкцией по установке и обновлению модуля сканеров.

См.также

Пример разработки краулера

Установка краулера

Чтобы использовать любой из краулеров:

  1. В разделе "Библиотеки" загрузите файлы crawlers.jar и crawlers-library-2.11.0-SNAPSHOT.jar, где 2.11.0 - версия библиотеки.

  2. В разделе "Импорт/Экспорт" экспортируйте текущую модель данных, выбрав пункт «Модель типов активов», чтобы сохранить ее резервную копию.

  3. В разделе "Конфигурационные параметры системы" в параметре " backend URL" укажите url для подключения к сканерам: https://host:8443, где host – ip адрес или имя сервера с установленными сканерами, 8443 – порт nginx сканеров по умолчанию.

    • Полный перечень интеграционных параметров см. ниже.

  4. В разделе "Краулеры" и добавьте необходимые краулеры в систему.

Если на стороне краулера возникли ошибки при запуске сканирования - лог ошибок будет доступен для скачивания в Уведомлениях системы (Рисунок 1) или доступен для просмотра только в unidata_backend.log.

Уведомление об ошибке сканирования

Рисунок 1 – Уведомление об ошибке сканирования

Особенности файлов библиотек

  • crawlers.jar:

    • В краулере Luxms произведены существенные изменения, для корректного импорта модели может потребоваться очистить ИС LuxMS перед запуском сканирования с новым краулером.

  • crawlers-library-2.10.0-SNAPSHOT.jar:

    • Краулер не поддерживает автоматический импорт модели при запуске сканирования. Если на стенде уже используется crawlers.jar, то импортировать модель не требуется. В противном случае импортируйте модель вручную.

Параметры интеграции

Параметры интеграции доступны для редактирования в разделе "Конфигурационные параметры системы" в секции "Настройки интеграции" (Рисунок 2).

Перечень параметров:

  • Таймаут проверки статуса краулера (com.universe.dg.dis.integration.api.client.timeout) - таймаут проверки статуса краулера в миллисекундах.

  • Cron-выражение запуска операции обновления профилей и проектов (com.universe.dg.dis.integration.job.update.profiles.projects.cronex) - см. подробнее в статье.

  • Отключение фоновой операции по обновлению профилей и проектов (com.universe.dg.dis.integration.job.update.profiles.projects.disabled) - флаг.

  • URL Rest эндпоинта для получения профилей (com.universe.dg.dis.integration.job.update.profiles.url) - список передаваемых URL.

  • URL Rest эндпоинта для получения проектов (com.universe.dg.dis.integration.job.update.projects.url) - список передаваемых URL.

  • ** backend URL** (com.universe.dg.dis.integration.rest.url) - URL сервера , к которому будут отправляться запросы (запуск сканирования, остановка сканирования и тд.).

  • Проверять SSL сертификат (com.universe.dg.dis.integration.ssl.check) - флаг, указывающий нужно ли проверять SSL сертификат.

  • Размер буфера сканеров (com.universe.dg.dis.integration.scanner.runner.chunk.size) - отвечает за размер буфера запуска сканеров.

Системные параметры интеграции с

*Рисунок 2 – Системные параметры интеграции с *