Использование сторонних краулеров

Набор краулеров DIS позволяет собирать информацию через REST DIS из различных внешних систем, например:

  • Oracle

  • JDBC

  • Hive

  • MS SQL Server

Также ознакомьтесь с инструкцией по установке и обновлению модуля сканеров.

См.также

Пример разработки DIS краулера

Установка краулера DIS

Чтобы использовать любой из краулеров DIS:

  1. В разделе "Библиотеки" загрузите файлы crawlers.jar и crawlers-library-2.11.0-SNAPSHOT.jar, где 2.11.0 - версия библиотеки.

  2. В разделе "Импорт/Экспорт" экспортируйте текущую модель данных, выбрав пункт «Модель типов активов», чтобы сохранить ее резервную копию.

  3. В разделе "Конфигурационные параметры системы" в параметре "DIS backend URL" укажите url для подключения к сканерам: https://host:8443, где host – ip адрес или имя сервера с установленными сканерами, 8443 – порт nginx сканеров по умолчанию.

    • Полный перечень интеграционных параметров см. ниже.

  4. В разделе "Краулеры" и добавьте необходимые краулеры в систему.

Если на стороне DIS краулера возникли ошибки при запуске сканирования - лог ошибок будет доступен для скачивания в Уведомлениях системы (Рисунок 1) или доступен для просмотра только в unidata_backend.log.

Уведомление об ошибке сканирования

Рисунок 1 – Уведомление об ошибке сканирования

Особенности файлов библиотек

  • crawlers.jar:

    • В краулере Luxms произведены существенные изменения, для корректного импорта модели может потребоваться очистить ИС LuxMS перед запуском сканирования с новым краулером.

  • crawlers-library-2.10.0-SNAPSHOT.jar:

    • Краулер не поддерживает автоматический импорт модели при запуске сканирования. Если на стенде уже используется crawlers.jar, то импортировать модель не требуется. В противном случае импортируйте модель вручную.

Параметры интеграции DIS

Параметры интеграции доступны для редактирования в разделе "Конфигурационные параметры системы" в секции "Настройки интеграции с DIS" (Рисунок 2).

Перечень параметров:

  • Таймаут проверки статуса краулера (com.universe.dg.dis.integration.api.client.timeout) - таймаут проверки статуса краулера в миллисекундах.

  • Cron-выражение запуска операции обновления DIS профилей и проектов (com.universe.dg.dis.integration.job.update.profiles.projects.cronex) - см. подробнее в статье.

  • Отключение фоновой операции по обновлению DIS профилей и проектов (com.universe.dg.dis.integration.job.update.profiles.projects.disabled) - флаг.

  • URL Rest эндпоинта для получения DIS профилей (com.universe.dg.dis.integration.job.update.profiles.url) - список передаваемых URL.

  • URL Rest эндпоинта для получения DIS проектов (com.universe.dg.dis.integration.job.update.projects.url) - список передаваемых URL.

  • DIS backend URL (com.universe.dg.dis.integration.rest.url) - URL сервера DIS, к которому будут отправляться запросы (запуск сканирования, остановка сканирования и тд.).

  • Проверять SSL сертификат (com.universe.dg.dis.integration.ssl.check) - флаг, указывающий нужно ли проверять SSL сертификат.

  • Размер буфера сканеров (com.universe.dg.dis.integration.scanner.runner.chunk.size) - отвечает за размер буфера запуска сканеров.

Системные параметры интеграции с DIS

Рисунок 2 – Системные параметры интеграции с DIS