Использование DIS краулеров

Набор краулеров DIS позволяет собирать информацию через REST DIS из различных внешних систем, таких как:

  • Oracle

  • JDBC

  • Hive

  • MS SQL Server

Чтобы использовать любой из DIS краулеров:

  1. Убедитесь, что открыт раздел "Краулеры".

  2. Добавьте краулер в список существующих.

  3. На 1 шаге мастера добавления краулеров выберите библиотеку "DIS crawlers" и далее следуйте по шагам мастера.

  4. На 2 шаге выделите необходимый краулер в списке найденных и добавьте его в список выбранных с помощью кнопки image2. Перейдите на следующий шаг.

  5. На 3 шаге мастера при необходимости добавьте или отредактируйте имя, отображаемое имя краулера или описание.

    • Имя заполняется латинскими буквами без пробелов и является системным именем.

    • Отображаемое имя используется для отображения в интерфейсе и может состоять из букв латинского и кириллического алфавита, а также пробелов, цифр и символов.

    • Системное имя недоступно для редактирования после сохранения.

    • При наведении на значок image1 появляется подсказка с полным именем краулера.

  6. Нажмите "Добавить", в результате чего новый краулер будет добавлен в перечень доступных.

Примечания:

Если на стороне DIS краулера возникли ошибки при запуске сканирования - лог ошибок будет доступен для скачивания в Уведомлениях системы (Рисунок 1) или доступен для просмотра только в unidata_backend.log.

Уведомление об ошибке сканирования

Рисунок 1 – Уведомление об ошибке сканирования

Параметры интеграции

Параметры интеграции доступны для редактирования в разделе "Конфигурационные параметры системы" в секции "Настройки интеграции с DIS" (Рисунок 2).

Перечень параметров:

  • Таймаут проверки статуса краулера (com.universe.dg.dis.integration.api.client.timeout) - таймаут проверки статуса краулера в миллисекундах.

  • Cron-выражение запуска операции обновления DIS профилей и проектов (com.universe.dg.dis.integration.job.update.profiles.projects.cronex) - См. подробнее.

  • Отключение фоновой операции по обновлению DIS профилей и проектов (com.universe.dg.dis.integration.job.update.profiles.projects.disabled) - Флаг.

  • URL Rest эндпоинта для получения DIS профилей (com.universe.dg.dis.integration.job.update.profiles.url) - Список передаваемых URL.

  • URL Rest эндпоинта для получения DIS проектов (com.universe.dg.dis.integration.job.update.projects.url) - Список передаваемых URL.

  • DIS backend URL (com.universe.dg.dis.integration.rest.url) - URL сервера DIS, к которому будут отправляться запросы (запуск сканирования, остановка сканирования и тд.).

  • Проверять SSL сертификат (com.universe.dg.dis.integration.ssl.check) - флаг, указывающий нужно ли проверять SSL сертификат.

  • Размер буфера сканеров (com.universe.dg.dis.integration.scanner.runner.chunk.size) - отвечает за размер буфера запуска сканеров.

Системные параметры интеграции с DIS

Рисунок 2 – Системные параметры интеграции с DIS