Сканеры

Раздел "Сканеры" предназначен для связывания ранее созданных подключений с источниками данных, из которых необходимо получить метаинформацию.

Настройки подключения заполняются согласно параметрам, введенным в разделе "Подключения".

Дальнейший запуск сканеров и просмотр истории предыдущих запусков доступны в разделе "Информационные системы".

Совет

Получение данных из внешних источников и их последующая загрузка в систему Юниверс DG доступна с помощью настроек, осуществляемых по разделам в следующей последовательности: Источники данных → Библиотеки → Краулеры → Подключения → Информационные системы → Сканеры

Создание сканера

Чтобы создать сканер:

1. Убедитесь, что открыт раздел "Информационные системы".

2. Нажмите кнопку "Сканеры" в нижней части списка информационных систем (Рисунок 1).

3. В открывшемся окне нажмите кнопку "Создать".

4. Заполните Имя и Отображаемое имя сканера (Рисунок 2). Имя заполняется латинскими буквами без пробелов и является системным именем. Отображаемое имя используется для отображения в интерфейсе и может состоять из букв латинского и кириллического алфавита, а также пробелов, цифр и символов.

5. Выберите Источник данных из списка ранее загруженных, к которому последует подключение, либо добавьте новый.

   • Ограничение: источник данных universe недоступен для выбора, т.к. в этом случае изменения пользователя, которые он в интерфейсе вносит в активы, перетираются при повторном запуске сканера.

6. Выберите Подключение из списка загруженных или добавьте новое. См. подробнее о добавлении подключения.

   • Параметры заполняются автоматически согласно указанным в разделе "Подключения" и недоступны для редактирования.

7. Нажмите кнопку "Сохранить" в правом верхнем углу экрана.

Примечания

• Если в информационной системе (ИС) при ее сканировании был удален, а затем добавлен актив, то он будет восстановлен. При этом если актив не был изменен, то в истории записи будет информация, что актив восстановлен. Если актив в ИС был изменен, то будет информация, что актив восстановлен и обновлен. При этом, связи актива с другими активами будут восстановлены.

• Один и тот же сканер нельзя использовать в нескольких информационных системах.

• Возможность редактирования параметров может быть задана в билдере CrawlerParameterDescriptor методом isEditable. Если атрибут указан как редактируемый, то пользователь может изменить его после сохранения настроек подключения. Если атрибут указан как не редактируемый, то при попытке изменить значение параметра появится ошибка:

  CrawlerParameterDescriptor.string()
  .name(PROPERTY_PASSWORD)
  .required(true)
  .isEditable(false)
  .type(CrawlerParameterType.SECRET)
  .displayName("Password")
  .build()
  

Проверка подключения

Чтобы проверить подключение:

1. Нажмите кнопку "Проверка подключения" в верхнем правом углу окна.

2. В результате действия будет выполнена проверка подключения краулера к информационной системе с заданными параметрами.

3. Сообщение об успешной или ошибочной проверке подключения появится в нижнем правом углу экрана.

Удаление сканера

Чтобы удалить сканер:

1. Выберите необходимый сканер из списка существующих.

2. Нажмите кнопку "Удалить", расположенную в правом верхнем углу.

Настройка параметров сканеров

Ограничение числа параллельно запущенных сканеров

Параметр org.unidata.dg.data.running.scanners.limit отвечает за максимально допустимое число одновременно запущенных сканеров. Значение параметра должно принимать только положительное число, ограничений на размер параметра нет. В случае, если при запуске сканера происходит превышение ограничения, то появится уведомление об ошибке (Рисунок 3) и сканер не будет запущен.

Название параметра	Ключ в backend.properties	Переменная для среды DOCKER	Значение по умолчанию
Максимально допустимое число одновременно запущенных сканеров	org.unidata.dg.data.running.scanners.limit	RUNNING_SCANNERS_LIMIT	10

В случае, если сканеры запускаются не вручную, а по расписанию через cron выражение, то ошибка не воспроизведется, а сканеры получат статус в очереди. Если в системе выставлено значение параметра равное нулю, то запуск сканеров будет невозможен, а сканеры с запланированным сканированием встанут в очередь и остановят свою работу.

Механизм повторной попытки чтения данных от сканеров DIS

Параметры отвечают за допустимое время чтения данных и за количество повторных запросов на чтение.

Название параметра	Ключ в backend.properties	Переменная для среды DOCKER	Значение по умолчанию
Допустимое время чтения данных от сканера (в миллисекундах)	com.universe.dg.dis.integration.scanner.reader.rest.template.timeout	SCANNER_READER_TEMPLATE_TIMEOUT	12000
Максимальное число запросов на чтение данных от сканера	com.universe.dg.dis.integration.max.attempts.to.get.scanner.data	MAX_ATTEMPTS_TO_GET_SCANNER_DATA	5

Если в случае чтения данных от сканера произойдет ошибка (внутренняя или превышение допустимого времени чтения данных сканирования) будет совершен новый запрос на чтение. Как только один запрос завершается успешно, то повторные запросы не отправляются. Если все запросы завершились с ошибкой, то сканирование останавливается с ошибкой.

Рисунок 1 – Кнопка "Сканеры

Рисунок 2 – Заполнение настроек сканера

Рисунок 3 – Ошибка при попытке превысить максимальное число запущенных сканеров