Установка краулеров
Общие сведения
Модель краулера загружается в систему в разделе "Библиотеки" в виде .jar файла библиотеки, после чего краулер добавляется в список доступных в разделе "Краулеры".
Краулеры, добавленные в перечень доступных, используются в разделе "Подключения" для создания соединений с источниками данных.
Модель краулера может также содержать типы активов, которые далее загружаются в систему в разделе "Управление активами".
Примечание
После внесения каких-либо изменений в модель или параметры краулера - необходимо обновить библиотеку краулеров для загрузки в систему новой актуальной версии.
Добавление краулера в систему
Чтобы добавить краулер в систему Юниверс:
В разделе "Библиотеки" загрузите файлы краулеров в формате .jar.
При необходимости экспортируйте текущую модель данных, выбрав пункт «Модель типов активов», чтобы сохранить ее резервную копию.
Перейдите в раздел "Краулеры" и нажмите кнопку
"Добавить краулер" в нижней части списка краулеров (Рисунок 1).
В результате действия откроется мастер библиотек. Нажмите на строку требуемой библиотеки и перейдите на следующий шаг.
Выделите необходимый краулер в списке найденных и добавьте его в список выбранных с помощью кнопки
(Рисунок 2). Перейдите на следующий шаг.
На 3 шаге мастера при необходимости добавьте или отредактируйте имя, отображаемое имя краулера или описание.
Имя заполняется латинскими буквами без пробелов и является системным именем краулера. Недоступно для редактирования.
Отображаемое имя используется для отображения в интерфейсе и может состоять из букв латинского и кириллического алфавита, а также пробелов, цифр и символов.
Название библиотеки и Версия библиотеки подставляются автоматически от библиотеки, из которой был загружен краулер.
Нажмите "Добавить", в результате чего новый краулер будет добавлен в перечень доступных.
Обновленные модели импортируются в систему автоматически при запуске сканирования ИС.
Кнопка обновления предназначена для обновления модели краулеров при обновлении модели библиотек (используется при разработке краулеров).
Удаление краулера
Чтобы удалить краулер:
Выберите необходимый для удаления краулер из списка существующих.
Примечание
Краулер, добавленный в настройки подключения, недоступен для удаления. Сначала необходимо удалить его из подключения

Рисунок 1 – Раздел "Краулеры": 1 – Список существующих краулеров, 2 – Настройка параметров краулера

Рисунок 2 – Мастер добавления краулера (шаг 2)
Краулеры данных
Для доступа к данным в системе имеются следующие краулеры:
Краулер данных PostgreSQL,
Краулер данных Oracle,
Краулер данных MSSql,
JDBC краулер данных.
Все перечисленные краулеры работают только в однопоточном режиме и формируют выборки данных на основе первых N записей таблиц. Загружаемые краулером данные преобразуются в строки.
Поддерживаются следующие типы колонок: численные, строковые, булевые, дата и время. Данные колонок других типов не будут обработаны краулерами.
Подробнее о подключении краулеров см. в статье "Подключения".

Рисунок 3 – Пример настройки подключения краулера PostgreSQL
Универсальный JDBC краулер
Краулер позволяет подключаться к любому источнику, который поддерживает JDBC-подключение. Для подключения необходимо указать:
JDBC Url - строку подключения (например, jdbc:mysql://mysql.db.server:3306/my_database?username=dbUser&password=1q2w3e4r);
Limit pattern - способ ограничения выборки данных из таблиц для подключаемого источника.
Соответствующий JDBC-драйвер необходимо подложить в директорию universe-integration в Discovery.

Рисунок 4 – Пример настройки подключения краулера JDBC