Библиотеки

Описание

Раздел "Библиотеки" предназначен для загрузки пользовательских библиотек в формате .jar, расширяющих функциональность системы.

Библиотеки могут использоваться для:

  • Добавления пользовательской функции обработки данных.

  • Расширения бизнес-процессов: добавления новых сервисных задач и слушателей для различных событий.

  • Добавления пользовательских сегментов пайплайнов.

  • Добавление другого пользовательского кода.

Файлы библиотек могут содержать описания объектов одного или нескольких типов.

Например, один .jar-файл библиотеки может включать в себя описания краулера БД PostgreSQL и пользовательской функции очистки данных. Далее описание необходимого объекта будет добавляться в систему с помощью мастера библиотек соответствующего раздела: описание краулера БД PostgreSQL – в разделе "Краулеры" при добавлении нового краулера, описание функции очистки – в разделе "Качество данных" при создании новой функции.

Добавление новой библиотеки

Чтобы добавить библиотеку:

  1. Нажмите кнопку image3 "Добавить библиотеку", расположенную в правом верхнему углу раздела (Рисунок 1).

  2. В результате действия откроется модальное окно загрузки новой библиотеки (Рисунок 2).

  3. Чтобы загрузить библиотеку, нажмите Выбор файла. После чего выберите необходимый файл с расширением .jar.

    • Если загружен неверный файл - наведите курсор на имя файла, при этом справа появится кнопка image5 "Удалить файл", на которую следует нажать.

    • Если загружен файл с некорректным расширением, система выдаст ошибку и не даст сохранить библиотеку. В таком случае нажмите Отмена или выберите другой файл с расширением .jar.

    • Для успешной загрузки файл не должен превышать 2Гб (в браузерах Internet Explorer и Mozilla Firefox). Браузеры Google Chrome и Opera допускают загрузку файлов более 4Гб.

  4. В поле Версия в системе введите порядковый номер версии файла библиотеки.

  5. В поле Описание доступен ввод краткого описания добавляемой библиотеки.

  6. Нажмите кнопку Загрузить. Если требуется прервать загрузку – нажмите кнопку Отмена.

  7. В результате действий в таблицу будет загружена новая библиотека. Загрузка больших файлов может занять более продолжительное время.

Библиотеки определяются сразу после загрузки, и не требуют перезапуска системы.

Управление перечнем библиотек

Обновление библиотек

Если в систему уже загружена библиотека с определенным именем и номером версии, то при повторной загрузке библиотеки (имя и номер версии у которой тоже совпадает), то содержимое библиотеки обновляется. Если у библиотеки отличается имя или версия, то библиотека загружается как новая.

Например, если загружается новая библиотека с функцией обработки данных, то в модели качества данных потребуется выбрать новую функцию (если при этом у функции в старой и в новой библиотеке было одинаковое имя, то в списке будет две функции с одинаковыми именами; если планируется частое обновление функций, то рекомендуется менять не только версию библиотеки, но и добавлять версию в имя функции). Аналогично и с другим содержимым библиотек.

Для сортировки библиотек используйте фильтры:

  • По имени файла. Нажмите кнопку image2 "Фильтр", расположенную в правой части столбца Имя файла. В пустом поле введите имя, по которому необходимо отфильтровать имеющиеся файлы. Нажмите Применить.

  • По версии. Нажмите кнопку image2 "Фильтр", расположенную в правой части столбца Версия, и включите флаг Только последние версии. В результате перечень файлов будет сгруппирован в более сокращенный, где останутся только последние добавленные версии файлов.

  • По типу. Нажмите кнопку image2 "Фильтр", расположенную в правой части столбца Тип, и выберите необходимые типы библиотек, по которым будет отфильтрована таблица имеющихся файлов. Нажмите Применить.

Для удаления библиотеки:

  1. В крайнем левом столбце отметьте флагами необходимые для удаления библиотеки.

  2. В верхнем правом углу экрана нажмите image1 Удалить.

  3. Подтвердите действие.

Для скачивания файла библиотеки:

  1. Наведите курсор на строку с необходимой библиотекой.

  2. Нажмите image4 "Скачать" в правом конце строки. Кнопка отображается только при наведении курсора на строку.

  3. В результате действия файл будет автоматически скачан на ваше устройство.

Список библиотек по умолчанию

С дистрибутивом поставляются следующие библиотеки:

  • system-cleanse-functions.jar - стандартные функции обработки данных. Используются в правилах качества данных.

  • postgresMatchingStorage-algorithms.jar - стандартный алгоритм поиска дубликатов данных по точному совпадению.

  • data-cleanse-functions.jar - функции обработки данных для MDM: Проверка уникальности атрибутов, Получение данных из индекса, Получение данных из JDBC, Проверка консистентности ссылок, Проверка значения справочников. Используются в правилах качества данных.

  • system-delegate-executors.jar - обработчик бизнес-процессов, используется для отправки уведомлений на почту.

  • postgres-sql-crawler.jar - краулер для БД PostgreSQL.

Раздел "Библиотеки" и кнопка "Добавить библиотеку"

Рисунок 1 - Раздел "Библиотеки" и кнопка "Добавить библиотеку"

Окно загрузки новой библиотеки

Рисунок 2 - Окно загрузки новой библиотеки