Библиотеки

Описание

Раздел "Библиотеки" предназначен для загрузки пользовательских библиотек в формате .jar, расширяющих функциональность системы.

Библиотеки могут использоваться для:

• Добавления пользовательской функции обработки данных.

• Расширения бизнес-процессов: добавления новых сервисных задач и слушателей для различных событий.

• Добавления пользовательских сегментов пайплайнов.

• Добавление другого пользовательского кода.

Файлы библиотек могут содержать описания объектов одного или нескольких типов.

Например, один .jar-файл библиотеки может включать в себя описания краулера БД PostgreSQL и пользовательской функции очистки данных. Далее описание необходимого объекта будет добавляться в систему с помощью мастера библиотек соответствующего раздела: описание краулера БД PostgreSQL – в разделе "Краулеры" при добавлении нового краулера, описание функции очистки – в разделе "Качество данных" при создании новой функции.

Добавление новой библиотеки

Чтобы добавить библиотеку:

1. Нажмите кнопку "Добавить библиотеку", расположенную в правом верхнему углу раздела (Рисунок 1).

2. В результате действия откроется модальное окно загрузки новой библиотеки (Рисунок 2).

3. Чтобы загрузить библиотеку, нажмите Выбор файла. После чего выберите необходимый файл с расширением .jar.

   • Если загружен неверный файл - наведите курсор на имя файла, при этом справа появится кнопка "Удалить файл", на которую следует нажать.

   • Если загружен файл с некорректным расширением, система выдаст ошибку и не даст сохранить библиотеку. В таком случае нажмите Отмена или выберите другой файл с расширением .jar.

   • Для успешной загрузки файл не должен превышать 2Гб (в браузерах Internet Explorer и Mozilla Firefox). Браузеры Google Chrome и Opera допускают загрузку файлов более 4Гб.

4. В поле Версия в системе введите порядковый номер версии файла библиотеки.

5. В поле Описание доступен ввод краткого описания добавляемой библиотеки.

6. Нажмите кнопку Загрузить. Если требуется прервать загрузку – нажмите кнопку Отмена.

7. В результате действий в таблицу будет загружена новая библиотека. Загрузка больших файлов может занять более продолжительное время.

Примечания:

• Библиотеки определяются сразу после загрузки, и не требуют перезапуска системы.

• Столбец Тип отображает тип библиотеки, который автоматически определяется системой в зависимости от того, какой класс (несколько классов) содержит файл библиотеки. Если в таблице отображается библиотека без типа, то это может быть либо ранее загруженная библиотека, либо библиотека с неизвестными для системы классами. Тип библиотеки отображается только для чтения и не подлежит редактированию. Одна библиотека может иметь несколько типов:

  • Генератор значений атрибутов,

  • Алгоритм,

  • Функция,

  • Краулер,

  • Наблюдатель за задачами,

  • Генератор external ID,

  • Обработчик задач,

  • Наблюдатель за исполнением.

Управление перечнем библиотек

Обновление библиотек

Если в систему уже загружена библиотека с определенным именем и номером версии, то при повторной загрузке библиотеки (имя и номер версии у которой тоже совпадает), то содержимое библиотеки обновляется. Если у библиотеки отличается имя или версия, то библиотека загружается как новая.

Например, если загружается новая библиотека с функцией обработки данных, то в модели качества данных потребуется выбрать новую функцию (если при этом у функции в старой и в новой библиотеке было одинаковое имя, то в списке будет две функции с одинаковыми именами; если планируется частое обновление функций, то рекомендуется менять не только версию библиотеки, но и добавлять версию в имя функции). Аналогично и с другим содержимым библиотек.

Для сортировки библиотек используйте фильтры:

• По имени файла. Нажмите кнопку "Фильтр", расположенную в правой части столбца Имя файла. В пустом поле введите имя, по которому необходимо отфильтровать имеющиеся файлы. Нажмите Применить.

• По версии. Нажмите кнопку "Фильтр", расположенную в правой части столбца Версия, и включите флаг Только последние версии. В результате перечень файлов будет сгруппирован в более сокращенный, где останутся только последние добавленные версии файлов.

• По типу. Нажмите кнопку "Фильтр", расположенную в правой части столбца Тип, и выберите необходимые типы библиотек, по которым будет отфильтрована таблица имеющихся файлов. Нажмите Применить.

Для удаления библиотеки:

1. В крайнем левом столбце отметьте флагами необходимые для удаления библиотеки.

2. В верхнем правом углу экрана нажмите Удалить.

3. Подтвердите действие.

Для скачивания файла библиотеки:

1. Наведите курсор на строку с необходимой библиотекой.

2. Нажмите "Скачать" в правом конце строки. Кнопка отображается только при наведении курсора на строку.

3. В результате действия файл будет автоматически скачан на ваше устройство.

Список библиотек по умолчанию

С дистрибутивом поставляются следующие библиотеки:

• system-cleanse-functions.jar - стандартные функции обработки данных. Используются в правилах качества данных.

• postgresMatchingStorage-algorithms.jar - стандартный алгоритм поиска дубликатов данных по точному совпадению.

• data-cleanse-functions.jar - функции обработки данных для MDM: Проверка уникальности атрибутов, Получение данных из индекса, Получение данных из JDBC, Проверка консистентности ссылок, Проверка значения справочников. Используются в правилах качества данных.

• system-delegate-executors.jar - обработчик бизнес-процессов, используется для отправки уведомлений на почту.

• postgres-sql-crawler.jar - краулер для БД PostgreSQL.

Рисунок 1 - Раздел "Библиотеки" и кнопка "Добавить библиотеку"

Рисунок 2 - Окно загрузки новой библиотеки