Библиотеки

Описание

Раздел "Библиотеки" предназначен для загрузки пользовательских библиотек в формате .jar, позволяющих расширить функциональность системы.

Библиотеки могут использоваться для:

• Добавления пользовательской функции обработки данных.

• Загрузки модели типов активов.

• Расширения бизнес-процессов: добавления новых сервисных задач и слушателей для различных событий.

• Добавления пользовательских сегментов потоков выполнения.

• Загрузки краулеров.

• Добавление прочего пользовательского кода.

Файлы библиотек могут содержать описания объектов одного или различных типов. Например, один jar файл библиотеки может включать в себя описание краулера БД, а также пользовательского обработчика событий бизнес-процесса.

Далее описание необходимого объекта будет добавляться в систему с помощью мастера библиотек соответствующего раздела: описание краулера БД PostgreSQL – в разделе "Краулеры" при добавлении нового краулера, описание обработчика – в разделе "Бизнес-процессы" при добавлении нового обработчика.

Библиотеки по умолчанию

С дистрибутивом поставляются следующие библиотеки:

• system-cleanse-functions.jar - стандартные функции обработки данных. Используются в правилах качества данных.

• crawlers-library.jar - единая библиотека краулеров. В составе файла библиотеки прописана версия краулера (version), а также минимальная версия продукта DG, в которой краулер запускается (productVersion).

• dis-crawlers.jar - набор краулеров для сбора информации из различных внешних систем через REST DIS.

• dg-data-cleanse-functions.jar - функции обработки данных для Data Governance: Проверка уникальности атрибутов, Получение данных из индекса, Получение данных из JDBC. Используются в правилах качества данных.

• system-delegate-executors.jar - обработчик бизнес-процессов, используется для отправки уведомлений на почту.

• system-dg-crawlers.jar - краулер для БД PostgreSQL.

Добавление новой библиотеки

Примечание

Проверка целостности сторонних библиотек является зоной ответственности администратора

Чтобы добавить библиотеку:

1. Нажмите кнопку "Добавить библиотеку", расположенную в правом верхнему углу раздела (Рисунок 1).

2. В результате действия откроется модальное окно загрузки новой библиотеки (Рисунок 2).

3. Чтобы загрузить библиотеку, нажмите Выберите файл. После чего выберите необходимый файл с расширением .jar.

   • Если загружен неверный файл - наведите курсор на имя файла, при этом справа появится кнопка "Удалить файл", на которую следует нажать.

   • Если загружен файл с некорректным расширением, система выдаст ошибку и не даст сохранить библиотеку. В таком случае нажмите Отмена или выберите другой файл с расширением .jar.

   • Для успешной загрузки файл не должен превышать 2Гб (в браузерах Internet Explorer и Mozilla Firefox). Браузеры Google Chrome и Opera допускают загрузку файлов более 4Гб.

4. В поле Версия в системе введите порядковый номер версии файла библиотеки.

5. В поле Описание доступен ввод краткого описания добавляемой библиотеки.

6. Нажмите кнопку Загрузить. Если требуется прервать загрузку – нажмите кнопку Отмена.

7. В результате действий в таблицу будет загружена новая библиотека. Загрузка больших файлов может занять более продолжительное время.

Примечания:

• Библиотеки определяются сразу после загрузки и не требуют перезапуска системы.

• Столбец Тип отображает тип библиотеки, который автоматически определяется системой в зависимости от того, какой класс (несколько классов) содержит файл библиотеки. Если в таблице отображается библиотека без типа, то это может быть либо ранее загруженная библиотека, либо библиотека с неизвестными для системы классами. Тип библиотеки отображается только для чтения и не подлежит редактированию. Одна библиотека может иметь несколько типов:

  • Генератор значений атрибутов,

  • Алгоритм,

  • Функция,

  • Краулер,

  • Наблюдатель за задачами,

  • Генератор external ID,

  • Обработчик задач,

  • Наблюдатель за исполнением,

  • Краулер метаданных.

Рисунок 1 - Раздел "Библиотеки" и кнопка "Добавить библиотеку"

Рисунок 2 - Окно загрузки новой библиотеки

Обновление библиотеки

Если краулеры обратно совместимы с моделью краулеров и параметрами, то обновление библиотеки происходит по стандартной процедуре.

Если обратная совместимость нарушена, то потребуется ручная миграция. Например, при изменениях:

• Параметров без обратной совместимости: изменение типа атрибута, проставление флага обязательности и.т.д.

• В модели без обратной совместимости (изменение/удаление существующих объектов модели: типов активов, атрибутов, связей).

Стандартное обновление библиотеки:

1. Загрузите библиотеку crawlers-library.jar с новой версией (например, 1.2.2). После загрузки в таблице будет две версии библиотеки (например, 1.2.1, 1.2.2).

2. В разделе "Краулеры" добавьте существующие краулеры из библиотеки. После добавления краулеры будут актуализированы новой версией библиотеки.

3. Удалите старую версию библиотеки (1.2.1), если все краулеры переведены на новую версию.

Обновление библиотеки после изменения параметров краулеров без обратной совместимости:

1. Выполните стандартное обновление библиотеки (см. шаги выше).

2. Экспортируйте "Источники данных" в разделе "Импорт/Экспорт" в xml-файл.

3. Вручную внесите исправления в xml-файле в части измененных параметров.

4. Импортируйте обратно xml-файл "Источники данных" в разделе "Импорт/Экспорт".

Обновления библиотеки после изменения модели краулеров без обратной совместимости:

1. Выполните очистку всех информационных систем, в которых используются краулеры.

2. Выполните стандартное обновление библиотеки (см. шаги выше).

3. Заново получите метаданные с использованием новой модели краулеров.

Управление перечнем библиотек

Для сортировки библиотек используйте фильтры:

• По имени файла. Нажмите кнопку "Фильтр", расположенную в правой части столбца Имя файла. В пустом поле введите имя, по которому необходимо отфильтровать имеющиеся файлы. Нажмите Применить.

• По версии. Нажмите кнопку "Фильтр", расположенную в правой части столбца Версия, и включите флаг Только последние версии. В результате перечень файлов будет сгруппирован в более сокращенный, где останутся только последние добавленные версии файлов.

• По типу. Нажмите кнопку "Фильтр", расположенную в правой части столбца Тип, и выберите необходимые типы библиотек, по которым будет отфильтрована таблица имеющихся файлов. Нажмите Применить.

Для удаления библиотеки:

1. В крайнем левом столбце отметьте флагами необходимые для удаления библиотеки.

2. В верхнем правом углу экрана нажмите "Удалить".

3. Подтвердите действие.

Для скачивания файла библиотеки:

1. Наведите курсор на строку с необходимой библиотекой.

2. Нажмите "Скачать" в правом конце строки. Кнопка отображается только при наведении курсора на строку.

3. В результате действия файл будет автоматически скачан на ваше устройство.