Журнал технических изменений

Standard Edition

Версия 6.9

История консолидации записей

  • Изменения для хранения структуры дерева история консолидации:

    • В таблицу org_unidata_mdm_data.transitions добавлены столбцы parent (bigint) и children (bigint[]) для transition, участвующих в дереве истории консолидации.

  • Изменен формат transition с типом RECORD_MERGE (класс RecordMergeTransitionData):

    • Вместо списка duplicateEtalonIds сохраняется список всех эталонов, участвующих в мерже, с displayName и списком origins в эталоне (набор пар source system + external id);

    • Для событий консолидации до обновления у узлов не будут указаны displayName и дочерние события консолидации, а только записи, которые были объединены (тоже без displayName, а также без списка origins).

  • Добавлены запросы для просмотра дерева истории консолидации (проверяется право "История консолидации"):

    • Загрузка вниз - GET /v2/data/merge/history/tree/{etalonId}?depth=1&rootId=1;

    • Загрузка вверх - GET /v2/data/merge/history/tree-upward/{etalonId}?height=1&nodeId=1. Подгружаются родители на height уровней вверх, у родителей подгружаются прямые потомки (на один уровень вниз).

  • Добавлен запрос POST /v2/data/merge/history/record-preview для просмотра записи из набора ориджинов:

    • Указываются entity name и список пар source system + external id;

    • Опционально можно указать timeline date (дата на таймлайне актуальности) и last update date (дата на таймлайне обновлений записи).

Нечеткое сопоставление дубликатов

В хранилище PostgreSQL добавлен алгоритм нечеткого сопоставления org.unidata.mdm.matching.storage.postgres.service.impl.algorithm.InexactAlgorithm. Подробнее см. описание работы алгоритма Неточное соответствие. Не предоставляет непосредственного доступа. Используется org.unidata.mdm.matching.core.service.MatchingService.

Изменения в JoinableInputFragmentCollector

Изменения в интерфейсе JoinableInputFragmentCollector:

  • Метод fragment(JoinableInputFragment) переименован в joinFragment(JoinableInputFragment).

  • Вызов fragment(JoinableInputFragment) вызовет метод fragment(InputFragment) из интерфейса InputFragmentCollector, от которого наследуется JoinableInputFragmentCollector, поэтому ошибок компиляции не будет, но возможно изменение поведения, если для использованного инстанса JoinableInputFragment метод isJoined() возвращает true.

Новые параметры в backend.properties

  • В Workflow теперь можно включить Job Executor для работы таймеров, Multi-instance (элементы BPMN) и т.п. в бизнес-процессах.

  • Осуществляется через настройку com.unidata.mdm.workflow.core.job.executor.activate (доступные значения: false/true, по умолчанию false). При запуске через Docker передать настройку можно через переменную WORKFLOW_JOB_EXECUTOR_ACTIVATE.

Подписка на уведомления

Для уведомлений, приходящих с backend, был реализован механизм подписок по типу уведомлений. Теперь помимо запроса количества уведомлений BackendNotificationsPoller запрашивает список уведомлений, сгенерированных с момента прошлого запроса. В связи с этим интервал запросов уменьшен с 60 до 30 секунд.

Подписка на уведомлений реализуется методом BackendNotificationsSubscribes.subscribe.

Параметры:

  • type - тип уведомления для подписки;

  • handler - функция, выполняющаяся в случае, если нужный тип уведомления поступил с backend.

Типы уведомлений перечислены в enum NotificationModelType. На описанной выше логике реализуется модальное окно NeedReloadModal.tsx.

Поскольку теперь пользователь может изменить собственные права доступа без сброса сессии - во всех местах, где возможно обновление прав пользователя, был добавлен метод UserManager.updateUserData, подтягивающий новые права и обновляющий пути в RouterStore.

Также была изменена логика регистрации путей, приходящих из подключаемых модулей. Теперь все пути регистрируются в RouterStore вне зависимости от выполнения их резолверов. В самом RouterStore был добавлен registeredRoutesMap, хранящий все пути. Зарезолвленные пути также хранятся в routesMap.

Операция очистки паролей

Добавлена операция очистки паролей org.unidata.mdm.core.service.impl.job.CleanInactivePasswordsJob. Параметры операции описаны по ссылке.

Конфигурация операции находится в org.unidata.mdm.core.configuration.CoreConfiguration: cleanInactivePasswordsJobDetail и cleanInactivePasswordsJobTrigger.

  • В реализацию org.unidata.mdm.core.service.impl.SecurityServiceImpl.login(AuthenticationRequestContext ctx) включено разрешение на аутентификацию через сервис org.unidata.mdm.core.service.impl.security.AuthenticationAttemptAllowComponent.

  • В реализацию org.unidata.mdm.core.service.impl.SecurityServiceImpl добавлена зависимость org.unidata.mdm.core.service.AuthenticationAttemptCheckService.

Операция объединения данных

  • Добавлен модуль org.universe.mdm.job.duplicate

  • Обратная совместимость не нарушена

Операция сопоставления данных

  • Добавлен модуль org.universe.mdm.job.matching

  • Добавлены потоки выполнения для обновления таблиц: [BATCH_RECORD_UPSERT_START]${matching-table-bulk-pipeline} (общий массовый поток) и [RECORD_UPSERT_START]${matching-table-worker-pipeline} (поток, определяющий действия для каждой записи отдельно)

  • Обратная совместимость не нарушена

Обновление прав пользователя без выхода из системы

Обновление прав пользователя, его ролей и групп происходит без необходимости выходить из системы и заново авторизовываться.

При обновлении прав, ролей, групп пользвателя или профиля пользователю приходит уведомление о необходимости подтянуть обновления.

  • В классах org.unidata.mdm.core/src/main/java/org/unidata/mdm/core/context/security/RoleDeleteContext.java и org.unidata.mdm.core/src/main/java/org/unidata/mdm/core/context/security/RoleUpsertContext.java метод public boolean isLogout() объявлен deprecated, т.к. выход из системы не предполагается при обновлении роли.

  • В классе org.unidata.mdm.core/src/main/java/org/unidata/mdm/core/service/SecurityService.java удалены методы:

    • void updateInnerToken(String login) заменен на void updateToken(String login) - обновляет все токены пользователя с таким логином.

    • void updateInnerTokensWithRole(String roleName) заменен на void updateTokensWithRole(String roleName) - обновляет все токены пользователей с такой ролью.

Сервис проверки разрешения на аутентификацию

org.unidata.mdm.core.service.impl.security.AuthenticationAttemptAllowComponent является частью реализации org.unidata.mdm.core.service.impl.SecurityServiceImpl. Не является публичным.

Компонент org.unidata.mdm.core.service.impl.SecurityServiceImpl предназначен для проверки разрешения на аутентификацию.

Содержит дополнительные методы для обработки успешных и неуспешных попыток аутентификации.

Принимает для обработки org.unidata.mdm.core.context.AuthenticationRequestContext и использует данные из контекста о решении о допуске аутентификации и выполнения дополнтельных действий при успешной или неуспешной аутентификации.

Реализация объединяет и вызывает все зарегистрированные компоненты, которые реализуют конкретные проверки: по имени пользователя, по IP адресу и т.д.

Реализации проверок регистрируются в org.unidata.mdm.core.service.impl.security.AuthenticationAttemptCheckComponent.

Методы:

  • boolean isAllowedToLogin(AuthenticationRequestContext ctx) - разрешать (true) или не разрешать (false) аутентификацию.

  • boolean isNotAllowedToLogin(AuthenticationRequestContext ctx) - обратный методу выше. Имеет реализацию по умолчанию: вызывает и обращает результат isAllowedToLogin(AuthenticationRequestContext ctx).

  • void fail(AuthenticationRequestContext ctx, Throwable cause) - действие при неудачной аутентификации на основе контекста с указанием причины в виде Throwable.

  • void fail(AuthenticationRequestContext ctx) - повторяет метод выше без указания причины, имеет реализацию по умолчанию: вызывает и обращает результат fail``(AuthenticationRequestContext ctx, Throwable cause)`` с cause = null.

  • void success(AuthenticationRequestContext ctx) - действие при удачной аутентификации на основе контекста.

Ошибка о блокировке доступа

Ошибка: exception org.unidata.mdm.core.exception BlockedAuthenticationAttemptException extends PlatformBusinessException.

В текущей реализации используется для UI сообщения пользователю о преышении лимита неудачных попыток аутентификации.

Примечание

На этом этапе пользователь обычно еще не авторизован, и получить его локаль может быть невозможно. Поэтому в конструкторе необходимо явно указывать локаль, в противном случае будет использоваться локаль системы, указанная в параметрах системы.

Класс для конкретных проверок

Класс abstract class org.unidata.mdm.core.service.impl.security.AuthenticationAttemptCheckComponent implements AfterModuleStartup реализует конкретную проверку и должен быть зарегистрирован в реестре, чтобы участвовать при проверке разрешения на аутентификацию.

После старта модуля регистрируется в реестре AuthenticationAttemptAllowComponent автоматически, если включен (по методу isEnabled()).

Текущие реализации:

  • org.unidata.mdm.core.service.impl.security.UsernameAuthenticationAttemptCheckComponent

  • org.unidata.mdm.core.service.impl.security.ClientIpAuthenticationAttemptCheckComponent

Методы:

  • @Override public final void afterModuleStartup() - регистрирует компонент в реестре после старта модуля, если компонент включен.

  • protected final void register() - регистрирует компонент в реестре.

  • protected final void unregister() - снимает регистрацию в реестре.

  • protected boolean isEnabled() - включение компонента. По умолчанию возвращает true.

  • public String getInternalComponentName() - внутреннее имя компонента. По умолчанию возвращает полное имя класса. В текущей реализации используется только в методе getExternalComponentName по умолчанию.

  • public String getExternalComponentName() - возвращает внешнее имя компонента, например, более читаемое для лога. По умолчанию вызывает getInternalComponentName(). Например, "Username authentication attempt count check component" для UsernameAuthenticationAttemptCheckComponent.

  • protected Locale locale(@NonNull AuthenticationRequestContext ctx) - достает из контекста локаль, присылаемую пользователем при попытке аутентификации, чтобы использовать в локализации текстов. Например, ошибки о превышении лимита неудачных попыток аутентификации для IP адреса. Поскольку пользователь еще не авторизовался - TextUtils возвращает локаль системы иначе.

  • public abstract boolean isAllowedToLogin(@NonNull AuthenticationRequestContext ctx) - проверяет разрешение на аутентификацию согласно правилам компонента.

  • public abstract void fail(@NonNull AuthenticationRequestContext ctx, Throwable cause) throws BlockedAuthenticationAttemptException - действие при неудачной попытке аутентификации с указанием причины. Например, увеличить счетчик неудачных попыток. Может бросать BlockedAuthenticationAttemptException. Может не бросать исключение, если нет необходимости передавать наружу событие. Чтобы локализовать текст BlockedAuthenticationAttemptException можно использовать метод locale выше для выборки из контекста.

  • public final void fail(@NonNull AuthenticationRequestContext ctx) throws BlockedAuthenticationAttemptException - вызывает метод выше с cause = null.

  • public abstract void success(@NonNull AuthenticationRequestContext ctx) - действие при успешной аутентификации. Например, сбросить счетчики неудачных попыток.

  • protected void auditAuthenticationBlock(@NonNull AuthenticationRequestContext ctx, String details) - метод для отправки в аудит стандартного события блокировки аутентификации, берет из контекста IP адреса сервера и клиента и details - детальное сообщение для журнала. В заголовок COMPONENT (компонент, который заблокировал аутентификацию) будет выводиться название из getExternalComponentName().

Пример задачи: необходимо добавить список разрешенных для аутентификации IP адресов.

  1. Создайте реализацию AuthenticationAttemptCheckComponent.

  2. Реализуйте String getExternalComponentName() - например, пусть возвращает "IP address white list authentication attempt check component".

  3. Добавьте туда список разрешенных адресов.

  4. Реализуйте isEnabled(), если он не должен быть всегда включен.

    • Если включается/выключается в рантайме, то необходимо сделать метод, вызывающий register()/unregister().

  5. Реализуйте boolean isAllowedToLogin(@NonNull AuthenticationRequestContext ctx) - проверьте, находится ли CLIENT_IP из AuthenticationRequestContext в списке разрешенных адресов.

  6. Реализуйте fail(@NonNull AuthenticationRequestContext ctx, Throwable cause) - в этом случае можно ничего не делать или написать в лог.

  7. Реализуйте void success(@NonNull AuthenticationRequestContext ctx) - в этом случае можно ничего не делать.

Подсчет количества неудачных попыток

Класс class org.unidata.mdm.core.type.security.AuthenticationAttempt implements Serializable хранит информацию о количестве неудачных попыток и времени последней неудачной попытки.

Используется для компонентов проверки, которые реализуют счетчики попыток, основанные, например, на Map<Object, AuthenticationAttempt>.

Поля класса:

  • public static final AuthenticationAttempt EMPTY = new AuthenticationAttempt(0, LocalDateTime.MIN) - возвращать, если в истории нет неудачных попыток аутентификации, чтобы не возвращался null.

Поля объекта:

  • private final int tries - количество неудачных попыток.

  • private final LocalDateTime lastTime - время последней попытки.

Методы:

  • public AuthenticationAttempt(int tries, @NonNull LocalDateTime last) - конструктор.

  • public int getTries() - возвращает tries .

  • @NonNull public LocalDateTime getLastTime() - возвращает lastTime.

  • @Override public String toString() - возвращает "LoginAttempt{" + "tries=" + tries + ", lastTime=" + lastTime + '}'.

Автоконсолидация записей при назначении правил сопоставления

Frontend

Установка автоконсолидации реализована через custom properties назначений. Для работы с custom properties назначений был создана новая точка расширения (UE):

Создан новый модуль @universe-se/matching, в котором реализована точка расширения автоконсолидации (autoConsolidationMatchingProperty).

Backend

  • Добавлен новый сегмент RECORD_UPSERT_MATCHING_AUTO_MERGE типа Point в поток выполнения [RECORD_UPSERT_MATCHING_START].

  • В потоке выполнения [BATCH_RECORD_UPSERT_MATCHING_START] изменен порядок расположения сегментов. Сегмент типа Point - BATCH_RECORD_UPSERT_MATCHING_CONNECTOR должен располагаться после сегмента BATCH_RECORD_UPSERT_PERSISTENCE.

Удаление модулей REST API и рефакторинг механизма рендеринга

В версии 6.9 были удалены следующие модули (REST API V2 остается единственным действующим API для этих модулей):

  • org.unidata.mdm.rest.v1.search,

  • org.unidata.mdm.rest.v1.meta,

  • org.unidata.mdm.rest.v1.data,

  • org.unidata.mdm.rest.v1.draft,

  • org.unidata.mdm.rest.v1.dq.core,

  • org.unidata.mdm.rest.v1.dq.data,

  • org.unidata.mdm.rest.v1.bulk.core,

  • org.unidata.mdm.rest.v1.matching.core,

  • org.unidata.mdm.rest.v1.matching.data,

  • com.unidata.mdm.rest.v1.bulk.remove.records,

  • com.unidata.mdm.rest.v1.workflow.core,

  • org.unidata.mdm.rest.core.

Прежние механизмы рендеринга имели ряд недостатков, которые требовали рефакторинга с целью упростить структуру подсистемы рендеринга и сократить количество типов, прекратить использование простых перечислений для привязки действий, разрешить переопределение или замену действий ввода/вывода для выбранных фрагментов и многие другие.

После выполнения рефакторинга семейство типов состоит из следующих основных типов:

  • org.unidata.mdm.system.service.RenderingService - реестр для типов рендеринга и постпроцессор для аннотированных полей @RenderingRef, который обычно не используется напрямую.

  • org.unidata.mdm.system.type.rendering.RenderingExtension - новый тип, реализующий FunctionalExtension, группирующий несколько типов рендеринга.

  • org.unidata.mdm.system.type.rendering.RenderingInstance - представление RenderingExtension во время выполнения. Используется для вставки @RenderingRef.

  • org.unidata.mdm.system.type.rendering.RenderingType<X, Y> - дескриптор действий рендеринга.

  • org.unidata.mdm.system.type.rendering.RenderingFragment - дескриптор фрагмента, зарегистрированный в типе рендеринга.

  • org.unidata.mdm.system.context.RenderingContext - тип носителя содержимого фрагментов.

  • org.unidata.mdm.system.dto.RenderingResult - носитель результатов рендеринга.

Запуск конкретных правил качества на реестр

В pilelines.json добавлены потоки, необходимые для работы функции: reapply-records-bulk-pipeline (общий, массовый поток) и reapply-records-worker-pipeline (поток, определяющий, что происходит с каждой записью).

Если настроены иные фазы правил качества, поток reapply-records-worker-pipeline необходимо доработать.

Управление журналом аудита

Добавлены 3 новые фоновые операции. Настройки по умолчанию не требуются. Размещаются в модуле com.universe.mdm.core.

Последовательный запуск операций

Реализована возможность запуска новой операции после удачного/неуспешного завершения другой операции.

Запуск новой операции реализован с помощью TriggerExecutionListener.

В JobDefinitionStore имплементирован JobTriggersStore, реализующий настройку цепочек операций.

Добавлены API модули:

  • PUT /v2/core/jobs/triggers/{jobDefinitionId} - создание новой цепочки; сохранение идентификаторов связанных операций в таблице job_trigger.

  • GET /v2/core/jobs/triggers/{jobDefinitionId} - получение всех цепочек операций.

  • DELETE /v2/core/jobs/{jobDefinitionId}/triggers/{triggerId} - удаление цепочки операций.