Дополнительные действия с операциями

Запуск операций

Операция может запускаться вручную или автоматически по расписанию (при помощи Cron-выражений).

Чтобы запустить операцию вручную:

  1. Выберите необходимую операцию из списка в разделе "Операции".

  2. В результате на экране отобразится закладка "Параметры запуска" с параметрами выбранной операции.

  3. Нажмите кнопку "Запуск операции", расположенную в верхней части экрана.

  4. В результате действий:

    • Кнопка "Запуск операции" сменит вид на "Остановить операцию".

    • В закладке "Параметры запуска" над областью параметров операции будет отображен статус последнего запуска.

    • В закладке "Менеджер запусков" будет отображен последний запуск операции: дата и время начала и окончания, текущий статус запуска.

    • В списке операций индикатор выполнения текущей операции изменит свой цвет на синий (Рисунок 1). В случае успешного выполнения операции индикатор становится зеленого цвета, если операция завершится с ошибкой - красного.

Примечание

Повторное выполнение операции, вызываемое при нажатии кнопки "Перезапуск операции" в закладке "Менеджер запусков", в текущей реализации недоступно

Цветовые индикаторы выполнения операции

Рисунок 1 - Цветовые индикаторы выполнения операции

Для просмотра детализации выполнения:

  1. Перейдите в закладку "Менеджер запусков".

  2. Выберите необходимую запись о запуске операции.

  3. В результате действия в нижней части экрана раскроется секция "Шаги операций", содержащая данные по каждому шагу выполнения операции.

  4. Для ознакомления с ошибкой нажмите кнопку "Детали", расположенную в правой части соответствующей строки детализации шага (Рисунок 2).

Если в процессе выполнения операции возникнет ошибка, в текущем статусе операции будет отображено значение "Ошибка". Все успешные шаги операции будут иметь статус "Завершена", прерванные – статус "Остановлена".

Чтобы прервать выполнение, нажмите кнопку "Остановить операцию".

Просмотр деталей ошибки операции

Рисунок 2 - Просмотр деталей ошибки операции

Импорт и экспорт операций

Чтобы импортировать или экспортировать набор операций, которые были созданы ранее в системе, необходимо воспользоваться соответствующим мастером. Для этого нажмите кнопку image1 "Импорт/экспорт", расположенную в нижней части перечня созданных операций.

Шаг 1. Выберите требуемое действие. Экспорт выполняется в 2 шага. Импорт в 3 шага.

Шаг 1 мастера импорта/экспорта

Шаг 2. Экспорт. Для экспорта не предусмотрены дополнительные настройки. Подтвердите действие, после чего начнется экспорт, результаты которого можно скачать в Уведомлениях.

Шаг 2, экспорт

Шаг 2. Импорт. Выберите файл с набором операций (формат .json). Для продолжения нажмите "Следующий шаг".

Шаг 2, импорт

Шаг 3. Импорт. Подтвердите действие. Сообщение о результатах импорта отобразится в Уведомлениях.

Шаг 3, импорт

Маппинг данных

Соответствие загружаемых данных модели задается в файле преобразования данных формата JSON.

Основные объекты модели данных – справочники и реестры, каждый из которых должен быть представлен отдельно в файле преобразования данных. Объект содержит поля, описывающие основные параметры, необходимые для интеграции, а также массивы внутренних объектов (атрибутов и связей), составляющих структуру основного.

В свою очередь, объекты реестров должны быть объединены в массив реестров (entities), а справочники – в массив справочников (lookupEntities). Задание соответствия данных модели требуется для операции экспорта данных.

Содержание маппингов помещается в Описание структуры данных операции экспорта. Кроме того, в операции должна быть указана ссылка на базу данных (поле URL базы данных).

Маппинг экспорта данных

Элементом маппинга первого уровня может выступать:

  • entities – в случае описания реестров;

  • lookupEntities – в случае описания справочников.

Ниже приведена структура маппинга для описания реестров/справочников.

Таблица 1 – Структура маппинга операции экспорта данных

Элементы

Значения

Описание

1 уровня

2 уровня

3 уровня

4 уровня

entities

Описание реестров

name

Имя реестра/справочника

@type

DB

Тип источника данных

fields

Атрибуты реестра

name

Имя атрибута

@type

DB

Тип источника данных

column

Столбец базы данных для экспорта информации

updateMark

Метка обновления

update MarkType

TIMESTAMP

Тип метки обновления

@type

DB

Тип источника данных

column

Столбец БД для экспорта информации

source System Column

Столбец БД, в который будет выгружено название источника данных записи

multi Version

true, false

Применяется при обновлении записей с одинаковым External ID (если таковые существуют) [#]_

joins

SQL запрос для объединения данных

natural Key

Идентификатор записи во внешней системе

@type

DB

Тип источника данных

alias

Псевдоним для полученного ключа

column

Столбец базы данных для экспорта информации

type

Тип значения атрибута [#]_

dqErrors Section

Секция ошибок качества данных

@type

DB

Тип источника данных

table

Таблица базы данных

external IdField

Внешнее поле идентификатора

status Field

Поле статуса

ruleName Field

Поле имени правила

message Field

Поле сообщения

severity Field

Поле критичности правила

category Field

Поле категории

source System

Название источника данных

tables

Таблицы базы данных, в которые будут экспортированы данные

version Range

Описание периодов актуальности

normalize From

true, false

Признак нормализации даты начала периода [#]_

normalize To

true, false

Признак нормализации даты конца периода [#]_

valid From

Актуален от

name

Имя атрибута

@type

DB

Тип источника данных

column

Столбец базы данных для экспорта информации

type

"java.lang.String", "java.lang.Integer", "java.sql.Timestamp"

Тип атрибута

validTo

Актуален до

name

Имя атрибута

@type

DB

Тип источника данных

column

Столбец базы данных для экспорта информации

type

"java.lang.String", "java.lang.Integer", "java.sql.Timestamp"

Тип атрибута

isActive

Признак активности периода/всей записи данных/связей [#]_

Примечания:

  • multiVersion - Применяется в случае, если существуют дублирующиеся по External ID записи. Это может быть необходимо для дозагрузки накопленных/обновившихся данных или для обновления разных периодов актуальности в пределах одной записи.

    • False – при загрузке записи будут восприниматься как разные, даже если имеют одинаковый External ID.

    • True – несколько версий одной записи будут загружаться как обновления одной записи. Если нет явной цели объединения записей, то рекомендуется как более безопасный вариант использовать значение false. Если порядок вставки важен, то необходимо сортировать записи (связи). При этом, сортировка не влияет на процесс формирования эталонной записи. Параметр используется для записей и всех видов связей.

  • type (для naturalKey) - Тип значения атрибута указывается из пакета java.lang.

    • Время, дата и дата/время: java.lang.Date или java.lang.Timestamp.

    • Логический: java.lang.Boolean.

    • Строковый: java.lang.String.

    • Численный: java.lang.Double.

    • Целочисленный: java.lang.Integer или java.lang.Long.

    • Файл и текстовый файл не импортируются и не экспортируются.

  • normalizeFrom - Если установлено значение true, то часы, минуты и миллисекунды даты начала периода будут обнулены, т.е. приведены к виду: 00:00:00:000.

  • normalizeTo - Если установлено значение true, то часы, минуты и миллисекунды даты конца периода будут приведены к виду 23:59:59:999.

  • isActive - Необходима возможность привести значение такого поля к булеву значению. Пример: "isActive" : { "name" : "IS_ACTIVE", "@type" : "DB", "column" : "v.is_active", "type" : "java.lang.Boolean" }.