Маппинг данных¶
Соответствие загружаемых данных модели задается в файле преобразования данных формата JSON.
Основные объекты модели данных – справочники и реестры, каждый из которых должен быть представлен отдельно в файле преобразования данных. Объект содержит поля, описывающие основные параметры, необходимые для интеграции, а также массивы внутренних объектов (атрибутов и связей), составляющих структуру основного.
В свою очередь, объекты реестров должны быть объединены в массив реестров (entities), а справочники – в массив справочников (lookupEntities). Задание соответствия данных модели требуется для операции экспорта данных.
Содержание маппингов помещается в Описание структуры данных операции экспорта. Кроме того, в операции должна быть указана ссылка на базу данных (поле URL базы данных).
Маппинг экспорта данных¶
Элементом маппинга первого уровня может выступать:
entities – в случае описания реестров;
lookupEntities – в случае описания справочников.
Ниже приведена структура маппинга для описания реестров/справочников.
Таблица 1 – Структура маппинга операции экспорта данных
Элементы |
Значения |
Описание |
|||
|---|---|---|---|---|---|
1 уровня |
2 уровня |
3 уровня |
4 уровня |
||
entities |
Описание реестров |
||||
name |
Имя реестра/справочника |
||||
@type |
DB |
Тип источника данных |
|||
fields |
Атрибуты реестра |
||||
name |
Имя атрибута |
||||
@type |
DB |
Тип источника данных |
|||
column |
Столбец базы данных для экспорта информации |
||||
updateMark |
Метка обновления |
||||
update MarkType |
TIMESTAMP |
Тип метки обновления |
|||
@type |
DB |
Тип источника данных |
|||
column |
Столбец БД для экспорта информации |
||||
source System Column |
Столбец БД, в который будет выгружено название источника данных записи |
||||
multi Version |
true, false |
Применяется при обновлении записей с одинаковым External ID (если таковые существуют) 1 |
|||
joins |
SQL запрос для объединения данных |
||||
natural Key |
Идентификатор записи во внешней системе |
||||
@type |
DB |
Тип источника данных |
|||
alias |
Псевдоним для полученного ключа |
||||
column |
Столбец базы данных для экспорта информации |
||||
type |
Тип значения атрибута 2 |
||||
dqErrors Section |
Секция ошибок качества данных |
||||
@type |
DB |
Тип источника данных |
|||
table |
Таблица базы данных |
||||
external IdField |
Внешнее поле идентификатора |
||||
status Field |
Поле статуса |
||||
ruleName Field |
Поле имени правила |
||||
message Field |
Поле сообщения |
||||
severity Field |
Поле критичности правила |
||||
category Field |
Поле категории |
||||
source System |
Название источника данных |
||||
tables |
Таблицы базы данных, в которые будут экспортированы данные |
||||
version Range |
Описание периодов актуальности |
||||
normalize From |
true, false |
Признак нормализации даты начала периода 3 |
|||
normalize To |
true, false |
Признак нормализации даты конца периода 4 |
|||
valid From |
Актуален от |
||||
name |
Имя атрибута |
||||
@type |
DB |
Тип источника данных |
|||
column |
Столбец базы данных для экспорта информации |
||||
type |
"java.lang.String", "java.lang.Integer", "java.sql.Timestamp" |
Тип атрибута |
|||
validTo |
Актуален до |
||||
name |
Имя атрибута |
||||
@type |
DB |
Тип источника данных |
|||
column |
Столбец базы данных для экспорта информации |
||||
type |
"java.lang.String", "java.lang.Integer", "java.sql.Timestamp" |
Тип атрибута |
|||
isActive |
Признак активности периода/всей записи данных/связей 5 |
||||
Примечания:
- 1
multiVersion - Применяется в случае, если существуют дублирующиеся по External ID записи. Это может быть необходимо для дозагрузки накопленных/обновившихся данных или для обновления разных периодов актуальности в пределах одной записи.
False – при загрузке записи будут восприниматься как разные, даже если имеют одинаковый External ID.
True – несколько версий одной записи будут загружаться как обновления одной записи. Если нет явной цели объединения записей, то рекомендуется как более безопасный вариант использовать значение false. Если порядок вставки важен, то необходимо сортировать записи (связи). При этом, сортировка не влияет на процесс формирования эталонной записи. Параметр используется для записей и всех видов связей.
- 2
type (для naturalKey) - Тип значения атрибута указывается из пакета java.lang.
Время, дата и дата/время: java.lang.Date или java.lang.Timestamp.
Логический: java.lang.Boolean.
Строковый: java.lang.String.
Численный: java.lang.Double.
Целочисленный: java.lang.Integer или java.lang.Long.
Файл и текстовый файл не импортируются и не экспортируются.
- 3
normalizeFrom - Если установлено значение true, то часы, минуты и миллисекунды даты начала периода будут обнулены, т.е. приведены к виду: 00:00:00:000.
- 4
normalizeTo - Если установлено значение true, то часы, минуты и миллисекунды даты конца периода будут приведены к виду 23:59:59:999.
- 5
isActive - Необходима возможность привести значение такого поля к булеву значению. Пример: "isActive" : { "name" : "IS_ACTIVE", "@type" : "DB", "column" : "v.is_active", "type" : "java.lang.Boolean" }