Custom краулер¶

Извлекаемые объекты¶

Custom подключение позволяет извлекать метаданные из любых систем, для которых не предусмотрено специализированное подключение, путем загрузки метаданных через универсальные плоские файлы.

Извлечение метаданных из плоских файлов производится на основе модели типов активов, которую необходимо предварительно создать в системе. Модель определяет структуру объектов, их свойств и связей, извлекаемых из источника.

При создании модели необходимо указывать атрибуты «name» и «description» для всех AssetType.

Плоские файлы позволяют структурировано описать метаданные объектов и связей в источнике в соответствии с созданной моделью. Файлы должны быть сформированы с учетом следующих требований:

Можно сформировать несколько файлов одного формата и загрузить их в одном архиве. При этом имена файлов должны соответствовать маскам: «links*.csv» и «objects*.csv», где * - любые символы, допустимые в именах файлов.
В первой строке файлы должны содержать имена колонок в строгой последовательности.

Структура файла objects*.csv¶

Файл наполняется метаданными об объектах из источника, таких как таблицы, поля, отчеты, показатели и проч. Файл должен содержать в первой строке шапку с обязательными полями и списком всех атрибутов, описывающих объекты:

objectid - Обязательный. Указывается уникальный идентификатор объекта. Идентификатор не должен содержать пробелы и специальные символы.
objectclass - Обязательный. Указывается AssetType из модели.
name - Обязательный. Указывается имя загружаемого объекта.
description - Обязательный. Описание загружаемого объекта.
AtrN - Необязательный. Указывается значение атрибута для загружаемого объекта. Если у объекта отсутствует AtrN, то значение не указывается.

Пример наполнения файла:

objectid,objectclass,name,description,attr1,attr2,type, attr3
t_1,Table,Продукты,"Таблица продуктов хранит информацию о продуктах",test1,test2,,
t_2,Table,Заказы,,test1,test2,,
c_11,Column,Тип продукта,тип продукта по справочнику продуктов,,,string,20
c_12,Column,Цена продукта,,,,integer,
c_21,Column,Номер заказа,,,,,
c_22,Column,Дата заказа,,,,,10

Структура файла links*.csv¶

Файл наполняется метаданными о связях объектов из источника. Связи указываются парами идентификаторов объектов и типом связи. Файл должен содержать в первой строке фиксированную шапку.

fromobjectid - Обязательный. Идентификатор объекта, от которого строится связь.
toobjectid - Обязательный. Идентификатор объекта, к которому строится связь.
association - Обязательный. Название типа связи в соответствии с моделью.

Пример наполнения файла:

fromobjectid,toobjectid,association
t_1,c_11,linkType1
t_1,c_12,linkType1
t_2,c_21,linkType1
t_2,c_22,linkType1
c_12,c_22,linkType2

Пример описания типов активов Таблица и Колонка в модели:

<assetTypes>
    <assetType name="Table" displayName="Таблица">
        <simpleAttribute name="name" displayName="Название" .../>
        <simpleAttribute name="description" displayName="Описание" .../>
        <simpleAttribute name="attr1" displayName="Абрибут1"/>
        <simpleAttribute name="attr2" displayName="Абрибут2"/>
    </assetType>
    <assetType name="Column" displayName="Колонка">
        <simpleAttribute name="name" displayName="Название" .../>
        <simpleAttribute name="description" displayName="Описание" .../>
        <simpleAttribute name="type" displayName="Тип" .../>
        <simpleAttribute name="attr3" displayName="Абрибут3" .../>
    </assetType>
    <relationTypes>
        <relationType name="linkType1" .../>
        <relationType name="linkType2" .../>
    </relationTypes>
    <relations>
        <relation relationType="linkType1" fromAssetType="Table" toAssetType="Column" .../>
        <relation relationType="linkType2" fromAssetType="Column" toAssetType="Column" .../>
    </relations>

Загрузка файлов и библиотек¶

Загрузка дополнительных файлов и библиотек не требуется.

Параметры подключения к источнику¶

Таблица 1 – Параметры Custom краулера

Название	Описание
Название	Уникальное название подключения к источнику, обязательный параметр.
Файлы	Архив zip с файлами метаданных. Загружаемые файлы должны иметь фиксированные имена (маски имен): - `links.csv`, где «» любые символы (или их отсутствие) допустимые в именах файлов. - `objects.csv`, где «» любые символы (или их отсутствие) допустимые в именах файлов. Обязательный параметр.
Top Level Asset Types	Имя верхнеуровнего типа актива модели. Указанный тип актива будет автоматически связан с Информационной системой. Для указания нескольких значений, используется запятая в качестве разделителя. Пример: Table