Краулер файловой системы Filesystem¶

Извлекаемые объекты¶

В результате сканирования из источника извлекаются метаданные следующих типов объектов:

Файл
Каталог

Для файлов следующих форматов извлекаются метаданные о структуре файла:

CSV (Разделители: запятая, точка с запятой, табуляция и вертикальная черта)
XLSX, XLS
JSON
XML

Настройка разрешений для учетной записи¶

Для учетной записи пользователя необходимо настроить разрешение на чтение сканируемых файлов и директорий.

При сканировании DFS директорий необходимы разрешения на целевом сервере, на котором хранятся сканируемые файлы и директории.

Имя целевого сервера (srv2) и путь указывается в свойствах на вкладке DFS в разделе "Список ссылок" (Referral list).

Рисунок 1 – Вкладка DFS

Загрузка файлов и библиотек¶

Загрузка дополнительных библиотек не требуется.

Параметры подключения к источнику¶

Таблица 1 – Параметры Filesystem краулера

Название	Описание
Название	Уникальное название подключения к источнику, обязательный параметр.
Источник	Тип сканируемого источника: - linux - сканирование директории на удаленном linux хосте - shared - сканирование общей директории на удаленном windows хосте
Описание	Описание создаваемого подключения.
Пользователь	Имя пользователя, от имени которого выполняется сканирование файлов на удаленном хосте, обязательный параметр. Пример для доменной учетной записи: Login@domain.ru
Пароль	Пароль пользователя, от имени которого выполняется сканирование файлов на удаленном хосте, обязательный параметр.
Имя хоста или IP-адрес	Имя хоста или IP-адрес, на котором размещаются* файлы, обязательный параметр. *При сканировании DFS директорий указывается имя хоста или IP адрес целевого сервера. См. раздел "Настройка разрешений для учетной записи"
Директория	Указывается путь* до сканируемой директории. Примеры: - Для shared: \Имя хоста или IP-адресmyFilestest_files - Для linux: /dir1/myFiles/test_files *При сканировании DFS директорий указывается путь на целевом сервере. См. раздел "Настройка разрешений для учетной записи"
Лимит размера файла	Лимит размера файла для парсинга структуры (в мегабайтах). Из файлов, превышающих указанный лимит, не будут извлечены колонки. Пример: - empty - лимит 10 МБ - 10 - лимит 10 МБ - 100 - лимит 100 МБ Установка слишком высокого лимита может повлиять на скорость сканирования источника.