Краулер файловой системы Filesystem
Извлекаемые объекты
В результате сканирования из источника извлекаются метаданные следующих типов объектов:
Файл
Каталог
Для файлов следующих форматов извлекаются метаданные о структуре файла:
CSV (Разделители: запятая, точка с запятой, табуляция и вертикальная черта)
XLSX, XLS
JSON
XML
Настройка разрешений для учетной записи
Для учетной записи пользователя необходимо настроить разрешение на чтение сканируемых файлов и директорий.
При сканировании DFS-директорий (директорий распределенных файловых систем) необходимы разрешения на целевом сервере, на котором хранятся сканируемые файлы и директории.
Имя целевого сервера (srv2) и путь указывается в свойствах на вкладке DFS в разделе "Список ссылок" (Referral list).

Рисунок 1 – Вкладка DFS
Загрузка файлов и библиотек
Загрузка дополнительных библиотек не требуется.
Параметры подключения к источнику
Таблица 1 – Параметры Filesystem краулера
Параметр |
Значение |
---|---|
SSH имя пользователя |
Имя учетной записи, под которой будет происходить сканирование |
SSH пароль |
Пароль учетной записи |
SSH хост |
Имя или ip адрес хоста |
SSH порт |
Порт подключения к хосту |
Начальная директория сканирования |
Полный путь до папки с использованием символа "/" |
Тип операционной системы |
ОС источника (в текущей реализации доступны Linux и Windows) |
Имя ресурса для создания external ID |
На основе значения данного поля формируется префикс external_id (формат: %s://fileSystem/) |
Особенности параметра "Начальная директория сканирования"
Для обозначения диска на Windows используется /С:/.
В файловой системе Windows есть множество системных файлов, доступ к которым есть только у system. Если при сканировании краулеру попадется такой файл, он упадет с ошибкой "Do not have permission to open file or file do not exist".