Краулер файловой системы Filesystem

Извлекаемые объекты

В результате сканирования из источника извлекаются метаданные следующих типов объектов:

  • Файл

  • Каталог

Для файлов следующих форматов извлекаются метаданные о структуре файла:

  • CSV (Разделители: запятая, точка с запятой, табуляция и вертикальная черта)

  • XLSX, XLS

  • JSON

  • XML

Настройка разрешений для учетной записи

Для учетной записи пользователя необходимо настроить разрешение на чтение сканируемых файлов и директорий.

При сканировании DFS-директорий (директорий распределенных файловых систем) необходимы разрешения на целевом сервере, на котором хранятся сканируемые файлы и директории.

Имя целевого сервера (srv2) и путь указывается в свойствах на вкладке DFS в разделе "Список ссылок" (Referral list).

Вкладка DFS

Рисунок 1 – Вкладка DFS

Загрузка файлов и библиотек

Загрузка дополнительных библиотек не требуется.

Параметры подключения к источнику

Таблица 1 – Параметры Filesystem краулера

Параметр

Значение

SSH имя пользователя

Имя учетной записи, под которой будет происходить сканирование

SSH пароль

Пароль учетной записи

SSH хост

Имя или ip адрес хоста

SSH порт

Порт подключения к хосту

Начальная директория сканирования

Полный путь до папки с использованием символа "/"

Тип операционной системы

ОС источника (в текущей реализации доступны Linux и Windows)

Имя ресурса для создания external ID

На основе значения данного поля формируется префикс external_id (формат: %s://fileSystem/)

Особенности параметра "Начальная директория сканирования"

Для обозначения диска на Windows используется /С:/.

В файловой системе Windows есть множество системных файлов, доступ к которым есть только у system. Если при сканировании краулеру попадется такой файл, он упадет с ошибкой "Do not have permission to open file or file do not exist".