OneDrive краулер¶
Извлекаемые объекты¶
В результате сканирования из источника извлекаются метаданные следующих типов объектов:
Файл
Директория
Для файлов следующих форматов извлекаются метаданные о структуре файла:
AVRO
Delimited
Text
JSON
Parquet
XML
Настройка разрешений для учетной записи¶
Для учетной записи пользователя необходимо настроить разрешение на чтение сканируемых файлов и директорий.
Загрузка файлов и библиотек¶
Загрузка дополнительных библиотек не требуется.
Параметры подключения к источнику¶
Таблица 1 – Параметры OneDrive краулера
Название |
Описание |
|---|---|
Название |
Уникальное название подключения к источнику, обязательный параметр. |
Описание |
Описание создаваемого подключения. |
OneDrive URL |
URL для доступа к OneDrive, обязательный параметр. Например: https://company-my.sharepoint.com/personal/mylogin |
Пользователь |
Имя пользователя, от имени которого выполняется подключение к OneDrive, обязательный параметр. |
Пароль |
Пароль пользователя, от имени которого выполняется подключение к OneDrive, обязательный параметр. |
Путь |
Путь до директории, в которой размещаются файлы, обязательный параметр. Например, в корне хранилища OneDrive находится папка «Test», для ее сканирования необходимо указать: Documents/Test |
Каталоги |
Указывается каталог или список каталогов в исходном каталоге, указанном в параметре Путь. Если оставить этот параметр пустым, все файлы из указанного исходного каталога будут импортированы. Для перечисления нескольких каталогов используется точка с запятой (;) в качестве разделителя. |
Рекурсивное сканирование |
Рекурсивно сканирует подкаталоги в исходном каталоге первого уровня. |
Чувствительность к регистру |
Указывает, что источник чувствителен к регистру. |
Объем памяти |
Определяет количество памяти, выделяемой для процесса сканирования. Допустимые значения: - Low – максимально до 5 тысяч файлов источника. - Medium – максимально до 10 тысяч файлов источника - High – максимально до 25 тысяч файлов источника |
Custom JVM options |
Позволяет задаваться дополнительные параметры сканирования. Например, уровень детализации логирования: -Dscannerloglevel=<DEBUG/INFO/ERROR> |