Amazon S3 краулер

Извлекаемые объекты

В результате сканирования из источника извлекаются метаданные следующих типов объектов:

• Файл

• Директория

Для файлов следующих форматов извлекаются метаданные о структуре файла:

• AVRO

• Delimited

• Text

• JSON

• Parquet

• XML

Настройка разрешений для учетной записи

Для учетной записи пользователя необходимо настроить разрешение на чтение сканируемых файлов и директорий.

Загрузка файлов и библиотек

Загрузка дополнительных библиотек не требуется.

Параметры подключения к источнику

Таблица 1 – Параметры Amazon S3 краулера

Название	Описание
Название	Уникальное название подключения к источнику, обязательный параметр.
Описание	Описание создаваемого подключения.
S3-совместимый источник	Параметр указывает является ли источник данных хранилищем, совместимым с Amazon S3, например Yandex Cloud или minio. Указывается false, если источник - Amazon S3, обязательный параметр.
Amazon URL	URL веб сервиса Amazon. Пример: BucketName.s3.amazonaws.com.
URL	URL веб сервиса S3-совместимого источника. Пример: https://storage.yandexcloud.net/.
Временные учетные данные	Указывает, что учетные данные для подключения к источнику являются временными.
ID ключа доступа	Идентификатор ключа доступа (Access Key ID) к Amazon Web Services или S3-совместимому источнику для подписи отправляемых запросов.
Секретный ключ доступа	Секретный ключ доступа (Secret Access Key) к Amazon Web Services или S3-совместимому источнику для подписи отправляемых запросов.
Временный токен	Временный токен сеанса для подключения к источнику данных Amazon S3.
Имя корзины	Имя корзины (Bucket name), в которой размещаются файлы.
Каталог	Каталог, из которого должны быть извлечены метаданные.
Фильтр каталогов	Указывается каталог или список каталогов в исходном каталоге, указанном в параметре Каталог. Если оставить этот параметр пустым, все файлы из указанного исходного каталога будут импортированы. Для перечисления нескольких каталогов используется точка с запятой (;) в качестве разделителя.
Рекурсивное сканирование	Рекурсивно сканирует подкаталоги в исходном каталоге первого уровня.
Объединять партиционированные файлы	Метаданные нескольких партиционированных файлов будут загружены как единый файл.
Чувствительность к регистру	Указывает, что источник чувствителен к регистру.
Объем памяти	Определяет количество памяти, выделяемой для процесса сканирования. Допустимые значения: - Low – максимально до 5 тысяч файлов источника. - Medium – максимально до 10 тысяч файлов источника - High – максимально до 25 тысяч файлов источника
Custom JVM options	Позволяет задаваться дополнительные параметры сканирования. Например, уровень детализации логирования: -Dscannerloglevel=<DEBUG/INFO/ERROR>