Airflow краулер

Извлекаемые объекты

В результате сканирования из источника airflow извлекаются метаданные следующих типов объектов:

• DAG

• Task

Настройка разрешений для учетной записи

Для учетной записи пользователя необходимо настроить следующие разрешения:

• DAGs.can_read

• Task Instances.can_read

Загрузка файлов и библиотек

Загрузка дополнительных файлов и библиотек не требуется.

Параметры подключения к источнику

Таблица 1 – Параметры Airflow краулера

Название	Описание
Название	Уникальное название подключения к источнику, обязательный параметр.
URL	URL веб сервиса airflow. Пример: http(s)://myairflowhost:8081
Пользователь	Имя пользователя airflow, от имени которого выполняется подключение.
Пароль	Пароль пользователя, от имени которого выполняется подключение.
DAG	Параметр используется для ограничения сканируемых Airflow DAG. Допустимые значения: - empty (пусто) - сканируются все DAGs - DAG(s) - сканируется только указанный DAG(s) - NOT DAG(s) – сканируются все DAG(s), кроме указанных Для перечисления нескольких DAG используется запятая в качестве разделителя.