Clickhouse краулер

Извлекаемые объекты

В результате сканирования из источника clickhouse извлекаются метаданные следующих типов объектов:

• База данных

• Схема

• Функция

• Таблица

• Представление

• Колонка

Настройка разрешений для учетной записи

Для учетной записи пользователя необходимо настроить следующие разрешения:

• select on system.clusters

• select on system.databases

• select on system.functions

• select on system.tables

• select on system.columns

• select on system.data_skipping_indices

Загрузка файлов и библиотек

Загрузка дополнительных файлов и библиотек не требуется.

Параметры подключения к источнику

Таблица 1 – Параметры Clickhouse краулера

Название	Описание
Название	Уникальное название подключения к источнику, обязательный параметр.
Имя хоста или IP-адрес	Имя хоста или IP-адрес, на котором работает сервер базы данных, обязательный параметр.
Порт	Номер порта ClickHouse Native TCP port. Обязательный параметр. Значение по умолчанию 9000
Пользователь	Имя пользователя базы данных, от имени которого выполняется подключение, обязательный параметр.
Пароль	Пароль пользователя базы данных, от имени которого выполняется подключение, обязательный параметр.
Схема	Параметр используется для ограничения импортируемых схем базы данных. Доступно использование sql-подобных условий, масок и операторов AND, OR, NOT. Примеры: <schema>= ’test’ - сканирование схемы с именем test <schema> != ’test’ – сканирование всех схем, кроме схемы test <schema> in (‘test’,’test2’) - сканирование схем с именами test и test2 <schema> not in (‘test’,’test2’) - сканирование всех схем кроме test и test2 <schema> like ‘te%’ – сканирование всех схем с именем, начинающимся с “te” (<schema> like ‘te%’ OR <schema> like ‘ne%’) - сканирование всех схем с именем, начинающимся с “te” или “ne” Важно: <schema> - константа, техническое слово, используемое для составления условия фильтра. () – используйте круглые скобки для объединения условий с оператором OR. Таблицы и представления – фильтр схем применяется одновременно с фильтрами на таблицы и представления по условию AND.
Таблицы и представления	Параметр используется для ограничения импортируемых объектов базы данных. Доступно использование sql-подобных условий, масок и операторов AND, OR, NOT. Примеры: <table> = ’test’ - сканирование таблицы с именем test <table> != ’test’ – сканирование всех таблиц, кроме таблицы test <table> in (‘test’,’test2’) - сканирование таблиц с именами test и test2 <table> not in (‘test’,’test2’) - сканирование всех таблиц кроме test и test2 <table> like ‘te%’ – сканирование всех таблиц с именем, начинающимся с “te” (<table> like ‘te%’ OR <table> like ‘ne%’) - сканирование всех таблиц с именем, начинающимся с “te” или “ne” Важно: <table> - константа, техническое слово, используемое для составления условия фильтра. () – используйте круглые скобки для объединения условий с оператором OR. Схема - фильтр схем применяется одновременно с фильтром на таблицы и представления по условию AND.
Загружать системные объекты	Указывает, следует ли импортировать системные объекты. 'False': системные объекты не импортируются (по умолчанию) 'True': системные объекты импортируются
SSL	Указывает, следует ли использовать SSL подключение. - 'False': подключение non-SSL - 'True': подключение SSL