FormIT on Hadoop краулер¶
Извлекаемые объекты¶
В результате сканирования из источника извлекаются связи между различными источниками.
Настройка разрешений для сканирования¶
Для учетной записи пользователя необходимо настроить следующие разрешения:
Привилегии Администратора на сервисе Data Integration Service
Привилегии на чтение для коннекторов.
Загрузка файлов и библиотек¶
На сервере сканирования необходимо разместить библиотеки, соответствующие версии репозитория источника в директории /opt/rem_scanners/ScannerBinaries/. Библиотеки поставляются отдельно от дистрибутивов решения. Для размещения библиотек обратитесь к системным администраторам.
На сервере сканирования необходимо указать доменное имя сервера Formit on Hadoop в файл hosts.
Файл $INFA_HOME/services/shared/security/infa_truststore.jks с сервера Formit on Hadoop необходимо разместить в директории /opt/rem_scanners на сервере сканирования.
По умолчанию пароль для файла infa_truststore.jks:
pass2038@infaSSL. Пароль необходимо зашифровать на сервере Formit on Hadoop с помощью команды:$INFA_HOME/server/bin$ pmpasswd pass2038@infaSSL -e CRYPT_DATA
Зашифрованный пароль и путь к файлу infa_truststore.jks необходимо указать в конфигурационном файле сканера /opt/rest_server/bin/conf.env:
INFA_TRUSTSTORE=/opt/rem_scanners/infa_truststore.jk INFA_TRUSTSTORE_PASSWORD=cQ5yHQCo/PJk98fp+eSRPsEzfUWluN9bopAiawzrKmQ=
После выполнения всех действий требуется перезапустить сервис сканирования.
Параметры подключения к источнику¶
Таблица 1 – Параметры FormIT on Hadoop краулера
Название |
Описание |
|---|---|
Название |
Уникальное название подключения к источнику, обязательный параметр. |
Описание |
Описание создаваемого подключения. |
Версия FormIT |
Версия платформы FormIT on Hadoop. Обязательный параметр |
Домен |
Имя домена платформы FormIT on Hadoop. Обязательный параметр |
Сервис DIS |
Имя сервиса Data Integration Service платформы FormIT on Hadoop на котором опубликованы сканируемые приложения. Обязательный параметр |
Пользователь |
Имя пользователя FormIT on Hadoop, от имени которого выполняется подключение, обязательный параметр. |
Пароль |
Пароль пользователя FormIT on Hadoop, от имени которого выполняется подключение, обязательный параметр. |
Домен учетной записи |
Название LDAP домена учетной записи пользователя, от имени которого выполняется подключение. Указывается "Native", если используется локальная учетная запись, обязательный параметр. |
Имя хоста или IP-адрес |
Имя хоста или IP-адрес, на котором работает главная нода FormIT on Hadoop, обязательный параметр. |
Порт |
Номер порта, на котором работает главная нода FormIT. По умолчанию порт 6005. Обязательный параметр. |
OS profile пользователя |
Название OS profile пользователя, если он настроен в платформе FormIT. |
Application |
Параметр используется для определения списка сканируемых Application. Допустимые значения: - empty (пусто) - сканируются все Applications - Application(s)* - сканируется только указанные Applications Для перечисления нескольких значений используется запятая в качестве разделителя. *Не указывайте Applications которые используют файлы параметров и Applications которые используют Parameter Sets одновременно, используйте разные подключения. |
Parameter set |
Заполняется только для версии платформы Formit 10.2 или более ранних. Параметр используется для определения Parameter Set для Application. Допустимые значения: - empty - Parameter set(s) - используются перечисленные имена parameter set(s) Для перечисления нескольких parameter sets используется запятая в качестве разделителя. |
Параметры |
Заполняется только для версии платформы Formit 10.2.1 или более поздних. Позволяет указать тип параметров, используемых в Application. Допустимые значения: - paramFile - cканирование Application будет производиться с указанным файлом параметров - paramSet - cканирование Application будет производиться с указанным Parameter Set - none - cканирование Application будет производиться без Parameter file и без Parameter Set . |
Parameter sets |
Заполняется только для версии платформы Formit 10.2.1 или более поздних. Заполняется только при Параметры = paramSet Параметр используется для определения Parameter Set для Application. Допустимые значения: - empty - Parameter set(s) - используются перечисленные имена parameter set(s) Для перечисления нескольких parameter sets используется запятая в качестве разделителя. |
Файл Parameter sets |
Заполняется только для версии платформы Formit 10.2.1 или более поздних. Заполняется только при Параметры = paramSet Параметр используется для определения Parameter Set для Application в .config файле. Используя текстовый редактор, создайте файл с parameter set, назовите файл ApplicationParameterSet.config, и заархивируйте файл в .zip архив. Для перечисления нескольких parameter sets в файле используется запятая в качестве разделителя. |
Parameter file |
Заполняется только для версии платформы Formit 10.2.1 или более поздних. Заполняется только при Параметры = paramFile Параметр используется для определения Parameter File. Файлы параметров в формате xml поместите в архив1 с раcширением .zip. Архив 1 поместите в папку с именем «arch». Заархивируйте папку arch в архив 2 с раcширением .zip. Используйте архив 2 в настройках подключения. |
Объем памяти |
Определяет количество памяти, выделяемой для процесса сканирования. Допустимые значения: - Low – максимально до 1 тысячи маппингов источника. - Medium – максимально до 10 тысяч маппингов источника - High – максимально до 25 тысяч маппингов источника |
Custom JVM options |
Позволяет задаваться дополнительные параметры сканирования. Например, уровень детализации логирования: -Dscannerloglevel=<DEBUG/INFO/ERROR> |