Действия перед обновлением системы

Примечание

Для корректного получения результатов проверок качества потребуется выполнить специальные действия перед обновлением системы до версии 2.4 и выше, представленные в текущей статье

Действия перед обновлением системы для проверки качества данных

Обновление с помощью Docker

Перед обновлением образа Docker необходимо сделать бэкап и восстановление PostgreSQL.

С помощью bash:

  1. Выполните следующую последовательность команд со старым запущенным Docker-образом PostgreSQL:

    docker exec -it POSTGRES_CONTAINER_ID bash
su - postgres
pg_dump --file=dump.backup --username=postgres --role "postgres" --format=c --blobs --section=pre-data --section=data --section=post-data --encoding "UTF8" "postgres"
exit
exit
docker cp POSTGRES_CONTAINER_ID:/var/lib/postgresql/dump.backup ./dump.backup

  2. Запустите обновленный докер-образ PostgreSQL (timescale/timescaledb).

  3. Выполните следующую последовательность команд:

    docker cp ./dump.backup POSTGRES_CONTAINER_ID:/var/lib/postgresql/dump.backup
docker exec -it POSTGRES_CONTAINER_ID bash
su - postgres
pg_restore --username "postgres" --role "postgres" --dbname "postgres" --section=pre-data --section=data --section=post-data --clean my_dump.backup
exit
exit

  4. Перезапустите докер-контейнер и выполните операцию переиндексации.

С помощью PgAdmin:

  1. Выполните резервное копирование базы данных PostgreSQL со старого образа Docker.

  2. Запустите обновленный Docker-образ PostgreSQL (timescale/timescaledb).

  3. Затем выполните восстановление из полученного бэкапа.

  4. Запустите Docker с backend и выполните операцию переиндексации.

Обновление без использования Docker

Перед обновлением системы Юниверс DG без использования Docker необходимо установить необходимые файлы расширения timescaledb.

  1. Выполните следующий SQL запрос:

    SELECT * FROM pg_available_extensions where name = 'timescaledb'

    • В случае если расширение недоступно для установки, установите TimescaleDB вручную с официального сайта.

  2. После установки убедитесь, что расширение timescaledb содержится в списке shared_preload_libraries, используя SQL запрос:

    show shared_preload_libraries

    • Если расширение отсутствует в списке - откорректируйте файл postgresql.conf. Изменение конфигурации PostgreSQL потребует перезапуска базы данных.

Системные параметры проверок

Параметры проверки качества доступны для редактирования в разделе "Конфигурационные параметры системы" в секции "Настройки проверок DQ" (Рисунок 1).

  • Обновление модели проверок DQ после старта системы (com.universe.dg.dq.checks.ensure.model) - флаг, при включении которого после запуска системы производится проверка на необходимость обновления DQ проверок, модели DG и перечислений в режиме MERGE. По умолчанию выключен и недоступен для редактирования через интерфейс.

  • Граница высокого качества (com.universe.dg.dq.checks.score.high.quality) - принимает целочисленные значения от 1 до 100 (включительно). По умолчанию = 90.

    • Если результат проверки качества данных имеет значение больше значения параметра, то данному качеству присваивается критичность "High".

  • Граница низкого качества (com.universe.dg.dq.checks.score.low.quality) - принимает целочисленные значения от 0 до 99 (включительно). По умолчанию = 10.

    • Если результат проверки качества данных имеет значение меньше значения параметра, то данному качеству присваивается критичность "Low".

Примечания:

Выбор границ качества определяется индивидуально для каждой проверки следующим образом:

  • Если у актива проверки качества заполнены оба параметра: "Граница высокого качества" и "Граница низкого качества", а также значение параметра "Граница высокого качества" строго больше, чем значение значение параметра "Граница низкого качества", то границами качества результатов проверки выбираются введенные значения параметров;

  • Если оба параметра границ качества не заполнены или заполнены невалидными значениями, а также значение параметра "Граница высокого качества" строго больше, чем значение параметра "Граница низкого качества", то границами качества результатов проверки выбираются введенные значения параметров;

  • Если значение параметра "Граница высокого качества" больше, чем значение параметра "Граница низкого качества", то границами качества результатов проверки выбираются значения параметров по умолчанию (90 и 10).

Принадлежность к определенному качеству результата проверки определяется следующим образом:

  • Высокое качество: результат принимает значение в промежутке от "Границы высокого качества" до 100 включительно;

  • Среднее качество: результат принимает значение в промежутке от "Границы низкого качества" до "Границы высокого качества", исключая значения границ;

  • Низкое качество: результат принимает значение в промежутке от 0 до "Границы низкого качества" включительно.

Системные параметры проверки качества

Рисунок 1 – Системные параметры проверки качества