Docker через загрузку образов из файла

Внимание

Дисклеймер.

Инструкция содержит примерный порядок действий по установке. Инструкция призвана описать логику действий по установке на простом абстрактном примере. В зависимости от инфраструктуры сервера (кластера) и его конфигурации вам могут понадобиться дополнительные или иные шаги.

Эта инструкция не должна восприниматься буквально, а использоваться в качестве основы действий.

При старте системы требуется проверить backend лог на предмет ошибок ERROR. В случае их наличия - обратитесь к разработчику.

Подготовка

Подготовка сервера:

Обновите существующий список пакетов Ubuntu. Команда:
```
sudo apt update
```
Установите Docker.
Установите Docker Compose (версия выше 1.29).
Настройте разрешения для Docker Compose. Пример команды:
```
sudo chmod +x /usr/local/bin/docker-compose
```

Дистрибутив:

Заранее получите и скачайте образы Docker с дистрибутивом продукта Юниверс.

Установка

Скачайте и распакуйте из архива дистрибутива архивы образов Docker: universe_dg_ee_backend_docker_v2.х.zip и universe_dg_ee_frontend_docker_v2.х.zip (2.х - актуальная версия системы). Внутри содержатся образы Docker с расширением .tar.
Распакуйте на сервер содержимое вышеуказанных архивов.
Запустите Docker.
Запустите загрузку образов (2.х - актуальная версия системы):

docker load < /opt/universe_dg_ee_backend_docker_v2.х.tar
docker load < /opt/universe_dg_ee_frontend_docker_v2.х.tar

Дождитесь завершения.
Создайте файлы конфигурации docker-compose.yml, .env. Содержимое файлов см. ниже.

Расположение файлов на сервере может быть любым. Файлы конфигурации должны читаться через Docker compose.

Укажите имя образа и тег для файла .env. Используйте один из способов:

Измените имя и тег в параметрах BACKEND_IMAGE и FRONTEND_IMAGE файла .env. Сохраните изменения.

Используйте команду. Пример (2.х - актуальная версия системы):

docker image tag repo.tddev.ru/universe-dg/backend:v2.х universe_dg_ee_backend:v2.х

Отредактируйте остальные требуемые параметры в файлах docker-compose.yml, .env. Сохраните изменения.
Перейдите в каталог с кодом. Пример команды:

cd universe-dg-deploy

Для запуска системы используйте команду:

docker-compose up -d

При запуске интерфейса система потребует лицензию. Установите вашу лицензию.

По умолчанию пользовательский интерфейс доступен для просмотра на localhost:8080.

Логин и пароль по умолчанию: admin/admin. После первого входа в систему необходимо сменить пароль.

Обязательные файлы конфигурации

Указанные ниже файлы должны быть созданы вручную.

где BACKEND_IMAGE и FRONTEND_IMAGE: имена Docker-образов и теги версии (тег указывается после двоеточия).

Пример файла docker-compose.yml

version: '2.4'
services:

  setup_json:
    image: docker.universe-data.ru/mirror/chatwork/jq:latest
    entrypoint: >
      sh -c "
      cd /opt/json_configs;
      [ ! -z ${OVERRIDE_JSON:-''} ] &&
      jq -s '.[0] * .[1]' customer.json ${OVERRIDE_JSON}
      > ../customer.json ||
      cp customer.json ../customer.json"
    volumes:
      - ./:/opt

  ui:
    image: ${FRONTEND_IMAGE}
    restart: always
    ports:
      - ${FRONTEND_PORT}:80
    networks:
      - dg_network
    links:
      - dg
    volumes:
      - ${FRONTEND_UE:-/dev/null}:/usr/share/nginx/html/CUX
      - ./customer.json:/usr/share/nginx/html/customer.json
    environment:
      BACKEND_ADDRESS: ${BACKEND_ADDRESS}
      CLIENT_MAX_BODY_SIZE: ${CLIENT_MAX_BODY_SIZE}
      PROXY_SEND_TIMEOUT: ${PROXY_SEND_TIMEOUT}
      PROXY_READ_TIMEOUT: ${PROXY_READ_TIMEOUT}
      SEND_TIMEOUT: ${SEND_TIMEOUT}
      TZ: ${TIMEZONE:-UTC}
    depends_on:
      setup_json:
        condition: service_completed_successfully

  dg:
    image: ${BACKEND_IMAGE}
    restart: always
    ports:
      - ${BACKEND_PORT}:8080
    networks:
      - dg_network
    volumes:
      - ${BACKEND_INTEGRATION:-./universe-integration}:/usr/local/tomcat/universe-integration
    environment:
      DISCOVERY_SERVICE_URL: ${DISCOVERY_SERVICE_URL}
      DISCOVERY_USERNAME: ${DISCOVERY_USERNAME}
      DISCOVERY_PASSWORD: ${DISCOVERY_PASSWORD}
      POSTGRES_ADDRESS: postgres-dg:5432
      POSTGRES_USERNAME: ${DG_POSTGRES_USER}
      POSTGRES_PASSWORD: ${DG_POSTGRES_PASSWORD}
      DATABASE_NAME: ${DG_POSTGRES_DB_NAME}
      SEARCH_CLUSTER_ADDRESS: opensearch-dg:9200
      SEARCH_CLUSTER_NAME: docker-cluster
      EMAIL_ENABLED: ${EMAIL_ENABLED}
      EMAIL_SERVER_HOST: ${EMAIL_SERVER_HOST}
      EMAIL_SERVER_PORT: ${EMAIL_SERVER_PORT}
      EMAIL_SSL_ENABLE: ${EMAIL_SSL_ENABLE}
      EMAIL_STARTTLS_ENABLE: ${EMAIL_STARTTLS_ENABLE}
      BULK_XLSX_IMPORT_BLOCK_SIZE: ${BULK_XLSX_IMPORT_BLOCK_SIZE}
      EMAIL_USERNAME: ${EMAIL_USERNAME}
      EMAIL_PASSWORD: ${EMAIL_PASSWORD}
      EMAIL_FRONTEND_URL: ${EMAIL_FRONTEND_URL}
      MODULES_BLACKLIST: ${MODULES_BLACKLIST}
      GUEST_MODE: ${GUEST_MODE}
      DG_DQ_ENSURE_MODEL: ${DG_DQ_ENSURE_MODEL}
      DG_DIS_UPDATE_PROFILES_PROJECTS_JOB_DISABLED: ${DG_DIS_UPDATE_PROFILES_PROJECTS_JOB_DISABLED}
      DG_DIS_UPDATE_PROFILES_PROJECTS_CRONEX: ${DG_DIS_UPDATE_PROFILES_PROJECTS_CRONEX}
      DG_DIS_UPDATE_PROFILES_URL: ${DG_DIS_UPDATE_PROFILES_URL}
      DG_DIS_UPDATE_PROJECTS_URL: ${DG_DIS_UPDATE_PROJECTS_URL}
      TZ: ${TIMEZONE:-UTC}
      SCANNER_RUNNER_LOCAL_PARALLELISM: ${SCANNER_RUNNER_LOCAL_PARALLELISM:-2}
      SCANNER_RUNNER_BUFFER_SIZE: ${SCANNER_RUNNER_BUFFER_SIZE:-128}
      DG_DATA_AUTO_CREATE_INFORMATION_SYSTEM_ASSET: ${DG_DATA_AUTO_CREATE_INFORMATION_SYSTEM_ASSET}
      SCANNER_READER_TEMPLATE_TIMEOUT: ${SCANNER_READER_TEMPLATE_TIMEOUT:-10000}
      MAX_ATTEMPTS_TO_GET_SCANNER_DATA: ${MAX_ATTEMPTS_TO_GET_SCANNER_DATA:-5}
      RUNNING_SCANNERS_LIMIT: ${RUNNING_SCANNERS_LIMIT:-10}
      LDAP_GENERAL_USERS_GROUP_NAME: ${LDAP_GENERAL_USERS_GROUP_NAME}
      ENABLE_DISCOVERY: ${ENABLE_DISCOVERY}
      DG_BUSINESS_ROLES_OWNERSHIP_ROLE_NAME: ${DG_BUSINESS_ROLES_OWNERSHIP_ROLE_NAME}
      REFRESH_IMMEDIATE: ${REFRESH_IMMEDIATE}
    mem_limit: 2000m
    mem_reservation: 1000m
    depends_on:
      postgres-dg:
        condition: service_healthy
      opensearch-dg:
        condition: service_healthy
      discovery:
        condition: service_healthy

  discovery:
    image: ${DISCOVERY_IMAGE}
    restart: always
    ports:
      - ${DISCOVERY_PORT}:8080
    networks:
      - dg_network
    volumes:
      - ${BACKEND_INTEGRATION:-./universe-integration}:/usr/local/tomcat/universe-integration
    environment:
      POSTGRES_ADDRESS: postgres-dg:5432
      POSTGRES_USERNAME: ${DG_POSTGRES_USER}
      POSTGRES_PASSWORD: ${DG_POSTGRES_PASSWORD}
      DATABASE_NAME: discovery
      SEARCH_CLUSTER_ADDRESS: opensearch-dg:9200
      SEARCH_CLUSTER_NAME: docker-cluster
      MODULES_BLACKLIST: ${MODULES_BLACKLIST}
      TZ: ${TIMEZONE:-UTC}
    mem_limit: 2000m
    mem_reservation: 1000m
    healthcheck:
      test: >
        bash -c "curl http://localhost:8080/universe-backend/api"
      interval: 10s
      timeout: 2s
      retries: 20
    depends_on:
      postgres-dg:
        condition: service_healthy
      opensearch-dg:
        condition: service_healthy

  postgres-dg:
    image: docker.universe-data.ru/mirror/postgres16.3-tsdb2.15.2
    restart: always
    environment:
      POSTGRES_DB: ${DG_POSTGRES_DB_NAME}
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: postgres
      DG_POSTGRES_USER: ${DG_POSTGRES_USER}
      DG_POSTGRES_PASSWORD: ${DG_POSTGRES_PASSWORD}
      DISCOVERY_POSTGRES_DB_NAME: discovery
      TZ: ${TIMEZONE:-UTC}
    ports:
      - ${POSTGRES_OUTER_PORT}:5432
    networks:
      - dg_network
    volumes:
      - ./init-db.sh:/docker-entrypoint-initdb.d/initdb.sh
      - dg-postgres-data:/var/lib/postgresql/data
    command: postgres -c max_prepared_transactions=200 -c max_connections=500 -c shared_preload_libraries='timescaledb'
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U postgres -d $DG_POSTGRES_DB_NAME"]
      interval: 10s
      timeout: 1s
      retries: 20

  opensearch-dg:
    image: docker.universe-data.ru/mirror/opensearchproject/opensearch:2.14.0
    restart: always
    environment:
      - "OPENSEARCH_JAVA_OPTS=-Xms1024m -Xmx1024m"
      - "discovery.type=single-node"
      - "DISABLE_SECURITY_PLUGIN=true"
      - "TZ=${TIMEZONE:-UTC}"
    volumes:
      - dg-opensearch-data:/usr/share/opensearch/data
      - ./hunspell:/usr/share/opensearch/config/hunspell/
      - ./synonyms.txt:/usr/share/opensearch/config/synonyms.txt
      - ./plugins:/usr/share/opensearch/plugins-for-install/
      - ./opensearch-install-plugins-and-start.sh:/usr/share/opensearch/opensearch-install-plugins-and-start.sh
    entrypoint: /usr/share/opensearch/opensearch-install-plugins-and-start.sh
    ulimits:
      memlock:
        soft: -1
        hard: -1
    ports:
      - ${OPENSEARCH_HTTP_OUTER_PORT}:9200
    networks:
      - dg_network
    healthcheck:
      test: >
        bash -c "curl http://localhost:9200 | grep '\"cluster_name\"'"
      interval: 10s
      timeout: 2s
      retries: 20

    networks:
      - dg_network
    healthcheck:
      test: >
        bash -c "curl http://localhost:2480/listDatabases"
      interval: 10s
      timeout: 2s
      retries: 20

volumes:
  dg-postgres-data:
    driver: local
  dg-opensearch-data:
    driver: local

networks:
  dg_network:
    driver: bridge