Домашняя лаборатория
Связка Nomad + Packer + Docker + Vault + Consul + Traefik/LE
Хотите потестировать приложение, или опробовать в работе инструмент? В этой статье опишу то, как организовал тестовый стенд на Linux. Стенд поддерживает работу с доменами, умеет генерировать TLS сертификаты, легко масштабируется, окружение строится по принципе IaaC, не требует много ресурсов, легко разворачивается скриптами или SCM, есть UI, не зависит от внешних сервисов.
Я являюсь системным инженером и наиболее эффективным языком для инструкций считаю "птичий" технический язык. Содержимое представляет собой последовательность команд с вкраплением комментариев, по которым коллега может однозначно понять этапы построения окружения без лишних слов. А дополнительную информацию о перечисленных инструментах можно легко получить уже из документации и после чего внести правки для тестового стенда. Кроме примеров кода и команд опишу те плюсы и те минусы, которые свойственны этой архитектуре, как бы громко это не звучало.
Конфигурация обыденная и не представляет ценности или сложности с точки зрения моего опыта, но может пригодится начинающим инженерам или даже опытным программистам, которые пишут код для сервисов или используют сервисную архитектуру для решения задач, но не погружаются в технические детали.
Используемые инструменты
Nomad — https://www.nomadproject.io
Consul — https://www.consul.io
Vault — https://www.vaultproject.io
Traefik — https://traefik.io
Packer — https://www.packer.io
Docker — http://docker.io
Плюсы
- Набор инструментов с легкостью умещается на небольшой виртуальной машине
- Инженер использует на практике современные подходы по релизу и выкладке программного обеспечения
- В случае необходимости стенд легко масштабируется в боевое окружение. Отлично подходит для MVP проекта
Минусы
Краткое описание
Код приложения собирается с помощью Packer в образ и размещается на локальном сервере (аналог Docker Registry). На данном этапе можно потренироваться с версионированием и работой в различных окружениях.
Приложение запускается в виде контейнера Docker и вместе с тем появляется возможность оркестрации, т. е. множественных запусков и стратегий обновления контейнеров с помощью Nomad. Секретные данные передаются в контейнер шаблонами go-template или через переменные окружения из Vault.
В случае Web-приложения или приложения с административным интерфейсом в Traefik создаются точки входа HTTPS с сертификатами TLS от Let'sEncrypt.
Как будет проходить настройка
Я буду приводить примеры установки и настройки сервера для Ubuntu, но различия с другими дистрибутивами будут только на этапе установки пакетов.
Виртуальная машина
Для тестового стенда подойдет виртуальная машина с 2 ядрами, 4Г памяти и диском объемом 20Г. Можете оценить объем используемой памяти на примере моего стенда:
3236 root traefik traefik N/A 1.37% 1.37% 1.37% 3488 root bin/console bot run N/A 1.16% 1.28% 1.42% 3416 root bin/console bot run N/A 1.17% 1.28% 1.42% 858 root /usr/bin/containerd N/A 1.49% 1.49% 1.52% 3300 nobody /bin/prometheus --config.fi N/A 1.56% 1.56% 1.56% 986 root /usr/bin/dockerd -H unix:// N/A 2.13% 2.13% 2.21% 928 consul /usr/bin/consul agent -conf N/A 2.35% 2.35% 2.35% 3840 root /usr/bin/nomad agent -confi N/A 1.57% 1.67% 2.48% 934 vault /usr/bin/vault server -conf N/A 5.45% 5.45% 5.45% ------------------------------------------------------------------------------- 88 12 N/A 25.49% 28.31% 45.90%
Это полностью запущенный стенд состоящий из 5 сервисов на 4Г памяти (45% занято). Дороже всего обходится секретность.
Установка инструментов и репозиториев
https://developer.hashicorp.com/nomad/downloads
https://docs.docker.com/engine/install/ubuntu/
mkdir -p /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | gpg --dearmor -o /etc/apt/keyrings/docker.gpg curl -fsSL https://apt.releases.hashicorp.com/gpg | gpg --dearmor -o /usr/share/keyrings/hashicorp-archive-keyring.gpg echo "deb [signed-by=/usr/share/keyrings/hashicorp-archive-keyring.gpg] https://apt.releases.hashicorp.com \ $(lsb_release -cs) main" > /etc/apt/sources.list.d/hashicorp.list echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable" > /etc/apt/sources.list.d/docker.list
Устанавливаем пакеты
apt update apt install nomad vault consul docker-ce docker-compose packer jq
Настройка Docker + Docker Registry
systemctl start docker
Сейчас нам нужно запустить локальное хранилище образов, которое будет работать идентично публичному облаку или внутреннему в компании.
Создаем файл с описанием сервиса docker-compose.yml
cat >docker-compose.yml <<EndOfText version: "3.9" services: registry: container_name: registry image: registry:2 ports: - 5000:5000 volumes: - ./config.yml:/etc/docker/registry/config.yml - /var/lib/registry:/var/lib/registry EndOfText
И файл с конфигурацией сервиса config.yml
cat >config.yml <<EndOfText version: 0.1 log: fields: service: registry storage: cache: blobdescriptor: inmemory filesystem: rootdirectory: /var/lib/registry http: addr: :5000 headers: X-Content-Type-Options: [nosniff] health: storagedriver: enabled: true interval: 10s threshold: 3 EndOfText
После запуска наши образы будут храниться в папке /var/lib/registry
docker-compose up -d
Настройка Consul
CONSUL_KEY=$(consul keygen)
Создаем файл /etc/consul.d/lab_consul.hcl
cat >/etc/consul.d/lab_consul.hcl <<EndOfText client_addr = "0.0.0.0" acl { enabled = true } ui_config { enabled = true } bind_addr = "127.0.0.1" bootstrap_expect = 1 server = true encrypt = "$CONSUL_KEY" EndOfText
systemctl restart consul; sleep 10 consul acl bootstrap --format json > ./acl-token-bootstrap-consul.json export CONSUL_HTTP_TOKEN=`cat ./acl-token-bootstrap-consul.json | jq -r ".SecretID"`
# consul members Node Address Status Type Build Protocol DC Partition Segment test 127.0.0.1:8301 alive server 1.14.0 2 dc1 default <all>
echo "http://$(curl -s ifconfig.me):8500"
Настройка Vault
Создаем файл /etc/vault.d/vault.hcl
cat >/etc/vault.d/vault.hcl <<EndOfText ui = true storage "file" { path = "/opt/vault/data" } listener "tcp" { address = "0.0.0.0:8200" tls_disable = "true" } api_addr = "http://127.0.0.1:8200" cluster_addr = "https://127.0.0.1:8201" EndOfText
systemctl restart vault; sleep 10 export VAULT_ADDR='http://127.0.0.1:8200' vault operator init -key-threshold 1 -key-shares 1 -format json > ./acl-token-bootstrap-vault.json export VAULT_TOKEN=$(cat ./acl-token-bootstrap-vault.json | jq -r ".root_token") export VAULT_UNSEAL_KEY=$(cat ./acl-token-bootstrap-vault.json | jq -r ".unseal_keys_b64 | .[]") vault operator unseal $VAULT_UNSEAL_KEY vault login $VAULT_TOKEN
В Vault нам потребуется подключить модуль для хранения наших секретов
vault secrets enable -version=2 kv
Теперь сохраним токен Consul в хранилище Vault
vault kv put kv/consul/token value=$CONSUL_HTTP_TOKEN
echo "http://$(curl -s ifconfig.me):8200"
Настройка Nomad
Создаем файл /etc/nomad.d/lab_nomad.hcl
cat >/etc/nomad.d/lab_nomad.hcl <<EndOfText consul { address = "127.0.0.1:8500" token = "$CONSUL_HTTP_TOKEN" } acl { enabled = true } telemetry { publish_allocation_metrics = true publish_node_metrics = true } plugin "docker" { config { volumes { enabled = true } } } vault { enabled = true address = "http://localhost:8200" token = "$VAULT_TOKEN" } EndOfText
systemctl restart nomad; sleep 10 nomad acl bootstrap -json > ./acl-token-bootstrap-nomad.json export NOMAD_TOKEN=`cat ./acl-token-bootstrap-nomad.json | jq -r ".SecretID"`
echo "http://$(curl -s ifconfig.me):4646"
Запуск Traefik
export MY_MAIL="some@domain.ltd" cat >traefik.nomad <<EndOfText job "traefik" { datacenters = ["dc1"] type = "service" group "traefik" { count = 1 network { port "http" {static = 80} port "https" {static = 443} port "api" {static = 8081} } service { name = "traefik" port = "api" tags = ["traefik.enable=true", "traefik.port=8081"] } task "traefik" { driver = "docker" config { image = "traefik:v2.2" network_mode = "host" volumes = [ "local/traefik.yaml:/etc/traefik/traefik.yaml" ] } template { destination = "local/traefik.yaml" data = <<EOF entryPoints: http: address: ':80' https: address: ':443' traefik: address: ':8081' api: dashboard: true insecure: true log: level: DEBUG certificatesResolvers: myresolver: acme: email: $MY_MAIL storage: /data/acme.json httpChallenge: entryPoint: http providers: consulCatalog: prefix: traefik exposedByDefault: false endpoint: address: 127.0.0.1:8500 scheme: http token: {{with secret "kv/consul/token"}}{{.Data.data.value}}{{end}} tls: insecureSkipVerify: true EOF } } } } EndOfText
Проверяем наш конфиг и применяем
nomad plan traefik.nomad nomad run traefik.nomad
echo "http://$(curl -s ifconfig.me):8081"
Сборка приложения
cat >whoami.pkr.hcl <<EndOfText packer { required_plugins { docker = { version = ">= 1.0.1" source = "github.com/hashicorp/docker" } } } source "docker" "whoami" { image = "traefik/whoami" commit = true run_command = [ "-d", "-i", "--rm", "-t", "--", "{{.Image}}" ] } build { sources = ["source.docker.whoami"] post-processors { post-processor "docker-tag" { repository = "localhost:5000/dev/whoami" tags = ["0.0.1"] } post-processor "docker-push" {} } } EndOfText
packer init . packer build .
В конце сборки будет указан адрес образа для следующего шага
Запуск тестового приложения
cat >whoami.nomad <<EndOfText job "whoami" { datacenters = ["dc1"] type = "service" group "whoami" { count = 1 network { port "http" {to = 80} } service { name = "whoami" port = "http" tags = [ "traefik.enable=true", "traefik.http.routers.whoami.entrypoints=http", "traefik.http.routers.whoami.rule=host(\`$(curl -s ifconfig.me)\`)", "traefik.http.routers.whoami.middlewares=whoami-to-https", "traefik.http.middlewares.whoami-to-https.redirectscheme.scheme=https", "traefik.http.middlewares.whoami-to-https.redirectscheme.permanent=true", "traefik.http.routers.whoami-https.entrypoints=https", "traefik.http.routers.whoami-https.rule=host(\`$(curl -s ifconfig.me)\`)", "traefik.http.routers.whoami-https.tls.certresolver=myresolver"] } task "whoami" { driver = "docker" config { image = "localhost:5000/dev/whoami:0.0.1" ports = ["http"] } } } } EndOfText
Проверяем и запускаем наш сервис
nomad plan whoami.nomad nomad run whoami.nomad
echo "http://$(curl -s ifconfig.me)"
После запуска обработать напильником...
Думаю на примере готового приложения дальше будет разобраться попроще.
Пример скрипта для быстрой настройки стенда
Скрипт не идемпотентный, будте осторожны! Запускайте только на новой виртуальной машине с Ubuntu.
curl https://git.sr.ht/~wilful/Shared/blob/master/init.sh | bash -x
Посмотреть все доступные адреса панелей можно так
journalctl -t laboratory -xe