Сочный DevOps on Telegram: “Использование kubespray как ansible collection k…”

Использование kubespray как ansible collection

kubespray огромен и тащить его весь к себе в репозиторий смысла нет. Достаточно использовать его как ansible collection и переопределить в inventory только то, что нужно.

Пример структуры inventory:

├── k8s.cluster.1
│   ├── group_vars
│   │   ├── all
│   │   │   ├── all.yml
│   │   │   └── containerd.yml
│   │   ├── k8s_cluster
│   │   │   ├── addons.yml
│   │   │   ├── k8s-cluster.yml
│   │   │   └── kube_control_plane.yml
│   │   └── k8s_load_balancers.yml
│   └── hosts.yml
├── k8s.cluster.2
│   ├── group_vars
│   │   ├── all
│   │   │   ├── all.yml
│   │   │   └── containerd.yml
│   │   ├── k8s_cluster
│   │   │   ├── addons.yml
│   │   │   ├── k8s-cluster.yml
│   │   │   └── kube_control_plane.yml
│   │   └── k8s_load_balancers.yml
│   └── hosts.yml
├── README.md
├── requirements.txt
└── requirements.yml

По похожей схеме описываем любые кластера. Имена файлов такие же как и у kubespray, не считая k8s_load_balancers, это часть с реального проекта, но в данном посте можно не обращать на нее внимания.

В requirements.yml:

collections:
- name: https://github.com/kubernetes-sigs/kubespray
  type: git
  version: v2.27.0

Устанавливаем коллекцию:

ansible-galaxy install -r inventory/kubernetes/requirements.yml

В requirements.txt оригинальные python зависимости из kubespray:

ansible==9.13.0
# Needed for community.crypto module
cryptography==44.0.2
# Needed for jinja2 json_query templating
jmespath==1.0.1
# Needed for ansible.utils.ipaddr
netaddr==1.3.0

Далее дефолтный флоу из доки, для сетапа окружения:

python3 -m venv .kubespray
source .kubespray/bin/activate
pip install -U -r inventory/kubernetes/requirements.txt
pip install ruamel.yaml

Если у вас установлен ansible через пакетный менеджер дистрибутива, то могут возникнуть проблемы с путями до модулей. Пофиксить можно так:

export ANSIBLE_LIBRARY=./.kubespray/lib/python3.11/site-packages/ansible/modules
export ANSIBLE_MODULE_UTILS=./.kubespray/lib/python3.11/site-packages/ansible/module_utils
export PYTHONPATH=./.kubespray/lib/python3.11/site-packages:$PYTHONPATH

Версия питона само собой может отличаться.

Заполняем hosts.yml. Вообще в доке старый ini формат. Но я предпочитаю yml. Пример:

all:
  hosts:
    master-1:
      ansible_host: <dns_name>
      ip: <ip_address>
      access_ip: <access_ip>
    worker-1:
      ansible_host: <dns_name>
      ip: <ip_address>
      access_ip: <access_ip>
      node_labels:
        node-role.kubernetes.io/worker: ""
    ingress-1:
      ansible_host: <dns_name>
      ip: <ip_address>
      access_ip: <access_ip>
      node_labels:
        node-role.kubernetes.io/ingress: ""
      node_taints:
        - "node-role.kubernetes.io/ingress=:NoSchedule"
  children:
    kube_control_plane:
      hosts:
        master-1:
    kube_node:
      hosts:
        worker-1:
        ingress-1:
    etcd:
      hosts:
        master-1:
    k8s_cluster:
      children:
        kube_control_plane:
        kube_node:
    calico_rr:
      hosts: {}

Установить кластер:

ansible-playbook -i inventory/kubernetes/<cluster>/hosts.yml --become --become-user=root playbooks/kubernetes.yml

Мой playbook:

- name: Install Kubernetes
  ansible.builtin.import_playbook: kubernetes_sigs.kubespray.cluster

Чтобы добавить новую ноду, сначала добавить вот такой playbook:

- name: Gathering facts
  ansible.builtin.import_playbook: kubernetes_sigs.kubespray.facts
  tags: facts
  when: "'facts' in ansible_run_tags"
  
- name: Scale the kubernetes cluster
  ansible.builtin.import_playbook: kubernetes_sigs.kubespray.scale

Перед установкой рекомендуют собрать факты:

ansible-playbook -i inventory/kubernetes/<cluster>/hosts.yml --become --become-user=root playbooks/kuberentes_scale.yml --tags="facts"

И затем добавить ноду:

ansible-playbook -i inventory/kubernetes/<cluster>/hosts.yml --become --become-user=root playbooks/kuberentes_scale.yml --limit=<node_name>

Перед этим не забыв добавить ее по аналогии в hosts.yml

#kubernetes