DevOps FM

Нагрузочное тестирование

Часть 1: что такое нагрузочное тестирование

Часть 2: как измерить и ход тестирования

Часть 3: инструменты для тестирования

Дополнительные материалы:

▪️ Небольшой бесплатный курс от Yandex Cloud про нагрузочное тестирование для DevOps-инженеров

▪️ Доклад с HighLoad «Нагрузочное тестирование с K6»

▪️ Сравнение нескольких инструментов для нагрузочного тестирования

▪️ Статья «Стенд для нагрузочного тестирования: от DEV до PROD» — личный опыт, но может быть интересно

P.S. Желаем классной пятницы и отличных выходных! 🔥

#лонгрид

Инструменты для тестирования

В самом простом случае инструменты для нагрузочного тестирования позволяют отправить множество запросов. По мере развития, в инструменты добавлялись возможности анализа и более производительные движки для отправки запросов. Наиболее популярные инструменты это:

Apache Jmeter

Может измерять производительность и тестировать статические и динамические веб-приложения. Apache Jmeter можно использовать для моделирования большой нагрузки на сервер, группу серверов, сеть или объект для проверки его прочности или для анализа общей производительности при различных типах нагрузки.

K6

Современный инструмент нагрузочного тестирования с использованием Go и JavaScript. Основные особенности:

* Настраиваемая генерация нагрузки. Даже машины более низкого уровня могут имитировать большое количество трафика.
* Полнофункциональный API. API сценариев оснащен функциями, которые помогут имитировать реальный трафик приложения.
* Встроенный движок JavaScript.
* Поддержка нескольких протоколов. HTTP, WebSockets, gRPC.
* Гибкое хранение и визуализация метрик Сводная статистика или детальные показатели, экспортируемые в службу по вашему выбору.

Яндекс Танк

Фреймворк для нагрузочного тестирования. Под капотом он может использовать разные движки, например:

jmeter — java
phantom — C++
pandora — go

Из коробки работает самый простой движок, он оперирует показателем rps а не vu как jmeter. В нем нет сценариев, есть просто список url которые мы грузим. Преимущество Яндекс Танка в том, что за несколько минут можно дать серьезную нагрузку, при этом практически ничего не настраивая.

3 / 3

#лонгрид

Как измерить?

Поскольку мы хотим работать с нагрузкой, нам нужно ее как-то измерять. Единиц измерения две:

Первая — rps, число запросов к веб-серверу. Очень простая с точки зрения инфраструктуры единица. Но недостаток ее в том, что она не отражает реальный мир, потому что с системой работают пользователи, то есть реальные люди. Люди могут присылать по несколько разных запросов одновременно с одной странички, но не каждую секунду, плюс на каждой страничке это число может быть разным.

Чтобы приблизить нагрузочное тестирование к реальному миру существует понятие виртуальных пользователей. Это оцифровка действий пользователя различной степени приближенности к реальной работе людей на платформе. Иначе говоря, это сценарий по которому отправляются запросы на сервер. Тогда нагрузка измеряется в количестве одновременно работающих виртуальных пользователей.

С точки зрения реальной нагрузки ни один из этих способов не является истинным, но виртуальные пользователи однозначно более корректное описание нагрузки.

Автоматизировать действия пользователя — не самая простая задача, в условиях современного веба. Да, мы можем слать запросы. Но на запросы приходят ответы. В них содержатся, например, куки. Если отправлять запросы без этого поля, то моделирование реальной нагрузки будет некорректным. Значит во время составления сценария это поле нужно будет перехватить и корректно отправить в следующем запросе. И таких полей и нюансов в работе каждого ресурса может быть огромное множество. Поэтому для составления грамотных сценариев затрачивается серьезное количество ресурсов.

Ход тестирования

Цикл нагрузочного тестирования состоит из нескольких пунктов.

Во-первых, это методика. Документ, где в деталях описываются цели, ограничения и методы тестирования. Данный документ согласовывается с заказчиком. Впоследствии в этот документ так же добавляются полученные результаты и их анализ. Когда разработана методика стрельб, нужно готовить патроны. Сценарии определяются с учетом всех нюансов работы платформы и требований методики.

Если необходима настройка отдельного контура для тестирования, эмуляция работы внешних ресурсов или еще какие-то задачи, то подготовка этого так же выделяется в отдельный пункт. Во время самих тестов требуется только контроль за ходом работы. Затем анализ и при необходимости повтор всего цикла.

2 / 3

#лонгрид

Всем DevOps! 🖖

Сегодня — немного про нагрузочное тестирование. Что это такое, когда нужно, какие инструменты можно использовать и всё такое. Приятного чтения :)

Что такое нагрузочное тестирование

Нагрузочное тестирование (или стресс-тестирование) — это метод тестирования программного обеспечения или системы, который оценивает стабильность и производительность приложения при высоких уровнях нагрузки (количество параллельных пользователей, количество операций в секунду и т.д.). Этот вид тестирования помогает определить, как приложение будет вести себя в условиях, приближенных к реальным, и выявить возможные проблемы с производительностью.

Иначе говоря, нагрузочное тестирование позволяет ответить на вопросы:

* Какое количество пользователей и в течение какого времени может выдержать система?
* Как система справляется с резким наплывом пиковой нагрузки?
* Какие компоненты системы являются узкими местами?
* Какие аппаратные характеристики необходимы, чтобы система могла выдерживать требуемое количество пользователей?
* Что случится с системой, если какие-то из её элементов выйдут из строя? Смогут ли они сами вернуться в работу и сколько времени это займет? Будет ли система при этом работоспособна?

1 / 3

#лонгрид

Что-то модно, что-то вышло из моды, а что-то вечно — как наша подборка статей по средам 🥳

▪️Статья «GitHub Actions could be so much better» — автор выкатил целый список: что ему не нравится в GitHub Actions. Может быть, что-то вам откликнется.

▪️Статья «Reflections on 10,000 Hours of DevOps» — некоторые размышления после 10 000 часов работы в сфере DevOps.

▪️Статья «The Dark Side of SRE» — cо стороны жизнь SRE может показаться престижной и полной возможностей. Но за кулисами часто можно обнаружить реальность, полную хронического стресса, карьерного застоя и профессиональных рисков. Такие дела.

▪️Не статья, но занятное чтиво «SRE Stories» — SRE, DevOps-инженеры, системные администраторы рассказывают про свою работу и профессиональный путь.

Всем DevOps! 🖖

#статьи

Теперь можно не только прочитать, но и посмотреть!

Мы, конечно, писали про серию статей «Container security fundamentals» (недавно, кстати, вышла 6 часть) — но, оказывается, есть еще и видео.

В плейлисте собраны, по сути, интерактивные версии этих статей. Автор не только рассказывает теорию, но и показывает примеры кода в консоли. Может быть полезно для погружения в тему безопасности контейнеров.

Самое интересное — в нашей подборке новостей :)

🔸 Яндекс открывает ежегодную программу грантов Yandex Open Source, в рамках которой будет награждать разработчиков интересных и важных опенсорс-проектов. Все условия — здесь.

🔸 Языку программирования Go исполнилось 14 лет! У Go был отличный год: два полнофункциональных релиза и другие важные вехи. Подробнее о них — в блоге.

🔸 27 и 28 ноября можно бесплатно посмотреть трансляцию из главного зала конференции Highload++. Потребуется регистрация.

🔸 Релиз Git 2.43. Это последний выпуск 2023 года. Узнать об основных изменениях можно в блоге, а узнать про вообще все изменения релиза — в примечаниях к релизу.

🔸 Релиз Kyverno v1.11. Kyverno — это механизм политики с открытым исходным кодом для Kubernetes, который позволяет определять, проверять и применять политики для кластера. На официальном сайте информации о релизе нет, но она есть на сайте CNCF. Узнать обо всех изменениях — можно здесь.

Всем DevOps и хорошей недели! 🖖

#новости

Рубрика клиентских кейсов считается открытой 😎

Начинаем делиться историями успеха наших клиентов — рассказывать о проектах и их реализации.

В новом кейсе — детали сотрудничества с системным интегратором Nixys. Как перенести DevOps-проекты с on-premise в облако и получить довольных клиентов, читайте в карточках или по ссылке на нашем сайте →

Облака: как строить, использовать и доказать их пользу?

🗓 28 ноября в 19:00
🌐Онлайн — трансляция на сайте
📍Офлайн — Москва, ул. Профсоюзная 125а

В программе:
✔️ Максим Чернухин — «Есть ли разница в облаках и что стоит использовать»
Поговорим о требованиях к облачным проектам, плюсах и минусах публичных облаков и разберем, как разрабатывать проекты, которые долго не устаревают.

✔️ Олег Брандин — «Как разработчику внедрить продуктовый подход и договориться с бизнесом?»
На примере Частного Облака РСХБ покажем, как владельцу продукта донести ценность для бизнес-заказчика, получить бюджет и крупную команду.

✔️ Виталий Куценко — «Композитная архитектура в облаке: решаем современные вызовы»
Виталий расскажет, почему композитная архитектура — способ получить максимальную эффективность облачных решений. И покажет ее принципы.

Ведущий митапа — Константин Брюханов, создатель сообщества DeusOps и «DevOps-Задачника».

Регистрация на сайте.

Праздничный пост!

Сегодня, 22.11.23, DevOps FM исполнилось 2 года! Спасибо, что читаете нас, делаете репосты, ставите реакции и пишете комментарии 🥰 А мы продолжим развивать канал: делать посты еще полезнее и интереснее.

И, конечно, напоминаем — по всем вопросам, пожеланиям и предложениям вы всегда можете писать в комментарии или @Ana_O_M.

Cделаем DevOps FM лучше :)

Б значит не Безумие, а Безопасность: часть 1

Читать про кибербезопасность, безопасность инфраструктуры и DevSecOps интересно, но еще интереснее (и полезнее) рассматривать эти темы на конкретных примерах.

В рамках серии статей Алексей, DevOps-инженер компании Nixys, делится реальным опытом и в первой части рассказывает про работу над проектом, который пришел с таким ТЗ:

1. Замкнутый контур;

2. Отсутствие CVE во всех используемых продуктах;

3. Контроль безопасности уже имеющейся инфраструктуры;

4. Контроль доступа до среды;

5. Автоматизация процессов.

➡️ Давайте посмотрим, что из этого вышло

💻 Bash жил, bash жив, bash будет жить

Поэтому может быть полезным вот такой репозиторий — DevOps-Bash-tools.

В нем собрана 1000+ Bash скриптов — AWS, GCP, Kubernetes, Docker, CI/CD, APIs, SQL, PostgreSQL, MySQL, Hive, Impala, Kafka, Hadoop, Jenkins, GitHub, GitLab, BitBucket, Azure DevOps, TeamCity, Spotify, MP3, LDAP, Code/Build Linting, pkg mgmt для Linux, Mac, Python, Perl, Ruby, NodeJS, Golang, .bashrc, .vimrc, .gitconfig, .screenrc, tmux...

Загрузка по команде curl -L https://git.io/bash-bootstrap | sh

P.S. А еще у автора есть репозиторий с разными конфигурациями и шаблонами YAML для Kubernetes. Каталог верхнего уровня содержит стандартные шаблоны объектов Kubernetes с учетом best practices, а еще советы и рекомендации, полученные за время работы автора в продакшене. Подкаталоги содержат готовые к использованию реальные приложения, которые автор запускал в разных средах.

#open_source

В эфире регулярная рубрика: новости!

🔸 Linux 6.6 официально стал выпуском ядра с долгосрочной поддержкой (LTS) — до декабря 2026 года. Обновления для ветки ядра Linux 6.6 будут выпускаться как минимум до декабря 2026 года, но не исключено, что, как и в случае с ветками 5.10, 5.4 и 4.19, срок будет продлён до шести лет и сопровождение продлится до декабря 2029 года.

🔸 ClickHouse Release 23.10. 23 новые функции. 26 оптимизаций производительности. 60 исправлений ошибок. Обо всех улучшениях — в официальной заметке.

🔸 Общедоступный релиз Grafana Beyla 1.0. Grafana Beyla — автоинструментарий eBPF с открытым исходным кодом. Beyla сообщает данные о задержках для основных запросов, а также метрики RED (Rate-Errors-Duration) для сервисов Linux HTTP/S и gRPC — и всё это без модификации кода для ручной вставки зондов. Ссылка на репозиторий.

🔸 Gartner: мировые затраты на публичные облака в 2024 году достигнут почти $680 млрд. Услуги SaaS обеспечат $244,0 млрд, решения IaaS — $182,2 млрд, сервисы PaaS — примерно $176,5 млрд. На BPaaS придётся $72,9 млрд, на DaaS — $3,2 млрд. Таким образом, как прогнозируется, в 2024 году во всех сегментах облачного рынка будет наблюдаться увеличение затрат. Наибольший рост ожидается в сферах IaaS — плюс 26,6 %, а также PaaS — около 21,5 %.

Если мы пропустили что-то важное, обязательно дополняйте в комментариях :)

Всем DevOps и хорошей недели! 🖖

#новости

Как перенести DevOps-проекты с on-premise в облако и получить довольных клиентов

История успешного партнерства Nixys и Timeweb Cloud 🔥

🔸 Какие есть недостатки у on-premise-инсталляций и в чем преимущества облачных технологий?

🔸 Почему Nixys выбрали Timeweb Cloud в качестве одного из партнеров?

🔸 Как облако Timeweb Cloud используется на проектах в компании Nixys?

P.S. А еще Timeweb Cloud и Nixys совместно разработали персональный роадмап создания и развития сервисов в облаке, об этом тоже рассказано :)

👉 Приятного чтения!

Как вы догадались, пост про YAML 📄

Точнее — некоторое количество полезных штук про yaml.

▪️Официальный сайт YAML. Да, вы не ошиблись, он выглядит как yaml.

▪️Статья «YAML из Ада» — 215 плюсиков, 195 закладок и 183 комментария. Очевидно, чувствительная тема.

▪️Список «10 шагов к YAML-дзену» — RedHat рассказывают, как снизить свое раздражение при работе с YAML до приемлемого уровня и даже полюбить этот формат.

▪️Статья «Некоторые приемы YAML» — автор рассказывает про не очень известные особенности YAML.

▪️Шпаргалка «YAML Tips for Kubernetes» — 10 советов как улучшить yaml для k8s. Есть примеры кода.

▪️Обзор «Validating Kubernetes YAML for best practice and policies» — сравниваются шесть инструментов для проверки и оценки YAML-файлов Kubernetes на соответствие best practices.

Всем DevOps! 🖖