📢 Load & Performance

Всем привет!
Обновил пример gatling-скриптов для демонстрации различных моделей нагрузки.

Открытая модель нагрузки
Сценарий:
io.qaload.gatling.reportExample.simulation.OpenModel_IncrementUsersPerSec
* Gatling Grafana Report: Gatling - open model
* openmodel-incrementuserspersec

Обратите внимание, как при открытой модели нагрузки растет количество одновременно работающих сценариев после точки деградации

Закрытая модель нагрузки
Сценарий:
io.qaload.gatling.reportExample.simulation.CloseModel_IncrementConcurrentUsers + trottle
Который рекомендую использовать вместо открытой модели
* Gatling Grafana Report: Gatling - closed model
* closemodel-incrementconcurrentusers

Обратите внимание на ровный по RPS профиль нагрузки, это trottle. И что после точки деградации количество параллельных сценариев (а следовательно потоков в Gatling) не растёт.

Значит Gatling не упадет по Out Of Memory Error под конец теста. А нагрузка та же самая.

По ссылкам доступны отчёты: Grafana и HTML.

Репозиторий:
https://github.com/polarnik/gatling-report-example

Коллеги, привет! Хочу сообщить вам о выпуске новой версии плагина для тестирования AMQP c помощью gatling. GitHub проекта https://github.com/TinkoffCreditSystems/gatling-amqp-plugin. В этой версии (0.0.4) наконец-то появилась поддержка топиков, обновлены версии gatling и rabbit-mq клиента. Изменён ДСЛ для задания пропертей и заголовков сообщений. Возможно кому-то пригодится, будем ждать вашего фидбека. #gatling #amqp #rabbit-mq #gatling3.4

Привет всем! Все мы в мире нагрузки немного устали от разношерстной терминологии, абстрактной стандартизации и передачи опыта в формате Мастер Джедай -> Падаван.
Поэтому мы решили собрать инициативную группу людей, которая бы начала формирование общей базы знаний по нагрузочному тестированию.
В данную группу очень требуются люди, обладающие этими самыми знаниями в сфере нагрузочного тестирования или близко к ней.
Большая просьба к тем, кто хочет эти знания только получить или просто недостаточно уверен в своих знаниях - не вступать в инициативную группу. Вся база будет общедоступной и мы обязательно будем делать все необходимые анонсы по её реализации и наполнению. С очень большой вероятностью вы сможете дополнять её своими знаниями, но после её формирования.
Ссылка на чат: https://t.me/LoadKnowledge
Большим плюсом будет если вы, при входе в чат, кратко расскажете о своей работе и опыте. Спасибо!

Привет!
Релиз новой версии нашей библиотеки для gatling: https://github.com/TinkoffCreditSystems/gatling-picatinny/releases/tag/v0.6.0
Некоторые обновления:
* генерация jwt: добавить json шаблон для payload, добавить в сценарий одну строчку -> на каждой итерации генерируется jwt из шаблона с переменными из фидеров/сессии гатлинга. Актуально для всех у кого замокирована авторизация jwt на тесте.
* regex feeder: генерирует строку по регулярному выражению, дальше можно использовать в сценариях. Актуально для генерации id или других тестовых данных любого формата.
* обновления в модуле profile: теперь можно запускать тесты из yaml конфигурации.
* тест больше не падает при недоступности influxdb, только сообщает об ошибке, стоит учитывать.
Как пользоваться библиотекой можно узнать в ридми: https://github.com/TinkoffCreditSystems/gatling-picatinny/blob/master/README.md
Если создать новый проект из нашего шаблона, то библиотека уже подключена: https://github.com/TinkoffCreditSystems/gatling-template.g8
Вопросы по использованию можно задавать в этом чате или в личке, profile: @MaksSieve, любые вопросы по gatling-picatinny и giter8 шаблону: @chepk @jigarkhwar
Всем хорошего дня)

Слайды к докладам:
1) Нагрузочное тестирование с нуля - Кирилл Юрков
2) Выбор инструмента НТ - Урал Нургалин

для HeisenBug Piter 2020 (16 июня 2020 года)

Описание докладов и докладчиков:
https://heisenbug-piter.ru/2020/spb/talks/7kljtoxga4yizsw0bw6kbe/

Запись выступления на митапе #9 общества анонимных тестировщиков "Тестовые данные для нагрузки. Атака не клонов"

https://www.youtube.com/watch?v=ErGuYOkzZ_I

QA-конференция QAASP 2020

16 октября в онлайн формате пройдет большая минская QA-конференция QAASP 2020: Quality Assurance, Automation, Security, Performance, Testing. На нее соберутся эксперты из успешных компаний, чтобы поделиться опытом тестирования не только software, но и hardware.

На конференции в формате онлайн вы сможете послушать доклады и пообщаться о наболевшем по насущным вопросам QA в следующих сферах:
• Ручное тестирование
• Автоматизация тестирования
• Нагрузочное тестирование
• Тестирование безопасности
• Серверное тестирование
• Мобильное тестирование
• Фреймворки и подходы
• Инструменты и тулы
• Usability-тестирование
• Построение процессов и команд в QA
• Управление тестированием
• Карьера в QA и после QA

В день конференции вы сможете поучаствовать в интерактивном онлайн-стриме, задать вопросы спикерам и пообщаться с другими участниками, а после завершения конференции будут доступны записи докладов.

Программа и доступы на сайте: https://qaasp.tech

Когда: 16 октября
Где: Везде, где есть интернет


Скидка 10% по промокоду QALOAD на все типы билетов (настоящие и будущие)

Слайды "Тестовые данные для нагрузки. Атака не клонов" для митапа #9 Общества анонимных тестировщиков.

Спасибо, что пришли на митап. Запись велась, будет позже

Всем привет, как и обещал краткий мануал-faq на что смотреть, когда пишешь свой отчёт мечты и анализируешь проблемы с производительностью
https://habr.com/ru/company/tinkoff/blog/514314/

Дополню, чтобы рядышком лежало.
https://github.com/polarnik/gatling-report-example/tree/master/src/test/scala/io/qaload/gatling/reportExample/simulation

Проект с самыми разными профилями нагрузки на #Gatling.
Код снабжен полезными комментариями.

В составе проекта - открытая и закрытая модель нагрузки.

Привет!
Представляю вашему вниманию вечерний пятничный релиз)
1. Библиотека-набор полезных утилит для gatling - "gatling-picatinny" (Picatinny rail — система рельсового крепления, кронштейн, используемый на различных видах стрелкового вооружения)
https://github.com/TinkoffCreditSystems/gatling-picatinny
Позволяет удобно конфигурировать тесты при запуске из CI и локально, писать аннотации с информацией о старте/стопе теста в influxdb, использовать набор готовых фидеров, запускать простой тест из конфига без написания скриптов и многое другое) Смотрите readme и examples в репозитории, постарались подробно все описать.
Идея библиотеки в переиспользовании и шаблонизации типового кода, который приходится писать/копировать в каждом новом проекте, а также в расширении базовых возможностей gatling.
Приглашаю всех желающих заводить issues и контрибутить, планируем и дальше развивать библиотеку.
Если возникают вопросы, то можно писать тут, мне @chepk или @jigarkhwar, по вопросам связанным с модулем profile можно также обращаться к @MaksSieve, вопросы по модулю templates @red_bashmak

2. giter8 шаблон для проекта gatling
https://github.com/TinkoffCreditSystems/gatling-template.g8
Позволяет создавать проект gatling по шаблону (всю структуру проекта, базовые *.scala классы и файлы конфигурации)
Для создания проекта по шаблону достаточно выполнить:
sbt new TinkoffCreditSystems/gatling-template.g8
При запуске попросит ввести название проекта, организации и версии зависимостей.
gatling-picatinny уже подключен

От BlazeMeter

https://www.blazemeter.com/university/

Они больше продуктовые, по JMeter, Taurus

https://www.luxoft-training.ru/kurs/osnovy_testirovaniya_proizvoditelnosti.html
Еще есть курс от Люксофт, вводный

Привет. На курсе разные инструменты изучаем, по ссылке от Вячеслава выше программу можно посмотреть. Первую группу правда запустили уже, но по-моему ещё в течение недели можно присоединиться

Василий Кудрявцев @vasiksim
Готовит курс. Спросите его
https://otus.ru/lessons/loadqa

Всем привет!
Стало известно, что 9-я встреча клуба анонимных тестировщиков состоится 27 августа. Только она будет online.

Подготовил рассказ про нагрузку, PostgreSQL, JMeter, боль и радость. В описании встречи будут изменения, но ссылку можно сохранить:
https://www.meetup.com/ru-RU/%D0%9E%D0%B1%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%BE-%D0%B0%D0%BD%D0%BE%D0%BD%D0%B8%D0%BC%D0%BD%D1%8B%D1%85-%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D1%89%D0%B8%D0%BA%D0%BE%D0%B2/events/268878140/

Немного саморекламы

Запилил тут специальную туловину для Гатлинга, с прямым экспортом метрик в InfluxDB на основе log-файла.
Все основные фичи описаны на страничке в гитхаб:
Github

В кратце:
Raw метрики
Простая интеграция в CI
Один бинарник, ничего дополнительно не надо ставить
Можно прокидывать уникальный testId по которому удобно фильтровать тесты
Информация по группам транзакций, со временем выполнения группы (только реквесты и ревесты+таймеры)

Сам буду завтра начинать тестировать в боевых условиях. Если кому интересно - буду рад фидбеку. Бинарник под Linux/Windows можно скачать тут

Изначально вдохновлялся плагином JMeter-InfluxDB-Writer с которым тут многие знакомы, но по понятным причинам сделать это плагином несколько сложно. Потому standalone тулза.

#jmeter #reports #confluence #grafana
как совпало)
я тоже сегодня допилил свое решение для автогенерации отчетов в конфлюенсе из JMeter. в комплекте 3 дашборда и jmx со всеми натсройками. пока отзывы хорошие, может кому еще пригодиться. если будут хотелки - не стесняйтесь, стараюсь активно допиливать
https://github.com/kirillyu/jmeterReports

Материалы доклада

Программирование с Grafana и InfluxDB: сборник рецептов,

который подготовил для HeisenBug Piter Online 2020

Слайды:
https://docs.google.com/presentation/d/1yjDWh-cdDqQS09-6SBdISKbtmvuh1Kcxb3RCoRvALZk/edit

Репозиторий:
https://github.com/polarnik/gatling-grafana-dashboard

Демо стенд:
http://84.201.161.113:3000/

Меню выбора запусков тестов:
http://84.201.161.113:3000/d/gatlingTrendLink/grafana-table-old-withlink
(демонстрация работы со ссылками)
https://grafana.com/grafana/dashboards/12508

Доска, демонстрирующая новые фичи Grafana 7.0:
http://84.201.161.113:3000/d/gatlingTrend_GIT/gatling-report-trend-git
(работа с таблицами)
https://grafana.com/grafana/dashboards/12507

Доска с отчетом Gatling:
http://84.201.161.113:3000/d/gatling/grafana-report?time=1585232003000&time.window=1388s&var-run=2020-03-26_17:00&var-simulation=closemodel-incrementconcurrentusers
(подробный отчёт по Gatling)
https://grafana.com/grafana/dashboards/9935

Смирнов Вячеслав, ВТБ

Для @qa_load и @qaload

Слайды к докладу Готовим тестовые данные и сервируем отчёт по тестированию производительности (30 мая 2020 года), который был на недавно прошедшем CodeFest Online. Отличная получилась конференция. Рекомендую посетить следующую конференцию уже в Новосибирске:
— осень: 24-25 октября или 31 октября-1 ноября этого года;
— весна 27-28 марта 2021.

Рассказ об особенностях подготовки тестовых данных для тестов производительности новых микросервисов в банке. Поделился наработками по генерации тестовых данных в PostgreSQL и их влиянии на результат тестирования. Рассказал, что включить в отчёт по тестированию производительности и как донести результаты до команды.

Доклад будет интересен инженерам по тестированию производительности, показываю, как нашел 40% багов. И всем будет интересно, как ускорить написание отчётов минимум на день.

Сообщество инженеров по тестированию производительности:
@qaload (канал) / @qa_load (чат)