Артём Ерошенко | Тестируем с умом

Как выбрать модель Claude под задачу

• Haiku — для простых задач, быстро и экономично
• Sonnet — оптимальный выбор для большинства задач
• Opus — для самых сложных и ответственных задач
• Fable — для задач, решение которых угрожает национальной безопасности США

NVIDIA раздаёт бесплатные API для нейросетей

Звучит щедро, но давайте разберёмся, что там на самом деле.

Платформа build.nvidia.com — каталог из 225+ моделей, 95 из которых доступны бесплатно. Прямо в браузере, без регистрации, открыл и пользуешься. Через API тоже можно бесплатно, но там уже нужна регистрация: дают 1000 кредитов на старте, можно запросить до 5000, потолок 40 запросов в минуту. Для экспериментов хватит, для продакшена — нет. Что, собственно, и является планом NVIDIA: попробовал бесплатно, понравилось, разворачиваешь у себя с платной лицензией. Классика.

Окей, но зачем?

Есть же OpenRouter, который агрегирует 300+ моделей от 60+ провайдеров через один API-ключ. Всё так, но бесплатных моделей у OpenRouter около 29, и это в основном текстовые чатботы. NVIDIA интересна другим — тут зоопарк выходит далеко за пределы «поговорить с нейросетью».

Вот что привлекло внимание.

Речь и звук. Стриминговое распознавание речи в реалтайме (Nemotron ASR), Whisper, очистка шума с микрофона (Studio Voice), голосовой чат и синтез речи из короткого аудиосэмпла.

Зрение и дизайн. FLUX.2 для генерации картинок, TRELLIS от Microsoft для создания 3D-объектов из текста, OCR для распознавания текста на сканах, детекция таблиц и графиков в документах.

Физика и симуляция. Cosmos генерирует физически корректные видео для разработки автопилотов и роботов. Audio2Face превращает аудиодорожку в лицевую анимацию в реалтайме — по сути, липсинк для игровых персонажей.

Экзотика. Модели для дизайна белков, генерации молекул, предсказания погоды и геномная модель Evo 2 на 40 миллиардов параметров.

Короче, OpenRouter — это про сравнение чатботов. NVIDIA — про всё остальное. Хочешь убрать шум с записи, распознать текст на скане или сгенерировать 3D-объект — OpenRouter тут не поможет.

Сам пока не пробовал, но закладку поставил. Если захочется поиграться с чем-то за пределами текстовых моделей — знаю, куда идти.

UPD: Чтобы получить API access надо подтвердить аккаунт с иностранного номера телефона

https://build.nvidia.com/models

Тысячи багов, которые мы «протестировали»

Помните мой пост про шахматную фигуру, которой нет в правилах? Тогда я писал про утечку. Теперь всё официально.

7 апреля Anthropic запустила Project Glasswing — коалицию из AWS, Apple, Google, Microsoft, CrowdStrike и ещё десятков компаний. Цель: использовать Claude Mythos Preview для защиты критической инфраструктуры. Модель не будет доступна широкой публике, слишком опасна.

И вот что меня зацепило больше всего.

Mythos нашёл тысячи zero-day уязвимостей. В каждом основном браузере. В каждой основной операционной системе. Самой старой найденной дыре 27 лет. Она жила в OpenBSD, системе, которая известна именно своей безопасностью.

Двадцать. Семь. Лет.

Эти проекты тестируются тысячами инженеров. Проходят code review, фаззинг, пентесты, статический анализ. И всё равно тысячи критических багов сидели в коде годами и десятилетиями.

Как тестировщик, я не могу пройти мимо этого факта. Мы привыкли думать, что если продукт зрелый, если у него большое комьюнити, если его постоянно проверяют, то он безопасен. Оказывается, нет. Мы просто не видели то, что не умели искать.

И тут возникает неудобный вопрос: если AI находит то, что не нашли тысячи специалистов за десятилетия, может, проблема не в количестве тестирования, а в его подходе? 🤔

Но есть и вторая сторона медали, ещё более тревожная.

Найти уязвимость это полдела. Теперь её нужно исправить. А чтобы исправление дошло до пользователя, разработчик должен написать патч, патч должен пройти review и тесты, нужно выпустить новую версию, и наконец пользователь должен обновиться. Для браузера это дни или недели. Для ОС недели или месяцы. А для embedded-систем или IoT? Может, никогда.

Получается парадокс: чем больше дыр находит AI, тем шире окно, в котором эти дыры уже известны, но ещё не закрыты. Это как если бы вы нашли все замки в доме сломанными, но слесарь сможет прийти только через месяц. А адрес уже в интернете.

В комментариях к прошлому посту Сергей справедливо заметил, что если Mythos находит zero-day, он может подсказать и решение. Да, может. Но решение нужно выкатить. А выкатка это процесс, в котором можно наделать новых багов. Скорость нахождения и скорость исправления это два совершенно разных процесса, и первый теперь работает на порядки быстрее второго.

И когда мы слышим, что код, написанный AI, небезопасен, полезно вспомнить про хроническую дырявость кода, написанного людьми. Тысячи уязвимостей в зрелых проектах, которые тестировались годами, лучшее тому доказательство.

Мы живём в интересное время. AI не просто меняет тестирование, он показывает, насколько наше текущее тестирование было неполным.

Меня это одновременно пугает и вдохновляет. А вас?

Sit back, relax, and let Handy give you a hand

Голосовой ввод это штука, которую все хотят и никто не использует. Потому что варианты на рынке выглядят так:
Wispr Flow стоит $15/мес. Голос летит на серверы OpenAI. Бонусом отправляет скриншоты экрана в облако. Aqua Voice приемлемые $8/мес. Основатели открыто говорят, что не могут запустить распознавание локально. Superwhisper всего лишь $250 за lifetime-лицензию.

Три продукта. Все платные. Все отправляют твой голос куда-то наружу. Все рекламируются у каждого второго блогера.

А есть Handy. Open-source, MIT-лицензия. Whisper под капотом. Голос никуда не уходит — распознавание на твоём компьютере. Mac, Windows, Linux.

Бесплатно.

Я хотел написать такую утилиту сам. Локальный Whisper + хоткей + вставка в буфер. Посмотрел код handy на GitHub — уже сделано. И хорошо сделано.

Передумал.

Механика простая: push-to-talk. Зажал клавишу — говоришь. Отпустил — текст в активном поле. Есть toggle-режим — нажал, говоришь сколько нужно, нажал ещё раз. Готово.

А зачем это тестировщику?

Прохождение сценариев. Включил toggle, идёшь по продукту и проговариваешь всё: что нажимаешь, что видишь, что сломалось. Руки на приложении, глаза на экране, не переключаешься никуда. В конце получается сырая расшифровка, которую нейронка за минуту превращает в структурированные баг-репорты. Я так делаю. Это работает.

Исследовательское тестирование. То же самое, только без скрипта. Ходишь по продукту, комментируешь вслух, на выходе получаешь готовый session report.

Ревью требований. Открыл спеку, читаешь и наговариваешь: тут противоречие, тут непонятно, тут не хватает данных. Из расшифровки получаешь готовый список вопросов к аналитику.

Промпты. Claude Code, ChatGPT — когда нужно объяснить контекст, а не написать три слова. Говоришь полминуты вместо пяти минут печатания.

Скинул ссылку коллегам и оказалось, что никто не слышал. При этом Wispr Flow знают все.
https://handy.computer. Пользуйтесь.

А вы используете что-то для голосового ввода? Или до сих пор всё руками?

Шахматная фигура, которой нет в правилах

Есть такое понятие — паритет. В кибербезопасности это значит: у атакующих и защитников примерно одинаковые инструменты. Поэтому защита в целом держится.

Держалась.

Как это работало

Взлом — это игра в шахматы. У обеих сторон одни фигуры, одни правила. Кто лучше думает, тот и выигрывает.

В реальности: у хакеров есть Metasploit. Публичный инструмент с каталогом из тысяч готовых атак под известные уязвимости. Уязвимость — дыра в коде. У каждой дыры есть номер в открытой базе CVE, которую ведёт некоммерческая организация MITRE. Хакер открывает Metasploit, находит в CVE подходящую дыру, запускает атаку. У защитника та же база. Вышла дыра — пишут патч.

Самое страшное для защитников это zero-day. Уязвимость, о которой не знает никто: ни производитель, ни базы. Патча нет, защиты нет. Но найти zero-day вручную это месяцы работы специалиста. Такие дыры редки и дорого стоят.

Паритет держался. Оба смотрят в один каталог, оба работают вручную.

Потом появился ChatGPT

Все подумали: вот оно, сейчас всё изменится.

Изменился один показатель — порог входа. Раньше написать вредоносный скрипт требовало опыта. С ChatGPT нет. Атак стало значительно больше. Но методы остались те же: всё по тому же каталогу. Умнее атаки не стали.

Защитники получили тот же инструмент и справились с объёмом. Паритет устоял.

А потом произошло вот что

26 марта кто-то в Anthropic не так настроил CMS. Тысячи неопубликованных файлов стали публично доступны. Исследователи из LayerX Security и Кембриджа нашли их раньше, чем компания заметила.

Среди файлов нашли черновик анонса модели, о которой никто не знал.

Claude Mythos.

«Самая мощная модель, которую мы создали» так Anthropic описала её внутри. Выше Claude Opus. Три направления: рассуждения, код, кибербезопасность.

Чем эта модель отличается от всего, что было раньше

Все предыдущие AI-инструменты работали как умные поисковики: находишь быстрее, но по каталогу. Mythos, судя по утечке, рассуждает.

Он читает код и сам придумывает: «а что если здесь передать вот такой запрос?». Находит уязвимости, которых в базах нет. Zero-day в потоке, а не один за месяцы.

Возвращаясь к шахматам: это фигура, которая ходит по правилам, которых нет в книге. Вторая сторона не знает, как на это реагировать.

Anthropic написала прямо: модель способна обходить защиту быстрее, чем люди успевают её выстраивать.

Рынок услышал

CrowdStrike упал на 7% за один день. Palo Alto Networks на 6%. Zscaler на 4.5%.

Не потому что их взломали. Потому что инвесторы поняли: компании, продающие защиту от известных угроз, оказались в другой игре.

Главная оговорка

Всё это из утечки. Anthropic подтвердила существование модели, но не детали.

Но «unprecedented cybersecurity risks» — слова самой Anthropic. И реакция рынка — факт.

Если написанное правда — это не очередной апдейт. Это момент, когда правила игры поменялись. И одна из сторон об этом пока не знает.

Привет! Наконец дорос, сегодня Артем Ерошенко на разогреве 😁

Сразу после его доклада жду всех к 11:45 в 1-м зале.

Наш первый митап FamilyQA#1 online
Представляем второго спикера Ерошенко Артем с докладом "Как автоматизировать рутину и освободить время на важное"

Каждый день мы тратим часы на повторяющиеся задачи, которые можно было бы автоматизировать. n8n — это визуальный инструмент автоматизации, который позволяет создавать сложные workflow без написания кода.
На мастер-классе я покажу, как за час настроить автоматизацию, которая будет работать за вас 24/7. Мы пройдем путь от установки до создания полноценного Telegram-бота и интеграций с вашими рабочими инструментами. Удивлю тем, насколько просто можно автоматизировать даже сложные многоэтапные процессы

Начало докладов: 27 июня 19:00
Куда: Онлайн ​
Трансляция: https://youtube.com/live/1U8wurWDQ6A?feature=share

Если вы в Москве ждем вас в баре (можно и раньше приходить)
Когда в бар: 27 июня 21:30
Куда в бар: https://go.2gis.com/qcYza

🎙 Был в гостях у проекта «между скобок» — это ламповый книжный клуб, где Гриша Скобелев с коллегами разбирают техлит в прямом эфире.

Обсудили главу про интеграционное тестирование из книги Unit Testing: Principles, Practices, and Patterns. Спойлер: книжка писалась для разработчиков, поэтому с позиции тестировщика часть идей покажутся очевидными, часть — спорными. Но как раз это делает разговор живым и полезным 💬

📺 Вот запись: https://www.youtube.com/watch?v=D43j5gvDD10
📚 А вот сама книга: https://www.amazon.com/dp/1617296279

Спасибо Грише и Лёше за уютную беседу! Если вам нравится формат книжных разборов с техническим уклоном — подписывайтесь на их канал: https://t.me/megdu_skobok

P.S. У кого в шортлисте есть эта книга — приходите послушать, прежде чем читать.
P.P.S. Если бы вы делали такие эфиры по тестированию — с какой книги бы начали?

🎬 Как изменится тулинг в тестировании с приходом AI

Друзья, 👋 наконец-то выложили запись моего выступления о будущем инструментов тестирования с приходом искусственного интеллекта!

Из этого выступления вы узнаете:

🔹 Что общего между предсказанием текста на Nokia 3310 и современными языковыми моделями?
🔹 Что уже сегодня умеют AI-модели, работающие на обычном ноутбуке?
🔹 Каким образом AI помогает изучать новые фреймворки и технологии в несколько раз быстрее?
🔹 Какой подход эффективнее: когда инструменты используют AI или когда AI использует инструменты?
🔹 Как AI-агент за 5 минут справился с задачей, на которую раньше уходила неделя?

👉 Смотреть здесь.

Приятного просмотра! 📺

🔥 IDE-плагины были вчера. Сегодня — время AI-агентов

Несколько лет назад я выступал с докладом «Нужен рефакторинг? Есть IDEA!». И рассказывал про конкретные примеры задач, с которыми реально сталкивался на работе:

1️⃣ Массовая разметка и изменение кода (например, миграция сотен автотестов с Allure 1 на Allure 2).
2️⃣ Экспорт тест-кейсов из кода в стороннюю систему (для примера экспортировал в простой index.html). Демо.
3️⃣ Импорт данных обратно в автотесты (например, добавление id-шников или тегов из внешней системы). Демо.

Если бы решать эти задачи «в лоб», я потратил бы несколько недель 😢. А с помощью созданных плагинов IDE мне удалось уложиться примерно в 60 часов (поровну на изучение API, примеры плагинов и подготовку презентации). Тогда это уже казалось огромной победой! 💪

Недавно я опубликовал пост про IDE Cursor и обещал подробнее рассказать про режим агента.

🤖 Что такое Agent-режим и как он работает?

Главное отличие агента от обычного AI-чата — возможность использовать встроенные инструменты IDE и последовательно выполнять множество мелких операций с вашим кодом. Агент буквально заменяет собой написание плагина: он не просто генерирует текст, а сам выбирает, какие действия нужно выполнить, в каком порядке и с какими параметрами.

Фактически, если вы знаете, как решить задачу по шагам, вам достаточно описать её обычным человеческим языком — остальное сделает агент. Например:

1️⃣ «Разметь автотесты аннотациями Allure Report: возьми @Feature и @Story из контекста, а @Owner определи автоматически по истории коммитов».
2️⃣ «Экспортируй информацию про автотесты в markdown-файл, добавь туда все аннотации и сценарии тестов на основе шагов @Step».
3️⃣ «Возьми название каждого автотеста из аннотации @DisplayName, найди в Jira задачу с похожим названием и добавь к автотесту аннотацию @TmsLink с ключом этой задачи».

⏱️ Результат

В этот раз решение заняло всего 3 часа: час на изучение агента, час на подготовку примеров и час — на написание этого поста. В 20 раз быстрее, чем раньше. Вот это я понимаю — новый уровень продуктивности!

Не верите? Смотрите сами — видео ниже 👇

⌨️ IDE будущего или просто модный чатик?

Недавно начал пользоваться Cursor — на первый взгляд, обычная IDE с AI-помощником. Но есть один нюанс. Она реально экономит время.

💡 Где-то попадался факт: профессионал с AI-IDE экономит до 24 часов в неделю при изучении нового. По моим ощущениям — даже больше. Недавно погружался в веб-разработку: разобрался, как всё устроено, сделал рефакторинг и внедрил дизайн-систему. За неделю. После основной работы. Почти без боли.

Что это такое?

Cursor построен поверх VSCode — интерфейс привычный, всё работает из коробки. Есть бесплатный тариф, так что попробовать «для себя» можно без напряга. Особенно хорошо заходит на новом проекте или при смене стека: если вы хотите изучить новый язык, разобраться с чужим кодом или стартовать с автоматизацией — этот инструмент сэкономит вам часы и нервы.

Cursor работает в двух режимах: Chat и Agent. Про Agent расскажу в следующем посте — а пока про Chat.

Чем полезен режим Chat?

1️⃣ Ответы прямо в IDE. Не нужно гуглить, открывать 20 вкладок StackOverflow и по кругу переписывать запрос. Просто спрашиваешь в IDE: «Какая последняя версия Tailwind?», «Что делает этот хук?», «Как работает этот middleware?». А если индексировать документацию — вообще как будто бот учился по твоим же учебникам.

2️⃣ Поиск по проекту на человеческом. Раньше: usage → references → breadcrumbs. Теперь: «Где используется этот компонент?», «Какие функции импортируются из utils?», «Где логика по авторизации?». Идеально. Даже если ты впервые видишь проект.

3️⃣ Объяснение непонятного. Если вы только начинаете — это прям must-have. Например: «Почему здесь замыкание?», «Чем отличается useMemo от useCallback?». Бот объясняет терпеливо, с примерами. Как сеньор, который никогда не скажет: «Гугли сам».

🤔 А не отупеем ли мы от таких инструментов?

Хороший вопрос. Всё зависит от того, как вы используете инструмент.

Если вы отдаёте ему работу — да, вы теряете навык.
Если вы учитесь через него — вы растёте в 3 раза быстрее.

Следующий пост будет про Agent-режим 🤖

🧠 Запускаем AI локально — как Docker, но для LLM

Если вы когда-нибудь хотели поиграться с языковой моделью прямо у себя на компе — ловите отличный инструмент: Ollama.

Ставится за пару минут, запускается одной командой в терминале. Да-да, всё настолько просто. Я даже записал короткое видео — посмотрите, убедитесь сами 🎥

Зачем это может пригодиться?

🔐 Модели работают локально — никакого облака, всё у вас. Хотите, чтобы GPT-подобный интеллект помогал с задачами, но без передачи данных наружу? Вот ваш вариант. Например, deepseek-r1:14b — отличная модель для повседневных задач, работает на уровне ChatGPT.

🧪 Сейчас доступно огромное количество моделей — общие, под код, под текст, под изображения. И все они ведут себя по-разному. С Ollama можно быстро сравнить их поведение на одних и тех же задачах — и наконец понять, какая модель подходит именно вам. Очень увлекательный процесс 🤓

🛠 Разработчикам — кайф. Ollama даёт единый API, так что можно писать свои тулзы без привязки к конкретной модели. Поменяли модель — тулза осталась та же ✨

А вообще, Ollama — это как Docker, только для LLM.

Но есть нюанс: 💾 железо. Модель требует столько оперативки, сколько весит на диске. Например, deepseek-r1:32b (32 миллиарда параметров) весит около 20 ГБ — столько и съест в RAM. На обычном ноуте можно запускать что-то попроще, для тяжёлых моделей — арендуйте виртуалку. К счастью, в 2025-м — это дело пары кликов ⚡️

Попробуйте. Установили, запустили, кайфанули.

Ну а если захотите больше примеров — пишите, покажу несколько вариантов сравнений 🙌