OpenAI объявила о приобретении Promptfoo, платформы для тестирования безопасности и оценки ИИ-систем. После закрытия сделки технологии компании войдут в продукт Frontier, корпоративную платформу для создания и эксплуатации ИИ-агентов.
Promptfoo основали Иан Уэбстер и Майкл Д'Анджело в 2024 году За неполные два года команда создала CLI-инструмент с открытым исходным кодом и набор решений, которые используют более 25% компаний из списка Fortune 500. Основная специализация — оценка поведения LLM-приложений и контролируемые попытки взломать систему, чтобы найти уязвимости до того, как это сделают злоумышленники.
Интеграция с Frontier предполагает 3 направления.
🟢Встроенное security-тестирование. Автоматические проверки на prompt injection, jailbreak, утечки данных и нецелевое использование инструментов станут нативной частью платформы.
🟢Интеграция в dev-workflows - выявлять и устранять риски можно будет прямо в процессе разработки, не откладывая безопасность на финальный этап.
🟢Аудит и комплаэнс. Встроенная отчетность поможет командам документировать тестирование и выполнять требования по управлению ИИ-рисками.
Решение о покупке основано на том, что по мере того как агенты получают доступ к реальным данным и бизнес-системам, цена ошибки резко возрастает.
Стандартных метрик качества явно недостаточно, бизнесу нужны систематические инструменты для верификации поведения агентов в нештатных ситуациях. Promptfoo именно этим и занималась, причем в open-source-формате.
OpenAI обещает продолжать развивать open-source составляющую Promptfoo параллельно с интеграцией в Frontier.
Сумма сделки не раскрывается, но по открытым данным, в июле прошлого года стартап оценили в 86 млн. долларов.
@ai_machinelearning_big_data
#news #ai #ml