Ребята из Anthropic (это стартап выходцев из OpenAI, который уже произвел на свет нашумевшую Claude) тут выпустили свой опенсорсный инструмент для оценки безопасности LLM – Petri.

Если коротко, то нужен он для того, чтобы выявлять риски и нежелательные сценарии в работе ИИ, включая дезинформацию, манипуляции и скрытые формы взаимодействия.

Интересно то, что происходит это в формате обычного взаимодействия пользователя (как мы с вами) с любой ИИ, например, с теми же чат-ботами. Вам нужно только заранее задать несколько сценариев/инструкций, на базе которых и будет строиться эмуляция реальных пользователей.

В общем, я бы поиграл с этой штукой. Что вообще думаете, стоит делать какой-то упор на ИИ, LLM и прочий нейрохайп в канале? А то я хоть и ковыряю такое иногда сам, но в канал об этом не пишу.

⚡ ПБ | 😎 Чат | 🛍 Проекты