TGViewer
Тест Тьюринга Тест Тьюринга @testuring · 2.13K subscribers
Post #2217 318
🖥 Google DeepMind, Microsoft и xAI согласились отдавать свои модели на гостестирование до релиза

Center for AI Standards and Innovation (CAISI) теперь формально превращается в орган, имеющий доступ ко всем frontier-моделям США перед выходом на рынок.

CAISI работает внутри NIST — Национального института стандартов и технологий, который разрабатывает эталонные стандарты для всего: от часов до криптографии. До 2025 года CAISI назывался US AI Safety Institute. Переименование произошло под AI Action Plan: смещён акцент с «безопасности» на «стандарты и инновации» и приоритеты национальной безопасности.

Что планируют тестировать?

Три направления, которые CAISI озвучил публично: кибербезопасность, биобезопасность и химическое оружие. Тестирование пройдёт в засекреченных окружениях. CAISI открыто заявил, что будет работать с моделями, у которых сняты safeguards. То есть оценивать «голые» возможности без штатных ограничений.

Параллельно компании сообщат, какие у моделей есть скрытые возможности, обнаруженные в ходе внутреннего red-team тестирования. Уже выполнено более 40 оценок — преимущественно постфактум, после релиза.

Главный вопрос — компетенции

NIST исторически силён в измерительной науке: эталоны массы, времени, частот, криптографические стандарты (AES, SHA), методология тестирования сетей. CAISI наследует эту инженерную культуру. В апреле 2026 центр опубликовал содержательный технический отчёт о том, как ИИ-модели обходят agentic-оценки и значит умеет проводить нетривиальные исследования. Также CAISI уже провёл оценку DeepSeek V4 и опубликовал результаты с конкретными метриками.

Но есть структурный разрыв, который индустрия признаёт открыто.


Frontier-модель уровня GPT-5.5 или Mythos обходится в обучении в сотни миллионов долларов, и компании-разработчики тратят такие же суммы на внутренние safety-команды с десятками исследователей с зарплатами, которые государство платить не может. CAISI меньше лабораторий, которые он должен проверять, на порядок.

Есть три механизма, которыми CAISI закрывает этот разрыв:

1️⃣ TRAINS Taskforce. Это межведомственная группа экспертов из FBI, Министерства обороны, разведсообщества. Они дают экспертизу по конкретным угрозам, таким как биооружие, киберугрозы. В этих секторах специалисты лучше любых ML-инженеров.

2️⃣ Соглашения о совместной разработке методологии. По заявлению Microsoft, в новом соглашении компания и NIST совместно дорабатывают подходы к adversarial-тестированию: общие фреймворки, датасеты и воркфлоу. То есть индустрия фактически сама учит регулятора как себя проверять.

3️⃣ Привлечение некоммерческой лаборатории CRADA с OpenMined и MOU с GSA для оценок при федеральных закупках. CAISI подключает внешние силы там, где не хватает собственных.

Пока остаются открытыми три вопроса.

➡️ Как CAISI будет находить уязвимости класса Mythos в моделях OpenAI или Google, если для этого нужен сравнимый по мощности инструмент? Mythos нашёл 271 уязвимость в Firefox за месяц — у CAISI такой системы нет.

➡️ Что произойдёт при разногласии? Соглашения добровольные. Если CAISI сочтёт релиз небезопасным, а компания посчитает иначе, то судебный механизм пока не определён.

➡️ Распространится ли практика на opensource-модели? DeepSeek V4 уже оценивали постфактум, но pre-deployment контроль над открытыми весами технически невозможен.

Следующие месяцы покажут, превратится ли pre-deployment оценка в реальный инженерный контроль или останется ритуалом доверия.

💬 Тест Тьюринга. События в сфере ИИ. Подписаться
  • ❤ 1
  • 👍 1
  • 👎 1
  • 🔥 1
More from @testuring
  1. Sep 23, 2026ИИ, который не умеет генерить текст и картинки, но зато умеет выбирать Соавтор статьи об I…
  2. Sep 22, 2026🧪 Новый инструмент проверки научных гипотез AlphaXiv выпустила OpenResearch — открытую ра…
  3. Sep 21, 2026👿 Новости из Японии: снова оркестрация вместо одной гигантской ИИ-модели 11 сентября япон…
  4. Sep 18, 2026⚠️ ИИ уже нарушает правила, которые люди только начинают писать На этой неделе произошло с…
  5. Sep 17, 2026⚡️ Новая мировая линейка неравенства между государствами будет измеряться токенами China T…
  6. Sep 16, 2026🔐 У искусственного интеллекта появляется технадзор Сразу две новости, вышедшие за последн…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →