TGViewer
Machinelearning Machinelearning @ai_machinelearning_big_data · 279K subscribers
Post #10668 29.8K
⚡️ Третий случай "побега" ИИ

Meta* сообщила, что Muse Spark 1.1 совершила кибератаку и взломала другую организацию во время тестов безопасности, сумев изменить внутреннюю среду тестового контура.

СМИ растиражировали эту новость, но по факту никакого прорыва защиты не было.


Стартап Irregular, который проводил тесты для Meta, допустил критическую ошибку в конфигурации - вместо создания изолированной песочницы инженеры случайно подключили тестовый стенд к интернету и Muse Spark просто пошла по открытому маршруту, воспользовавшись примитивными уязвимостями сторонней инфраструктуры.

Представители Irregular подтвердили, что модель не совершала полноценный побег из изолированной среды и не применяла сложных хакерских техник.

🟡Контекст

В похожих инцидентах у OpenAI и Anthropic подрядчиком по оценке кибервозможностей моделей тоже был Irregular.

Израильский стартап, юридически оформленный как американская компания (до ребрендинга - Pattern Labs), был основан в 2023 году двумя выходцами из спецподразделения Unit 8200 главного управления разведки Израиля (аналог АНБ США).

Ключевые инженерные и управленческие позиции в ядре команды занимают бывшие сотрудники киберподразделений ЦАХАЛ (Unit 8200, Unit 81 и Ofek). Всего команда Irregular насчитывает 40 сотрудников.

В 2025 году стартап привлёк рекордные для своей ниши 80 млн. долларов от Sequoia Capital, фонда Питера Тиля, Dell Technologies Capital и еще нескольких.

Основное направление деятельности - система стресс-тестирования моделей на наступательный киберпотенциал, алгоритмы детекции дистилляции и аппаратные исследования в сфере конфиденциальных вычислений для ИИ.

Irregular имеет долгосрочные контракты с госструктурами США и Великобритании, среди которых - AISI, RAND Corporation (Аналитический центр при правительстве США), выступая их главным техническим советником по киберугрозам.

*организация признана экстремистской, её деятельность на территории РФ запрещена.


@ai_machinelearning_big_data

#news #ai #ml
  • 😁 80
  • 🤣 30
  • 👍 10
  • ❤ 8
  • 👻 3
  • 🔥 2
  • 🥰 2
  • 🥱 2
  • 🤬 1
More from @ai_machinelearning_big_data
  1. Sep 29, 2026🌟 OpenScience: персональный учёный с режимом автономных экспериментов Стартап Synthetic S…
  2. Sep 28, 2026⚡️ Claude Sonnet 5.5 Sonnet 5.5 - вторая модель линейки 5.5 после Opus 5.5. Anthropic пози…
  3. Sep 28, 2026📌 Dream-RSI: агент улучшает стратегию поиска решений на основе прошлых запусков Google оп…
  4. Sep 28, 2026🦾 Практический RecSys: собери рекомендательную ленту с помощью ML — на бесплатном вебинар…
  5. Sep 28, 2026🤖 Робот сначала ошибается в симуляции, а потом исправляет движение до попытки в реальном…
  6. Sep 28, 2026⚡️ OpenAI сосредоточила большую часть исследований на GPT-7, GPT-8 и следующих поколениях…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →