Чат комьюнити:
https://t.me/bolgarkachat
Связь с автором @mifkilla
Приватный канал и мои курсы
@kelevra_Private_bot
Post #2324
1.25K
🔥 Hack time друзья!
Ну как вам новая GPT 6 Astra? Не надоели еще новости про нее?
Мне лично уже надоело, ну что поделать, такова AI индустрия сейчас. Много хайпа, мало толковых новостей.
Из того что действительно стоит внимания: Дарио Амодей, глава Anthropic, 12 сентября опубликовал эссе «We Must Pace the Frontier». Если коротко: притормозите, пожалуйста, все.
Вот пара самых главных мыслей оттуда.
⚡️ Первое и самое сочное. Через 6-12 месяцев рой агентов может захватить весь интернет устойчивым ботнетом. Ущерб: сотни миллиардов долларов.
Это не блогер с ютуба написал. Это глава компании, которая эти самые модели и делает.
Второе. Он прямо ссылается на недавний инцидент с роем агентов OpenAI и Hugging Face, тот самый, по которому Сенат начал расследование. И говорит, что могло быть намного хуже.
Третье. Рекурсивное самоулучшение, когда ИИ проектирует или обучает следующую версию себя, надо делать очень осторожно, «если вообще делать».
Четвёртое, и тут интересно. Anthropic в одностороннем порядке даёт внешним оценщикам доступ уровня сотрудника. Чтобы проверяли процедуры безопасности и сообщали об инцидентах. И зовут остальных сделать так же.
Альтман согласился в тот же день. Маск написал коротко: «Дарио прав».
Редкий случай, когда конкуренты публично сходятся во мнении.
🍯 А теперь ложка дёгтя.
Венчурный инвестор Чамат Палихапитийя написал: «Дарио выступает за то, чтобы остановить открытый код и сконцентрировать огромную технологическую и экономическую власть у Anthropic».
Плюс обе компании готовятся к выходу на биржу. Совпадение или нет, решайте сами.
⸻
Я же никаких эссе не пишу, но хочу продолжить тему из прошлого поста, где мы исследовали открытые Ollama сервера.
Первая очень сильная мысль Амодеи, про ботнет нового поколения.
Давайте я подсвечу предметно угрозы, которые МЫ САМИ формируем. Никаких китайских хакеров не надо, справляемся сами.
Ну что ж, в прошлый раз мы выяснили, что мекка AI это Китай, а лучше всех Китай индексирует китайская FOFA. Её и возьмём снова.
🔌 ПОВЕРХНОСТЬ ПЕРВАЯ: AI-РОУТЕРЫ
Объясню, что за зверь, штука новая.
У вас Claude Code, Cursor, ещё пара инструментов. У каждого свои ключи и лимиты. Один провайдер лёг, всё встало. Кончился лимит на середине задачи, сидите курите.
Роутер решает красиво. Ставите прослойку локально, все инструменты смотрят в неё, она сама раскидывает запросы. Кончился лимит у одного, переключилась на второго. Инструмент не заметил.
Самый популярный, LiteLLM, набрал сорок тысяч звёзд. Порт 4000 зашит в официальном образе.
➡️ 6 878 хостов
Три из трёх примеров дают Swagger UI на uvicorn, фирменный отпечаток, ни с чем не спутаешь.
И это один роутер из десятка.
Теперь прикиньте, что за этой прослойкой. Ключи ко всем провайдерам, история запросов, иногда кэш ответов. Один адрес, и ты внутри всей AI-инфраструктуры конторы.
⚠️ Дисклеймер про цифры. Я взял четырнадцать дорков, надёжных цифр получилось три. Остальное мусор: chroma нашёл семнадцать тысяч панелей Coolify, vLLM тысячу фронтендов SillyTavern, а два дорка выдали двести и восемьсот тысяч, где в примерах доменная ферма и пустые заголовки.
Счётчик не подсвечивает, что нашёл не то. Проверять надо глазами.
🧠 ПОВЕРХНОСТЬ ВТОРАЯ: ОТКРЫТАЯ ПАМЯТЬ АГЕНТОВ
Вот тут интересное.
Сначала про RAG, без этого дальше не понять.
Модель знает только то, на чём обучалась. Ваши внутренние документы она не видела. Дообучать дорого, поэтому делают проще: документы режут на куски, каждый превращают в набор чисел, вектор, и складывают в отдельную базу.
Агент получает вопрос, вопрос тоже становится вектором, база ищет похожие по смыслу куски и подсовывает модели. Она отвечает уже по вашим документам.
Так делают корпоративных ботов по внутренней документации.
❗️ Ключевое: агент доверяет этой базе по определению. Не спрашивает, откуда документ и кто его положил. Берёт то, что вернул поиск, и считает фактом. Это его справочник.
Смотрим, сколько справочников торчит наружу:
➡️ 1 588 ➡️ 369 ➡️ 111
Около двух тысяч подтверждённых.
И вишенка: аутентификации у них нет по умолчанию. Не слабый пароль, механизма нет вообще.
Логика авторов понятна: база локальная, зачем ей пароль на своей машине. Потом человек поднимает в докере, докер слушает на всех интерфейсах, и база уезжает в интернет вместе с проектом.
Никто не ошибся. Все сделали как в инструкции.
💣 ПОЧЕМУ ЭТО ОПАСНЕЕ, ЧЕМ КАЖЕТСЯ
Открытая база это не только почитать. Туда можно положить.
Схема простая:
1️⃣ Документ ложится в открытую базу
2️⃣ Тишина, всё работает штатно
3️⃣ Через неделю кто-то спрашивает агента «как настроить доступ к серверу»
4️⃣ Поиск по смыслу находит документ
5️⃣ Агент выполняет как инструкцию
Внутри документа никакого эксплойта. Обычный текст: поставь компонент, подключись к адресу. Агент читает это не как данные, а как руководство из собственного справочника.
Чем это отличается от обычной промпт-инъекции.
Обычная целится в агента здесь и сейчас: сработала, он сделал вредное один раз, и всё.
Отравление базы целится в вопрос. Документ лежит и ждёт, пока кто-нибудь не спросит нужное. Может ждать месяц. Система всё это время выглядит здоровой.
📚 Похоже на закладку в библиотечном каталоге. Книги настоящие, библиотекарь честный, читатели ничего не подозревают. Просто в одной карточке кто-то поменял номер полки.
🎯 К ЧЕМУ ЭТО ВЕДЁТ
Роутер это точка, через которую идут все ключи и все запросы. Векторная база это то, чему агент верит без вопросов.
И то и другое ставят за пять минут, оно сразу работает, и никто не думает про аутентификацию, потому что её там просто нет как опции.
Дальше эти агенты получают инструменты. Терминал, файлы, доступ к репозиториям, иногда деплой. Не через год, уже сейчас, у вас на рабочей машине.
Амодеи пугает роем агентов через полгода. Проблема в том, что части этого роя уже расставлены. Не хватает только того, кто догадается их собрать.
Разница с прошлым постом принципиальная.
У открытых Ollama воровали мощность. Обидно, дорого, но лечится: докупил железо, закрыл порт, живёшь дальше.
Здесь подменяют источник правды.
Мощность вы докупите. А испорченный справочник будет отвечать неправильно, и агент при этом честен. Он не сломан, не взломан, не заражён. Он добросовестно пересказывает то, что нашёл в памяти.
И попробуйте это заметить.
⸻
📌 Завтра выложу вторую часть: что с этим делать конкретно, по пунктам.
А если хотите разобраться глубже, чем помещается в пост, через три дня стартует RTAIO2.
Там этот материал занимает не абзац, а несколько гайдов: механика отравления памяти, каналы доставки, разбор реальных инцидентов и правовой контур для России, которого нет больше нигде.
Программа: https://rtaio.pro
Вопросы в личку: @mifkilla
🏴 Hack the Planet!
rtaio.pro RTAIO2 · Пентест с ИИ-агентами · Курс Мифа Настраиваем агентов, проверяем находки и разбираем защиту. Видео, текстовые методички и вопросы автору в Telegram. Первая часть не обязательна. Старт 20 сентября. Ну как вам новая GPT 6 Astra? Не надоели еще новости про нее?
Мне лично уже надоело, ну что поделать, такова AI индустрия сейчас. Много хайпа, мало толковых новостей.
Из того что действительно стоит внимания: Дарио Амодей, глава Anthropic, 12 сентября опубликовал эссе «We Must Pace the Frontier». Если коротко: притормозите, пожалуйста, все.
Вот пара самых главных мыслей оттуда.
⚡️ Первое и самое сочное. Через 6-12 месяцев рой агентов может захватить весь интернет устойчивым ботнетом. Ущерб: сотни миллиардов долларов.
Это не блогер с ютуба написал. Это глава компании, которая эти самые модели и делает.
Второе. Он прямо ссылается на недавний инцидент с роем агентов OpenAI и Hugging Face, тот самый, по которому Сенат начал расследование. И говорит, что могло быть намного хуже.
Третье. Рекурсивное самоулучшение, когда ИИ проектирует или обучает следующую версию себя, надо делать очень осторожно, «если вообще делать».
Четвёртое, и тут интересно. Anthropic в одностороннем порядке даёт внешним оценщикам доступ уровня сотрудника. Чтобы проверяли процедуры безопасности и сообщали об инцидентах. И зовут остальных сделать так же.
Альтман согласился в тот же день. Маск написал коротко: «Дарио прав».
Редкий случай, когда конкуренты публично сходятся во мнении.
🍯 А теперь ложка дёгтя.
Венчурный инвестор Чамат Палихапитийя написал: «Дарио выступает за то, чтобы остановить открытый код и сконцентрировать огромную технологическую и экономическую власть у Anthropic».
Плюс обе компании готовятся к выходу на биржу. Совпадение или нет, решайте сами.
⸻
Я же никаких эссе не пишу, но хочу продолжить тему из прошлого поста, где мы исследовали открытые Ollama сервера.
Первая очень сильная мысль Амодеи, про ботнет нового поколения.
Давайте я подсвечу предметно угрозы, которые МЫ САМИ формируем. Никаких китайских хакеров не надо, справляемся сами.
Ну что ж, в прошлый раз мы выяснили, что мекка AI это Китай, а лучше всех Китай индексирует китайская FOFA. Её и возьмём снова.
🔌 ПОВЕРХНОСТЬ ПЕРВАЯ: AI-РОУТЕРЫ
Объясню, что за зверь, штука новая.
У вас Claude Code, Cursor, ещё пара инструментов. У каждого свои ключи и лимиты. Один провайдер лёг, всё встало. Кончился лимит на середине задачи, сидите курите.
Роутер решает красиво. Ставите прослойку локально, все инструменты смотрят в неё, она сама раскидывает запросы. Кончился лимит у одного, переключилась на второго. Инструмент не заметил.
Самый популярный, LiteLLM, набрал сорок тысяч звёзд. Порт 4000 зашит в официальном образе.
port="4000" && body="litellm"
➡️ 6 878 хостов
Три из трёх примеров дают Swagger UI на uvicorn, фирменный отпечаток, ни с чем не спутаешь.
И это один роутер из десятка.
Теперь прикиньте, что за этой прослойкой. Ключи ко всем провайдерам, история запросов, иногда кэш ответов. Один адрес, и ты внутри всей AI-инфраструктуры конторы.
⚠️ Дисклеймер про цифры. Я взял четырнадцать дорков, надёжных цифр получилось три. Остальное мусор: chroma нашёл семнадцать тысяч панелей Coolify, vLLM тысячу фронтендов SillyTavern, а два дорка выдали двести и восемьсот тысяч, где в примерах доменная ферма и пустые заголовки.
Счётчик не подсвечивает, что нашёл не то. Проверять надо глазами.
🧠 ПОВЕРХНОСТЬ ВТОРАЯ: ОТКРЫТАЯ ПАМЯТЬ АГЕНТОВ
Вот тут интересное.
Сначала про RAG, без этого дальше не понять.
Модель знает только то, на чём обучалась. Ваши внутренние документы она не видела. Дообучать дорого, поэтому делают проще: документы режут на куски, каждый превращают в набор чисел, вектор, и складывают в отдельную базу.
Агент получает вопрос, вопрос тоже становится вектором, база ищет похожие по смыслу куски и подсовывает модели. Она отвечает уже по вашим документам.
Так делают корпоративных ботов по внутренней документации.
❗️ Ключевое: агент доверяет этой базе по определению. Не спрашивает, откуда документ и кто его положил. Берёт то, что вернул поиск, и считает фактом. Это его справочник.
Смотрим, сколько справочников торчит наружу:
port="6333" && body="qdrant"
port="8080" && body="weaviate"
port="6334"
➡️ 1 588 ➡️ 369 ➡️ 111
Около двух тысяч подтверждённых.
И вишенка: аутентификации у них нет по умолчанию. Не слабый пароль, механизма нет вообще.
Логика авторов понятна: база локальная, зачем ей пароль на своей машине. Потом человек поднимает в докере, докер слушает на всех интерфейсах, и база уезжает в интернет вместе с проектом.
Никто не ошибся. Все сделали как в инструкции.
💣 ПОЧЕМУ ЭТО ОПАСНЕЕ, ЧЕМ КАЖЕТСЯ
Открытая база это не только почитать. Туда можно положить.
Схема простая:
1️⃣ Документ ложится в открытую базу
2️⃣ Тишина, всё работает штатно
3️⃣ Через неделю кто-то спрашивает агента «как настроить доступ к серверу»
4️⃣ Поиск по смыслу находит документ
5️⃣ Агент выполняет как инструкцию
Внутри документа никакого эксплойта. Обычный текст: поставь компонент, подключись к адресу. Агент читает это не как данные, а как руководство из собственного справочника.
Чем это отличается от обычной промпт-инъекции.
Обычная целится в агента здесь и сейчас: сработала, он сделал вредное один раз, и всё.
Отравление базы целится в вопрос. Документ лежит и ждёт, пока кто-нибудь не спросит нужное. Может ждать месяц. Система всё это время выглядит здоровой.
📚 Похоже на закладку в библиотечном каталоге. Книги настоящие, библиотекарь честный, читатели ничего не подозревают. Просто в одной карточке кто-то поменял номер полки.
🎯 К ЧЕМУ ЭТО ВЕДЁТ
Роутер это точка, через которую идут все ключи и все запросы. Векторная база это то, чему агент верит без вопросов.
И то и другое ставят за пять минут, оно сразу работает, и никто не думает про аутентификацию, потому что её там просто нет как опции.
Дальше эти агенты получают инструменты. Терминал, файлы, доступ к репозиториям, иногда деплой. Не через год, уже сейчас, у вас на рабочей машине.
Амодеи пугает роем агентов через полгода. Проблема в том, что части этого роя уже расставлены. Не хватает только того, кто догадается их собрать.
Разница с прошлым постом принципиальная.
У открытых Ollama воровали мощность. Обидно, дорого, но лечится: докупил железо, закрыл порт, живёшь дальше.
Здесь подменяют источник правды.
Мощность вы докупите. А испорченный справочник будет отвечать неправильно, и агент при этом честен. Он не сломан, не взломан, не заражён. Он добросовестно пересказывает то, что нашёл в памяти.
И попробуйте это заметить.
⸻
📌 Завтра выложу вторую часть: что с этим делать конкретно, по пунктам.
А если хотите разобраться глубже, чем помещается в пост, через три дня стартует RTAIO2.
Там этот материал занимает не абзац, а несколько гайдов: механика отравления памяти, каналы доставки, разбор реальных инцидентов и правовой контур для России, которого нет больше нигде.
Программа: https://rtaio.pro
Вопросы в личку: @mifkilla
🏴 Hack the Planet!
- 🔥 29
- ❤ 7
- 👍 6
- 👎 1
