Горизонт сингулярности

⚡️ХОРОНИМ свободу Android — Google ЗАПРЕЩАЕТ устанавливать на смартфоны .apk файлы из инета. Теперь всё будет как и на iOS: установить дадут только проверенный софт. Это:

🔅УБИВАЕТ фишку системы, которая давала свободу юзеру накатить ЛЮБОЕ приложение в обход официальных магазинов;
🔅Заставит разработчиков пройти верификацию у Гугла, иначе их НЕ допустят к магазину приложений;
🔅Обяжет компании подтверждать данные, если они раньше не работали с Google Play.

Систему запустят в октябре — уже через МЕСЯЦ! Ещё есть время накачать любых приложений.

🙂 Не баг, а фича

Мощный ход, одна из главных фичей андройда вдруг кончилась.

🚀 Seed-OSS-36B-Instruct от ByteDance — новая открытая модель с контролем глубины мышления

36B параметров с GQA attention
Контекст 512K токенов
Совместимость с vLLM и Transformers

Бенчмарки — SOTA среди открытых моделей:

MMLU: 90.6% (vs 78.6% у Gemma3-27B)
LiveCodeBench: 66.8%
SWE-Bench Verified: 48.4%
AIME 2024: 90.3%
ArcAGI V2 - 50.3%
SimpleQA 23.7%
Agent: SWE-Bench Verified
(OpenHands) 41.8%

Про thinking budget:
- Задается через лимит токенов на размышления (512, 1K, 2K, 4K, 8K, 16K)
- Модель периодически отчитывается о потраченных/оставшихся ресурсах
- При исчерпании бюджета выдает финальный ответ
- Budget = 0 → прямой ответ без раздумий

Требует ~77GB VRAM (FP16), но thinking budget позволяет оптимизировать затраты — простые задачи решает быстро, сложные получают необходимое время на размышления.

Есть GGUF вариант под  LM Studio и Ollama в Q4 - 20 гигов
Q8 - 38.5 Gb

Apache 2.0 лицензия - можно использовать в коммерции.

HF: https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct

#SeedOSS #ByteDance #OpenSource #Китай
———
@tsingular

Вкуснооо. Вижу большой потенциал в этой модели, особенно в возможностях коммерческого использования.

MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers

Свежий бенчмарк от Salesforce, на этот раз тестируют навыки работы LLM с популярными MCP-серверами. MCP — это предложенный Anthropic в конце 2024-го года протокол взаимодействия LLM со внешними системами и источниками данных. По сути те же инструменты, только собранные в наборы для отдельных сервисов: поиск, Гугл Карты, итд. При этом, так как технология MCP — «молодая», модели ещё не настолько хорошо с ними работают и не обучались на них по сто тыщ раз.

Авторы собрали 11 MCP серверов (на 133 инструмента) из 6 доменов, и придумали 231 задачу, которая решается с использованием одного или нескольких MCP:

— Для домена навигации по картам выбрали 4 типа подзадач, включая планирование маршрута, оптимальные остановки, поиск местоположения и поиск по ID конкретного заведения

— Для домена управления репозиторием с кодом тоже 4 типа подзадач, включая настройку проекта, отслеживание проблем, настройку автоматизации и интеграцию кода

— Для домена финансового анализа 5 подзадач: анализ портфеля, финансовая отчетность, торговые стратегии, институциональные активы и анализ дивидендов

— Для домена 3D-проектирования (используют Blender) 5 подзадач, включая создание объектов, настройку материалов, конфигурацию освещения, настройки рендеринга и иерархию сцен

— Для домена автоматизации браузера 5 подзадач: бронирование билетов, спортивная аналитика, академические исследования, исследование платформы и навигация по карте

— Для домена веб-поиска тоже 5: идентификацию человека, обнаружение сущностей, сопоставление метрик, сложные рассуждения и поиск фактов.

Существенная часть задач требует больше 5 обращений к MCP-серверу, что подразумевает хорошую работу LLM с длинным контекстом. Результат работы оценивается по трём критериям: оценка формата, простая сверка ответа и динамическая. Последняя — это для запросов в духе «какая сегодня погода», так как ответ меняется из раза в раз.

Авторы отсеивали задачи, которые LLM могут сделать без MCP серверов или если модель решает задачу 5 раз из 5 — они были слишком лёгкими.

🚀 От больших языковых моделей к большим моделям действий: Как AI учится действовать в реальном мире

Вы когда-нибудь задумывались, как мы, люди, учимся действовать в физическом мире? Мы не читаем книг о том, как держать ложку или наливать воду в стакан — мы учимся на собственном опыте. Именно этот принцип теперь пытаются воплотить в искусственном интеллекте с помощью Large Action Models (LAMs) — больших моделей действий.

🤔 Что такое LAMs и почему они важны?

Если LLM (Large Language Models) — это модели, которые понимают и генерируют текст, то LAMs — это модели, которые выполняют действия в физическом или цифровом мире. Они способны не только рассуждать, но и действовать на основе своих рассуждений.

🔹 Пример: Попросите LAM «заказать такси», и он не просто опишет процесс, а реально откроет приложение, выберет маршрут и подтвердит заказ.

🧠 Почему научить AI действиям так сложно?

Главная проблема — данные. Человеческий опыт действий в мире практически не оцифрован. Мы не описываем в тексте, как именно нужно двигать рукой, чтобы взять чашку — мы просто делаем это. Для AI это стало вызовом, особенно в робототехнике, где не хватает данных о том, какие действия к каким результатам приводят.

🏗 Как устроены LAMs?

LAMs объединяют несколько ключевых компонентов:

Восприятие (Perception): Модель анализирует multimodal-входы — текст, изображения, глубину, тактильные данные.

Нейро-символьный reasoning: Комбинирует нейросетевые методы с логическим выводом, чтобы понимать абстрактные концепции и планировать действия.

Планирование действий (Action Planning): Модель разбивает задачу на шаги и генерирует последовательность действий.

Исполнение (Execution): Модель взаимодействует с окружением через API, инструменты или физические actuators.

🚀 Примеры применения LAMs

LAMs уже начинают применяться в различных областях:

Робототехника: Автономные роботы, которые понимают команды и выполняют задачи в физическом мире.

Цифровые ассистенты: Автоматизация сложных многошаговых задач, например, бронирование столика или покупка билетов.

Клиентский сервис: Боты, которые не только отвечают на вопросы, но и выполняют действия — например, обработка возвратов или обновление учетных записей.

Здравоохранение и образование: Автоматизация рутинных задач и персонализированное обучение.

⚙️ Технические инновации в LAMs

Одна из ключевых инноваций — представление действий в виде токенов, аналогичных текстовым токенам в LLM. Например, каждое действие (например, движение робота) дискретизируется и разбивается на токены, которые модель предсказывает авторегрессивно. Это позволяет использовать архитектуры, похожие на те, что используются в LLM.

Также важно отметить использование нейро-символьных методов (neuro-symbolic AI), которые сочетают силу нейросетей (распознавание паттернов) с логическим выводом символьного AI. Это делает рассуждения моделей более интерпретируемыми и обоснованными.

🔮 Что ждет LAMs в будущем?

LAMs — это шаг к искусственному общему интеллекту (AGI), поскольку они позволяют AI не только «думать», но и «действовать». Однако предстоит решить еще много проблем:

Безопасность: Действия в реальном мире должны быть предсказуемыми и безопасными.

Обобщение: Модели должны уметь адаптироваться к новым, незнакомым ситуациям.

Эффективность данных: Обучение требует огромных наборы данных, включающих как сенсорную информацию, так и действия.

💡 Выводы для бизнеса и инженеров

Для инженеров: LAMs — это не просто очередной тренд в AI, а изменение парадигмы. Вместо того чтобы проектировать системы, которые только анализируют данные, мы начинаем строить системы, которые действуют автономно.

Для бизнеса: LAMs обещают радикальную автоматизацию сложных процессов, требующих принятия решений и взаимодействия с миром. Это может значительно снизить операционные затраты и создать новые продукты.

LAMs — это мост между цифровым и физическим миром. И хотя технология еще молода, ее потенциал огромен.

#LAM #AI #Robotics #AGI #Automation

Немного мемов я понял как рисовать или дорисовывать мемасики :)

Мне очень понравился канал. Если интесно скидывать от туда интесное ставьте реакции.

🔥 Сокращаем токены LLM на 40%: алгоритм для экономии
Как снизить стоимость API без потери контекста

💡 Проблема:
История чатов "раздувает" промпты:
➔ К 10-му сообщению токены растут до 4000+
➔ Стоимость вызовов API кратно увеличивается

🛠 Решение: Умная память Mem0
Ключевая идея: не все сообщения требуют ответа LLM
• Вопросы → генерируем ответ
• Утверждения → обновляем "базу знаний"

📊 Как работает алгоритм:

1️⃣ Классификация:
LLM определяет тип сообщения (вопрос/утверждение)

2️⃣ Для утверждений:
◦ Извлекаем факты ("Бюджет кампании: 5 млрд руб.")
◦ Обновляем память:
- ADD (новый факт)
- UPDATE (уточнение)
- NOOP (дубликат)

3️⃣ Для вопросов:
◦ Ищем релевантные факты в памяти
◦ Генерируем ответ только по нужному контексту

⚡️ Результаты:
• Экономия токенов: до 40% за 10 сообщений
• Для 100+ диалогов: экономия >60%
• Снижение стоимости API без потери качества

🛠 Техническая реализация:
• Векторные эмбеддинги для поиска
• Локальное хранилище памяти (вместо БД)
• Оптимизированные промпты для классификации

✅ Когда применять:
• Чат-боты с длинной историей
• RAG-системы с частыми обновлениями данных
• Продукты с огр бюджетом на LLM-вызовы

Пример реализации: https://github.com/FareedKhan-dev/save-llm-api-cost

#LLM_оптимизация #API_экономия #ИИ_разработка

Поставил эксперимент на своей старой карточке. Которую когда то покупал под тензорфлоу :) Вердикт даже на старом железе GPT-OSS показывает нормальную работу. на скрине видно, что скорость работы около 10 токенов а это уже весьма работоспособно для одного пользователя. Тестировал на малой модели 20В, Модель 120В Также запустить смог выдает 2-3 токена в секунду. Мало но терпимо.

Помните модель от Гугла? Она все еще в research preview, то есть доступна только рисечерам.

А сегодня Tencent выложили в open-source аналогичную модель, которая позволяет генерировать виртуальные интерактивные миры.

Любой из вас может на всего лишь одной 4090 запустить бесконечный постоянно генерируемый виртуальный мир всего лишь по одному текстовому промту. Если в течении месяца на основе этой модели не появится стартап с как минимум $100M капитализацией на старте, который будет продавать метаверс опыт или "генеративный майнкрафт", где пользователь может общаясь с миром менять его, - я буду очень удивлен.