Big Data AI

💎 RisuAI — кроссплатформенный клиент для общения с ИИ. Этот проект объединяет поддержку разных языковых моделей в одном интерфейсе с необычными функциями. Например, можно создавать групповые чаты с несколькими персонажами, добавлять эмоциональные изображения в диалоги и использовать TTS для озвучки ответов.

Проект имеет встроенный редактор regex для кастомизации вывода моделей и система «Lorebook» для сохранения контекста беседы. Есть версии для веба, ПК и Docker.

🤖 GitHub

@bigdatai

Посвящается всем вайбкодерам 👍

📐 gpt-oss работает на специальном формате промптов — Harmony, и без него просто не будет выдавать корректные ответы.

Зачем нужен Harmony?
Этот формат нужен для:
— 🧠 генерации chain of thought рассуждений
— 🔧 корректного вызова функций и использования инструментов
— 📦 вывода в разные каналы: обычный ответ, reasoning, tool call
— 🗂️ поддержки tool namespaces и иерархических инструкций

💡 Harmony имитирует OpenAI Responses API, так что если вы с ним работали — будет легко освоиться.

👉 Если вы используете gpt-oss через HuggingFace, Ollama или vLLM, волноваться не нужно — формат уже встроен.
Но если строите свой inference стек — обязательно изучите [гайд по Harmony](https://github.com/openai/harmony).

Без него модель просто не будет работать как надо.


💻 GitHub: https://github.com/openai/harmony


#AI #OpenAI #Harmony

🧠ИИ открыл новые законы физики — понятным языком

Учёные из Университета Эмори (США) дали ИИ задачу не «угадывать результаты», а самому вывести формулы. Вот что получилось.

🔍 Что исследовали
- Пыльная плазма — это горячий ионизированный газ, в котором летают микроскопические пылевые частицы.
- Частицы отталкиваются и притягиваются сложным образом; классическая теория не всё объясняла.

🧠 Как работал ИИ
- Ему показали короткие 3-D видеозаписи движения частиц (маленький датасет).
- В алгоритм заранее «вшили» базовые принципы: сопротивление воздуха, гравитацию.
- ИИ искал уравнения, которые лучше всего описывают траектории.

📈 Что открыл
- Нереципрокные силы: сила от A к B ≠ сила от B к A. Раньше про них только догадывались.
- Исправил старую ошибку: заряд частицы зависит от её размера иначе, чем считали.
- Показал, как быстро затухают взаимодействия с расстоянием — формула тоже обновилась.

🚀 Почему это важно
- Малый объём данных: хватает секундных видеороликов.
- Обычный ПК: нужен лишь настольный компьютер, не суперкомпьютер.
- Метод переносится на любые «многие частицы» — от порошковых материалов до клеток в биологии.

Вывод: ИИ уже способен не только анализировать данные, но и выводить новые законы природы. Скорость открытий растёт экспоненциально.

https://interestingengineering.com/innovation/ai-decodes-dusty-plasma-new-forces-physics

@data_analysis_ml

🚨 ALERT: Новый ИИ‑скам — Airbnb‑хост сгенерировал фейк‑фото, чтобы выбить £12,000 с гостя

Хост использовал генеративный ИИ, чтобы сделать вид, будто гость сломал кофейный столик. Airbnb поверили картинке и потребовали компенсацию.

Гостье пришлось обратиться в СМИ, чтобы доказать свою невиновность.

📰 По данным The Guardian:

— Через 5 дней после вмешательства журналистов Airbnb согласились на апелляцию
— Предложили вернуть £854 из £4,269
— После отказа гостья добилась полного возврата
— И негативный отзыв хоста удалили

🤖 Что это значит?

Создать фейковое изображение с ИИ — дешево и просто. А значит, и фейковые обвинения — теперь тоже.

Компании вроде Airbnb обязаны иметь:
⚠️ AI-детекторы на стороне модерации
☎️ Канал экстренной поддержки при ИИ-манипуляциях
🔍 Независимую оценку при спорных случаях

То, что человеку пришлось идти в прессу, чтобы добиться справедливости — тревожный сигнал.

Это и есть пост-генеративная реальность. И большинство компаний, правительств и платформ к ней до сих пор не готовы.

📈 ИИ уже дал миру $97 млрд пользы — но их не видно в статистике

Официальные доходы OpenAI, Google, Microsoft и Anthropic от генеративного ИИ — около $7 млрд в год.
Но новая экономическая модель показывает: реальная ценность для людей — почти $97 млрд.

💡 Почему эту сумму не видно в ВВП?

Потому что люди используют ChatGPT, Gemini и другие ИИ-сервисы бесплатно или условно-бесплатно.
А ВВП считает только реальные деньги, которые прошли через кассу.

🧪 Как это посчитали?

Экономисты проводили онлайн-эксперименты:
👤 человеку говорят:
> «Хочешь продолжить пользоваться ИИ в следующем месяце — или отказаться и получить $X?»

📉 Увеличивают X, пока человек не скажет "ладно, забирайте".
Этот X — ценность доступа для конкретного человека.

📊 Среднее значение оказалось $98 в месяц.
82 млн пользователей × 12 месяцев × $98 = $97 миллиардов годовой "невидимой" пользы.

📌 Это называется consumer surplus — выгода, которую получает пользователь, не заплатив за продукт.
И она в 14 раз превышает все официальные продажи генеративного ИИ.

🧠 Исследователи предлагают учитывать это в новой метрике — GDP‑B, которая включает и скрытую цифровую ценность.

💬 Вывод:
ИИ уже радикально меняет экономику. Только большая часть этой пользы — не в отчётах компаний, а в жизни пользователей.

🔗 Статья: https://www.wsj.com/opinion/ais-overlooked-97-billion-contribution-to-the-economy-users-service-da6e8f55

🚀 Tencent расширяет экосистему Hunyuan LLM и выкладывают в открытый доступ еще 4 компактных моделей — 0.5B, 1.8B, 4B и 7B!

Эти модели заточены под low-power устройства: ПК, смартфоны, авто, умные дома и пользовательские GPU.

Модели легко настраиваются под вертикальные задачи и запускаются даже на одной карте.

💡 Особенности:
✅ Fast/slow thinking режимы: лаконичные или глубокие ответы
✅ 256K контекст и продвинутые агентные способности (tool use, планирование, reasoning)
✅ Хорошие метрики на тестах по языку, математике и логике
✅ Модели готовы к продакшену — работают с SGLang, vLLM, TensorRT-LLM

🖥 GitHub:
- 0.5B: https://github.com/Tencent-Hunyuan/Hunyuan-0.5B
- 1.8B: https://github.com/Tencent-Hunyuan/Hunyuan-1.8B
- 4B: https://github.com/Tencent-Hunyuan/Hunyuan-4B
- 7B: https://github.com/Tencent-Hunyuan/Hunyuan-7B

🤗 Hugging Face:
- 0.5B: https://huggingface.co/tencent/Hunyuan-0.5B-Instruct
- 1.8B: https://huggingface.co/tencent/Hunyuan-1.8B-Instruct
- 4B: https://huggingface.co/tencent/Hunyuan-4B-Instruct
- 7B: https://huggingface.co/tencent/Hunyuan-7B-Instruct

🔗 Подробнее: https://hunyuan.tencent.com/modelSquare/home/list

@ai_machinelearning_big_data


#Tencent #Hunyuan #ml #llm #ai #opensource

🚀 Mars — унифицированный фреймворк для распределённых вычислений на Python, который масштабирует NumPy, Pandas и Scikit-learn до работы с большими данными.

Проект предлагает знакомый интерфейс, но с возможностью параллельного выполнения операций на многоядерных системах или кластерах. Поддерживает интеграцию с Ray, Kubernetes и YARN для горизонтального масштабирования.

🤖 GitHub

@bigdatai

🧠 ИИ размером всего 27M превзошёл O3-mini, R1 и другие — и он вдохновлён мозгом

Исследователи создали крошечную модель — всего 27 миллионов параметров,
но она уже обходит более крупные модели вроде o3-mini и R1.

И это заставляет весь ИИ-мир выглядеть немного… нелепо.

🔍 Почему она работает так хорошо? Вот 5 ключевых идей:

1. Иерархическая обработка + рекурсия
Модель имитирует мозг: обрабатывает информацию слоями, со временем и обратной связью.

2. Устойчивая сходимость
Специальная архитектура не “застревает”, как это бывает у RNN — сходится стабильно.

3. Приближённый градиент
Обновления выполняются с постоянным объёмом памяти, без разворачивания по времени (в отличие от классических рекуррентных сетей).

4. Глубокое поэтапное обучение
Модель обучается на каждом шаге, но запоминает финальное состояние — как итог размышления.

5. Адаптивное время вычислений
Умеет переключаться между "быстрым" и "медленным" мышлением (System 1 и System 2),
используя механизм остановки + Q-learning для принятия решения, когда пора остановиться.


⚡ Эта работа показывает:
даже маленькая модель может думать глубже, если у неё хорошая архитектура.

📄 Подробнее — в исследовании: https://arxiv.org/abs/2506.21734
🛠 Github: https://github.com/sapientinc/HRM

🚀 MLE‑STAR от Google Research — новый state‑of‑the‑art агент для ML-инжиниринга

Google представил MLE‑STAR — агент на основе LLM, который автоматизирует ML-задачи разных типов (табличные данные, изображения, текст и др.) и достигает высот в сравнении с предыдущими подходами.

Что нового:

• Использует веб‑поиск для поиска современных моделей и примеров кода, чтобы создать начальное решение
• Делает абляционный анализ (ablation study), чтобы определить наиболее влиятельный компонент в ML-пайплайне, и итеративно дорабатывает его
• Развивает энсемблирование: генерирует несколько решений и собирает их в одно улучшенное, опираясь на стратегию агента
• Включает модули контроля: дебаггер, проверку утечек данных и контроль использования всех источников данных, чтобы избежать плохих практик

🧪 Результаты:
MLE‑STAR выигрывает медали в 63–64 % из бенчмарка MLE‑Bench‑Lite (Kaggle), обгоняя лучшие существующие методы (~25–26 %)

🛠 В чем плюсы:
- Снижает порог входа в ML для инженеров и организаций
- Обеспечивает адаптивность: агент извлекает свежие знания из сети, поэтому решения автоматически улучшаются с развитием ML
- Открытый исходный код — можно протестировать или встроить в собственные пайплайны

💡 Как работает:
1. Поиск нужных моделей через веб
2. Генерация и слияние лучших кандидатов
3. Абляционный анализ → выбор блока → уточнение этого блока
4. Итеративное улучшение и объединение ансамблей
5. Контрольные модули: дебаг, утечки, использование данных

🔜 Подробнее

@machinelearning_interview

#Google #GoogleResearch #ml #mle #llm

🔥 KAT-V1 — новый LLM, который умеет не переусложнять

Разработан @KwaiAICoder, специально чтобы балансировать между рассуждением и прямыми ответами.

✨ 40B параметров
✨ Step-SRPO — умное переключение режимов мышления через RL
✨ MTP + дистилляция — более дешёвое и эффективное обучение

📦 Модель уже доступна на HuggingFace:
https://huggingface.co/Kwaipilot/KAT-V1-40B

Иногда лучший ответ — это короткий ответ. Эта модель это понимает.

🧠 SmallThinker — новая серия LLM, нативно обученная для локального запуска

SmallThinker — это семейство языковых моделей, созданное с нуля для запуска на обычных устройствах:
📉 низкая память, 🐌 медленное хранилище, ❌ без GPU — и всё это без потери качества.

🔧 Технологии под капотом:
• Двухуровневая разреженность: MoE + sparse ReGLU (>60% нейронов неактивны)
• Pre-attention router: предсказание нужных экспертов заранее → читаем с SSD параллельно
• NoPE-RoPE гибрид: 1:3 глобальное:локальное внимание → KV-кэш в 4 раза меньше
• Кэширование и оффлоадинг экспертов → экономим CPU и дисковый ввод
• Sparse LM head: предсказываем подмножество словаря, не нужен полный софтмакс
• Чекпойнт-мёрджинг: баланс между универсальностью и инструкционной точностью

⚙️ Производительность (CPU-only, Q4_0):
• 🪶 4B-A0.6B (1 ГБ ОЗУ): 82.3% HumanEval, 66.1% MMLU, 108 ток/с
• 🚀 21B-A3B (8 ГБ ОЗУ): 89.6% HumanEval, 84.4% MMLU — на уровне Qwen3‑30B, но с 85× меньшим потреблением памяти

🏃‍♂️ Работает на CPU, ARM, Raspberry Pi — 20–108 токенов/сек.
📦 Полностью open-source. Готово к локальному использованию без компромиссов.

#LLM #SmallThinker #AI #LocalLLM #OpenSource

HF: https://huggingface.co/PowerInfer
PAPER: https://arxiv.org/abs/2507.20984

♾️ Infinity — высокоскоростной API для эмбеддингов и RAG. Проект превращает любые модели с Hugging Face в REST-сервис с минимальной задержкой. Поддерживает ONNX/TensorRT и работает на CPU/GPU через PyTorch и CTranslate2.

Инструмент имеет динамический батчинг и FlashAttention для максимизации производительности. Позволяет развернуть локальный аналог OpenAI Embeddings с открытыми моделями в несколько команд.

🤖 GitHub

@bigdatai

📌 Habitat-Lab — фреймворк от Facebook Research для разработки ИИ-агентов, способных взаимодействовать с виртуальными и реальными окружениями. Проект позволяет обучать агентов выполнять различные задачи: от навигации в помещениях до взаимодействия с людьми и перестановки объектов.

Фреймворк поддерживает обучение через имитацию и reinforcement learning, а также интеграцию с ROS для робототехники. Инструмент обладает модульностью: можно настраивать сенсоры агентов, создавать новые задачи и тестировать их в реалистичных 3D-сценах.

🤖 GitHub

@bigdatai