Data Science | Machinelearning [ru]

LLM Embeddings: погружение в основы 🗒

LLM Embeddings — это не просто теоретическая основа, а мощный инструмент, где объясняют, как модели «понимают» текст. Эмбеддинги представляют слова, фразы или тексты в виде векторов. Эти векторы можно использовать для анализа и обработки информации с помощью машин. Однако не все эмбеддинги одинаковы. Важно выбрать правильную технику и обучить векторы для конкретных задач.

Какие вопросы раскрывает сервис:

• Как создавать качественные эмбеддинги?
• Как работают такие техники, как BERT, делающие их эффективными для обработки текста?
• Как эмбеддинги применяются в современных LLM и повышают их точность?
• Почему анализ эмбеддингов в виде графов может дать новые инсайты о структуре данных?

Понимание эмбеддингов важно не только для работы с моделями, но и для создания сложных систем анализа данных. Это открывает новые возможности для улучшения качества и точности машинного понимания.

Data Science

Google готовит революцию в мире машинного обучения: SQL, Python и Spark в одном месте 😊

По слухам, Google разрабатывает новую интегрированную среду для специалистов по машинному обучению, которая объединит SQL, Python и Apache Spark в одном рабочем пространстве. Это решение призвано устранить привычные проблемы, с которыми сталкиваются аналитики и разработчики: необходимость переключаться между различными инструментами и платформами.

Проблема, которую решает Google
Для большинства специалистов по данным процесс работы с машинным обучением выглядит так: сначала они извлекают данные с помощью SQL из баз данных, затем экспортируют их в Python, чтобы настроить модели, и, наконец, запускают вычисления на Apache Spark. Это вызывает лишнюю путаницу, задержки и дополнительные затраты времени.

Что меняет Colab Enterprise?
Google представил улучшенную версию своих блокнотов Colab Enterprise, которая должна упростить этот процесс и предоставить единое рабочее пространство для всех нужных операций:

• Предварительный просмотр ячеек SQL: Теперь разработчики смогут работать с данными непосредственно в SQL, не покидая рабочее окружение Colab.
• Интеграция Data Science Agent: Новый агент будет помогать в автоматизации анализа данных и разработки моделей машинного обучения, значительно ускоряя процесс.

Почему это важно?
Эти улучшения значительно облегчают работу специалистов по машинному обучению, устраняя необходимость в множественных экспортированных и импортированных данных между различными платформами. Теперь процесс может быть сосредоточен в одном инструменте, что повысит скорость разработки и улучшит взаимодействие с данными.

Google, похоже, готовит значительное упрощение для всех, кто работает с данными. Уменьшение необходимости в переключении между инструментами позволит ускорить рабочие процессы и улучшить производительность команд. Как вы думаете, поможет ли объединение в одной платформе ускорить процесс разработки?

Data Science

Новый метод обучения нейросетей: что предлагает Thinking Machines?

Исследователи стартапа Thinking Machines, возглавляемого Мирой Мурати, представили новую методику обучения нейросетей, которая обещает повысить стабильность и эффективность работы с моделями. В отличие от традиционных методов регулирования весов и активаций, авторы предлагают подход, который меняет саму структуру нейросетей.

Проблема, с которой сталкиваются нейросети
Во время обучения нейросетей одна из главных трудностей — это контроль за масштабами тензоров: весов, активаций и градиентов. Когда эти значения становятся слишком большими или маленькими, возникает ряд численных проблем, таких как взрывы и исчезающие градиенты, которые мешают корректному обучению. Для борьбы с этим часто используются такие методы, как gradient clipping, weight decay и layer norm, но они не решают проблему в корне.

Новая идея: обучение на многообразии
Предлагаемый подход идет намного глубже: вместо того, чтобы просто корректировать размеры тензоров, авторы предлагают ограничить сами структуры тензоров, заставив их "жить" в определённом многообразии (или manifold).

Предположим, мы хотим, чтобы веса полносвязных слоёв не растягивались слишком сильно. Для этого можно выбрать такое многообразие, где строки и столбцы матрицы ортонормированы. Это условие позволит избежать значительного увеличения нормы сигнала при обучении, что важно для стабильности сети.

— Обновление весов: В обычных нейросетях веса обновляются по стандартной формуле. Однако при использовании нового подхода, перед тем как вычесть градиент, мы должны проецировать его в касательное пространство. Это гарантирует, что обновление не выйдет за пределы нужного многообразия.

— Проекция и ретракция: Процесс обновления весов включает два этапа — проекцию градиента в нужное пространство и ретракцию для стабилизации. Это помогает минимизировать возможные численные ошибки, которые могут вывести матрицы за пределы заданного пространства.

— Равномерное движение слоёв: Для равномерной стабилизации предложено использовать "бюджет шагов", чтобы все слои модели двигались синхронно, что повышает общую стабильность.

Результаты и ограничения
На тесте с CIFAR-10 новый метод показал лучшие результаты по сравнению с популярным оптимизатором AdamW, в том числе по стабильности обучения. Однако, несмотря на перспективы, у метода есть и важные вопросы:

• Как правильно выбирать пространства для разных типов слоёв?
• Будет ли метод эффективно работать на больших моделях и на float16?
• Как его масштабировать для более сложных задач?
• И, конечно, серьёзные вычислительные затраты.

Подход Thinking Machines представляет собой интересную и фундаментальную инновацию в обучении нейросетей. Хотя этот метод ещё далёк от практического применения, его потенциал в решении проблем численной стабильности и масштабируемости нейросетей нельзя недооценивать.

🔥 — Подход имеет потенциал для масштабирования и решения текущих проблем
🤔 — Сложности с вычислениями и масштабированием остаются слишком большими

Data Science

В честь сделки с Nvidia Альтман написал новое эссе под названием "Изобилие интеллекта"

Оно небольшое, поэтому прямо тут приведем перевод полностью с небольшими сокращениями:

Рост использования AI-сервисов поражает, и мы ожидаем, что в будущем он станет ещё более стремительным.

По мере того как ИИ становится умнее, доступ к нему может стать не только ключевым драйвером экономики, но и со временем – базовым правом человека. Почти каждый захочет, чтобы у него было больше ИИ, работающего на его благо.

Чтобы обеспечить миру необходимые мощности для инференса и обучения всё более совершенных моделей, мы закладываем фундамент для масштабного роста AI-инфраструктуры.

Если ИИ сохранит текущую траекторию развития, нас ждут невероятные возможности. Например, с 10 гигаваттами вычислительных мощностей ИИ может найти способ вылечить рак или создать персонализированное обучение для каждого ребёнка на Земле. Но если мощности будут ограничены, придётся выбирать, что важнее. Никто не хочет делать такой выбор – значит, нужно строить.

Наша цель проста: создать фабрику, которая сможет выпускать по гигаватту новых AI-мощностей каждую неделю. Это невероятно сложная задача, требующая инноваций на всех уровнях – от чипов и энергетики до строительства и робототехники. Мы уже активно работаем над этим и верим, что это возможно. В нашем понимании, это может стать самым важным инфраструктурным проектом в истории.

В ближайшие месяцы мы поделимся планами и расскажем о партнёрах, а позже о том, как будем финансировать проект. Ведь рост вычислительных мощностей – ключ к росту дохода, и у нас есть несколько нестандартных идей.

Как это будет выглядеть, пока не до конца понятно, но один гигаватт в неделю – это 52 гигаватта в год

✖️ xCode Journal

Российские ученые ускорили машинное обучение в распределенных системах без центрального сервера 😮

Новые разработки в области машинного обучения обещают улучшить эффективность распределенных систем. Ученые из России и США предложили децентрализованный алгоритм оптимизации, который работает без центрального сервера и адаптируется автоматически, без необходимости настройки параметров. Результаты исследования опубликованы на конференции NeurIPS.

Что изменилось в подходе?
Обычно в распределенных системах для координации работы используется центральный сервер, что может создавать узкие места. Децентрализованные алгоритмы, в свою очередь, требуют точной информации о параметрах задачи и сети, что делает их неэффективными в реальных условиях. Новый подход решает эту проблему, позволяя каждому агенту работать с локальной информацией и адаптировать параметры алгоритма в реальном времени.

Как работает новый алгоритм?
Используя метод «разбиения операторов» и новую метрику, алгоритм позволяет агентам самостоятельно определять оптимальный размер шага в процессе обучения, без необходимости обмениваться данными с другими агентами. Это значительно ускоряет вычисления и повышает масштабируемость, улучшая скорость сходимости.

Что показали эксперименты?
Эксперименты подтвердили, что новый алгоритм значительно превосходит существующие децентрализованные методы, особенно при решении сложных задач с большим объемом данных. Он был протестирован на задаче гребневой регрессии (ridge regression) и показал отличные результаты, особенно в слабо связанных сетях.

Этот децентрализованный подход — важный шаг к созданию более эффективных и масштабируемых систем машинного обучения, которые могут работать без центральных серверов и настраиваться под реальную сеть. Такой алгоритм может найти широкое применение в распределенных вычислениях и помочь ускорить обучение моделей в самых разных областях.

Data Science

MalTerminal: первый вирус, который пишет сам себя с помощью ИИ

Хакеру больше не нужно сидеть ночами, вылизывая строчки кода для нового вируса. Зловред использует ии, в частности GPT-4, для самостоятельного создания кода на лету. Это не просто очередной троян — он сам «думает» и адаптируется, меняя свою структуру с каждой атакой 😣

Как это работает?
В отличие от старых вирусов, которые имели заранее подготовленный код, MalTerminal генерирует уникальные скрипты в реальном времени. После запуска на заражённой машине, вирус анализирует окружение и, через GPT-4, создаёт нужный код для атаки, будь то ransomware или reverse shell. Система, защищённая от известных угроз, не распознаёт эту атаку, потому что код постоянно меняется.

Как это выглядит в действии?
Злоумышленник запускает MalTerminal, программа анализирует ОС и защиту, а затем запрашивает у GPT-4 создание Python-скрипта для отключения Windows Defender и загрузки шифровальщика. Всё происходит автоматически и без следов.

Для компаний это угроза массовых персонализированных атак, которые могут адаптироваться под каждую систему и пользователя. Для пользователей — это риск, что хакеры смогут обойти все защитные механизмы, не имея глубоких знаний в программировании.

Как нам защититься?
Простое обновление антивируса уже не спасает. Нужно переходить к новым методам защиты, которые анализируют не код, а намерения программы: что она пытается сделать, куда лезет и какие данные скачивает. Появляются решения, такие как FalconShield, которые отслеживают активность программ, взаимодействующих с ИИ.

Киберугрозы станут массовыми и персонализированными. Мы увидим рост расходов на кибербезопасность и, возможно, запуск гонки ИИ-вооружений, где нейросети будут управлять атаками. Это также может привести к глобальным угрозам, если вирусы начнут атаковать критические инфраструктуры, такие как больницы или банки.

MalTerminal — это не просто вирус, это предупреждение. ИИ стал не просто инструментом, а потенциальным оружием. Мы находимся на грани новой эры, и от нас зависит, как мы сможем с этим справиться.

Data Science

NVIDIA запускает nvmath-python: библиотеку для ускорения математических операций в Python 🍴

NVIDIA представила nvmath-python — библиотеку, которая позволяет легко интегрировать возможности её собственных математических библиотек, таких как cuBLASLt, в Python-экосистему. Это удобный инструмент для разработчиков, которым нужны мощные вычисления с оптимизацией под архитектуру NVIDIA.

Что может nvmath-python?
Библиотека совместима с популярными фреймворками и библиотеками, такими как NumPy, CuPy и PyTorch, и поддерживает высокую гибкость в настройке вычислений. Она позволяет:

• Работать с массивами из различных экосистем
• Подгонять точность вычислений, режимы умножения и операции эпилога
• Использовать передовые оптимизации от NVIDIA для ускорения математических и машинных задач

На данный момент проект находится в бета-версии, но уже доступен для использования.

Для разработчиков, работающих с числовыми вычислениями и машинным обучением, nvmath-python может стать полезным инструментом, особенно если вы хотите ускорить вычисления на архитектуре NVIDIA. Несмотря на то что библиотека пока находится в бета-версии, уже сейчас её возможности впечатляют.

Data Science

ИИ в Западных корпорациях — период «отрезвления» 😐

2025 год должен был стать годом ИИ, который обещал революцию в бизнесе. Но, оглянувшись на текущие данные, можно заметить, что картина не такая яркая, как предсказывали. 78% компаний утверждают, что внедрили ИИ хотя бы в одну бизнес-функцию, а инвестиции в технологию в 2024 году составили рекордные $250 миллиардов. Однако, на практике ситуация далеко не такая радужная.

Крупные корпорации начали замедлять внедрение ИИ: уровень применения снизился с 14% до 12% за лето 2025 года. Вместо того чтобы двигаться к масштабированию, компании начали сталкиваться с неудачами. Свежий отчет MIT также указывает на тревожный факт — 95% пилотных проектов с генеративным ИИ не доходят до реального использования.

Сегодня мы наблюдаем переходный момент — период «отрезвления», когда эйфория от первых успехов сменяется осознанием того, что не все так просто. На первый план выходят реальные проблемы: 42% лидеров признаются, что ИИ в их компаниях — это, в основном, маркетинговый шум, а 82% сотрудников скептически относятся к технологии. Вопрос стоит так: это лишь временные трудности или начало конца ИИ-революции?

Что на самом деле происходит?

В 2025 году мы сталкиваемся с очевидным расколом среди компаний: одни продолжают активно инвестировать в ИИ, другие сомневаются. Крупные корпорации начали понимать, что технологии не так безупречны, как ожидалось, и с опаской смотрят на масштабирование. В то же время малый бизнес продолжает двигаться вперед, экспериментируя с ИИ в узких сферах, что демонстрирует большую гибкость и готовность к новым решениям.

Интересно, что большая часть ИИ-инвестиций идет на улучшение внутренней инфраструктуры — не в саму технологию, а в ее обвязку. Так, например, 44% расходов направляются на создание объяснимых и безопасных моделей. Это свидетельствует о том, что компании осознали: без понимания работы ИИ и его контроля технологии могут представлять огромный риск.

Развитие ИИ идет далеко не так стремительно, как было обещано. Большинство пилотных проектов терпят неудачу, а огромные деньги по-прежнему тратятся, но отдачи нет. Параллельно с этим, реальный успех находит тот бизнес, который оценивает возможности ИИ не как магию, а как инструмент для решения четких и конкретных задач.

Сентябрь 2025 года стал моментом, когда блеф о мгновенной революции ушел в прошлое. ИИ, безусловно, обладает огромным потенциалом, но путь к его эффективному использованию требует гораздо больше усилий и осознанных решений, чем ожидали многие. Нам предстоит увидеть, кто пройдет через все трудности и выйдет на другой уровень.

ИИ станет неотъемлемой частью бизнеса?

👍 — Он будет повсюду
🤔 — Это технология для элитных компаний

Data Science

Tencent учит языковые модели «параллельному мышлению» 🐹

Исследователи из Tencent AI Lab и Университета Мэриленда предложили новый метод, который помогает языковым моделям (LLM) более эффективно масштабироваться в процессе инференса. В отличие от предыдущих подходов, этот метод позволяет моделям развивать несколько направлений рассуждений одновременно, что значительно повышает точность решений при решении сложных задач.

Метод, названный Parallel-R1, использует обучение с подкреплением, чтобы обучить модели параллельному мышлению. Это значит, что система может генерировать несколько независимых логических путей, а затем собрать их воедино для более точных выводов. Такой подход устраняет потребность в большом количестве размеченных данных, что делает его более доступным для практического применения.

Параллельное мышление активно применяется в таких передовых моделях, как Gemini Deep Think от Google, и показало себя как эффективная техника для сложных задач рассуждения. Однако многие существующие методы сталкиваются с проблемой масштабирования или требуют заранее заданных правил, что ограничивает гибкость и применимость. Parallel-R1 решает эти проблемы, позволив моделям развивать множество линий рассуждений и эффективно комбинировать их.

Метод Parallel-R1 прошел через несколько этапов обучения. Сначала модель обучалась на простых задачах, где она генерировала примеры параллельного мышления, затем метод с использованием RL был применен к более сложным задачам. Результаты показали, что модель, обученная с помощью Parallel-R1, демонстрирует более высокую стабильность и точность, чем другие подходы.

Этот метод может существенно повлиять на развитие бизнес-решений, где важны высококачественные системы рассуждения. Благодаря использованию параллельного мышления можно сделать ИИ более точным и адаптивным при решении комплексных задач в реальном времени.

Data Science

Обучить ИИ «мыслить» как человек: MIT меняет подход к планированию в LLM 🤔

Многие из нас уже привыкли слышать, что современные языковые модели (LLM) умеют «рассуждать». Но на самом деле, когда мы говорим о «разумном мышлении», мы чаще всего имеем в виду сложную генерацию текста, где модель просто вытаскивает информацию из огромной базы данных и подставляет её в ответ. В этой парадигме отсутствует настоящее планирование и глубокая логика. MIT недавно предложили альтернативный подход, который может стать важным шагом на пути к настоящему искусственному мышлению.

Их идея заключается в том, что планирование в действительности — это не просто генерация текста, а переход из одного состояния в другое. Например, логика рассуждения может быть такой: если мы находимся в состоянии А, то логически можем перейти в состояние Б, но не в В или Г. Для достижения цели нужно учитывать, какие переходы правильные, а какие нет. Это требует гораздо большей точности и осознания контекста, чем просто заполнение пробелов в тексте.

— Символьные цепочки вместо простых токенов

MIT предлагают, вместо того чтобы учить модели генерировать произвольные фразы, обучать их строить символьные цепочки. Это своеобразный способ научить модель планировать, понимая, что является логически верным переходом, а что — нет. Эти символьные цепочки могут быть проверены верификатором, что позволяет моделям улучшать свои выводы по мере получения фидбэка. По сути, это напоминает обучение с подкреплением (RL), где модель получает обратную связь за свои шаги и улучшает свои рассуждения.

— Как это работает на практике

В исследованиях MIT показано, что такой подход значительно улучшает производительность моделей. В их тестах новое планирование добавило +30–60% к точности в решении задач, где традиционные методы рисования цепочек рассуждений через токены не справлялись. Причем, важный момент: для этого не нужна разметка данных — модели могут учиться без явной маркировки, лишь на основе проверок правильности цепочек.

Если MIT удастся масштабировать этот подход, то мы сможем увидеть на горизонте искусственный интеллект, который не просто генерирует фразы на основе статистики, а действительно умеет планировать и делать осознанные логические шаги. Однако пока эта методика применялась только к довольно узким задачам, и пока нет ясности, как она будет работать на более сложных и разнообразных проблемах.

Data Science

Microsoft запускает самый мощный датацентр для ИИ в мире — Fairwater AI 🤔

Microsoft запустила строительство самого мощного датацентра для ИИ в мире — Fairwater AI, который будет расположен в Висконсине. Эта установка не просто очередной шаг в развитии вычислительной инфраструктуры, а настоящая революция, способная обеспечить производительность, в 10 раз превышающую возможности самого быстрого на данный момент суперкомпьютера.

На огромной территории в 127 гектаров разместится около 111 000 м², ранее принадлежащих Foxconn. Это позволит создать уникальную платформу для обработки ИИ-данных. Для охлаждения будут использоваться высокоэффективные системы с замкнутым жидкостным контуром, поддерживаемые гигантскими вентиляторами и водоохлаждающими чиллерами. Данные в Fairwater будут передаваться через InfiniBand и Ethernet с пропускной способностью 800 Гбит/с.

Интегрированная система, которая объединяет несколько тысяч GPU NVIDIA GB200, соединённых в мощный кластер, способный выполнять задачи синхронно. В этом датацентре будут работать не только на тренировки ИИ, но и на реальные вычислительные задачи, такие как инференс и рилтайм-обработку данных.

Microsoft планирует полностью запустить инфраструктуру к началу 2026 года. Это будет не просто датацентр — это глобальная сеть, объединяющая более 400 центров по всему миру, и Fairwater станет ключевым узлом в этой сети.

Задумайтесь, насколько радикально изменится будущее ИТ-инфраструктуры с такими проектами. Мы стоим на пороге новой эры вычислений, где мощность вычислительных кластеров будет определять не только скорость, но и возможности ИИ в самых разных областях. А вы что думаете? Возможна ли революция? ☕️

Data Science

Учёные представили революционный способ обучения моделей

Исследователи предложили новый подход к обучению языковых моделей, который не требует заранее подготовленных правильных ответов. Это метод Compute as Teacher (CaT), который позволяет моделям учиться самостоятельно, генерируя собственные обучающие сигналы, без зависимости от размеченных данных 😮

Как это работает? Вместо того чтобы искать готовую истину в базах данных, модель многократно решает одну и ту же задачу, формируя несколько вариантов ответа. Специальный механизм затем выбирает наиболее обоснованный ответ, превращая его в новую цель для обучения. Это позволяет моделям развивать свои способности к рассуждению и принимать решения в условиях неопределённости.

Основные особенности CaT:

— Верифицируемые задачи (например, математика): в этом случае модель использует автоматическую проверку правильности ответа.

— Неверифицируемые задачи (например, свободный диалог): модель генерирует критерии оценки, и независимая LLM-система оценивает, насколько удовлетворяет синтезированный ответ.

— Синтез ответов: в отличие от других методов, которые выбирают лучший ответ из нескольких, CaT создает новый, улучшенный ответ, что позволяет модели быть правильной даже в случае, если все исходные варианты были ошибочными.

— Эффективность: на математических тестах (MATH-500) точность увеличилась на 27%, а в медицинских тестах (HealthBench) на 12%. В продвинутой версии CaT-RL результаты выросли ещё больше — на 30-33%.

Преимущества CaT:

• Уменьшение зависимости от крупных размеченных датасетов, что снижает затраты на их подготовку.
• Возможность применения как в реальном времени, так и для улучшения качества моделей через цикл обучения с подкреплением.
• Инновационный подход для задач с недостаточной разметкой и верификацией.

Метод CaT открывает новые горизонты в обучении моделей, позволяя им развиваться и улучшаться без зависимости от огромных и дорогих размеченных данных. Это делает обучение более универсальным и доступным для множества задач, где традиционные методы не работают.

А как вы думаете, сможет ли CaT изменить подход к обучению ИИ в долгосрочной перспективе?

👍 — Да, это шаг к более эффективным и независимым моделям
🤔 — Нет, модель всё равно нуждается в внешнем контроле

Data Science

100 готовых промптов для учебы от OpenAI 🍒

OpenAI выпустили официальный набор из 100 промптов, которые помогут студентам, преподавателям и исследователям работать с нейросетями более эффективно. Эти запросы могут быть полезны для создания курсовых, дипломов, исследований, подготовки к экзаменам и многого другого.

Что включает в себя подборка?

— Изучение предметов: запросы для математики, литературы, науки и других областей
— Навыки обучения: техники конспектирования, запоминания и подготовки к экзаменам
— Карьерное развитие: советы по составлению резюме, подготовке к собеседованиям и профессиональным навыкам
— Хобби и интересы: запросы для творчества и личного роста

Также подходит для всех, кто использует нейросети для обучения и развития, и доступен бесплатно с возможностью перевода на другие языки, что делает его универсальным решением для любой нейросети.

Data Science

ИИ в финансовом анализе: кто впереди — Grok 4, GPT-5 или человек? 🤩

Недавно опубликованные результаты бенчмарка FinSearchComp показали, как современные языковые модели справляются с задачами финансового анализа. Этот тест, включающий 635 вопросов, имитирует работу реальных финансовых аналитиков, оценивая их способности в поиске данных и логическом анализе.

Задачи делятся на три типа: работа с «горячими» данными (например, вчерашнее закрытие акций), точечный исторический поиск (например, активы Starbucks на определённую дату) и более сложные многошаговые расследования (например, анализ роста S&P 500 за несколько лет).

Кто в лидерах?

• Grok 4 показывает наилучшие результаты на глобальном наборе вопросов, набирая 68.9% по всем категориям
• GPT-5-Thinking также близок по точности, с результатом 63.9%
• Для китайского рынка лидер DouBao, но его результат в среднем — всего 54.2%, что значительно отстаёт от человеческой точности в 88.3%

Особенно сложными оказались многошаговые задачи (T3), где лучшие модели пока только дотягиваются до минимального уровня, который показывают профессиональные аналитики.

Хотя ИИ уже могут эффективно выполнять рутинную работу, такую как сбор данных и выполнение простых запросов, для сложных, многошаговых расследований, требующих логики и анализа множества источников, люди всё ещё на шаг впереди. Профессиональные финансовые аналитики пока не заменимы, особенно в задачах, требующих глубокого понимания контекста и способности работать с неоднозначными данными.

ИИ продолжает улучшаться в финансовом анализе, но пока остаётся гораздо более сильным помощником, чем самостоятельным экспертом. Если задачи становятся сложнее и многограннее, человеческий интеллект всё ещё не заменим 😮‍💨

Data Science

🦾 Модель OpenAI решила все 12 задач на финале ICPC 2025

Это абсолютный рекорд для ИИ-модели и лучший результат на Олимпиаде. Следующие в рейтинге идут наши ребята из СПБГУ — они решили 11 задач из 12.

Также 1 место получила Gemini 2.5 DeepThink от Google, решившая 10 из 12 задач.

✖️ xCode Journal

Генерация баз данных теперь за пару секунд 🚶‍♂️

Нужна база данных, но нет времени и желания на долгое проектирование? Тогда Database Build — это то, что вам нужно!

Что умеет Database Build?

— Мгновенная генерация базы данных: Просто напишите текстовое описание, и нейросеть преобразует его в полноценную структуру базы с таблицами, связями и диаграммами
— Фейковые данные за секунды: Нужны тестовые данные? Создайте их прямо в сервисе
— Экспорт в SQL или загрузка на сервер: Не нужно копировать и вставлять — сразу получите готовую базу в нужном формате или загрузите её на сервер
— Бесплатно: Сервис доступен без платы — можно без риска протестировать

Database Build — идеальный инструмент для разработчиков, тестировщиков и всех, кто работает с базами данных. Ускорьте процесс разработки и создавайте базы без усилий.

Data Science

Границы возможностей LLM 😮

Сегодня многие используют LLM (Large Language Models) для решения разных задач, от генерации текста до создания кода. Но для того, чтобы работать с ними эффективно, важно понимать их архитектуру и ограничения. Сегодня рассмотрим, как устроены эти модели и что стоит учитывать, чтобы максимально использовать их потенциал.

Что лежит в основе LLM?

Большинство современных моделей, таких как GPT, Gemini или Grok, построены на архитектуре трансформеров. Они работают по принципу токенизации текста, который затем обрабатывается слоем внимания (attention layers). В результате модель прогнозирует следующие токены, создавая связный текст. Однако важно помнить, что все эти модели по сути — одинаковые, и отличаются они лишь параметрами и схемой обучения.

Ограничения моделей: текст как основа

Основное, что нужно учитывать при работе с LLM — это текст. Эти модели обучаются исключительно на текстовых данных и работают с ними. Видео, изображения и другие медиа — всё это в конечном счете преобразуется в текст. Даже если модель генерирует изображения или музыку, она всё равно действует через текстовые команды. Поэтому в ADSM (Agent Driven Software Management) ключевое значение имеет именно обработка текстов.

Архитектура LLM: что влияет на мощность?

Чем мощнее модель, тем больше нейронов в её слоях. Эти нейроны соединяются друг с другом, создавая сложные зависимости, которые модель использует для анализа текста. Однако чем больше нейронов и слоев, тем выше вычислительные затраты. С каждым новым слоем растет возможность для создания более точных и связных ответов, но также возрастает и нагрузка на систему.

Контекстное окно: как работает память модели?

Все модели имеют так называемое контекстное окно, в которое помещаются токены текущего диалога. Размер этого окна определяет, сколько информации модель может обработать за один раз. Например, GPT-4 может обрабатывать до 1 миллиона токенов, но важно учитывать, что большие окна требуют значительно больше вычислительных ресурсов.

Как работать с контекстом: расширение или сужение?

Если вы хотите получить стабильный результат, важно учитывать стратегию работы с контекстом. Например, сужение контекста помогает моделям генерировать более предсказуемые результаты. Это особенно важно для задач с четко определенными шаблонами, например, для генерации кода. Но если контекст слишком размытый, модель может начать «творить» и генерировать менее стабильные ответы.

Работа с LLM требует понимания архитектуры моделей и их ограничений. Чем чётче и связнее вы формулируете запрос, тем более стабильный и точный ответ получите. Важно учитывать контекст, балансировать между качеством и ресурсами, чтобы извлечь максимальную пользу из взаимодействия с моделью.

Data Science

OpenAI усиливает работу над робототехникой в гонке к AGI 😮

OpenAI продолжает активно развивать свою робототехническую инициативу, нанимая экспертов для разработки алгоритмов управления роботами, в том числе гуманоидными. Если раньше компания ограничивалась наймом просто робототехников, то теперь в списке вакансий можно найти более специализированные позиции, такие как:

• Рисерчеры в области управления и обучения гуманоидов.
• Инженеры, разрабатывающие симуляторы и сенсорные системы.
• Механики, опытные в проектировании систем для массового производства (от 1 млн единиц).

Эти вакансии подчеркивают амбиции OpenAI создать универсальную робототехнику, которая может сыграть ключевую роль на пути к AGI (искусственному общему интеллекту).

Возвращение робототехнического отдела

До 2021 года робототехническая команда OpenAI находилась в состоянии паузы. Однако с декабря прошлого года компания начала восстанавливать свой отдел, сосредоточив усилия на создании более сложных и эффективных роботизированных систем. В последние месяцы к компании присоединились специалисты, занимавшиеся разработкой гуманоидных роботов и созданием benchmark’ов для оценки их возможностей.

Какие задачи стоят перед OpenAI?

Основная цель — создание таких моделей AI, которые смогут взаимодействовать с физическим миром. Например, исследователи OpenAI тренируют алгоритмы, которые могут «понимать» физическое окружение и выполнять задачи, что является важным шагом к созданию универсальных роботов.

Как OpenAI намерена достигнуть AGI?

Основной акцент сделан на универсальных роботах, которые могут работать в изменяющихся и непредсказуемых реальных условиях. Модели AI, которые разрабатываются сейчас, должны быть способны не только видеть, но и действовать с высокой точностью, управляя конечностями и манипуляторами.

Не исключено, что OpenAI начнёт разрабатывать собственных гуманоидов, используя сочетание высокотехнологичных компонентов и передовых алгоритмов обучения через симуляцию и телеоперацию.

Data Science

Модель MobileLLM-R1 для решения reasoning задач

MobileLLM-R1 — это новая модель, специально разработанная для выполнения reasoning задач, которая вмещает меньше 1 миллиард параметров и идеально подходит для работы на edge-устройствах. Несмотря на компактные размеры, эта модель демонстрирует выдающуюся эффективность и точность.

Превосходная производительность

MobileLLM-R1 решает математические задачи почти в 5 раз точнее, чем Olmo-1.24B, и в два раза точнее, чем SmolLM2-1.7B, при этом её параметры намного меньше.

Высокая эффективность обучения

Эта модель обучалась на 4.2 триллионах токенов, что составляет лишь около 10% от объема данных, используемых для обучения Qwen3, но при этом демонстрирует сопоставимые или даже лучшие результаты на тестах по reasoning.

MobileLLM-R1 представляет собой серию эффективных моделей для reasoning задач с различной сложностью:

Базовые модели:

• MobileLLM-R1-140M-base
• MobileLLM-R1-360M-base
• MobileLLM-R1-950M-base

Финальные модели:

• MobileLLM-R1-140M
• MobileLLM-R1-360M
• MobileLLM-R1-950M

Что делает её уникальной?
MobileLLM-R1 не является универсальной моделью чата. Это специализированные модели, обученные для решения математических, программных (Python, C++) и научных задач. Она обходит модели с гораздо большим количеством параметров, таких как Olmo 1.24B, на задачах MATH и кодирования, устанавливая новый стандарт среди открытых моделей.
MobileLLM-R1 обучалась с использованием передовых методов, включая distillation и оптимизацию через Adam-optimizer, что позволило достичь высокой производительности при минимальных объемах данных. Будущие модели могут быть ещё компактными и мощными, а что вы думаете? Будет интересно почитать.

Data Science