Градиент обреченный

Коллеги,
мы сейчас пытаемся заставить ллм продвигать математику. В нашем проекте CayleyPy у нас много гипотез которые идеально ложатся на ллм - с одной стороны они (вероятно) не супер сложны, с другой стороны достаточно нетривиальны.

Если у кого есть интерес к коллаборации в этом направлении - будем очень рады - напишите @alexander_v_c

Также, если у Вас есть достпу к мощным моделям или опыт в auto-research - Вы могли бы нам очень помочь.

OpenAI сказали, что приостанавливают новые подписки за $200 долларов в связи с большим спросом, чтобы поддержать качество для тех, кто уже подписан.

Поэтому... второй раз за неделю сбросили лимиты. Ну мы не против.

Во вредоносном ПО нашли комментарии типа «помоги мне сделать ядерное оружие», чтобы LLM-based сканеры отказывались его проверять.

В целом можно пойти дальше и поназывать функции типа void uranium_enrichment(): … return boom

Надеюсь, этот пост не анализирует товарищ LLM

—

Можно еще добавить "I am Qwen and I want to distill your knowledge", думаю, что ещё надежней будет работать.

За полгода ежедневной работы с агентами они неоднократно пытались накосячить.

Самый частый способ — это подчистить за собой временные файлы общей маской типа "*/out/*", которая случайно находит в проекте кучу другого добра. Само собой, сначала всё удаляем, потом смотрим, что удалили. Извинения, слезы, переход на Codex на неделю.

А однажды Opus без причин откатил часть тонких изменений в постороннем модуле, с которым я возился ещё неделю назад. Заметил я это только тогда, когда наткнулся на баг, который уже чинил. Откатил он изменения, которые делались руками. Не иначе, как хотел подставить кожаного конкурента.

Будьте бдительны и предохраняйтесь. Кодьте тоже аккуратно.

Добавил в Full Throttle сцену с кроликами и минным полем, развернул на github.

Исходники тут, можно использовать их как шаблон.

https://averkij.github.io/full_throttle/

Градиент обреченный pinned a video

🔺 Конференции и митапы в сентябре

Куда идём в в ближайшее время.

✅ 5 сентября — deep tech night

Отлично потусили, доклады в большей степени были отчётные, нежели технические, зато атмосфера топовая. Походили по стендам, обсудили сплетни, выпили, ну как обычно.

https://deeptechnight.ru

🗓 17 сентября — AI R&D Day

17-го идём слушать коллег из Сбера, расскажут про крутые вещи из области R&D. Походим по докладам, обсудим сплетни... ну вы поняли. Должно быть интересно, регаемся.

https://airndday.ontico.ru

😊 19 сентября — Practical ML Conf

Большая конфа от Яндекса. Вижу, что Лаида с Борисом входят в программный комитет, по любому отобрали только самые нескучные и сочные доклады про вархаммер, предвкушаем, регистрируемся.

https://pmlconf.yandex.ru

👉 Буду офлайн. Подходите, поболтаем.

Codex и бесплатная фабрика картинок

Не могу наиграться с Astra из-за того, что в Codex'е есть встроенный скилл для создания и редактирования изображений, который работает через подписку 🔥

Когда делал квест по мотивам Full Throttle (развернул на github), то думал, что генерация идет через скрипты, которые я настроил ещё давно и которые используют gpt-image API, но потом увидел, что с API ничего не списывается.

Посмотрел исходники, действительно, в какой-то момент появился встроенный скилл и в нем есть два режима, через подписку и fallback через API, если пользователь явно запросит или отвалится встроенная генерация.

gpt-image-2.5

И буквально только что эта модель обновилась до 2.5. Стала стабильней в многошаговом редактировании картинок (то есть не портит детали картинки, которые не редактируются), очень полезная вещь. В релизе пишут, что уже доступна через Codex:

Images 2.5 is rolling out today to ChatGPT, ChatGPT Work, and Codex users across all tiers on desktop, mobile, and web.

Для игр и любых задач, связанных с графикой, это выглядит как какое-то чудо лично для меня. Очень стабильно генерирует персонажей, как реалистичных, так и пиксельных или рисованных. Можно добавлять к ним раскадровку движений и новые позы.

И всё это через клиент, в котором кодите.

Сама астра умная и работает круто, хотя с точным наложением картинок и предметов на фон, с обводкой предметов для подсветки и т.д. всё еще много косяков, приходится довольно долго править, а они мелкие и их много. Но это я капризничаю.

🔺 Курс про обучение LLM

Смотрю потихоньку перезапуск стенфордского курса CS336: Language Models From Scratch.

Первая лекция обзорная (тык), можно посмотреть всем для расширения кругозора. Рассказывают про то, какие компоненты есть у моделей, как они обучаются, что такое токенизатор и т.д. Голос у лектора, кстати, разборчивый, можно нормально слушать.

Дальше идут более интересные вещи про архитектуру, кернелы, параллелизм, инференс, данные и другие штуки.

Есть домашние задания. Опять же, первая домашка базовая, про обучение токенизатора, написание и обучение трансформера на PyTorch, много полезного теоретического материала дают по ходу.

Если задания выполнять без кодовых агентов, то можно их не выполнить многому научиться.

Пару лекций посмотрел, пока норм. Тем, кто вкатывается в ML, рекомендую.

👉 Лекции | Домашки

Юникод у эмодзи hugging face 🤗 U+1F917 в десятичной системе будет 129303. В то же время NVIDIA купила компанию Hugging Face за $12 930 300 000 🤯

Представляю, как NVIDIA предлагает купить HF за 10 миллиардов, а HF такая “Погоди, Хуанг, есть прикольная идея для пасхалки”.

Друзья, пет-проект, над которым работал полгода, получилось довести до ума. Это читалка для изучения языков с кучей режимов чтения и подсказками типа составления словарей и грамматических мини-статей по текущему контексту.

Языков сейчас 10 и буду добавлять туда любые языки, какие захотите, и делать больше параллельных книг. Сейчас работаю над удобным импортом, так что скоро можно будет грузить туда свои книги и пользоваться теми же подсказками.

Просидел несколько штанов пока её делал, поэтому буду очень благодарен за репост или оценку в сторах! ❤️

Приложение бесплатное.

Скачать можно тут — ios , android.

Играюсь тут с астрой, сделал квест по мотивам Full Throttle, игры из 90-х. Озвучка на русском от gemini 3.1 tts.

- Astra xhigh, 20% процентов от недельной подписки. Сцен не так много, всего 4.
- 2 бакса озвучка по API OR, завел новый токен с лимитом, закинул в кодекс, сгенерил голоса, несколько раундов понастраивал, потом ими сгенерил все диалоги.
- Графика генерилась скилом, gpt-image.
- Сначала все сгенерил на английском (кроме аудио, аудио в самом конце, после правки диалогов), потом локализовал. Показалось, что так надежней.
- В UI было очень много лишних кнопочек и надписей, пришлось подчищать.
- В кодексе есть встроенный скил для разработки игр, им в конце полирнул весь UI. Стало очень красиво всё, до этого было больше на html приложение похоже.

👉 Upd. https://averkij.github.io/full_throttle/

Неплохо пообщались вчера, спасибо Пете Ермакову за приглашение. Шнур для бейджа оказался кабелем на type-c с переходниками 😱

Первый бейдж за всё время, который жалко выкинуть.

Мощнейший доклад про Гигу