epsilon correct

Всех с неизбежно наступающим 2025! 🎅🎅🎅

31 декабря – лучшее время подводить итоги за год, и я тоже от этого не удержусь.

Каналу уже чуть больше двух лет, и за год он вырос почти в три раза 👥👥👥 (спасибо посту Дениса и другим цитирующим товарищам). Я написал ровно 99 постов, и мне очень приятны все (почти 👮‍♂️) дискуссии, которые происходят в комментариях. Почитать пост за прошлый год можно тут.

За год как будто получилось вкатиться в ЛЛМки – поучаствовал в релизах Gemini 1.5, Gemma 2, Gemini 1.5-002 (нейминг – не сильная сторона гугла) и Gemini 2, где мы сильно прокачивали математику и код. Не все проекты и результаты доехали до публики, так что ещё можно погордиться втихую. ☺️

Помимо сурового продакшена за семью NDA, получилось поучаствовать в создании системы, которая решает сложные задачки по математике на уровне олимпиадных призёров. Про науку тоже получилось не забыть – у нас приняли две статьи на нипс, мы организовали воркшоп на KDD и мне в первый раз поручили роль Area Chair на нипсе. В конце января должны прийти новости с ICLR, так что план по вкладу в науку тоже выполнен. 🤓

Предсказания на 2025 сделаны, так что можно смело начинать работать на будущее человечества. 🦆

42-ух минутный доклад с NeurIPS 2024 об основных конкурентах архитектуры трансформера

Вам в очень энергичной манере поведают:

- В чем логика заменять трансформер
- Общий таймлайн развития альтернативных архитектур с 2020 года и причем тут LSTM
- Что же там в итоге с линейным атеншеном в 2024том
- Кто же этот такой ваш RWKV, кто за ним стоит и почему он не хочет умирать в 2025том
- Как быть отчаяным ресерчером и в одиночку успешно линеаризовывать opensource LLM без собственного претрейна
- Что еще случилось за год (Jamba, Sana, DNA Models и что еще нас ждет

Смотреть на Ютубе

Потенциально вредный пластик нашли в 86% всей протестированной еды 🍜

В мае этого года Нэт Фридман организовал и спонсировал команду энтузиастов-исследователей для того, чтобы выяснить, сколько же в нашей еде пластика. Вчера вышел первый результат: сайт PlasticList и отчёт про методологию и ход мыслей исследователей.

Советую почитать и потыкать сайт, но если кратко:

🧐 Авторы тестируют еду на 18 соединений, связанных с производством пластика. Это фталаты, их заменители и бисфенолы. Они используются для ключевого процесса создания пластика ђ– пластификации, в клеях, защитных покрытиях, и лаках.

😰 Фталаты нашли в 73% протестированной еды, в 22% – бисфенолы. В исследованиях на крысах учёные показали существенный ущерб репродуктивной функции вплоть до полного бесплодия с эффектом, накапливающимся через поколения (тестировали БЭГФ).

😛 Фталаты нашли в большинстве еды для детей и пренатальных витаминах. Исследование 2014 года связывает контакт с фталатами у матери во время беременности с потерей 6-7 пунктов IQ у ребёнка. 🤤

🍜 Пластиковая тара для еды на вынос "протекает" пластиком вам в еду, повышая концентрацию пластика примерно на треть. Один из протестированных баббл-чаёв содержал бисфенола-а на уровне 1.2 лет безопасного потребления. 🧃

😮‍💨 Количество пластика почти во всей протестированной еде было в пределах нормы. С другой стороны, Европейское агентство по безопасности продуктов питания недавно снизило свою рекомендуемую норму в 20000 раз, что не может не вызвать вопросов. 🪖

Авторы указывают на нестабильность тестирования – еда, заказанная в ресторанах в разные дни может содержать значительно различающееся количество производных пластика. Но: кажется, задуматься о более массовом тестировании, измерении, и замене пластиков в еде стоит.

AI Digest запустили предсказания по прогрессу систем машинного обучения на разных бенчмарках. Также можно попробовать предсказать результаты репортов для моделей OpenAI и суммарную выручку ИИ-компаний. Мои предсказания на картинке.

Пройти можно тут, предикты можно оставить в комментариях – в следующем году выберем самого точного подписчика. 🤴

Меня в комментариях просили прокомментировать анонс o3 от OpenAI; комментирую: никто не знает, где достать этих лягух с презентации? Очень надо 🤔

Про эту статью наконец-то выпустили блогпост с красивыми картиночками ✨

В Notices Of The American Mathematical Society вышла коротенькая обзорная статья Терри Тао про то, как математики могут пользоваться компьютерами для доказательств. Интересный разбор с примерами из разных областей, включая, например, не особо известную статью по геометрической топологии. Из грустного, Gemini не упоминается. 😭

На основе Gemini 2.0 Flash выпустили thinking модель, которая улетела вверх по бенчмаркам:

- Overall: #3 → #1
- Overall (Style Control): #4 → #1
- Math: #2 → #1
- Creative Writing: #2 → #1
- Hard Prompts: #1 → #1 (+14 pts)
- Vision: #1 → #1 (+16 pts)

Всего 32к контекста, зато бесплатно через AI Studio. В отличие от конкурентов, видно внутренний chain of thought. 😛

Официально выпустили Gemini 2.0 Flash

По бенчмаркам бьёт 1.5 Pro 002, которую выпускали в сентябре, а стоит на порядок дешевле. Как обычно, 1М контекст и супер быстрый инференс на маленьком контексте.

Всю следующую неделю буду на NeurIPS, теперь в Ванкувере. 🎅
(не переживайте, снега там нет и не будет, +10°C и дождь всю неделю)

На конференции у нас будет две статьи:
1. "Understanding Transformer Reasoning Capabilities via Graph Algorithms" – в среду с утра, постер #2300. Я про неё кратко писал вот тут.
2. "Text-space Graph Foundation Models: Comprehensive Benchmarks and New Insights" – в среду вечером, постер #3100.

В конце недели попробую послушать эти воркшопы:
1. Symmetry and Geometry in Neural Representations
2. UniReps: Unifying Representations in Neural Models
3. Scientific Methods for Understanding Neural Networks

Если будет интерес и наберётся достаточно людей, можем сделать сходку с дорогими подписчиками. Пишите @deltaincorrect, если интересно. 👉

Ладно, когда модель, в которую ты вложил недели усилий, занимает топ-1 по всем категориям включая контроль на стиль, это тоже супер 📈

Доступна на плейграунде и по апи (бесплатно!). Настойчиво рекомендую бежать пробовать. 🏃‍♂️

Одно из самых приятных ощущений в резёрче – это когда ваши результаты верифицируются другими людьми. 🎃

На картинке – бенчмарк-статья этого года, которая показывает, что на молекулках наша старая статья работает на отлично.

Не могу не похихикать с посленего ллм-релиза Амазона. Маркетологи перестали стесняться и начали выделять цифры, которые выглядят совсем не впечатляюще. 🤦‍♂️

Micro и Nano хорошие, примерно на уровне 8B флеша, но с большой моделью у ребят пока получилось не очень. С другой стороны, чем больше игроков на арене, тем интереснее.

Новый день, новый пост про калибровку предсказаний. В прошлом году я писал про классическую работу Фостера и Вохры про то, что идеальной калиброванных предсказаний можно добиться не обладая знаниями о распределении предсказываемой величины. 🤔

В недавно выпущенной статье предлагается рассматривать более сложную игру с тремя игроками: "предсказателем", "ставочником", чья цель – воспользоваться плохими предсказаниями предсказателя, и "природой", которая производит предсказываемые события.

В таком сеттинге авторы показывают схожесть между калибровкой и сожалением (regret) и доказывают, что случайные исходы по отношению к прогнозам эквивалентны хорошим прогнозам по отношению к исходам. Интуитивно, если исходы случайны по отношению к прогнозам, у "ставочника" нет возможности получить прибыль ставя против прогноза, а если пргнозы хороши по отношению к исходам, вся неопределённость в ошибках предсказателя объясняется случайностью природы.

Осталось только это всё интернализировать. 😰

Интересная статья вышла в scientific reports: обыватели не просто не могут отличить ИИ-поэзию от написанного людьми, так ещё и оценивают получившееся лучше по всем параметрам.

Два панчлайна: (i) для генерации поэм использовался ChatGPT 3.5, который иногда трёх слов связать вместе не может. (ii) Единственной стратой людей, которые справились с задачей (в самой статье такого разбиения нет, нужно анализировать сырые данные) оказались небинарные персоны. 🏳️‍🌈

Чтобы канал не превратился в анонсы Gemini, расскажу про ревью с ICLR. Статистику можно посмотреть на paper copilot, в этом году кажется, что с 5.5 должен начинаться accept, так что шансы есть у двух наших статей.

В этот раз получилось интересно, потому что тройку мы получили от рецензента, у которого реально получилось глубоко прочитать статью с технической стороны, но совершенно не понял, что мы не решаем все мировые проблемы, а решаем небольшую исследовательскую проблему. 😮‍💨

Посмотрим, удастся ли переубедить рецензента – обычно такое работает редко, но тут есть надежды, потому что человек уже потратил много времени, чтобы разобраться в статье.

А как ваш опыт с ICLR в этом году?

Запустили тут новую модельку Gemini-Exp-1114 в Google AI Studio. На арене #1 overall, math, hard prompts, creative writing. Кодинг всё ещё #3.

Без ответов по три минуты как o1, просто берёт и отвечает.

Пара мыслей про Долину

Направляясь в очередную командировку в наш головной офис, меня посетила мысль, что не все, в общем-то имеют представление о том, что такое эта наша Кремниевая долина. Среди подписчиков канала немало людей, у которых будет возможность там поработать, а мне бы хотело рассказать, почему, как мне кажется, стремиться туда смысла нет. Я там прожил около полугода в далёком 2019, так что, надеюсь, мнение будет не совсем голословным.

Сначала о хорошем: в Калифорнии в целом и в долине в частности офигенный климат. Количество комфортных солнечных дней в году зашкаливает, и это сильно влияет на настроение и самочувствие – всё-таки мы все немного цветочки-пирожочки. В паре часов – езды крышесносные национальные парки, любителям природы – полное раздолье. 🛌

Из плохого – полное отсутствие культурных событий и катастрофическая гомогенность общества. Нормальным вопросом при первой встрече может быть «ты программист или проджект?» – и у всех одни и те же интересы. Если вам нравятся исключительно люди, которые любят бег, хайкать и писать код – вопросов нет, милости прошу в долину. Остальным непрошенный совет: попробуйте выбраться хотя бы в Сан-Франциско, или, если совсем повезёт – в Нью-Йорк.

Начинается сезон стажировок, а это значит, что мне пару раз на дню пишут всякие талантливые товарищи с вопросами, можно ли в нашу команду устроиться стажёром. Развёрнуто отвечать на весь поток писем не всегда получается, но с дорогими подпищеками поделиться мудростью всё-таки хочется. 👴

Стажёры для компаний – это в первую очередь источник дешёвого труда. Выхлоп от самих стажёрских проектов чаще всего минимальный, но зато у компании появляется (а) ценная информация про то, какова продуктивность потенциального фулл-тайм сотрудника и (б) вероятная возможность нанять его дешевле, чем среднего выпускника: при вероятном найме люди перестают активно собеседоваться с конкурентами, снижая цену.

До ковида, когда деньги были дешёвыми, технологические компании росли, как на дрожжах. Нанимали десятки тысяч человек в год, так что все привыкли к большому потоку студентов. С резким повышением ключевой ставки, деньги стали дороже, компании стали даже увольнять людей, а количество мест для стажёров значительно сократилось. Из того, что я вижу, студенты ещё не до конца прочувствовали новую экономическую реальность, и особо не стараются с подачами. А зря.

Если среди подписчиков есть студенты, пара быстрых советов: подавайтесь широко, но прицельно. Составьте список из 10-20 наиболее близких по темам, релевантным вашему PhD, и пишите им персонализирвоанные сообщения напрямую. На копипаст или, того хуже, сгенерированные сообщения отвечать сил уже нет. Всем удачи!

Не зря, получается, постил про нобелевки – заманил в офис одного известного в узких кругах физика