Debugging bliss

Как изменились карьерные пути продвинутых ребят в последние годы? Пробуем оценить на призерах международных олимпиад

Хоть в тексте речь идет об олимпиадниках из Беларуси - это лишь по той причине, что многие эти люди мне знакомы. Похожая картина наблюдается в соседних странах и более глобально

💻В августе прошла международная олимпиада школьников по информатике, известная как IOI (International Olympiad in Informatics), в которой приняли участие команды из 90+ стран.

У команды Беларуси 2 бронзы, 1 серебро и … 1 золото (Кирилл Кардаш, Гомель, 10 класс). Отличный результат!

🏅Золотая медаль для беларусов достаточно редкое явление, последний раз такое удавалось 8 лет назад. Такая новость - хороший повод порефлексировать о том, куда потом пошли призеры предыдущих лет.

За последних 18 лет в стране было 6 участников, бравших золотые медали на IOI. Чем занимаются эти люди теперь?

Насколько мне известно, никто из них не остался в стране (наверное ни для кого неудивительно) и… никто из них не работают в бигтехах - возможно кого-то этот факт удивит.

3 из них занимаются AI и еще 3 работают в алгоритмическом трейдинге.

6 человек - это не очень большая выборка, но если взять более широкий круг призеров/участников международных олимпиад, то тенденция похожа.

Бигтехи (в размыто широком смысле, не только фаанг) конечно всё еще присутствуют в качестве мест работы, но всё больше людей вместо них выбирают финансы (в том числе и в Лондоне) или в последние годы, AI. Особенно заметно по тем, кто выпустился из универов в последние ~5 лет. Кроме того, с бумом крипты многие стали пробовать собирать свои команды и торговать самостоятельно - хорошо подходит тем кто по духу не очень любит обычную работу.

10-15 лет назад частый карьерный путь таких людей был работой в гугле/фейсбуке (ну или яндексе, у тех кто оставался). Ситуация явно меняется.

В чем причины перемен?

Немного субъективных наблюдений (список неисчерпывающий)

🔹Бигтехи в какой-то момент перестали охотно перевозить людей (особенно сразу после универа) в те 2 страны, где они платили действительно хорошо (Швейцария и США).
Перспектива переезжать в остальные локации за нормальные, но не вау, деньги (ещё и с большим шансом попасть в неинтересные проекты) перестала так сильно привлекать людей
🔹Примерно в то же время многие трейдинговые компании, обычно не очень известные общественности, стали активно расти и чаще выходить из тени. Например, буквы HRT мало кому о чем-то говорили лет 6 назад. Сегодня это место уже можно нередко увидеть в списке спонсоров разных мероприятий
🔹С работой/исследованиями в передовом AI наверное и так всё понятно? К слову, некоторые там были ещё задолго до бума последних лет (моё уважение 🫡 )

О полезности карьерного кругозора
Недавно мне довелось случайно познакомиться со студентом-беларусом, который проходит стажировку в конкурирующей компании в Лондоне (🏰). 

На этом фоне я вспомнил, как где-то на 2 курсе универа, мне предложили порефериться на SWE стажировку в "некий Jane Street". Я тогда подумал, что это какая-то шарага и не стал особо напрягаться🤣

Приятно видеть, что народ пошел более осведомленный. Впрочем, пересчитать соотечественников, работающих в топовых AI лабах или сильных финансах, всё еще скорее можно по пальцам.

Сравнивая с американскими/европейскими коллегами, мне кажется, что во многом дело в неосведомленности о возможностях и порой неуверенности в своих силах, а не недостатке талантов, но это тема отдельного разговора.

👏Возвращаясь к сегодняшнему дню - ещё раз поздравляем победителей и ждем через 5 лет в лондонах желаем дальнейших успехов!

Чем вообще занимаются инженеры в трейдинге?

Такой вопрос нередко возникает в разговорах с друзьями и знакомыми из других сфер.
Похоже, мне подвернулось отличное видео на эту тему - несу вам!

Electronic Trading for Programmers - Mathias Gaunard

Доклад с конференции ACCU 2023. Сам я полистал и посмотрел лишь отдельные моменты, но выглядит как один из лучших обзоров об инженерной стороне индустрии.

Вначале автор дает общее представление о том, чем занимаются в трейдинге

👨‍💻 Роли инженеров
Что такое back, middle и front office? Домены разработки: от стандартной инфраструктуры (дашборды нужны в любых компаниях) до специализированной - платформы для ресерча стратегий, симуляторы, сами торговые системы

↗ Разные стратегии и роли участников рынков
Market making, asset management, инвестиции vs спекуляции

🥔 Классы торгующихся активов и их влияние на процесс:
Акции, опционы, крипта, фьючерсы на картофель

К середине обзор становится более техническим. Большая часть посвящена одной из самых интересных для инженеров тем - execution и low latency оптимизации.

Эта область важна многим HFT конторам - собственные трюки и оптимизации дают критическое преимущество перед конкурентами. Некоторые из тем в видео:

🔹Устройство бирж и взаимодействия игроков с ними - раздача данных по UDP multicast, order book и matching engine.

🔹Как выкидывают сетевой стек операционной системы и работают максимально близко к железу

🔹Синхронизация в low latency многопоточке - lock free и wait free программирование

🔹Кастомное железо - сколько микро и наносекунд выигрывают специальные сетевые карты, FPGA, ASIC

Затронутых тем много, про каждую существуют отдельные лекции и книги. Лично я бы даже что-то выкинул, но так и было задумано. Лучше всего цель объяснил сам автор в комменте на ютубе

The idea for this talk was based on a number of software engineers from other fields (high performance computing, computer vision, video games...) asking me what working in trading was about, and I felt a lot of the existing material approached things from a trader or quant perspective rather than an engineer's.
The material from an engineer's perspective that does exist tends to only talk about small tech tidbits rather than the big picture.

В общем за 1.5 часа можно немного проникнуться темой. Рекомендую к просмотру!🙂

Самое большое лото IPO в истории - как простые рабочие тоже разбогатели и почему этот день мог пойти не по плану

IPO SpaceX - большое событие финансового мира последнего времени: наверняка все слышали, что Маск стал первым триллионером в истории.

Факт, который мне кажется даже круче: SpaceX - компания, которая делает вещи в реальном мире, а поэтому немало людей там работают руками, но и в их случае часть компенсации были акции ↗

Миллионерами стали больше 4 тысяч человек (сейчас там работает 22 тысячи). Привалило не только менеджерам, и даже не только "белым воротничкам" - в новостях пишут как большие суммы (хоть пока и на бумаге) достались работникам столовых, механикам, электрикам!

👨‍🏭 Подробнее всего рассказали историю сварщика Хуана из Мексики. Пришел без особых ожиданий на обычную работу, о компании до этого не слышал. Сначала получил стоков на 10к долларов - сейчас у него акций на больше миллиона. Занимался сваркой конструкций для запуска ракет и проработал 10 лет.

(Сейчас он уже работает в конкуренте - Blue Origins, так что вполне возможно повторит свой успех. А многие и дальше думают, что перспективная работа теперь бывает только со словами AI или ML😉)

Однако есть нюанс: у стартапов обычно есть lockup период, который не позволяет продавать акции сразу же после IPO. Часто нужно ждать несколько месяцев или даже полгода. Впрочем, даже если цена упадет в несколько раз, все равно весьма неплохо - явно многие работники и таких денег в руках не держали!

К чему готовилась финансовая индустрия

Большие уникальные события происходят нечасто, а потому всегда потенциально несут риски для трейдинговых компаний - объемы торгов растут многократно, рынки могут двигаться непредсказуемо.

Мелькали новости о том как готовились маркетмейкеры вроде JaneStreet, Citadel Securities, да и сама биржа NASDAQ - неделями гоняли симуляции и нагрузочное тестирование, ведь это IPO ожидалось втрое больше предыдущего рекорда!

А неудачные примеры в прошлом были

Когда Facebook выходил на одно из предыдущих самых ожидаемых IPO в истории, инфраструктура NASDAQ не выдержала ажиотажа и слегла под нагрузкой.

Ордера не обрабатывали корректно часами, отмены иногда не работали. Компании-маркетмейкеры потеряли сотни миллионов долларов, репутация NASDAQ была в руинах.

Регулятор (SEC) в итоге дал штраф и провел техническое расследование, которое лежит в открытом доступе. Сразу скажу, что я не читал его самостоятельно, лишь бегло пробежался по summary. Выглядело в моем понимании примерно так:

Система NASDAQ не справлялась с количеством ордеров на аукционе, запустить торги не удавалось. Инженеры решили переключиться на другую версию matching engine. Переключению мешала какая-то проверка, которая падала с ошибкой.

Весь мир ждал, давление росло - времени разбираться не было и... ребята решили выпилить мешающие строчки из кода.

Торги запустились, но как можно уже догадаться, "лишние" строки кода были всё же там не просто так... 😐

Дословно с сайта SEC

... decided not to delay the start of secondary market trading in Facebook with the expectation that they had fixed the system limitation by removing a few lines of computer code. However, they did not understand the root cause of the problem.

Незавидная ситуация! Впрочем, выводы были сделаны, так как за последующие 15 лет пока таких ситуаций не случалось (и будем надеяться, не случится)

Можно ли доверять памяти компьютера? Bitsquatting и взлом Rowhammer🔰

Как-то оплачивая что-то в магазине я задумался над вопросом:

Какой шанс, что бит в памяти терминала оплаты не превратится из нуля в единицу? Скажем, была цена на экране $1, а стала $32769, когда информацию отправили в банк?💸

Сразу уточню - речь не про баги, а про физический уровень. Память - это устройство, которое может выйти из строя: перегрев, изнашивание, удары. Может ли пресловутый космический луч в момент оплаты изменить транзистор, где хранилась моя цена?

Примерно все программы, которые я видел в своей жизни, доверяют своей памяти и рассчитывают, что если записали значение, то потом оттуда его и прочитают.

Могут ли данные просто так поменяться? Оказывается, это происходит не так уж и редко 😰

Поэтому production grade сервера используют более дорогую память с ECC - дополнительным слоем, который может заметить изменение и скорректировать его (или завершить программу аварийно, если ошибка некорректируемая).

В 2015 Facebook опубликовал исследование на своем масштабе - за месяц около 2% их серверов сталкивались с корректируемыми ошибками, а 0.03% с некорректируемыми (обычно шли под замену) - вероятно тысячи машин ежемесячно.

А вот обычная пользовательская электроника (вроде телефонов и ноутбуков) до сих пор часто идет с более дешевой памятью без полноценной ECC 👨‍💻

Интересный подход из 2011, доказывающий, что ошибки происходят регулярно - Bitsquatting. Ресерчер зарегистрировал десятки доменов популярных сайтов с отличием в 1 бите (например Aeazon вместо Amazon). Внезапно туда стали стучаться устройства со всего мира. Дальше был проведен анализ запросов и попытка доказать, что многие из них не были человеческими опечатками, а были от машин со случайными изменениями в памяти.

Логичный следующий вопрос - можно ли повредить память специально и использовать в своих целях? 💻

В 2015 Google Project Zero показали, что обычная программа на Linux может получить полный доступ к системе на протестированных ноутбуках.

Идея в том, чтобы долбить память на чтение и запись в определенном паттерне - отсюда и название Rowhammer.
Иногда электрический заряд будет "протекать" в соседние ряды транзисторов и менять биты в других адресах. Если в этих адресах окажется служебная информация операционной системы, то этим можно воспользоваться!

Кому интересны технические детали - краткое описание под спойлером. Можете попробовать подумать сами в какие данные мы целимся. Как ни странно, для понимания идеи хватит базовых знаний устройства операционных систем.
(Для простоты считаем, что умеем флипать случайный бит в памяти всей машины. И делать это много раз)

Подсказка: какие метаданные о процессе сами могут занимать довольно много памяти?
Идея:
1) Пусть мы поменяли бит в памяти, где была Page Table Entry одной из страниц нашего процесса и её физический адрес стал указывать на... Page Table нашего же процесса
2) Теперь можно перенаправлять наши страницы на любые физические адреса в системе, ещё и с write-доступом!
3) Можно просканить kernel память, найти там данные про наш pid и прописать себе root-a
Понятно, что вероятность повредить бит, чтобы сложились обстоятельства (1) мала (её умеют хитрыми способами увеличивать) Если научиться быстро делать много попыток, то шансы становятся практичными (нужны минуты/часы, а не столетия)

Наверное было 10 лет назад и уже неактуально?

Производители памяти от такого офигели и в последующих чипах фиксили уязвимости, но ресерчеры находили новые способы. Свежий результат под названием Phoenix был опубликован совсем недавно - в 2025 году.

В ETH Zurich нашли способ получать root на машинах с моделями SK Hynix DDR5 памяти буквально за минуты - эта память выпускалась в 2021-2024 и активно сегодня используются.

Есть ли мораль у этой истории?
Шанс получить неверное списание с карты я так и не узнал, но и ладно🙂 Интересно снова видеть как любые абстракции в программировании строятся на реальных физических вещах!

Ну и +1 причина не запускать что попало у себя на компьютере...

https://en.wikipedia.org/wiki/Row_hammer

Зачем рассматривать супермаркеты из космоса? 🛰🔍

Как-то я уже писал про то, как прогнозы погоды используются для предсказания движений цен на финансовых рынках.

(Продолжим тему применения неожиданных, на первый взгляд, методов в индустрии📈)

Использование спутников в военных целях всем известно и понятно. Однако есть и более неожиданный пример - да, похоже, спутниковые данные любят и в трейдинге!

Ещё в 2010 появились статьи о том, как хедж-фонды и другие фирмы покупали снимки из космоса для анализа. Можно смотреть на порты, танкеры, заводы и

… парковки гипермаркетов Walmart🤔

Если немного подумать, то идея быстро становится понятной. Что может лучше говорить о делах сети магазинов, чем количество запаркованных машин в выходной день? Собранные данные с тысяч магазинов во всех штатах - звучит как отличный индикатор, куда пойдет цена акций после квартального отчета

Звучит круто, но насколько это журналистские домыслы или реально применяемые технологии?

В 2019 ресерчеры из Беркли запросили аналогичные данные в академических целях (5 миллионов снимков) и построили свои модели: на их взгляд гипотеза уверенно подтвердилась. Они даже оценили эффективность таких стратегий - по их мнению, можно надежно делать 4-5% за 3 дня во время квартальных отчетов. В пересчёте на год звучит очень впечатляюще.

Всего-то надо для начала купить данных на пару миллионов долларов!

Куда идут соревнования по программированию в мире с AI?

Недавно прошел онлайн этап Midnight Code Cup - нового соревнования по программированию (проводится всего второй год). Участие было командами до 3 человек. Ключевая особенность - можно пользоваться чем угодно. Использование AI не просто разрешается, а поощряется! 🤖

О формате отборочного тура
Было дано 4 часа и 3 оптимизационных задачи. Точное решение авторам неизвестно, а командам требовалось найти решение как можно лучше. В некоторых задачах участникам давали тестовые данные.

Запустил Claude и пошел пить чай? ☕️
В последний год везде говорят о невероятном прогрессе AI. Как теперь выглядят такие соревнования? Все просто дают LLM условие задачи, пишут “solve this problem” и уходят по своим делам, а потом отправляют одинаковые решения?

Все же пока нет! Пусть мы сами порешали не лучшим образом, но опишу некоторые наблюдения

Эффективность AI все еще сильно зависит от того, кто его использует 🤓
Я начал с популярного подхода: говоришь агенту в цикле решать задачу разными способами и документировать все попытки. Агент быстро пробует разумные базовые подходы, но после минут 30 без вмешательства начинал скатываться в дичь, предлагая мудренные эвристики и очень страшные алгоритмы.

По моим ощущениям (допускаю, что у крутых ребят другое мнение) дальше сильных улучшений без твоей помощи не происходит. Важную роль играют твои наставления и идеи.

Например, хорошо работает следующее: параллельно самому думать, заметить какие-нибудь особенности и дать команду в духе:

В этом тесте есть такие свойства. Рассматривай подходы, использующие этот факт

Порой одного такого запроса достаточно, чтобы железный друг пошел в правильном направлении и за 20 минут без вмешательства улучшил результат по тесту с 30 баллов до 80-90+ (из 100)

Если вы участвовали в таких соревнованиях лет десять назад, то узнаете много имен вверху таблицы результатов. Навыки людей, которые и до ЛЛМ умели хорошо решать задачи, не утратили актуальность

И все же умение делегировать машине становиться критическим
Команда из одного человека заняла второе место! А вообще в топ 20 таких команд аж две, а еще одна из двух человек.

Не знаю точно, что они делали (знали бы, то сами явно справились бы сильно лучше😀), но уверен в одном: они не микроменеджирили каждый этап решения (и тем более написания кода) всех трех задач параллельно. Ребята явно хорошо освоили управление AI и вайб-кодинг!

Лично нам не удалось заставить агентов получить хороший результат там, где мы не дожали свои идеи. Но многие участники утверждают, что у них получалось. Умение хорошо организовать работу агентов и направить их в эффективном направлении - это отдельный навык

Само собой, нет смысла пытаться писать код самостоятельно 🙅‍♂️⌨️
Да и читать тоже

Куда это все может прийти?
Раньше после олимпиад участники обсуждали идеи решений. Это тоже есть, но половина вопросов теперь такие:
- юзали gpt или claude?
- в лимиты по подписке влезли?
- сколько токенов сожгли?

Пока кажется, что ключевую роль играют скиллы. Но уже сегодня люди, которые сами писали код, были точно в проигрышном положении. Соревнование открыто для любых участников. Явно не каждый студент может себе позволить подписку за 100-200 долларов. С более мощными моделями такой жанр рискует скатываться в pay-to-win. Уверен, организаторы это тоже понимают и что-то придумают!

Отдельно выражаю благодарность организаторам 👏
(некоторые здесь подписаны и вдруг это читают)

Последние годы стало сильно меньше таких мероприятий, так что новое соревнование, ещё и отвечающее духу времени - крутое событие, спасибо!

Если кто ещё участвовал, как ваши ощущения?

Respa.by - Belarusian coding contest in Warsaw 👨‍💻

Если в школьные или студенческие времена вы занимались олимпиадами в Беларуси, то конечно помните, что такое респа. Или у вас есть такие друзья? В любом случае делюсь классной новостью🔥

Энтузиасты организуют в Варшаве олимпиаду по программированию в классическом школьном формате!

Как можно понять из названия, мероприятие направлено на бывших участников беларусских олимпиад разных уровней

Ностальгируете по тем временам и будете рады повидаться со старыми друзьями? Это возможность снова окунуться в атмосферу дружеского соревнования!

Предварительный план у ребят такой:

🕔 Олимпиада на 4 часа и афтерпати
🤓 Классический формат: баллы не только за полные, но и за частичные решения. Без AI и интернета - только ручка, бумага и компьютер
📍 Место: Варшава
🗓️ Дата пока не определена, но примерно осень 2026 (читай ниже)

Если заинтересованы, то важно пойти на сайт и показать интерес, заполнив анонимную анкету - там же можно проголосовать за даты. Это поможет организаторам в подготовке. Ещё стоит подписаться на канал @respaby

Подробнее https://www.respa.by/

Время ответа на пятничный вопрос!

Разница в скорости между 2 приведенными вариантами есть. И она непросто заметна, а огромная - на моем макбуке один из них в 12(!) раз медленее. 🐌

Примерно на всех современных машинах наблюдается похожий эффект, но точное замедление зависит от железа - где-то была разница в 20 раз, а лучшим результатом было "всего" 2 раза

📊 За какой вы проголосовали и какой правильный?

С небольшим отрывом большинство проголосовало за вариант 1024. Выбор неудивителен - интуитивно кажется, что компьютеры любят степени двойки, да и есть много известных оптимизаций, связанных с этим фактом

Это тот случай когда интуиция неверна и большинство ошиблось. То есть правильный выбор (а) 1000, но на самом деле выбор 1000 не принципиален. Можно поставить S хоть соседними 1025, 1023, хоть 1321 или даже 3147 (всё равно будет сильно быстрее, хотя уже не настолько)

1024 (и другие степени двойки) ведет к катастрофическому замедлению обращений к памяти. Почему так?

📖 Разбираемся в причине

Феномен не зависит от языка программирования или компилятора. Причина кроется в устройстве кэшей современных процессоров, а именно детали под названием Cache associativity.

Предлагаю минимально погрузится в детали устройства процессоров. Текст вышел небольшой, но я всё же решил убрать под отдельную ссылку. Enjoy! 🙂

https://telegra.ph/Kak-associativnost-kehshej-vliyaet-na-proizvoditelnost-03-15

Наступила пятница, предлагаю отвлечься и подумать над (не)сложным техническим вопросом 🙂

Допустим мы написали примитивную программу для транспонирования матрицы размером n x n. Есть исходная матрица a, а результат пишем в b

const int S = ?; // (1)
int a[S][S], b[S][S], n;

// ... n and a get initialized

// (2)
for (int i = 0; i < n; i++)
  for (int j = 0; j < n; j++)
    b[j][i] = a[i][j];

// ...work with b

Мы знаем, что n гарантированно не превысит 1000.

Константа S определяет размер массивов для матриц (1). Я предлагаю вам на выбор две опции для S: 1000 и 1024 (обе достаточны для хранения матриц, подвоха тут нет). Какую надо брать, чтобы транспонирование работало быстрее?

Ответ в понедельник, а ниже сейчас будет anonymous poll чтобы вы могли оставить свое предположение

Дональд Кнут (оказывается, всё ещё живой и в здравии) в восторге как LLM помогают решать алгоритмические задачи для нового тома "Искусства программирования"

(Вообще не планировал в канале специально писать про AI, но история прикольная, ещё и связана с алгоритмами, а прошла вроде незаметно - here we go)

🤓Если вы забыли или не знали кто это

Про Кнута и его книгу The Art of Computer Programming (“Искусство программирования”) наверняка слышали все, кто изучал алгоритмы самостоятельно или в универе, то есть примерно любые программисты/математики.

Первый том вышел ещё в 1968, пишет следующие части он всю жизнь. Получил Turing Prize (что-то вроде Нобеля для computer science) за работу над алгоритмами, придумал Tex и популяризовал big O notation (которую у тебя теперь на собесах спрашивают)

Одним словом дядя легенда в мире Computer Science (правда, я сам не читал его книг, но думаю он не переживает по этому поводу).

Сейчас ему 88(!) и он работает над новыми томами.

Теперь о задаче (🍎+🍌+🍋=?)

Цитата:

Shock! Shock! I learned yesterday that an open problem I’d been working on for several weeks had just been solved by Claude Opus 4.6— Anthropic’s hybrid reasoning model that had been released three weeks earlier! It seems that I’ll have to revise my opinions about “generative AI” one of these days. What a joy it is to learn not only that my conjecture has a nice solution but also to celebrate this dramatic advance in automatic deduction and creative problem solving

TLDR: Кнут с друзьями несколько недель думал над задачей на графовый конструктив, которая возникла при написании следующей части книги. Её дали Opus 4.6, тот потратил час и перебрав 30 подходов, нашел решение для половины случаев, которое доказали руками. Затем комбинация Opus 4.6/Gpt 5.4 сама нашла решения и доказательства для оставшихся случаев.

Пару мыслей по поводу истории

1️⃣ Дяде 88 лет, а он абсолютно ясно мыслит, готов менять мнение и брать на вооружение новые технологии. Пишет очередной том и надеется закончить ещё несколько. Круто! Можно мне тоже так в его возрасте?

2️⃣ Оставшиеся AI скептики скажут, что задача не была столетиями нерешенной, а пару недель и пробовали несколько человек.

Возможно это и так, а с таким же эффектом можно было вместо LLM дать её на раунд Codeforces в удобное для китайских школьников время. Тем не менее тренд, я думаю, очевиден

3️⃣ Программисты последние месяцы надеются, что станут “менеджерами агентов-программистов” (грубо говоря, рассчитывают, что AI сможет решать такие задачи с доказательствами на 14 страниц, а проверить нажатие кнопки в приложении не сможет).

Мне кажется, что математик по определению не может стать “менеджером математиков”, ведь суть именно в понимании деталей. Если/когда LLM смогут решать и производить доказательства, непосильные по объему людям, то в чем останется роль людей в математике? Просто как хобби или соревнование вроде шахмат?

PS Полную версию рассказа Кнута можно почитать здесь https://www-cs-faculty.stanford.edu/~knuth/papers/claude-cycles.pdf

PS2 Любопытно, что думают профессиональные математики, ученые или просто люди в теме. Если вы таких знаете, то можете им переслать пост - было бы интересно узнать мысли. Да и если вы не ученый, feel free оставлять комментарий со своим мнением! 🙂

Индустрия с самым точным прогнозом погоды ☔

Вряд ли кого-то удивит тот факт, что в трейдинге для предсказания движения цен анализируются данные с самих бирж.

А вот что может показаться неожиданным - в ход может идти вообще всё, если это даёт преимущество (и не нарушает закон).

За последние 5-10 лет в интернете появилось много статей, что фонды активно нанимали метеорологов и использовали свои ресурсы для построения best in class прогнозов погоды - гораздо более точных чем те, что доступны публично

Кто и зачем?

Часто в этой связи пишут про Citadel (FT утверждали о найме более 20 человек в США и Великобритании), но и остальные не отставали - упоминания есть о многих крупных игроках (Jane Street, Millennium, Balyasny)

Область применения на самом деле понять легко - погода имеет решающие значение в формировании спроса на газ, урожаях зерна, кофе и другие commodities ☕️ 🥖

А что там по деньгам?💲

Исторически метеорология не известна как индустрия, в которой много платили. В основном это госслужба - публичные данные в США говорят о медиане в 97 тысяч долларов в год, в Великобритании около 40 тысяч фунтов

Блумберг утверждает, что в фондах за экспертизу специалистов в этой области платят до 1 млн в год

(Интересно представить лица метеорологов, когда они увидели суммы в офферах в 10 раз больше того, что им платили на тот момент 🙂)

Пример статьи, кажется перепечатку с Bloomberg (зато можно открыть без paywall)

P.S если примеры использования такого рода неожиданных вещей в индустрии интересна, то оставляйте реакции/комментарии, когда-нибудь напишу и о других примерах

https://financialpost.com/pmn/business-pmn/hedge-funds-paying-up-to-1-million-for-weather-modeling-experts

Anthropic опубликовали исходное тестовое задание для инженеров

Пару недель назад компания Anthropic (те самые которые делают Claude) опубликовали свой take-home test, который использовали для отбора кандидатов ещё до недавнего времени.

Этот факт бы меня может и не заинтересовал, но задание не лишь бы из какой команды, а Perfomance Engineering! Занимаются ускорением training/inference. Вскоре я сел на него посмотреть и порешать.

❓ Что в тесте?

Задание интересное и сделано качественно. Вам дана реализация эмулятора вымышленного процессора. Нужно создать программу, решающую задачу обхода дерева, которая отработает на этом процессоре как можно быстрее (задача оптимизации, нужно найти решение как можно лучше).

На мой взгляд, задание достаточно сложное. Объяснений дано минимально - нужно самому быстро разобраться с реализацией эмулятора, понять как тестировать свой код и использовать дебаггер. При решении вручную (без AI) допустить мелкую ошибку и потерять на поиске багов кучу времени - проще простого.

👨‍💻 Мой опыт
Выложенное задание близко к оригинальному, изначально оно давалось кандидатам на 4 часа, а потом с некоторыми изменениями на 2 часа. Видимо на тот момент стало подразумеваться разрешенное использование AI - без него 2 часа выглядит почти нереальным лимитом.

Лично у меня ушло около часа в спокойном темпе въехать с чем я вообще имею дело и начать оптимизировать (как я потом прочитал в статье авторов о задании - это похоже на ожидаемое время).

В какой-то момент я застрял в долгом дебаге. Я обратился Claude за помощью и он сразу нашел глупый баг, а ещё объяснил мне, что я неверно пользовался предоставленным дебаггером. Что ж, в 2026 меня уже не удивляет, что машина с такими вещами может разобраться лучше меня 🙂 Писать и отлаживать код вручную сегодня - хорошо для тренировки мозга, но в рабочих условиях редко самое эффективное занятие.

🤓 Рассказ от авторов

Даже если вы не готовы тратить время на само задание (или например это вообще не ваша тема), то рекомендую почитать статью о том как менялось задание и в какой-то момент стало очевидно, что нужно новое. Ведь оптимальной стратегией для прохождения теста стало просто проделегировать Claude и ждать результата.

Автор считает, что бессмысленно запрещать AI на онлайн тестовых (как минимум это сложно сделать на практике) По его мнению хорошое тестовое должно быть в состоянии отличить "... where human reasoning could win over Claude's larger experience base".

Пока это всё ещё возможно. Надолго ли - вопрос открытый.

#ai #optimization

Супер быстрый бинарный поиск⚡️

Бинарный поиск знаком любому школьнику и студенту. Всего 5 строк кода, казалось бы - разве там вообще можно что-то ускорить?

Есть и весьма много! Ключ (как обычно в таких случаях) в понимании того, что процессор и железо в реальном мире делают кучу работы, лежащие за пределами нашего кода.

Итак, доклад CppCon от Сергея Слотина, где он за час проходит от простых до сложных методов и сравнивает их с std::lower_bound, доходя по итогу до ускорения в 15 раз 💪

1️⃣ Branchless binary search.
If в котором мы решаем в какую половину массива пойти, плохо предсказывается branch predictor-ом процессора и стопорит работу. С помощью пары махинаций этот иф можно переписать чуть по другому (но всё ещё в 3 строчки) - бранч исчезает из ассемблера и заменяется инструкцией cmov (conditional move). Очень простое и изящное ускорение в 3 раза на маленьких массивах

2️⃣ Eytzinger Binary Search
Переставляем элементы массива по мотивам бинарной кучи для улучшения кэш локальности. Пусть есть элемент с позицией k, тогда его непосредственные потомки в поиске будут на позициях 2k, 2k + 1. Получим расклад, где часто нужные элементы лежат рядом в соседних кэш-линиях. Например в начале массива лягут элементы с оригинальными позициями ½n, ¼n, ¾n, ⅛n, ⅜n ..., всегда нужные на первых итерациях. С небольшим тюнингом получаем ускорение уже в 4 раза на больших массивах.

3️⃣ B-trees + SIMD
Наворачиваем на предыдущий подход деревья, где в нодах лежат несколько элементов + SIMD, постепенно получается результат в 15 раз и это не предел. Впрочем реализация и работа с индексами уже становится заметно сложными.

📙 Прислушиваюсь к просьбе посоветовать, что почитать - например, в начале доклада Сергей рекламирует свою книгу Algorithms for Modern Hardware, где эта оптимизация и многие другие вещи объяснены подробнее. Я читал её сколько-то лет назад и мне понравилось.

https://www.youtube.com/watch?v=1RIPMQQRBWk

Как математики захватили Уолл-Стрит и сами почти его разрушили

На днях я закончил читать книгу про историю индустрии трейдинга - "Кванты" Скотта Паттерсона (Quants by Scott Patterson) - делюсь впечатлениями.

О чем книга

📖 Книга для широкой публики, вышла в 2010 году - сразу после мирового финансового кризиса 2008.

Рассказывает про восхождение "квантов" - математиков-программистов, которые используют компьютеры для извлечения прибыли на биржах. Собственно индустрии, где я работаю.

Повествование идет о биографиях основателей таких фирм как Renaissance Technologies, Citadel, D.E. Shaw и пары других. Также автор объясняет на чем зарабатывают такие компании - рыночные неэффективности, альфа, арбитраж, HFT (простыми словами для обычных людей, без математики)

В 70-х Wall Street принадлежал дядькам в пиджаках, торговавших по чутью и совершавших сделки по телефону. С развитием технологий туда пришли математики и физики.
Ученые, работавшие в университетах, решили пытать своего счастья в более денежной индустрии.

Изначально они были персонажи второго сорта, сидящие в своих кампутерах 🤓, пока серьезные люди занимались важными делами. Со временем ситуация кардинально изменилась.

К слову, работая в индустрии в 2020х, я не раз встречал похожие истории - PhD в математике и физике провели часть жизни в академии, разочаровались в культуре и перспективах и поменяли род деятельности

7️⃣7️⃣7️⃣
Эдвард Торп - из академии в казино и Уолл-Стрит

Особенно интересно было читать историю "крестного отца" хэдж-фондов - Эдварда Торпа.

Молодой профессор математики придумал стратегию для блэкджека и успешно зарабатывал на этом деньги в казино, позднее написав книгу Beat the dealer.
Книга обрела популярность и стала головной болью для игорных домов, заставив, например, смешивать несколько колод кард и быстрее возвращать использованные карты.

Отбирание денег у казино было опасной деятельностью: изначальный капитал ему инвестировала местная мафия, а игорные дома стали его узнавать - приходилось маскировать внешность.

После этого Торп решил взяться за (дословно перевожу цитату из книги) самое большое казино в мире - Уолл-Стрит, используя компьютеры для предсказания рынков. В 1969 он основал свой хэдж-фонд, успешно проработавший десятилетия и заработавший кучу денег.

Вообще книга постоянно подчеркивает близость гэмблинга (а именно покера) и трейдинга по природе, да и первые страницы буквально посвящены покерному турниру Wall Street Poker Night в Нью-Йорке. Это и неудивительно, ведь требуемый образ мышления во многом схож.

Неожиданные для меня открытия:

1️⃣оказывается хэдж-фонды могут делать IPO, утверждается Citadel была достаточно близка к этому в 2007 году. Пока я не совсем понял как это работает, ведь всё что я знаю об индустрии противоречит идеям публичной компании

2️⃣ инвест банки (Goldman Sachs , Morgan Stanley и т.п.) стали колыбелью индустрии проп трейдинга в 90-ые. Инвестбанки в моем представлении сегодня - это клепание презентаций в Power Point для клиентов и программисты как второсортные cost centers. Видимо, такими эти банки сделали регуляции после кризиса 2008 года, когда им пришлось избавиться от своих самых рисковых (и технически продвинутых) отделов.

3️⃣Citadel и многие другие лидеры индустрии были на грани коллапса в 2007 году. Раньше я думал тот кризис коснулся только банков, но книга рассказывает про quant meltdown - далекая часть финансовой индустрии (дефолты в банках по ипотечным кредитам), затронула хэдж-фонды, торговавшие совсем другие инструменты

Вердикт

Книга мне понравилась - к прочтению рекомендуется! Если кто может накидать ещё книг по теме (как про историю, так и технических) - буду благодарен

#books

Произвольная подборка фактов из уходящего года (без AI, там всё и так всем понятно)


1. Rust в ядре Linux официально перестал быть экспериментом
Пока вообще о Rust знаю не так много, но пора  принять тренд: через 5-10 лет это будет само собой нужная технология для всех, кто занимается вопросами системного программирования и перфоманса, наряду с C++ и C. Впрочем, в некоторых областях его почему-то до сих пор не видно, например в геймдеве?
https://lwn.net/Articles/1049831

2. Feature set для C++ 26  заморожен.

Большой фокус на безопасности и диагностике -  Erroneous behaviour и contracts. Я смотрел в последние 1.5 года пару докладов - обещают, что это заметно изменит жизнь, но я пока не проникся таким ощущением.

Рефлексия  - лайк (можно будет делать нормальный enum  to string?), но  выглядит конечно страшно.

Правда заморозка фичей - ещё не финальный этап. Например, оттуда уже убрали  любопытную trivial relocability. Ничего, вероятно все кому надо и так уже привыкли двигать байты и надеяться, что ничего не развалится🫡

3. Free-threaded Python (CPython без GIL) получил supported status

На практике это пока часто означает более медленный single-thread и необходимость, чтобы third-party модули/расширения действительно умели жить в этом режиме. Но для экосистемы Python событие всё равно знаковое.

4. В файловую систему XFS добавили atomic writes

На первый взгляд это новость только для разработчиков баз данных, но у меня другая точка зрения.

В файлы пишут почти все и часто начинают изобретать свои "уникальные решения", полагаясь на несуществующие гарантии, что потом выстреливает редкими и неприятными фейлами.

Например, многие думают, что если файл закрыть, то его содержимое обязано оказаться на диске(уверен все такими были).

XFS - одна из самых распространенных файловых систем в Linux (часто дефолтная). Пока atomic writes с сильными ограничениями и нюансами, до атомарности уровня whole-file далеко.  Но такие изменения постепенно приближают к более простой и безопасной работе с файлами.

https://lwn.net/Articles/1009298

5. OpenSSH  начал показывать предупреждение, если  key exchange без пост-квантовой защиты

** WARNING: connection is not using a post-quantum key exchange

** This session may be vulnerable to "store now, decrypt later" attacks.

Квантовых компьютеров ещё на практике нет даже близко, а люди вовсю готовятся!


❄️❄️❄️❄️❄️❄️❄️❄️
Всех с наступающим Новым годом! Желаю в новом году продуктивного времени, приятной работы и много новых знаний!

Кто лучше решает задачи в 2025 году: подписка за 200 долларов или олимпиадники, тренирующиеся годами?

На днях прошёл полуфинал чемпионата мира по программированию Северной Евразии (распределённо — в Санкт-Петербурге, Алматы, Новосибирске и Тбилиси) — традиционно один из самых сильных регионов.

(Аж секунда ностальгии — всё таки я в нем участвовал 5 раз)

Итак, что видно из обсуждений после соревнования:

🤖 ChatGPT Pro без труда решает 8 задач — это проход на финал и столько же, сколько у команды на 5-м месте.

🤖 Если попросить его получше, то решает 9 задач — топ-4 и золотая медаль.

🤖 Авторское решение одной из самых простых задач оказалось неверным. Зритель попросил ChatGPT проверить идею (которая совпадает с авторской и, видимо, с решением большинства команд) — AI быстро нашёл контрпример.

Всё ещё считаем современные LLM просто генератором текста?

P.S. Вообще-то я не планировал ничего писать про AI (тема вроде меня интересует посредственно), но видимо такие теперь времена!

P.P.S. Отдельно забавно видеть, как быстро меняются тренды в престижности университетов. Все первые три места — из Высшей школы экономики: сумасшедшая конкуренция внутри. А ещё лет 15 назад там даже не было компьютерного факультета. В то время столько сильных команд было в МГУ — теперь лучший результат там лишь 58-е место.

#ai #olympiads

Advent of Сompiler Optimizations 2025

В прошлом году я поучаствовал в известном Advent of Code, но ощущения остались... на троечку. Пару интересных дней было, но большинство задач были своего рода Leetcode в новогодней упаковке. По итогу, не самое интересное и продуктивное время.

В этом году я наткнулся на кое-что гораздо прикольнее: один из моих любимых спикеров в индустрии Matt Godbolt сделал на ютубе Advent of Compiler Optimizations!

• Каждый день видео по всего 5-10 минут

• Ничего дикого - начинает с базы и постепенно усложняет, подходит для любителей C++ любого уровня, достаточно школьного знания писать циклы/ифы и минимального знакомства с ассемблером.

• Круто объяснет - пишет в compiler explorer пару строк кода, шаг за шагом читает ассемблер и вообще объясняет, как подходить к его чтению

• Иногда показывает продвинутые фишки compiler explorer , например возможность отрендерить симуляцию исполнения инструкций и наглядно увидеть out of order execution

Прямо сейчас я работаю над одним хобби-проектом (который я надеюсь довести до конца и написать о нем в будущем), в котором мне нужно читать ассемблер под очень старую архитектуру CPU. После такого видеокурса было бы проще 🙂

Сам Matt работает в финансовой индустрии (о чем он упоминает в видео) - такие вещи там любят. Так что тем, кому интересна индустрия - вдвойне полезно.

#compilers

Всем привет!

Канал про интересные мне технологии и околорабочие темы, в произвольном порядке это:

- программирование - С++, линукс, перфоманс и около того
- индустрия трейдинга
- сайд проекты
- понравившиеся блоги, видео
- сомнительные истории про собеседования и о подготовке к ним, куда уж без этого

Регулярность и качество постов (как и вообще что-либо) не гарантированы 🙂